DE3787867T2 - Dreidimensionale Videoübertragung. - Google Patents

Dreidimensionale Videoübertragung.

Info

Publication number
DE3787867T2
DE3787867T2 DE87309703T DE3787867T DE3787867T2 DE 3787867 T2 DE3787867 T2 DE 3787867T2 DE 87309703 T DE87309703 T DE 87309703T DE 3787867 T DE3787867 T DE 3787867T DE 3787867 T2 DE3787867 T2 DE 3787867T2
Authority
DE
Germany
Prior art keywords
depth
video signal
signal
vectors
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE87309703T
Other languages
English (en)
Other versions
DE3787867D1 (de
Inventor
David Hugh Morton
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Application granted granted Critical
Publication of DE3787867D1 publication Critical patent/DE3787867D1/de
Publication of DE3787867T2 publication Critical patent/DE3787867T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

  • Die Erfindung betrifft die Übertragung von Videobildern, die Tiefeninformation enthalten, und befaßt sich insbesondere mit einem solchen System, das die Kompatibilität mit monoskopischen Empfängern bewahrt.
  • Trotz jüngster Fortschritte auf dem eine höhere Definition betreffenden Gebiet kann das Fernsehen so lange nicht das "Fenster der Welt" sein, bis es möglich ist, ein gewisses Maß an Tiefeninformation zu übermitteln. Es gab Versuche, rot/grüne Anaglyphenbilder zu übertragen, um eine stereoskopische Darstellung zu erzielen, jedoch führte dies zu Beanstandungen bei Betrachtern, die nicht über die notwendigen Brillen verfügten. Irgendeine Lösung für die Übertragung von dreidimensionalen Bildern muß aus praktischen gründen auch kompatible monoskopische Bilder übertragen.
  • Die Methode der dreidimensionalen oder 3D-Bildwiedergabe höchster Qualität ist durch das Hologramm verkörpert. Es ist jedoch von wenig Nutzen für den Rundsendungstechniker, da die Szene wenigstens teilweise mit kohärentem Licht beleuchtet werden muß oder, falls eine Bildskalierung erforderlich ist, mit Mikrowellen oder Röntgenstrahlen (in Abhängigkeit von der Richtung der Skalierung). Selbst wenn man die Probleme der Bildskalierung durch eine gewisse Form der Signalverarbeitung überwinden könnte, würde die phänomenale Bandbreite eines "Roh"-Holograms in der Größenordnung von 100 Gbit/s beträchtliche Probleme bei der Redundanzentfernung, Kanalcodierung und Übertragung aufwerfen. Dennoch ist das Hologramm als Darstellung unübertroffen, und es übermittelt einen gewissen Realismus, der weit über das hinausgeht, was andere Methoden zu leisten imstande sind.
  • Stereoskopie ist andererseits relativ einfach zu handhaben, und zwar unter Verwendung von verfügbarem Licht, und es ist lediglich das Zweifache der ursprünglichen Bandbreite erforderlich, selbst wenn man keinen Versuch zur Redundanzentfernung macht. Außerdem ist sie auch einer Bandbreitenverminderung zugänglich. Stereoskopie ist deshalb die beste Wahl sowohl für das Studio als auch für die Übertragung. Bezüglich der Darstellung kann man jedoch Stereokoskopie nicht bevorzugen, da die meisten Systeme polarisierende Augengläser benötigen und das Bild ohne sie nicht überwachbar ist.
  • Die US 3 674 921 beschreibt ein Verfahren zum Übertragen eines stereoskopischen Signals mit einer verminderten Bandbreite dadurch, daß ein monoskopisches Signal und ein Differenzsignal übertragen werden. Das Differenzsignal mit einer Bandbreite von 0,5 MHz wird abgeleitet von der Hochfrequenzdifferenz zwischen zwei Quellensignalen. Das meiste an stereoskopischer Information ist in dem Hochfrequenzbereich der Differenzsignale konzentriert, jedoch wird, selbst wenn man nur diesen Teil des Differenzsignals überträgt, Information übertragen, die für den stereoskopischen Empfang nicht erforderlich ist, so daß eine weitere Bandbreitenverminderung schwierig ist.
  • In der DE-A-3 225 859 ist ein 3D-System beschrieben, das die Differenz in den Luminanzsignalen zwischen entsprechenden Bildelementen oder Pixeln in zwei Darstellungen derselben Szene verwendet, um eine Rand- oder Kanteninformation abzuleiten und auf diese Weise eine grobe Form eines Tiefensignals zu erzeugen. Diese Form von Tiefensignal ist jedoch äußerst anfällig gegenüber Rausch-, Ausleucht-, Szenen- oder Aufnahmeänderungen. Die einzige Information, die zum Erzeugen einer Darstellung zur Verfügung steht, die Tiefeninformation enthält, wären die Kantensignale. Bei Anwendung auf eine stereoskopische Darstellung würden allerdings die Gegenstände wie flache kartenartige Ausschnitte erscheinen und nicht einen dreidimensionalen Eindruck auslösen. Es handelt sich deshalb um ein äußerst grobes 3D-System.
  • In der EP-A-0 204 006 ist ein System beschrieben, das ein Bild einer Szene in Blöcke unterteilt und dann für jeden Block ein Gesamtverschiebesignal berechnet. Dieses Verschiebesignal gibt die Differenz zwischen diesem Block und einem entsprechenden Block in einem anderen Bild derselben Szene an. Somit wird ein Signal zum Übertragen auf einer blockweisen Grundlage erzeugt. Dieses System hat Schwierigkeiten, wenn in einem Block mehr als eine Verschiebung auftritt, was beispielsweise durch Parallaxeneffekte hervorgerufen werden kann. Das eine oder das andere der Signale wird ausgewählt und diesem Block zugeordnet werden müssen. Dies führt zu einer Situation, bei der eine 3D-Darstellung eines Bildes auf einer stereoskopischen Darstellung so erscheint, als sei sie auf einer extrem unebenen Ziegelsteinwand aufgemalt.
  • Die WO 87/05 769, bei der es sich um ein Dokument nach Artikel 54(3) handelt, ist auf ein System zum Ableiten von Bewegungsvektoren aus einer Sequenz Videobilder, die die Bewegung von Gegenständen zwischen Einzelbildern der Sequenz darstellen, gerichtet. Das beschriebene System ist auf Anwendungen wie Fernsehumsetzung und Zeitlupensequenzerzeugung einsetzbar.
  • Die Erfindung ist durch die beigefügten Ansprüche definiert, auf die jetzt Bezug genommen wird.
  • Die im Anspruch 1 der vorliegenden Patentanmeldung definierte Erfindung ordnet Vektoren auf einer bildweisen Grundlage zu und ist daher besser in der Lage, in einer Darstellung, die Tiefeninformation enthält, glatte Tiefenänderungen zu repräsentieren.
  • Ein bevorzugtes Ausführungsbeispiel der Erfindung wird nachstehend beispielshalber unter Bezugnahme auf Zeichnungen beschrieben. Es zeigen:
  • Fig. 1 ein schematisches Blockschaltbild eines Senders und Empfängers, die die Erfindung verkörpern, und
  • Fig. 2 ein Blockschaltbild der "Bewegungs"-Detektorschaltung, die beim Ausführungsbeispiel der Erfindung verwendet wird.
  • Obgleich dieses Ausführungsbeispiel unter Bezugnahme auf das PAL-Fernsehsystem beschrieben wird, ist die Erfindung gleichermaßen anwendbar auf andere Systeme wie NTSC, MAC oder digitalgestützte Fernseh- oder TV-Systeme.
  • Der Sender 10 hat zwei Kameras zum Beobachten einer Szene 12, nämlich eine mit 14 gekennzeichnete Kamera 1 und eine mit 16 gekennzeichnete Kamera 2. Der Ausgang der Kamera 1 wird als das Haupt- oder monoskopische Bild genommen und einem PAL-Codierer 18 und nachfolgenden Senderschaltungen (TX) 20 zugeführt. Der Ausgang der Kamera 2 wird in einer Schaltung 22 mit dem Ausgang der Kamera 1 verglichen, um ein Signal vorzusehen, das Information bezüglich der Unterschiede zwischen den beiden Kameraausgängen trägt. Diese Differenzinformation wird in einem Modulator (MX) 24 auf einen Hilfsträger moduliert und dann den Senderschaltungen 20 zugeführt. Der Ausgang des Senders bildet den Eingang zu einer Übertragungsverbindung 28.
  • Einer von zahlreichen stereoskopischen Empfängern 30 empfängt das übertragene Signal in Empfängerschaltungen (RX) 32, die das PAL-codierte Hauptsignal einem PAL-Decoder 34 zuführen. Das Hilfsträgersignal wird einem Demodulator (DMX) 36 zugeführt, der somit die übertragene Differenzinformation an einen Modifikator 38 liefert. Der Modifikator empfängt den monoskopischen Videoausgang des PAL-Decoders 34 und verwendet das Differenzsignal, um daraus den Ausgang der Kamera 2 des Senders wiederzugewinnen. Die beiden jetzt zur Verfügung stehenden Videosignale werden einem ersten bzw. zweiten Videoeingang eines stereoskopischen Sichtgeräts 40 zugeführt, das von einem Betrachter 42 beobachtet wird, der stereoskopische Augengläser trägt.
  • Die Schaltung 22 des Senders ist als "Bewegungs"-Detektor einer Art ausgebildet, wie sie in der britischen Patentanmeldung GB-A-2 188 510 beschrieben ist.
  • Ein Blockdiagramm der Schaltung 22 ist in Fig. 2 gezeigt. Diese Schaltung arbeitet in zwei Stufen. In der ersten Stufe werden die Eingänge von der linken und rechten Kamera 1 und 2 nach Fig. 1 zwei parallelen Block-für-Block- FFT-Schaltungen 44 (FFT = schnelle Fouriertransformation) zugeführt. Diese berechnen die zweidimensionalen schnellen Fouriertransformierten der Luminanzkomponenten der beiden Eingangssignale. Eine Phasendifferenz-Berechnungsschaltung 46 empfängt die Ausgänge der beiden Block-für-Block-FFT- Schaltungen. Der Ausgang dieser Schaltung 46 ist eine Anordnung aus Einheitslängenvektoren, deren Phasenwinkel gleich den Differenzen in den Phasen in den beiden Bildern für jede räumliche Frequenzkomponente in den Transformierten ist.
  • Diese resultierende komplexe Anordnung aus Vektoren wird dann einer weiteren Block-für-Block-FFT-Schaltung 48 zugeführt, die an den Vektoren eine inverse oder Rück-FFT vornimmt. Der resultierende Ausgang 50 ist eine Anordnung aus reellen Zahlen, die der Korrelationsoberfläche zwischen den beiden Bildern entsprechen. Eine Suchschaltung 52 lokalisiert die Peaks oder Spitzen in der Korrelationsoberfläche und erzeugt einen Satz aus "Bewegungs"- oder "Tiefen"-Probevektoren V&sub1; bis Vn, die den Differenzen zwischen den beiden Bildern bezüglich der relativen Bewegung oder der relativen Tiefe der Szene im Ausgang der Kamera 2 verglichen mit demjenigen der Kamera 1 entsprechen.
  • Die zweite Stufe umfaßt das Ausprobieren jedes dieser möglichen Vektoren auf jedes Pixel (Bildelement) und die Zuordnung des Vektors, der am besten geeignet ist. Das linke und das rechte Bildsignal laufen durch ein Paar Kompensationsverzögerungen 54, um sie mit den Tiefenvektoren wieder zu synchronisieren. Das linke und rechte Signal treten dann in eine Bank identischer Schaltungen ein, die auch Eingänge zum Empfang der Tiefenvektoren V&sub1; bis Vn haben.
  • In jeder dieser Schaltungen bildet das rechte Bildsignal den Eingang zu einer Verschiebebildschaltung 56, die das Bild um einen Betrag verschiebt, der dem jeweiligen Tiefenvektor Vi proportional ist. Ein Subtrahierer 58 berechnet dann die Differenz zwischen dem verschobenen rechten Bildsignal und dem nichtverschobenen linken Bildsignal dadurch, daß das linke Bildsignal von dem verschobenen rechten Bildsignal subtrahiert wird.
  • Die Ausgänge der jeweiligen Subtrahierer werden in jeweiligen Modulatoren 60 moduliert und gelangen dann zu jeweiligen Tiefpaßfiltern 62, die einen Satz von Fehlern (E&sub1; bis En) erzeugen, die dem Ergebnis der Tiefenvektoren V&sub1; bis Vn entsprechen. Ein Mikroprozessor 64 sucht dann den kleinsten Fehler für jedes Bildelement und ordnet den Tiefenvektor, der diesen Fehler erzeugt hat, diesem Bildelement zu.
  • Diese Operationen müssen nicht an dem Bild in seiner Gesamtheit ausgeführt werden.
  • Diese Operationen müssen nicht an dem Bild in seiner Gesamtheit ausgeführt werden. Es ist möglich, das Bild in Blöcke aufzuteilen und jeden Block separat zu bearbeiten, wobei jeder Block typischerweise aus 64·64 Pixel besteht.
  • Um die Funktion der Schaltung 22 in weiteren Einzelheiten zum Ableiten eines Differenzsignals für stereoskopische Übertragungen zu erläutern, muß man zunächst die diskrete zweidimensionale Fouriertransformierten G&sub1; und G&sub2; betrachten, die aus den beiden Eingangssignalen der beiden Kamerabilder abgeleitet worden sind. Die komplexe Anordnung oder Matrix Z wird berechnet bei jeder räumlichen Frequenz (m,n) aus G&sub1; und G&sub2;, und zwar unter Verwendung von:
  • z(m,n) = G&sub1;(m,n)G&sub2;(m,n)*/G&sub1;(m,n)G&sub2;(m,n)*
  • Die Phasenkorrelation ist gegeben durch die Fourierrücktransformierte von z, die nur reelle Komponenten hat.
  • Die resultierende Phasenkorrelationsanordnung kann man sich als eine Oberfläche denken, deren Höhe bei einem besonderen Punkt (x,y) proportional dazu ist, wie gut die beiden Bilder korrelieren, wenn die relative Verschiebung zwischen ihnen (x,y) ist. Für den Fall einer einfachen Verschiebung zwischen den beiden Bildern, wie in dieser Anmeldung mit zwei nichtparallelen Kameraeingängen, wäre die Korrelationsoberfläche eine Deltafunktion, die auf dem Verschiebevektor zentriert wäre. Die Idee ist, daß in dieser Oberfläche für jeden dominanten Tiefenvektor in der Szene ein Peak oder eine Spitze ist. Das Herausfinden dieser Tiefenvektoren umfaßt die Suche nach großen Spitzen in der Oberfläche. Die relativen Höhen der Spitzen reflektieren die relativen Tiefen der Gegenstände. Das hauptsächliche neue Merkmal dieser Methode ist es, nach einigen Spitzen zu schauen anstatt gerade nach einer, so daß viele Tiefenvektoren mit einer Operation erfaßt werden können.
  • Um die Tiefenvektoren auf eine Subpixelgenauigkeit zu messen, ist es notwendig, eine gewisse Interpolation an der Korrelationsoberfläche auszuführen.
  • Um von den in einer Szene vorhandenen Tiefen so viele wie möglich zu messen, ist es hilfreich, das Bild in Blöcke zu unterteilen, anstatt Korrelationen an Gesamtbildern vorzunehmen. Die Anzahl der einzelnen Spitzen, die genau erfaßt werden können, ist nämlich durch Rauschen auf etwa drei Spitzen pro Block begrenzt. Darüber hinaus ist das Auflösen von Tiefenspitzen nur möglich, wenn sie um einen Verschiebevektor getrennt sind, der größer als etwa ein Pixel pro Teil- oder Halbbildperiode ist. Die Blockgröße würde groß sein im Vergleich zu den größten Verschiebungen, die erwartet werden, da die Technik Gegenstände, die in verschiedenen Blöcken in den beiden Bildern sind, nicht korrelieren kann. Eine Größe von 64·64 Pixel ist genehm. Wenn es andererseits lediglich notwendig ist, die wenigen am meisten signifikanten Tiefenvektoren zu messen, dann kann man auch Gesamtbilder transformieren oder wenigstens sehr große Blöcke. Es sei daran erinnert, daß diese Unterteilung in Blöcke lediglich für den Zweck der Messung der Tiefenvektoren gemacht wird. Die Vektoren sind immer noch auf einer pixelweisen Grundlage zugeordnet.
  • Die erste Stufe des Prozesses liefert einen Satz von Tiefenvektoren, die in der Szene vorhanden sind, sagt jedoch nichts darüber aus, welche Teile der Szene auf jeder Tiefe sind. Die zweite Stufe umfaßt das "Ausprobieren" jedes möglichen Vektors auf jedes Pixel und die Zuordnung desjenigen Vektors, der die beste "Passung" (fit) liefert. In Situationen, wo die Tiefeninformation auf einer blockweisen Grundlage erforderlich ist (beispielsweise bei einem Bandbreitenkompressionssystem auf Blockbasis), bestände keine Notwendigkeit, einen Vektor jedem Pixel zuzuordnen, und die Zuordnung würde auf einer Blockgrundlage erfolgen.
  • Für jeden erfaßten Vektor wird eine "Fehleroberfläche" dadurch gebildet, daß die Modulusdifferenz zwischen den beiden Eingangsbildern berechnet wird, wenn sie um den betrachteten Tiefenvektor verschoben sind. Bereiche der beiden Bilder, die gut zueinander passen, erzeugen geringe Fehler, und die Annahme ist vernünftig, daß diese Bereiche einem Gegenstand mit diesem besonderen Tiefenvektor entsprechen. Es wird bevorzugt, eine gewisse räumliche Filterung an der Fehleroberfläche vorzunehmen, um Rauscheffekte zu reduzieren.
  • Wenn die Tiefenvektoren auf Subpixelgenauigkeit gemessen werden, ist es notwendig, bei der Berechnung der Fehleroberfläche ein gewisses Ausmaß eines räumlichen Interpolators anzuwenden.
  • Sobald all die in der ersten Stufe gemessenen Tiefenvektoren ausprobiert sind, wird jedes Pixel demjenigen Tiefenvektor zugeordnet, der zum kleinsten Fehlerwert geführt hat. Man kann einen Schwellenwert-Fehlerpegel setzen, der den maximal annehmbaren Fehlerpegel definiert. Pixel, deren Fehler oberhalb dieses Pegels bei jedem Probevektor liegen, könnte man kennzeichnen mit "Tiefe nicht bekannt". Solche Pixel entsprechen wahrscheinlich Bereichen von Kanteninformation, die nur von einer der beiden Kameras gesehen wird.
  • Wenn die Tiefenvektoren dadurch gemessen werden, daß die Bilder in Blöcken anstatt in ihrer Gesamtheit transformiert werden, dann ist das Ausprobieren lediglich solcher Vektoren sinnvoll, die in der Nachbarschaft des betrachteten Pixels gemessen worden sind. Es ist wahrscheinlich, daß den meisten Pixeln der richtige Vektor dadurch zugeordnet werden kann, daß lediglich diejenigen Vektoren in Betracht gezogen werden, die in dem Block mit dem Pixel gemessen worden sind. Es ist allerdings vorbildlich, auch diejenigen Vektoren auszuprobieren, die in den unmittelbar angrenzenden Blöcken gemessen worden sind, und zwar insbesondere Pixel nahe des Randes der Blöcke. Dies ist in Situationen wichtig, wo ein kleiner Abschnitt eines Gegenstands in benachbarten Blöcken für die beiden Kamerabilder ist.
  • Somit wird das Hauptsignal als monoskopisches Videosignal übertragen. Die Differenzinformation enthält Tiefen- und Kanteninformation. Die beiden Bilder des stereoskopischen Signals werden korreliert, wie gerade beschrieben, und die Vektorzuordnungsfunktion des Verfahrens ist Tiefenzuordnung. Was der nicht aufgedeckte Hintergrund in dem Bewegungsdetektor der früheren Anmeldung war, ist jetzt Kanteninformation, die lediglich von einer der beiden Kameras gesehen wird.
  • Das Differenzsignal in der Form von Tiefen und Kanten ist zur Bandbreitenreduktion geeignet. Diese kann die Form von Filterung und Unter- oder Subabtastung als auch nichtlineare Quantisierung als Funktion von Tiefe und Luminanzwert annehmen, da die Genauigkeit des Auges beim Feststellen von Tiefe abnimmt, wenn die Tiefe zunimmt und der Luminanzpegel abfällt. Das Differenzsignal kann als ein Datenkanal codiert sein oder als ein Unterträger in mehr herkömmlichen Übertragungssystemen, wie des dargestellten.
  • In einer Idealwelt wäre das monoskopische Signal irgendeine Art von Summe, die das Differenzsignal komplementieren würde. Eine solche Betrachtung mag allerdings ungeeignet sein, da der Mono-Betrachter ein Signal dargeboten bekäme, das stets von den linken und rechten Signalen interpoliert wäre. Dies wäre sicherlich weniger annehmbar als die Übertragung des ursprünglichen linken oder rechten Signals als kompatibles monoskopisches Signal.
  • Das stereoskopische Signal ist für die Zwecke der Sichtdarstellung nicht gut. Durch Codierung des Stereosignals als Mono und als Tiefen und Kanten stehen allerdings alle Sichtdarstellungsoptionen offen. Die Sichtdarstellung kann stereoskopisch sein, möglicherweise Augengläser zur Betrachtung erfordern, jedoch ist sie mit der heutigen Technik durchführbar. Schließlich könnte ein Rechner im Sichtgerät die Phase und Amplituden berechnen, die erforderlich sind, um in Echtzeit ein Hologramm zu erzeugen. Ein derartiges Hologramm hätte lediglich seitliche Stereoskopie, es sei denn, daß mehr Kameras, Korrelatoren und Übertragungsbandbreite verwendet werden würde, aber normalerweise sollte es so genügen.
  • Falls eine Vertikalkomponente der Stereoskopie benötigt würde, wäre eine dritte Kamera und Extrakorrelation erforderlich.
  • Man erkennt somit, daß die für nachfolgende Bewegung entwickelten Phasenkorrelationsalgorithmen direkt auf das Problem der stereoskopischen Übertragung angewendet werden können. Die für solche Folgebewegung konstruierte Hardware ist deshalb gleichermaßen geeignet. Unter Verwendung dieser Technik kann man ein Signal senden, das mit monoskopischen Sichtgeräten kompatibel ist, und zwar durch Aussenden der Stereoinformation in einem Datenkanal oder auf einem Subträger. Die Stereoinformation kann jetzt in ein Stereogramm decodiert werden, und zwar mit der Option einer holographischen Sichtdarstellung für die Zukunft.
  • Das obige Verfahren könnte man auch in Verbindung mit Robotern als Fernfühltechnik einsetzen. In einer gefährlichen Umgebung benutzen Roboter sehr oft stereoskopisches Fernsehen, um eine Ansicht ihrer Umgebung dem Benutzer mitzuteilen. Die beschriebene Technik könnte man verwenden, um den Abstand eines Gegenstands von einem Roboter abzuleiten und darzustellen, und man würde auf diese Weise die Notwendigkeit eines separaten Radar- oder Ultraschallentfernungsmessers vermeiden. Die Bandbreite des Systems könnte ebenfalls reduziert werden.

Claims (13)

1. Verfahren zum Übertragen von Videobildern, die Tiefeninformation enthalten, mit den Schritten: Bereitstellen von Videosignalen, die wenigstens von zwei Quellen stammen und von verschiedenen Darstellungen derselben Szene abgeleitet sind, gekennzeichnet durch Korrelieren des Videosignals einer ersten Quelle mit dem Videosignal von jeder anderen Quelle zum Bestimmen einer Vielzahl von Spitzenkorrelationswerten in Entsprechung zu Tiefeninformation darstellenden Translationsvektoren, Durchführen einer Überprüfung für jedes einer Vielzahl Pixel der Bilder dahingehend, welcher dieser Vektoren beim Ableiten eines Bildes aus dem anderen für dieses Pixel die beste Passung ergibt, Zuordnen jedes Pixels zu demjenigen Vektor, der die beste Passung ergibt, Übertragen des Videosignals von der ersten Quelle und Übertragen der abgeleiteten Vektoren für jeden Pixelbereich als Differenzinformation, die angibt, wie zum Bilden einer Darstellung mit Tiefe das erste Signal zu ändern ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Korrelation des Videosignals von der ersten Quelle mit dem Videosignal von jeder anderen Quelle die Schritte enthält: Berechnen der zweidimensionalen schnellen Fouriertransformierten der Luminanzkomponenten der beiden Signale, Berechnen der Phasendifferenz zwischen jeder Frequenzkomponente in dem ersten Signal und der entsprechenden Frequenzkomponente in einem parallelen Signal zum Erzeugen einer komplexen Anordnung von Einheitslängenvektoren und Berechnen der schnellen Fourierrücktransformierten dieser Anordnung zum Erzeugen einer Phasenkorrelationsanordnung für die beiden Signale.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Differenzinformation auf einem Hilfsträger übertragen wird.
4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Differenzinformation in einem Digitaldatenkanal übertragen wird.
5. Verfahren nach Anspruch 1, 2, 3 oder 4, dadurch gekennzeichnet, daß die Differenzinformation angibt, wie ein monoskopisches Bild zum Ausbilden von wenigstens einem zweiten Bild geändert werden muß, daß das zweite Bild eines stereoskopischen Paares entsteht.
6. Verfahren nach irgendeinem vorangegangenen Anspruch, bei dem die Differenzinformation Kanteninformation aufweist, die Information enthält, welche in einer der Darstellungen der Szene vorhanden ist.
7. Verfahren nach irgendeinem vorangegangenen Anspruch, bei dem die Differenzinformation durch Vermindern der in Abhängigkeit von Bildtiefe und/oder Luminanzpegel übertragenen Information bandbreitenmäßig vermindert wird.
8. Gerät zum Übertragen von Videobildern, die Tiefeninformation enthalten, mit einer Eingangseinrichtung zum Empfangen von Videosignalen von wenigstens zwei Quellen (2, 14), welche Signale von verschiedenen Darstellungen derselben Szene (12) abgeleitet sind, gekennzeichnet durch eine Einrichtung (44, 46, 48) zum Korrelieren des Videosignals von einer ersten Videoquelle mit dem Videosignal von jeder anderen Quelle zum Bestimmen einer Vielzahl von Spitzenkorrelationswerten in Entsprechung zu Tiefeninformation darstellenden Translationsvektoren, eine Einrichtung (64) zum Überprüfen für jedes einer Vielzahl Pixel des Bildes dahingehend, welcher der Vektoren beim Ableiten eines Bildes aus dem anderen für dieses Pixel die beste Passung ergibt, eine Einrichtung (64) zum Zuordnen zu jedem Pixel denjenigen Vektor, der die beste Passung ergibt, und eine Sendereinrichtung zum Übertragen des Videosignals von der ersten Quelle und zum Übertragen dieser Vektoren als Differenzinformation, die angibt, wie zum Ausbilden einer Darstellung mit Tiefe das erste Signal zu ändern ist.
9. Gerät nach Anspruch 8, dadurch gekennzeichnet, daß die Korrelationseinrichtung enthält: eine Einrichtung (44) zum Berechnen der zweidimensionalen schnellen Fouriertransformierten der Luminanzkomponenten der Eingangssignale, eine Einrichtung (46) zum Berechnen der Phasendifferenz zwischen jeder Frequenzkomponente in dem ersten Signal und der entsprechenden Frequenzkomponente in einem parallelen Signal zum Erzeugen einer komplexen Anordnung von Einheitslängenvektoren und eine Einrichtung (48) zum Berechnen der schnellen Fourierrücktransformierten der Anordnung zum Erzeugen einer Phasenkorrelationsanordnung für die beiden Signale.
10. Videoübertragungssystem für Bilder, die Tiefeninformation haben, enthaltend:
bei einem Sender eine Eingangseinrichtung zum Empfangen von Videosignalen von wenigstens zwei Quellen (2, 14), welche Signale von verschiedenen Darstellungen derselben Szene (12) abgeleitet sind, gekennzeichnet durch
eine Einrichtung (44, 46, 48) zum Korrelieren des Videosignals von einer ersten Videoquelle mit dem Videosignal von jeder anderen Quelle zum Bestimmen einer Vielzahl von Spitzenkorrelationswerten in Entsprechung zu Tiefeninformation darstellenden Translationsvektoren, eine Einrichtung (64) zum Überprüfen für jedes einer Vielzahl Pixel der Bilder dahingehend, welcher dieser Vektoren beim Ableiten eines Bildes aus dem anderen für dieses Pixel die beste Passung ergibt, eine Einrichtung (64) zum Zuordnen zu jedem Pixel denjenigen Vektor, der die beste Passung ergibt, und eine Sendereinrichtung (20) zum Übertragen des Videosignals von der ersten Quelle und zum Übertragen dieser Vektoren als Differenzinformation, die angibt, wie zum Ausbilden einer Darstellung mit Tiefe das erste Signal zu ändern ist; und bei einem Empfänger ein Sichtgerät, das in der Lage ist, eine Illusion von Tiefe zu vermitteln, eine Eingangseinrichtung zum Empfangen des übertragenen ersten Videosignals und zum Empfangen der übertragenen Differenzinformation, die angibt, wie das erste Videosignal zum Ausbilden einer Sichtdarstellung mit Tiefe zu ändern ist, eine Einrichtung zum Modifizieren des empfangenen ersten Videosignals mit der Differenzinformation zum Bilden eines zweiten Videosignals und eine Einrichtung zum Zuführen des ersten und des zweiten Videosignals zu dem Sichtgerät.
11. Empfänger nach Anspruch 10, dadurch gekennzeichnet, daß die Sichtdarstellung eine stereoskopische Sichtdarstellung ist.
12. Empfänger nach Anspruch 10, dadurch gekennzeichnet, daß die Sichtdarstellung eine holographische Sichtdarstellung ist.
13. Ferngesteuerter Roboter, der das Verfahren nach Anspruch 1 zum Ableiten von Tiefeninformation aus seiner Umgebung anwendet.
DE87309703T 1986-11-06 1987-11-03 Dreidimensionale Videoübertragung. Expired - Fee Related DE3787867T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB868626527A GB8626527D0 (en) 1986-11-06 1986-11-06 3d video transmission

Publications (2)

Publication Number Publication Date
DE3787867D1 DE3787867D1 (de) 1993-11-25
DE3787867T2 true DE3787867T2 (de) 1994-03-24

Family

ID=10606891

Family Applications (1)

Application Number Title Priority Date Filing Date
DE87309703T Expired - Fee Related DE3787867T2 (de) 1986-11-06 1987-11-03 Dreidimensionale Videoübertragung.

Country Status (5)

Country Link
US (1) US4905081A (de)
EP (1) EP0267000B1 (de)
JP (2) JPS63198498A (de)
DE (1) DE3787867T2 (de)
GB (2) GB8626527D0 (de)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2650465B1 (fr) * 1989-07-26 1996-06-21 France Etat Procede de traitement et de transmission par un canal de type " mac " d'une sequence de couple d'images de television stereoscopique
US5140416A (en) * 1990-09-18 1992-08-18 Texas Instruments Incorporated System and method for fusing video imagery from multiple sources in real time
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US5065236A (en) * 1990-11-02 1991-11-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects
FR2671682B1 (fr) * 1991-01-16 1993-04-30 France Telecom Une methode de codage multi-voies.
AU652051B2 (en) * 1991-06-27 1994-08-11 Eastman Kodak Company Electronically interpolated integral photography system
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JP3414417B2 (ja) * 1992-09-30 2003-06-09 富士通株式会社 立体画像情報伝送システム
US5751341A (en) * 1993-01-05 1998-05-12 Vista Medical Technologies, Inc. Stereoscopic endoscope system
FR2705006B1 (fr) * 1993-05-05 1995-07-21 Particulier Editions Dispositif vidéo autostéréoscopique.
ES2131193T3 (es) * 1993-05-05 1999-07-16 Pierre Allio Dispositivo de video autoestereoscopico.
US5444479A (en) * 1993-09-02 1995-08-22 Vision Iii Imaging, Inc. Single camera autostereoscopic imaging apparatus
GB2285359A (en) * 1993-12-31 1995-07-05 Philips Electronics Uk Ltd Disparity coding images for bandwidth reduction
US6326995B1 (en) * 1994-11-03 2001-12-04 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
US5790086A (en) * 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5675377A (en) * 1995-06-30 1997-10-07 Telefonaktiebolaget Lm Ericsson True three-dimensional imaging and display system
US5892538A (en) * 1995-06-30 1999-04-06 Ericsson Inc. True three-dimensional imaging and display system
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
JPH09238367A (ja) * 1996-02-29 1997-09-09 Matsushita Electric Ind Co Ltd テレビジョン信号送信方法,テレビジョン信号送信装置,テレビジョン信号受信方法,テレビジョン信号受信装置,テレビジョン信号送信受信方法,テレビジョン信号送信受信装置
EP0817125B1 (de) * 1996-06-26 2004-09-08 Matsushita Electric Industrial Co., Ltd. Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
US6693666B1 (en) 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6275253B1 (en) * 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6157337A (en) * 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
EP1567984A1 (de) * 2002-11-27 2005-08-31 Koninklijke Philips Electronics N.V. Bildverarbeitungssystem und medizinisches untersuchungsgerät zur merkmalkorrelation in medizinischen bildern
JP5317955B2 (ja) * 2006-03-31 2013-10-16 コーニンクレッカ フィリップス エヌ ヴェ 複数の視野の効率的な符号化
CN101641720B (zh) * 2007-01-23 2014-01-29 蒙特·拉姆斯特德 广色域立体照片
US8194119B2 (en) * 2007-05-10 2012-06-05 Chroma3D Systems, Inc. Display of generalized anaglyphs without retinal rivalry
US20080297530A1 (en) * 2007-05-31 2008-12-04 Monte Jerome Ramstad Four primary color display apparatus and method
KR101749893B1 (ko) 2008-07-24 2017-06-22 코닌클리케 필립스 엔.브이. 다목적 3―d 화상 포맷
JP5387399B2 (ja) * 2009-12-28 2014-01-15 ソニー株式会社 情報処理装置および情報処理方法
JP2011138354A (ja) * 2009-12-28 2011-07-14 Sony Corp 情報処理装置および情報処理方法
JP2011139209A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置および方法
US8792559B2 (en) 2010-10-26 2014-07-29 Sony Corporation Method to improve accuracy and reliability of motion estimated with phase correlation
EP2848000B1 (de) 2012-05-11 2018-09-19 Intel Corporation Systeme und verfahren für eine stereoanpassung mit kausaler zeilenerfassungsreihenfolge
US8730300B1 (en) * 2013-01-15 2014-05-20 Byron J. Willner Three dimensional television encoding and broadcasting method
GB2561152B (en) * 2017-03-21 2021-01-13 Advanced Risc Mach Ltd Data processing systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3674921A (en) * 1969-11-12 1972-07-04 Rca Corp Three-dimensional television system
JPS5737993A (en) * 1980-08-14 1982-03-02 Toshiba Corp Stereoscopic television system
JPS5792989A (en) * 1980-12-01 1982-06-09 Kiyoshi Nagata Transmission and receiving system for stereoscopic color television
DE3229859A1 (de) * 1982-08-11 1984-02-16 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und empfaengerschaltungsanordnung zur wiedergabe stereoskopischer bildsignale in komplementaeren farben
JPS61144191A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像伝送方法
JPS61206395A (ja) * 1985-03-11 1986-09-12 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像信号の伝送方法
WO1986003924A1 (en) * 1984-12-17 1986-07-03 Nippon Hoso Kyokai System for transmitting stereoscopic television pictures
JPS61253993A (ja) * 1985-05-07 1986-11-11 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像信号の伝送方法
US4709265A (en) * 1985-10-15 1987-11-24 Advanced Resource Development Corporation Remote control mobile surveillance system
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement

Also Published As

Publication number Publication date
GB8725717D0 (en) 1987-12-09
GB8626527D0 (en) 1986-12-10
EP0267000A2 (de) 1988-05-11
GB2198310A (en) 1988-06-08
JPH06319157A (ja) 1994-11-15
EP0267000A3 (en) 1988-12-07
EP0267000B1 (de) 1993-10-20
GB2198310B (en) 1990-12-19
US4905081A (en) 1990-02-27
DE3787867D1 (de) 1993-11-25
JPS63198498A (ja) 1988-08-17

Similar Documents

Publication Publication Date Title
DE3787867T2 (de) Dreidimensionale Videoübertragung.
DE69528946T2 (de) Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionale Bilder
Tam et al. 3D-TV content generation: 2D-to-3D conversion
DE69215058T2 (de) Dreidimensionale Bildwiedergabeeinrichtung, die elektrisch erzeugte Parallaxstreifen verwendet
DE69726508T2 (de) Optimale Disparitätsschätzung zur Kodierung stereoskopischer Videosignale
DE102006055641B4 (de) Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
DE69221346T2 (de) Vorrichtung und Verfahren zur Erstellung stereoskopischer Bilder
DE10016074B4 (de) Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
DE69307673T2 (de) Halbautomatisches System zur Wiederherstellung der Lippensynchronisation
DE69531583T2 (de) Bildverarbeitungsverfahren und -gerät
US20110032341A1 (en) Method and system to transform stereo content
KR20040017333A (ko) 스테레오스코픽 영상 처리 장치 및 방법
DE3885551T2 (de) Verfahren und Vorrichtung zur Übertragung und zum Empfang von dreidimensionalen Videobildern.
US3697675A (en) Stereoscopic television system
KR960006661A (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
KR20130137000A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
KR20040071145A (ko) 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치
US5696551A (en) Three-dimension picture coding system
DE69320461T2 (de) Bewegungskompensierte Videobildverarbeitung
CN101103380A (zh) 深度感知
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
DE112010005437T5 (de) Stereoskopischer Videosignalprozessor mit verbessertem 3D-Effekt
DE68915286T2 (de) Verbessertes fernsehsystem unter verwendung von übertragenen fehlersignalen.
DE102011008886A1 (de) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
AT513369A2 (de) Verfahren zum Erzeugen, Übertragen und Empfangen stereoskopischer Bilder, und zugehörige Geräte

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8328 Change in the person/name/address of the agent

Free format text: PATENTANWAELTE REICHEL UND REICHEL, 60322 FRANKFURT

8339 Ceased/non-payment of the annual fee