DE3787867T2 - Dreidimensionale Videoübertragung. - Google Patents
Dreidimensionale Videoübertragung.Info
- Publication number
- DE3787867T2 DE3787867T2 DE87309703T DE3787867T DE3787867T2 DE 3787867 T2 DE3787867 T2 DE 3787867T2 DE 87309703 T DE87309703 T DE 87309703T DE 3787867 T DE3787867 T DE 3787867T DE 3787867 T2 DE3787867 T2 DE 3787867T2
- Authority
- DE
- Germany
- Prior art keywords
- depth
- video signal
- signal
- vectors
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 10
- 239000013598 vector Substances 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000003339 best practice Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
- Die Erfindung betrifft die Übertragung von Videobildern, die Tiefeninformation enthalten, und befaßt sich insbesondere mit einem solchen System, das die Kompatibilität mit monoskopischen Empfängern bewahrt.
- Trotz jüngster Fortschritte auf dem eine höhere Definition betreffenden Gebiet kann das Fernsehen so lange nicht das "Fenster der Welt" sein, bis es möglich ist, ein gewisses Maß an Tiefeninformation zu übermitteln. Es gab Versuche, rot/grüne Anaglyphenbilder zu übertragen, um eine stereoskopische Darstellung zu erzielen, jedoch führte dies zu Beanstandungen bei Betrachtern, die nicht über die notwendigen Brillen verfügten. Irgendeine Lösung für die Übertragung von dreidimensionalen Bildern muß aus praktischen gründen auch kompatible monoskopische Bilder übertragen.
- Die Methode der dreidimensionalen oder 3D-Bildwiedergabe höchster Qualität ist durch das Hologramm verkörpert. Es ist jedoch von wenig Nutzen für den Rundsendungstechniker, da die Szene wenigstens teilweise mit kohärentem Licht beleuchtet werden muß oder, falls eine Bildskalierung erforderlich ist, mit Mikrowellen oder Röntgenstrahlen (in Abhängigkeit von der Richtung der Skalierung). Selbst wenn man die Probleme der Bildskalierung durch eine gewisse Form der Signalverarbeitung überwinden könnte, würde die phänomenale Bandbreite eines "Roh"-Holograms in der Größenordnung von 100 Gbit/s beträchtliche Probleme bei der Redundanzentfernung, Kanalcodierung und Übertragung aufwerfen. Dennoch ist das Hologramm als Darstellung unübertroffen, und es übermittelt einen gewissen Realismus, der weit über das hinausgeht, was andere Methoden zu leisten imstande sind.
- Stereoskopie ist andererseits relativ einfach zu handhaben, und zwar unter Verwendung von verfügbarem Licht, und es ist lediglich das Zweifache der ursprünglichen Bandbreite erforderlich, selbst wenn man keinen Versuch zur Redundanzentfernung macht. Außerdem ist sie auch einer Bandbreitenverminderung zugänglich. Stereoskopie ist deshalb die beste Wahl sowohl für das Studio als auch für die Übertragung. Bezüglich der Darstellung kann man jedoch Stereokoskopie nicht bevorzugen, da die meisten Systeme polarisierende Augengläser benötigen und das Bild ohne sie nicht überwachbar ist.
- Die US 3 674 921 beschreibt ein Verfahren zum Übertragen eines stereoskopischen Signals mit einer verminderten Bandbreite dadurch, daß ein monoskopisches Signal und ein Differenzsignal übertragen werden. Das Differenzsignal mit einer Bandbreite von 0,5 MHz wird abgeleitet von der Hochfrequenzdifferenz zwischen zwei Quellensignalen. Das meiste an stereoskopischer Information ist in dem Hochfrequenzbereich der Differenzsignale konzentriert, jedoch wird, selbst wenn man nur diesen Teil des Differenzsignals überträgt, Information übertragen, die für den stereoskopischen Empfang nicht erforderlich ist, so daß eine weitere Bandbreitenverminderung schwierig ist.
- In der DE-A-3 225 859 ist ein 3D-System beschrieben, das die Differenz in den Luminanzsignalen zwischen entsprechenden Bildelementen oder Pixeln in zwei Darstellungen derselben Szene verwendet, um eine Rand- oder Kanteninformation abzuleiten und auf diese Weise eine grobe Form eines Tiefensignals zu erzeugen. Diese Form von Tiefensignal ist jedoch äußerst anfällig gegenüber Rausch-, Ausleucht-, Szenen- oder Aufnahmeänderungen. Die einzige Information, die zum Erzeugen einer Darstellung zur Verfügung steht, die Tiefeninformation enthält, wären die Kantensignale. Bei Anwendung auf eine stereoskopische Darstellung würden allerdings die Gegenstände wie flache kartenartige Ausschnitte erscheinen und nicht einen dreidimensionalen Eindruck auslösen. Es handelt sich deshalb um ein äußerst grobes 3D-System.
- In der EP-A-0 204 006 ist ein System beschrieben, das ein Bild einer Szene in Blöcke unterteilt und dann für jeden Block ein Gesamtverschiebesignal berechnet. Dieses Verschiebesignal gibt die Differenz zwischen diesem Block und einem entsprechenden Block in einem anderen Bild derselben Szene an. Somit wird ein Signal zum Übertragen auf einer blockweisen Grundlage erzeugt. Dieses System hat Schwierigkeiten, wenn in einem Block mehr als eine Verschiebung auftritt, was beispielsweise durch Parallaxeneffekte hervorgerufen werden kann. Das eine oder das andere der Signale wird ausgewählt und diesem Block zugeordnet werden müssen. Dies führt zu einer Situation, bei der eine 3D-Darstellung eines Bildes auf einer stereoskopischen Darstellung so erscheint, als sei sie auf einer extrem unebenen Ziegelsteinwand aufgemalt.
- Die WO 87/05 769, bei der es sich um ein Dokument nach Artikel 54(3) handelt, ist auf ein System zum Ableiten von Bewegungsvektoren aus einer Sequenz Videobilder, die die Bewegung von Gegenständen zwischen Einzelbildern der Sequenz darstellen, gerichtet. Das beschriebene System ist auf Anwendungen wie Fernsehumsetzung und Zeitlupensequenzerzeugung einsetzbar.
- Die Erfindung ist durch die beigefügten Ansprüche definiert, auf die jetzt Bezug genommen wird.
- Die im Anspruch 1 der vorliegenden Patentanmeldung definierte Erfindung ordnet Vektoren auf einer bildweisen Grundlage zu und ist daher besser in der Lage, in einer Darstellung, die Tiefeninformation enthält, glatte Tiefenänderungen zu repräsentieren.
- Ein bevorzugtes Ausführungsbeispiel der Erfindung wird nachstehend beispielshalber unter Bezugnahme auf Zeichnungen beschrieben. Es zeigen:
- Fig. 1 ein schematisches Blockschaltbild eines Senders und Empfängers, die die Erfindung verkörpern, und
- Fig. 2 ein Blockschaltbild der "Bewegungs"-Detektorschaltung, die beim Ausführungsbeispiel der Erfindung verwendet wird.
- Obgleich dieses Ausführungsbeispiel unter Bezugnahme auf das PAL-Fernsehsystem beschrieben wird, ist die Erfindung gleichermaßen anwendbar auf andere Systeme wie NTSC, MAC oder digitalgestützte Fernseh- oder TV-Systeme.
- Der Sender 10 hat zwei Kameras zum Beobachten einer Szene 12, nämlich eine mit 14 gekennzeichnete Kamera 1 und eine mit 16 gekennzeichnete Kamera 2. Der Ausgang der Kamera 1 wird als das Haupt- oder monoskopische Bild genommen und einem PAL-Codierer 18 und nachfolgenden Senderschaltungen (TX) 20 zugeführt. Der Ausgang der Kamera 2 wird in einer Schaltung 22 mit dem Ausgang der Kamera 1 verglichen, um ein Signal vorzusehen, das Information bezüglich der Unterschiede zwischen den beiden Kameraausgängen trägt. Diese Differenzinformation wird in einem Modulator (MX) 24 auf einen Hilfsträger moduliert und dann den Senderschaltungen 20 zugeführt. Der Ausgang des Senders bildet den Eingang zu einer Übertragungsverbindung 28.
- Einer von zahlreichen stereoskopischen Empfängern 30 empfängt das übertragene Signal in Empfängerschaltungen (RX) 32, die das PAL-codierte Hauptsignal einem PAL-Decoder 34 zuführen. Das Hilfsträgersignal wird einem Demodulator (DMX) 36 zugeführt, der somit die übertragene Differenzinformation an einen Modifikator 38 liefert. Der Modifikator empfängt den monoskopischen Videoausgang des PAL-Decoders 34 und verwendet das Differenzsignal, um daraus den Ausgang der Kamera 2 des Senders wiederzugewinnen. Die beiden jetzt zur Verfügung stehenden Videosignale werden einem ersten bzw. zweiten Videoeingang eines stereoskopischen Sichtgeräts 40 zugeführt, das von einem Betrachter 42 beobachtet wird, der stereoskopische Augengläser trägt.
- Die Schaltung 22 des Senders ist als "Bewegungs"-Detektor einer Art ausgebildet, wie sie in der britischen Patentanmeldung GB-A-2 188 510 beschrieben ist.
- Ein Blockdiagramm der Schaltung 22 ist in Fig. 2 gezeigt. Diese Schaltung arbeitet in zwei Stufen. In der ersten Stufe werden die Eingänge von der linken und rechten Kamera 1 und 2 nach Fig. 1 zwei parallelen Block-für-Block- FFT-Schaltungen 44 (FFT = schnelle Fouriertransformation) zugeführt. Diese berechnen die zweidimensionalen schnellen Fouriertransformierten der Luminanzkomponenten der beiden Eingangssignale. Eine Phasendifferenz-Berechnungsschaltung 46 empfängt die Ausgänge der beiden Block-für-Block-FFT- Schaltungen. Der Ausgang dieser Schaltung 46 ist eine Anordnung aus Einheitslängenvektoren, deren Phasenwinkel gleich den Differenzen in den Phasen in den beiden Bildern für jede räumliche Frequenzkomponente in den Transformierten ist.
- Diese resultierende komplexe Anordnung aus Vektoren wird dann einer weiteren Block-für-Block-FFT-Schaltung 48 zugeführt, die an den Vektoren eine inverse oder Rück-FFT vornimmt. Der resultierende Ausgang 50 ist eine Anordnung aus reellen Zahlen, die der Korrelationsoberfläche zwischen den beiden Bildern entsprechen. Eine Suchschaltung 52 lokalisiert die Peaks oder Spitzen in der Korrelationsoberfläche und erzeugt einen Satz aus "Bewegungs"- oder "Tiefen"-Probevektoren V&sub1; bis Vn, die den Differenzen zwischen den beiden Bildern bezüglich der relativen Bewegung oder der relativen Tiefe der Szene im Ausgang der Kamera 2 verglichen mit demjenigen der Kamera 1 entsprechen.
- Die zweite Stufe umfaßt das Ausprobieren jedes dieser möglichen Vektoren auf jedes Pixel (Bildelement) und die Zuordnung des Vektors, der am besten geeignet ist. Das linke und das rechte Bildsignal laufen durch ein Paar Kompensationsverzögerungen 54, um sie mit den Tiefenvektoren wieder zu synchronisieren. Das linke und rechte Signal treten dann in eine Bank identischer Schaltungen ein, die auch Eingänge zum Empfang der Tiefenvektoren V&sub1; bis Vn haben.
- In jeder dieser Schaltungen bildet das rechte Bildsignal den Eingang zu einer Verschiebebildschaltung 56, die das Bild um einen Betrag verschiebt, der dem jeweiligen Tiefenvektor Vi proportional ist. Ein Subtrahierer 58 berechnet dann die Differenz zwischen dem verschobenen rechten Bildsignal und dem nichtverschobenen linken Bildsignal dadurch, daß das linke Bildsignal von dem verschobenen rechten Bildsignal subtrahiert wird.
- Die Ausgänge der jeweiligen Subtrahierer werden in jeweiligen Modulatoren 60 moduliert und gelangen dann zu jeweiligen Tiefpaßfiltern 62, die einen Satz von Fehlern (E&sub1; bis En) erzeugen, die dem Ergebnis der Tiefenvektoren V&sub1; bis Vn entsprechen. Ein Mikroprozessor 64 sucht dann den kleinsten Fehler für jedes Bildelement und ordnet den Tiefenvektor, der diesen Fehler erzeugt hat, diesem Bildelement zu.
- Diese Operationen müssen nicht an dem Bild in seiner Gesamtheit ausgeführt werden.
- Diese Operationen müssen nicht an dem Bild in seiner Gesamtheit ausgeführt werden. Es ist möglich, das Bild in Blöcke aufzuteilen und jeden Block separat zu bearbeiten, wobei jeder Block typischerweise aus 64·64 Pixel besteht.
- Um die Funktion der Schaltung 22 in weiteren Einzelheiten zum Ableiten eines Differenzsignals für stereoskopische Übertragungen zu erläutern, muß man zunächst die diskrete zweidimensionale Fouriertransformierten G&sub1; und G&sub2; betrachten, die aus den beiden Eingangssignalen der beiden Kamerabilder abgeleitet worden sind. Die komplexe Anordnung oder Matrix Z wird berechnet bei jeder räumlichen Frequenz (m,n) aus G&sub1; und G&sub2;, und zwar unter Verwendung von:
- z(m,n) = G&sub1;(m,n)G&sub2;(m,n)*/G&sub1;(m,n)G&sub2;(m,n)*
- Die Phasenkorrelation ist gegeben durch die Fourierrücktransformierte von z, die nur reelle Komponenten hat.
- Die resultierende Phasenkorrelationsanordnung kann man sich als eine Oberfläche denken, deren Höhe bei einem besonderen Punkt (x,y) proportional dazu ist, wie gut die beiden Bilder korrelieren, wenn die relative Verschiebung zwischen ihnen (x,y) ist. Für den Fall einer einfachen Verschiebung zwischen den beiden Bildern, wie in dieser Anmeldung mit zwei nichtparallelen Kameraeingängen, wäre die Korrelationsoberfläche eine Deltafunktion, die auf dem Verschiebevektor zentriert wäre. Die Idee ist, daß in dieser Oberfläche für jeden dominanten Tiefenvektor in der Szene ein Peak oder eine Spitze ist. Das Herausfinden dieser Tiefenvektoren umfaßt die Suche nach großen Spitzen in der Oberfläche. Die relativen Höhen der Spitzen reflektieren die relativen Tiefen der Gegenstände. Das hauptsächliche neue Merkmal dieser Methode ist es, nach einigen Spitzen zu schauen anstatt gerade nach einer, so daß viele Tiefenvektoren mit einer Operation erfaßt werden können.
- Um die Tiefenvektoren auf eine Subpixelgenauigkeit zu messen, ist es notwendig, eine gewisse Interpolation an der Korrelationsoberfläche auszuführen.
- Um von den in einer Szene vorhandenen Tiefen so viele wie möglich zu messen, ist es hilfreich, das Bild in Blöcke zu unterteilen, anstatt Korrelationen an Gesamtbildern vorzunehmen. Die Anzahl der einzelnen Spitzen, die genau erfaßt werden können, ist nämlich durch Rauschen auf etwa drei Spitzen pro Block begrenzt. Darüber hinaus ist das Auflösen von Tiefenspitzen nur möglich, wenn sie um einen Verschiebevektor getrennt sind, der größer als etwa ein Pixel pro Teil- oder Halbbildperiode ist. Die Blockgröße würde groß sein im Vergleich zu den größten Verschiebungen, die erwartet werden, da die Technik Gegenstände, die in verschiedenen Blöcken in den beiden Bildern sind, nicht korrelieren kann. Eine Größe von 64·64 Pixel ist genehm. Wenn es andererseits lediglich notwendig ist, die wenigen am meisten signifikanten Tiefenvektoren zu messen, dann kann man auch Gesamtbilder transformieren oder wenigstens sehr große Blöcke. Es sei daran erinnert, daß diese Unterteilung in Blöcke lediglich für den Zweck der Messung der Tiefenvektoren gemacht wird. Die Vektoren sind immer noch auf einer pixelweisen Grundlage zugeordnet.
- Die erste Stufe des Prozesses liefert einen Satz von Tiefenvektoren, die in der Szene vorhanden sind, sagt jedoch nichts darüber aus, welche Teile der Szene auf jeder Tiefe sind. Die zweite Stufe umfaßt das "Ausprobieren" jedes möglichen Vektors auf jedes Pixel und die Zuordnung desjenigen Vektors, der die beste "Passung" (fit) liefert. In Situationen, wo die Tiefeninformation auf einer blockweisen Grundlage erforderlich ist (beispielsweise bei einem Bandbreitenkompressionssystem auf Blockbasis), bestände keine Notwendigkeit, einen Vektor jedem Pixel zuzuordnen, und die Zuordnung würde auf einer Blockgrundlage erfolgen.
- Für jeden erfaßten Vektor wird eine "Fehleroberfläche" dadurch gebildet, daß die Modulusdifferenz zwischen den beiden Eingangsbildern berechnet wird, wenn sie um den betrachteten Tiefenvektor verschoben sind. Bereiche der beiden Bilder, die gut zueinander passen, erzeugen geringe Fehler, und die Annahme ist vernünftig, daß diese Bereiche einem Gegenstand mit diesem besonderen Tiefenvektor entsprechen. Es wird bevorzugt, eine gewisse räumliche Filterung an der Fehleroberfläche vorzunehmen, um Rauscheffekte zu reduzieren.
- Wenn die Tiefenvektoren auf Subpixelgenauigkeit gemessen werden, ist es notwendig, bei der Berechnung der Fehleroberfläche ein gewisses Ausmaß eines räumlichen Interpolators anzuwenden.
- Sobald all die in der ersten Stufe gemessenen Tiefenvektoren ausprobiert sind, wird jedes Pixel demjenigen Tiefenvektor zugeordnet, der zum kleinsten Fehlerwert geführt hat. Man kann einen Schwellenwert-Fehlerpegel setzen, der den maximal annehmbaren Fehlerpegel definiert. Pixel, deren Fehler oberhalb dieses Pegels bei jedem Probevektor liegen, könnte man kennzeichnen mit "Tiefe nicht bekannt". Solche Pixel entsprechen wahrscheinlich Bereichen von Kanteninformation, die nur von einer der beiden Kameras gesehen wird.
- Wenn die Tiefenvektoren dadurch gemessen werden, daß die Bilder in Blöcken anstatt in ihrer Gesamtheit transformiert werden, dann ist das Ausprobieren lediglich solcher Vektoren sinnvoll, die in der Nachbarschaft des betrachteten Pixels gemessen worden sind. Es ist wahrscheinlich, daß den meisten Pixeln der richtige Vektor dadurch zugeordnet werden kann, daß lediglich diejenigen Vektoren in Betracht gezogen werden, die in dem Block mit dem Pixel gemessen worden sind. Es ist allerdings vorbildlich, auch diejenigen Vektoren auszuprobieren, die in den unmittelbar angrenzenden Blöcken gemessen worden sind, und zwar insbesondere Pixel nahe des Randes der Blöcke. Dies ist in Situationen wichtig, wo ein kleiner Abschnitt eines Gegenstands in benachbarten Blöcken für die beiden Kamerabilder ist.
- Somit wird das Hauptsignal als monoskopisches Videosignal übertragen. Die Differenzinformation enthält Tiefen- und Kanteninformation. Die beiden Bilder des stereoskopischen Signals werden korreliert, wie gerade beschrieben, und die Vektorzuordnungsfunktion des Verfahrens ist Tiefenzuordnung. Was der nicht aufgedeckte Hintergrund in dem Bewegungsdetektor der früheren Anmeldung war, ist jetzt Kanteninformation, die lediglich von einer der beiden Kameras gesehen wird.
- Das Differenzsignal in der Form von Tiefen und Kanten ist zur Bandbreitenreduktion geeignet. Diese kann die Form von Filterung und Unter- oder Subabtastung als auch nichtlineare Quantisierung als Funktion von Tiefe und Luminanzwert annehmen, da die Genauigkeit des Auges beim Feststellen von Tiefe abnimmt, wenn die Tiefe zunimmt und der Luminanzpegel abfällt. Das Differenzsignal kann als ein Datenkanal codiert sein oder als ein Unterträger in mehr herkömmlichen Übertragungssystemen, wie des dargestellten.
- In einer Idealwelt wäre das monoskopische Signal irgendeine Art von Summe, die das Differenzsignal komplementieren würde. Eine solche Betrachtung mag allerdings ungeeignet sein, da der Mono-Betrachter ein Signal dargeboten bekäme, das stets von den linken und rechten Signalen interpoliert wäre. Dies wäre sicherlich weniger annehmbar als die Übertragung des ursprünglichen linken oder rechten Signals als kompatibles monoskopisches Signal.
- Das stereoskopische Signal ist für die Zwecke der Sichtdarstellung nicht gut. Durch Codierung des Stereosignals als Mono und als Tiefen und Kanten stehen allerdings alle Sichtdarstellungsoptionen offen. Die Sichtdarstellung kann stereoskopisch sein, möglicherweise Augengläser zur Betrachtung erfordern, jedoch ist sie mit der heutigen Technik durchführbar. Schließlich könnte ein Rechner im Sichtgerät die Phase und Amplituden berechnen, die erforderlich sind, um in Echtzeit ein Hologramm zu erzeugen. Ein derartiges Hologramm hätte lediglich seitliche Stereoskopie, es sei denn, daß mehr Kameras, Korrelatoren und Übertragungsbandbreite verwendet werden würde, aber normalerweise sollte es so genügen.
- Falls eine Vertikalkomponente der Stereoskopie benötigt würde, wäre eine dritte Kamera und Extrakorrelation erforderlich.
- Man erkennt somit, daß die für nachfolgende Bewegung entwickelten Phasenkorrelationsalgorithmen direkt auf das Problem der stereoskopischen Übertragung angewendet werden können. Die für solche Folgebewegung konstruierte Hardware ist deshalb gleichermaßen geeignet. Unter Verwendung dieser Technik kann man ein Signal senden, das mit monoskopischen Sichtgeräten kompatibel ist, und zwar durch Aussenden der Stereoinformation in einem Datenkanal oder auf einem Subträger. Die Stereoinformation kann jetzt in ein Stereogramm decodiert werden, und zwar mit der Option einer holographischen Sichtdarstellung für die Zukunft.
- Das obige Verfahren könnte man auch in Verbindung mit Robotern als Fernfühltechnik einsetzen. In einer gefährlichen Umgebung benutzen Roboter sehr oft stereoskopisches Fernsehen, um eine Ansicht ihrer Umgebung dem Benutzer mitzuteilen. Die beschriebene Technik könnte man verwenden, um den Abstand eines Gegenstands von einem Roboter abzuleiten und darzustellen, und man würde auf diese Weise die Notwendigkeit eines separaten Radar- oder Ultraschallentfernungsmessers vermeiden. Die Bandbreite des Systems könnte ebenfalls reduziert werden.
Claims (13)
1. Verfahren zum Übertragen von Videobildern, die
Tiefeninformation enthalten, mit den Schritten: Bereitstellen
von Videosignalen, die wenigstens von zwei Quellen
stammen und von verschiedenen Darstellungen derselben Szene
abgeleitet sind,
gekennzeichnet durch
Korrelieren des Videosignals einer ersten Quelle mit dem
Videosignal von jeder anderen Quelle zum Bestimmen einer
Vielzahl von Spitzenkorrelationswerten in Entsprechung
zu Tiefeninformation darstellenden Translationsvektoren,
Durchführen einer Überprüfung für jedes einer Vielzahl
Pixel der Bilder dahingehend, welcher dieser Vektoren
beim Ableiten eines Bildes aus dem anderen für
dieses Pixel die beste Passung ergibt, Zuordnen jedes
Pixels zu demjenigen Vektor, der die beste Passung
ergibt, Übertragen des Videosignals von der ersten Quelle
und Übertragen der abgeleiteten Vektoren für jeden
Pixelbereich als Differenzinformation, die angibt, wie zum
Bilden einer Darstellung mit Tiefe das erste Signal zu
ändern ist.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
daß die Korrelation des Videosignals von der ersten Quelle
mit dem Videosignal von jeder anderen Quelle die Schritte
enthält: Berechnen der zweidimensionalen schnellen
Fouriertransformierten der Luminanzkomponenten der beiden Signale,
Berechnen der Phasendifferenz zwischen jeder
Frequenzkomponente in dem ersten Signal und der entsprechenden
Frequenzkomponente in einem parallelen Signal zum Erzeugen
einer komplexen Anordnung von Einheitslängenvektoren und
Berechnen der schnellen Fourierrücktransformierten dieser
Anordnung zum Erzeugen einer Phasenkorrelationsanordnung
für die beiden Signale.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
daß die Differenzinformation auf einem Hilfsträger
übertragen wird.
4. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
daß die Differenzinformation in einem Digitaldatenkanal
übertragen wird.
5. Verfahren nach Anspruch 1, 2, 3 oder 4,
dadurch gekennzeichnet,
daß die Differenzinformation angibt, wie ein monoskopisches
Bild zum Ausbilden von wenigstens einem zweiten Bild
geändert werden muß, daß das zweite Bild eines
stereoskopischen Paares entsteht.
6. Verfahren nach irgendeinem vorangegangenen Anspruch,
bei dem die Differenzinformation Kanteninformation aufweist,
die Information enthält, welche in einer der Darstellungen
der Szene vorhanden ist.
7. Verfahren nach irgendeinem vorangegangenen Anspruch,
bei dem die Differenzinformation durch Vermindern der in
Abhängigkeit von Bildtiefe und/oder Luminanzpegel
übertragenen Information bandbreitenmäßig vermindert wird.
8. Gerät zum Übertragen von Videobildern, die
Tiefeninformation enthalten, mit einer Eingangseinrichtung zum
Empfangen von Videosignalen von wenigstens zwei Quellen
(2, 14), welche Signale von verschiedenen Darstellungen
derselben Szene (12) abgeleitet sind,
gekennzeichnet durch
eine Einrichtung (44, 46, 48) zum Korrelieren des
Videosignals von einer ersten Videoquelle mit dem Videosignal
von jeder anderen Quelle zum Bestimmen einer Vielzahl von
Spitzenkorrelationswerten in Entsprechung zu
Tiefeninformation darstellenden Translationsvektoren, eine
Einrichtung
(64) zum Überprüfen für jedes einer Vielzahl Pixel des
Bildes dahingehend, welcher der Vektoren beim Ableiten eines
Bildes aus dem anderen für dieses Pixel die beste Passung
ergibt, eine Einrichtung (64) zum Zuordnen zu jedem Pixel
denjenigen Vektor, der die beste Passung ergibt, und eine
Sendereinrichtung zum Übertragen des Videosignals von der
ersten Quelle und zum Übertragen dieser Vektoren als
Differenzinformation, die angibt, wie zum Ausbilden einer Darstellung
mit Tiefe das erste Signal zu ändern ist.
9. Gerät nach Anspruch 8,
dadurch gekennzeichnet,
daß die Korrelationseinrichtung enthält: eine Einrichtung
(44) zum Berechnen der zweidimensionalen schnellen
Fouriertransformierten der Luminanzkomponenten der Eingangssignale,
eine Einrichtung (46) zum Berechnen der Phasendifferenz
zwischen jeder Frequenzkomponente in dem ersten Signal und
der entsprechenden Frequenzkomponente in einem parallelen
Signal zum Erzeugen einer komplexen Anordnung von
Einheitslängenvektoren und eine Einrichtung (48) zum Berechnen der
schnellen Fourierrücktransformierten der Anordnung zum
Erzeugen einer Phasenkorrelationsanordnung für die beiden
Signale.
10. Videoübertragungssystem für Bilder, die
Tiefeninformation haben, enthaltend:
bei einem Sender eine Eingangseinrichtung zum Empfangen
von Videosignalen von wenigstens zwei Quellen (2, 14),
welche Signale von verschiedenen Darstellungen derselben Szene
(12) abgeleitet sind,
gekennzeichnet durch
eine Einrichtung (44, 46, 48) zum Korrelieren des
Videosignals von einer ersten Videoquelle mit dem Videosignal von
jeder anderen Quelle zum Bestimmen einer Vielzahl von
Spitzenkorrelationswerten in Entsprechung zu Tiefeninformation
darstellenden Translationsvektoren, eine Einrichtung (64) zum
Überprüfen für jedes einer Vielzahl Pixel der Bilder
dahingehend, welcher dieser Vektoren beim Ableiten eines
Bildes aus dem anderen für dieses Pixel die beste Passung
ergibt, eine Einrichtung (64) zum Zuordnen zu jedem Pixel
denjenigen Vektor, der die beste Passung ergibt, und eine
Sendereinrichtung (20) zum Übertragen des Videosignals von
der ersten Quelle und zum Übertragen dieser Vektoren als
Differenzinformation, die angibt, wie zum Ausbilden einer
Darstellung mit Tiefe das erste Signal zu ändern ist; und
bei einem Empfänger ein Sichtgerät, das in der Lage
ist, eine Illusion von Tiefe zu vermitteln, eine
Eingangseinrichtung zum Empfangen des übertragenen ersten
Videosignals und zum Empfangen der übertragenen
Differenzinformation, die angibt, wie das erste Videosignal zum Ausbilden
einer Sichtdarstellung mit Tiefe zu ändern ist, eine
Einrichtung zum Modifizieren des empfangenen ersten
Videosignals mit der Differenzinformation zum Bilden eines
zweiten Videosignals und eine Einrichtung zum Zuführen des
ersten und des zweiten Videosignals zu dem Sichtgerät.
11. Empfänger nach Anspruch 10,
dadurch gekennzeichnet,
daß die Sichtdarstellung eine stereoskopische
Sichtdarstellung ist.
12. Empfänger nach Anspruch 10,
dadurch gekennzeichnet,
daß die Sichtdarstellung eine holographische
Sichtdarstellung ist.
13. Ferngesteuerter Roboter, der das Verfahren nach
Anspruch 1 zum Ableiten von Tiefeninformation aus seiner
Umgebung anwendet.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB868626527A GB8626527D0 (en) | 1986-11-06 | 1986-11-06 | 3d video transmission |
Publications (2)
Publication Number | Publication Date |
---|---|
DE3787867D1 DE3787867D1 (de) | 1993-11-25 |
DE3787867T2 true DE3787867T2 (de) | 1994-03-24 |
Family
ID=10606891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE87309703T Expired - Fee Related DE3787867T2 (de) | 1986-11-06 | 1987-11-03 | Dreidimensionale Videoübertragung. |
Country Status (5)
Country | Link |
---|---|
US (1) | US4905081A (de) |
EP (1) | EP0267000B1 (de) |
JP (2) | JPS63198498A (de) |
DE (1) | DE3787867T2 (de) |
GB (2) | GB8626527D0 (de) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2650465B1 (fr) * | 1989-07-26 | 1996-06-21 | France Etat | Procede de traitement et de transmission par un canal de type " mac " d'une sequence de couple d'images de television stereoscopique |
US5140416A (en) * | 1990-09-18 | 1992-08-18 | Texas Instruments Incorporated | System and method for fusing video imagery from multiple sources in real time |
US5220441A (en) * | 1990-09-28 | 1993-06-15 | Eastman Kodak Company | Mechanism for determining parallax between digital images |
US5065236A (en) * | 1990-11-02 | 1991-11-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects |
FR2671682B1 (fr) * | 1991-01-16 | 1993-04-30 | France Telecom | Une methode de codage multi-voies. |
AU652051B2 (en) * | 1991-06-27 | 1994-08-11 | Eastman Kodak Company | Electronically interpolated integral photography system |
US5179441A (en) * | 1991-12-18 | 1993-01-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Near real-time stereo vision system |
JP3414417B2 (ja) * | 1992-09-30 | 2003-06-09 | 富士通株式会社 | 立体画像情報伝送システム |
US5751341A (en) * | 1993-01-05 | 1998-05-12 | Vista Medical Technologies, Inc. | Stereoscopic endoscope system |
FR2705006B1 (fr) * | 1993-05-05 | 1995-07-21 | Particulier Editions | Dispositif vidéo autostéréoscopique. |
ES2131193T3 (es) * | 1993-05-05 | 1999-07-16 | Pierre Allio | Dispositivo de video autoestereoscopico. |
US5444479A (en) * | 1993-09-02 | 1995-08-22 | Vision Iii Imaging, Inc. | Single camera autostereoscopic imaging apparatus |
GB2285359A (en) * | 1993-12-31 | 1995-07-05 | Philips Electronics Uk Ltd | Disparity coding images for bandwidth reduction |
US6326995B1 (en) * | 1994-11-03 | 2001-12-04 | Synthonics Incorporated | Methods and apparatus for zooming during capture and reproduction of 3-dimensional images |
US5790086A (en) * | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
US6005607A (en) | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
US5675377A (en) * | 1995-06-30 | 1997-10-07 | Telefonaktiebolaget Lm Ericsson | True three-dimensional imaging and display system |
US5892538A (en) * | 1995-06-30 | 1999-04-06 | Ericsson Inc. | True three-dimensional imaging and display system |
US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
JPH09238367A (ja) * | 1996-02-29 | 1997-09-09 | Matsushita Electric Ind Co Ltd | テレビジョン信号送信方法,テレビジョン信号送信装置,テレビジョン信号受信方法,テレビジョン信号受信装置,テレビジョン信号送信受信方法,テレビジョン信号送信受信装置 |
EP0817125B1 (de) * | 1996-06-26 | 2004-09-08 | Matsushita Electric Industrial Co., Ltd. | Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik |
US6693666B1 (en) | 1996-12-11 | 2004-02-17 | Interval Research Corporation | Moving imager camera for track and range capture |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US6275253B1 (en) * | 1998-07-09 | 2001-08-14 | Canon Kabushiki Kaisha | Stereographic image compression with image moment normalization |
US6157337A (en) * | 1999-01-29 | 2000-12-05 | Sony Corporation | 3D image acquiring and viewing systems and methods |
US7193645B1 (en) | 2000-07-27 | 2007-03-20 | Pvi Virtual Media Services, Llc | Video system and method of operating a video system |
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
EP1567984A1 (de) * | 2002-11-27 | 2005-08-31 | Koninklijke Philips Electronics N.V. | Bildverarbeitungssystem und medizinisches untersuchungsgerät zur merkmalkorrelation in medizinischen bildern |
JP5317955B2 (ja) * | 2006-03-31 | 2013-10-16 | コーニンクレッカ フィリップス エヌ ヴェ | 複数の視野の効率的な符号化 |
CN101641720B (zh) * | 2007-01-23 | 2014-01-29 | 蒙特·拉姆斯特德 | 广色域立体照片 |
US8194119B2 (en) * | 2007-05-10 | 2012-06-05 | Chroma3D Systems, Inc. | Display of generalized anaglyphs without retinal rivalry |
US20080297530A1 (en) * | 2007-05-31 | 2008-12-04 | Monte Jerome Ramstad | Four primary color display apparatus and method |
KR101749893B1 (ko) | 2008-07-24 | 2017-06-22 | 코닌클리케 필립스 엔.브이. | 다목적 3―d 화상 포맷 |
JP5387399B2 (ja) * | 2009-12-28 | 2014-01-15 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2011138354A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 情報処理装置および情報処理方法 |
JP2011139209A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置および方法 |
US8792559B2 (en) | 2010-10-26 | 2014-07-29 | Sony Corporation | Method to improve accuracy and reliability of motion estimated with phase correlation |
EP2848000B1 (de) | 2012-05-11 | 2018-09-19 | Intel Corporation | Systeme und verfahren für eine stereoanpassung mit kausaler zeilenerfassungsreihenfolge |
US8730300B1 (en) * | 2013-01-15 | 2014-05-20 | Byron J. Willner | Three dimensional television encoding and broadcasting method |
GB2561152B (en) * | 2017-03-21 | 2021-01-13 | Advanced Risc Mach Ltd | Data processing systems |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3674921A (en) * | 1969-11-12 | 1972-07-04 | Rca Corp | Three-dimensional television system |
JPS5737993A (en) * | 1980-08-14 | 1982-03-02 | Toshiba Corp | Stereoscopic television system |
JPS5792989A (en) * | 1980-12-01 | 1982-06-09 | Kiyoshi Nagata | Transmission and receiving system for stereoscopic color television |
DE3229859A1 (de) * | 1982-08-11 | 1984-02-16 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Verfahren und empfaengerschaltungsanordnung zur wiedergabe stereoskopischer bildsignale in komplementaeren farben |
JPS61144191A (ja) * | 1984-12-17 | 1986-07-01 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像伝送方法 |
JPS61206395A (ja) * | 1985-03-11 | 1986-09-12 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像信号の伝送方法 |
WO1986003924A1 (en) * | 1984-12-17 | 1986-07-03 | Nippon Hoso Kyokai | System for transmitting stereoscopic television pictures |
JPS61253993A (ja) * | 1985-05-07 | 1986-11-11 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像信号の伝送方法 |
US4709265A (en) * | 1985-10-15 | 1987-11-24 | Advanced Resource Development Corporation | Remote control mobile surveillance system |
WO1987005769A1 (en) * | 1986-03-19 | 1987-09-24 | British Broadcasting Corporation | Tv picture motion measurement |
-
1986
- 1986-11-06 GB GB868626527A patent/GB8626527D0/en active Pending
-
1987
- 1987-11-03 EP EP87309703A patent/EP0267000B1/de not_active Expired - Lifetime
- 1987-11-03 DE DE87309703T patent/DE3787867T2/de not_active Expired - Fee Related
- 1987-11-03 GB GB8725717A patent/GB2198310B/en not_active Expired - Lifetime
- 1987-11-06 US US07/118,217 patent/US4905081A/en not_active Expired - Lifetime
- 1987-11-06 JP JP62280837A patent/JPS63198498A/ja active Pending
-
1994
- 1994-03-28 JP JP6057639A patent/JPH06319157A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
GB8725717D0 (en) | 1987-12-09 |
GB8626527D0 (en) | 1986-12-10 |
EP0267000A2 (de) | 1988-05-11 |
GB2198310A (en) | 1988-06-08 |
JPH06319157A (ja) | 1994-11-15 |
EP0267000A3 (en) | 1988-12-07 |
EP0267000B1 (de) | 1993-10-20 |
GB2198310B (en) | 1990-12-19 |
US4905081A (en) | 1990-02-27 |
DE3787867D1 (de) | 1993-11-25 |
JPS63198498A (ja) | 1988-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3787867T2 (de) | Dreidimensionale Videoübertragung. | |
DE69528946T2 (de) | Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionale Bilder | |
Tam et al. | 3D-TV content generation: 2D-to-3D conversion | |
DE69215058T2 (de) | Dreidimensionale Bildwiedergabeeinrichtung, die elektrisch erzeugte Parallaxstreifen verwendet | |
DE69726508T2 (de) | Optimale Disparitätsschätzung zur Kodierung stereoskopischer Videosignale | |
DE102006055641B4 (de) | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes | |
DE69221346T2 (de) | Vorrichtung und Verfahren zur Erstellung stereoskopischer Bilder | |
DE10016074B4 (de) | Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern | |
DE69307673T2 (de) | Halbautomatisches System zur Wiederherstellung der Lippensynchronisation | |
DE69531583T2 (de) | Bildverarbeitungsverfahren und -gerät | |
US20110032341A1 (en) | Method and system to transform stereo content | |
KR20040017333A (ko) | 스테레오스코픽 영상 처리 장치 및 방법 | |
DE3885551T2 (de) | Verfahren und Vorrichtung zur Übertragung und zum Empfang von dreidimensionalen Videobildern. | |
US3697675A (en) | Stereoscopic television system | |
KR960006661A (ko) | 2차원 영상을 3차원 영상으로 변환하는 방법 | |
KR20130137000A (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
KR20040071145A (ko) | 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치 | |
US5696551A (en) | Three-dimension picture coding system | |
DE69320461T2 (de) | Bewegungskompensierte Videobildverarbeitung | |
CN101103380A (zh) | 深度感知 | |
KR20100008677A (ko) | 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법 | |
DE112010005437T5 (de) | Stereoskopischer Videosignalprozessor mit verbessertem 3D-Effekt | |
DE68915286T2 (de) | Verbessertes fernsehsystem unter verwendung von übertragenen fehlersignalen. | |
DE102011008886A1 (de) | Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen | |
AT513369A2 (de) | Verfahren zum Erzeugen, Übertragen und Empfangen stereoskopischer Bilder, und zugehörige Geräte |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8328 | Change in the person/name/address of the agent |
Free format text: PATENTANWAELTE REICHEL UND REICHEL, 60322 FRANKFURT |
|
8339 | Ceased/non-payment of the annual fee |