DE102010023954A1 - Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene - Google Patents
Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene Download PDFInfo
- Publication number
- DE102010023954A1 DE102010023954A1 DE102010023954A DE102010023954A DE102010023954A1 DE 102010023954 A1 DE102010023954 A1 DE 102010023954A1 DE 102010023954 A DE102010023954 A DE 102010023954A DE 102010023954 A DE102010023954 A DE 102010023954A DE 102010023954 A1 DE102010023954 A1 DE 102010023954A1
- Authority
- DE
- Germany
- Prior art keywords
- video streams
- video
- entropy
- macroblocks
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
Abstract
Description
- Die Erfindung beschreibt ein Verfahren zum Mischen von Videoströmen auf der Makroblock-Ebene gemäß dem Oberbegriff des Patentanspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäß dem Oberbegriff des Patentanspruchs 9.
- In bestimmten Anwendungen ist es notwendig, dass der Inhalt von mehreren Videoströmen gleichzeitig an einem Gerät angezeigt wird. So sind beispielsweise Videokonferenzen mit mehr als zwei Teilnehmern bekannt, bei denen die Videosignale und Audiosignale zwischen zwei oder mehreren Standorten in Echtzeit übertragen werden. Die Endgeräte bzw. Softclients der Anwender sind zu diesem Zweck mit einer Kamera, heute meist USB-Webcam, und einem Mikrofon bzw. Headset als Eingabegeräte sowie einem Bildschirm und einem Lautsprecher bzw. Headset als Ausgabegeräte ausgestattet. Die Video- und Audiosignale können hardware-basiert über Steckkarten oder rein software-basiert encodiert und decodiert werden. Heutzutage wird von den Anwendern eines Videokonferenzsystems in der Regel gefordert, dass nicht nur der momentan sprechende Teilnehmer von allen anderen Teilnehmern gesehen wird, wie das bei „voice activated switching” Systemen der Fall ist, sondern dass alle oder zumindest mehrere der Gesprächspartner sich gleichzeitig gegenseitig auf dem Bildschirm sehen können, wie das bei „continous presence” Systemen der Fall ist.
- Ein weiteres Anwendungsbeispiel liegt im Bereich der Videoüberwachung, wobei in einem Kontrollraum mehrere Videoströme von unterschiedlichen Überwachungskameras gleichzeitig decodiert und live auf einem Bildschirm angezeigt werden. Verfügt das System nur über einen Decoder, dann kann immer nur ein Videostrom von einer Überwachungskamera zu einem Zeitpunkt decodiert und angezeigt werden.
- Aufgrund der Tatsache, dass heute sehr viele installierte Endgeräte bzw. Softclients von Videokonferenzsystemen nur über einen einzigen Decoder verfingen, ist es nicht möglich mehrere Videoströme gleichzeitig in diesen Endgeräten bzw. Softclients zu decodieren und anzuzeigen. Deshalb ist eine heute weit verbreitete Vorgehensweise, dass eine Video Bridge oder Multipoint Control Unit (MCU) eingesetzt wird. Diese stellt eine zentrale Einheit dar, die die encodierten Videoströme von mehreren Teilnehmern empfängt, verarbeitet und einen dedizierten Videostrom an alle Teilnehmer zurücksendet. Dazu müssen die Videoströme vollständig oder zumindest größtenteils decodiert, die Videodaten zusammengefügt und dann zu einem neuen Videostrom encodiert werden. Die
4 zeigt in schematischer Darstellung die vollständige Transcodierung von zwei H.264 codierten Videoströmen. Dieses Verfahren wird vielfach als hardware-basierte Implementierung realisiert, da es sehr komplex ist, was zu hohen Gerätekosten führt. Außerdem ergeben sich durch die Transcodierung Verzögerungszeiten durch die Vielzahl der Signalverarbeitungsschritte und Qualitätseinbußen durch die erneute Encodierung. - Ein weiteres bekanntes Verfahren ist das Mischen von Videoströmen auf der Slice-Ebene, wie in der Voranmeldung des gleichen Anmelders mit dem Titel „Mixen von Videoströmen” von den Erfindern Peter Amon und Andreas Hutter beschrieben.
- Im H.264/AVC Standard sind die Makroblöcke in sogenannten Slices organisiert, wobei jedes Slice unabhängig von anderen Slices decodiert werden kann. Mit dem im H.264/AVC Standard definierten Flexible Macroblock Ordering (FMO) ist eine flexible Zuordnung der Makroblöcke zu Slice-Gruppen möglich. Diese Möglichkeit wird gemäß dem Verfahren nun für das Mischen von mehreren Videoströmen verwendet. So kann für jeden Eingangs-Videostrom eine Slice-Gruppe definiert werden, die durch einen Video Mixer in einen Strom mit zwei Slice-Gruppen vereint werden. In
5 ist in einer schematischen Darstellung das Mischen zweier H.264 codierter Videoströme auf der Slice-Ebene gezeigt. Allerdings existieren heute viele Decoder, die Slice-Gruppen nicht unterstützen, wodurch das Mischen von Videoströmen auf der Slice-Ebene nicht anwendbar ist. - Für den Videocodierstandard H.261 ist vermutlich ein Verfahren bekannt, mit dem mehrere Bilder auf der Makroblock-Ebene zu einem neuen Bild zusammengefügt werden können. Die Vermutung, dass dieses Verfahren bekannt ist, begründet sich darauf, dass in dem Analystenreport „Will Your Next Video Bridge Be Software-Based?" von Wainhouse Research in 2003 (http://www.wainhouse.com/files/papers/wrsw-vdeo-bridges.pdf) über das Mixen von H.261 Videoströmen berichtet wird, ohne auf das Verfahren näher einzugehen. Allerdings lassen die Performance-Messungen vermuten, dass ein Verfahren wie oben beschrieben und in der
6 in schematischer Darstellung gezeigt, verwendet wird, da nicht so viele komplette Transcodiervorgänge gleichzeitig auf einem Rechner der angegebenen Leistungsstärke durchführbar sind. - H.261 verwendet zur Entropie-Codierung ein Variable Length Codes (VLC) Verfahren. Bei dem im H.261 Standard verwendeten variablen Längen-Codes wird ein zu codierendes Symbol mittels einer einzigen Codewort-Tabelle fest einem Codewort zugeordnet. Dadurch gibt es keine Abhängigkeit zwischen den Symbolen und somit zwischen den Makroblöcken. Somit kann durch einfache Umsortierung der Makroblöcke das Zusammenfügen von mehreren Videoströmen zu einem Videostrom durchgeführt werden.
- Um die zu übertragenden Daten, wie z. B. Restfehler aus den Prädiktionen, Differenz zu den geschätzten Bewegungsvektoren, etc., nochmals zu komprimieren werden diese mittels einer sogenannten Entropie-Kodierung codiert. Der H.264/AVC Standard bietet zwei Möglichkeiten von Entropie-Kodierung für die Videoströme, das Context-based Adaptive Variable Length Coding (CAVLC) Verfahren und das Context-based Adaptive Binary Arithmetic Coding (CABAC) Verfahren. Beide basieren auf sogenannter lernfähiger kontextabhängiger Entropie-Kodierung, entweder mit variabler Codelänge oder binär arithmetischer Codierung und erreichen dadurch Leistungsvorteile im Kodierungsprozess gegenüber den anderen Standards. Bei CAVLC gibt es bei der Codierung eines Makroblocks Abhängigkeiten von Codierentscheidungen von benachbarten, bereits codierten Makroblöcken. Bei CABAC wirkt sich die Codierung eines Symbols auf die Auswahl des Codewortes für das darauf folgende Symbol aus, so dass Abhängigkeiten zwischen den Codewörtern und somit zwischen den Makroblöcken entstehen. Das für H.261 codierte Ströme gezeigte Verfahren zum Mischen der Videoströme auf Makroblock-Ebene kann somit nicht unmittelbar zum Mischen von H.264/AVC codierten Videoströmen durchgeführt werden.
- Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Mischen von Videoströmen anzugeben, die mit Codewörtern für Makroblöcke codiert sind und bei denen die Codewörter Abhängigkeiten untereinander aufweisen, welches gegenüber dem Stand der Technik die aufgezeigten Nachteile vermeidet.
- Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 und durch eine Vorrichtung gemäß Patentanspruch 9 gelöst. Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen angegeben.
- Das erfindungsgemäße Verfahren geht vom Mischen der Videoströme, die nach dem H.264/AVC Standard codiert sind, auf der Makroblock-Ebene aus. Zunächst müssen die von den Teilnehmern empfangenen Videoströme decodiert werden. Dies geschieht durch das Auflösen der Abhängigkeiten zwischen den Codewörtern durch eine vollständige oder teilweise Entropie-Decodierung. Danach werden die Makroblöcke der Eingangs-Videoströme neu geordnet und zu einem neuen Makroblock zusammengefügt, der alle Daten der einzelnen Makroblöcke enthält. Abschließend wird ein neuer Videostrom encodiert und an alle oder eine bestimmte Anzahl von Teilnehmer gesendet, so dass sich die Teilnehmer gleichzeitig gegenseitig sehen können. Dies geschieht dadurch, dass die vollständige oder teilweise Entropie-Decodierung nach dem Mischen der Videoströme durch eine vollständige oder teilweise Entropie-Encodierung wieder rückgängig gemacht wird. Dieses Verfahren ist in
2 schematisch dargestellt, wobei zwei H.264 codierte Videoströme auf der Makroblock-Ebene gemischt werden. - Das erfinderische Verfahren kann für die beiden im H.264/AVC Standard definierten Entropie-Codierverfahren CAVLC und CABAC eingesetzt werden.
- Bei der CAVLC Methode wird für das zu kodierende Element in Abhängigkeit von den bereits übertragenen Daten zwischen verschiedenen VLC-Tabellen umgeschaltet. Da die VLC-Tabellen anhand von Statistiken sorgfältig konstruiert wurden, erzielt man so eine deutliche Leistungssteigerung gegenüber dem exponentiellen Golomb-Code.
- Im CAVLC Verfahren werden für jeden 4 × 4-Block folgende Syntaxelemente codiert:
- – coeff_token: Anzahl der Koeffizienten ungleich Null (0–16) und die Anzahl der Einsen am Ende des Zig-Zag-Scans, den sogenannten „trailing ones”
- – trailing_ones_sign_flag: Vorzeichen der „trailing ones”
- – level_prefix und level_suffix: Betrag und Vorzeichen der Koeffizienten ungleich Null, ohne „trailing ones”
- – total_zeros: Anzahl der Koeffizienten gleich Null im 4 × 4-Block bis zum letzten Koeffizienten ungleich Null in der Scan-Reihenfolge
- – run_before: Anzahl der Koeffizienten gleich Null bis zum nächsten Koeffizienten ungleich Null
- Für die Codierung von coeff_token wird bei Luminanz-Koeffizienten eine von vier VLC-Tabellen ausgewählt. Die Auswahl hängt von der Anzahl der Koeffizienten ungleich Null in den beiden 4 × 4-Blöcken links und über dem aktuellen 4 × 4-Block ab, falls diese im selben Slice sind. Ein Slice ist bei H.264/AVC eine Anzahl von Makroblöcken, die gemeinsam codiert werden. Falls die Blöcke nicht existieren, am linken oberen Bildrand oder am Anfang eines Slice, wird ein Standardwert gesetzt.
- Bei einer Neuanordnung der Makroblöcke beim Mixen kann sich allerdings diese Anzahl verändern, so dass am Decoder die falsche Tabelle für die Entropie-Decodierung der Codewörter herangezogen würde. Um dies zu verhindern, müssen die entsprechenden Codewörter ausgetauscht werden, wenn sich eine andere VLC-Tabelle ergeben würde. Dazu müssen die Codewörter nicht decodiert werden, also die Anzahl der Koeffizienten ungleich Null und die Anzahl „trailing ones” bestimmt werden, sondern der Übergang kann direkt aus der im H.264/AVC Standard definierten Tabelle bestimmt werden. Diese VLC Tabelle ist in
3 dargestellt, wobei der Parameter nC die zu selektierende Tabelle bestimmt. - Das Syntaxelement trailing_ones_sign_flag wird mit fester Wortlänge und nicht adaptiv codiert. Das Syntaxelement level_suffix wird mit variabler Wortlänge (0 oder 1 Bit) codiert. Diese Wortlänge hängt allerdings nur vom Syntaxelement coeff_token desselben 4 × 4-Blocks ab. Die übrigen Syntaxelemente trailing_ones_sign_flag, level_prefix, level_suffix, total_zeros, run_before werden zwar adaptiv codiert, entsprechend dem CAVLC-Verfahren, allerdings bestehen keine Abhängigkeiten außerhalb des 4 × 4-Blocks. Somit können die Codewörter zu allen Syntaxelementen außer coeff_token direkt in dem gemischten Datenstrom übernommen werden.
- Da also nur die Makroblöcke bzw. 4 × 4-Blöcke am linken und oberen Rand überprüft werden müssen, die nach dem Mischen nicht mehr am linken oder entsprechend am oberen Rande des gemischten Bildes liegen, kann die Entropie-Decodierung und anschließende erneute Entropie-Encodierung auf ein Minimum reduziert und das Mischen effizient durchgeführt werden. Wenn also beispielsweise zwei Videosignale übereinander gemischt werden, müssen entsprechend nur die Makroblöcke am oberen Rand des zweiten Bildes überprüft und gegebenenfalls in ihrer Entropie-Codierung angepasst werden.
- Die Entropie-Codierung mit dem CABAC-Verfahren erfolgt in mehreren Schritten:
- 1. Binarisierung des zu codierenden Symbols ähnlich einer variablen Längencodierung (VLC). Die Binärsymbole werden als „bin” bezeichnet.
- 2. Auswahl eines Kontext-Modells anhand des Typs des zu codierenden Symbols, z. B. Bewegungsvektor oder Koeffizient, für jedes zu codierende Bit des binarisierten Symbols „bin”.
- 3. Codieren des „bin” anhand des gewählten Kontext-Modells, d. h. arithmetische Codierung des Bits anhand der Wahrscheinlichkeiten für „0” bzw. „1”. Die Wahrscheinlichkeiten ergeben sich aus der Wahl des Kontext-Modells.
- 4. Aktualisierung des bei der Codierung verwendeten Kontext-Modells, d. h. Nachführung der Wahrscheinlichkeiten. Wenn beispielsweise eine „1” codiert wird, wird bei der nächsten Codierung eines „bin” für dessen Kontext-Modell eine höhere Wahrscheinlichkeit für eine „1” angenommen. Entsprechendes gilt für die Codierung einer „0”.
- 5. Wiederholung der Schritte 3 und 4, bis alle „bin” des Symbols codiert wurden. Falls die „bins” eines Symbols unterschiedlichen Kontexten zugeordnet sind, dann muss auch Schritt 2 wiederholt werden.
- Durch die Eigenschaften der arithmetischen Codierung, ein Bit des Ausgangsstroms kann Informationen für mehrere „bin” bzw. zu codierende Eingangssymbole enthalten, und der Aktualisierung der Kontext-Modelle ergibt sich eine Abhängigkeit des aktuell zu codierenden Symbols von den vorherigen Symbolen innerhalb desselben Slice. An Slice-Grenzen werden die Kontext-Modelle auf einen Initialwert gesetzt. Wenn die Makroblöcke von mehreren Videoströmen gemischt werden, dann stimmen die Kontexte nach dem Mixen nicht mehr überein und der neue Videostrom kann nicht mehr decodiert werden. Um eine korrekte Decodierung zu ermöglichen, ist eine vollständige Decodierung der CABAC-Symbole mit anschließender Neucodierung nötig. Durch die erneute Encodierung werden die Aktualisierungen bei den Kontextmodellen neu berechnet. Nur für die Makroblöcke am Anfang eines Slice werden bis zum Wechsel der Eingangsströme keine Neucodierungen vorgenommen, da die Kontexte an Slice-Grenzen initialisiert werden und damit korrekt sind. Die Neucodierung startet also nach dem ersten Wechsel der Eingangs-Videoströme.
- Symbole innerhalb des Datenstroms, die mit VLC, beispielsweise für den Makroblock-Typ, etc., oder einer festen Wortlänge codiert sind, werden ohne Entropie-Decodierung und erneuter Entropie-Decodierung und erneuter Entropie-Encodierung direkt in den neuen Datenstrom übernommen, da für diese keine Abhängigkeit zu vorherigen Makroblöcken, oder allgemein zu anderen codierten Symbolen, besteht. In H.264/AVC werden als VLC sogenannte exponentielle Golomb-Codes verwendet. Dies ist möglich, da das dem aktuellen Codewort mit fester oder variabler Länge vorausgehende CABAC-Codewort terminiert ist.
- Beim Mischen der Videoströme müssen neben der Anpassung der Kontexte der Entropie-Codierung auch die Referenzen bei der Intra- und Inter-Prädiktion nötigenfalls angepasst bzw. schon bei der Encodierung sichergestellt werden. Eine Möglichkeit, um eine korrekte Intra-Prädiktion zu erreichen, wird in der Voranmeldung des gleichen Anmelders mit dem Titel „Accurate Intra Prediction for Makroblock-level mixing of video streams” von den Erfindern Peter Amon und Norbert Oertel beschrieben. In H.264/AVC enthalten Bewegungsvektoren die Information der Richtung und den Betrag von Bewegungen, um die Bewegungen zwischen zwei Bildern im Videostrom zu erkennen und zu berechnen. Um eine falsche Inter-Prädiktion zu vermeiden, sollten die Bewegungsvektoren nicht außerhalb des Bildes zeigen, wie in der Voranmeldung des gleichen Anmelders mit dem Titel „Mixen von Videoströmen” von den Erfindern Peter Amon und Andreas Hutter beschrieben.
- Besonders vorteilhaft kann das erfinderische Verfahren auch für Videoströme durchgeführt werden, bei denen Abhängigkeiten zwischen den einzelnen Codewörtern in der Entropie-Codierung bestehen, wie beispielsweise bei den H.264-Bitströmen. Darüber hinaus werden H.264-Bitströme erzeugt, die auch von H.264-Decodern verarbeitet werden können, die keine Decodierung von Slice Groups unterstützen.
- Eine Ausführungsform der Erfindung ist beispielhaft in den Figuren dargestellt.
-
1 zeigt das Mischen von vier Eingangs-Videoströmen mittels einer MCU -
2 zeigt das Mischen von zwei H.264-Videoströmen auf der Makroblock-Ebene -
3 zeigt die in H.264/AVC definierte VLC-Tabelle für die (De-)Codierung von coeff_token -
4 zeigt die vollständige Transcodierung von zwei H.264-Videoströmen -
5 zeigt das Mischen von zwei H.264-Videoströmen auf der Slice-Ebene -
6 zeigt das Mischen von zwei H.261-Videoströmen auf der Makroblock-Ebene - In
1 ist das Mischen von vier Eingangs-Videoströmen mittels einer MCU dargestellt, die nach dem H.264/AVC Standard codiert sind. Es liegen vier verschiedene H.264 Eingangs-Videoströme IS1, IS2, IS3 und IS4 von vier verschiedenen Teilnehmern einer Videokonferenz vor. - Die unterschiedlichen Videoinhalte A, B, C und D der vier verschiedenen Eingangs-Videoströmen IS1, IS2, IS3 und IS4 werden so zusammengemischt, dass im Ausgangs-Videostrom OS alle Videoinhalte A, B, C und D gleichzeitig enthalten sind. Beispielhaft sind die Videoinhalte A, B, C und D horizontal und vertikal nebeneinander angeordnet, so dass die Gesprächspartner einer Videokonferenz gleichzeitig am Bildschirm zu sehen sind.
- Entsprechend dem H.264/AVC Standard sind die Eingangs-Videoströme IS1, IS2, IS3 und IS4 mit einem Entropie-Kodierungsverfahren codiert. Deshalb werden die Eingangs-Videoströme IS1, IS2, IS3 und IS4 durch den jeweiligen Entropie-Decoder ED1, ED2, ED3 und ED4 so decodiert, dass die Makroblöcke der Videoströme neu geordnet und in der Multipoint Control Unit MCU zusammengemischt werden können. Die gemischten Macroblöcke werden gemäß dem H.264/AVC Standard im Entropie-Encoder EE zu einem neuen dedizierten H.264 Ausgangs-Videostrom OS encodiert. Der Videostrom OS wird danach an alle Teilnehmer gesendet.
-
2 ist das Mischen von zwei Videoströmen auf der Makroblock-Ebene dargestellt, die nach dem H.264/AVC Standard codiert sind. - Zunächst müssen die von den Teilnehmern empfangenen Videoströme IS1 und IS2 in den jeweiligen Entropie-Decodern ED1 und ED decodiert werden. Dies geschieht durch das Auflösen der Abhängigkeiten zwischen den Codewörtern durch eine vollständige oder teilweise Entropie-Decodierung. Danach werden die Makroblöcke MB1 und MB2 der Eingangs-Videoströme IS1 und IS2 neu geordnet und zu einem neuen Makroblock MB' zusammengefügt, der alle Daten der einzelnen Makroblöcke MB1 und MB2 enthält. Abschließend wird ein neuer Ausgangs-Videostrom OS im Entropie-Encoder EE encodiert und an alle Teilnehmer gesendet, so dass sich alle Teilnehmer gegenseitig sehen können. Dies geschieht dadurch, dass die vollständige oder teilweise Entropie-Decodierung nach dem Mischen der Videoströme durch eine vollständige oder teilweise Entropie-Encodierung wieder rückgängig gemacht wird.
- In
3 ist die VLC-Tabelle für die (De-)Codierung von coeff_token dargestellt, die im H.264/AVC Standard definiert ist. - Bei der CAVLC Methode gibt es vier Auswahlmöglichkeiten einer VLC-Tabelle zur Codierung von coeff_token. Die Auswahl erfolgt über den Wert nC, der auf Basis der Anzahl der Koeffizienten in dem Block oberhalb nU und auf der linken Seite nL des aktuellen codierten Blockes berechnet wird.
- Wenn der obere Block und der linke Block vorhanden sind, d. h. die beiden Blöcke liegen im selben codierten Slice, errechnet sich der Parameter nC wie folgt: nC = (nU + nL)/2. Wenn nur der obere Block vorhanden ist, beträgt nC = nU, wenn nur der linke Block vorhanden ist, beträgt nC = nL, und wenn keiner von beiden Blöcken vorhanden ist, beträgt nC = 0.
- Der Parameter nC selektiert die entsprechende VLC-Tabelle in Abhängigkeit der Anzahl codierter Koeffizienten in den benachbarten Blöcken, d. h. Kontext-adaptiv.
- In
4 ist die vollständige Transcodierung von Videoströmen dargestellt, die nach dem H.264/AVC Standard codiert sind. - Die beiden H.264 Eingangs-Videoströme IS1 und IS2 von zwei Teilnehmern werden durch jeweils einen H.264 Video-Decoder VD1 und VD2 auf der Frame-Ebene decodiert. Nach der Decodierung der Videoströme IS1 und IS2 in die jeweiligen Videoframes VF1 und VF2 erfolgt das Mischen und Zusammenfügen der beiden Videoframes VF1 und VF2 zu einem neuen Videoframe VF', der alle Daten der einzelnen Videoframes VF1 und VF2 enthält. Abschließend wird ein neuer H.264 Ausgangs-Videostrom OS im H.264 Video-Encoder VE encodiert und an alle Teilnehmer gesendet.
- Dieser Vorgang wird auch als Pixeldomain-Mixing oder vollständige Transcodierung bezeichnet, bei dem z. B. eine Formatkonvertierung, eine Mischung von Bilddaten und die Erzeugung eines Konferenzbildes durchgeführt wird.
- In
5 ist das Mischen von zwei Videoströmen auf der Slice-Ebene dargestellt, die nach dem H.264/AVC Standard codiert sind. - In den beiden H.264 Eingansvideoströme IS1 und IS2 sind gemäß dem H.264 Standard ohne zusätzliche Hilfsmittel die Makroblöcke zu den Slices zugeordnet. Das Mischen der Videoströme IS1 und IS2 erfolgt durch eine flexible Zuordnung der Makroblöcke zu Slice-Gruppen. So wird für die beiden Eingangs-Videoströme IS1 und IS1 jeweils eine Slice-Gruppe SG1 und SG2 definiert, die durch den Video Mixer VM in einen H.264 Ausgangs-Videostrom OS mit den Daten der beiden Slice-Gruppen SG1 und SG2 vereint werden.
- In
6 ist das Mischen von zwei Videoströmen auf der Makroblock-Ebene dargestellt, die nach dem H.261 Standard codiert sind. - Die beiden H.261 Eingangs-Videoströme IS1 und IS2 von zwei Teilnehmern liegen jeweils als codierte Makroblöcke MB1 und MB2 vor.
- Durch eine Umsortierung der Makroblöcke MB1 und MB2 wird das Zusammenmischen von den beiden Eingangs-Videoströmen IS1 und IS2 auf der Makroblock-Ebene zu einem neuen codierten Makroblock MB' durchgeführt, der alle Daten der einzelnen Makroblöcke MB1 und MB2 enthält, der als dedizierten H.261 Ausgangs-Videostrom OS an alle Teilnehmer gesendet wird.
- Bezugszeichenliste
-
- A–D
- Videoinhalte
- ED1–ED4
- Entropie-Decoder
- EE
- Entropie-Encoder
- IS1–IS4
- Eingangs-Videoströme
- MB1, MB2
- Kodierte Makroblöcke
- MB'
- Mischung von kodierten Makroblöcken
- MCU
- Multipoint Control Unit
- OS
- Ausgangs-Videoströme
- SG1, SG2
- Slice-Gruppe
- VD1, VD2
- Video-Decoder
- VE
- Video-Encoder
- VF1, VF2
- Videoframe
- VF'
- Mischung von Video frames
- VM
- Video Mixer
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Nicht-Patentliteratur
-
- „Will Your Next Video Bridge Be Software-Based?” von Wainhouse Research in 2003 [0007]
- http://www.wainhouse.com/files/papers/wrsw-vdeo-bridges.pdf [0007]
Claims (9)
- Verfahren zum Mischen von Videoströmen in einer Videomischer-Vorrichtung, die mehrere Eingangs-Videoströme von verschiedenen Teilnehmern, die mit Codewörtern für Makroblöcke codiert sind und bei denen die Codewörter Abhängigkeiten untereinander aufweisen, in einen Ausgangs-Videostrom zusammenfasst, dadurch gekennzeichnet, dass die Eingangs-Videoströme mindestens soweit Entropie-decodiert werden, dass die Abhängigkeiten zwischen den Codewörtern aufgelöst werden, dass die Makroblöcke neu geordnet und zusammengemischt werden, und dass die gemischten Makroblöcke zu einem neuen dedizierten Videostrom Entropie-encodiert werden.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Eingangs-Videoströme und der Ausgangs-Videostrom gemäß dem H.264/AVC Standard codiert sind.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Entropie-Codierung ein Context-based Adaptive Variable Length Coding (CAVLC) Codier-Verfahren angewendet wird.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Entropie-Codierung ein Context-based Adaptive Binary Arithmetic Coding (CABAC) Codier-Verfahren angewendet wird.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass für die Entropie-Decodierung gemischter Makroblöcke die Codewörter durch die Auswahl einer VLC-Tabelle gemäß H.264/AVC bestimmt werden.
- Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für die Entropie-Decodierung gemischter Makroblöcke die CABAC-Symbole vollständig decodiert werden.
- Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die gemäß H.264/AVC enthaltenen Bewegungsvektoren nicht außerhalb des Bildes zeigen, damit eine falsche Inter-Prädiktion vermieden wird.
- Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass für die Entropie-Decodierung der H.264/AVC Videoströme keine Slice-Gruppen berücksichtigt werden.
- Videomischer-Einheit zur Transcodierung von Videoströmen, an die eine Anzahl von Teilnehmer-Endpunkten mit einem Encoder und Decoder gemäß H.264/AVC Standard angeschlossen ist, dadurch gekennzeichnet, dass die Videomischer-Einheit eingangsseitig mit einer Anzahl von Entropie-Decodern und ausgangsseitig mit einem Entropie-Encoder ausgestattet und zur Durchführung eines der Verfahren gemäß den Patentansprüchen 1 bis 8 eingerichtet ist.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010023954A DE102010023954A1 (de) | 2010-06-16 | 2010-06-16 | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene |
CN201180029429.8A CN102934437B (zh) | 2010-06-16 | 2011-06-14 | 用于在宏块层面上混合视频流的方法和设备 |
US13/701,219 US9264709B2 (en) | 2010-06-16 | 2011-06-14 | Method and device for mixing video streams at the macroblock level |
TW100120696A TWI511527B (zh) | 2010-06-16 | 2011-06-14 | 在巨集方塊階層混合視頻串流之方法及裝置 |
PCT/EP2011/002920 WO2011157399A1 (de) | 2010-06-16 | 2011-06-14 | Verfahren und vorrichtung zum mischen von videoströmen auf der makroblock-ebene |
EP11727399.5A EP2583461A1 (de) | 2010-06-16 | 2011-06-14 | Verfahren und vorrichtung zum mischen von videoströmen auf der makroblock-ebene |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010023954A DE102010023954A1 (de) | 2010-06-16 | 2010-06-16 | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102010023954A1 true DE102010023954A1 (de) | 2011-12-22 |
Family
ID=44318461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010023954A Ceased DE102010023954A1 (de) | 2010-06-16 | 2010-06-16 | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene |
Country Status (6)
Country | Link |
---|---|
US (1) | US9264709B2 (de) |
EP (1) | EP2583461A1 (de) |
CN (1) | CN102934437B (de) |
DE (1) | DE102010023954A1 (de) |
TW (1) | TWI511527B (de) |
WO (1) | WO2011157399A1 (de) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010023954A1 (de) * | 2010-06-16 | 2011-12-22 | Siemens Enterprise Communications Gmbh & Co. Kg | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene |
CN103686047A (zh) * | 2013-12-18 | 2014-03-26 | 电子科技大学 | 一种多路视频数据传输方法 |
EP2932715B1 (de) * | 2014-01-03 | 2016-12-21 | GE Video Compression, LLC | Wedgelet-basiertes codierungskonzept |
CN104853208B (zh) * | 2015-05-13 | 2018-05-04 | 大唐移动通信设备有限公司 | 一种视频编码方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE7807374U1 (de) * | 1978-03-11 | 1978-06-29 | Spritztechnik Kopperschmidt Gmbh & Co Kg, 4800 Bielefeld | Farbspritzgeraet mit fahrgestell |
EP0666089A1 (de) * | 1994-02-03 | 1995-08-09 | Klaus Dr. Schulte | Motorangetriebener Golfwagen |
DE29517354U1 (de) * | 1995-10-30 | 1995-12-14 | Fisher Price Inc | Kinder-Sportwagen |
DE29610975U1 (de) * | 1995-06-27 | 1996-10-24 | Ito Design Und Marketing Gmbh | Transportmittel für einen Personen- und/oder Warentransport zu Fuß |
US20010019354A1 (en) * | 2000-02-15 | 2001-09-06 | Torbjorn Einarsson | Method and an apparatus for video mixing of bit streams |
US20070285500A1 (en) * | 2006-04-21 | 2007-12-13 | Dilithium Holdings, Inc. | Method and Apparatus for Video Mixing |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6891841B2 (en) * | 2001-03-12 | 2005-05-10 | Advent Networks, Inc. | Time division multiple access over broadband modulation method and apparatus |
CA2446707C (en) * | 2001-05-10 | 2013-07-30 | Polycom Israel Ltd. | Control unit for multipoint multimedia/audio system |
US8976712B2 (en) * | 2001-05-10 | 2015-03-10 | Polycom, Inc. | Speakerphone and conference bridge which request and perform polling operations |
US20040022202A1 (en) * | 2002-08-05 | 2004-02-05 | Chih-Lung Yang | Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels |
US6535240B2 (en) * | 2001-07-16 | 2003-03-18 | Chih-Lung Yang | Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels |
US8144854B2 (en) * | 2001-12-31 | 2012-03-27 | Polycom Inc. | Conference bridge which detects control information embedded in audio information to prioritize operations |
US7492387B2 (en) | 2002-08-05 | 2009-02-17 | Chih-Lung Yang | Implementation of MPCP MCU technology for the H.264 video standard |
US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
KR100548383B1 (ko) * | 2003-07-18 | 2006-02-02 | 엘지전자 주식회사 | 이동통신 시스템의 디지털 비디오 신호처리 장치 및 방법 |
NO320115B1 (no) * | 2004-02-13 | 2005-10-24 | Tandberg Telecom As | Anordning og fremgangsmate for a generere CP-bilder. |
JP4403974B2 (ja) * | 2005-01-21 | 2010-01-27 | 株式会社日立製作所 | 適応変調方法並びに符号化率制御方法 |
EP2137972A2 (de) | 2007-04-24 | 2009-12-30 | Nokia Corporation | System und verfahren zur implementierung von schneller abstimmung mit intrakodierten redundanten bildern |
US8971412B2 (en) | 2008-04-10 | 2015-03-03 | Qualcomm Incorporated | Advanced interpolation techniques for motion compensation in video coding |
US8687685B2 (en) * | 2009-04-14 | 2014-04-01 | Qualcomm Incorporated | Efficient transcoding of B-frames to P-frames |
DE102010023954A1 (de) * | 2010-06-16 | 2011-12-22 | Siemens Enterprise Communications Gmbh & Co. Kg | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene |
-
2010
- 2010-06-16 DE DE102010023954A patent/DE102010023954A1/de not_active Ceased
-
2011
- 2011-06-14 US US13/701,219 patent/US9264709B2/en not_active Expired - Fee Related
- 2011-06-14 CN CN201180029429.8A patent/CN102934437B/zh not_active Expired - Fee Related
- 2011-06-14 WO PCT/EP2011/002920 patent/WO2011157399A1/de active Application Filing
- 2011-06-14 EP EP11727399.5A patent/EP2583461A1/de not_active Ceased
- 2011-06-14 TW TW100120696A patent/TWI511527B/zh not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE7807374U1 (de) * | 1978-03-11 | 1978-06-29 | Spritztechnik Kopperschmidt Gmbh & Co Kg, 4800 Bielefeld | Farbspritzgeraet mit fahrgestell |
EP0666089A1 (de) * | 1994-02-03 | 1995-08-09 | Klaus Dr. Schulte | Motorangetriebener Golfwagen |
DE29610975U1 (de) * | 1995-06-27 | 1996-10-24 | Ito Design Und Marketing Gmbh | Transportmittel für einen Personen- und/oder Warentransport zu Fuß |
DE29517354U1 (de) * | 1995-10-30 | 1995-12-14 | Fisher Price Inc | Kinder-Sportwagen |
US20010019354A1 (en) * | 2000-02-15 | 2001-09-06 | Torbjorn Einarsson | Method and an apparatus for video mixing of bit streams |
US20070285500A1 (en) * | 2006-04-21 | 2007-12-13 | Dilithium Holdings, Inc. | Method and Apparatus for Video Mixing |
Non-Patent Citations (3)
Title |
---|
"Will Your Next Video Bridge Be Software-Based?" von Wainhouse Research in 2003 |
http://www.wainhouse.com/files/papers/wrsw-vdeo-bridges.pdf |
ITU-T Recommendation H.264: Advanced video coding for generic aufiovisual services, Edition 5.0 vom März 2010, Seite 100 * |
Also Published As
Publication number | Publication date |
---|---|
US9264709B2 (en) | 2016-02-16 |
CN102934437A (zh) | 2013-02-13 |
US20130223511A1 (en) | 2013-08-29 |
EP2583461A1 (de) | 2013-04-24 |
WO2011157399A1 (de) | 2011-12-22 |
TW201212657A (en) | 2012-03-16 |
CN102934437B (zh) | 2016-09-14 |
TWI511527B (zh) | 2015-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2198610B1 (de) | Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung | |
EP1487113B1 (de) | Kodierung und Dekodierung von Transformationskoeffizienten in Bild- oder Videokodierern | |
JP6068575B2 (ja) | 復号方法 | |
DE102016125379B4 (de) | Bewegungsvektoraufteilung des letzten Frames | |
DE102019218837A1 (de) | VERFAHREN UND SYSTE M ZUR NEURONALNETZ WERK-SCHLEIFENFILTERUNG ZUR VlDEOCODIERUNG | |
DE112012005164T5 (de) | Verfahren und Vorrichtung für Context-Adaptive Binäre Arithmetische Codierung von Syntaxelementen | |
DE102015115998A1 (de) | Segmentierter Videocodec für Video mit hoher Auflösung und hoher Framerate | |
DE102016125094A1 (de) | Auswahl des Referenz-Bewegungsvektors über Referenzeinzelbild Puffer-Nachverfolgung | |
DE10204617B4 (de) | Verfahren und Vorrichtungen zur Kompression und Dekompression eines Videodatenstroms | |
DE102010023954A1 (de) | Verfahren und Vorrichtung zum Mischen von Videoströmen auf der Makroblock-Ebene | |
EP2389763B1 (de) | Multiplexverfahren zum zusammenfassen digitaler videosignale | |
DE102011006036B4 (de) | Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes | |
DE69928494T2 (de) | Videosignalkompression | |
DE102020207711B3 (de) | Verfahren und vorrichtungen zur codierung von bilddaten | |
DE102016125593A1 (de) | Dynamischer Kodiermodus für Referenz-Bewegungsvektoren | |
DE10200901A1 (de) | Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec | |
DE102004011422B4 (de) | Vorrichtung und Verfahren zum Verarbeiten einer Gruppe von Bildern und Vorrichtung und Verfahren zum Verarbeiten eines Basisbildes und eines oder mehrerer Erweiterungsbilder | |
WO2014015884A1 (de) | Verfahren zur behandlung von störungen bei der übertragung einer zeitlichen folge digitaler bilder | |
DE102004063902B4 (de) | Computerprogramm mit einem Verfahren zum Verarbeiten einer Gruppe von Bildern und mit einem Verfahren zum Verarbeiten eines Basisbildes und eines oder mehrerer Erweiterungsbilder | |
DE102011100498A1 (de) | Prädiktion von Transformationskoeffizienten | |
EP1913780A1 (de) | Verfahren zum korrigieren eines quantisierten datenwerts sowie eine dazugehörige vorrichtung | |
DE102004011421A1 (de) | Vorrichtung und Verfahren zum Erzeugen eines skalierten Datenstroms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: FRITZSCHE PATENT, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0007260000 Ipc: H04N0019000000 |
|
R081 | Change of applicant/patentee |
Owner name: UNIFY GMBH & CO. KG, DE Free format text: FORMER OWNER: SIEMENS ENTERPRISE COMMUNICATIONS GMBH & CO. KG, 81379 MUENCHEN, DE Effective date: 20131111 |
|
R082 | Change of representative |
Representative=s name: FRITZSCHE PATENTANWAELTE, DE Effective date: 20131111 Representative=s name: FRITZSCHE PATENT, DE Effective date: 20131111 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0007260000 Ipc: H04N0019000000 Effective date: 20131204 |
|
R081 | Change of applicant/patentee |
Owner name: UNIFY PATENTE GMBH & CO. KG, DE Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE Owner name: UNIFY GMBH & CO. KG, DE Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE |
|
R082 | Change of representative |
Representative=s name: FRITZSCHE PATENT, DE Representative=s name: FRITZSCHE PATENTANWAELTE, DE |
|
R081 | Change of applicant/patentee |
Owner name: UNIFY PATENTE GMBH & CO. KG, DE Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 80807 MUENCHEN, DE |
|
R082 | Change of representative |
Representative=s name: FRITZSCHE PATENT, DE |
|
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |