DE112007002373T5 - Rahmenfilter - Google Patents

Rahmenfilter Download PDF

Info

Publication number
DE112007002373T5
DE112007002373T5 DE112007002373T DE112007002373T DE112007002373T5 DE 112007002373 T5 DE112007002373 T5 DE 112007002373T5 DE 112007002373 T DE112007002373 T DE 112007002373T DE 112007002373 T DE112007002373 T DE 112007002373T DE 112007002373 T5 DE112007002373 T5 DE 112007002373T5
Authority
DE
Germany
Prior art keywords
frames
frame
data
filtered
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112007002373T
Other languages
English (en)
Inventor
Paul S. Corvallis Everest
Matthew J. Corvallis West
John G. Palo Alto APOSTOLOPOULOS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of DE112007002373T5 publication Critical patent/DE112007002373T5/de
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

Ein Verfahren, das folgende Schritte aufweist:
Filtern eines oder mehrerer Ströme (102) aus Bildrahmen gemäß einem Filtermuster; und
Empfangen des einen oder der mehreren gefilterten Ströme (102') aus Bildrahmen und Ersetzen von ausgefilterten Rahmen durch Kopien von empfangenen Rahmen.

Description

  • Hintergrund
  • Signaltransportmechanismen können eine ungenügende Bandbreite aufweisen, um Bildrahmen bei einer gewünschten Rate zu übertragen. Folglich ist die Bildqualität weniger als zufriedenstellend.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Funktionsblockdiagramm, das schematisch eine Verknüpfung gemäß einem Ausführungsbeispiel darstellt.
  • 2 ist eine schematische Darstellung eines Abschnitts der Verknüpfung aus 1, die schematisch das Filtern und die Wiederherstellung von übertragenen Bildrahmen gemäß einem Ausführungsbeispiel zeigt.
  • 3 ist ein Flussdiagramm, das ein Verfahren zum Filtern und Wiederherstellen von übertragenen Bildrahmen gemäß einem Ausführungsbeispiel zeigt.
  • 4 ist ein Funktionsblockdiagramm, das schematisch ein anderes Ausführungsbeispiel der Verknüpfung aus 1 gemäß einem Ausführungsbeispiel darstellt.
  • Detaillierte Beschreibung der Ausführungsbeispiele
  • 1 ist ein Funktionsblockdiagramm, das schematisch ein Bild-Sende-und-Empfangs-System oder eine -Verknüpfung 20 darstellt. Die Verknüpfung 20 ist konfiguriert, um einen oder mehrere Ströme aus komprimierten Bilddaten über eine Distanz von einer Bildquelle 22, 24 zu einer Bildanzeige 26, 28 auf eine Weise zu übertragen, um die Qualität des wiederhergestellten Bildes zu verbessern, das aus den Bilddatenströmen erzeugt wird. Zu Zwecken dieser Offenbarung soll der Ausdruck „Bilddaten" zumindest umfassen, ist aber nicht beschränkt auf Computergraphikdaten, wie z. B. die, die durch eine Computergraphikquelle 22 geliefert werden (z. B. einen Desktop- oder Laptop-Computer), und Videographikdaten, wie sie z. B. durch eine Videographikquelle 24 geliefert werden (z. B. einen Spieler für eine digitale Videodisk (DVD; digital versatil disc), einen Blue-Ray-Disk-Spieler, andere Platten-Spieler oder Videorekorder). Die übertragenen Computergraphikdaten werden auf einer Computergraphikanzeige 26 angezeigt, während die gesendeten Videographikdaten auf einer Videographikanzeige 28 angezeigt werden. Beispiele einer Computergraphikanzeige oder einer Videographikanzeige umfassen, sind aber nicht beschränkt auf ein Projektionssystem oder eine Flachbildanzeige. Bei dem bestimmten, dargestellten Ausführungsbeispiel ist die Verknüpfung 20 konfiguriert, um sowohl Computergraphikdaten als auch Videographikdaten zu übertragen. Bei anderen Ausführungsbeispielen kann die Verknüpfung 20 alternativ konfiguriert sein, um entweder Computergraphikdaten oder Videographikdaten zu übertragen. Bei einem wiederum weiteren Ausführungsbeispiel kann die Verknüpfung 20 konfiguriert sein, um andere Formen von Bilddaten zu übertragen.
  • Bei dem dargestellten Beispiel ist die Verknüpfung 20 konfiguriert, um Ströme aus komprimierten Bilddatenrahmen über einen Transportmechanismus 21 mit einer nicht ausreichenden Bandbreite oder einer begrenzten Bitratenkapazität zu übertragen, die geringer ist als die Rate, bei der Ströme aus Bildrahmen von einer der Bildquellen 22, 24 geliefert werden. Wie hierin nachfolgend beschrieben wird, umfasst die Verknüpfung 20 Komponenten, Vorrichtungen oder eine oder mehrere Verarbeitungseinheiten, die den komprimierten Datenstrom analysieren, um solche Rahmen zu identifizieren, um selektiv Bilddaten auszufiltern, gemäß einem Filtermuster, vor der Übertragung über den Mechanismus 21, und um ausgefilterte Rahmen durch Kopien aus empfangenen Rahmen zu ersetzen. Folglich ermöglicht die Verknüpfung 20, dass komprimierte Bildrahmen über einen bitratenbegrenzten Transportmechanismus übertragen werden und in ein Hochqualitätsbild wiederhergestellt werden.
  • Wie durch 1 gezeigt ist, umfasst die Verknüpfung 20 allgemein ein Sendermodul 30 und ein Empfängermodul 32. Das Sendermodul 30 und das Empfängermodul 32 umfassen eine oder mehrere Verarbeitungseinheiten, durch die Computergraphikdaten oder Videodaten vor und nach der Übertragung manipuliert werden. Zu Zwecken dieser Anmeldung soll der Ausdruck „Verarbeitungseinheit" eine gegenwärtig entwickelte oder zukünftig entwickelte Verarbeitungseinheit bezeichnen, die Anweisungssequenzen ausführt, die in einem Speicher enthalten sind. Die Ausführung der Anweisungssequenzen verursacht, dass die Verarbeitungseinheit Schritte ausführt, wie z. B. das Erzeugen von Steuersignalen. Diese Anweisungen können in einen Direktzugriffsspeicher (RAM; random access memory) zur Ausführung durch die Verarbeitungseinheit aus einem Nur-Lese-Speicher (ROM; read only memory), einer Massenspeicherungsvorrichtung oder einem anderen Dauerspeicher geladen werden. Bei anderen Ausführungsbeispielen kann eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet werden, um die beschriebenen Funktionen zu implementieren. Zum Beispiel können solche Verarbeitungseinheiten als Teil von einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs; application specific integrated circuits) verkörpert sein. Außer es ist anderweitig spezifisch angegeben, sind die Funktionsblöcke des Moduls 30 oder des Moduls 32 nicht auf eine spezifische Kombination aus Hardwareschaltungsanordnung, Firmware und Software beschränkt, und auch auf keine bestimmte Quelle für die Anweisungen, die durch eine einzelne Verarbeitungseinheit, die jeden der Blöcke einlagert, oder durch mehrere Verarbeitungseinheiten, die einen oder mehrere der Funktionsblöcke einlagern, ausgeführt werden.
  • Das Sendermodul 30 ist konfiguriert, um Bilddatenströme zu dem Empfängermodul 32 zu übertragen. Bei dem dargestellten Beispiel bilden das Sendermodul 30 und das Empfängermodul 32 eine drahtlose Echtzeit-Hochauflösungs-Bildverknüpfung. Bei dem dargestellten Beispiel liefern das Sendermodul 30 und das Empfängermodul 32 eine Hochgeschwindigkeits-Funkverknüpfung und eine -Datenkomprimierung, eine niedrige Ende-zu-Ende-Verzögerung über räumliche Komprimierung und wenig oder keine Datenpufferung.
  • Das Sendermodul 30 umfasst Eingangsschnittstellen oder Ports 42, 44, einen Computergraphikdecodierer 46, einen Videodecodierer 48, einen räumlichen Komprimierer 50, einen Eingang 51, einen Paketierer 52 und einen Sender 54. Die Eingangsschnittstelle oder Ports 42 verbindet die Graphikquelle 22 mit dem Graphikdecodierer 46 des Moduls 30. Bei einem Ausführungsbeispiel kann der Eingangsport 42 einen verdrahteten, gegenwärtig verfügbaren Verbinder aufweisen, wie z. B., aber nicht beschränkt auf, einen 15-Stift d-Sub der Video Electronics Standards Association (VESA; Videoelektronikstandardzuordnung), eine digitale Videoschnittstelle (DVI; digital video interface) oder einen Display-Port-Verbinder. Bei einem solchen Ausführungsbeispiel werden eingehende Computergraphikdaten zuerst durch den Computergraphikdecodierer 46 in nichtkomprimierte, digitale Computergraphikdaten decodiert. Der Computergraphikdecodierer 46 kann einen gegenwärtig verfügbaren Hardwaredecodierer aufweisen, wie z. B. bei der AD9887A-Decodierervorrichtung von Analog Devices in Norwood, Massa chusetts. Bei anderen Ausführungsbeispielen können der Eingangsport 42 und der Decodierer 46 andere, gegenwärtig verfügbare oder zukünftig entwickelte Vorrichtungen aufweisen oder können andere Konfigurationen aufweisen.
  • Der Eingangsport 44 verbindet die Videographikquelle 24 mit dem Decodierer 48 des Moduls 30. Bei einem Ausführungsbeispiel ist der Port 44 ein verdrahteter, gegenwärtig verfügbarer Verbinder, wie z. B., aber nicht nur, ein zusammengesetzter Videoverbinder, Komponentenvideoverbinder, Super-Video-(S-Video-)Verbinder, Verbinder einer digitalen Videoschnittstelle (DVI), High-Definition-Multimedia-Schnittstellenverbinder (HDMI) oder SCART-Verbinder. Bei einem solchen Ausführungsbeispiel werden eingehende Videographikdaten zuerst durch einen Computergraphikdecodierer 48 in nichtkomprimierte, digitale Videodaten decodiert. Der Videodecodierer 48 kann einen gegenwärtig verfügbaren Hardwaredecodierer aufweisen, wie z. B. eine ADV7400A-Decodierervorrichtung für eine analoge Eingabe von Analog Devices in Norwood, Massachusetts, oder eine SiI9011-Decodierervorrichtung für DVI/HDMI-Eingänge von Silicon Image in Sunnyvale, Kalifornien. Bei anderen Ausführungsbeispielen können der Eingangsport 44 und der Decodierer 48 andere, gegenwärtig verfügbare oder zukünftig entwickelte Vorrichtungen aufweisen oder können andere Konfigurationen aufweisen.
  • Wie durch die gestrichelten Linien angezeigt ist, kann bei anderen Ausführungsbeispielen das Sendermodul 30 in eine oder beide der Computergraphikquelle 22 oder der Videographikquelle 24 eingebettet sein. Bei dem Ausführungsbeispiel, bei dem das Modul 30 in die Computergraphikquelle 22 eingebettet ist, kann der Eingangsport 42 durch eine gegenwärtig verfügbare, digitale Schnittstelle 42' ersetzt sein, wie z. B. einen 24-Bit- oder einen 30-Bit-Parallel-Datenbus, der unkomprimierte, digitale Computergraphikdaten direkt zu dem räumlichen Komprimierer 50 liefert. Bei einem solchen Ausführungsbeispiel kann der Computergraphikdecodierer 46 weggelassen sein.
  • Bei jenen Ausführungsbeispielen, bei denen das Modul 30 in die Videoquelle 24 eingebettet ist, kann der Eingangsport 44 durch eine Schnittstelle 44' ersetzt sein, die konfiguriert ist, um ein gegenwärtig verfügbares, digitales Videoformat zu übertragen, wie z. B. ein Format ITU-R BT.601 oder ITU-R BT.656, das unkomprimierte, digitale Videodaten direkt zu dem räumlichen Komprimierer 50 liefert. Beispiele anderer Formate umfassen, sind aber nicht beschränkt auf, 480i, 576i, 480p, 720p, 1080i und 1080p. Bei einem solchen Ausführungsbeispiel kann der Videodecodierer 48 weggelassen sein. Bei anderen Ausführungsbeispielen können die Schnittstellen 42' und 44' andere gegenwärtig verfügbare oder zukünftig entwickelte Schnittstellen aufweisen.
  • Der räumliche Komprimierer 50 liefert eine gegenwärtig verfügbare oder zukünftig entwickelte Vorrichtung oder eine Komponente, die konfiguriert ist, um die digitalen Computergraphikdaten oder die Videodaten unter Verwendung eines gegenwärtig verfügbaren oder zukünftig entwickelten räumlichen Datenkomprimierungsalgorithmus zu komprimieren. Bei einem Ausführungsbeispiel verwendet der räumliche Komprimierer 50 einen JPEG 2000 Wavelet Komprimierungsalgorithmus, wie er bereitgestellt wird von LuraTech, Inc., in San Jose, Kalifornien. Der räumliche Komprimierer 50 arbeitet an einem ganzen Rahmen eingehender Daten, jeweils an einem Feld, um die Verzögerung auf ein Feld aus Videodaten oder einen Rahmen aus Computergraphikdaten zu minimieren. Folglich ist die Ausgabe des räumlichen Komprimierers 50 sequentielle Rahmen aus komprimierten Computergraphikdaten oder sequentielle Felder aus komprimierten Videodaten.
  • Der Eingang 51 weist eine oder mehrere Vorrichtungen, elektronische Komponenten, Steuerungen oder Verarbeitungseinheiten auf, die konfiguriert sind, um dem Paketierer 52 ein Filtermuster zu liefern, das durch den Paketierer 52 verwendet werden soll, wenn Rahmen aus Bilddaten herausgefiltert werden. Solche Filtermuster sollen automatisch durch den Paketierer 52 angewendet werden, ohne Rücksicht auf den Inhalt oder die Charakteristika der bestimmten Bildrahmen, die ausgefiltert werden, oder ihre Ähnlichkeit oder Unterschiedlichkeit zu angrenzenden oder benachbarten Bildrahmen. Folglich verwendet das Filtern der Bildrahmen weniger Verarbeitung, um Kosten und Komplexität zu reduzieren. Beispiele von Filtermustern umfassen, sind jedoch nicht beschränkt auf, das Entfernen jedes zweiten Rahmens, das Entfernen jedes dritten Rahmens, das Entfernen jedes vierten Rahmens, bis hin zum Entfernen jedes n-ten Rahmens. Ein Filtermuster kann ferner das Weiterleiten oder Übertragen einer Mehrzahl von Bildrahmen für jeden Rahmen umfassen, der gefiltert wird. Zum Beispiel das Entfernen von zwei Rahmen von jeweils drei Rahmen, die gesendet werden sollen, das Entfernen von drei Rahmen von jeweils vier Rahmen, die gesendet werden sollen, das Entfernen von vier Rahmen von jeweils fünf Rahmen, die gesendet werden sollen, usw., bis zu dem Entfernen von n Rahmen von jeweils > n Rahmen, die gesendet werden sollen.
  • Bei einem Ausführungsbeispiel ist der Eingang 51 konfiguriert, um dem Paketierer 52 ein einzelnes vorausgewähltes oder vordefiniertes Filtermuster zu liefern. Bei einem anderen Ausführungsbeispiel ist der Eingang 51 konfiguriert, um dem Paketierer 52 eine einer Mehrzahl von verfügbaren Filtermustern zu liefern, was ermöglicht, dass das Filtermuster, das durch den Paketierer 52 angewendet wird, eingestellt wird. Die Einstellung des Filtermusters, das an den Paketierer 52 angewendet wird, kann durch den Eingang 51 gesteuert werden. Zum Beispiel kann der Eingang 51 einen Speicher 56 umfassen, Zugriff auf denselben haben oder ihm anderweitig zugeordnet sein, in dem eine Mehrzahl von verfügbaren Filtermustern gespeichert ist. Der Eingang 51 kann ein Filtermusters auswählen, das durch den Paketierer 52 angewendet werden soll, basierend auf dem Bildtyp, der durch die gesamte Kette oder die mehreren Ketten aus Rahmen übertragen wird (Video- oder Computergraphiken), der Eingangs- oder erfassten Charakteristik des Transportmechanismus 21 oder der Auswahl durch den Benutzer oder das Externe-Quelle-Filtermuster.
  • Zum Beispiel können Computergraphikbilder im Vergleich zu Videographiken Inhalt aufweisen, der statischer ist und sich weniger häufig ändert. Bei vielen Anwendungen entsprechen Computergraphiken Inhalt, der sich nicht mehr als einmal alle 0,25 Sekunden ändert. Folglich hat das Entfernen oder Herausfiltern von Bildrahmen weniger Einfluss auf die wahrgenommene Bildqualität auf der Anzeige 26. Somit ist das Filtern der Bildrahmen durch den Paketierer 52 gut geeignet zur Verwendung mit Computergraphikbildern. Der Eingang 52 kann konfiguriert sein, um ein Filtern zu ermöglichen, wenn Computergraphiken übertragen werden, und ein Filtern zu sperren, wenn Videographiken übertragen werden.
  • Bei einem Ausführungsbeispiel kann der Eingang 51 konfiguriert sein, um basierend auf dem Transportmechanismus 21 ein Filtermuster zu dem Paketierer 52 zu liefern. Zum Beispiel kann der Eingang 51 eine Benutzerschnittstelle umfassen (Tastatur, Maus, Knopf, Schalter, Berührungsbildschirm, Berührungsfeld und ähnliches), durch die ein Benutzer eine Geschwindigkeit oder eine Rahmenrate des Transportmechanismus 21 eingeben kann, wobei der Eingang 51 das Filtermuster, das angewendet werden soll, basierend auf einer solchen Benutzereingabe auswählt. Bei einem anderen Ausführungsbeispiel kann der Eingang 51 eine Benutzerschnittstelle aufweisen, um die Eingabe des Namens oder einer anderen Charakteristik des Transportmechanismus 21 zu ermöglichen, wobei der Speicher 56 gespeicherte Filtermuster umfasst, die mit bestimmten Typen von Transportmechanismen verwendet werden sollen oder Transportmechanismen, die Charakteristika aufweisen, die über die Benutzerschnittstelle eingegeben werden. Bei wiederum anderen Ausführungsbeispielen kann der Eingang 51 einen oder mehrere Sensoren umfassen oder eine oder mehrere Techniken zum automatischen Bestimmen des Typs des Transportmechanismus 21, der verwendet werden soll, seiner Rahmenrate oder anderer Charakteristika verwenden.
  • Bei wiederum anderen Ausführungsbeispielen kann der Eingang 51 eine Benutzerschnittstelle umfassen, die einer Person ermöglicht, selektiv unter unterschiedlichen verfügbaren Filtermustern zu wählen, basierend auf der Wahrnehmung der Person von der Bildqualität, die durch die Anzeige 26 oder die Anzeige 28 geliefert wird, oder basierend auf anderen Faktoren.
  • Der Paketierer 52 weist eine oder mehrere Vorrichtungen, elektronische Komponenten, Steuerungen oder Verarbeitungseinheiten auf, die konfiguriert sind, um kleinere Informationseinheiten aus den komprimierten Daten zu erzeugen. Solche kleineren Einheiten können z. B. Befehle, Daten, Statusinformationen und andere Informationen aufweisen, aus jedem Rahmen von komprimierten Daten, der von größerer Größe ist (10.000 Byte). Wie nachfolgend hierin detaillierter beschrieben wird, analysiert der Paketierer 52 vor dem Bilden solcher Pakete den komprimierten Datenstrom, um Grenzen von eingehenden, komprimierten Bildrahmen zu identifizieren, und führt eine Filteroperation basierend auf einem vorausgewählten Filtermuster aus, wie es durch den Eingang 51 geliefert wird. Durch Filtern des Stroms aus Bildrahmen reduziert der Paketierer 52 die Rahmenrate des Stroms aus Bildrahmen, um die Übertragung durch den Transportmechanismus 21 zu ermöglichen. Nach einem solchen Filtern platziert der Paketierer 52 solche gefilterten Bildrahmen in Übertragungspakete, die zu dem Sender 54 übertragen werden.
  • Der Sender 54 ist eine Komponente, eine Vorrichtung oder eine oder mehrere Verarbeitungseinheiten, die konfiguriert sind, um komprimierte und paketierte Daten von Modul 30 zu Modul 32 zu übertragen. Gemäß dem dargestellten Ausführungsbeispiel ist der Sender 54 konfiguriert, um die komp rimierten und paketierten Daten drahtlos zu dem Modul 32 zu übertragen. Bei einem Ausführungsbeispiel ist der Sender 54 ein Ultrabreitband-(UWB-; ultra wideband)Funksender. Bei einem solchen Ausführungsbeispiel liefert der Sender 54 eine Hochgeschwindigkeits-Kurzbereichs-Funkverknüpfung. Bei einem Ausführungsbeispiel weist der UWB-Funksender einen Sendebereich von z. B. bis zu, aber nicht begrenzt auf, 30 Fuß auf. Die Datenrate des Senders 54 kann z. B. im Bereich von, aber nicht begrenzt auf, 110 bis 480 Mbps sein. Bei einem solchen Ausführungsbeispiel wirkt der Sender 54 über einen relativ großen Bereich aus Frequenzbändern (z. B. 3,1 bis 10,6 GHz) mit einer vernachlässigbaren Interferenz auf bestehende Systeme, die dasselbe Spektrum verwenden.
  • Das Empfängermodul 32 empfängt den komprimierten und paketierten Datenstrom von dem Sendermodul 30 und manipuliert oder wandelt solche Daten zur Verwendung entweder durch die Computergraphikanzeige 26 oder die Videoanzeige 28 um. Das Empfängermodul 32 umfasst einen Empfänger 60, einen Eingang 61, einen Depaketierer 62, einen räumlichen Dekomprimierer 64, einen Computergraphikcodierer 66, einen Videocodierer 68 und Ausgangs-Schnittstellen oder -Ports 70, 72. Der Empfänger 60 weist eine Komponente, eine Vorrichtung oder eine andere Struktur auf, die konfiguriert ist, um den Strom aus komprimierten und gefilterten, paketierten Daten aus dem Modul 30 zu empfangen. Bei dem bestimmten Ausführungsbeispiel, das dargestellt ist, bei dem der Sender 54 ein drahtloser Sender ist, ist der Empfänger 60 ein drahtloser Empfänger. Der Empfänger 60 und der Sender 54 bilden den Transportmechanismus 21. Bei dem dargestellten Ausführungsbeispiel ist der Empfänger 60 ein Ultrabreitbandfunkempfänger, der konfiguriert ist, um mit dem Sender 54 zusammenzuarbeiten, um den Datenstrom zu empfangen. Bei anderen Ausführungsbeispielen kann der Empfänger 60 andere Konfigurationen aufweisen, abhängig von der Konfiguration des Senders 54. Bei wiederum anderen Ausführungsbeispielen, wo Daten von dem Modul 32, dem Empfängermodul 32, über elektrische Signale oder optische Signale durch physikali sche Leitungen übertragen werden, können der Sender 54 und der Empfänger 60 andere Konfigurationen aufweisen oder können weggelassen werden.
  • Der Eingang 61 weist eine oder mehrere Vorrichtungen, elektronische Komponenten, Steuerungen oder Verarbeitungseinheiten auf, die konfiguriert sind, um dem Depaketierer 62 ein Wiederherstellungsmuster zu liefern, das durch den Depaketierer 62 verwendet werden soll, um den Strom aus Bildrahmen wiederherzustellen, um den Strom vor dem Filtern durch den Paketierer 52 besser anzunähern. Bei einem Ausführungsbeispiel entspricht das Wiederherstellungsmuster dem Filtermuster oder spiegelt dieses wider. Bei einem Ausführungsbeispiel umfasst der Eingang 61 einen Speicher 76 oder hat Zugriff auf denselben oder ist ihm zugeordnet, der Wiederherstellungsmuster speichert, die Filtermustern des Eingangs 51 entsprechen oder dieselben widerspiegeln. Beispiele von Wiederherstellungsmustern umfassen, sind aber nicht beschränkt auf, die Wiederherstellung oder den Ersatz jedes zweiten Rahmens, die Wiederherstellung jedes dritten Rahmens, die Wiederherstellung jedes vierten Rahmens bis zur Wiederherstellung jedes n + 1 Rahmens. Ein Wiederherstellungsmuster kann ferner das Wiederherstellen einer Mehrzahl von Bildrahmen für jeden Rahmen umfassen, der empfangen wird. Zum Beispiel das Wiederherstellen von zwei Rahmen aus jeweils drei Rahmen, Wiederherstellen von drei Rahmen aus jeweils vier Rahmen, Wiederherstellen von vier Rahmen aus jeweils fünf Rahmen usw., bis zum Wiederherstellen von n Rahmen aus jeweils > n empfangenen Rahmen.
  • Bei einem Ausführungsbeispiel umfasst der Strom aus empfangenen Bildrahmen Daten, die anzeigen, welches Filtermuster angewendet wurde, wobei der Eingang 61 ein entsprechendes Wiederherstellungsmuster zu dem Depaketierer 62 basierend auf solchen Daten überträgt. Folglich stellt der Eingang 61 automatisch das Wiederherstellungsmuster ein, das durch den Depaketierer 62 angewendet wird, da unterschiedliche Filtermuster durch den Paketierer 52 angewendet werden. Bei wiederum anderen Ausführungsbeispielen kann der Eingang 61 alternativ eine Benutzerschnittstelle umfassen, die einem Benutzer ermöglicht, das Wiederherstellungsmuster manuell oder anderweitig einzugeben, das durch den Depaketierer 62 angewendet werden soll.
  • Der Depaketierer 62 ist eine Verarbeitungseinheit oder ein Teil einer Verarbeitungseinheit, die konfiguriert ist, um die komprimierten, gefilterten und paketierten Daten von dem Empfänger 60 zu empfangen und die komprimierten, paketierten Daten in komprimierte Rahmen aus Computergraphikdaten oder Videodaten wiederherzustellen. Während einer solchen Wiederherstellung erfasst der Depaketierer jegliche Fehler in dem eingehenden Datenpaket und löst dieselben auf. Zum Beispiel erfasst der Depaketierer jegliche Pakete, die zweimal empfangen wurden, handhabt dieselben und entsorgt die redundanten Pakete. Bei einem Ausführungsbeispiel erfasst der Depaketierer 62 ferner jegliche verlorenen Pakete und ersetzt den Datenverlust z. B. mit Nullen oder Daten aus einem vorhergehenden Rahmen.
  • Wie hierin nachfolgend detaillierter beschrieben wird, stellt der Depaketierer 62 die komprimierten, paketierten Daten in komprimierte Rahmen wieder her, durch Ersetzen herausgefilterter Rahmen durch Kopien aus Bildrahmen, die durch den Depaketierer 62 empfangen wurden. Folglich weist der rekonstruierte bzw. wiederhergestellte Strom aus Bildrahmen eine Rahmenrate auf, die näher an der Originalrahmenrate vor dem Filtern durch den Paketierer 52 liegt. Bei einem Ausführungsbeispiel ist die wiederhergestellte Bildrahmenrate im Wesentlichen gleich zu der Originalrahmenrate vor dem Filtern. Bei einem Ausführungsbeispiel weisen die Originalrahmenrate und die wiederhergestellte Rahmenrate eine Frequenz von 60 Rahmen pro Sekunde auf. Folglich ist die Qualität des Bildes verbessert. Die komprimierten, digitalen Computergraphikdaten oder die komprimierten, digitalen Videodaten werden nachfolgend in den räumlichen Dekomprimierer 64 gespeist.
  • Der räumliche Dekomprimierer 64 weist eine gegenwärtig verfügbare oder zukünftig entwickelte Vorrichtung, Komponente oder Verarbeitungseinheit auf, die konfiguriert ist, um die digitalen Computergraphikdaten oder die Videodaten unter Verwendung eines gegenwärtig verfügbaren oder zukünftig entwickelten räumlichen Datendekomprimierungsalgorithmus zu dekomprimieren. Bei einem Ausführungsbeispiel verwendet der räumliche Dekomprimierer 64 einen JPEG-2000-Wavelet-Dekomprimierungsalgorithmus, wie er von LuraTech, Inc., in San Jose, Kalifornien, geliefert wird. Der Strom aus dekomprimierten Computergraphikdaten oder Videodaten wird nachfolgend zu dem Computergraphikcodierer 66 bzw. dem Videocodierer 68 geliefert oder direkt zu der Computergraphikanzeige 26 oder der Videoanzeige 28.
  • Der Computergraphikcodierer 66 codiert die ausgehenden Computergraphikdaten in ein Format, das zur Übertragung über den Ausgangsport 70 geeignet ist. Bei einem Ausführungsbeispiel ist der Codierer 66 ein gegenwärtig verfügbarer oder zukünftig entwickelter Hardwarecodierer. Beispiele eines gegenwärtig verfügbaren Computergraphikcodierers umfassen, sind jedoch nicht beschränkt auf, die SiI164-Codierervorrichtung für einen DVI-Ausgang von Silicon Image in Sunnyvale, Kalifornien, oder die ADV7122-Codierervorrichtung für einen analogen Ausgang von Analog Devices in Norwood, Massachusetts. Bei einem solchen Ausführungsbeispiel kann der Ausgangsport 70 einen verdrahteten, gegenwärtig verfügbaren oder zukünftig entwickelten Verbinder aufweisen. Beispiele eines solchen, gegenwärtig verfügbaren Verbinders umfassen, sind aber nicht beschränkt auf, einen VESA 15-Pin d-Sub, DVI oder einen DisplayPort-Verbinder. Bei anderen Ausführungsbeispielen können andere Codierer und Verbinder verwendet werden.
  • Der Videographikcodierer 68 codiert die ausgehenden Computergraphikdaten in ein Format, das zur Übertragung über den Ausgangsport 72 geeignet ist. Bei einem Ausführungsbeispiel ist der Codierer 68 ein gegenwärtig verfügbarer oder zukünftig entwickelter Hardwarecodierer. Beispiele eines gegenwärtig verfügbaren Hardwarecodierers umfassen, sind aber nicht beschränkt auf, die SiI9190-Codierervorrichtung für den DVI/HDMI-Ausgang von Silicon Image in Sunnyvale, Kalifornien, oder die ADV7320-Codierervorrichtung für einen analogen Ausgang von Analog Devices in Norwood, Massachusetts. Bei einem solchen Ausführungsbeispiel ist der Ausgangsport 72 ein verdrahteter, gegenwärtig verfügbarer Verbinder, wie z. B., aber nicht nur, ein gemischter Videoverbinder, ein Komponentenvideoverbinder, ein S-Videoverbinder, DVI-Verbinder, HDMI-Verbinder oder SCART-Verbinder. Bei wiederum anderen Ausführungsbeispielen können andere Codierer und Verbinder eingesetzt werden.
  • Wie bei anderen Ausführungsbeispielen durch gestrichelte Linien angezeigt ist, kann das Empfängermodul 32 als Teil von oder eingebettet mit einer von oder beiden aus Computergraphikanzeige 26 oder Videoanzeige 28 sein eingelagert sein. Bei einem solchen Ausführungsbeispiel können die komprimierten Bilddaten direkt von dem räumlichen Dekomprimierer 64 zu einer oder beiden der Anzeige 26 oder der Anzeige 28 übertragen werden, wodurch ermöglicht wird, dass einer oder beide, der Codierer 66 oder der Codierer 68, weggelassen werden. Bei jenen Ausführungsbeispielen, bei denen das Modul 32 in die Anzeige 26 eingebettet ist, kann der Port 70 durch den Port 70' ersetzt werden, der einen gegenwärtig verfügbaren 24-Bit- oder 30-Bit-Parallel-Datenbus aufweisen kann. Bei jenen Ausführungsbeispielen, bei denen das Modul 32 in die Anzeige 28 eingebettet ist, kann der Port 72 durch den Port 72' ersetzt werden, der eine gegenwärtig verfügbare, digitale Schnittstelle aufweisen kann, wie z. B. ein Format ITU-R BT.601 oder ITU-R BT.656. Beispiele von anderen Formaten umfassen, sind aber nicht beschränkt auf, 480i, 576i, 480p, 720p, 1080i und 1080p. Bei anderen Ausführungsbeispielen können die Ports 70' und 72' andere Konfigurationen aufweisen.
  • Obwohl die Verknüpfung 20 derart dargestellt wurde, dass sie jeden der oben erwähnten funktionalen Blöcke aufweist, wie er durch eine oder mehrere Verarbeitungseinheiten und elektronische Komponenten bereitgestellt wird, kann die Verknüpfung 20 bei anderen Ausführungsbeispielen durch andere Anordnungen vorgesehen sein. Obwohl die Verknüpfung 20 derart beschrieben wurde, dass sie ein einzelnes Sendermodul 30 und ein einzelnes Empfängermodul 32 aufweist, kann die Verknüpfung 20 bei anderen Ausführungsbeispielen alternativ ein einzelnes Sendermodul 30 und mehrere Empfängermodule 32, mehrere Sendermodule 30 und ein einzelnes Empfängermodul 32 oder mehrere Sendermodule 30 und mehrere Empfängermodule 32 aufweisen.
  • 2 stellt schematisch den Eingang 51, den Paketierer 52, den Eingang 61 und den Depaketierer 62 detaillierter dar. 2 stellt ferner schematisch das Filtern und die Wiederherstellung einer Folge oder eines Stroms aus Bildrahmen durch den Paketierer 52 und den Depaketierer 62 dar. Wie durch 2 gezeigt ist, umfasst der Paketierer 52, der manchmal als Paketierungssteuerung bezeichnet wird, einen Rahmendetektor 80, einen Filterselektor 82 und ein Rahmenfilter 84. Der Rahmendetektor 80 weist jenen Abschnitt des Paketierers 52 auf, der konfiguriert ist, um Grenzen, den Anfang und das Ende, von jedem Rahmen aus Bilddaten zu identifizieren, der von dem räumlichen Komprimierer 50 empfangen wird (gezeigt in 1). Bei einem Ausführungsbeispiel identifiziert der Rahmendetektor 80 solche Grenzen durch Identifizieren von Rahmenbegrenzern innerhalb des Stroms aus komprimierten Daten, die von dem räumlichen Komprimierer 50 empfangen werden. Bei anderen Ausführungsbeispielen kann der Rahmendetektor 80 die Grenzen individueller Bildrahmen auf andere Weisen erfassen.
  • Der Filterselektor 82 weist jenen Abschnitt des Paketierers 52 auf, der konfiguriert ist, um Mustersteuersignale aus dem Eingang 51 zu decodieren. Basierend auf solchen Signa len stellt der Filterselektor 82 das Filtermuster für das Rahmenfilter 84 ein.
  • Das Rahmenfilter 84 weist jenen Abschnitt des Paketierers 52 auf, der konfiguriert ist, um den eingehenden Strom aus komprimierten Datenrahmen zu empfangen, deren Grenzen durch den Rahmendetektor 80 identifiziert werden. Das Rahmenfilter 84 ist ferner konfiguriert, um die Daten aus ausgewählten, komprimierten Rahmen zu entfernen, wie sie durch den Filterselektor 82 programmiert sind, um dadurch eine Filterfunktion auszuführen. Das Rahmenfilter 84 ermöglicht oder erlaubt, dass ausgewählte Datenrahmen durch den Übertragungsmechanismus 21 passieren. Bei dem bestimmten, dargestellten Beispiel ist es ungefilterten Rahmen erlaubt, durch den drahtlosen Sender 54 zu passieren (gezeigt in 1).
  • Wie weiter durch 2 gezeigt ist, umfasst der Depaketierer 62, der manchmal als eine Depaketierungssteuerung bezeichnet wird, einen Rahmendetektor 90, einen Wiederherstellungsselektor 92, einen Rahmenassembler 94 und einen Speicher 96. Der Rahmendetektor 90 weist jenen Abschnitt des Depaketierers 62 auf, der konfiguriert ist, um Grenzen, den Anfang und das Ende, von jedem Rahmen aus Bilddaten zu identifizieren, die von dem Transportmechanismus 21 empfangen werden. Bei einem Ausführungsbeispiel identifiziert der Rahmendetektor 90 solche Grenzen durch Identifizieren von Rahmenbegrenzern innerhalb des Stroms aus komprimierten Daten. Bei anderen Ausführungsbeispielen kann der Rahmendetektor 90 die Grenzen individueller Bildrahmen auf andere Weisen erfassen.
  • Der Wiederherstellungsselektor 92 weist jenen Teil des Depaketierers 62 auf, der konfiguriert ist, um Mustersteuersignale aus dem Eingang 61 zu decodieren. Basierend auf solchen Signalen stellt der Filterselektor 92 das Wiederherstellungsmuster für den Rahmenassembler 94 ein.
  • Der Rahmenassembler 94 weist jenen Abschnitt des Depaketierers 62 auf, der konfiguriert ist, um den eingehenden Strom aus gefilterten, komprimierten Datenrahmen zu empfangen, deren Grenzen durch den Rahmendetektor 90 identifiziert werden. Der Rahmenassembler 94 ist ferner konfiguriert, um den gefilterten Strom aus Bildrahmen zumindest teilweise wiederherzustellen, basierend auf einem Wiederherstellungsmuster, wie es durch den Wiederherstellungsselektor 92 programmiert ist. Bei dem bestimmten, dargestellten Ausführungsbeispiel stellt der Rahmenassembler 94 den Strom aus gefilterten Bildrahmen wieder her, durch Speichern eines eingehenden, komprimierten Rahmens innerhalb eines lokalen Speichers 96, während gleichzeitig der gleiche, eingehende, komprimierte Bildrahmen zu dem Dekomprimierer 64 weitergeleitet wird (gezeigt in 1). Der Rahmenassembler 94 leitet ferner eine ausreichende Anzahl aus zusätzlichen Kopien des komprimierten Rahmens von dem lokalen Speicher 96 zu dem Dekomprimierer 64 weiter, um die Originalrahmenrate zumindest teilweise wiederherzustellen, die vor dem Filtern durch den Paketierer 52 existierte.
  • Bei einem Ausführungsbeispiel kann der lokale Speicher 96 eine gegenwärtig verfügbare oder zukünftige Implementierung einer flüchtigen oder nichtflüchtigen Speichervorrichtung aufweisen, wie z. B. eine Direktzugriffsspeichervorrichtung (RAM-Vorrichtung). Bei einem Ausführungsbeispiel weist der Speicher 96 eine Speicherkapazität von zumindest gleich einer erwarteten Maximalgröße eines einzelnen Rahmens aus komprimierten Daten auf. Bei einem Ausführungsbeispiel weist der Speicher 96 eine Kapazität von 256 Kilobyte auf. Bei anderen Ausführungsbeispielen kann der Speicher 96 andere Formen eines dauerhaften Speichers aufweisen und kann andere Kapazitäten aufweisen.
  • 3 ist ein Flussdiagramm, das ein Beispielverfahren 100 darstellt, durch das der Paketierer 52 und der Depaketierer 62 eine Reihe oder einen Strom 102 aus Bilddatenrahmen filtern und wiederherstellen (gezeigt in 2), vor und nach der Übertragung durch den Transportmechanismus 21 (gezeigt in 1). Bei dem dargestellten Beispiel umfasst der Strom 102 den komprimierten Bildrahmen 0 bis Bildrahmen n + 1. Der Strom 102 weist eine Rahmenrate von 60 Rahmen pro Sekunde auf.
  • Wie durch Schritt 110 in 3 angezeigt ist und in 2 gezeigt ist, wählt der Eingang 51 ein Filtermuster aus, das durch den Paketierer 52 verwendet werden soll. Wie oben angegeben, kann das Filtermuster basierend auf dem Typ von Bildern ausgewählt werden, die übertragen werden (Video- oder Computergraphiken), der eingegebenen oder erfassten Charakteristik des Transportmechanismus 21 oder auf Auswahlen durch den Benutzer oder ein externes Quellfiltermuster. Mustersteuersignale, die das ausgewählte Filtermuster liefern, werden zu dem Filterselektor 82 übertragen, der die Mustersteuersignale decodiert und solche Signale zu dem Rahmenfilter 84 überträgt.
  • Der Eingang 61 wählt ein Wiederherstellungsmuster aus, das durch den Depaketierer 62 verwendet werden soll. Der Eingang 61 überträgt Wiederherstellungsmustersteuersignale, die ein Wiederherstellungsmuster zu dem Wiederherstellungsselektor 92 des Depaketierers 62 liefern. Bei einem Ausführungsbeispiel entspricht das Wiederherstellungsmuster dem Filtermuster oder spiegelt es im Wesentlichen wider, das durch den Eingang 51 geliefert wird. Der Wiederherstellungsselektor 92 decodiert die Mustersteuersignale aus dem Eingang 61 und überträgt solche Signale zu dem Rahmenassembler 94.
  • Wie durch Schritt 112 in 3 angezeigt ist und durch 2 gezeigt ist, empfängt der Paketierer 52 die Folge oder den Strom 102 aus komprimierten Bildrahmen von dem räumlichen Komprimierer 50 (gezeigt in 1). Wie durch Schritt 114 in 3 angezeigt ist, identifiziert der Rahmendetektor 80 Grenzen der eingehenden, komprimierten Bildrahmen.
  • Wie durch Schritt 116 in 3 angezeigt ist, führt das Rahmenfilter 84 des Paketierers 52 eine Filteroperation an den eingehenden, komprimierten Bildrahmen aus, um die Rahmenrate zu reduzieren. Bei dem Beispiel, das in 2 dargestellt ist, filtert das Rahmenfilter 84 jeden zweiten Rahmen des Stroms 102 heraus oder beseitigt denselben, wodurch die Rahmenrate von 60 Rahmen pro Sekunde auf 30 Rahmen pro Sekunde reduziert wird. Zum Beispiel filtert oder entfernt das Rahmenfilter 84 die Rahmen 1, 3, 5, ... n + 1, während es erlaubt, dass die Rahmen 0, 2, 4, ..., n zu dem Transportmechanismus 21 passieren, wodurch die Rahmenrate um die Hälfte reduziert wird. Bei bestimmten Ausführungsbeispielen kann dies ermöglichen, dass der Transportmechanismus 21 den Strom 102 besser überträgt. Zum Beispiel kann der Transportmechanismus 21 bei bestimmten Ausführungsbeispielen eine maximale Übertragungsrate oder Rahmenrate aufweisen, die geringer ist als die Originalrahmenrate des Stroms 102, also 60 Rahmen pro Sekunde. Wie durch Schritt 118 in 3 angezeigt ist, wird der gefilterte Strom 102' dann durch den Transportmechanismus 21 zu dem Empfänger 60 übertragen (gezeigt in 1).
  • Wie durch Schritt 120 in 3 angezeigt ist und wie in 2 gezeigt ist, leitet der Empfänger 32 den gefilterten Strom 102' zu dem Depaketierer 62 weiter. Wie durch Schritt 122 in 3 angezeigt ist, identifiziert der Rahmendetektor 90 des Depaketierers 62 (gezeigt in 2) die Grenzen der eingehenden, komprimierten Bildrahmen.
  • Wie durch Schritt 124 in 3 angezeigt ist und durch Pfeile 97 in 2 gezeigt ist, überträgt und speichert der Rahmenassembler 94 des Depaketierers 62 eine Kopie eines empfangenen, komprimierten Bildrahmens in dem Speicher 96. Wie durch Pfeil 98 in 2 angezeigt ist, leitet oder überträgt der Rahmenassembler 94 ferner entweder eine andere Kopie oder den komprimierten Originalrahmen zu dem Dekomprimierer 64 weiter (gezeigt in 1). Wie durch Schritt 126 in 3 angezeigt ist und wie schematisch durch den Pfeil 98 in 2 dargestellt ist, ersetzt der Rahmenassembler 94 die herausgefilterten Bildrahmen durch Kopien von empfangenen Rahmen. Genauer gesagt gewinnt der Rahmenassembler 94 Bildrahmendaten aus dem Speicher 96 wieder und leitet eine oder mehrere Kopien des komprimierten Rahmens zu dem Dekomprimierer 64 weiter (gezeigt in 1), um „die Leerstellen des Stroms 102' zu füllen". Somit wird die Rahmenrate des Stroms 102' zumindest teilweise wiederhergestellt, wodurch der Strom 102'' (gezeigt in 2) zu dem Dekomprimierer 64 ausgegeben wird.
  • Bei dem Beispiel, das in 2 dargestellt ist, spiegelt das Wiederherstellungsmuster, das durch den Rahmenassembler 94 angewendet wird, das Filtermuster wider, das durch das Rahmenfilter 84 angewendet wird. Genauer gesagt stellt der Rahmenassembler 94 jeden zweiten Rahmen mit einer Kopie eines vorhergehenden Rahmens wieder her, der durch den Depaketierer 62 empfangen wird. Wie durch 2 gezeigt ist, speichert der Rahmenassembler 94 eine Kopie aus Rahmen-0-Daten in dem Speicher 96, während Rahmen 0 zu dem Dekomprimierer 64 weitergeleitet wird. Nachfolgend gewinnt der Rahmenassembler 94 eine Kopie der Rahmen-0-Daten aus dem Speicher 96 wieder und leitet die Daten zu dem Dekomprimierer 64 weiter. Dabei ersetzten die Rahmen-0-Daten die Rahmen-1-Daten der Originalfolge 102. Auf ähnliche Weise gewinnt der Rahmenassembler 94 eine gespeicherte Kopie des nächsten Rahmens wieder, z. B. des Rahmens 2 in Speicher 96, während der Rahmen 2 zu dem Dekomprimierer 64 geleitet wird. Nachfolgend gewinnt der Rahmenassembler 94 die Kopie der Rahmen-2-Daten aus dem Speicher 96 wieder und leitet die Daten zu dem Dekomprimierer 64. Dabei ersetzen die Rahmen-2-Daten die Rahmen-3-Daten der Originalfolge oder des -stroms 102. Der Rahmenassembler 94 setzt diesen Prozess bis zu Rahmen n fort. Der resultierende Strom 102'' aus Bildrahmen besteht aus einer Rahmensequenz aus Rahmen 0, 0, 2, 2, ... n, n anstelle der Originalsequenz der Rahmen 0, 1, 2, 3, ... n, n + 1. Folglich weist die neu gebildete Reihe oder der Strom 102'' aus komprimierten Bildrahmen eine Rahmenrate von 60 Rahmen pro Sekunde auf. Kurz gesagt, anstelle einfach jeden zweiten Rahmen fallenzulassen, was die Qualität des wiederhergestellten Bildes reduzieren kann, füllt der Depaketierer 62 jeden zweiten Rahmen mit alternativen Rahmendaten, um ein hochqualitatives Bild zu erhalten. Bei anderen Ausführungsbeispielen können andere Filtermuster und Wiederherstellungsmuster eingesetzt werden.
  • 4 stellt schematisch das Bild-Sende-und-Empfangs-System oder die -Verknüpfung 220 dar, ein anderes Ausführungsbeispiel der Verknüpfung 20. Die Verknüpfung 220 ist ähnlich zu der Verknüpfung 20, außer dass die Verknüpfung 20 konfiguriert ist, um gleichzeitig mehr als einen Strom aus Bildrahmen (und Audio) zum Empfang und zur Anzeige auf mehr als einer Anzeige zu übertragen. Bei dem bestimmten, dargestellten Beispiel überträgt die Verknüpfung 220 gleichzeitig Bildrahmenströme (und Audio) von den Computergraphikquellen 222A und 222B. Wie durch 4 gezeigt ist, werden die Ströme aus Bildrahmen durch ein Sendermodul 230 übertragen. Die Ströme aus Bildrahmen können zu einem einzelnen Empfängermodul 232 übertragen werden, zur Darstellung durch die Anzeigen 226A und 226B, oder können zu mehr als einem individuellen oder separaten Empfängermodul 30A und 30B zur Darstellung durch die Anzeigen 26A und 26B übertragen werden.
  • Die Computergraphikquellen 222A und 222B sind im Wesentlichen identisch zu der Computergraphikquelle 22, die oben im Hinblick auf 1 beschrieben ist. Das Sendermodul 230 ist ähnlich zu dem Sendermodul 30, das oben im Hinblick auf 1 beschrieben ist, außer dass das Modul 230 ein Paar aus Ports 242A, 242B, ein Paar aus Computergraphikdecodierern 246 und ein Paar aus räumlichen Komprimierern 250A, 250B anstelle des Ports 42, des Decodierers 46 bzw. des räumlichen Komprimierers 50 umfasst. Ports 242, Decodierer 246 und räumliche Komprimierer 250 sind jeweils individuell im Wesentlichen identisch zu dem Port 44, dem Decodierer 46 bzw. dem räumlichen Komprimierer 50. Jene verbleibenden Elemente oder Komponenten des Sendermoduls 230, die ähnlichen Elementen des Sendermoduls 30 entsprechen, sind ähnlich nummeriert. Die Paare aus Ports 242, Decodierern 246 und räumlichen Komprimierern 250 ermöglichen die gleichzeitige Übertragung von mehreren Bilddatenströmen. Bei anderen Ausführungsbeispielen kann das Modul 230 mehr als zwei räumliche Komprimierer 250, Decodierer 246 und Ports 242 zur Übertragung von mehr als zwei Bildrahmenströmen umfassen.
  • Die Anzeigen 226A und 226B sind im Wesentlichen identisch zu der Anzeige 26, die im Hinblick auf 1 gezeigt und beschrieben ist. Das Empfängermodul 232 ist im Wesentlichen ähnlich zu dem Empfängermodul 32 (gezeigt und beschrieben im Hinblick auf 1), außer das das Empfängermodul 232 ein Paar aus räumlichen Dekomprimierern 264A, 264B, ein Paar aus Computergraphikcodierern 266A, 266B und ein Paar aus Ports 270A, 270B anstelle des Komprimierers 64, des Codierers 66 bzw. des Ports 70 umfasst. Die räumlichen Dekomprimierer 264, Computergraphikcodierer 266 und Ports 270 sind jeweils individuell im Wesentlichen identisch zu dem Dekomprimierer 64, Codierer 66 bzw. Port 70. Die Paare aus räumlichen Dekomprimierern 264, Computergraphikcodierern 266 und Ports 270 ermöglichen den Empfang und das Senden von mehr als einem Strom aus Bildrahmen zu mehr als einer Anzeige 226. Bei anderen Ausführungsbeispielen kann das Empfängermodul 232 mehr als zwei räumliche Dekomprimierer 264, Codierer 266 und Ports 270 zum Senden von Bildrahmenströmen zu mehr als zwei Anzeigen 226 umfassen.
  • Die Anzeigen 26A und 26B sind im Wesentlichen identisch zu der Anzeige 26. Empfängermodule 30A und 30B sind im Wesentlichen identisch zu dem Empfängermodul 30. Bei anderen Ausführungsbeispielen kann die Verknüpfung 220 mehr als zwei Empfängermodule 30 umfassen, wo das Sendermodul 230 konfiguriert ist, um mehr als zwei Ströme aus Bilddaten von mehr als zwei Quellen zu übertragen.
  • Wie oben angegeben ist, ermöglicht die Verknüpfung 20 die Übertragung eines Stroms aus Bildrahmen mit einer größeren Rahmenrate als der maximalen Rahmenrate des Transportmechanismus 21. Auf ähnliche Weise ermöglicht die Verknüpfung 220 die gleichzeitige Übertragung von mehreren Strömen aus Bildrahmen, die kollektiv eine größere Rahmenrate als eine maximale Rahmenrate des Transportmechanismus 21 aufweisen, der verwendet wird. Durch Anwenden eines Filtermusters und Wiederherstellen von ausgefilterten Rahmen gemäß dem Muster, wie oben im Hinblick auf 2 beschrieben wurde, ermöglichen der Paketierer 52 und der eine oder die mehreren Depaketierer 62 der Verknüpfung 220 die Übertragung von mehreren Strömen aus Bildrahmen zu dem Empfängermodul 232 für eine Darstellung auf den Anzeigen 226A, 226B oder zu den Empfängermodulen 30A, 30B zur Darstellung auf den Anzeigen 26A, 26B, obwohl die kollektiven Bildrahmenraten der Ströme anfänglich größer sind als die maximale Rahmenrate des Übertragungsmechanismus 21.
  • Bei dem bestimmten, dargestellten Beispiel ist die Verknüpfung 220 derart beschrieben, dass sie mehr als einen Strom aus Bildrahmendaten von mehr als einer Computergraphikquelle überträgt und darstellt. Bei anderen Ausführungsbeispielen kann die Verknüpfung 220 alternativ konfiguriert sein, um mehr als einen Strom aus Bildrahmendaten aus mehr als einer Videoquelle zu übertragen und darzustellen. Bei einem solchen alternativen Ausführungsbeispiel werden die Paare aus Decodierern 246 und Ports 242 des Moduls 230 durch Paare aus Videodecodierern 48 bzw. Ports 44 ersetzt. Bei einem solchen alternativen Ausführungsbeispiel werden die Paare aus Computergraphikcodierern 266 und Ports 270 durch Paare aus Videocodierern 68 bzw. Ports 72 ersetzt.
  • Obwohl die vorliegende Offenbarung Bezug nehmend auf Beispielausführungsbeispiele beschrieben wurde, erkennen Fachleute auf dem Gebiet, dass Änderungen an Form und Detail ausgeführt werden können, ohne von dem Wesen und dem Schutzbereich des beanspruchten Gegenstands abzuweichen. Zum Beispiel, obwohl unterschiedliche Ausführungsbeispiele derart beschrieben wurden, dass sie ein oder mehrere Merkmale umfassen, die einen oder mehrere Vorteile liefern, wird davon ausgegangen, dass die beschriebenen Merkmale bei den beschriebenen Ausführungsbeispielen oder bei alternativen Ausführungsbeispielen miteinander ausgetauscht oder alternativ miteinander kombiniert werden können. Da die Technik der vorliegenden Offenbarung relativ komplex ist, sind nicht alle Änderungen in der Technik vorhersehbar. Die vorliegende Offenbarung, die Bezug nehmend auf die Ausführungsbeispiele beschrieben wurde und in den nachfolgenden Ansprüchen ausgeführt ist, soll so umfassend wie möglich sein. Zum Beispiel umfassen die Ansprüche, die ein einzelnes, bestimmtes Element wiedergeben, ebenfalls eine Mehrzahl solcher bestimmter Elemente, außer dies ist spezifisch anderweitig angegeben.
  • Zusammenfassung
  • Einer oder mehrere Ströme (102) aus Bildrahmen werden gefiltert und wiederhergestellt unter Verwendung von Filter- bzw. Wiederherstellungsmustern.

Claims (10)

  1. Ein Verfahren, das folgende Schritte aufweist: Filtern eines oder mehrerer Ströme (102) aus Bildrahmen gemäß einem Filtermuster; und Empfangen des einen oder der mehreren gefilterten Ströme (102') aus Bildrahmen und Ersetzen von ausgefilterten Rahmen durch Kopien von empfangenen Rahmen.
  2. Das Verfahren gemäß Anspruch 1, das ferner das Speichern einer Kopie von einem der empfangenen Rahmen in einem Speicher (96) aufweist, wobei ein ausgefilterter Rahmen durch die Kopie ersetzt wird.
  3. Das Verfahren gemäß einem der Ansprüche 1 bis 2, das ferner das Senden der empfangenen Rahmen und der Kopien der empfangenen Rahmen zu einem Dekomprimierer aufweist.
  4. Das Verfahren gemäß einem der Ansprüche 1 bis 3, bei dem der eine oder die mehreren Ströme (102) aus Bildrahmen vor dem Filtern eine erste Bildrahmenrate aufweisen, und bei dem der eine oder die mehreren Ströme (102'') aus Bildrahmen die erste Bildrahmenrate aufweisen, nachdem die ausgefilterten Rahmen durch Kopien der empfangenen Rahmen ersetzt sind.
  5. Das Verfahren gemäß einem der Ansprüche 1 bis 4, bei dem der eine oder die mehreren Ströme (102) aus Bildrahmen vor dem Filtern einem Bildinhalt entsprechen, der sich bei einer Frequenz von weniger als einmal alle 0,25 Sekunden ändert.
  6. Das Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem zumindest zwei aufeinanderfolgende Rahmen gemäß dem Filtermuster ausgefiltert werden.
  7. Das Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem ein Verhältnis der gesendeten Rahmen zu den ausgefilterten Rahmen gemäß dem Filtermuster Eins ist.
  8. Das Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem ein Verhältnis von gesendeten Rahmen zu ausgefilterten Rahmen gemäß dem Filtermuster größer als Eins ist.
  9. Das Verfahren gemäß einem der Ansprüche 1 bis 8, das ferner das Einstellen des Filtermusters aufweist.
  10. Eine Vorrichtung, die folgende Merkmale aufweist: einen Paketierer (52), der konfiguriert ist, um einen oder mehrere Ströme (102) aus Bildrahmen gemäß einem Filtermuster zu filtern; und einen Depaketierer (62), der konfiguriert ist, um den einen oder die mehreren gefilterten Ströme (102') aus Bildrahmen zu empfangen und ausgefilterte Rahmen durch Kopien von empfangenen Rahmen zu ersetzen.
DE112007002373T 2006-10-20 2007-10-17 Rahmenfilter Withdrawn DE112007002373T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/551,697 2006-10-20
US11/551,697 US20080094500A1 (en) 2006-10-20 2006-10-20 Frame filter
PCT/US2007/081678 WO2008051769A2 (en) 2006-10-20 2007-10-17 Frame dropping for streams of images frames

Publications (1)

Publication Number Publication Date
DE112007002373T5 true DE112007002373T5 (de) 2009-07-23

Family

ID=39317518

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112007002373T Withdrawn DE112007002373T5 (de) 2006-10-20 2007-10-17 Rahmenfilter

Country Status (5)

Country Link
US (1) US20080094500A1 (de)
KR (1) KR20090076922A (de)
DE (1) DE112007002373T5 (de)
GB (1) GB2455688B (de)
WO (1) WO2008051769A2 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144106B1 (ko) 2009-08-19 2012-05-24 현대자동차주식회사 자동차용 도어 잠금 장치
JP2013055590A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置および撮像方法
US9736448B1 (en) * 2013-03-15 2017-08-15 Google Inc. Methods, systems, and media for generating a summarized video using frame rate modification
CN112085828B (zh) * 2020-09-18 2024-04-26 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949391A (en) * 1986-09-26 1990-08-14 Everex Ti Corporation Adaptive image acquisition system
SE468736B (sv) * 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
JP3658087B2 (ja) * 1995-07-04 2005-06-08 キヤノン株式会社 端末装置及び端末装置の制御方法
JP3332733B2 (ja) * 1996-07-11 2002-10-07 株式会社東芝 ノード装置及びパケット転送方法
US5990958A (en) * 1997-06-17 1999-11-23 National Semiconductor Corporation Apparatus and method for MPEG video decompression
US6608933B1 (en) * 1997-10-17 2003-08-19 Microsoft Corporation Loss tolerant compressed image data
US6151636A (en) * 1997-12-12 2000-11-21 3Com Corporation Data and media communication through a lossy channel using signal conversion
US7158681B2 (en) * 1998-10-01 2007-01-02 Cirrus Logic, Inc. Feedback scheme for video compression system
US6940826B1 (en) * 1999-12-30 2005-09-06 Nortel Networks Limited Apparatus and method for packet-based media communications
US6747991B1 (en) * 2000-04-26 2004-06-08 Carnegie Mellon University Filter and method for adaptively modifying the bit rate of synchronized video and audio streams to meet packet-switched network bandwidth constraints
JP4573957B2 (ja) * 2000-07-04 2010-11-04 キヤノン株式会社 画像制御装置、画像制御方法及びテレビ受信機
US6831898B1 (en) * 2000-08-16 2004-12-14 Cisco Systems, Inc. Multiple packet paths to improve reliability in an IP network
US7013346B1 (en) * 2000-10-06 2006-03-14 Apple Computer, Inc. Connectionless protocol
US20020136298A1 (en) * 2001-01-18 2002-09-26 Chandrashekhara Anantharamu System and method for adaptive streaming of predictive coded video data
US7017175B2 (en) * 2001-02-02 2006-03-21 Opentv, Inc. Digital television application protocol for interactive television
US7085320B2 (en) * 2001-07-31 2006-08-01 Wis Technologies, Inc. Multiple format video compression
US20050128217A1 (en) * 2003-12-12 2005-06-16 Boaz Cohen Device, system and method for video signal modification
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
US20050175085A1 (en) * 2004-01-23 2005-08-11 Sarnoff Corporation Method and apparatus for providing dentable encoding and encapsulation
US20050289631A1 (en) * 2004-06-23 2005-12-29 Shoemake Matthew B Wireless display
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding

Also Published As

Publication number Publication date
US20080094500A1 (en) 2008-04-24
KR20090076922A (ko) 2009-07-13
WO2008051769A2 (en) 2008-05-02
WO2008051769A3 (en) 2008-10-16
GB2455688B (en) 2011-06-15
GB0907200D0 (en) 2009-06-10
GB2455688A (en) 2009-06-24

Similar Documents

Publication Publication Date Title
DE19982811B4 (de) Verfahren und Einrichtung zur Standbildaufnahme während Videolaufbildoperationen einer Angekoppelten Digitalkamera
DE69937839T2 (de) Vorrichtung und verfahren zur lokalisierung einer kodiereinheit
DE112006003371B4 (de) Anzeigesystem und -verfahren
JP6595006B2 (ja) 低レイテンシスクリーンミラーリング
DE102008004815B4 (de) Verfahren und Vorrichtung zum grafischen Angeben des Fortschritts mehrerer Teile einer Aufgabe
DE19531004C2 (de) Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten
DE19709391A1 (de) MPEG-Codier- und Decodiersystem für Multimediaanwendungen
DE19919600A1 (de) Einrichtung und Verfahren zum Komprimieren von Bilddaten, die von einem Bildsensor empfangen werden, der ein Bayer-Muster aufweist
EP1371229B1 (de) Verfahren zur komprimierung und dekomprimierung von videodaten
DE19544761A1 (de) Verfahren zum Komprimieren eines eingegebenen Symbols
WO2014118306A1 (de) Eingebettetes system zur videoverarbeitung mit hardware-mitteln
KR20150068402A (ko) 동영상 압축 방법
DE112011105981T5 (de) Erweitertes Wireless-Display
DE112019003229T5 (de) Videoverarbeitung in virtuellen Realitätsumgebungen
DE202012013682U1 (de) Videokommunikation mit ultraniedriger Latenz
DE112007002373T5 (de) Rahmenfilter
DE102017116177A1 (de) Verfahren und Gerät zum Kombinieren von Videos
DE102016113431A1 (de) System und Verfahren zur ereignisbasierten Synchronisierung bei der Mediendateiübetragung und Anzeigewiedergabe zwischen einem Peripheriesystem und einem Host-Gerät
DE102019130366A1 (de) Bildskalierung
DE112013007509T5 (de) Verfahren, Einrichtung und System zum Auswählen von Audio-Video-Daten zum Streamen
DE4330040C2 (de) Aufnahme- und/oder Wiedergabevorrichtung zum Aufnehmen und/oder Wiedergeben von Bilddaten, die gemäß unterschiedlicher Komprimierverfahren komprimiert sind
DE112015001145T5 (de) Komprimierter Videotransfer über eine Multimediaverbindung
CH704037B1 (de) Verfahren, Vorrichtung und Computerprogrammprodukt zum synchronisierten sowie sequenziellen Übertragen von Audio- und Videodaten.
EP1745638A1 (de) Verfahren und anordnung zur übertragung von bildern innerhalb eines netzwerks
DE102006020511A1 (de) Einrichtung und Verfahren zum Übertragen von Videosignalen bei Kraftfahrzeugen

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130501