-
Die
Erfindung betrifft ein Verfahren zur Übertragung von mit Hilfe einer
Aufnahmevorrichtung gewonnenen Farbdaten, wonach zu den Farbdaten
korrespondierende Intensitätsgrauwerte
komprimiert übertragen
werden, und wonach sich die Intensitätsgrauwerte aus zu einzelnen
Farben gehörigen
Einzelintensitätsgrauwerten
zusammensetzen.
-
Verfahren
zur Übertragung
von mit Hilfe einer Aufnahmevorrichtung gewonnenen Farbdaten sind
in vielfältiger
Form bekannt, wozu nur beispielhaft auf die
DE 102 23 751 A1 verwiesen
sei. Bei den Farbdaten handelt es sich um Digitaldaten, die ein
digitales und mit Hilfe der Aufnahmevorrichtung abgetastetes Bild
oder eine Bildabfolge bzw. ein Videosignal repräsentieren.
-
Die
Farbdaten bzw. digitalen einzelnen Bilder werden durch eine Farbtriade
roter, grüner
und blauer (RGB) Pixel oder Farbpunkte repräsentiert, ggf. weiter verarbeitet
und dargestellt. So setzt sich beispielsweise eine Ausgabeeinrichtung
in Gestalt eines Computermonitors aus Zeilen und Spalten der betreffenden
Pixel zusammen, wobei jedes Pixel eine Triade phosphoreszierender
Punkte oder heutzutage von Flüssigkeitskristallpartikeln
darstellt. Um den Farbeindruck zu erhalten, werden die Intensitäten von
Rot, Grün
und Blau in jedem Pixel gesteuert.
-
Umgekehrt
werden mit Hilfe der Aufnahmevorrichtung die einzelnen Pixel bzw.
die zugehörigen Farbtriaden
als Digitaldaten aufgenommen und als Farbdaten übertragen. Für solche
Videosignale von beispielsweise bewegten Bildern haben sich bestimmte
Farbmodelle bei der Übertragung
etabliert. Hierzu gehört
beispielsweise das YUV-Farbmodell, welches zur Darstellung der Farbinformation
auf zwei Komponenten zurückgreift,
nämlich
ein Leuchtdichtesignal und ein Farbdifferenzsignal.
-
Das
Leuchtdichtesignal fasst im Kern die jeweiligen RGB-Daten zu einer
aufaddierten Helligkeitsinformation zusammen. Demgegenüber enthalten die
zugehörigen
Farbdifferenzsignale die eigentliche Farbinformation und entstehen
beispielsweise aus der Differenz zwischen dem Blauanteil und dem Leuchtdichtesignal
oder dem Rotanteil und dem Leuchtdichtesignal. Jedenfalls kann mit
Hilfe dieses YUV-Farbmodells das aufgenommene Videosignal unter
Umständen
komprimiert von beispielsweise der Aufnahmevorrichtung zu einer
Ausgabeeinrichtung übermittelt
werden. Solche Ansätze
werden im aus der Praxis bekannten Stand der Technik bereits verfolgt.
-
Diese
sogenannte Videokompression führt dazu,
dass die Datenrate des zugrunde liegenden digitalisierten Videosignals
um ein Vielfaches verkleinert wird. Eine solche Kompression ist
erforderlich, weil beispielsweise die Übertragungsrate von herkömmlichen
digitalisierten Farbfernsehsignalen inklusive Austastlücke bei
216 MBit/s liegt. Da jedoch eine Vielzahl von bereits vorhandenen Übertragungskabeln,
beispielsweise nach dem ISDN- oder DSL-Standard, lediglich Übertragungsraten von 64 kbit/s
respektive einigen Mbit/s zulässt,
ist die Videokompression unumgänglich,
um überhaupt
bewegte Bilder über
solche Datenleitungen übertragen
zu können.
-
An
dieser Stelle haben sich verschiedene Standards für die Videokompression
etabliert, so die sogenannten MPEG-Formate. Um die gewünschte Kompression
der Farbdaten und folglich eine Datenreduktion ohne gravierende
Qualitätsnachteile
bei der anschließenden
Farbdarstellung auf beispielsweise der Ausgabeeinrichtung zu erreichen,
werden verschiedene Vorgehensweisen bei der Kompression eingesetzt
und kombiniert. Hierzu gehört
u. a. die sogenannte Redundanz-Reduktion, bei welcher die zu übertragenden
Farbsymbole bzw. Farbtriaden mit variabler Datenwortlänge ausgerüstet werden.
Dies aus der Erkenntnis heraus, dass die zeitliche und räumliche
Korrelation benachbarter Bildpunkte ausgenutzt wird, wobei häufiger auftretende
bzw. wahrscheinlichere Farbtriaden mit kürzeren Datenwörtern kodiert
werden als seltenere Farbinformationen.
-
Darüber hinaus
kennt man die sogenannte Irrelevanz-Reduktion, bei welcher nur ein
Teil der Bilddaten übertragen
wird. Hier werden entstehende Verzerrungen zugelassen, bei denen
für den menschlichen
Betrachter möglichst
wenig Störungen wahrgenommen
werden. – Von
besonderer Bedeutung ist schließlich
noch die sogenannte Bewegungskorrektur zur Verkleinerung der Datenmenge.
Hier werden nur Unterschiede zum jeweils vorhergehenden Bild gespeichert
und übertragen.
-
So
oder so stoßen
die bekannten Verfahren zur Videokompression an Grenzen, wenn man
Farbdaten in ihrer Datenmenge verkleinert, die im YUV-Farbmodell
vorliegen. Denn dieses Farbmodell entstammt historisch der analogen
Fernsehtechnik und geht auf die Entwicklung des Farbfernsehens (PAL)
zurück.
Tatsächlich
wurde hier nach technischen Wegen gesucht, zusätzlich zum schwarz/weiß-Signal
die Farbinformation übertragen zu
können,
um eine Abwärtskompatibilität mit alten schwarzweiß-Fernsehgeräten zu erreichen,
ohne die zur Verfügung
stehende Übertragungsbandbreite
erhöhen
zu müssen.
-
Aus
diesem Grund wird zwischen einerseits dem Leuchtdichte- bzw. Y-Signal
unterschieden, welches auch bei alten schwarz/weiß-Fernsehgeräten funktioniert
und andererseits der eigentlichen Farbinformation, die sich in den
Farbdifferenz- bzw. UV-Signalen manifestiert. Die damit erreichbaren Übertragungsraten
liegen jedoch selbst nach einer Kompression immer noch deutlich über der
Bandbreite, wie sie beispielsweise von einer ISDN- oder DSL-Leitung zur Verfügung gestellt
wird, ohne dass gravierende Qualitätseinbußen im Farbsignal beobachtet
werden.
-
Der
gattungsbildende Stand der Technik nach der
WO 95/19683 A1 beschäftigt sich
mit einem Verfahren und einer Vorrichtung zur Kompression und Dekompression
von Videobilddaten. Dazu kommt ein sogenanntes 8-Bit-Grauniveau (PGM) zum
Einsatz. Die Bildkonvertierung erfolgt im Rahmen herkömmlicher
Standards.
-
Durch
die
EP 0 888 000 A2 ist
eine Kompressionsvorrichtung für
Bilddaten bekannt geworden, welche zur Reduzierung falscher Farben
eingesetzt wird. Hier wird unter anderem ein der Aufnahmevorrichtung
vorgeschalteter Mosaikfilter angesprochen.
-
Der
Erfindung liegt das technische Problem zugrunde, ein derartiges
Verfahren so weiter zu entwickeln, dass eine gegenüber heutigen
Standards deutlich erhöhte
Kompressionsrate der Videosignale bei nahezu gleichbleibender Qualität erreicht
wird.
-
Zur
Lösung
dieser Aufgabenstellung ist ein gattungsgemäßes Verfahren dadurch gekennzeichnet,
dass die Farbinformation für
die Einzelintensitätsgrauwerte
durch einen der Aufnahmevorrichtung vorgeschalteten und als Mosaikfilter
ausgebildeten Farbfilter vorgegeben wird und dass die Einzelintensitätsgrauwerte
durch ihre zeitliche Anordnung im Datenstrom identifiziert werden,
so dass sich aus dem Datenstrom die matrixartige Struktur des Mosaikfilters
mit den zugehörigen
Einzelintensitätsgrauwerten
wieder herstellen lässt.
-
Im
Rahmen der Erfindung findet also ausdrücklich keine Kompression der
herkömmlichen
Videosignale im YUV-Farbmodell statt. Vielmehr greift die Erfindung
lediglich auf zu den Farbdaten korrespondierende Intensitätsgrauwerte
zurück,
also letztlich einzig die Leuchtdichte- bzw. Y-Signale aus dem YUV-Farbmodell.
Das heißt,
die Intensitätsgrauwerte sind
vorteilhaft als aus RGB-Werten zusammengesetzte Leuchtdichte- bzw.
Y-Signale ausgebildet. Demgegenüber
werden die Farbdifferenz- bzw. UV-Signale ausdrücklich nicht übertragen
und brauchen demzufolge auch nicht komprimiert zu werden. Dadurch
kann bereits die Datenrate von einigen 10 Megapixel/s bei Anwendung
des MPEG-Standards zur Komprimierung eines herkömmlichen YUV-Signals um mehr
als einen Faktor 10, insbesondere um den Faktor 20, auf beispielsweise
100 kbit/s oder weniger, reduziert werden. Das heißt, man
kommt mit der erfindungsgemäßen Methode
auf eine Übertragungsrate
von deutlich weniger als ein Mbit/s, so dass hiermit sogar Videosignale über herkömmliche ISDN-Leitungen übertragen
werden können.
-
Dabei
geht die Erfindung von der Erkenntnis aus, dass die jeweilige Farbinformation
in den Intensitätsgrauwerten
vorhanden ist bzw. diese flankiert. Denn die jeweils übertragenen
Intensitätsgrauwerte setzen
sich aus zu einzelnen Farben (RGB) gehörigen Einzelintensitätsgrauwerten
zusammen. Diese Einzelintensitätsgrauwerte
lassen sich durch ihre zeitliche Anordnung im Datenstrom und/oder
ein zusätzliches
Informationsfeld bzw. ein oder mehrere Informationsbits identifizieren.
-
Dabei
greift die Erfindung auf eine bestimmte zeitliche Anordnung im Datenstrom
für die
Einzelintensitätsgrauwerte
zurück.
Das heißt,
im Rahmen der Erfindung setzt sich der Datenstrom aus den Intensitätsgrauwerten
beispielsweise zunächst
aus einem Einzelintensitätsgrauwert
für die
Farbe Rot, dann einem Einzelintensitätsgrauwert für die Farbe
Grün usw.
zusammen. Dabei korrespondiert jeder Einzelintensitätsgrauwert
in der Regel zu 8 bit, wobei der Intensitätsgrauwert "schwarz" zu R = G = B = 0 korrespondiert und "weiß" zu R = G = B = 255.
Selbstverständlich
kann hier auch anders vorgegangen werden.
-
Um
die zeitliche Anordnung der Einzelintensitätsgrauwerte, also der Intensitätsgrauwerte
für jede
einzelne (Rot-, Grün-
und Blau)-Farbinformation zur Verfügung zu stellen, arbeitet die
Aufnahmevorrichtung mit dem vorgeschalteten Farbfilter. Dabei ist der
Farbfilter meistens so ausgelegt, dass zu jedem Pixel bzw. Farbpunkt
der Aufnahmevorrichtung eine eigene Farbinformation bzw. ein zugehöriger Farbfilter
korrespondiert. Tatsächlich
handelt es sich bei diesem Farbfilter um einen Mosaikfilter, vorzugsweise
einen Bayer-Filter.
-
Jedenfalls
legt die topologische und gleichsam matrixartige Anordnung der einzelnen
Farbfiltersegmente des Mosaikfilters sowohl in Zeilen- als auch
Spaltenrichtung die Farbausgabe und damit die Reihenfolge der Intensitätsgrauwerte
für die
einzelnen (Rot-, Grün-
und Blau)-Farbinformation der Aufnahmevorrichtung fest. Unter der
Voraussetzung, dass die Intensitätsgrauwerte
der Aufnahmevorrichtung zeilenweise ausgelesen werden und folglich
die zu den einzelnen Farben gehörigen
Einzelintensitätsgrauwerte
hintereinander im Datenstrom vorliegen, lässt sich aus dem ankommenden
Datenstrom die matrixartige Struktur des Mosaikfilters mit, den
zugehörigen
Einzelintensitätsgrauwerten
wieder herstellen.
-
Der
Vorgang des zeilenweisen Auslesens und der Identifizierung der jeweiligen
Einzelintensitätsgrauwerte
mit der bereits angesprochenen 8 bit-Datenlänge wird vorliegend als Kodierung
bezeichnet, wohingegen der umgekehrte Vorgang die Dekodierung darstellt.
Das heißt,
die Intensitätsgrauwerte
bzw. die Einzelintensitätsgrauwerte
lassen sich in RGB-Werte dekodieren und beispielsweise mittels einer
Ausgabeeinrichtung darstellen. Bei dieser Ausgabeeinrichtung mag
es sich um einen Monitor, einen Farbdrucker o. dgl. handeln, wobei
selbstverständlich
auch eine schwarz/weiß-Ausgabeeinrichtung
angesteuert werden kann, weil die erfindungsgemäßen Intensitätsgrauwerte
als zusammengesetzte Leuchtdichte-Signale vorliegen und somit unmittelbar
zur Ansteuerung genutzt werden können.
-
Wie
bereits ausgeführt,
lassen sich die Intensitätsgrauwerte
komprimiert übertragen,
wobei übliche
Videokompressionsstandards eingesetzt werden, beispielsweise der
MPEG-Standard, bei welchem primär
nur die Farbdaten bzw. Intensitätsgrauwerte übertragen
werden, welche im Vergleich zum vorhergehenden Bild eine Änderung
erfahren haben.
-
Die
beschriebene Vorgehensweise eignet sich besonders für Aufnahmevorrichtungen,
die als Single-CCD-Chip ausgebildet sind bzw. einen solchen beinhalten.
Denn ein solcher Single-CCD-Chip lässt sich vorteilhaft mit dem
bereits angesprochenen Mosaikfilter frontseitig belegen, so dass
jeder einzelne Pixel bzw. Farbpunkt nur die Information einer einzelnen
Farbe aufnimmt. Das heißt,
die Intensitätsgrauwerte
bzw. Einzelintensitätsgrauwerte
stellen monochrome 8 bit-Werte da.
-
Im
Folgenden wird die Erfindung anhand einer lediglich ein Ausführungsbeispiel
darstellenden Zeichnung näher
erläutert.
Die einzige Figur gibt die beschriebene Vorgehensweise vereinfacht
wieder.
-
In
der Figur erkennt man zunächst
einmal eine Aufnahmeeinrichtung 1, welche Farbdaten erzeugt,
die von mit Hilfe der Aufnahmeeinrichtung 1 erfassten bewegten
Bildern resultieren. Diese Farbdaten werden zunächst einmal kodiert und komprimiert.
Anschließend
werden die Farbdaten dekomprimiert, dekodiert und auf einer Ausgabevorrichtung 2 wiedergegeben.
Das kann örtlich
und zeitlich von der Aufnahmevorrichtung 1 getrennt geschehen,
indem beispielsweise die Farbdaten über eine Signalleitung 3 mit
geringer Übertragungsbandbreite
versandt werden.
-
Die
Signalleitung 3 ist nicht zwingend erforderlich, weil die
von der Aufnahmevorrichtung 1 resultierenden Farbdaten
selbstverständlich
auch drahtlos zur Ausgabevorrichtung 2 oder an einen Speicher 4 übertragen
werden können.
Darüber
hinaus sind die Aufnahmevorrichtung 1 und auch die Ausgabevorrichtung 2 selbstverständlich nicht
an Gebäude
gebunden, sondern es ist denkbar, sowohl die Aufnahmevorrichtung 1 als
auch die Ausgabevorrichtung 2 in einem Kraftfahrzeug zu
realisieren. Dann ist die Übertragungsleitung 3 Bestandteil
des ohnehin vorhandenen Bordnetzes bzw. wird eine bereits belegte
Leitung mit zu den Farbdaten gehörenden
Signalen moduliert.
-
Eine
mögliche
Anwendung sieht vor, dass die Aufnahmevorrichtung 1 als
Rückfahrkamera
ausgebildet ist und die von ihr erfassten Bilder im Kraftfahrzeug
nach dem erfindungsgemäßen Kompressionsverfahren über das
Bordnetz an einen Monitor in der Nähe des Volant übertragen
und hier ausgegeben werden. Bei einer Alternative kann die Aufnahmevorrichtung 1 in
den Seitenspiegel integriert werden und Bilder des "toten Winkels" aufnehmen sowie übertragen,
wie zuvor angegeben.
-
Bei
der Aufnahmevorrichtung 1 handelt es sich um einen Single-CCD-Chip 1,
also einen solchen, der auf ein einziges CCD-Array aus matrixartig angeordneten
Pixeln zurückgreift.
Beispielsweise mag es sich in der Darstellung um einen CCD-Chip mit
4 × 4
bzw. 16 Pixeln handeln, was selbstverständlich nicht zwingend ist.
Die Pixel bzw. Farbpunkte befinden sich im Beispielfall hinter einem
insoweit vorgeschalteten Farbfilter bzw. Mosaikfilter 5.
Bei diesem Mosaikfilter 5 handelt es sich vorliegend um
einen solchen mit so genannter Bayer-Struktur und folglich um einen
Bayer-Filter 5. Dieser ist durch eine charakteristische
Abfolge einzelner Farbfiltersegmente 5' gekennzeichnet. Tatsächlich setzt
sich die Bayer-Struktur aus jeweils vier zusammen gruppierten Farbfiltersegmenten 5' zusammen, die
in der einzigen Figur strichpunktiert zusammengefasst sind.
-
Die
einzelnen Farbfiltersegmente 5' korrespondieren zu Transmissionskurven,
welche mit ihren Maxima primär
die jeweiligen Farben Rot (R), Grün (G) und Blau (B) des sichtbaren
Spektrums von ca. 400 nm bzw. ca. 700 nm durchlassen. Auf diese
Weise erhält
das hinter dem jeweiligen Farbfiltersegment 5' befindliche
Pixel der Aufnahmevorrichtung 1 jeweils nur die zugehörige Farbinformation,
welche durch das Farbfiltersegment 5' transmittiert wird. Demzufolge
werden von dem jeweiligen Pixel monochrome Einzelintensitätsgrauwerte
I1, I2, I3 usw. aufgenommen, die schematisch in der
einzigen Figur unterhalb der Aufnahmevorrichtung 1 als
zugehöriger
Datenstrom dargestellt sind.
-
Man
erkennt die Einzel-Intensitätsgrauwerte I1, I2, I3 usw.,
welche idealerweise zu einer bestimmten Grauintensität korrespondieren
und über
die Zeit t von der Aufnahmevorrichtung 1 zur Übertragung ausgesandt
werden. Im Beispielfall ist die erste Zeile der Aufnahmevorrichtung 1 mit
der Abfolge der Einzelintensitätsgrauwerte
I1, I2, I3 usw. dargestellt, welche zu den Farben
RGR usw. gehören.
Tatsächlich berücksichtigt
die Bayer-Struktur des Mosaikfilters 5, dass der grüne Bereich
vorliegend über
jeweils zwei Farbfiltersegmente 5' abgetastet wird, um der besonderen
Empfindlichkeit des menschlichen Auges im grünen Spektralbereich Rechnung
zu tragen. Dagegen werden der rote Bereich und der blaue Bereich nur
mit jeweils einem Farbfiltersegment 5' abgedeckt.
-
Der
aus den Einzelintensitätsgrauwerten I1(R), I2(G), I3(R) usw. zusammengesetzte Datenstrom an
Intensitätsgrauwerten
I wird anschließend komprimiert,
beispielsweise nach dem MPEG-Standard. Im einfachsten Fall geschieht
dies dergestalt, dass nur die Intensitätsgrauwerte I eine Berücksichtigung
bei der Datenreduktion erfahren, die zu einem Unterschied im Vergleich
zum vorhergehenden Bild korrespondieren. Jedenfalls erfolgt diese
Datenkompression in einem Kompressionsmodul 6. Im Anschluss
daran werden die komprimierten Intensitätsgrauwerte 1 über die
gewünschte
Datenleitung, beispielsweise ISDN-Leitung oder auch DSL-Leitung übertragen.
Anschließend
erfolgt ihre Dekompression und Dekodierung, um mit Hilfe der Ausgabevorrichtung 2 das
zuvor mit der Aufnahmeeinrichtung 1 erfasste Bild wiedergeben
zu können.
-
Im
Rahmen des Ausführungsbeispiels
werden die komprimierten und über
die ISDN- oder DSL-Leitung gesandten komprimierten Intensitätsgrauwerte
I in einen optionalen Speicher 4 eingelesen und lassen
sich hier bereits analysieren. Selbstverständlich können in diesem Speicher 4 auch
Korrekturen an den Intensitätsgrauwerten
I vorgenommen werden, beispielsweise eine Shadingkorrektur.
-
Die
Kodierung der Intensitätsgrauwerte
I hat zuvor in einem Kodierer 7 stattgefunden, während ihre
Dekodierung in einem Dekoder 8 vorgenommen wird. Dem Dekoder 8 ist
ein Dekomprimierer 9 vorgeschaltet. Bei der Dekodierung
werden die Einzelintensitätsgrauwerte
I1, I2, I3 usw. entsprechend dem dargestellten Datenstrom
wieder hinsichtlich ihrer Position im Mosaikfilter 5 in
einen solchen Filter virtuell zurückgeschrieben. Das heißt, aus
dem zum Kodierer 7 gehörigen
Datenstrom wird das Mosaikbild entsprechend dem Mosaikfilter 5 wieder
hergestellt, so dass die gewünschte
Farbinformation an der "richtigen" Position vorliegt.
-
Dazu
ist es lediglich erforderlich, den Strom an Intensitätsgrauwerten
I bzw. die die einzelnen Farben repräsentierenden Einzelintensitätsgrauwerte I1(R), I2(G), I3(R) usw. mit der an den Dekoder 8 übermittelten
oder hier bereits vorhandenen Bayer-Struktur zu flankieren, so dass
daraus insgesamt auf die matrixartige Anordnung der Pixel mit den
zugehörigen
Einzelintensitätsgrauwerten
I1, I2, I3 usw. der Aufnahmevorrichtung 1 rückgeschlossen
werden kann. So gehört
der Einzelintensitätsgrauwert
I1(R) zur Position 1, 1 der Matrix, der
Einzelintensitätsgrauwert I2(G) zur Position 1, 2 der Matrix, der Einzelintensitätsgrauwert
I3(R) zu 1, 3 usw., wobei die Intensitätswerte
I zu den dort aufgenommenen Farben Rot (R), Grün (G) und erneut Rot (R) usw.
korrespondieren.
-
Zuvor
oder gleichzeitig wird der komprimierte Datenstrom dekomprimiert.
Das ist durch einen Dekomprimierer 9 angedeutet, welcher
mit dem Dekodierer 8 eine Einheit bilden kann. In dem Dekomprimierer 9 werden
die zuvor komprimierten Intensitätsgrauwerte
I je nach dem angewandten Kompressionsstandard wieder zu den ursprünglichen
Intensitätsgrauwerten
I mit vollständiger
jeweiliger Datenlänge
zurückverwandelt.
Da gleichzeitig oder danach die Dekodierung in dem Dekoder 8 stattfindet,
stehen nach der Dekomprimierung und Dekodierung die Einzelintensitätsgrauwerte
I1, I2, I3 usw. wie im Kodierer 7 gezeigt
zur Verfügung
und lassen sich anschließend
in das Bayer-Muster bzw. die Bayer-Struktur zurückschreiben, welche zu dem
Mosaikfilter 5 gehört.
Auf diese Weise können
die dekomprimierten und dekodierten Farbdaten anschließend auf
der bereits angesprochenen Ausgabevorrichtung 2 ausgegeben
und dargestellt werden. Zu diesem Zweck lassen sich entweder jeweils
vier zusammen gruppierte Farbfiltersegmente 5' zu einer Farbtriade
RGB für
die Ausgabevorrichtung 2 zusammenfassen oder es wird zwischen
den einzelnen zu den Farben gehörigen Einzelintensitätsgrauwerten
I1 (R), I2 (G) usw.
interpoliert. Jedenfalls stehen am Ende dieser Prozedur Farbtriaden
RGB zur Verfügung,
die unmittelbar für die
Ansteuerung der Ausgabevorrichtung 2 genutzt werden. Die
dekomprimierten und dekodierten Farbdaten lassen sich anschließend auf
der bereits angesprochenen Ausgabevorrichtung 2 ausgeben
und darstellen.