DE102020003095A1 - Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug - Google Patents

Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug Download PDF

Info

Publication number
DE102020003095A1
DE102020003095A1 DE102020003095.5A DE102020003095A DE102020003095A1 DE 102020003095 A1 DE102020003095 A1 DE 102020003095A1 DE 102020003095 A DE102020003095 A DE 102020003095A DE 102020003095 A1 DE102020003095 A1 DE 102020003095A1
Authority
DE
Germany
Prior art keywords
image
gradient
images
metadata
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020003095.5A
Other languages
English (en)
Inventor
Jan Bauer
Sascha Xiaguang Xu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X-Motive De GmbH
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of DE102020003095A1 publication Critical patent/DE102020003095A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Übertragung von Bildern (I, I') von einer Bildquelle (S) zu einem Displaymodul (D) in einem Fahrzeug, wobei von der Bildquelle (S) ein ursprüngliches Bild (I) bereitgestellt wird, welches in ein verarbeitetes Bild (I') transformiert und an das Displaymodul (D) übertragen wird. Zu jedem Bild (I, I') wird jeweils mindestens ein Ortsgradientenbild bestimmt und daraus Metadaten (M, M') umfassend jeweils mindestens ein Gradientenhistogramm (H, H, H(i,j), H(i,j)) ermittelt. Die Wahrnehmungsäquivalenz der Bilder (I, I') wird als Funktion mindestens eines Unterschiedsmaßes (d, d, d(i,j), d()), das den Unterschied zwischen den Quell-Metadaten (M) des ursprünglichen Bildes (I) und den Kontroll-Metadaten (M') des verarbeiteten Bildes (I') misst, abgebildet.

Description

  • Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung gemäß dem Oberbegriff des Anspruchs 3.
  • Verfahren und Vorrichtungen zur Übertragung von Bildern, beispielsweise von mittels einer Kamera aufgenommenen Umgebungsbildern zur Darstellung auf einem Display, sind bekannt. Auch die Verarbeitung von Bildern entlang der Übertragungskette, beispielsweise die Kompression, eine Größenanpassung und/oder die Überlagerung (Augmentierung) von Symbolen über einem Umgebungsbild, sind bekannt.
  • Das Dokument DE 39 13 620 A1 beschreibt ein Verfahren zur Bildauswertung mittels einer Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespeicherte Bildmuster, z. B. Textilmuster oder Fahrzeuge, in dem auszuwertenden Bild ermittelt werden, wobei die Grauwertgradienten des Bildes normiert werden, das Histogramm der Gradientenrichtungen gebildet wird, indem die Häufigkeit der Gradientenwinkelwerte in Prozent gegen den Winkelwert, z. B. in einer Tabelle, festgelegt werden, die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgeführt wird, der Winkelwert des Bildmusters um 1 oder einen beliebigen anderen Wert erhöht (modulo 360) und dieses neue Histogramm mit dem Bild kreuzkorreliert wird, diese Maßnahme 360mal oder entsprechend weniger oft wiederholt wird und das Bild mit der höchsten Übereinstimmung der Kreuzkorrelation ermittelt wird.
  • Das Dokument DE 195 49 216 A1 beschreibt ein Verfahren zur Bildauswertung eines parzellierten oder tesselierten Bildes, wobei für jede Parzelle eines parzellierten Bildes der mittlere Grauwert Lm sowie die minimalen und maximalen Grauwerte Lmin bzw. Lmax berechnet werden. Deren Differenz wird als Spannweite Sp einer Parzelle bezeichnet. Anschließend werden eine mittlere Spannweite Sm und deren Standardabweichung für das gesamte Grauwertbild aus den Spannweiten aller Parzellen des parzellierten Bildes berechnet. Dieser Mittelwert Sm wird als Schwellwert zur Definition auffälliger Parzellen benutzt: Eine Parzelle ist auffällig, wenn deren Spannweite Sp größer als Sm ist. Darüber hinaus werden die Abstände von Maxima im Histogramm der Grauwert-Gradientenrichtungen zur Definition auffälliger Bereiche herangezogen. Abstände von ca. 180° bzw. 90° signalisieren parallele Kanten bzw. orthogonale Kanten. Das „Spannweiten-Verfahren“ wird mit dem „Richtungshistogramm-Verfahren“ kombiniert für die Detektion künstlicher Objekte (z. B. Fahrzeuge, Häuser, Straßen).
  • Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Übertragung von Bildern in einem Fahrzeug anzugeben.
  • Hinsichtlich des Verfahrens wird die Aufgabe durch die Merkmale des Anspruchs 1 gelöst. Hinsichtlich der Vorrichtung wird die Aufgabe durch die Merkmale des Anspruchs 3 gelöst.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Bei einem Verfahren zur Übertragung von Bildern von einer Bildquelle zu einem Displaymodul in einem Fahrzeug wird ein ursprüngliches Bild von der Bildquelle bereitgestellt, in ein verarbeitetes Bild transformiert und an das Displaymodul übertragen.
  • Erfindungsgemäß wird zu jedem Bild jeweils mindestens ein Ortsgradientenbild bestimmt. Aus dem mindestens einen Ortsgradientenbild werden Metadaten umfassend jeweils (für jedes Ortsgradientenbild) mindestens ein Gradientenhistogramm ermittelt. Die Wahrnehmungsäquivalenz des ursprünglichen und des verarbeiteten Bildes wird als eine Funktion mindestens eines Unterschiedsmaßes, das den Unterschied zwischen den Quell-Metadaten des ursprünglichen Bildes und den Kontroll-Metadaten des verarbeiteten Bildes misst, abgebildet. In einer Ausführungsform der Erfindung kann die Wahrnehmungsäquivalenz des ursprünglichen und des korrespondierenden verarbeiteten Bildes durch Vergleich des mindestens einen Unterschiedsmaßes mit jeweils mindestens einem vorbestimmten Schwellwert bestimmt werden. Beispielsweise kann ein Unterschiedsmaß mit einem ersten vorbestimmten Schwellwert „OK“ verglichen werden, dessen Unterschreitung eine zuverlässige Wahrnehmungsäquivalenz signalisiert. Wird der erste vorbestimmte Schwellwert „OK“ überschritten, so kann das Unterschiedsmaß mit einem zweiten vorbestimmten Schwellwert „Warnung“ verglichen werden, dessen Überschreitung eine nicht zuverlässig entscheidbare Wahrnehmungsäquivalenz signalisiert. Ferner kann das Unterschiedsmaß mit einem dritten vorbestimmten Schwellwert „Fehler“ verglichen werden, dessen Überschreitung eine fehlende Wahrnehmungsäquivalenz signalisiert.
  • Eine Wahrnehmungsäquivalenz zwischen zwei Bildern liegt dann vor, wenn sie von einem Beobachter in gleicher Weise wahrgenommen werden, insbesondere dann, wenn ein Beobachter beiden Bildern gleiche relevante, insbesondere für die Steuerung des Fahrzeugs wesentliche Informationen entnehmen kann.
  • Ein Vorteil des Verfahrens besteht darin, dass ein ursprüngliches und ein verarbeitetes Bild, obgleich sie nicht mathematisch oder wertemäßig identisch sind, als wahrnehmungsäquivalent erkannt werden, wenn sie eine für den Betrachter gleiche wesentliche Information transportieren. Demgegenüber können auch zwei Bilder als nicht wahrnehmungsäquivalent erkannt werden, wenn das verarbeitete Bild eine gegenüber dem ursprünglichen Bild in wesentlichen Teilen veränderte oder fehlende Information transportiert. Ein besonderer Vorteil des Verfahrens besteht darin, dass es effizient, in Echtzeit, mit keinen oder nur geringen zusätzlichen Anforderungen an die Hardware und auch für hochauflösende Bildsequenzen oder Videos umsetzbar ist. Insbesondere können verfügbare Hardware-Ressourcen zur Umsetzung des Verfahrens genutzt werden. Ein weiterer Vorteil besteht darin, dass die zur Ermittlung der Wahrnehmungsäquivalenz erforderlichen Metadaten im Vergleich zu den Bilddaten von geringem Umfang sind.
  • Das erfindungsgemäße Verfahren kann zur Sicherung der Qualität eines innerhalb eines Fahrzeugs oder einer anderen technischen Einrichtung übertragenen Bildes eingesetzt werden. Darüber hinaus kann das Verfahren in für Multimediaanwendungen angepassten Ausführungsformen eingesetzt werden, bei denen eine Überprüfung der Qualität eines empfangenen und/oder dargestellten Bildes ebenfalls vorteilhaft ist.
  • Ein weiterer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass es algorithmisch effizient und mit geringem Ressourcenverbrauch, insbesondere mit geringem Verbrauch an Speicherkapazität, Rechenleistung und Rechenzeit, umsetzbar ist.
  • In einer Ausführungsform umfasst das Verfahren einen Rückkopplungsschritt, mit welchem die ermittelte Wahrnehmungsäquivalenz an die Bildquelle übertragen wird, wobei die Bildquelle zur Erfassung und/oder zur Verarbeitung von Bildern eingerichtet ist.
  • In dem Rückkopplungsschritt wird mindestens ein Parameter der Bilderfassung und/oder der Bildverarbeitung in der Bildquelle derart angepasst, dass die Wahrnehmungsäquivalenz verbessert wird.
  • Insbesondere ist der Ressourcenverbrauch dieser Ausführungsform des Verfahrens derart, dass ein Rückkopplungsschritt in Echtzeit realisiert werden kann. Ein Vorteil dieser Ausführungsform besteht somit darin, dass Verluste in der Wahrnehmungsäquivalenz nicht nur erkannt, sondern zusätzlich auch vermieden werden können.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
    • 1 schematisch eine Übertragungsstrecke zur gesicherten Übertragung von Bilddaten,
    • 2 schematisch den Ablauf eines Verfahrens zur globalen Gradientenhistogrammbestimmung,
    • 3 schematisch den Ablauf eines Verfahrens zur lokalen Gradientenhistogrammbestimmung sowie
    • 4 schematisch den Ablauf eines Verfahrens zur Validierung einer Bilddatenübertragung.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt schematisch eine Übertragungsstrecke zur gesicherten Übertragung von Bildern I, I' von einer Bildquelle S bis zu einem Displaymodul D, wobei die Bildquelle S ursprüngliche Bilder I bereitstellt und das Displaymodul D verarbeitete Bilder I' darstellt. An Stelle des Displaymoduls D kann ein übergeordnetes System, das zur Darstellung von verarbeiteten Bildern I' eingerichtet ist, angeordnet sein.
  • Die Bildquelle S kann als Foto- oder Videokamera ausgebildet sein. Es ist aber auch möglich, dass die Bildquelle S als Grafikprozessor ausgebildet ist, der ursprüngliche Bilder I elektronisch erzeugt. Auch Bildquellen S, bei welchen mit einer Kamera aufgenommene natürliche Abbilder der Umgebung mit elektronisch erzeugten Bilddaten überlagert werden, sind möglich. Vorzugsweise ist die Übertragungsstrecke zur Übertragung von Bildern I, I' in einem Fahrzeug eingerichtet. Es ist auch möglich, dass die Bildquelle S eine zeitliche Folge von ursprünglichen Bildern I als Videostrom bereitstellt.
  • Die ursprünglichen Bilder I werden von einem Frontend FE aufgenommen und an eine Head Unit HU weitergeleitet. Das Frontend FE ist dazu eingerichtet, aus den bereitgestellten ursprünglichen Bildern I Quell-Metadaten M zu extrahieren, die den Inhalt des jeweiligen ursprünglichen Bildes I charakterisieren. Verfahren zur Extraktion solcher Quell-Metadaten werden nachfolgend anhand der 2 und 3 noch genauer beschrieben.
  • Das Frontend FE ist zur computergestützten Abarbeitung eines solchen Verfahrens eingerichtet. Beispielsweise umfasst das Frontend FE einen Mikrocontroller, ein Field Programmable Gate Array (FPGA) oder einen Digitalen Signalprozessor (DSP). Das Frontend FE kann auch als Teil einer Bildquelle S, beispielsweise als Teil eines Grafikprozessors, ausgebildet sein. Dadurch können zusätzliche Aufwände und Kosten für die Extraktion der Quell-Metadaten M vermieden oder reduziert werden.
  • Eine Head Unit HU ist eine für den Einsatz in Automobilen bekannte und verbreitete Einheit zur Datenverarbeitung, welche unterschiedliche Funktionen umsetzen kann. Für die vorliegende Erfindung ist wesentlich, dass die Head Unit HU ein eingespeistes ursprüngliches Bild I in ein verarbeitetes Bild I' transformiert und ausgibt, wobei eingespeiste Quell-Metadaten M unverändert ausgegeben werden. Beispielsweise kann eine Head Unit HU für eine Überlagerung (Augmentierung) von Zusatzinformationen, beispielsweise für eine Überlagerung von Symbolen über ein Bild der Fahrzeugumgebung, eingerichtet sein.
  • Von der Head Unit HU wird das verarbeitete (beispielsweise mit augmentierten Symbolen versehene) Bild I' gemeinsam mit den unverändert übertragenen Quell-Metadaten M an ein Backend BE geleitet. Das Backend BE ist dazu eingerichtet, aus den verarbeiteten Bildern I' korrespondierende Kontroll-Metadaten M' zu extrahieren und diese mit den aus dem ursprünglichen Bild I extrahierten Quell-Metadaten M zu vergleichen, wobei zur Extraktion der Kontroll-Metadaten M' dasselbe Verfahren eingesetzt wird wie zur Extraktion der Quell-Metadaten M. Derartige Verfahren zur Extraktion von Metadaten M, M' werden nachfolgend anhand der 2 und 3 noch genauer beschrieben. Ein Verfahren zum Vergleich der Quell-Metadaten M mit den Kontroll-Metadaten M' wird nachfolgend anhand der 4 noch genauer beschrieben.
  • Das Backend BE ist zur computergestützten Abarbeitung eines solchen Verfahrens eingerichtet. Beispielsweise umfasst das Backend BE einen Mikrocontroller, ein Field Programmable Gate Array (FPGA) oder einen Digitalen Signalprozessor (DSP). Das Backend BE kann auch teilweise oder vollständig als Teil des Displaymoduls D, beispielsweise als Teil des Timing Controllers (TCON) des Displaymoduls D, ausgebildet sein. Dadurch können zusätzliche Aufwände und Kosten für die Extraktion der Kontroll-Metadaten M' sowie für den Vergleich der Metadaten M, M' vermieden oder reduziert werden.
  • Als Ergebnis des Vergleichs der Quell- und Kontroll-Metadaten M, M' gibt das Backend BE ein Flag oder einen Fehlerstatus F aus und überträgt diesen zusammen mit dem verarbeiteten Bild I' an das Displaymodul D oder an ein anderes übergeordnetes System.
  • Der Fehlerstatus F kann binär kodiert sein und den Wert (logisch) wahr annehmen, wenn der Vergleich der Quell- und Kontroll-Metadaten M, M' eine ausreichend hohe Übereinstimmung ergibt und entsprechend den Wert (logisch) falsch annehmen, wenn der Vergleich der Quell- und Kontroll-Metadaten M, M' eine nur unzureichende Übereinstimmung ergibt. Alternativ kann der Fehlerstatus F auch ein kontinuierliches Wahrscheinlichkeitsmaß angeben, wobei ein Wahrscheinlichkeitswert von 1 einer sicheren Übereinstimmung der Bildinhalte des ursprünglichen Bildes I und des verarbeiteten Bildes I' entspricht und ein Wahrscheinlichkeitswert von 0 einer sicheren Abweichung zwischen den Bildinhalten des ursprünglichen Bildes I und des verarbeiteten Bildes I' entspricht.
  • Das Displaymodul D zeigt das verarbeitete Bild I' an. Abhängig von dem ermittelten Fehlerstatus F können Zusatzinformationen, beispielsweise Warnhinweise zu einer möglicherweise eingeschränkten Zuverlässigkeit des dargestellten Bildinhalts, angezeigt werden. Es ist auch möglich, die Anzeige eines aufgrund des ermittelten Fehlerstatus F nicht vertrauenswürdigen verarbeiteten Bildes I' auf dem Displaymodul D zu blockieren.
  • Technische Systeme in der Art einer Head Unit HU, die zur Transformation eines ursprünglichen Bildes I in ein verarbeitetes Bild I' und zur Ausgabe dieses verarbeiteten Bildes I' eingerichtet sind, sind außer für den Einsatz in Automobilen auch auf anderen Gebieten der Technik bekannt. Die an dem vorliegend beschriebenen Ausführungsbeispiel dargestellte Lehre der Erfindung kann auch auf derartige technische Systeme übertragen werden.
  • 2 zeigt eine Ausführungsform eines Verfahrens zur globalen Gradientenhistogrammbestimmung 2 umfassend Schritte 21 bis 24, mit dem Metadaten M, M' aus Bildern I, I' extrahiert werden.
  • In einem ersten Schritt 21 werden pixelweise Bilddaten aus einem Bild I, I' entnommen. Ein an der vertikalen Bildposition i und der horizontalen Bildposition j entnommener Pixel eines Farbbildes ist beispielsweise im RGB-Farbraum beschrieben durch einen Rot-Wert R(i,j), einen Grün-Wert G(i,j) und einen Blau-Wert B(i,j).
  • In einem zweiten Schritt 22 wird für jeden Pixel an der Pixelposition (i, j) aus den Farbwerten R(i,j), G(i,j), B(i,j) ein korrespondierender Grauwert GV(i,j) ermittelt, beispielsweise nach der Transformationsgleichung G V ( i , j ) = 0,3 R ( i , j ) + 0,59 G ( i , j ) + 0,11 B ( i , j ) .
    Figure DE102020003095A1_0001
    Transformationsgleichungen für die Übertragung von Farbwerten in Grauwerte sind auch für andere Farbräume bekannt, beispielsweise den CIE (Commission internationale de 'eclairage) XYZ Farbraum oder den CIE Lab Farbraum.
  • Ein Vorteil der Umrechnung eines Farbbildes in ein Grauwertbild besteht darin, dass die für die Wahrnehmung des Bildinhalts entscheidende Information in einem Grauwertbild GV(i,j) einfacher gegenüber Störungen abzugrenzen ist. Daher ist zur Untersuchung der Frage, ob ein Bildinhalt wahrnehmbar gestört ist, der Vergleich von Metadaten M, M', die anhand von Grauwertbildern GV(i,j) ermittelt wurden, leichter und robuster möglich als ein Vergleich von Metadaten M, M' basierend auf Farbbildern I, I'.
  • In einem nachfolgenden dritten Schritt 23 wird der Ortsgradient des Grauwertbildes G V r ( i , j )
    Figure DE102020003095A1_0002
    entlang mindestens einer Ortsrichtung r ermittelt oder geschätzt. Dadurch können im Wesentlichen homogene Intensitätsunterschiede zwischen einem ursprünglichen Bild I und einem verarbeiteten Bild I', die die Wahrnehmung des Bildinhalts im Allgemeinen nicht beeinträchtigen, von der Ermittlung der Metadaten M, M' ausgenommen werden. Damit wird die Spezifizität der Metadaten M, M' bezüglich eines tatsächlich wahrnehmbaren Unterschieds zwischen Bildern I, I' verbessert. Verfahren zur Schätzung des Ortsgradienten sind bekannt. Beispielsweise ist die Faltung eines Bildes I, I' mit einem horizontalen Sobel-Kern G x = [ 1 0 1 2 0 2 1 0 1 ]
    Figure DE102020003095A1_0003
    zur Ermittlung von in horizontaler (x-) Richtung verlaufender Grauwertgradienten bekannt. Analog ist die Faltung eines Bildes I, I' mit einem vertikalen Sobel-Kern G y = G x T = [ 1 2 1 0 0 0 1 2 1 ]
    Figure DE102020003095A1_0004
    zur Ermittlung von in vertikaler (y-) Richtung verlaufender Grauwertgradienten bekannt. Auch weitere Verfahren zur Schätzung eines Ortsgradienten sind bekannt, beispielsweise eine Näherung des Laplace-Operators durch einen Laplace-Kern.
  • Während mathematisch ein einziges Grauwertbild GV(i,j), je nach untersuchter Ortsgradientenrichtung r, auf eine im Prinzip beliebige Vielzahl von Ortsgradientenbildern G V r ( i , j )
    Figure DE102020003095A1_0005
    führt, hat sich für die Bestimmung von Metadaten M, M' die Bestimmung der Ortsgradienten in eine horizontale und in eine vertikale Ortsgradientenrichtung r als ausreichend erwiesen.
  • In einem Ausführungsbeispiel werden aus einem ursprünglichen Bild I ein horizontales Ortsgradientenbild G V x ( i , j ) = G x I
    Figure DE102020003095A1_0006
    und ein vertikales Ortsgradientenbild G V y ( i , j ) = G y I
    Figure DE102020003095A1_0007
    durch Faltung mit Sobel-Kernen ermittelt. Die Ermittlung der Ortsgradientenbilder für verarbeitete Bilder I' erfolgt analog durch Anwendung der gleichen Sobel-Kerne.
  • Im nachfolgenden vierten Schritt 24 wird für jedes der ermittelten Ortsgradientenbilder ein Gradientenhistogramm H bestimmt, das für eine Mehrzahl von Intervallen eines Ortsgradientenwerts jedem Intervall jeweils eine absolute Anzahl oder Häufigkeit des Auftretens von Ortsgradientenwerten zuordnet, wobei sämtliche Pixel des Bildes I, I' berücksichtigt werden. Derartige Intervalle werden auch als Bins bezeichnet. Somit lässt sich ein Histogramm als ein Vektor von absoluten Häufigkeiten darstellen, dessen Länge gleich der Anzahl der untersuchten Bins ist.
  • Gemäß dem Ausführungsbeispiel mit einem horizontalen und einem vertikalen Ortsgradientenbild werden somit ein horizontales Gradientenhistogramm H1 und ein vertikales Gradientenhistogramm H2 als Quell-Metadaten M für ein ursprüngliches Bild I bestimmt. In analoger Weise werden Gradientenhistogramme H1 , H2 für ein verarbeitetes Bild I' bestimmt.
  • Ein Vorteil dieses Ausführungsbeispiels besteht darin, dass ein Gradientenhistogramm H1 , H2 eine sehr kompakte Darstellung eines Bildes I, I' liefert. Beispielsweise hat sich für einige Anwendungen die Verwendung von Gradientenhistogrammen H1 , H2 mit jeweils 8 Bins als ausreichend herausgestellt. Somit ist, bei Verwendung eines horizontalen und eines vertikalen Gradientenhistogramms H1 , H2 für Bilder I, I' mit einer typischen Größe von weniger als 220 - 1 Pixeln, eine Beschreibung der Metadaten M, M' mit 2 × 8 × 20 Bit = 40 Byte möglich. Die für die Übertragung dieser Metadaten M, M' erforderliche Bandbreite ist daher vernachlässigbar gegenüber der für die Übertragung der Bilder I, I' erforderlichen Bandbreite. Zudem sind diese Gradientenhistogramme H1 , H2 sehr leicht und mit geringem Rechenaufwand auswertbar.
  • 3 zeigt eine Ausführungsform eines Verfahrens zur lokalen Gradientenhistogrammbestimmung 3 umfassend Schritte 31 bis 36, mit dem Metadaten M, M' aus Bilder I, I' extrahiert werden.
  • Die Schritte 31, 32, 33 entsprechen den Schritten 21, 22, 23 des anhand der 2 erklärten Verfahrens zur globalen Gradientenhistogrammbestimmung 2 und führen auf Ortsgradientenbilder, beispielhaft auf ein horizontales Ortsgradientenbild G V x ( i , j ) .
    Figure DE102020003095A1_0008
    und auf ein vertikales Ortsgradientenbild G V y ( i , j ) .
    Figure DE102020003095A1_0009
  • Abweichend von diesem in 2 dargestellten Verfahren werden bei einer lokalen Gradientenhistogrammbestimmung 3 die ermittelten Ortsgradientenbilder im Schritt 34 in rechteckige Teilbilder oder Patches tesseliert. Die Patches können überlappend oder disjunkt, insbesondere angrenzend, über dem jeweiligen Ortsgradientenbild angeordnet sein und weisen im Allgemeinen gleiche Abmessungen auf. Jedem Patch ist eine horizontale Koordinate i und eine vertikale Koordinate j zugeordnet.
  • Beispielsweise kann ein Bild I, I' mit einer horizontalen Ausdehnung von 1920 Pixeln und einer vertikalen Ausdehnung von 720 Pixeln in 10 × 10 Patches mit einer horizontalen Ausdehnung von 192 Pixeln und einer vertikalen Ausdehnung von 72 Pixeln tesseliert werden. Alternativ könnte ein solches Bild I, I' in 16 × 6 quadratische Patches mit einer Kantenlänge von 120 Pixeln tesseliert werden. Jedem dieser Patches können horizontale und vertikale Koordinaten i,j, jeweils die Koordinatenwerte, des linken oberen Pixels des Patches zugeordnet werden.
  • Im Schritt 35 wird für jedes Patch mit den Koordinaten i,j ein horizontales und ein vertikales Gradientenhistogramm H1 (i,j), H2 (i,j) in prinzipiell gleicher, jedoch auf das jeweilige Patch beschränkter Weise ermittelt, wie dies im Schritt 24 der globalen Gradientenhistogrammbestimmung 2 anhand der 2 bereits erklärt wurde.
  • Somit werden, im Unterschied zur globalen Gradientenhistogrammbestimmung 2, anstelle eines einzigen horizontalen und vertikalen Gradientenhistogramms H1 , H2 beim Verfahren der lokalen Gradientenhistogrammbestimmung 3 entsprechend der Anzahl von Patches mehrere horizontale und vertikale Gradientenhistogramme H1(i,j), H2(i,j) bestimmt und jeweils den Koordinaten des Patches zugeordnet.
  • Im Schritt 36 werden diese ermittelten horizontalen und vertikalen Gradientenhistogramme H1(i,j), H2(i,j) gespeichert.
  • Ein Vorteil dieser Ausführungsform besteht darin, dass mit der Mehrzahl von Gradientenhistogrammen H1(i,j), H2(i,j) eine genauere Bewertung der Wahrnehmbarkeit eines Unterschiedes zwischen einem ursprünglichen Bild I und einem verarbeiteten Bild I' möglich ist, wobei der zur Beschreibung dieser Metadaten M, M' erforderliche Datenumfang zwar gegenüber dem Verfahren der globalen Gradientenhistogrammbestimmung 2 erhöht, aber gegenüber dem Bandbreitenbedarf für die Übertragung der Bilder I, I' weiterhin gering oder sogar vernachlässigbar ist.
  • Bei der Ausführungsform der globalen Gradientenhistogrammbestimmung 2 nach 2 werden Bilder I, I' dann als ähnlich bewertet, wenn ausreichend viele Gradientenwerte mit gleicher oder ähnlicher Häufigkeit auftreten, wobei die örtliche Lage der Gradientenwerte unberücksichtigt bleibt. Demgegenüber erfordert die Ausführungsform der lokalen Gradientenhistogrammbestimmung 3 nach 3 ähnliche Häufigkeiten der Gradientenwerte in jeweils gleichen Patches der Bilder I, I' und ermöglicht so einen genaueren und differenzierteren Bildvergleich. Insbesondere ist ein Bildvergleich mit höherer Spezifität und mit höherer Sensitivität ermöglicht als bei der Ausführungsform nach 2.
  • 4 zeigt schematisch den Ablauf eines Verfahrens zur Validierung 4 der Übereinstimmung (hinsichtlich ihrer Wahrnehmbarkeit) zwischen einem ursprünglichen und eine verarbeiteten Bild I, I'.
  • Analog zu den Schritten 21 und 31 wird ein verarbeitetes Bild I' in einem Schritt 401 pixelweise eingelesen. Nachfolgend werden in einem Schritt 402 Kontroll-Metadaten M' aus dem Bild I' ermittelt. Im Schritt 402 kann ein Verfahren der globalen Gradientenhistogrammbestimmung 2 oder ein Verfahren der lokalen Gradientenhistogrammbestimmung 3 umgesetzt sein, wobei dieses Verfahren dem Verfahren entspricht, mit dem die Quell-Metadaten M des korrespondierenden ursprünglichen Bildes I ermittelt wurden. In weiteren Ausführungsformen können diese Verfahren auch andere Verfahren der Merkmalsextraktion sein.
  • Die Quell-Metadaten M des ursprünglichen Bildes I werden in einem Schritt 403 eingelesen und in einem Schritt 404 abgespeichert.
  • In einem nachfolgenden Schritt 405 werden die Kontroll-Metadaten M' und die Quell-Metadaten M verglichen. Bei einer Ausführungsform mit globaler Gradientenhistogrammbestimmung 2 sind somit die jeweils für das ursprüngliche Bild I und das verarbeitete Bild I' ermittelten horizontalen und vertikalen Gradientenhistogramme H1 , H2 miteinander zu vergleichen. Bei einer Ausführungsform mit lokaler Gradientenhistogrammbestimmung 3 sind jeweils die für korrespondierende (örtlich gleich angeordnete) Patches des ursprünglichen Bildes I und des verarbeiteten Bildes I' ermittelten Gradientenhistogramme H1(i,j), H2(i,j) miteinander zu vergleichen.
  • Verfahren zum Vergleich von Histogrammen, insbesondere Unterschiedsmaße zwischen relativen oder absoluten Häufigkeitsverteilungen, sind aus dem Stand der Technik bekannt. Beispielsweise hat sich die Verwendung der Kullback-Leibler-Divergenz (auch als relative Entropie bezeichnet) als vorteilhaft für den Vergleich von Gradientenhistogrammen H1 , H2 , H1(i,j), H2(i,j) herausgestellt. Es sind jedoch auch weitere Vergleichsverfahren beziehungsweise Unterschiedsmaße möglich, beispielsweise die Earth-Movers-Distanz, die Hellingermetrik, die Pearson-Chi-Quadrat-Divergenz oder die Chi-Quadrat-Distanz. Jedes dieser Vergleichsverfahren führt auf einen Zahlenwert, der die Unterschiedlichkeit zweier miteinander verglichener Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j) beschreibt. Es ist möglich, mehrere Vergleichsverfahren parallel zu verwenden, so dass für ein Paar miteinander verglichener Gradientenhistogramme H1 , H2 , H1(i,j), H2 (i,j) eine Mehrzahl von Unterschiedsmaßzahlen gebildet wird.
  • Somit werden für das Ausführungsbeispiel mit einer Gradientenbestimmung mittels horizontalem und vertikalem Sobel-Kern bei globaler Gradientenhistogrammbestimmung 2 zwei Zahlenwerte und bei lokaler Gradientenhistogrammbestimmung 3 entsprechend doppelt so viele Zahlenwerte wie die Anzahl der Patches ermittelt. Bei einer Verwendung einer größeren Anzahl unterschiedlicher Sobel-Kerne erhöht sich entsprechend die Anzahl der Zahlenwerte.
  • In anderen Ausführungsbeispielen können auch Ortsgradientenbilder basierend auf einem oder mehreren Farbkanälen zusätzlich zu oder anstelle der Ortsgradientenbilder basierend auf dem Grauwertbild ermittelt werden, wobei der Schritt 22 (bei globaler Gradientenhistogrammbestimmung 2) beziehungsweise der Schritt 32 (bei lokaler Gradientenhistogrammbestimmung 3) jeweils übersprungen wird. Entsprechend verdreifacht sich die Anzahl der zu vergleichenden Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j), wenn anstelle des Grauwertbildes alle drei Farbkanäle analysiert werden. Ein Vorteil derartiger Ausführungsbeispiele besteht in der verbesserten Genauigkeit beziehungsweise Spezifität und Sensitivität des Vergleichs insbesondere von Bildern I, I' mit mindestens teilweise synthetisch erzeugten Bildinhalten, denen ein vorbestimmter Farbwert zugeordnet ist.
  • In dem in 4 gezeigten Ausführungsbeispiel wird ein globales horizontales Unterschiedsmaß d1 aus dem Vergleich der globalen horizontalen Gradientenhistogramme H1 der Bilder I, I', ein globales vertikales Unterschiedsmaß d2 aus dem Vergleich der globalen vertikalen Gradientenhistogramme H2 der Bilder I, I', eine Mehrzahl von lokalen horizontalen Unterschiedsmaßen d1(i,j) aus dem Vergleich der lokalen horizontalen Gradientenhistogramme H1(i,j) der Bilder I, I' sowie eine Mehrzahl von lokalen vertikalen Unterschiedsmaßen d2(i,j) aus dem Vergleich der lokalen vertikalen Gradientenhistogramme H2(i,j) der Bilder I, I' ermittelt.
  • Die lokalen Unterschiedsmaße d1(i,j), d2(i,j) werden in einem Schritt 406 ausgewertet. Beispielhaft kann ermittelt werden, ob irgendeines der lokalen Unterschiedsmaße d1(i,j), d2(i,j) einen vorbestimmten Schwellwert θlokal erreicht oder überschreitet. Mit anderen Worten: zwei Bilder I, I' werden als nicht äquivalent wahrnehmbar (nicht wahrnehmungsäquivalent) angesehen, wenn m a x i , j , k d k ( i , j ) Θ l o k a l
    Figure DE102020003095A1_0010
    gilt. Alternativ können auch für verschiedenen Gradientenrichtungen (horizontal, vertikal) und/oder für verschiedene Patches unterschiedliche Schwellwerte eingesetzt werden.
  • Der Schwellwert θlokal kann beispielsweise anwendungs- oder anwenderabhängig mittels eines Probandentests festgelegt werden. Ebenso kann die Zahl der Patches, in welche die Bilder I, I' tesseliert werden, mittels Probandentests ermittelt werden. Bei einer vergleichsweise geringen Zahl von Patches, beispielsweise bei 10 Patches, ist es möglich, für eine Wahrnehmungsäquivalenz der Bilder I, I' die Unterschreitung des Schwellwerts θlokal durch sämtliche Patches zu fordern. Bei einer vergleichsweise hohen Zahl von Patches, beispielsweise bei 1000 Patches, ist es dagegen möglich, für eine Wahrnehmungsäquivalenz der Bilder I, I' lediglich zu fordern, dass die lokalen Unterschiedsmaße d1(i,j), d2(i,j) für einen vorbestimmten Anteil von Patches, beispielsweise für 90 Prozent aller Patches, den vorbestimmten Schwellwert unterschreiten.
  • Ein Vorteil dieser Ausführungsform besteht darin, dass die Wahrnehmungsäquivalenz der Bilder I, I' nicht dadurch beeinträchtigt wird, dass über das ursprüngliche, beispielsweise mittels einer Kamera aufgenommene Bild I, mittels der Head Unit HU lokal begrenzt Symbole oder Icons überlagert werden, welche sich nur auf einen geringen Anteil von Patches auswirken.
  • Das Ergebnis des Schrittes 406 kann binär formuliert sein („Schwellwert wird für alle Patches unterschritten“ oder „Schwellwert wird für mindestens ein Patch nicht unterschritten“). Es ist aber auch möglich, dass das Ergebnis des Schrittes 406 als Zahlenwert formuliert ist, der beispielsweise den Anteil von Patches angibt, für die der Schwellwert unterschritten wird.
  • Parallel zum Schritt 406 kann in einem Schritt 407 mindestens ein Kriterium für einen globalen Vergleich von Unterschiedsmaßen d1 , d2 , d1 (i,j), d2(i,j) ausgewertet werden. In vorteilhafter Weise lässt sich dadurch die Genauigkeit (beziehungsweise die Spezifität und Sensitivität) einer Entscheidung über die Wahrnehmungsäquivalenz der Bilder I, I' verbessern.
  • Beispielsweise kann im Schritt 407 die Summe aller lokalen Unterschiedsmaße d1(i,j), d2(i,j) gebildet und in einem nachfolgenden Schritt 408 mit einem Schwellwert θglobal verglichen werden: i , j , k d k ( i , j ) < θ g l o b a l .
    Figure DE102020003095A1_0011
  • Alternativ kann im Schritt 407 auch die Quadratsumme aller lokalen Unterschiedsmaße d1(i,j), d2(i,j) gebildet und in einem nachfolgenden Schritt 408 mit einem Schwellwert θglobal verglichen werden: i , j , k d k ( i , j ) 2 < θ g l o b a l .
    Figure DE102020003095A1_0012
  • Die Quadratsumme bietet den Vorteil, dass einzelne statistische Abweichungen in einigen der lokalen Unterschiedsmaße d1(i,j), d2(i,j) („Ausreißer“) stärker in Erscheinung treten und damit leichter aussortiert werden. Es ist auch möglich, die Quadratsumme nur über einen Teil der lokalen Unterschiedsmaße d1(i,j), d2(i,j) zu bilden, um beispielsweise solche Patches, in denen im verarbeiteten Bild I' augmentierte Elemente erwartet werden, von der Quadratsummenbildung auszunehmen. Der Schritt 408 kann, abhängig vom Ergebnis des Vergleichs der Summe beziehungsweise der Quadratsumme, ein binäres Ergebnis liefern. Beispielsweise kann der Schritt 408 das Ergebnis (logisch) wahr (true) liefern, wenn die Bedingung Σi,j,kdk(i,j) < θglobal oder die Bedingung Σi,j,kdk(i,j)2 < θglobal erfüllt ist und im jeweils anderen Fall das Ergebnis (logisch) falsch (false) liefern.
  • In einer Ausführungsform ist es auch möglich, im Schritt 406 und/oder im Schritt 408 eine Mehrzahl von Vergleichen vorzunehmen, welche auf verschiedene Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) bezogen sind und verschiedene Schwellwerte verwenden. In dieser Ausführungsform liefert der Schritt 406 und/oder der Schritt 408 eine Mehrzahl von binären Ergebnissen. Dadurch kann die Güte des Vergleichs zwischen den Bildern I, I', insbesondere die Spezifität und/oder die Sensitivität einer Äquivalenzentscheidung, verbessert werden. Das heißt, dass schlechte (fehlerhaft übertragene) verarbeitete Bilder I' aussortiert werden, während gute (korrekt übertragene) verarbeitete Bilder I' einschließlich der korrekt augmentierten verarbeiteten Bilder I' akzeptiert werden.
  • Ferner kann neben binärer Ausgabe (Fehlerfrei/Fehler) durch den Schritt 406 und/oder den Schritt 408 auch eine Fehlermeldung oder Warnung ausgeben werden, anhand der ein übergeordnetes System US, das die Bildübertragung vom Frontend FE zum Backend BE steuert, Vorsichtsmaßnahmen in die Wege leiten kann. Beispielsweise kann eine Anforderung an eine höhere Qualität in der Bildverarbeitung, wie an den Grad der Bildkompression, gestellt werden.
  • In einem Schritt 409 werden die von den Schritten 406 und 408 gelieferten binären Ergebnisse logisch verknüpft, beispielsweise mittels einer logischen UND - Verknüpfung. In diesem Fall ist die Ausgabe des Schrittes 409 genau dann (logisch) wahr (true), wenn jede einzelne der in den Schritten 406 und 408 geprüften Ungleichungen erfüllt ist. Mit anderen Worten: die Ausgabe des Schrittes 409 zeigt genau dann eine Wahrnehmungsäquivalenz der Bilder I, I' an, wenn alle der untersuchten Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j) anhand der verwendeten Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) innerhalb der vorbestimmten Schwellwerte übereinstimmen.
  • Es sind jedoch auch Ausführungsformen möglich, in denen im Schritt 409 die binären Ausgaben der Schritte 406 und 408 mittels eines beliebigen Booleschen (logischen) Ausdrucks verknüpft werden, der beispielsweise anhand der Anwendung, der von der Head Unit HU vorgenommenen Verarbeitung und/oder anhand der Anwender ermittelt wird.
  • Der Umgang mit einer durch den Schritt 406 und/oder den Schritt 408 ausgegebenen Fehlermeldung oder Warnung obliegt dem Anwender oder dem übergeordneten System US. Das übergeordnete System US kann über weitere Informationen für die Absicherung verfügen, die außerhalb dieses Systems erzeugt werden bzw. außerhalb der in 1 dargestellten Übertragungsstrecke von der Bildquelle S zum Displaymodul D verfügbar sind. Es kann daher hilfreich sein, wenn dieses übergeordnete System US aus der Validierung 4 Informationen von hoher Auflösung und/oder Genauigkeit erhält, beispielsweise anstelle von oder zusätzlich zu binären Informationen entsprechend den vorgenommenen Vergleichen der Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) mit den vorbestimmten Schwellwerten auch kategoriale (enumerierte) und/oder numerische Informationen (Ganzzahlen oder Gleitkommazahlen). Derartige Informationen können in einem optionalen Schritt 410 aus den Unterschiedsmaßen d1 , d2 , d1(i,j), d2(i,j) gewonnen und an das übergeordnete System US übertragen werden. Anhand dieser und weiterer Informationen, die dem übergeordneten System US vorliegen, kann dieses eine ganzheitliche Entscheidung treffen, so dass ein höherer Sicherheitsstandard erreicht werden kann. Darüber hinaus können derartige Informationen, insbesondere numerische Informationen, für nachgeschaltete Verfahren des Maschinellen Lernens (Machine Learning) verwendet werden, so dass die Verarbeitung der ursprünglichen Bilder I in verarbeitete Bilder I' während des Betriebs weiter verbessert wird.
  • Die lokale Gradientenhistogrammbestimmung 3 gemäß 3 setzt die Funktion eines Frontend FE gemäß der 1 um und kann in einem üblichen integrierten Schaltkreis (integrated circuit, IC), beispielsweise in einem Kamerachip einer als Kamera ausgebildeten Bildquelle S, integriert werden. Die Abspeicherung der Metadaten M, M' verursacht aufgrund des vergleichsweise geringen Umfangs von beispielsweise weniger als 2000 Byte keine nennenswerten Hardwarekosten.
  • Das Vergrauen und die Bestimmung der Gradienten beispielsweise mittels Sobel-Kernen ist einfach und schnell und kann gut in einer Pixel-Pipeline integriert werden. Ein Dreizeilenspeicher reicht zur Berechnung der Sobel-Gradienten aus. Die Aufstellung der Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j) kann ebenfalls in einer Pixel-Pipeline integriert werden und erfordert nur sehr einfache Logik. Somit ist das Frontend FE mit geringen Hardware-Kosten zu realisieren. Die aus dem Stand der Technik bekannte Übertragungstechnik kann weiterhin und auch zur Übertragung der Metadaten M, M' verwendet werden.
  • Die Validierung 4 gemäß 4 setzt die Funktion des Backends BE gemäß 1 um und kann in einem verfügbaren IC, beispielsweise in einem dem Displaymodul D zugeordneten Timing Controller (TCON), integriert werden. Die empfangenen Quell-Metadaten M des ursprünglichen Bildes I können aufgrund der im Vergleich zu den Bilddaten geringen Größe in einem verfügbaren Speicher abgelegt werden.
  • Die Extraktion der Kontroll-Metadaten M' aus dem verarbeiteten Bild I' erfolgt identisch zur Logik des Frontend FE und verbraucht somit auch nur geringe Hardware-Ressourcen. Die Komplexität für die Bestimmung von Unterschiedsmaßen d1 , d2 , d1(i,j), d2(i, j) im Schritt 405 ist begrenzt, da nur wenige Zahlen berechnet werden müssen. Beispielsweise müssen für 100 Patches mit je 10 Bins 1000 Werte in horizontalen lokalen Gradientenhistogrammen H1(i,j) sowie 1000 Werte in vertikalen lokalen Gradientenhistogrammen H2(i,j), somit insgesamt lediglich 2000 Werte berechnet werden. Dies ist, verglichen mit der Anzahl von Zahlenwerten, die zur Beschreibung eines typischen Bild I, I' erforderlich sind (typischerweise einige Millionen von Ganzzahlwerten), vernachlässigbar.
  • In ähnlicher Weise ist der Aufwand für die Umsetzung der Schritte 406 bis 408 zur Auswertung der Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) gering bis vernachlässigbar gegenüber dem Aufwand für die Aufbereitung und Darstellung eines Bildes I, I' typischer Größe. Somit erfordert sowohl das Backend BE als auch das Frontend FE nur einen sehr geringen Mehraufwand an Hardware-Ressourcen.
  • Bezugszeichenliste
  • BE
    Backend
    D
    Displaymodul
    d1
    globales horizontales Unterschiedsmaß
    d2
    globales vertikales Unterschiedsmaß
    d1(i,j)
    lokales horizontales Unterschiedsmaß
    d2(i,j)
    lokales vertikales Unterschiedsmaß
    F
    Fehlerstatus
    FE
    Frontend
    H1
    horizontales Gradientenhistogramm
    H2
    vertikales Gradientenhistogramm
    H1(i,j)
    horizontales Gradientenhistogramm
    H2(i,j)
    vertikales Gradientenhistogramm
    HU
    Head Unit
    I
    ursprüngliches Bild
    I'
    verarbeitetes Bild
    M
    Quell-Metadaten
    M'
    Kontroll-Metadaten
    S
    Bildquelle
    US
    übergeordnetes System
    2
    globale Gradientenhistogrammbestimmung
    21 bis 24
    Schritt
    3
    lokale Gradientenhistogrammbestimmung
    31 bis 36
    Schritt
    4
    Validierung
    401 bis 410
    Schritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 3913620 A1 [0003]
    • DE 19549216 A1 [0004]

Claims (7)

  1. Verfahren zur Übertragung von Bildern (I, I') von einer Bildquelle (S) zu einem Displaymodul (D) in einem Fahrzeug, wobei von der Bildquelle (S) ein ursprüngliches Bild (I) bereitgestellt wird, welches in ein verarbeitetes Bild (I') transformiert und an das Displaymodul (D) übertragen wird, dadurch gekennzeichnet, dass zu jedem Bild (I, I') jeweils mindestens ein Ortsgradientenbild bestimmt und daraus Metadaten (M, M') umfassend jeweils mindestens ein Gradientenhistogramm (H1, H2, H1(i,j), H2(i,j)) ermittelt werden und die Wahrnehmungsäquivalenz der Bilder (I, I') als eine Funktion von mindestens einem Unterschiedsmaß (d1 d2, d1(i,j), d2(i,j), das den Unterschied zwischen den Quell-Metadaten (M) des ursprünglichen Bildes (I) und den Kontroll-Metadaten (M') des verarbeiteten Bildes (I') misst, ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zu jedem Bild (I, I') jeweils ein horizontales Ortsgradientenbild mittels eines horizontalen Sobel-Kerns und ein vertikales Ortsgradientenbild mittels eines vertikalen Sobel-Kerns bestimmt werden und zu jedem Ortsgradientenbild jeweils ein globales Gradientenhistogramm (H1, H2) und/oder jeweils eine Mehrzahl von lokalen Gradientenhistogrammen (H1(i,j), H2(i,j)) über im ursprünglichen Bild (I) und im verarbeiteten Bild (I') korrespondierend angeordneten, tesselierten Patches ermittelt werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mindestens ein Unterschiedsmaß (d1, d2, d1(i,j), d2(i,j)) als Kullback-Leibler-Divergenz ausgebildet ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wahrnehmungsäquivalenz der Bilder (I, I') durch Vergleich des mindestens einen Unterschiedsmaßes (d1, d2, d1(i,j), d2(i,j) mit jeweils mindestens einem vorbestimmten Schwellwert ermittelt wird.
  5. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für jeweils ein tesseliertes Patch jeweils mindestens ein Unterschiedsmaß (d1 d2, d1(i,j), d2(i,j)) ermittelt und mit jeweils mindestens einem vorbestimmten Schwellwert verglichen wird, wobei die Wahrnehmungsäquivalenz der Bilder (I, I') aus der Mehrzahl dieser Vergleiche bestimmt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Mehrzahl von ursprünglichen Bildern (I) sowie die jeweils zugeordneten Quell-Metadaten (M) gemeinsam in einem Videostrom enkodiert und übertragen werden.
  7. Vorrichtung zur Übertragung von Bildern (I, I') mittels eines Verfahrens nach einem der vorhergehenden Ansprüche, umfassend entlang einer Übertragungskette angeordnet eine Bildquelle (S), ein Frontend (FE), eine Head Unit (HU), ein Backend (BE) und ein Displaymodul (D), dadurch gekennzeichnet, dass - das Frontend (FE) zur Bestimmung mindestens eines Ortsgradientenbildes aus einem ursprünglichen Bild (I) und zur Ermittlung mindestens eines Gradientenhistogramms (H1, H2, H1(i,j), H2(i,j)) aus einem Ortsgradientenbild sowie zur Bildung von Quell-Metadaten (M) hieraus eingerichtet ist und - die Head Unit (HU) zur Transformation eines ursprünglichen Bildes (I) in ein verarbeitetes Bild (I') und zur Übertragung von Quell-Metadaten (M) eingerichtet ist und - das Backend (BE) zur Bestimmung mindestens eines Ortsgradientenbildes aus einem verarbeiteten Bild (I') und zur Ermittlung mindestens eines Gradientenhistogramms (H1, H2, H1(i,j), H2(i,j)) aus einem Ortsgradientenbild sowie zur Bildung von Kontroll-Metadaten (M') hieraus eingerichtet ist und - das Backend (BE) zudem zur Bestimmung mindestens eines Unterschiedsmaßes (d1, d2, d1(i,j), d2(i,j), das den Unterschied zwischen den Quell-Metadaten (M) des ursprünglichen Bildes (I) und den Kontroll-Metadaten (M') des verarbeiteten Bildes (I') misst, sowie zur Bestimmung einer Wahrnehmungsäquivalenz der Bilder (I, I') durch Vergleich des mindestens einen Unterschiedsmaßes (d1, d2, d1(i,j), d2(i,j)) mit einem vorbestimmten Schwellwert eingerichtet ist.
DE102020003095.5A 2019-09-27 2020-05-22 Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug Pending DE102020003095A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019006753.3 2019-09-27
DE102019006753.3A DE102019006753A1 (de) 2019-09-27 2019-09-27 Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug

Publications (1)

Publication Number Publication Date
DE102020003095A1 true DE102020003095A1 (de) 2020-08-06

Family

ID=69725636

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102019006753.3A Withdrawn DE102019006753A1 (de) 2019-09-27 2019-09-27 Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug
DE102020003095.5A Pending DE102020003095A1 (de) 2019-09-27 2020-05-22 Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE102019006753.3A Withdrawn DE102019006753A1 (de) 2019-09-27 2019-09-27 Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug

Country Status (1)

Country Link
DE (2) DE102019006753A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3913620A1 (de) 1989-04-25 1990-10-31 Fraunhofer Ges Forschung Verfahren zur bildauswertung
DE19549216A1 (de) 1995-12-30 1997-07-03 Fraunhofer Ges Forschung Verfahren zur Bildauswertung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3913620A1 (de) 1989-04-25 1990-10-31 Fraunhofer Ges Forschung Verfahren zur bildauswertung
DE19549216A1 (de) 1995-12-30 1997-07-03 Fraunhofer Ges Forschung Verfahren zur Bildauswertung

Also Published As

Publication number Publication date
DE102019006753A1 (de) 2020-03-26

Similar Documents

Publication Publication Date Title
DE2909153C2 (de) Einrichtung zur digitalen Analyse von Bild- oder Zeichenmustern
EP1532583B1 (de) Verfahren zum extrahieren von texturmerkmalen aus einem mehrkanaligen bild
DE69937044T2 (de) Technik für mehrfach-wasserzeichen
DE3689416T2 (de) Mustermerkmalextraktion.
DE69738286T2 (de) Spreizspektrumwasserzeichen für integrierte Signalisierung
DE4416801C2 (de) Verfahren zur Mustererkennung
DE60212128T2 (de) Bild-/Videokommunikation mit Wasserzeichen
DE60301469T2 (de) Verfahren, System und Datenträger zur Erzeugung von Videowasserzeichen, Verfahren und System zur Extraktion von diesen Wasserzeichen
EP0309905A2 (de) Verfahren und Schaltungsanordnung zur Erkennung eines in einem Video-Signal enthaltenen Signums
DE4138517A1 (de) Einrichtung zur objekt-orientierten codierung von bildsignalen
DE19521408C1 (de) Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder
DE602004001705T2 (de) Adaptives Farbbild-Watermarking mittels vektoriellem Ansatz
EP1989662B1 (de) Verfahren zum erkennen von objekten und objekterkennungssystem
DE102020003095A1 (de) Verfahren und Vorrichtung zur Übertragung von Bildern in einem Fahrzeug
EP3655920B1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
EP2122569B1 (de) Verfahren zur kennzeichnung eines digitalen bildes mit einem digitalen wasserzeichen
WO2021074121A1 (de) Abwehrgenerator, verfahren zur verhinderung eines angriffs auf eine ki-einheit und computerlesbares-speichermedium
DE10041037A1 (de) Bildkodierungsverfahren und Bildkodierer
DE19944213C1 (de) Verfahren zum Komprimieren eines digitalen Bildes mit mehreren Bit-Ebenen
EP1589475B1 (de) Verfahren zum Versehen von Bild- oder Videodaten mit einem digitalen Wasserzeichen
DE19938845A1 (de) Vidiobild-Überwachungsverfahren
DE102018213052A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte
DE19609860C1 (de) Verfahren zur Bearbeitung von Bildpunkten eines Bildsegments durch einen Rechner
DE102023107278B3 (de) Verfahren zum Authentifizieren einer auf ihrem Substrat mindestens eine bedruckte Fläche aufweisenden Banknote
EP2507765A1 (de) Verfahren und vorrichtung zur anpassung von bildinformationen eines optischen systems

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: X-MOTIVE GMBH, DE

Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE