DE102012220619A1 - Farberfassungsvorrichtung für ein Fahrzeug - Google Patents

Farberfassungsvorrichtung für ein Fahrzeug Download PDF

Info

Publication number
DE102012220619A1
DE102012220619A1 DE102012220619A DE102012220619A DE102012220619A1 DE 102012220619 A1 DE102012220619 A1 DE 102012220619A1 DE 102012220619 A DE102012220619 A DE 102012220619A DE 102012220619 A DE102012220619 A DE 102012220619A DE 102012220619 A1 DE102012220619 A1 DE 102012220619A1
Authority
DE
Germany
Prior art keywords
image
color
saturation
inverse
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102012220619A
Other languages
English (en)
Inventor
Kyung-Moo Min
Eun-Jin Choi
Hyun-Jae Yoo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of DE102012220619A1 publication Critical patent/DE102012220619A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

Eine Farberfassungsvorrichtung für ein Fahrzeug, die eine Farbe eines externen Bildes durch Empfangen von vorbestimmten Bilddaten von einer das externe Bild des Fahrzeugs fotografierenden Kamera erfasst, kann umfassen eine RGB-Umwandlungseinheit, die ein fotografiertes Bild der Kamera in RGB-Bilddaten umwandelt, eine HSI-(Farbe, Sättigung und Intensität)Bildextraktionseinheit, die ein Farbbild, ein Sättigungsbild und ein Intensitätsbild aus den RGB-Bilddaten extrahiert, eine Umkehrbildextraktionseinheit, die ein Umkehr-Sättigungsbild, ein Umkehr-Modulo-Sättigungsbild und ein Umkehr-Luminanzbild aus den RGB-Bilddaten extrahiert, und eine Farberfassungseinheit, die weiße, schwarze, rote und gelbe Farben unter Verwendung von zwei oder mehreren Bildern erfasst, die aus dem Farbbild, dem Sättigungsbild, dem Intensitätsbild, dem Umkehr-Sättigungsbild, dem Umkehr-Modulo-Sättigungsbild und dem Umkehr-Luminanzbild durch einen vorbestimmten Algorithmus ausgewählt werden.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Farberfassungsvorrichtung für ein Fahrzeug und insbesondere eine Farberfassungsvorrichtung, die eine Erkennungsrate eines Hindernisses auf einer Straße, auf welcher ein Fahrzeug fährt, durch Erlangen von Farbinformationen von einem Bild, das unter Verwendung einer in dem Fahrzeug eingebauten Farbkamera erlangt wird, in Echtzeit erhöht.
  • Beschreibung des Standes der Technik
  • Im Allgemeinen wird ein Hindernis-Erfassungssystem mit einem Radarsensor oder einem Ultraschallsensor für ein fahrendes Fahrzeug verwendet, um ein Hindernis auf einer Straße zu erfassen.
  • Da jedoch das Hindernis-Erfassungssystem mit dem Radarsensor oder dem Ultraschallsensor in erster Linie vorgesehen ist, um eine einfache Kollision mit dem Hindernis zu verhindern, weist das Hindernis-Erfassungssystem keine Funktion auf, um eine Art des Hindernisses oder ein Risiko des Hindernisses zu beurteilen.
  • Das heißt, da die Art und das Risiko des Hindernisses nur durch einen Entfernungsmeßsensor wie den Radarsensor oder den Ultraschallsensor nicht bestimmt werden kann, sollte eine Farbe und eine Form unter Verwendung einer Kamera bestimmt werden.
  • Im Falle des Standes der Technik, als ein System, das Informationen über die Straße unter Verwendung der Kamera eines Fahrzeugs erlangt, gibt es eine Warnsystem bei Verlassen einer Fahrspur, das Fahrspurinformationen auf der Straße erlangt und warnt, und einen Spurhalteassistent (Lane Keeping Support – LKS – System) zum Beibehalten einer Fahrspur.
  • Jedoch werden als Bildinformationen des Warnsystems bei Verlassen einer Fahrspur (LDWS) und des Spurhalteassistenten (LKS) Schwarz-Weiß-Bilder verwendet, und da die Schwarz-Weiß-Bilder lediglich Rand- und Helligkeits-Informationen verwenden, kann nur ein begrenztes Objekt wie die Fahrspur erfasst werden.
  • Das heißt, die LDWS- und LKS-Systeme des Fahrzeugs werden im Allgemeinen unter Verwendung einer Mono-Kamera betrieben, da jedoch die Mono-Kamera nahezu keine Farbinformationen eines Bildes verwenden kann, gibt es hieraus eine Einschränkung.
  • Daher wird, um die Art und das Risiko des Hindernisses auf der Straße zu bestimmen und zu beurteilen, eine Vorrichtung benötigt, die das Hindernis durch schnelles und einfaches Erfassen einer Farbe des Objekts auf der Straße unter Verwendung einer Farbkamera erfassen kann.
  • Die in diesem Hintergrundabschnitt der Erfindung offenbarte Information dient nur der Verbesserung des Verständnisses des allgemeinen Hintergrunds der Erfindung und sollte nicht als eine Bestätigung oder irgendeine Form eines Vorschlages verstanden werden, dass diese Informationen den Stand der Technik bilden, der einem Fachmann bereits bekannt ist.
  • KURZE ZUSAMMENFASSUNG
  • Verschiedene Ausgestaltungen der Erfindung sind auf ein Bereitstellen einer Farberfassungsvorrichtung für ein Fahrzeug gerichtet, die Farbinformationen von durch eine Farbkamera des Fahrzeugs erlangten Bildinformationen in Echtzeit in einfacher Weise erlangt.
  • Ferner sind verschiedene Ausgestaltungen der vorliegenden Erfindung auf ein Bereitstellen einer Farberfassungsvorrichtung für ein Fahrzeug gerichtet, die eine Hindernis-Erkennungsrate unter Verwendung von in Echtzeit erlangten Farbinformationen erhöhen und eine Art eines Hindernisses und ein Risiko des Hindernisses bestimmen kann.
  • Die durch die vorliegende Erfindung gelösten technischen Probleme sind nicht auf die vorstehenden technischen Probleme beschränkt. Andere technische Probleme, die nicht beschrieben sind, können durch einen Fachmann auf dem Gebiet aus der folgenden Beschreibung der vorliegenden Erfindung eindeutig entnommen werden.
  • In einer Ausgestaltung der vorliegenden Erfindung kann eine Farberfassungsvorrichtung für ein Fahrzeug, die eine Farbe von einem externen Bild durch Empfangen von vorbestimmten Bilddaten von einer das externe Bild des Fahrzeugs fotografierenden Kamera erfasst, eine RGB-Umwandlungseinheit, die ein fotografiertes Bild der Kamera in RGB-Bilddaten umwandelt, eine HSI-(Farbton, Sättigung und Intensität)Bildextraktionseinheit, die ein Farbbild, ein Sättigungsbild und ein Intensitätsbild aus den RGB-Bilddaten extrahiert, eine Umkehrbildextraktionseinheit, die ein Umkehr-Sättigungsbild, ein Umkehr-Modulo-Sättigungsbild und ein Umkehr-Luminanzbild aus den RGB-Bilddaten extrahiert, und eine Farberfassungseinheit, die weiße, schwarze, rote und gelbe Farben unter Verwendung von zwei oder mehreren Bildern erfasst, die aus dem Farbbild, dem Sättigungsbild, dem Intensitätsbild, dem Umkehr-Sättigungsbild, dem Umkehr-Modulo-Sättigungsbild und dem Umkehr-Luminanzbild durch einen vorbestimmten Algorithmus ausgewählt werden, umfassen.
  • Das Umkehr-Modulo-Sättigungsbild wird unter Verwendung eines Umkehrbildes und des Sättigungsbildes erlangt.
  • Bei der Erfassung der weißen Farbe werden Bilddaten von einem räumlichen Bereich erfasst, wo das Sättigungsbild und das Intensitätsbild miteinander dupliziert werden.
  • Die schwarze Farbe wird durch Ausschließen von Bilddaten eines räumlichen Bereichs, wo das Farbbild und das Sättigungsbild miteinander dupliziert werden, von Bilddaten eines räumlichen Bereichs, wo das Umkehr-Sättigungsbild stärker als das Umkehr-Luminanzbild ist, erfasst.
  • Bei der Erfassung der roten Farbe werden Bilddaten eines räumlichen Bereichs erfasst, wo das Farbbild und das Sättigungsbild miteinander dupliziert werden.
  • Die gelbe Farbe wird durch Ausschließen des Farbbildes von Bilddaten eines räumlichen Bereichs erfasst, wo das Sättigungsbild und das Umkehr-Sättigungsbild miteinander dupliziert werden.
  • Die Farberfassungsvorrichtung für das Fahrzeug kann ferner eine Farbsammeleinheit umfassen, die Konnektivitäten der jeweils erfassten weißen, schwarzen, roten und gelben Farben überprüft und ein Rauschen von jeder Farbe beseitigt oder füllt.
  • Die Kamera ist eine Farbkamera, die das externe Bild des Fahrzeugs als ein Farbbild erlangt.
  • Gemäß einer Farberfassungsvorrichtung für ein Fahrzeug der vorliegenden Erfindung kann ein Aufbereitungsverfahren zum Erkennen von Farbinformationen vereinfacht werden und eine Datenverarbeitung kann schnell durchgeführt werden, und als ein Ergebnis können Farbinformationen eines externen Bildes des Fahrzeugs in einfacher Weise in Echtzeit erlangt werden.
  • Ferner kann gemäß der vorliegenden Erfindung eine Stabilität durch Durchführen einer Datenverarbeitung, die bei einer durch Licht beeinflussten Datenvariation keine Rolle spielt, gewährleistet werden, und zum Beispiel kann, da ein Intensitätsbild, das am empfindlichsten auf durch Wetteränderungen verursachte Schwankungen der Beleuchtungsstärke reagiert, nur zum Erfassen von weiß verwendet wird, eine Farbe, die gegenüber einer äußeren Umgebung resistent ist, erfasst werden.
  • Außerdem ist gemäß der vorliegenden Erfindung ein Bündeln (Clustering) von ähnlichen Farben einfach und es ist einfach, Informationen von einer anderen Farbe als einer Farbe einer Fahrbahnoberfläche durch das Bündeln (Clustering) zu erlangen.
  • Ferner kann die Größe eines Hindernisses und ein Bewegungsverlauf ebenfalls durch Analysieren einer Fläche und einer Verteilung der Farbinformationen, die sich von der Farbe der Fahrbahnoberfläche unterscheiden, vorausberechnet werden, und wenn mehrere Farben im gleichen räumlichen Bereich gemischt werden, wird eine Erkennungsrate von einem vorbestimmten Hindernis durch eine Musteranalyse verbessert.
  • Die Verfahren und Vorrichtungen der vorliegenden Erfindung weisen weitere Merkmale und Vorteile auf, die ersichtlich werden aus oder ausführlicher dargestellt werden in den beigefügten Zeichnungen, welche hierin enthalten sind, und der folgenden ausführlichen Beschreibung der Erfindung, welche zusammen dazu dienen, die Grundsätze der vorliegenden Erfindung zu erläutern.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt ein Beispieldiagramm, das einen Farbraum darstellt, der durch eine HSI-Bildextraktionseinheit und eine Umkehrbildextraktionseinheit einer Farberfassungsvorrichtung für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gebildet wird.
  • 2 zeigt ein Beispieldiagramm, das Farben darstellt, die durch eine Farberfassungseinheit der Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung extrahiert werden.
  • 3A und 3B zeigen Beispieldiagramme, die Bilddaten für eine vorbestimmte Farbe gemäß dem Stand der Technik darstellen.
  • 4A bis 4E zeigen Beispieldiagramme, die Bilddaten für eine Farbe darstellen, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • Es ist zu beachten, dass die beigefügten Zeichnungen nicht notwendigerweise maßstabgerecht sind und eine etwas vereinfachte Darstellung von verschiedenen bevorzugten Merkmalen darstellen, die der Veranschaulichung der Grundsätze der Erfindung dienen. Die spezifischen Konstruktionsmerkmale der vorliegenden Erfindung, wie sie hierin offenbart sind, einschließlich z. B. spezifischer Abmessungen, Orientierungen, Einbauorte und Formen werden zum Teil durch die eigens dafür vorgesehene Anmeldung und der Arbeitsumgebung bestimmt.
  • In den Figuren beziehen sich die Bezugszeichen auf die gleichen oder äquivalenten Teile der vorliegenden Erfindung überall in den einzelnen Figuren der Zeichnungen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Es wird nun ausführlich auf die verschiedenen Ausführungsformen der vorliegenden Erfindung(en) Bezug genommen, wobei deren Beispiele in den beigefügten Zeichnungen dargestellt sind und unterhalb beschrieben werden. Obwohl die Erfindung(en) in Verbindung mit beispielhaften Ausführungsformen beschrieben wird (werden), ist es zu beachten, dass die vorliegende Beschreibung nicht dazu vorgesehen ist, die Erfindung(en) auf jene beispielhafte Ausführungsformen zu beschränken. Im Gegensatz dazu ist/sind die Erfindung(en) dazu vorgesehen, nicht nur die beispielhaften Ausführungsformen abzudecken, sondern ebenso verschiedenste Alternativen, Abänderungen, Äquivalente und weitere Ausführungsformen, welche innerhalb des Geistes und des Umfangs der Erfindung wie sie in den beigefügten Ansprüchen bestimmt ist, umfasst sein können.
  • 1 zeigt ein Beispieldiagramm, das einen Farbraum darstellt, der durch eine HSI-Bildextraktionseinheit und eine Umkehrbildextraktionseinheit einer Farberfassungsvorrichtung für ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gebildet wird, und 2 zeigt ein Beispieldiagramm, das Farben darstellt, die durch eine Farberfassungseinheit der Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung extrahiert werden.
  • Die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kann zu einer Vorrichtung gehören, die vorbestimmte Bilddaten von einer ein externes Bild des Fahrzeugs fotografierenden Kamera empfängt, um eine Farbe des externen Bildes zu erfassen.
  • Die Farberfassungsvorrichtung für ein Fahrzeug erzeugt ein HSI-Farb- und ein Umkehrbild unter Verwendung von RGB-Bilddaten und extrahiert danach Primärfarben durch Kombinieren und Vergleichen des HSI-Farb- und des Umkehrbildes und kann dazu dienen, um genaue Farbinformationen. durch einen Prozess zum Sammeln der extrahierten Farben zu erfassen.
  • Zu diesem Zweck kann die Farberfassungsvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung eine RGB-Umwandlungseinheit 110, die ein fotografiertes Bild einer Kamera in RGB-Bilddaten umwandelt, eine HSI-Bildextraktionseinheit 120, die ein Farbbild, ein Sättigungsbild und ein Intensitätsbild aus den RGB-Bilddaten extrahiert, eine Umkehrbildextraktionseinheit 130, die ein Umkehr-Sättigungsbild, ein Umkehr-Modulo-Sättigungsbild und ein Umkehr-Luminanzbild aus den RGB-Bilddaten extrahiert, eine Farberfassungseinheit, die weiße, schwarze, rote und gelbe Farben unter Verwendung von zwei oder mehreren Bildern erfasst, die aus dem Farbbild, dem Sättigungsbild, dem Intensitätsbild, dem Umkehrsättigungsbild, dem Umkehr-Modulo-Sättigungsbild und dem Umkehr-Luminanzbild durch einen vorbestimmten Algorithmus ausgewählt werden, und eine Farbsammeleinheit umfassen, die Konnektivitäten der jeweils erfassten weißen, schwarzen, roten und gelben Farben überprüft und ein Rauschen von jeder Farbe beseitigt oder füllt.
  • Die RGB-Umwandlungseinheit 110 dient dazu, um das externe Bild des Fahrzeugs, das durch die Kamera fotografiert wird, in die RGB-Bilddaten umzuwandeln, und kann ebenfalls sofort ein Originalbild der Kamera in die RGB-Bilddaten umwandeln.
  • In anderen Worten ausgedrückt, da die vorliegende Erfindung eine Aufgabe zum Erhöhen einer Erkennungsrate eines auf einer Straße vorhandenen Hindernisses aufweist, kann es zweckmäßig sein, eine Position des Hindernisses auf einer vorbestimmten 3D-Koordinate von dem Originalbild der Kamera unter Verwendung eines inversen perspektivischen Abbildungs-(Inverse Perspective Mapping – IPM) Verfahrens zu erlangen und dann das erlangte Bild in die RGB-Bilddaten umzuwandeln.
  • Die HSI-Bildextraktionseinheit 120 dient dazu, um ein Farbbild 11, ein Sättigungsbild 12 und ein Intensitätsbild 15 aus den RGB-Bilddaten zu extrahieren.
  • Die Umkehrbildextraktionseinheit 130 dient dazu, um ein Umkehrsättigungsbild 13, ein Umkehr-Modulo-Sättigungsbild 14 und ein Umkehr-Luminanzbild 16 aus den RGB-Bilddaten zu extrahieren.
  • Das Umkehrsättigungsbild 13 kann durch Umkehren des Originalbildes und Abbilden eines umgekehrten Sättigungswertes erlangt werden und das Umkehr-Modulo-Sättigungsbild 14 kann ebenfalls unter Verwendung des Umkehrbildes und des Sättigungsbildes 12 erlangt werden.
  • Als solches wird jede Farbinformation von einer Farberfassungseinheit, die einen vorbestimmten farberzeugenden räumlichen Bereich darstellt, unter Verwendung von sechs Arten von Farbfaktoren, die durch die HSI-Bildextraktionseinheit 120 und die Umkehrbildextraktionseinheit 130 extrahiert werden, erfasst.
  • Die Farberfassungseinheit kann einen vorbestimmten Farberfassungsalgorithmus umfassen und erfasst weiße, schwarze, rote beziehungsweise gelbe Farben unter Verwendung von zwei oder mehreren Bildern, die aus dem Farbbild 11, dem Sättigungsbild 12, dem Intensitätsbild 15, dem Umkehrsättigungsbild 13, dem Umkehr-Modulo-Sättigungsbild 14 und dem Umkehr-Luminanzbild 16 ausgewählt werden, unter Verwendung des Farberfassungsalgorithmus.
  • Unter Bezugnahme auf 2 wird ein Prozess zum Erfassen von Informationen über die weißen, schwarzen, roten und gelben Farben durch Kombinieren oder Vergleichen der sechs Arten von Farbfaktoren in der Farberfassungseinheit dargestellt.
  • Die weiße Farbe wird durch die Farberfassungseinheit durch Erfassen von Bilddaten eines räumlichen Bereichs erfasst, wo das Sättigungsbild 12 und das Intensitätsbild 15 miteinander dupliziert werden.
  • Die schwarze Farbe kann durch die Farberfassungseinheit durch Vergleichen des Umkehr-Modulo-Sättigungsbildes 14 und des Umkehr-Luminanzbildes 16, um einen räumlichen Bereich zu extrahieren, wo das Umkehr-Modulo-Sättigungsbild 14 stärker als das Umkehr-Luminanzbild 16 ist, und danach Ausschließen der Bilddaten von eines räumlichen Bereichs, wo das Farbbild 11 und das Sättigungsbild 12 miteinander dupliziert werden, erfasst werden.
  • In diesem Fall können die Bilddaten des räumlichen Bereichs, wo das Farbbild 11 und das Sättigungsbild 12 miteinander dupliziert werden, als die rote Farbe erfasst werden.
  • Die gelbe Farbe kann durch die Farberfassungsvorrichtung durch Extrahieren eines räumlichen Bereichs, wo das Sättigungsbild 12 und das Umkehrsättigungsbild 13 verglichen und miteinander dupliziert werden, und danach Ausschließen des Farbbildes erfasst werden.
  • Wie dies in dem Ausführungsbeispiel der vorliegenden Erfindung dargestellt ist, werden die RGB-Bilddaten in sechs Faktoren klassifiziert und dann werden die Primärfarben durch einen relativ einfachen Vergleich und eine Kombination erfasst, und als ein Ergebnis ist der Prozess schnell und fortlaufende Farbinformationen können erlangt werden.
  • Unterdessen werden, nachdem das Rauschen von jeder Farbe durch die Farbsammeleinheit beseitigt oder gefüllt ist und Konnektivitäten einer einzelnen Farbe überprüft sind, IDs für die jeweiligen Farbe für die weißen, schwarzen, roten und gelben Farbinformationen vergeben, die durch die Farberfassungseinheit erfasst werden, die zu dezidierteren Farbinformationen verarbeitet werden, und danach an eine Anzeigeeinheit übertragen, um die Farbinformationen einem Fahrer anzuzeigen.
  • 3A und 3B zeigen Beispieldiagramme, die Bilddaten für eine vorbestimmte Farbe gemäß dem Stand der Technik darstellen.
  • 3A und 3B zeigen eine Klassifikation von Farben basierend auf einem Histogramm von RGB-Bildern.
  • Unter Bezugnahme auf 3A werden ein weißes Bild und ein gelbes Bild aus dem Originalbild der Kamera durch Separation von einem blauen räumlichen Bereich des Histogramms extrahiert und das weiße Bild und das gelbe Bild können nicht eindeutig voneinander unterschieden werden.
  • 3B zeigt Extraktionen von einem schwarzen Bild, einem weißen Bild, einem gelben Bild und einem roten Bild von dem Originalbild der Kamera, und es ist ersichtlich, dass in dem Fall des schwarzen Bildes eine tatsächlich schwarze Farbe und ein Schatten, die durch das Fahrzeug erzeugt werden, voneinander unterschieden werden, und sogar in dem Fall des weißen Bildes ein weißer räumlicher Bereich nicht erkannt wird.
  • Es ist ersichtlich, dass, selbst in dem Fall des gelben Bildes, ein räumlicher Bereich vorhanden ist, wo ein räumlicher Bereich, der tatsächlich kein gelber räumlicher Bereich ist, als die gelbe Farbe erfasst wird, und selbst in dem Fall des roten Bildes sind eine Mehrzahl von räumlichen Bereichen vorhanden, wo ein räumlicher Bereich, der tatsächlich kein roter räumlicher Bereich ist, als die rote Farbe erfasst wird.
  • Als solches ist gemäß dem Verfahren zum Klassifizieren der Farben basierend auf dem Histogramm der RGB-Bilder im Stand der Technik dieses Verfahren anfällig für Schwankungen der Beleuchtungsstärke und eine Vielzahl von Fehlerräumen werden in der Farbklassifikation erzeugt. Die vorliegende Erfindung ist dazu vorgesehen, um die Probleme zu lösen.
  • 4A bis 4E zeigen Beispieldiagramme, die Bilddaten für eine Farbe darstellen, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • 4A zeigt ein Beispieldiagramm, das einen Erfassungsprozess für die weiße Farbe darstellt, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • Zunächst wird das Originalbild der Kamera in ein IPM-Bild durch eine Umwandlung vom Typ inverse perspektivische Abbildung (inverse perspective mapping – IPM) umgewandelt. Das IPM-Bild kann die Position des Hindernisses auf der 3D-Koordinate erlangen.
  • Anschließend werden das Sättigungsbild beziehungsweise das Intensitätsbild durch die HSI-Bildextraktionseinheit unter Verwendung der RGB-Bilddaten des IPM-Bildes extrahiert.
  • Als ein Ausführungsbeispiel zum Extrahieren des Sättigungsbildes und des Intensitätsbildes kann unter Bezugnahme auf einen Sättigungs-Wellenformgraphen das Sättigungsbild durch Ausgeben von Daten eines räumlichen Bereichs zwischen 0 und einem Punkt mit der kleinsten Wellenhöhe innerhalb des Bereichs von 0 bis 20 (Zeit) extrahiert werden.
  • In ähnlicher Weise kann unter Bezugnahme auf einen Intensitäts-Wellenformgraphen das Intensitätsbild durch Ausgeben von Daten eines räumlichen Bereichs zwischen dem Punkt mit der kleinsten Wellenhöhe und 256 (Histogramm-Wert) innerhalb des Bereichs von 200 bis 256 (Histogramm-Wert) extrahiert werden.
  • Die Farberfassungseinheit verbindet das Sättigungsbild und das Intensitätsbild, die wie oberhalb beschrieben erlangt werden, um das weiße Bild zu erfassen.
  • Unter Bezugnahme auf 4A wird in dem weißen Bild durch die vorliegende Erfindung der weiße räumliche Bereich, der nicht erkannt werden kann, im Gegensatz zu dem Verfahren zum Klassifizieren der Farben basierend auf dem Histogramm im Stand der Technik nicht bereitgestellt.
  • 4B zeigt ein Beispieldiagramm, das einen Erfassungsprozess für die schwarze Farbe darstellt, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • Zunächst wird das Originalbild der Kamera in das IPM-Bild durch die Umwandlung vom Typ inverse perspektivische Abbildung (IPM) umgewandelt und anschließend werden das Umkehr-Modulo-Sättigungsbild und das Umkehr-Luminanzbild unter Verwendung des Umkehrbildes in der Umkehrbildextraktionseinheit mit den RGB-Bilddaten des IPM-Bildes extrahiert.
  • Danach wird ein räumlicher Bereich, wo das Umkehr-Modulo-Sättigungsbild stärker als das Umkehr-Luminanzbild angezeigt wird, in der Farberfassungseinheit extrahiert.
  • Danach wird in dem räumlichen Bereich, wo das Umkehr-Modulo-Sättigungsbild stärker als das Umkehr-Luminanzbild angezeigt wird, das schwarze Bild mit Ausnahme von dem roten Bild, das durch Verbinden des Farbbildes und des Sättigungsbildes erzeugt wird, erfasst.
  • Unter Bezugnahme auf 4A ist es in dem Fall des roten Bildes gemäß dem Ausführungsbeispiel der vorliegenden Erfindung ersichtlich, dass die tatsächlich schwarze Farbe und der Schatten, die durch das Fahrzeug erzeugt werden, im Gegensatz zu dem Verfahren zum Klassifizieren der Farben basierend auf dem Histogramm im Stand der Technik voneinander unterschieden werden können.
  • 4C zeigt ein Beispieldiagramm, das einen Erfassungsprozess für die rote Farbe darstellt, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • Zunächst wird das Originalbild der Kamera in das IPM-Bild durch die Umwandlung vom Typ inverse perspektivische Abbildung (IPM) umgewandelt und anschließend werden das Farbbild beziehungsweise das Sättigungsbild in der HSI-Bildextraktionseinheit unter Verwendung der RGB-Bilddaten des IPM-Bildes extrahiert.
  • Als ein Ausführungsbeispiel zum Extrahieren des Farbbildes und des Sättigungsbildes kann unter Bezugnahme auf einen Farb-Wellenformgraphen das Farbbild durch Ausgeben von Daten eines räumlichen Bereichs von 200 (Histogramm-Wert) oder mehr extrahiert werden.
  • In ähnlicher Weise kann unter Bezugnahme auf den Sättigungs-Wellenformgraphen das Sättigungsbild durch Ausgeben von Daten eines räumlichen Bereichs von 45 (Histogramm-Wert) oder mehr extrahiert werden.
  • Das Farbbild und das Sättigungsbild, die wie oberhalb beschrieben erlangt werden, werden miteinander in der Farberfassungseinheit verbunden, um das rote Bild zu erfassen.
  • Unter Bezugnahme auf 4B ist es ersichtlich, dass in dem Fall des schwarzen Bildes gemäß dem Ausführungsbeispiel der vorliegenden Erfindung im Gegensatz zu dem Verfahren zum Klassifizieren der Farben basierend auf dem Histogramm im Stand der Technik kein räumlicher Bereich vorhanden ist, wo ein räumlicher Bereich, der nicht der tatsächlich rote räumliche Bereich ist, als die rote Farbe erfasst wird.
  • 4D zeigt ein Beispieldiagramm, das einen Erfassungsprozess für die gelbe Farbe darstellt, die durch die Farberfassungsvorrichtung für ein Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erfasst wird.
  • Zunächst wird das Originalbild der Kamera in das IPM-Bild durch die Umwandlung vom Typ inverse perspektivische Abbildung (IPM) umgewandelt und anschließend werden das Farbbild beziehungsweise das Sättigungsbild unter Verwendung der RGB-Bilddaten des IPM-Bildes extrahiert.
  • Das Umkehr-Sättigungsbild wird in der Umkehrbildextraktionseinheit unter Verwendung der RGB-Bilddaten des IPM-Bildes extrahiert.
  • Danach wird, nachdem nur der Duplizierraum des Umkehr-Sättigungsbildes und des Sättigungsbildes extrahiert wird, das gelbe Bild mit Ausnahme von dem Farbbild erfasst.
  • Unter Bezugnahme auf 4D ist es ersichtlich, dass in dem Fall des gelben Bildes gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kein räumlicher Bereich vorhanden ist, wo ein räumlicher Bereich, der nicht der tatsächlich gelbe räumliche Bereich ist, als die gelbe Farbe erfasst wird im Gegensatz zu dem Verfahren zum Klassifizieren der Farben basierend auf dem Histogramm im Stand der Technik nicht bereitgestellt wird.
  • 4E zeigt ein Vergleichsdiagramm, das ein Originalbild, ein RGB-Bild und ein Erfassungsbild durch eine Kamera für jede Farbe darstellt.
  • Als solches kann gemäß der Farberfassungsvorrichtung für ein Fahrzeug des Ausführungsbeispiels der vorliegenden Erfindung, da die Farbinformationen unter Verwendung des Originalbildes der Kamera und des IPM-Bildes schnell erlangt werden, ein Aufbereitungsprozess zum Erkennen der Farbinformationen vereinfacht werden und Daten können schnell verarbeitet werden.
  • Da das Intensitätsbild, das am empfindlichsten auf Schwankungen der Beleuchtungsstärke reagiert, nur zum Erfassen von Weiß verwendet wird, kann eine Farbe, die gegenüber einer äußeren Umgebung resistent ist, erfasst werden, und da eine ähnliche Farbe in einfacher Weise gebündelt wird, können Informationen einer anderen Farbe als einer Farbe einer Fahrbahnoberfläche in einfacher Weise erlangt werden.
  • Gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kann, wenn mehrere Farben in denselben räumlichen Bereichen vermischt werden, wie i) ein Verkehrszeichen, das durch die roten, blauen, weißen und schwarzen Farben aufgebaut ist, ii) eine Schwelle zur Geschwindigkeitsbegrenzung, die durch die gelben, weißen und schwarzen Farben aufgebaut ist, iii) ein Dreibein, das durch die rote und weiße Farben aufgebaut ist, und eine Fahrspur, die durch die weißen, gelben und blauen Farben aufgebaut ist, und iv), eine Bauschild-Schutzvorrichtung, die durch die gelben und roten Farben aufgebaut ist, eine Erkennungsrate eines vorbestimmten Hindernisses durch eine Musteranalyse maximiert werden.
  • Andere Farben als die oberhalb beschrieben roten, blauen, weißen und schwarzen können ebenfalls in einem ähnlichen Verfahren wie oben erfasst werden. Wenn ein Benutzer eine Farbe auswählt, die der Benutzer erfassen möchte, kann eine Mehrzahl von anderen Farben als die vier Farben ebenfalls gleichzeitig erfasst werden. Wenn jedoch die Farben gebündelt sind, muss der Benutzer denselben Farbraum durch Einstellen eines Parameters mit Bezug darauf trennen, ob hellrot und dunkelrot umfasst sind.
  • Die vorhergehenden Beschreibungen von bestimmten Ausführungsbeispielen der vorliegenden Erfindung wurden zu Zwecken der Veranschaulichung und Beschreibung dargelegt. Sie sind nicht erschöpfend und nicht dazu vorgesehen, um die Erfindung auf die exakten offenbarten Formen zu beschränken, und offensichtlich sind viele Modifikationen und Änderungen im Lichte der oberhalb genannten Lehre möglich. Die Ausführungsbeispiele wurden ausgewählt und beschrieben, um bestimmte Grundsätze der Erfindung und ihre praktische Anwendung zu erläutern, um es einem anderen Fachmann auf dem Gebiet zu ermöglichen, verschiedene Ausführungsbeispiele der vorliegenden Erfindung, ebenso wie verschiedene Alternativen und Modifikationen hiervon, die innerhalb dem Geist der Erfindung und dem Umfang der Ansprüche liegen, die im Folgenden bestimmt werden, zu bilden und zu verwenden. Es ist beabsichtigt, dass der Umfang der Erfindung durch die hierzu beigefügten Ansprüche und ihren Äquivalenten festgelegt wird.

Claims (8)

  1. Farberfassungsvorrichtung für ein Fahrzeug, die eine Farbe eines externen Bildes durch Empfangen von vorbestimmten Bilddaten von einer das externe Bild des Fahrzeugs fotografierenden Kamera erfasst, aufweisend: eine RGB-Umwandlungseinheit, die ein fotografiertes Bild der Kamera in RGB-Bilddaten umwandelt; eine HSI-(Farbe, Sättigung und Intensität)Bildextraktionseinheit, die ein Farbbild, ein Sättigungsbild und ein Intensitätsbild aus den RGB-Bilddaten extrahiert; eine Umkehrbildextraktionseinheit, die ein Umkehr-Sättigungsbild, ein Umkehr-Modulo-Sättigungsbild und ein Umkehr-Luminanzbild aus den RGB-Bilddaten extrahiert; und eine Farberfassungseinheit, die weiße, schwarze, rote und gelbe Farben unter Verwendung von zwei oder mehreren Bildern erfasst, die aus dem Farbbild, dem Sättigungsbild, dem Intensitätsbild, dem Umkehr-Sättigungsbild, dem Umkehr-Modulo-Sättigungsbild und dem Umkehr-Luminanzbild durch einen vorbestimmten Algorithmus ausgewählt werden.
  2. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei das Umkehr-Modulo-Sättigungsbild unter Verwendung eines Umkehrbildes und des Sättigungsbildes erlangt wird.
  3. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei in der Erfassung der weißen Farbe Bilddaten eines räumlichen Bereichs, wo das Sättigungsbild und das Intensitätsbild miteinander dupliziert werden, erfasst werden.
  4. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei die schwarze Farbe durch Ausschließen von Bilddaten eines räumlichen Bereichs, wo das Farbbild und das Sättigungsbild miteinander dupliziert werden, von Bilddaten eines räumlichen Bereichs, wo das Umkehr-Modulo-Sättigungsbild stärker als das Umkehr-Luminanzbild ist, erfasst wird.
  5. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei in der Erfassung der roten Farbe Bilddaten eines räumlichen Bereichs, wo das Farbbild und das Sättigungsbild miteinander dupliziert werden, erfasst werden.
  6. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei die gelbe Farbe durch Ausschließen des Farbbildes von Bilddaten eines räumlichen Bereichs, wo das Sättigungsbild und das Umkehr-Sättigungsbild miteinander dupliziert werden, erfasst wird.
  7. Farberfassungsvorrichtung für das Fahrzeug, ferner umfassend: eine Farbsammeleinheit, die Konnektivitäten der jeweils erfassten weißen, schwarzen, roten und gelben Farben überprüft und ein Rauschen von jeder Farbe beseitigt oder füllt.
  8. Farberfassungsvorrichtung für das Fahrzeug nach Anspruch 1, wobei die Kamera eine Farbkamera ist, die das externe Bild des Fahrzeugs als ein Farbbild erlangt.
DE102012220619A 2011-12-28 2012-11-13 Farberfassungsvorrichtung für ein Fahrzeug Withdrawn DE102012220619A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110144946A KR101295092B1 (ko) 2011-12-28 2011-12-28 차량용 색상검출기
KR10-2011-144946 2011-12-28

Publications (1)

Publication Number Publication Date
DE102012220619A1 true DE102012220619A1 (de) 2013-07-04

Family

ID=48608103

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012220619A Withdrawn DE102012220619A1 (de) 2011-12-28 2012-11-13 Farberfassungsvorrichtung für ein Fahrzeug

Country Status (5)

Country Link
US (1) US9197860B2 (de)
JP (1) JP6068833B2 (de)
KR (1) KR101295092B1 (de)
CN (1) CN103186905A (de)
DE (1) DE102012220619A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013224081A (ja) * 2012-04-20 2013-10-31 Kyocera Corp 画像処理装置および走行支援方法
US9216688B2 (en) * 2013-03-15 2015-12-22 Adil Ansari System and method for blindzone object detection
JP6260620B2 (ja) * 2013-06-17 2018-01-17 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9704043B2 (en) 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN105654520B (zh) * 2015-12-28 2021-09-14 联想(北京)有限公司 一种图像处理方法和电子设备
US10922846B2 (en) * 2017-08-29 2021-02-16 Guangdong Virtual Reality Technology Co., Ltd. Method, device and system for identifying light spot
CN109389111A (zh) * 2018-10-24 2019-02-26 浙江宇视科技有限公司 图像采集处理方法、装置及计算机可读存储介质
JP7244301B2 (ja) 2019-03-01 2023-03-22 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216597A (ja) 2000-02-04 2001-08-10 Mitsubishi Electric Corp 画像処理方法及び画像処理装置
KR100816794B1 (ko) 2003-12-26 2008-03-26 재단법인 포항산업과학연구원 컬러 영상 처리를 이용한 차량 번호판 인식 장치
KR100723050B1 (ko) 2005-07-22 2007-05-30 주식회사 대우일렉트로닉스 디스플레이 기기의 특정 색보정 방법 및 이의 장치
JP2009152868A (ja) * 2007-12-20 2009-07-09 Sapporo Medical Univ 画像処理装置、及び画像処理プログラム
US8406514B2 (en) * 2006-07-10 2013-03-26 Nikon Corporation Image processing device and recording medium storing image processing program
CN100483446C (zh) * 2007-05-14 2009-04-29 杭州中正生物认证技术有限公司 一种免接触光学指纹图像采集方法和系统
JP5118605B2 (ja) * 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
KR101000623B1 (ko) * 2008-12-31 2010-12-10 포항공과대학교 산학협력단 색수차 검출 및 보정 방법, 이를 이용한 영상 처리 장치 및그 방법
KR101094752B1 (ko) * 2009-06-30 2011-12-16 호서대학교 산학협력단 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
CN101702197A (zh) * 2009-10-26 2010-05-05 宁波大学 一种道路交通标志的检测方法
CN101706874A (zh) * 2009-12-25 2010-05-12 青岛朗讯科技通讯设备有限公司 基于肤色特征的人脸检测方法
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
KR101761921B1 (ko) * 2011-02-28 2017-07-27 삼성전기주식회사 차량 운전자의 시계 보조 시스템 및 방법

Also Published As

Publication number Publication date
KR20130076378A (ko) 2013-07-08
JP6068833B2 (ja) 2017-01-25
US20130169797A1 (en) 2013-07-04
KR101295092B1 (ko) 2013-08-09
CN103186905A (zh) 2013-07-03
JP2013140555A (ja) 2013-07-18
US9197860B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
DE102012220619A1 (de) Farberfassungsvorrichtung für ein Fahrzeug
DE69519980T2 (de) Verfahren und Gerät zur Detektion und Interpretation von Untertiteln in digitalen Videosignalen
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE602005001627T2 (de) Vorrichtung zur Extraktion von Fussgängern
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102015205225A1 (de) Verfahren und Vorrichtung zum Erkennen eines Zielobjekts im toten Winkel eines Fahrzeugs
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102015207902A1 (de) Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
WO2013072231A1 (de) Verfahren zur nebeldetektion
DE112014006439B4 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
DE102013019138A1 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
EP3289398B1 (de) Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen
DE102017209631B4 (de) Objektidentifizierungsvorrichtung
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
EP3931798B1 (de) Schätzung der bewegung einer bildposition
DE112009003648T5 (de) Verfahren und Vorrichtung zur Barrierentrennung
DE102014109063A1 (de) Verfahren zur Detektion eines Objekts mit einer vorbestimmten geometrischen Form in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102021130088A1 (de) Kombinieren von in Graustufen abgetasteten Bildern mit einem Farbbild, um hochauflösende Überlagerungsbilder zu erzeugen, in Fahrzeugen
DE102015205502A1 (de) Bildverarbeitungsverfahren und Bildverarbeitungssystem zum Extrahieren verzerrter kreisförmiger Bildelemente
DE102013201682A1 (de) Auswählen von sichtbaren Gebieten in Nachtbildern zum Durchführen einer Detektion eines freien Pfads
DE102014224557A1 (de) Bildverarbeitung mittels Kreuzkorrelation
DE102006060612B4 (de) Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu

Legal Events

Date Code Title Description
R083 Amendment of/additions to inventor(s)
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee