DE102018129993A1 - Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür - Google Patents

Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür Download PDF

Info

Publication number
DE102018129993A1
DE102018129993A1 DE102018129993.1A DE102018129993A DE102018129993A1 DE 102018129993 A1 DE102018129993 A1 DE 102018129993A1 DE 102018129993 A DE102018129993 A DE 102018129993A DE 102018129993 A1 DE102018129993 A1 DE 102018129993A1
Authority
DE
Germany
Prior art keywords
highlight
vehicle
vehicle lamp
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018129993.1A
Other languages
English (en)
Inventor
Po-Hsiang Liao
Hung-Pang LIN
Yu-Lung Chang
Li-You Hsu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Research and Testing Center
Original Assignee
Automotive Research and Testing Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Research and Testing Center filed Critical Automotive Research and Testing Center
Publication of DE102018129993A1 publication Critical patent/DE102018129993A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Ein Verfahren zur Fahrzeugdetektion bei Nacht dient dazu, ein Bild durch eine Kamera zu erfassen und eine Recheneinheit dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren. Das Verfahren zur Fahrzeugdetektion bei Nacht dient dazu, die Recheneinheit dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um mehrere Highlight-Pixel zu kennzeichnen, die miteinander als ein Wert in Verbindung stehender Bereiche verbunden sind, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Das Verfahren zur Fahrzeugdetektion bei Nacht dient dazu, die Recheneinheit dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist.

Description

  • HINTERGRUND
  • Technisches Gebiet
  • Die vorliegende Offenbarung bezieht sich auf ein Verfahren zur Fahrzeugdetektion und ein System dafür. Genauer gesagt, bezieht sich die vorliegende Offenbarung auf ein Verfahren zur Fahrzeugdetektion, ein Verfahren zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität und ein System dafür.
  • Beschreibung des einschlägigen Stands der Technik
  • Ein Auffahrwarnalgorithmus nutzt ein Verfahren zur Fahrspurlinienidentifizierung, um eine Fahrspurlinie eines Bildes zu identifizieren, und beurteilt dann gemäß einem Verfahren zur Vorderfahrzeugidentifizierung, ob ein relativer Abstand zwischen einem fahrenden Fahrzeug und einem Vorderfahrzeug sicher ist oder nicht.
  • Bei einem konventionellen Verfahren zur Vorderfahrzeugidentifizierung wird ein Klassifikator verwendet, um nach Training mehrere relevante Parameter zu ermitteln, und dann werden die relevanten Parameter dazu ausgelegt, das Vorderfahrzeug zu identifizieren, wie zum Beispiel Neuronalnetzalgorithmen und Deep-Learning-Algorithmen. Das konventionelle Verfahren zur Vorderfahrzeugidentifizierung kann das Vorderfahrzeug identifizieren, jedoch ist die Komplexität des konventionellen Verfahrens zur Vorderfahrzeugidentifizierung hoch. Außerdem sind wegen des schwachen Lichts in der Nacht im Bild weniger Merkmale des Vorderfahrzeugs, so dass sich ein geringerer Detektionswirkungsgrad ergibt.
  • Daher sind ein Verfahren zur Fahrzeugdetektion, ein Verfahren zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität und ein System dafür mit den Merkmalen geringer Komplexität, Detektion in Echtzeit und hoher Genauigkeit kommerziell wünschenswert.
  • ZUSAMMENFASSUNG
  • Gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet ein Verfahren zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität einen Highlight-Detektionsschritt, einen Fahrzeugleuchtenbeurteilungsschritt, einen Filterschritt für den optischen Fluss und einen Abstandsschätzschritt. Der Highlight-Detektionsschritt dient dazu, ein Bild durch eine Kamera zu erfassen und eine Recheneinheit dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren. Der Highlight-Punkt enthält mehrere Highlight-Pixel, und die Kamera und die Recheneinheit sind an einem fahrenden Fahrzeug angeordnet. Der Fahrzeugleuchtenbeurteilungsschritt dient dazu, die Recheneinheit dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Der Filterschritt für den optischen Fluss dient dazu, die Recheneinheit dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist. Der Abstandsschätzschritt dient dazu, die Recheneinheit dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  • Gemäß einer Ausführungsform beinhaltet der Highlight-Detektionsschritt einen Histogrammabgleichsschritt und einen Helligkeitsmerkmalsextraktionsschritt. Der Histogrammabgleichsschritt dient dazu, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren. Der Helligkeitsmerkmalsextraktionsschritt dient dazu, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  • Gemäß einer Ausführungsform beinhaltet der Histogrammabgleichsschritt eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte. Die kumulative Verteilungsfunktion beinhaltet die Graustufenwerte, die Anzahl der Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte. Die Graustufenwerte werden als i dargestellt. Die Anzahl von Vorkommen wird als ni dargestellt. Die Graustufe wird als L dargestellt. Die abgeglichenen Graustufenwerte werden als Ti, dargestellt, und die kumulative Verteilungsfunktion wird wie folgt beschrieben: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0001
  • Gemäß einer Ausführungsform beurteilt die Recheneinheit gemäß einer Farbe der Highlight-Pixel im Highlight-Detektionsschritt, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht. Wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist. Wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  • Gemäß einer Ausführungsform werden die Highlight-Pixel im Fahrzeugleuchtenbeurteilungsschritt in mehrere Highlight-Pixelgruppen aufgeteilt. Die Highlight-Pixel jeder der Highlight-Pixelgruppen sind miteinander verbunden. Die Recheneinheit ist dazu ausgelegt, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist die Recheneinheit dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  • Gemäß einer Ausführungsform ist die Recheneinheit im Fahrzeugleuchtenbeurteilungsschritt dazu ausgelegt, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung enthält ein System zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität eine Kamera und eine Recheneinheit. Die Kamera ist an einem fahrenden Fahrzeug angeordnet und dazu ausgelegt, ein Bild zu erfassen. Die Recheneinheit ist am fahrenden Fahrzeug angeordnet und enthält ein Highlight-Detektionsmodul, ein Fahrzeugleuchtenbeurteilungsmodul, ein Filtermodul für den optischen Fluss und ein Abstandsschätzmodul. Das Highlight-Detektionsmodul ist über Signale mit der Kamera verbunden. Das Highlight-Detektionsmodul ist dazu ausgelegt, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren, wobei der Highlight-Punkt mehrere Highlight-Pixel enthält. Das Fahrzeugleuchtenbeurteilungsmodul ist über Signale mit dem Highlight-Detektionsmodul verbunden. Das Fahrzeugleuchtenbeurteilungsmodul ist dazu ausgelegt, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen. Das Fahrzeugleuchtenbeurteilungsmodul ist dazu ausgelegt, dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Das Filtermodul für den optischen Fluss ist über Signale mit dem Fahrzeugleuchtenbeurteilungsmodul verbunden. Das Filtermodul für den optischen Fluss ist dazu ausgelegt, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die geringer als eine vorbestimmte Geschwindigkeit ist. Das Abstandsschätzmodul ist über Signale mit dem Filtermodul für den optischen Fluss verbunden. Das Abstandsschätzmodul ist dazu ausgelegt, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  • Gemäß einer Ausführungsform ist das Highlight-Detektionsmodul dazu ausgelegt, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren. Das Highlight-Detektionsmodul ist dazu ausgelegt, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  • Gemäß einer Ausführungsform ist das Highlight-Detektionsmodul dazu ausgelegt, eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte durchzuführen. Die kumulative Verteilungsfunktion beinhaltet die Graustufenwerte, die Anzahl der Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte. Die Graustufenwerte werden als i dargestellt. Die Anzahl von Vorkommen wird als ni dargestellt. Die Graustufe wird als L dargestellt. Die abgeglichenen Graustufenwerte werden als Ti, dargestellt, und die kumulative Verteilungsfunktion wird wie folgt beschrieben: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0002
  • Gemäß einer Ausführungsform beurteilt die Recheneinheit gemäß einer Farbe der Highlight-Pixel, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht. Wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist. Wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  • Gemäß einer Ausführungsform werden die Highlight-Pixel in mehrere Highlight-Pixelgruppen aufgeteilt. Die Highlight-Pixel jeder der Highlight-Pixelgruppen sind miteinander verbunden. Das Fahrzeugleuchtenbeurteilungsmodul ist dazu ausgelegt, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  • Gemäß einer Ausführungsform ist das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
  • Gemäß einem weiteren anderen Aspekt der vorliegenden Offenbarung beinhaltet ein Verfahren zur Fahrzeugdetektion zum Detektieren eines Vorderfahrzeugs eines Bildes einen Bildanalyseschritt und einen Fahrzeugdetektionsschritt. Der Bildanalyseschritt dient dazu, ein Bild durch eine Kamera zu erfassen und eine Recheneinheit dazu anzusteuern, einen Himmelshelligkeitswert eines Himmelsbereichs des Bildes zu analysieren und einen vorbestimmten Helligkeitswert mit dem Himmelshelligkeitswert zu vergleichen, um zu beurteilen, ob das Bild am Tag oder bei Nacht aufgenommen wurder. Die Kamera und die Recheneinheit sind an einem fahrenden Fahrzeug angeordnet. Der Fahrzeugdetektionsschritt dient dazu, die Recheneinheit dazu anzusteuern, einen Fahrzeugdetektionsschritt am Tag oder einen Fahrzeugdetektionsschritt bei Nacht durchzuführen. Wenn das Bild vom Tag ist, wird der Fahrzeugdetektionsschritt am Tag durchgeführt. Wenn das Bild aus der Nacht ist, wird der Fahrzeugdetektionsschritt bei Nacht durchgeführt. Der Fahrzeugdetektionsschritt am Tag dient dazu, einen Abstand zwischen dem Vorderfahrzeug und der Kamera gemäß einem Auffahrwarnalgorithmus zu detektieren. Der Fahrzeugdetektionsschritt bei Nacht beinhaltet einen Highlight-Detektionsschritt, einen Fahrzeugleuchtenbeurteilungsschritt, einen Filterschritt für den optischen Fluss und einen Abstandsschätzschritt. Der Highlight-Detektionsschritt dient dazu, die Recheneinheit dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren, und der Highlight-Punkt enthält mehrere Highlight-Pixel. Der Fahrzeugleuchtenbeurteilungsschritt dient dazu, die Recheneinheit dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Der Filterschritt für den optischen Fluss dient dazu, die Recheneinheit dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist. Der Abstandsschätzschritt dient dazu, die Recheneinheit dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  • Gemäß einer Ausführungsform befindet sich der Himmelsbereich im Bildanalyseschritt über einem vorbestimmten Horizont. Die Recheneinheit ist dazu ausgelegt, zu bestimmen, dass das Bild vom Tage ist, wenn der Himmelshelligkeitswert größer als oder gleich dem vorbestimmten Helligkeitswert ist. Die Recheneinheit ist dazu ausgelegt, zu bestimmen, dass das Bild aus der Nacht ist, wenn der Himmelshelligkeitswert kleiner als der vorbestimmte Helligkeitswert ist.
  • Gemäß einer Ausführungsform beinhaltet der Highlight-Detektionsschritt einen Histogrammabgleichsschritt und einen Helligkeitsmerkmalsextraktionsschritt. Der Histogrammabgleichsschritt dient dazu, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren. Der Helligkeitsmerkmalsextraktionsschritt dient dazu, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  • Gemäß einer Ausführungsform beinhaltet der Histogrammabgleichsschritt eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte. Die kumulative Verteilungsfunktion beinhaltet die Graustufenwerte, die Anzahl der Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte. Die Graustufenwerte werden als i dargestellt. Die Anzahl von Vorkommen wird als ni dargestellt. Die Graustufe wird als L dargestellt. Die abgeglichenen Graustufenwerte werden als Ti, dargestellt, und die kumulative Verteilungsfunktion wird wie folgt beschrieben: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0003
  • Gemäß einer Ausführungsform beurteilt die Recheneinheit gemäß einer Farbe der Highlight-Pixel im Highlight-Detektionsschritt, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht. Wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist. Wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  • Gemäß einer Ausführungsform werden die Highlight-Pixel im Fahrzeugleuchtenbeurteilungsschritt in mehrere Highlight-Pixelgruppen aufgeteilt. Die Highlight-Pixel jeder der Highlight-Pixelgruppen sind miteinander verbunden. Die Recheneinheit ist dazu ausgelegt, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist die Recheneinheit dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  • Gemäß einer Ausführungsform ist die Recheneinheit im Fahrzeugleuchtenbeurteilungsschritt dazu ausgelegt, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
  • Figurenliste
  • Die vorliegende Offenbarung kann besser verstanden werden, indem die folgende ausführliche Beschreibung der Ausführungsform gelesen wird, wobei auf die zugehörigen Zeichnungen wie folgt Bezug genommen wird:
    • 1 zeigt ein Flussdiagramm eines Verfahrens zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 2 zeigt eine schematische Ansicht eines fahrenden Fahrzeugs und eines Vorderfahrzeugs aus 1.
    • 3 zeigt ein Flussdiagramm eines Verfahrens zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer anderen Ausführungsform der vorliegenden Offenbarung.
    • 4 zeigt eine schematische Ansicht eines Histogrammabgleichsschritts aus 3.
    • 5 zeigt eine schematische Ansicht eines Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche aus 3.
    • 6 zeigt eine schematische Ansicht eines Flächenfilteralgorithmus aus 3.
    • 7 zeigt ein Bild, das von einer Kamera in einem Highlight-Detektionsschritt des Verfahrens zur Fahrzeugdetektion bei Nacht aus 3 erfasst worden ist.
    • 8 zeigt ein Graustufenbild, das durch Transformation des Bildes aus 7 generiert worden ist.
    • 9 zeigt ein abgeglichenes Bild, das durch Durchführen eines Histogrammabgleichsschritts am Graustufenbild aus 8 generiert worden ist.
    • 10 zeigt ein Helligkeitsfilterbild, das durch Durchführen eines Helligkeitsmerkmalsextraktionsschritts am abgeglichenen Bild aus 9 generiert worden ist.
    • 11 zeigt ein Kennzeichnungsbild für in Verbindung stehende Bereiche, das durch Durchführen eines Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche am Helligkeitsfilterbild aus 10 generiert worden ist.
    • 12 zeigt ein Fahrzeugleuchtenkandidatenbild, das durch Durchführen eines Analysealgorithmus für geometrische Proportionen und des Flächenfilteralgorithmus am Kennzeichnungsbild für in Verbindung stehende Bereiche aus 11 generiert worden ist.
    • 13A zeigt ein Abstandsschätzbild, das durch Durchführen eines Filterschritts für den optischen Fluss und eines Abstandsschätzschritts am Fahrzeugleuchtenkandidatenbild aus 12 generiert worden ist.
    • 13B zeigt eine Tiefe einer linken Fahrzeugleuchte des Abstandsschätzbilds aus 13A.
    • 13C zeigt eine Tiefe einer rechten Fahrzeugleuchte des Abstandsschätzbilds aus 13A.
    • 14 zeigt ein Blockdiagramm eines Systems zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer weiteren anderen Ausführungsform der vorliegenden Offenbarung.
    • 15 zeigt ein Flussdiagramm eines Verfahrens zur Fahrzeugdetektion gemäß einer weiteren anderen Ausführungsform der vorliegenden Offenbarung.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die Ausführungsform wird mit den Zeichnungen beschrieben. Der Übersichtlichkeit halber werden nachstehend einige praktische Details beschrieben. Allerdings sei angemerkt, dass die vorliegende Offenbarung nicht durch die praktischen Details beschränkt werden soll, das heißt, in einigen Ausführungsformen sind die praktischen Details nicht erforderlich. Um die Zeichnungen zu vereinfachen, werden zusätzlich einige konventionelle Strukturen und Elemente einfach veranschaulicht, und wiederholte Elemente können durch die gleichen Kennzeichnungen dargestellt sein.
  • Es versteht sich, dass, wenn ein Element (oder Mechanismus oder Modul) als auf einem anderen Element „angeordnet“ oder mit einem anderen Element „verbunden“ bezeichnet wird, es direkt auf dem anderen Element angeordnet oder direkt mit dem anderen Element verbunden sein kann oder dass es indirekt auf dem anderen Element angeordnet oder indirekt mit dem anderen Element verbunden sein kann, das heißt, zwischengeschaltete Elemente können vorhanden sein. Wenn dagegen ein Element als „direkt angeordnet“ auf einem anderen Element oder als mit einem anderen Element „direkt verbunden“ bezeichnet wird, sind keine zwischengeschalteten Elemente vorhanden. Zusätzlich werden die Begriffe erster, zweiter, dritter usw. hier verwendet, um verschiedene Elemente oder Komponenten zu beschreiben, diese Elemente oder Komponenten sollten nicht durch diese Begriffe eingeschränkt werden. Folglich könnte ein nachstehend erörtertes erstes Element oder eine erste Komponente als ein zweites Element oder eine zweite Komponente bezeichnet werden.
  • 1 zeigt ein Flussdiagramm eines Verfahrens 100 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer Ausführungsform der vorliegenden Offenbarung. 2 zeigt eine schematische Ansicht eines fahrenden Fahrzeugs 110a und eines Vorderfahrzeugs 110b aus 1. Das Verfahren 100 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität dient dazu, einen Abstand Y zwischen der Kamera 300 des fahrenden Fahrzeugs 110a und der Fahrzeugleuchte des Vorderfahrzeugs 110b bei Nacht zu detektieren. Das Verfahren 100 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität beinhaltet einen Highlight-Detektionsschritt S12, einen Fahrzeugleuchtenbeurteilungsschritt S14, einen Filterschritt S16 für den optischen Fluss und einen Abstandsschätzschritt S18.
  • Der Highlight-Detektionsschritt S12 dient dazu, ein Bild durch eine Kamera 300 zu erfassen und eine Recheneinheit 400 dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren. Der Highlight-Punkt enthält mehrere Highlight-Pixel, und die Kamera 300 und die Recheneinheit 400 sind am fahrenden Fahrzeug 110a angeordnet. Der Fahrzeugleuchtenbeurteilungsschritt S14 dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Der Filterschritt S16 für den optischen Fluss dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit Vb der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit Vb bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist. Das fahrende Fahrzeug 110a wird mit einer Geschwindigkeit Va bewegt. Das Vorderfahrzeug 110b wird mit der Geschwindigkeit Vb bewegt. Der Abstandsschätzschritt S18 dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um den Abstand Y zwischen der Kamera 300 und der Fahrzeugleuchte (z. B. einer Heckleuchte des Vorderfahrzeugs 110b) zu ermitteln, die mit der Geschwindigkeit Vb bewegt wird, die größer als oder gleich der vorbestimmten Geschwindigkeit ist. Daher nutzt das Verfahren 100 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität der vorliegenden Offenbarung Bildverarbeitungstechniken, um den Highlight-Punkt des Bildes zu detektieren, und der Algorithmus für den optischen Fluss wird verwendet, um Störsignale, die sich außerhalb einer eigentlichen Fahrspur befinden, zu beseitigen, um so eine genaue Position der Fahrzeugleuchte in Echtzeit zu ermitteln. Zusätzlich können die Bildverarbeitungstechniken der vorliegenden Offenbarung die Rechenkomplexität stark reduzieren und sind einfacher als konventionelle Klassifikatoren (z. B. eine radiale Basisfunktion (RBF) oder eine Support Vector Machine (SVM)), um so eine Datenverarbeitungsgeschwindigkeit zu verbessern. Das Vorderfahrzeug 110b der vorliegenden Offenbarung ist ein Kraftwagen, ist aber nicht darauf beschränkt. Das Vorderfahrzeug 110b kann ein Motorrad oder irgendein anderes Fahrzeug sein, das die Fahrzeugleuchte aufweist.
  • 3 zeigt ein Flussdiagramm eines Verfahrens 100a zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer anderen Ausführungsform der vorliegenden Offenbarung. 4 zeigt eine schematische Ansicht eines Histogrammabgleichsschritts S222 aus 3. 5 zeigt eine schematische Ansicht eines Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche aus 3. 6 zeigt eine schematische Ansicht eines Flächenfilteralgorithmus S244 aus 3. 7 zeigt ein Bild 120, das von einer Kamera 300 in einem Highlight-Detektionsschritt S22 des Verfahrens 100a zur Fahrzeugdetektion bei Nacht aus 3 erfasst worden ist. 8 zeigt ein Graustufenbild 130, das durch Transformation des Bildes 120 aus 7 generiert worden ist. 9 zeigt ein abgeglichenes Bild 140, das durch Durchführen eines Histogrammabgleichsschritts S222 am Graustufenbild 130 aus 8 generiert worden ist. 10 zeigt ein Helligkeitsfilterbild 150, das durch Durchführen eines Helligkeitsmerkmalsextraktionsschritts S224 am abgeglichenen Bild 140 aus 9 generiert worden ist. 11 zeigt ein Kennzeichnungsbild 160 für in Verbindung stehende Bereiche, das durch Durchführen eines Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche am Helligkeitsfilterbild 150 aus 10 generiert worden ist. 12 zeigt ein Fahrzeugleuchtenkandidatenbild 170, das durch Durchführen eines Flächenfilteralgorithmus S244 und eines Analysealgorithmus S246 für geometrische Proportionen am Kennzeichnungsbild 160 für in Verbindung stehende Bereiche aus 11 generiert worden ist. 13A zeigt ein Abstandsschätzbild 190, das durch Durchführen eines Filterschritts S26 für den optischen Fluss und eines Abstandsschätzschritts S28 am Fahrzeugleuchtenkandidatenbild 170 aus 12 generiert worden ist. 13B zeigt eine Tiefe (X, Y) einer linken Fahrzeugleuchte 192 des Abstandsschätzbilds 190 aus 13A. 13C zeigt eine Tiefe (X, Y) einer rechten Fahrzeugleuchte 194 des Abstandsschätzbilds 190 aus 13A. Das Verfahren 100a zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität dient dazu, einen Abstand Y zwischen der Kamera 300 des fahrenden Fahrzeugs 110a und der Fahrzeugleuchte des Vorderfahrzeugs 110b bei Nacht zu detektieren. Das Verfahren 100a zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität beinhaltet einen Highlight-Detektionsschritt S22, einen Fahrzeugleuchtenbeurteilungsschritt S24, einen Filterschritt S26 für den optischen Fluss und einen Abstandsschätzschritt S28.
  • Der Highlight-Detektionsschritt S22 dient dazu, das Bild 120 durch die Kamera 300 zu erfassen und eine Recheneinheit 400 dazu anzusteuern, das Bild 120 zu berechnen und dann einen Highlight-Punkt des Bildes 120 zu detektieren. Der Highlight-Punkt enthält mehrere Highlight-Pixel, und die Kamera 300 und die Recheneinheit 400 sind am fahrenden Fahrzeug 110a angeordnet. Im Einzelnen beinhaltet der Highlight-Detektionsschritt S22 den Histogrammabgleichsschritt S222 und den Helligkeitsmerkmalsextraktionsschritt S224. Der Histogrammabgleichsschritt S222 dient dazu, eine Anzahl von Vorkommen ni jedes von mehreren Graustufenwerten i des Bildes 120 zu zählen und die Graustufenwerte i zu ändern, um mehrere abgeglichene Graustufenwerte Ti gemäß der Anzahl von Vorkommen ni zu generieren. Der Helligkeitsmerkmalsextraktionsschritt S224 dient dazu, einen Graustufenhelligkeitsschwellenwert T1 einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert größer als der Graustufenhelligkeitsschwellenwert T1 ist, zu extrahieren. Zusätzlich enthält der Histogrammabgleichsschritt S222 eine statistische Histogrammverteilung, eine Wahrscheinlichkeitsdichtefunktion, eine kumulative Verteilungsfunktion und eine Lookup-Tabellenabbildungsfunktion. Die statistische Histogrammverteilung dient dazu, die Anzahl von Vorkommen ni jedes von mehreren Graustufenwerten i des Graustufenbildes 130 zu zählen. Das Graustufenbild 130 wird durch Transformation des Bildes 120 generiert. Die Wahrscheinlichkeitsdichtefunktion dient dazu, eine Wahrscheinlichkeitsdichte ni / n der Anzahl von Vorkommen ni zu berechnen. Die kumulative Verteilungsfunktion dient dazu, die Graustufenwerte i zu ändern, um die abgeglichenen Graustufenwerte Ti zu generieren. Die Lookup-Tabellenabbildungsfunktion dient dazu, die abgeglichenen Graustufenwerte Ti auf eine nächste ganze Zahl L TI abzurunden. Die kumulative Verteilungsfunktion beinhaltet die Graustufenwerte i, die Anzahl von Vorkommen ni, eine Graustufe L und die abgeglichenen Graustufenwerte Ti. Die kumulative Verteilungsfunktion wird wie folgt beschrieben: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0004
  • Zum Beispiel listet die Tabelle 1 Ergebniswerte auf, die sequentiell durch die statistische Histogrammverteilung, die Wahrscheinlichkeitsdichtefunktion, die kumulative Verteilungsfunktion und die Lookup-Tabellenabbildungsfunktion gemäß einem 4-Bit-Graustufenbild 130 erzeugt worden sind. 4 zeigt eine schematische Ansicht der Anzahl von Vorkommen ni jedes der Graustufenwerte i der Tabelle 1 im Histogrammabgleichsschritt S222. In der Tabelle 1 und aus 4 kann der Histogrammabgleichsschritt S222 der vorliegenden Offenbarung ermöglichen, dass die Verteilung der Graustufenwerte i mehr verteilt ist. Tabelle 1
    i 0 1 2 3 4 5 6 7
    ni 15 0 0 0 0 0 0 0
    ni/n 0,042 0 0 0 0 0 0 0
    Ti 0,63 0,63 0,63 0,63 0,63 0,63 0,63 0,63
    LTI 1 1 1 1 1 1 1 1
    i 8 9 10 11 12 13 14 15
    ni 0 70 110 45 80 40 0 0
    ni/n 0 0,194 0,306 0,125 0,222 0,111 0 0
    Ti 0,63 3,54 8,13 10,01 13,34 15 15 15
    LTI 1 4 8 10 13 15 15 15
  • Im Highlight-Detektionsschritt S22 beurteilt die Recheneinheit 400 gemäß einer Farbe der Highlight-Pixel, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht. Außerdem kann der Highlight-Detektionsschritt S22 beurteilen, ob die Fahrzeugleuchte ein Vorderlicht oder ein Rücklicht ist. Wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit 400, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist. Wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit 400, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  • Der Fahrzeugleuchtenbeurteilungsschritt S24 dient dazu, die Recheneinheit 400 dazu anzusteuern, den Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann den Flächenfilteralgorithmus S244 durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Der Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche dient dazu, die im Helligkeitsfilterbild 150 miteinander verbundenen Highlight-Pixel als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, die somit als ein in Verbindung stehender Bereich betrachtet werden. Dann wird das Kennzeichnungsbild 160 für in Verbindung stehende Bereiche generiert, wie in der 5 gezeigt wird. Der Flächenfilteralgorithmus S244 dient dazu, die Fläche der miteinander verbundenen Highlight-Pixel zu filtern, die kleiner als ein vorbestimmter Flächenschwellenwert ist. Falls die Fläche der miteinander verbundenen Highlight-Pixel größer als oder gleich dem vorbestimmten Flächenschwellenwert ist, bestimmt die Recheneinheit 400, dass die miteinander verbundenen Highlight-Pixel die Fahrzeugleuchte sind und beibehalten werden müssen. Falls hingegen die Fläche der miteinander verbundenen Highlight-Pixel kleiner als der vorbestimmte Flächenschwellenwert ist, bestimmt die Recheneinheit 400, dass die miteinander verbundenen Highlight-Pixel nicht die Fahrzeugleuchte sind und entfernt werden müssen, wie in aus 6 gezeigt wird.
  • In einer Ausführungsform können die Highlight-Pixel in mehrere Highlight-Pixelgruppen aufgeteilt werden, und die Highlight-Pixel jeder der Highlight-Pixelgruppen werden miteinander im Fahrzeugleuchtenbeurteilungsschritt S24 verbunden. Die Recheneinheit 400 kann dazu ausgelegt sein, den Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist die Recheneinheit 400 dazu ausgelegt, den Flächenfilteralgorithmus S244 durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht. Daher kann der Fahrzeugleuchtenbeurteilungsschritt S24 der vorliegenden Offenbarung die Highlight-Punkte, die unterschiedliche Positionen aufweisen, beurteilen.
  • In einer Ausführungsform kann die Recheneinheit 400 dazu ausgelegt sein, einen Analysealgorithmus S246 für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die im Fahrzeugleuchtenbeurteilungsschritt S24 als Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die als der Wert in Verbindung stehender Bereiche gekennzeichneten Highlight-Pixel die Fahrzeugleuchte sind oder nicht. Genauer gesagt: Falls die geometrische Proportion der Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, kleiner als oder gleich einer vorbestimmten geometrischen Proportion ist, bestimmt die Recheneinheit 400, dass die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind und beibehalten werden müssen. Falls dagegen die geometrische Proportion der Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, größer als die vorbestimmte geometrische Proportion ist, bestimmt die Recheneinheit 400, dass die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, nicht die Fahrzeugleuchte sind und entfernt werden müssen.
  • Der Filterschritt S26 für den optischen Fluss dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Algorithmus S262 für den optischen Fluss durchzuführen, um eine Geschwindigkeit Vb der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit Vb bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist. Genauer gesagt: Der Filterschritt S26 für den optischen Fluss beinhaltet den Algorithmus S262 für den optischen Fluss und einen Fahrzeugleuchtenfilterschritt S264. Der Algorithmus S262 für den optischen Fluss ist als ein Helligkeitsgradient jedes Pixels in sequentiellen Bildebenen definiert. Wenn die Fahrzeugleuchte im Raum auf die sequentiellen Bildebenen projiziert wird, ist der Helligkeitsgradient jedes Pixels konstant. Mit anderen Worten: In zwei benachbarten Bildebenen wird ein Pixel (Pi, Pj) zu unterschiedlichen Positionen bewegt, und der Helligkeitsgradient des Pixels ist konstant und kann wie folgt beschrieben werden: I ( i , j , t ) = I ( i + δ i , j + δ j , t + δ t )
    Figure DE102018129993A1_0005
  • Wobei I die Helligkeit darstellt, und i, j jeweilige Positionskoordinaten des Pixels (Pi, Pj) darstellen. t stellt die Zeit dar. δi, δj stellen jeweilige Bewegungsvektoren des Pixels (Pi, Pj) dar. δt stellt die Zeitabweichung dar. Unter einer Bedingung des konstanten Helligkeitsgradienten des Pixels kann der optische Fluss (d. h. die Geschwindigkeit Vb der Fahrzeugleuchte), der durch eine Taylor-Reihenentwicklung und eine Differenzialgleichung generiert wird, wie folgt beschrieben werden: Vb = [ u v ] = [ δ i δ t δ j δ t ]
    Figure DE102018129993A1_0006
  • Wobei u, v die Geschwindigkeiten in einer horizontalen Richtung bzw. in einer vertikalen Richtung darstellen. Zusätzlich dient der Fahrzeugleuchtenfilterschritt S264 zum Beurteilen, ob die im Fahrzeugleuchtenbeurteilungsschritt S24 beibehaltene Fahrzeugleuchte gemäß der Geschwindigkeit Vb der Fahrzeugleuchte und einer vorbestimmten statischen Geschwindigkeit eine dynamische Lichtcharakteristik aufweist oder nicht. Falls die Geschwindigkeit Vb der Fahrzeugleuchte kleiner als oder gleich der vorbestimmten statischen Geschwindigkeit ist, bestimmt die Recheneinheit 400, dass die Fahrzeugleuchte ein Störsignal ist und keine dynamische Lichtcharakteristik aufweist und dass die Fahrzeugleuchte entfernt werden muss. Falls dagegen die Geschwindigkeit Vb der Fahrzeugleuchte größer als die vorbestimmte statische Geschwindigkeit ist, bestimmt die Recheneinheit 400, dass die Fahrzeugleuchte die dynamische Lichtcharakteristik aufweist und dass die Fahrzeugleuchte beibehalten werden muss. Des Weiteren wird das fahrende Fahrzeug 110a mit einer Geschwindigkeit Va bewegt. Das Vorderfahrzeug 110b wird mit der Geschwindigkeit Vb bewegt. Die Kamera 300 und die Recheneinheit 400, die am fahrenden Fahrzeug 110a angeordnet sind, sind dazu ausgelegt, die Fahrzeugleuchte des Vorderfahrzeugs 110b zu detektieren. Falls die Geschwindigkeit Va und die Geschwindigkeit Vb bekannt sind, kann die Recheneinheit 400 gemäß einer relativen Geschwindigkeit zwischen der Geschwindigkeit Va und der Geschwindigkeit Vb beurteilen, ob die Fahrzeugleuchte des Vorderfahrzeugs 110b das Vorderlicht oder das Rücklicht ist. Falls die relative Geschwindigkeit größer als eine vorbestimmte Bewegungsgeschwindigkeit ist, bestimmt die Recheneinheit 400, dass die Fahrzeugleuchte das Vorderlicht ist. Falls dagegen die relative Geschwindigkeit kleiner als oder gleich der vorbestimmten Bewegungsgeschwindigkeit ist, bestimmt die Recheneinheit 400, dass die Fahrzeugleuchte das Rücklicht ist.
  • Der Abstandsschätzschritt S28 dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um den Abstand Y zwischen der Kamera 300 und der Fahrzeugleuchte, die mit der Geschwindigkeit Vb bewegt wird, die größer als oder gleich der vorbestimmten Geschwindigkeit ist, zu schätzen. Der Koordinatenumwandlungsalgorithmus dient dazu, die Positionskoordinaten der Fahrzeugleuchte, die die dynamische Lichtcharakteristik aufweist, in die Tiefe (X, Y) der Fahrzeugleuchte des Vorderfahrzeugs 110b gemäß einer Höhe der Kamera 300, einer Koordinate eines Fluchtpunkts einer Straße, einem X-Achsen-Proportionalkoeffizienten des Fokuspunkts der Kamera 300 und eines y-Achsen-Proportionalkoeffizienten des Fokuspunkts der Kamera 300 umzuwandeln. X stellt den Abstand in einer x-Achsenrichtung zwischen der Fahrzeugleuchte und einer virtuellen y-Achse vor der Kamera 300 dar. Y stellt den Abstand in einer y-Achsenrichtung zwischen der Fahrzeugleuchte und einer virtuellen x-Achse vor der Kamera 300 dar. Der Koordinatenumwandlungsalgorithmus kann unter Verwendung konventioneller Techniken durchgeführt werden, was hier nicht ausführlich beschrieben wird.
  • 14 zeigt ein Blockdiagramm eines Systems 200 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität gemäß einer weiteren anderen Ausführungsform der vorliegenden Offenbarung. In den 1, 2, 3, 7 und 14 kann das System 200 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität verwendet werden, um die Verfahren 100, 100a zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität durchzuführen. Das System 200 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität enthält eine Kamera 300 und eine Recheneinheit 400.
  • Die Kamera 300 ist an einem fahrenden Fahrzeug 110a angeordnet und dazu ausgelegt, ein Bild 120 zu erfassen. Ein Winkel- und Lichtaufnahmewirkungsgrad der Kamera 300 kann gemäß mehreren Umgebungsparametern eingestellt werden. Zu den Umgebungsparametern zählen eine Umgebungshelligkeit und eine Tag-/Nachtdetektion.
  • Die Recheneinheit 400 ist am fahrenden Fahrzeug 110a angeordnet und enthält ein Highlight-Detektionsmodul 410, ein Fahrzeugleuchtenbeurteilungsmodul 420, ein Filtermodul 430 für den optischen Fluss und ein Abstandsschätzmodul 440. Das Highlight-Detektionsmodul 410 ist über Signale mit der Kamera 300 verbunden. Das Highlight-Detektionsmodul 410 ist dazu ausgelegt, das Bild 120 zu berechnen und dann einen Highlight-Punkt des Bildes 120 zu detektieren, wobei der Highlight-Punkt mehrere Highlight-Pixel enthält. Das Highlight-Detektionsmodul 410 wird verwendet, um die Highlight-Detektionsschritte S12, S22 durchzuführen. Das Fahrzeugleuchtenbeurteilungsmodul 420 ist über Signale mit dem Highlight-Detektionsmodul 410 verbunden. Das Fahrzeugleuchtenbeurteilungsmodul 420 ist dazu ausgelegt, einen Kennzeichnungsalgorithmus S242 für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen. Das Fahrzeugleuchtenbeurteilungsmodul 420 ist dazu ausgelegt, dann einen Flächenfilteralgorithmus S244 durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht. Das Fahrzeugleuchtenbeurteilungsmodul 420 wird verwendet, um die Fahrzeugleuchtenbeurteilungsschritte S14, S24 durchzuführen. Das Filtermodul 430 für den optischen Fluss ist über Signale mit dem Fahrzeugleuchtenbeurteilungsmodul 420 verbunden. Das Filtermodul 430 für den optischen Fluss ist dazu ausgelegt, einen Algorithmus S262 für den optischen Fluss durchzuführen, um eine Geschwindigkeit Vb der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit Vb bewegt wird, die geringer als eine vorbestimmte Geschwindigkeit ist. Das Filtermodul 430 für den optischen Fluss wird verwendet, um die Filterschritte S16, S26 für den optischen Fluss durchzuführen. Das Abstandsschätzmodul 440 ist über Signale mit dem Filtermodul 430 für den optischen Fluss verbunden. Das Abstandsschätzmodul 440 ist dazu ausgelegt, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand Y zwischen der Fahrzeugleuchte und der Kamera 300 zu schätzen. Das Abstandsschätzmodul 440 wird verwendet, um die Abstandsschätzschritte S18, S28 durchzuführen. Zusätzlich kann die Recheneinheit 400 ein Personal Computer, eine elektronische Steuereinheit (ECU, Electronic Control Unit), ein Mikroprozessor oder andere elektronische Controller zur Verwendung in einem fahrenden Fahrzeug 110a sein. In einer Ausführungsform nutzt das Punktwolkenverarbeitungsmodul 140 die elektronische Steuereinheit zur Verarbeitung. Daher nutzt das System 200 zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität der vorliegenden Offenbarung die Verfahren 100, 100a zur Fahrzeugdetektion bei Nacht, um die Rechenkomplexität stark zu reduzieren, und ist einfacher als konventionelle Klassifikatoren, um so eine Datenverarbeitungsgeschwindigkeit zu verbessern.
  • 15 zeigt ein Flussdiagramm eines Verfahrens 500 zur Fahrzeugdetektion gemäß noch einer weiteren anderen Ausführungsform der vorliegenden Offenbarung. In den 1, 2, 3, 7, und 15 dient das Fahrzeugdetektionsverfahren 500 zum Detektieren eines Vorderfahrzeugs 110b eines Bildes und beinhaltet einen Bildanalyseschritt 510 und einen Fahrzeugdetektionsschritt 520.
  • Der Bildanalyseschritt 510 dient dazu, ein Bild durch eine Kamera 300 zu erfassen und eine Recheneinheit 400 dazu anzusteuern, einen Himmelshelligkeitswert eines Himmelsbereichs des Bildes zu analysieren und einen vorbestimmten Helligkeitswert mit dem Himmelshelligkeitswert zu vergleichen, um zu beurteilen, ob das Bild vom Tage oder aus der Nacht ist. Die Kamera 300 und die Recheneinheit 400 sind an einem fahrenden Fahrzeug 110a angeordnet.
  • Der Fahrzeugdetektionsschritt 520 dient dazu, die Recheneinheit 400 dazu anzusteuern, einen Schritt 600 der Fahrzeugdetektion am Tag oder einen Schritt 700 der Fahrzeugdetektion bei Nacht durchzuführen. Wenn das Bild vom Tag ist, wird der Schritt 600 der Fahrzeugdetektion am Tag durchgeführt. Wenn das Bild aus der Nacht ist, wird der Schritt 700 der Fahrzeugdetektion bei Nacht durchgeführt. Genauer gesagt: Der Schritt 600 der Fahrzeugdetektion am Tag dient dazu, einen Abstand Y zwischen dem Vorderfahrzeug 110b und der Kamera 300 gemäß einem Auffahrwarn- (Forward Collision Warning, FCW-) Algorithmus 610 zu detektieren. Der Auffahrwarnalgorithmus 610 nutzt ein Verfahren zur Fahrspurlinienidentifizierung, um eine Fahrspurlinie des Bildes zu identifizieren, und beurteilt dann gemäß einem Verfahren zur Vorderfahrzeugidentifizierung, ob ein relativer Abstand zwischen dem fahrenden Fahrzeug 110a und dem Vorderfahrzeug 110b sicher ist oder nicht. Das Verfahren zur Vorderfahrzeugidentifizierung verwendet eine Kantendetektion, um Merkmale des Vorderfahrzeugs 110b aus dem Bild zu ermitteln, wie zum Beispiel eine Schattenkante des Fahrzeugs (eine horizontale Kante) und zwei symmetrische Kanten des Fahrzeugs (zwei vertikale Kanten). Die Merkmale des Vorderfahrzeugs 110b können durch die Kantendetektion ermittelt werden, damit sie als ein Objekt klassifiziert werden. Das Objekt weist eine Objektbreite und eine Objekthöhe auf. Dann werden die Objektbreite und die Objekthöhe verwendet, um zu beurteilen, ob das Objekt ein Fahrzeug ist oder nicht, und mehrere Pixelpositionen des Vorderfahrzeugs 110b im Bild zu bestimmen. Schließlich kann ein Abstand zwischen dem fahrenden Fahrzeug 110a und dem Vorderfahrzeug 110b über ein Vorderabstandsschätzmodell geschätzt werden. Das Verfahren zur Fahrspurlinienidentifizierung und das Vorderabstandsschätzmodell können unter Verwendung konventioneller Techniken durchgeführt werden, die hier nicht ausführlich beschrieben werden. Außerdem beinhaltet der Schritt 700 zur Fahrzeugdetektion bei Nacht einen Highlight-Detektionsschritt S12, einen Fahrzeugleuchtenbeurteilungsschritt S14, einen Filterschritt S16 für den optischen Fluss und einen Abstandsschätzschritt S18. In aus 15 sind die Einzelheiten des Highlight-Detektionsschritts S12, des Fahrzeugleuchtenbeurteilungsschritts S14, des Filterschritts S16 für den optischen Fluss und des Abstandsschätzschritts S18 die gleichen wie die Ausführungsformen aus 1 und werden hier nicht erneut beschrieben. Dementsprechend können der Schritt 600 zur Fahrzeugdetektion am Tag und der Schritt 700 zur Fahrzeugdetektion bei Nacht des Verfahrens 500 zur Fahrzeugdetektion der vorliegenden Offenbarung adaptiv gemäß dem Bild ausgewählt werden, so dass sofort eine genauere Position der Fahrzeugleuchte am Tag oder in der Nacht ermittelt werden kann.
  • Gemäß den oben erwähnten Ausführungsformen und Beispielen werden die Vorteile der vorliegenden Offenbarung wie folgt beschrieben.
    1. 1. Das Verfahren zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität der vorliegenden Offenbarung nutzt Bildverarbeitungstechniken, um den Highlight-Punkt des Bildes zu detektieren, und der Algorithmus für den optischen Fluss wird verwendet, um Störsignale, die sich außerhalb einer eigentlichen Fahrspur befinden, zu beseitigen, um so eine genaue Position der Fahrzeugleuchte in Echtzeit zu ermitteln.
    2. 2. Das System zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität der vorliegenden Offenbarung nutzt das Verfahren zur Fahrzeugdetektion bei Nacht, um die Rechenkomplexität stark zu reduzieren, und ist einfacher als konventionelle Klassifikatoren, um so eine Datenverarbeitungsgeschwindigkeit zu verbessern.
    3. 3. Der Schritt zur Fahrzeugdetektion am Tag und der Schritt zur Fahrzeugdetektion bei Nacht des Verfahrens zur Fahrzeugdetektion der vorliegenden Offenbarung können adaptiv gemäß dem Bild ausgewählt werden, so dass sofort eine genauere Position der Fahrzeugleuchte am Tag oder in der Nacht ermittelt werden kann.
    4. 4. Das Vorderfahrzeug der vorliegenden Offenbarung ist ein Kraftwagen, ist aber nicht darauf beschränkt. Das Vorderfahrzeug kann ein Motorrad oder irgendein anderes Fahrzeug sein, das die Fahrzeugleuchte aufweist, um die Anwendbarkeit stark zu erhöhen.

Claims (19)

  1. Verfahren zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität, das Folgendes umfasst: einen Highlight-Detektionsschritt bereitzustellen, wobei der Highlight-Detektionsschritt dazu dient, ein Bild durch eine Kamera zu erfassen und eine Recheneinheit dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren, wobei der Highlight-Punkt mehrere Highlight-Pixel umfasst und die Kamera und die Recheneinheit an einem fahrenden Fahrzeug angeordnet sind; einen Fahrzeugleuchtenbeurteilungsschritt bereitzustellen, wobei der Fahrzeugleuchtenbeurteilungsschritt dazu dient, die Recheneinheit dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht; einen Filterschritt für den optischen Fluss bereitzustellen, wobei der Filterschritt für den optischen Fluss dazu dient, die Recheneinheit dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist; und einen Abstandsschätzschritt bereitzustellen, wobei der Abstandsschätzschritt dazu dient, die Recheneinheit dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  2. Verfahren zur Fahrzeugdetektion bei Nacht nach Anspruch 1, wobei der Highlight-Detektionsschritt Folgendes umfasst: einen Histogrammabgleichsschritt bereitzustellen, wobei der Histogrammabgleichsschritt dazu dient, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren; und einen Helligkeitsmerkmalsextraktionsschritt bereitzustellen, wobei der Helligkeitsmerkmalsextraktionsschritt dazu dient, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  3. Verfahren zur Fahrzeugdetektion bei Nacht nach Anspruch 2, wobei der Histogrammabgleichsschritt Folgendes umfasst: eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte, wobei die kumulative Verteilungsfunktion die Graustufenwerte, die Anzahl von Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte umfasst, wobei die Graustufenwerte als i dargestellt werden, die Anzahl von Vorkommen als ni dargestellt wird, die Graustufe als L dargestellt wird, die abgeglichenen Graustufenwerte als Ti dargestellt werden und die kumulative Verteilungsfunktion wie folgt beschrieben wird: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0007
  4. Verfahren zur Fahrzeugdetektion bei Nacht nach Anspruch 1, wobei im Highlight-Detektionsschritt die Recheneinheit gemäß einer Farbe der Highlight-Pixel beurteilt, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht; wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist; und wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  5. Verfahren zur Fahrzeugdetektion bei Nacht nach Anspruch 1, wobei im Fahrzeugleuchtenbeurteilungsschritt die Highlight-Pixel in mehrere Highlight-Pixelgruppen aufgeteilt werden, wobei die Highlight-Pixel jeder der Highlight-Pixelgruppen miteinander verbunden sind, die Recheneinheit dazu ausgelegt ist, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist die Recheneinheit dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  6. Verfahren zur Fahrzeugdetektion bei Nacht nach Anspruch 1, wobei im Fahrzeugleuchtenbeurteilungsschritt die Recheneinheit dazu ausgelegt ist, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
  7. System zur Fahrzeugdetektion bei Nacht auf Basis von dynamischer Lichtintensität, das Folgendes umfasst: eine Kamera, die an einem fahrenden Fahrzeug angeordnet ist und die dazu ausgelegt ist, ein Bild zu erfassen; und eine Recheneinheit, die am fahrenden Fahrzeug angeordnet ist und die Folgendes umfasst: ein Highlight-Detektionsmodul, das über Signale mit der Kamera verbunden ist, wobei das Highlight-Detektionsmodul dazu ausgelegt ist, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren, und wobei der Highlight-Punkt mehrere Highlight-Pixel umfasst; ein Fahrzeugleuchtenbeurteilungsmodul, das über Signale mit dem Highlight-Detektionsmodul verbunden ist, wobei das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt ist, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht; ein Filtermodul für den optischen Fluss, das über Signale mit dem Fahrzeugleuchtenbeurteilungsmodul verbunden ist, wobei das Filtermodul für den optischen Fluss dazu ausgelegt ist, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die geringer als eine vorbestimmte Geschwindigkeit ist; und ein Abstandsschätzmodul, das über Signale mit dem Filtermodul für den optischen Fluss verbunden ist, wobei das Abstandsschätzmodul dazu ausgelegt ist, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  8. System zur Fahrzeugdetektion bei Nacht nach Anspruch 7, wobei das Highlight-Detektionsmodul dazu ausgelegt ist, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren; und das Highlight-Detektionsmodul dazu ausgelegt ist, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  9. System zur Fahrzeugdetektion bei Nacht nach Anspruch 8, wobei das Highlight-Detektionsmodul dazu ausgelegt ist, eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte durchzuführen, wobei die kumulative Verteilungsfunktion die Graustufenwerte, die Anzahl von Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte umfasst, wobei die Graustufenwerte als i dargestellt werden, die Anzahl von Vorkommen als ni dargestellt wird, die Graustufe als L dargestellt wird, die abgeglichenen Graustufenwerte als Ti dargestellt werden und die kumulative Verteilungsfunktion wie folgt beschrieben wird: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0008
  10. System zur Fahrzeugdetektion bei Nacht nach Anspruch 7, wobei die Recheneinheit gemäß einer Farbe der Highlight-Pixel beurteilt, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht; wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist; und wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  11. System zur Fahrzeugdetektion bei Nacht nach Anspruch 7, wobei die Highlight-Pixel in mehrere Highlight-Pixelgruppen aufgeteilt werden, wobei die Highlight-Pixel jeder der Highlight-Pixelgruppen miteinander verbunden sind, das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt ist, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  12. System zur Fahrzeugdetektion bei Nacht nach Anspruch 7, wobei das Fahrzeugleuchtenbeurteilungsmodul dazu ausgelegt ist, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
  13. Verfahren zur Fahrzeugdetektion zum Detektieren eines Vorderfahrzeugs eines Bildes, wobei das Verfahren zur Fahrzeugdetektion Folgendes umfasst: einen Bildanalyseschritt bereitzustellen, wobei der Bildanalyseschritt dazu dient, ein Bild durch eine Kamera zu erfassen und eine Recheneinheit dazu anzusteuern, einen Himmelshelligkeitswert eines Himmelsbereichs des Bildes zu analysieren und einen vorbestimmten Helligkeitswert mit dem Himmelshelligkeitswert zu vergleichen, um zu beurteilen, ob das Bild vom Tage oder aus der Nacht ist, und wobei die Kamera und die Recheneinheit an einem fahrenden Fahrzeug angeordnet sind; und einen Fahrzeugdetektionsschritt bereitzustellen, wobei der Fahrzeugdetektionsschritt dazu dient, die Recheneinheit dazu anzusteuern, einen Fahrzeugdetektionsschritt am Tag oder einen Fahrzeugdetektionsschritt bei Nacht durchzuführen, wobei, wenn das Bild vom Tage ist, der Fahrzeugdetektionsschritt am Tag durchgeführt wird, und wenn das Bild aus der Nacht ist, der Fahrzeugdetektionsschritt bei Nacht durchgeführt wird; wobei der Fahrzeugdetektionsschritt am Tag dazu dient, einen Abstand zwischen dem Vorderfahrzeug und der Kamera gemäß einem Auffahrwarnalgorithmus zu detektieren; wobei der Fahrzeugdetektionsschritt bei Nacht Folgendes umfasst: einen Highlight-Detektionsschritt bereitzustellen, wobei der Highlight-Detektionsschritt dazu dient, die Recheneinheit dazu anzusteuern, das Bild zu berechnen und dann einen Highlight-Punkt des Bildes zu detektieren, und wobei der Highlight-Punkt mehrere Highlight-Pixel umfasst; einen Fahrzeugleuchtenbeurteilungsschritt bereitzustellen, wobei der Fahrzeugleuchtenbeurteilungsschritt dazu dient, die Recheneinheit dazu anzusteuern, einen Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixel, die miteinander verbunden sind, als einen Wert in Verbindung stehender Bereiche zu kennzeichnen, und dann einen Flächenfilteralgorithmus durchzuführen, um eine Fläche der miteinander verbundenen Highlight-Pixel zu analysieren und gemäß einer Größe der Fläche zu beurteilen, ob die miteinander verbundenen Highlight-Pixel eine Fahrzeugleuchte sind oder nicht; einen Filterschritt für den optischen Fluss bereitzustellen, wobei der Filterschritt für den optischen Fluss dazu dient, die Recheneinheit dazu anzusteuern, einen Algorithmus für den optischen Fluss durchzuführen, um eine Geschwindigkeit der Fahrzeugleuchte zu ermitteln, und dann die Fahrzeugleuchte zu filtern, die mit der Geschwindigkeit bewegt wird, die kleiner als eine vorbestimmte Geschwindigkeit ist; und einen Abstandsschätzschritt bereitzustellen, wobei der Abstandsschätzschritt dazu dient, die Recheneinheit dazu anzusteuern, einen Koordinatenumwandlungsalgorithmus durchzuführen, um einen Abstand zwischen der Fahrzeugleuchte und der Kamera zu schätzen.
  14. Verfahren zur Fahrzeugdetektion nach Anspruch 13, wobei sich im Bildanalyseschritt der Himmelsbereich über einem vorbestimmten Horizont befindet; die Recheneinheit dazu ausgelegt ist, zu bestimmen, dass das Bild vom Tage ist, wenn der Himmelshelligkeitswert größer als oder gleich dem vorbestimmten Helligkeitswert ist; und die Recheneinheit dazu ausgelegt ist, zu bestimmen, dass das Bild aus der Nacht ist, wenn der Himmelshelligkeitswert kleiner als der vorbestimmte Helligkeitswert ist.
  15. Verfahren zur Fahrzeugdetektion nach Anspruch 13, wobei der Highlight-Detektionsschritt Folgendes umfasst: einen Histogrammabgleichsschritt bereitzustellen, wobei der Histogrammabgleichsschritt dazu dient, eine Anzahl von Vorkommen jedes von mehreren Graustufenwerten des Bildes zu zählen und die Graustufenwerte zu ändern, um mehrere abgeglichene Graustufenwerte gemäß der Anzahl von Vorkommen zu generieren; und einen Helligkeitsmerkmalsextraktionsschritt bereitzustellen, wobei der Helligkeitsmerkmalsextraktionsschritt dazu dient, einen Graustufenhelligkeitsschwellenwert einzustellen und jedes der Highlight-Pixel, dessen Helligkeitswert höher als der Graustufenhelligkeitsschwellenwert ist, zu extrahieren.
  16. Verfahren zur Fahrzeugdetektion nach Anspruch 15, wobei der Histogrammabgleichsschritt Folgendes umfasst: eine kumulative Verteilungsfunktion zum Ändern der Graustufenwerte, wobei die kumulative Verteilungsfunktion die Graustufenwerte, die Anzahl von Vorkommen, eine Graustufe und die abgeglichenen Graustufenwerte umfasst, wobei die Graustufenwerte als i dargestellt werden, die Anzahl von Vorkommen als ni dargestellt wird, die Graustufe als L dargestellt wird, die abgeglichenen Graustufenwerte als Ti dargestellt werden und die kumulative Verteilungsfunktion wie folgt beschrieben wird: T i = ( n 1 + n 2 + + n i n ) ( L 1 ) , n = n 1 + n 2 + + n L 1 .
    Figure DE102018129993A1_0009
  17. Verfahren zur Fahrzeugdetektion nach Anspruch 13, wobei im Highlight-Detektionsschritt die Recheneinheit gemäß einer Farbe der Highlight-Pixel beurteilt, ob die Highlight-Pixel die Fahrzeugleuchte sind oder nicht; wenn die Farbe der Highlight-Pixel rot ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Rücklicht ist; und wenn die Farbe der Highlight-Pixel weiß ist, bestimmt die Recheneinheit, dass die Highlight-Pixel die Fahrzeugleuchte sind, die ein Vorderlicht ist.
  18. Verfahren zur Fahrzeugdetektion nach Anspruch 13, wobei im Fahrzeugleuchtenbeurteilungsschritt die Highlight-Pixel in mehrere Highlight-Pixelgruppen aufgeteilt werden, wobei die Highlight-Pixel jeder der Highlight-Pixelgruppen miteinander verbunden sind, die Recheneinheit dazu ausgelegt ist, den Kennzeichnungsalgorithmus für in Verbindung stehende Bereiche durchzuführen, um die Highlight-Pixelgruppen jeweils als mehrere Werte in Verbindung stehender Bereiche zu kennzeichnen, und dann ist die Recheneinheit dazu ausgelegt, den Flächenfilteralgorithmus durchzuführen, um die Fläche jeder der Highlight-Pixelgruppen zu analysieren und gemäß der Größe der Fläche zu beurteilen, ob jede der Highlight-Pixelgruppen die Fahrzeugleuchte ist oder nicht.
  19. Verfahren zur Fahrzeugdetektion nach Anspruch 13, wobei im Fahrzeugleuchtenbeurteilungsschritt die Recheneinheit dazu ausgelegt ist, einen Analysealgorithmus für geometrische Proportionen durchzuführen, um eine geometrische Proportion der Highlight-Pixel zu analysieren, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, und dann gemäß der geometrischen Proportion zu beurteilen, ob die Highlight-Pixel, die als der Wert in Verbindung stehender Bereiche gekennzeichnet sind, die Fahrzeugleuchte sind oder nicht.
DE102018129993.1A 2018-10-17 2018-11-27 Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür Pending DE102018129993A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107136583 2018-10-17
TW107136583A TWI700017B (zh) 2018-10-17 2018-10-17 車輛偵測方法、基於光強度動態之夜間車輛偵測方法及其系統

Publications (1)

Publication Number Publication Date
DE102018129993A1 true DE102018129993A1 (de) 2020-04-23

Family

ID=70279563

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018129993.1A Pending DE102018129993A1 (de) 2018-10-17 2018-11-27 Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür

Country Status (4)

Country Link
US (1) US10878259B2 (de)
JP (1) JP6723328B2 (de)
DE (1) DE102018129993A1 (de)
TW (1) TWI700017B (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163817B2 (ja) * 2019-02-20 2022-11-01 トヨタ自動車株式会社 車両、表示方法及びプログラム
KR102339011B1 (ko) * 2020-04-27 2021-12-14 계명대학교 산학협력단 자율차량에서 주야간 보행자 감지를 위한 적응적 스위처 및 이를 이용한 보행자 감지 장치
CN111539973B (zh) * 2020-04-28 2021-10-01 北京百度网讯科技有限公司 用于检测车辆位姿的方法及装置
CN111611930B (zh) * 2020-05-22 2023-10-31 华域汽车系统股份有限公司 一种基于光照一致的车位线检测方法
TWI735336B (zh) * 2020-09-10 2021-08-01 財團法人車輛研究測試中心 定位製圖方法及移動裝置
WO2022208664A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法、プログラム
TWI807561B (zh) * 2021-12-28 2023-07-01 國立陽明交通大學 嵌入式深度學習多尺度物件偵測暨即時遠方區域定位裝置及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006055903A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Erkennung von Fahrzeuglichtern mit einer Kamera
DE102008048309A1 (de) * 2008-09-22 2010-04-01 Volkswagen Ag Verfahren und Vorrichtung zum Detektieren von Fahrzeugen bei Dunkelheit
DE102012103837A1 (de) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren
DE102017104957A1 (de) * 2017-03-09 2018-09-13 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3485135B2 (ja) * 1995-09-27 2004-01-13 矢崎総業株式会社 車両用後側方監視装置
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
EP1837803A3 (de) 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Vorderlicht-, Schlusslicht- und Straßenbeleuchtungsdetektion
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
DE102006055904A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Erkennung und Kategorisierung von Lichtpunkten mit einer Kamera in einer Fahrzeugumgebung
CN101770571B (zh) * 2009-12-29 2013-02-13 北京世纪高通科技有限公司 夜间车辆检测的方法和装置
TWI452540B (zh) 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
JP5760635B2 (ja) * 2011-04-20 2015-08-12 日産自動車株式会社 走行支援装置
US20120287276A1 (en) * 2011-05-12 2012-11-15 Delphi Technologies, Inc. Vision based night-time rear collision warning system, controller, and method of operating the same
JP6310899B2 (ja) * 2015-11-25 2018-04-11 株式会社Subaru 車外環境認識装置
CN105740835B (zh) * 2016-02-05 2018-11-02 广西科技大学 夜视环境下基于车载相机的前方车辆检测方法
CN107316002A (zh) * 2017-06-02 2017-11-03 武汉理工大学 一种基于主动学习的夜间前方车辆识别方法
CN107507245A (zh) 2017-08-18 2017-12-22 南京阿尔特交通科技有限公司 一种车辆跟驰轨迹的动态采集方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006055903A1 (de) * 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Erkennung von Fahrzeuglichtern mit einer Kamera
DE102008048309A1 (de) * 2008-09-22 2010-04-01 Volkswagen Ag Verfahren und Vorrichtung zum Detektieren von Fahrzeugen bei Dunkelheit
DE102012103837A1 (de) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren
DE102017104957A1 (de) * 2017-03-09 2018-09-13 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Also Published As

Publication number Publication date
US20200125869A1 (en) 2020-04-23
JP6723328B2 (ja) 2020-07-15
TWI700017B (zh) 2020-07-21
TW202017433A (zh) 2020-05-01
JP2020064583A (ja) 2020-04-23
US10878259B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
DE102018129993A1 (de) Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür
DE102018116111B4 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
EP3183721B1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102015209822A1 (de) Erfassungseinrichtung, Erfassungsprogramm, Erfassungsverfahren, mit Erfassungseinrichtung ausgerüstetes Fahrzeug, Parameterberechnungseinrichtung, Parameter berechnende Parameter, Parameterberechnungsprogramm, und Verfahren zum Berechnen von Parametern
DE102016100030B4 (de) Gerät zum sicheren führen eines fahrzeugs
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
WO2013072231A1 (de) Verfahren zur nebeldetektion
DE102014213981A1 (de) Parkplatz-Erfassungsvorrichtung und entsprechendes Verfahren
DE102013211930A1 (de) Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten
DE102013002554A1 (de) Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
DE102014100352B4 (de) Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
DE112009001727T5 (de) Bildverarbeitungsvorrichtung
DE102011117585A1 (de) Systeme und Verfahren zum Verfolgen von Objekten
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE102014012653A1 (de) Bildverarbeitungsverfahren für Fahrzeugkamera und dieses anwendende Bildverarbeitungsvorrichtung
DE112011105445T5 (de) Rote-Augen-Bestimmungsvorrichtung
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication