DE102017123515A1

DE102017123515A1 - Verfahren, Vorrichtung, Speichermedium und Programmprodukt zur seitlichen Fahrzeugpositionsbestimmung

Info

Publication number: DE102017123515A1
Application number: DE102017123515.9A
Authority: DE
Inventors: Yijun Chen
Original assignee: Neusoft Corp; Neusoft Reach Automotive Technology Shanghai Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2017-08-03
Filing date: 2017-10-10
Publication date: 2019-02-07
Anticipated expiration: 2037-10-11
Also published as: JP2019028967A; CN107577988B; US10495754B2; JP6522076B2; CN107577988A; DE102017123515B4; US20190041513A1

Abstract

Es werden ein Verfahren und eine Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung bereitgestellt, um die Position eines seitlichen Fahrzeugs exakt zu bestimmen. Das Verfahren enthält Folgendes: Umwandeln eines Originalbildes in ein korrigiertes Bild, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, wobei das korrigierte Bild ein Bild ist, das dem Originalbild unter einem Sichtwinkel einer virtuellen Kamera entspricht; Detektieren eines Radmerkmals in einer Detektionsregion des korrigierten Bildes, und Erfassen einer Position eines Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält; Detektieren eines Kreismerkmals in dem Teilbild, welches das Radmerkmal enthält, und Erfassen eines Kreisdetektionsergebnisses, wobei das Kreisdetektionsergebnis eine Position einer Kreismitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals enthält; und Erfassen seitlicher Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft das technische Gebiet der Fahrzeugsteuerung, und betrifft insbesondere ein Verfahren, eine Vorrichtung, ein Speichermedium und ein Computerprogrammprodukt zur seitlichen Fahrzeugpositionsbestimmung.
HINTERGRUND
Für Fahrerassistenzsysteme ist eine exakte seitliche Fahrzeugpositionsbestimmung von entscheidender Bedeutung, um eine korrekte Warnung ausgeben zu können. Zum Beispiel kann eine Position eines Fahrzeugs in einem seitlichen toten Winkel in Echtzeit durch ein Totwinkel-Detektionssystem detektiert werden. Wenn sich ein Fahrzeug im toten Winkel befindet und der Blinker eingeschaltet wird, so kann das System den Fahrer mit Licht, Ton, Vibrationen oder in anderer Form warnen, um die Fahrsicherheit zu gewährleisten. Oder ein anderes Beispiel: Wenn ein Fahrzeug auf der einen oder der anderen Seite die Spur wechselt, um sich vor ein Fahrzeug zu setzen, so ist die exakte Bestimmung durch ein vorderseitiges Antikollisionssystem, ob das in die Spur wechselnde Fahrzeug eine Region vor dem Fahrzeug beansprucht, wo das System installiert ist, entscheidend für das Bestimmen, ob eine Warnung ausgegeben werden soll oder nicht. Beide der oben angesprochenen Funktionen erfordern das Erfassen einer relativen Positionsbeziehung zwischen den Fahrzeugen auf jeder Seite und des Fahrzeugs mit dem System.
Im Stand der Technik können Verfahren zum Erreichen einer seitlichen Fahrzeugpositionsbestimmung grob in zwei Kategorien unterteilt werden. Eine Kategorie ist das Dualkamera-Verfahren. Dabei werden zwei Kameras vorn oder hinten am Fahrzeug montiert, und die optischen Mitten der zwei Kameras sind parallel. Eine dreidimensionale Position eines Merkmalpunktes kann anhand einer Beziehung zwischen Positionen des Punktes in zwei Bildern berechnet werden, um eine seitliche Fahrzeugpositionsbestimmung zu erreichen. Jedoch erfordert das Verfahren eine hohe Installationsgenauigkeit der zwei Kameras, was zu hohen Kosten führt. Die andere Kategorie ist das Einzelkamera-Verfahren. Zum Beispiel wird durch eine Fischaugenkamera, die vorn oder hinten am Fahrzeug montiert ist, ein Fahrzeugmerkmal verwendet, um eine ungefähre Position anderer Fahrzeuge zu erkennen. Das Verfahren erfordert niedrige Kosten und hat eine geringe Positionsbestimmungsgenauigkeit in Bezug auf andere Fahrzeuge.
KURZDARSTELLUNG DER ERFINDUNG
Vor dem Hintergrund des oben Dargelegten werden ein Verfahren, eine Vorrichtung, ein Speichermedium und ein Computerprogrammprodukt gemäß der vorliegenden Offenbarung bereitgestellt, um das technische Problem zu lösen, dass die Genauigkeit der seitlichen Fahrzeugpositionsbestimmung mit einer einzelnen Kamera im Stand der Technik niedrig ist.
Um die oben angesprochenen Probleme zu lösen, werden die folgenden technischen Lösungen gemäß der vorliegenden Offenbarung bereitgestellt.
Es wird ein Verfahren zur seitlichen Fahrzeugpositionsbestimmung bereitgestellt, das Folgendes enthält:

Umwandeln eines Originalbildes in ein korrigiertes Bild, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ein Bild unter einem Sichtwinkel einer virtuellen Kamera ist, das dem Originalbild entspricht;
Detektieren eines Radmerkmals in einer Detektionsregion des korrigierten Bildes, um eine Position eines Teilbildes in dem korrigierten Bild zu erfassen, wobei das Teilbild das Radmerkmal enthält;
Detektieren eines Kreismerkmals in dem Teilbild, welches das Radmerkmal enthält, um ein Kreisdetektionsergebnis zu erhalten, wobei das Kreisdetektionsergebnis eine Position einer Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals enthält; und
Erfassen seitlicher Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis.

Dementsprechend enthält das Verfahren des Weiteren Folgendes:
Erfassen der seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern, Verfolgen eines seitlichen Fahrzeugs gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen, und Erfassen einer relativen Geschwindigkeit zwischen einem vorhandenen Fahrzeug und dem seitlichen Fahrzeug.
Dementsprechend enthält das Umwandeln des Originalbildes in das korrigierte Bild Folgendes:

Herstellen einer bijektiven Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild; und
Abbilden des Originalbildes als das korrigierte Bild gemäß der Abbildungsbeziehung.

Dementsprechend ist die Bildaufnahmevorrichtung eine Fischaugen-Kamera, und das Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild enthält Folgendes:

Berechnen erster Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet;
Berechnen zweiter Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem;
Berechnen dritter Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet;
Berechnen vierter Abbildungspositionen in einem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und einem Verzerrungsparameter der Fischaugen-Kamera; und
Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem, das für die Positionen der Pixel in dem korrigierten Bild berechnet wird.

Dementsprechend enthält das Detektieren des Radmerkmals in der Detektionsregion des korrigierten Bildes zum Erfassen der Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält, Folgendes:

Abbilden einer Position einer zuvor festgelegten Region in einer seitlichen Fahrspur in das korrigierte Bild, um Detektionsregionen des korrigierten Bildes zu erfassen;
Bewegen von Detektionskästchen in den Detektionsregionen des korrigierten Bildes, Detektieren des Radmerkmals in den Detektionskästchen mit einem zuvor angelernten Radklassifizierer, und Einstellen eines Detektionskästchenbildes, welches das Radmerkmal enthält, als das Teilbild, welches das Radmerkmal enthält; und
Erfassen der Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält.

Dementsprechend enthält das Detektieren des Kreismerkmals in dem Teilbild, welches das Radmerkmal enthält, zum Erfassen der Kreisdetektionsergebnis Folgendes:

Umwandeln des Teilbildes, welches das Radmerkmal enthält, in ein Grauskalenbild, und Ausführen einer Sobel-Filterung zum Erfassen von Gradienten des Grauskalenbildes in einer horizontalen Koordinatenachsenrichtung und einer vertikalen Koordinatenachsenrichtung;
Erfassen von Koordinatenpunkten in dem Grauskalenbild, und Berechnen von Gradientenrichtungen der Koordinatenpunkte, wo Gradienten der Koordinatenpunkte in der horizontalen Koordinatenachsenrichtung und der vertikalen Koordinatenachsenrichtung eine zuvor festgelegte Bedingung erfüllen;
Berechnen, entlang der Gradientenrichtungen der Koordinatenpunkte, welche die zuvor festgelegte Bedingung erfüllen, von Koordinaten von Projektionskreismitten, die jeweils verschiedenen zuvor festgelegten Radien entsprechen; und
Auswählen von Koordinaten einer Projektionskreismitte mit maximaler Auftretenshäufigkeit, die in die Position der Mitte des Kreismerkmals in dem korrigierten Bild umgewandelt werden soll, und Einstellen eines zuvor festgelegten Radius, der den Koordinaten der Projektionskreismitte mit maximaler Auftretenshäufigkeit entspricht, als den Radius des Kreismerkmals.

Dementsprechend enthält das Erfassen seitlicher Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis Folgendes:
Fusionieren mehrerer Kreisdetektionsergebnisse, Abbilden der Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem, um die seitlichen Fahrzeugpositionsbestimmungsinformationen zu erfassen.
Es wird eine Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung bereitgestellt, die Folgendes enthält:

eine Umwandlungseinheit, die dafür konfiguriert ist, ein Originalbild in ein korrigiertes Bild umzuwandeln, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ein Bild unter einem Sichtwinkel einer virtuellen Kamera ist, das dem Originalbild entspricht;
eine erste Detektionseinheit, die dafür konfiguriert ist, ein Radmerkmal in einer Detektionsregion des korrigierten Bildes zu detektieren, um eine Position eines Teilbildes in dem korrigierten Bild zu erfassen, wobei das Teilbild das Radmerkmal enthält;
eine zweite Detektionseinheit, die dafür konfiguriert ist, ein Kreismerkmal in dem Teilbild, welches das Radmerkmal enthält, zu detektieren, um ein Kreisdetektionsergebnis zu erhalten, wobei das Kreisdetektionsergebnis eine Position einer Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals enthält; und
eine Erfassungseinheit, die dafür konfiguriert ist, seitliche Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis zu erfassen.

Dementsprechend enthält die Vorrichtung des Weiteren Folgendes:
eine Verfolgungseinheit, die dafür konfiguriert ist, die seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern zu erfassen, ein seitliches Fahrzeug gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen zu verfolgen, und eine relative Geschwindigkeit zwischen einem vorhandenen Fahrzeug und dem seitlichen Fahrzeug zu erfassen.
Dementsprechend enthält die Umwandlungseinheit Folgendes:

eine erste Herstellungs-Untereinheit, die dafür konfiguriert ist, eine bijektive Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild herzustellen; und
eine erste Abbildungs-Untereinheit, die dafür konfiguriert ist, das Originalbild als das korrigierte Bild gemäß der Abbildungsbeziehung abzubilden.
Dementsprechend ist die Bildaufnahmevorrichtung eine Fischaugen-Kamera, und die ersten Herstellungs-Untereinheit enthält Folgendes:
eine erste Berechnungs-Untereinheit, die dafür konfiguriert ist, erste Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet, zu berechnen;
eine zweite Berechnungs-Untereinheit, die dafür konfiguriert ist, zweite Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem zu berechnen;
eine dritte Berechnungs-Untereinheit, die dafür konfiguriert ist, dritte Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, zu berechnen;
eine vierte Berechnungs-Untereinheit, die dafür konfiguriert ist, vierte Abbildungspositionen in einem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und einem Verzerrungsparameter der Fischaugen-Kamera zu berechnen; und
eine zweite Herstellungs-Untereinheit, die dafür konfiguriert ist, die bijektive Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem, das für die Positionen der Pixel in dem korrigierten Bild berechnet wird, herzustellen.

Dementsprechend enthält die erste Detektionseinheit Folgendes:

eine zweite Abbildungs-Untereinheit, die dafür konfiguriert ist, eine Position einer zuvor festgelegten Region in einer seitlichen Fahrspur in das korrigierte Bild abzubilden, um Detektionsregionen des korrigierten Bildes zu erfassen;
eine Detektions-Untereinheit, die dafür konfiguriert ist, Detektionskästchen in den Detektionsregionen des korrigierten Bildes zu bewegen, das Radmerkmal in den Detektionskästchen mit einem zuvor angelernten Radklassifizierer zu detektieren, und ein Detektionskästchenbild, welches das Radmerkmal enthält, als das Teilbild, welches das Radmerkmal enthält, einzustellen; und
eine Erfassungs-Untereinheit, die dafür konfiguriert ist, die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält zu erfassen.

Dementsprechend enthält die zweite Detektionseinheit Folgendes:

eine Umwandlungs-Untereinheit, die dafür konfiguriert ist, das Teilbild, welches das Radmerkmal enthält, in ein Grauskalenbild umzuwandeln und eine Sobel-Filterung zum Erfassen von Gradienten des Grauskalenbildes in einer horizontalen Koordinatenachsenrichtung und einer vertikalen Koordinatenachsenrichtung auszuführen;
eine fünfte Berechnungs-Untereinheit, die dafür konfiguriert ist, Koordinatenpunkte in dem Grauskalenbild zu erfassen und Gradientenrichtungen der Koordinatenpunkte zu berechnen, wo Gradienten der Koordinatenpunkte in der horizontalen Koordinatenachsenrichtung und der vertikalen Koordinatenachsenrichtung eine zuvor festgelegte Bedingung erfüllen;
eine sechste Berechnungs-Untereinheit, die dafür konfiguriert ist, entlang den Gradientenrichtungen der Koordinatenpunkte, welche die zuvor festgelegte Bedingung erfüllen, Koordinaten von Projektionskreismitten zu berechnen, die jeweils verschiedenen zuvor festgelegten Radien entsprechen; und
eine Auswahl-Untereinheit, die dafür konfiguriert ist, Koordinaten einer Projektionskreismitte mit maximaler Auftretenshäufigkeit, die in die Position der Mitte des Kreismerkmals in dem korrigierten Bild umgewandelt werden soll, auszuwählen und einen zuvor festgelegten Radius, der den Koordinaten der Projektionskreismitte mit maximaler Auftretenshäufigkeit entspricht, als den Radius des Kreismerkmals einzustellen.

Dementsprechend ist die Erfassungseinheit für Folgendes konfiguriert:
Fusionieren mehrerer Kreisdetektionsergebnisse, Abbilden der Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem, um die seitlichen Fahrzeugpositionsbestimmungsinformationen zu erfassen.
Ein computerlesbares Speichermedium wird bereitgestellt. Das computerlesbare Speichermedium speichert Instruktionen, die, wenn sie durch ein Endgerät ausgeführt werden, das Endgerät dafür konfigurieren, das Verfahren zur seitlichen Fahrzeugpositionsbestimmung auszuführen.
Ein Computerprogrammprodukt wird bereitgestellt. Wenn es durch ein Endgerät ausgeführt wird, so konfiguriert das Computerprogrammprodukt das Endgerät dafür, das Verfahren zur seitlichen Fahrzeugpositionsbestimmung auszuführen.
Aus dem oben Dargelegten ist zu erkennen, dass folgende Vorteile durch Ausführungsformen der vorliegenden Offenbarung realisiert werden.
Gemäß Ausführungsformen der vorliegenden Offenbarung wird das durch die Bildaufnahmevorrichtung aufgenommene Originalbild zuerst in das planare korrigierte Bild umgewandelt. Wenn ein Rad in dem umgewandelten korrigierten Bild nahe einem perfekten Kreis ist, so kann das Radmerkmal in dem korrigierten Bild detektiert werden, und dann kann das Kreismerkmal in dem Radmerkmal detektiert werden. Andere Fahrzeuge an den Seiten werden durch Detektieren des expliziten Kreismerkmals exakt positionsbestimmt, wodurch die Genauigkeit der seitlichen Fahrzeugpositionsbestimmung durch eine einzelne Kamera erhöht wird.
Figurenliste

1 ist ein Flussdiagramm eines Verfahren zur seitlichen Fahrzeugpositionsbestimmung gemäß einer Ausführungsform der vorliegenden Offenbarung;
2(a) ist ein Schaubild eines Sichtwinkels einer virtuellen Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung;
2(b) ist ein Schaubild eines Sichtwinkels einer virtuellen Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung;
3 ist ein Schaubild eines Weltkoordinatensystems gemäß einer Ausführungsform der vorliegenden Offenbarung;
4 ist ein Schaubild eines Pixelkoordinatensystems gemäß einer Ausführungsform der vorliegenden Offenbarung;
5 ist ein Schaubild eines Bildkoordinatensystems gemäß einer Ausführungsform der vorliegenden Offenbarung;
6 ist ein Schaubild eines Kamera-Koordinatensystems gemäß einer Ausführungsform der vorliegenden Offenbarung;
7 ist ein Schaubild einer Beziehung zwischen einem Kamera-Koordinatensystem und einem Weltkoordinatensystem gemäß einer Ausführungsform der vorliegenden Offenbarung;
8(a) ist ein Schaubild eines Originalbildes gemäß einer Ausführungsform der vorliegenden Offenbarung;
8(b) ist ein Schaubild eines korrigierten Bildes gemäß einer Ausführungsform der vorliegenden Offenbarung;
9(a) ist ein Schaubild eines Radteils in einem Originalbild gemäß einer Ausführungsform der vorliegenden Offenbarung;
9(b) ist ein Schaubild eines Radteils in einem korrigierten Bild gemäß einer Ausführungsform der vorliegenden Offenbarung;
10 ist ein Schaubild einer zuvor festgelegten Region in einer seitlichen Fahrspur gemäß einer Ausführungsform der vorliegenden Offenbarung;
11 ist ein Schaubild eines Radmerkmal-Detektionsergebnisses gemäß einer Ausführungsform der vorliegenden Offenbarung;
12 ist ein Schaubild eines Teilbildes, das ein Radmerkmal enthält, gemäß einer Ausführungsform der vorliegenden Offenbarung;
13 ist ein Schaubild einer Symmetrie von Kreisgradientenrichtungen gemäß einer Ausführungsform der vorliegenden Offenbarung;
14 ist ein Schaubild einer Kreismittenprojektion gemäß einer Ausführungsform der vorliegenden Offenbarung;
15 ist ein Schaubild eines Kreisdetektionsergebnisses gemäß einer Ausführungsform der vorliegenden Offenbarung;
16 ist ein Schaubild eines seitlichen Fahrzeugpositionsbestimmungsergebnisses gemäß einer Ausführungsform der vorliegenden Offenbarung; und
17 ist ein Schaubild einer Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung gemäß einer Ausführungsform der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Für ein besseres Verständnis und zur Erklärung der oben genannten Aufgaben, Charakteristika und Vorteile der vorliegenden Offenbarung werden im Weiteren Ausführungsformen der vorliegenden Offenbarung in Verbindung mit Zeichnungen und konkreten Implementierungen näher und ausführlich veranschaulicht.
Im Stand der Technik kann mittels einer seitlichen Fahrzeugpositionsbestimmung durch eine einzelne Kamera (wie zum Beispiel eine Fischaugen-Kamera) nur eine ungefähre Position eines anderen Fahrzeugs durch ein Fahrzeugmerkmal detektiert werden, jedoch kein präzises Merkmal, was eine geringe Genauigkeit der seitlichen Fahrzeugpositionsbestimmung zur Folge hat. Um das Problem gemäß einer Ausführungsform der vorliegenden Offenbarung zu lösen, wird zuerst die Technologie einer virtuellen Kamera verwendet, um ein durch eine Bildaufnahmevorrichtung aufgenommenes Originalbild in ein korrigiertes Bild umzuwandeln, wobei das korrigierte Bild als ein planares Bild auf einer linken Seite und/oder einer rechten Seite verstanden werden kann. Eine ungefähre Position eines Rades wird durch Erkennen eines Radmerkmals in dem korrigierten Bild detektiert, eine exakte Position des Rades wird durch eine Kreisdetektion in einer positionsbestimmten Radregion bestimmt, wodurch eine Position eines seitlichen Fahrzeugs berechnet wird. Außerdem kann durch Verfolgen eines Kreismerkmals eine Fehlererkennung entfallen. Durch die Erkennung des präzisen Merkmals kann ein Verfahren zum Bewerkstelligen einer seitlichen Fahrzeugpositionsbestimmung, das gemäß Ausführungsformen der vorliegenden Offenbarung bereitgestellt wird, eine Positionsbeziehung zwischen dem Fahrzeug und einem seitlichen Fahrzeug exakt erfassen.
Wir wenden uns 1 zu, die ein Flussdiagramm eines Verfahrens zur seitlichen Fahrzeugpositionsbestimmung zeigt, das gemäß Ausführungsformen der vorliegenden Offenbarung bereitgestellt wird. Die Ausführungsform enthält die Schritte 101 bis 104.
Bei Schritt 101 wird ein Originalbild in ein korrigiertes Bild umgewandelt. Das Originalbild ist ein Bild, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ist ein Bild, das dem Originalbild unter einem Sichtwinkel einer virtuellen Kamera entspricht.
Die Bildaufnahmevorrichtung kann an einem Fahrzeug montiert sein und nimmt ein Bild vor oder hinter dem Fahrzeug auf. Das durch die Bildaufnahmevorrichtung aufgenommene Bild kann als das Originalbild dienen. Das Originalbild kann zur Positionsbestimmung eines seitlichen Fahrzeugs gemäß der vorliegenden Offenbarung verwendet werden, und kann auch dafür verwendet werden, andere Detektionsfunktionen an dem Fahrzeug auszuführen. Die vorliegende Offenbarung gibt hier keine Beschränkungen vor. Die Bildaufnahmevorrichtung kann eine Weitwinkel-Bildaufnahmevorrichtung wie zum Beispiel eine Fischaugen-Kamera sein, oder auch eine Bildaufnahmevorrichtung einer anderen Art.
Aufgrund einer möglichen Verzerrung des Bildes, das durch die Bildaufnahmevorrichtung unter einem Weitwinkel aufgenommen wurde, gibt es eine Verformung des seitlichen Fahrzeugs, das in dem Originalbild aufgenommen wurde, und einige bestimmte Merkmale in dem Originalbild lassen sich nicht direkt detektieren. Darum muss das Originalbild in das korrigierte Bild umgewandelt werden. Das korrigierte Bild kann das Bild sein, das dem Originalbild unter dem Sichtwinkel der virtuellen Kamera entspricht.
Der Sichtwinkel der virtuellen Kamera ist in 2 gezeigt. 2(a) ist ein Sichtwinkel einer linken virtuellen Kamera, und 2(b) ist ein Sichtwinkel einer rechten virtuellen Kamera. Unter der Annahme, dass der Sichtwinkel der Bildaufnahmevorrichtung unveränderlich ist, um vor oder hinter dem Fahrzeug aufzunehmen, kann der Sichtwinkel der virtuellen Kamera wie folgt verstanden werden: Der Sichtwinkel der Bildaufnahmevorrichtung wird als Sichtwinkel virtueller Kameras virtualisiert, und unter dem Sichtwinkel einer der virtuellen Kameras wird eine Seite des Fahrzeugs aufgenommen. Somit kann der Sichtwinkel der linken virtuellen Kamera wie folgt verstanden werden: Der Sichtwinkel der Bildaufnahmevorrichtung wird virtualisiert, um den Sichtwinkel der linken virtuellen Kamera, unter dem die linke Seite des Fahrzeugs mit der virtuellen Kamera aufgenommen wird, zu erhalten. Der Sichtwinkel der rechten virtuellen Kamera kann wie folgt verstanden werden: Der Sichtwinkel der Bildaufnahmevorrichtung wird virtualisiert, um den Sichtwinkel der rechten virtuellen Kamera, unter dem die rechte Seite des Fahrzeugs mit der virtuellen Kamera aufgenommen wird, zu erhalten.
Der Prozess des Umwandelns des Originalbildes in das korrigierte Bild kann als Umwandeln, mittels der Technologie der virtuellen Kamera, des Originalbildes, das in Weitwinkel vor oder hinter dem Fahrzeug aufgenommen wurde, in ein planares Bild, das für eine Seite des Fahrzeugs aufgenommen wurde, verstanden werden.
In einer praktischen Anwendung kann das Originalbild in die korrigierten Bilder der linken Seite und der rechten Seite des Fahrzeugs umgewandelt werden, und kann auch in das korrigierte Bild der einen oder der anderen Seite des Fahrzeugs umgewandelt werden. Ein Umwandlungsprozess kann auf der Basis von Konfigurationen der virtuellen Kamera ausgeführt werden.
Bei Schritt 102 ist ein Radmerkmal in einer Detektionsregion des korrigierten Bildes zu detektieren, um eine Position eines Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält zu erfassen.
Die seitliche Vorderseite und die seitliche Rückseite des Fahrzeugs sind kritische Regionen, um zu detektieren, ob an Seiten des Fahrzeugs ein anderes Fahrzeug vorhanden ist. Eine Position einer zuvor festgelegten Region in einer seitlichen Fahrspur kann in das korrigierte Bild abgebildet werden, um eine Detektionsregion in dem korrigierten Bild zu erfassen. Es kann mehrere der zuvor festgelegten Regionen in einer seitlichen Fahrspur geben, und es kann mehrere Detektionsregionen in dem korrigierten Bild geben.
In einer praktischen Anwendung kann ein Detektionskästchen in jeder Detektionsregion mit einer zuvor festgelegten Schrittgröße bewegt werden, und die Größe des Detektionskästchens kann zuvor festgelegt sein. Dann kann ein angelernter Radklassifizierer verwendet werden, um zu detektieren, ob das Detektionskästchen das Radmerkmal enthält, wodurch ein Detektionskästchenbild, welches das Radmerkmal enthält, als das Teilbild, welches das Radmerkmal enthält, erfasst wird, und die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält erfasst wird.
Bei Schritt 103 ist ein Kreismerkmal in dem Teilbild, welches das Radmerkmal enthält, zu detektieren, um ein Kreisdetektionsergebnis zu erhalten. Das Kreisdetektionsergebnis enthält eine Position der Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals.
Das Kreismerkmal wird des Weiteren in dem Radmerkmal detektiert, wodurch die Position des seitlichen Fahrzeugs exakt durch die Position der Mitte und den Radius des Kreismerkmals bestimmt wird.
Bei Schritt 104 werden seitliche Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis erfasst.
In der Ausführungsform wird die Detektion des Kreismerkmals an jedem Teilbild des Radmerkmals ausgeführt, und mehrere Kreisdetektionsergebnisse, die demselben Kreis entsprechen, können erhalten werden. Somit können die mehreren Kreisdetektionsergebnisse fusioniert werden, und das Kreismerkmal in dem fusionierten Kreisdetektionsergebnis wird letztendlich zur Positionsbestimmung des seitlichen Fahrzeugs verwendet. In einigen möglichen Implementierungen der vorliegenden Offenbarung kann die Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem abgebildet werden, wodurch Positionsbestimmungsinformationen des seitlichen Fahrzeugs erfasst werden.
Konkrete Implementierungsprozesse der oben beschriebenen Schritte werden in den folgenden Ausführungsformen weiter veranschaulicht.
Auf diese Weise wird zuerst gemäß der Ausführungsform der vorliegenden Offenbarung das Originalbild mit einer Verzerrung, das durch die Fischaugen-Kamera aufgenommen wurde, in das planare korrigierte Bild umgewandelt. Da das Rad in dem umgewandelten korrigierten Bild nahe einem perfekten Kreis ist, kann das Radmerkmal in dem korrigierten Bild detektiert werden, und dann wird das Kreismerkmal in dem Radmerkmal detektiert. Das seitliche Fahrzeug wird durch Detektieren des expliziten Kreismerkmals exakt positionsbestimmt, wodurch die Genauigkeit der seitlichen Fahrzeugpositionsbestimmung durch eine einzelne Kamera erhöht wird.
Im Weiteren wird der Implementierungsprozess des Schrittes 101 veranschaulicht. Zum besseren Verständnis der folgenden Veranschaulichung werden zuerst ein Pixelkoordinatensystem, ein Bildkoordinatensystem, ein Kamera-Koordinatensystem, ein Weltkoordinatensystem und Umwandlungsbeziehungen zwischen diesen Koordinatensystemen, die an der Ausführungsform der vorliegenden Offenbarung beteiligt sind, vorgestellt. In der Ausführungsform wird die Fischaugen-Kamera zur Veranschaulichung als ein Beispiel der Bildaufnahmevorrichtung genommen.
Die Montageposition der Fischaugen-Kamera und das Weltkoordinatensystem sind in 3 gezeigt. Entsprechend einer Satz-zu-Satz-Beziehung in der Kamerabildgabe werden das Weltkoordinatensystem (O, X, Y, Z) und das Pixelkoordinatensystem (u, v) erstellt.
In einer praktischen Anwendung kann der Ursprung O des Weltkoordinatensystems am Kreuzungspunkt der vertikalen Mittelachse der Fischaugen-Kamera und dem Boden festgelegt werden, die X-Achse kann entlang der Längsachse des Fahrzeugs nach vorn weisen, die Y-Achse kann senkrecht zur Längsachse des Fahrzeugs nach rechts weisen, und die Z-Achse kann senkrecht zum Fahrzeug nach oben weisen. Eine Position eines Objekts in dem Weltkoordinatensystem kann durch seine Koordinaten in dem Weltkoordinatensystem identifiziert werden. Die Einheit des Weltkoordinatensystems kann Meter sein. Beim Ausführen folgender Umwandlungsberechnungen zwischen den Koordinatensystemen kann die Einheit der Koordinaten in dem Weltkoordinatensystem für anschließende Berechnungen in Millimeter umgewandelt werden. Die Erstellung des Weltkoordinatensystems kann einer tatsächlichen Bedingung entsprechen, und die Position des Ursprungs und die Richtung jeder Achse des Weltkoordinatensystem sind nicht durch die vorliegende Offenbarung beschränkt.
Wir wenden uns 4 zu, wo der Ursprung Oo des Pixelkoordinatensystems (u, v) in der oberen linken Ecke eines Bildes erstellt werden kann, und die horizontale Koordinate u und die vertikale Koordinate v können der Reihe bzw. der Spalte in dem Bild entsprechen. Das Pixelkoordinatensystem kann physische Positionen in einer lichtempfindlichen Komponente der Kamera darstellen, und die Einheit des Pixelkoordinatensystems kann Millimeter sein.
Wir wenden uns 5 zu, wo der Ursprung O1 des Bildkoordinatensystems (x, y) der Mittelpunkt von Pixelkoordinaten sein kann, und die horizontale Koordinate x und die vertikale Koordinate y können der Reihe bzw. der Spalte in dem Bild entsprechen. Das Bildkoordinatensystem kann Pixelpositionen in dem Bild entsprechen, und die Einheit kann Pixel sein.
Unter der Annahme, dass (u0, v0) Koordinaten des Ursprungs O1 des Bildkoordinatensystems in dem Pixelkoordinatensystem darstellt und dx und dy physische Größen jedes Pixels auf der horizontalen Achse x und der vertikalen Achse y darstellen, ist die Beziehung zwischen dem Bildkoordinatensystem und dem Pixelkoordinatensystem $u = \frac{x}{d_{x}} + u_{0}, v = \frac{y}{d_{y}} + v_{0},$
wobei (u0, v0) die physische Mitte der lichtempfindlichen Komponente der Kamera ist. Unter der Annahme, dass die Einheit des Pixelkoordinatensystems Millimeter ist, ist die Einheit von dx Millimeter/Pixel. Die Einheit von x/dx ist Pixel und somit mit der Einheit des Pixelkoordinatensystems kompatibel.
Gemäß der obigen Gleichung kann eine Umwandlungsbeziehung zwischen Koordinaten (x, y) in dem Bildkoordinatensystem und Koordinaten (u, v) in dem Pixelkoordinatensystem erhalten werden: $[\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} \frac{1}{d_{x}} & 0 & u_{0} \\ 0 & \frac{1}{d_{y}} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}]$
Gemäß einem Inversen der obigen Gleichung 1 kann eine Umwandlungsbeziehung zwischen Koordinaten (u, v) in dem Pixelkoordinatensystem und Koordinaten (x, y) in dem Bildkoordinatensystem erhalten werden: $[\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} d_{x} & 0 & - u_{0} d_{x} \\ 0 & d_{y} & - v_{0} d_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} u \\ v \\ 1 \end{matrix}]$
Wir wenden uns 6 zu, die ein Schaubild des Kamera-Koordinatensystems zeigt. Der Ursprung C des Kamera-Koordinatensystems ist die optische Mitte der Kamera, Zc ist die optische Achse der Kamera und verläuft senkrecht zur Bildebene, und O-O₁ ist die Brennweite der Kamera. In der Ausführungsform kann die Kamera die Fischaugen-Kamera, die virtuelle Kamera oder andere Bildaufnahmegeräte sein, und die Fischaugen-Kamera und die virtuelle Kamera können sich in jeweiligen Kamera-Koordinatensystemen befinden.
Eine Beziehung zwischen dem Kamera-Koordinatensystem und dem Bildkoordinatensystem kann $x = f \frac{x_{c}}{Z_{c}}, y = f \frac{y_{c}}{Z_{c}}$
sein, wobei f die Brennweite ist.
Gemäß der obigen Gleichung kann eine Umwandlungsbeziehung zwischen Koordinaten (Xc, Yc, Zc) in dem Kamera-Koordinatensystem und Koordinaten (x, y) in dem Bildkoordinatensystem erhalten werden: $Z_{c} [\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] [\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{matrix}]$
Gemäß einem Inversen der obigen Gleichung 3 kann eine Umwandlungsbeziehung zwischen Koordinaten (x, y) in dem Bildkoordinatensystem und Koordinaten (Xc, Yc, Zc) in dem Kamera-Koordinatensystem erhalten werden: $[\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{matrix}] = Z_{c} [\begin{matrix} \frac{1}{f} & 0 & 0 \\ 0 & \frac{1}{f} & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}]$
Das Weltkoordinatensystem wird aufgenommen, um die Position der Kamera zu beschreiben, wie in 7 gezeigt. Das Kamera-Koordinatensystem kann durch Rotation und Translation in das Weltkoordinatensystem abgebildet werden, und eine Rotation jeglicher Dimensionen kann durch ein Produkt eines Koordinatenvektors und einer eigentlichen Matrix dargestellt werden. In dem Weltkoordinatensystem gibt es zwei Parameter: eine Rotationsmatrix R und einen Translationsvektor T. Wenn zum Beispiel ein Koordinatensystem A durch eine Rotation und eine Translation eines anderen Koordinatensystems B erhalten werden kann, so können Koordinaten in dem Koordinatensystem B durch Multiplizieren entsprechender Koordinaten in dem Koordinatensystem A mit der Rotationsmatrix R und weiteres Addieren der Translationsmatrix T erhalten werden. Der Translationsvektor T kann ein Versatz zwischen Ursprüngen der beiden Koordinatensysteme sein.
Somit lautet eine Umwandlungsbeziehung zwischen Koordinaten (Xw, Yw, Zw) in dem Weltkoordinatensystem und Koordinaten (Xc, Yc, Zc) in dem Kamera-Koordinatensystem: $[\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \end{matrix}] = (R | T) [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}]$
Genauer gesagt, wird angenommen, dass ein Raumpunkt Koordinaten Pc(Xc, Yc, Zc) in dem Kamera-Koordinatensystem hat und Koordinaten P0(Xw, Yw, Zw) in dem Weltkoordinatensystem hat. Es wird ebenfalls angenommen, dass das Weltkoordinatensystem durch Drehen des Kamera-Koordinatensystems θ₁ um die X-Achse, θ₂ um die Y-Achse und θ₃ um die Z-Achse und anschließendes Translatieren T(Xo, Yo, Zo) erhalten wird.
Somit lautet, basierend auf der Raumgeometrie, eine Umwandlungsbeziehung zwischen den Koordinaten (Xc, Yc, Zc) in dem Kamera-Koordinatensystem und den Koordinaten (Xw, Yw, Zw) in dem Weltkoordinatensystem: $[\begin{matrix} X w \\ Y w \\ Z w \end{matrix}] = [\begin{matrix} c o s θ_{3} & sin θ_{3} & 0 \\ - sin θ_{3} & cos θ_{3} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} c o s θ_{2} & 0 & -sin θ_{2} \\ 0 & 1 & 0 \\ sin θ_{2} & 0 & cos θ_{2} \end{matrix}] [\begin{matrix} 1 & 0 & 0 \\ 0 & cos θ_{1} & sin θ_{1} \\ 0 & - sin θ_{1} & c o s θ_{1} \end{matrix}] [\begin{matrix} X c - X o \\ X c - Y o \\ Z c - Z o \end{matrix}]$
Gemäß einem Inversen der obigen Gleichung 6 kann eine Umwandlungsbeziehung zwischen den Koordinaten (Xw, Yw, Zw) in dem Weltkoordinatensystem und den Koordinaten (Xc, Yc, Zc) in dem Kamera-Koordinatensystem erhalten werden: $[\begin{matrix} X c \\ Y c \\ Z c \end{matrix}] = [\begin{matrix} c o s θ_{3} & - sin θ_{3} & 0 \\ sin θ_{3} & cos θ_{3} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} c o s θ_{2} & 0 & sin θ_{2} \\ 0 & 1 & 0 \\ - sin θ_{2} & 0 & cos θ_{2} \end{matrix}] [\begin{matrix} 1 & 0 & 0 \\ 0 & cos θ_{1} & - sin θ_{1} \\ 0 & sin θ_{1} & c o s θ_{1} \end{matrix}] [\begin{matrix} X w + X o \\ X w + Y o \\ Z w + Z o \end{matrix}]$
Das Pixelkoordinatensystem, das Bildkoordinatensystem, das Kamera-Koordinatensystem, das Weltkoordinatensystem und die Umwandlungsbeziehungen zwischen diesen Koordinatensystemen sind oben veranschaulicht. Im Weiteren wird der konkrete Implementierungsprozess des Schrittes 101 in Verbindung mit der obigen Veranschaulichung veranschaulicht. Der Implementierungsprozess des Schrittes 101 kann Folgendes enthalten: Herstellen einer bijektiven Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild; und Abbilden des Originalbildes als das korrigierte Bild gemäß der Abbildungsbeziehung.
Und das Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild enthält Folgendes:

Berechnen erster Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet;
Berechnen zweiter Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem;
Berechnen dritter Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet;
Berechnen vierter Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und Verzerrungsparametern der Fischaugen-Kamera; und
Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen und den Positionen der Pixel in dem korrigierten Bild.

Das heißt, unter der Annahme, dass die Koordinaten eines bestimmten Punktes in dem Originalbild P'(X', Y') sind, und die Koordinaten eines bestimmten Punktes in dem korrigierten Bild P(x, y) sind, und unter der Annahme, dass die Brennweite der virtuellen Kamera f=1, Zc=1, ist, kann die obige Gleichung 4 als die Abbildungsbeziehung zwischen dem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet (das Kamera-Koordinatensystem), dienen. Durch Gleichung 4 kann die erste Abbildungsposition Pc(Xc, Yc, Zc) in dem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Pixelposition P(x, y) in dem korrigierten Bild berechnet werden.
Unter der Annahme, dass externe Parameter der virtuellen Kamera ( θ₁,θ₂,θ₃,Xo,Yo,Zo)sind, kann die obige Gleichung 6 als die Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet (das Kamera-Koordinatensystem), und dem Weltkoordinatensystem dienen. Durch Gleichung 6 kann die zweite Abbildungsposition Pw(Xw, Yw, Zw) in dem Weltkoordinatensystem weiter für die Pixelposition P(x, y) in dem korrigierten Bild berechnet werden. Die externen Parameter der virtuellen Kamera stellen die Rotationsmatrix und die Translationsmatrix in der Umwandlung von dem Kamera-Koordinatensystem zu dem Weltkoordinatensystem ein.
Unter der Annahme, dass die externen Parameter der Fischaugen-Kamera θ_1f,θ_2f,θ_3f,Xf,Yf,Zf sind, kann die obige Gleichung 7 als die Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet (das Kamera-Koordinatensystem), dienen. Durch Gleichung 7 kann die dritte Abbildungsposition P_fc(X_fc, Y_fc, Z_fc) in dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, weiter für die Pixelposition P(x, y) in dem korrigierten Bild berechnet werden. Gleichermaßen stellen die externen Parameter der Fischaugen-Kamera die Rotationsmatrix und die Translationsmatrix in der Umwandlung des Kamera-Koordinatensystems zu dem Weltkoordinatensystem ein; das heißt, θ₁,θ₂,θ₃,Xo,Yο,Zο in Gleichung 7 kann durch die externen Parameter θ_1f,θ_2f,θ_3f,Xf,Yf,Zf der Fischaugen-Kamera zur Berechnung ersetzt werden.
Aufgrund einer Verzerrung der Fischaugen-Kamera wird das folgende Verfahren angewendet, um weiter die vierte Abbildungsposition P'(X', Y') in dem durch das Originalbild verwendeten Bildkoordinatensystem für die Pixelposition P(x, y) in dem korrigierten Bild zu berechnen. Unter der Annahme, dass die Verzerrungsparameter der Fischaugen-Kamera K₁,K₂,K₃,K₄,K₅ sind: $t = atan (\sqrt{X_{f c}^{2} + Y_{f c}^{2}} / Z_{f c})$
$r = K_{1} * t + K_{2} * t^{3} + K_{3} * t^{5} + K_{4} * t^{7} + K_{5} * t^{9}$
$θ = atan (Y_{f c} / X_{f c})$
$X' = r * \frac{c o s θ}{dx} + u_{0}, Y' = r * \frac{sin θ}{dy} + v_{0}$
In Gleichung 11 ist (u₀,v₀) die physische Mitte der lichtempfindlichen Komponente der Kamera. Unter der Annahme, dass die Einheit des Pixelkoordinatensystems Millimeter ist, ist die Einheit von dx Millimeter/Pixel, und die Einheit von dy ist Millimeter/Pixel, wobei dx und dy Parameter für eine Einheitenumwandlung zwischen dem Pixelkoordinatensystem und dem Bildkoordinatensystem sind.
Anhand der obigen Berechnungsschritte wird die bijektive Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild erfasst. Und zwar kann gemäß der Position (x, y) jedes Pixels in dem korrigierten Bild die entsprechende Position (X, Y) des Pixels in dem Originalbild erhalten werden.
Dann kann das Originalbild als das korrigierte Bild gemäß der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild abgebildet werden. Wir wenden uns 8 zu, wo das in 8(a) gezeigte Originalbild als das in 8(b) gezeigte korrigierte Bild abgebildet werden kann. Es ist zu sehen, dass eine Verzerrung in dem Originalbild besteht und dass fast keine Verzerrung für das seitliche Fahrzeug in dem korrigierten Bild vorhanden ist, und das korrigierte Bild kann für anschließende Merkmaldetektionen verwendet werden.
Wir wenden uns 9 zu, wo das Radmerkmal in dem Originalbild elliptisch ist und nicht für eine Kreisdetektion verwendet werden kann, und das Radmerkmal in dem korrigierten Bild ist nahe einem perfekten Kreis und kann für die Kreisdetektion verwendet werden.
Im Weiteren wird der Implementierungsprozess für Schritt 102 veranschaulicht.
Wir wenden uns 10 zu. In einer praktischen Anwendung sind die vier Regionen links vorn, rechts vorn, links hinten und rechts hinten eines Fahrzeugs kritische Regionen für das Detektieren, ob es andere Fahrzeuge an den Seiten gibt. Zum Beispiel sind die Größen der vier Regionen jeweils 3 m × 3 m. Wenn wir die rechte hintere Region als ein Beispiel nehmen, so ist die rechte hintere Region in 6 Sektionen entlang einer Richtung parallel zu dem Fahrzeug geteilt, wobei die Distanzen zwischen den Sektionen und dem Fahrzeug 0,5 m, 1 m, 1,5 m, 2 m, 2,5 m bzw. 3 m betragen. Zuvor festgelegte Regionen in den sechs Ebenen senkrecht zum Boden dienen als zuvor festgelegte Regionen einer zu detektierenden seitlichen Fahrspur, und Positionen der zuvor festgelegten Regionen der seitlichen Fahrspur werden in dem Weltkoordinatensystem in das Bildkoordinatensystem des korrigierten Bildes abgebildet, wobei ein Abbildungsprozess die Umwandlungsbeziehungen zwischen den oben angesprochenen Koordinatensystemen verwenden kann.
Dann werden Detektionskästchen in den Detektionsregionen des korrigierten Bildes bewegt, und ein zuvor angelernter Radklassifizierer wird zum Detektieren des Radmerkmals in den Detektionskästchen verwendet. Ein Detektionskästchenbild, welches das Radmerkmal enthält, wird als das Teilbild, welches das Radmerkmal enthält, eingestellt, und die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält, wird erfasst.
Wir wenden uns 11 zu, die ein Schaubild des Teilbildes ist, welches das Radmerkmal in dem korrigierten Bild enthält. In einer praktischen Anwendung kann das erfasste Fahrzeugdetektionsergebnis in einer WheelList (Rad-Liste) gespeichert werden. Das Fahrzeug-Detektionsergebnis enthält eine Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält. Da die Detektion durch Ziehen von Fenstern in der Detektionsregion ausgeführt wird, kann das Radmerkmal in mehreren Detektionskästchen detektiert werden. Somit kann die WheelList mehrere Raddetektionsergebnisse enthalten, und jedes Raddetektionsergebnis entspricht einem rect (x, y, Breite, Höhe), wobei „Breite“ und „Höhe“ eine Breite bzw. eine Höhe des Teilbildes, welches das Radmerkmal enthält, darstellen können und x, y Koordinaten in dem korrigierten Bild für einen bestimmten Punkt (wie zum Beispiel eine obere linke Ecke) in dem Teilbild, welches das Radmerkmal enthält, darstellen können. In einer praktischen Anwendung kann eine obere linke Ecke des korrigierten Bildes als (x, y)=(0, 0) eingestellt werden.
Im Weiteren wird ein Implementierungsprozess für Schritt 103 veranschaulicht.
In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann das Detektieren des Kreismerkmals in dem Teilbild, welches das Radmerkmal enthält, zum Erfassen des Kreisdetektionsergebnisses Folgendes enthalten:

Umwandeln des Teilbildes, welches das Radmerkmal enthält, in ein Grauskalenbild, und Ausführen einer Sobel-Filterung zum Erfassen von Gradienten des Grauskalenbildes in einer horizontalen Koordinatenachsenrichtung und einer vertikalen Koordinatenachsenrichtung;
Erfassen von Koordinatenpunkten in dem Grauskalenbild, und Berechnen von Gradientenrichtungen der Koordinatenpunkte, wo die Gradienten der Koordinatenpunkte in der horizontalen Koordinatenachsenrichtung und der vertikalen Koordinatenachsenrichtung eine zuvor festgelegte Bedingung erfüllen;
Berechnen, entlang der Gradientenrichtungen der Koordinatenpunkte, welche die zuvor festgelegte Bedingung erfüllen, von Koordinaten von Projektionskreismitten, die jeweils verschiedenen zuvor festgelegten Radien entsprechen; und
Auswählen von Koordinaten einer Projektionskreismitte mit maximaler Auftretenshäufigkeit, die in die Position der Mitte des Kreismerkmals in dem korrigierten Bild umgewandelt werden soll, und Einstellen eines zuvor festgelegten Radius, der den Koordinaten der Projektionskreismitte mit maximaler Auftretenshäufigkeit entspricht, als den Radius des Kreismerkmals.

Wir wenden uns 12 zu. Zuerst wird die Teilfigur, die das Radmerkmal enthält, in das Grauskalenbild umgewandelt, und dann wird eine Sobel-Filterung an dem Grauskalenbild ausgeführt. Durch Faltungen von Sobel-Kernels $A = {\begin{matrix} 1 & 0 & - 1 \\ 2 & 0 & - 2 \\ 1 & 0 & - 1 \end{matrix}}$
und $B = {\begin{matrix} 1 & 2 & 1 \\ 0 & 0 & 0 \\ - 1 & - 2 & - 1 \end{matrix}}$
mit dem Grauskalenbild werden der Gradient GradX in einer horizontalen Koordinatenachsenrichtung bzw. der Gradient GradY in einer vertikalen horizontalen Koordinate des Grauskalenbildes erhaltenen, womit die Sobel-Filterung vollendet wird.
Es werden sowohl die Koordinaten (x, y) als auch die Gradientenrichtung θ = atan(GradY/GradX) jedes Pixels des Grauskalenbildes erhaltenen, das $\sqrt{G r a d X^{2} + G r a d Y^{2}} > T h r e d$
erfüllt (Thred ist eine Gradientenschwelle).
Wir wenden uns 13 zu. Wenn wir einen perfekten Kreis als ein Beispiel nehmen, so kann ein Gradientenrichtungsschaubild auf der rechten Seite von 13 anhand des perfekten Kreisbild auf der linken Seite von 13 generiert werden, und verschiedene Gradientenrichtungen können durch verschiedene Farben dargestellt werden. Aus 13 ist zu erkennen, dass eine Gradientenrichtung eines bestimmten Punktes an einem inneren Rand des Kreises die gleiche ist wie die eines entsprechenden Punktes an einem äußeren Rand des Kreis in einer 180-Grad-Richtung, und zwar, dass die Gradientenrichtungen des Kreises symmetrisch sind.
Gemäß der Symmetrie der Gradientenrichtungen des Kreises kann eine Kreismittenprojektion in der Gradientenrichtung der Koordinatenpunkte ausgeführt werden, die die Gradientenschwellenbedingung erfüllen.
Unter der Annahme, dass die Gradientenrichtung θ ist und der zuvor festgelegte Radius für einen Punkt a(x, y), der die Gradientenschwelle erfüllt, Ri ist, werden Projektionskreismitten o(xo, yo) des Punktes a, der der Gradientenrichtung θ und dem Radius Ri entspricht, jeweils für verschiedene zuvor festgelegten Radien (Ri=R1, R2, ..., Rn) berechnet, und x₀ = x + Ri * cos(θ); y₀ = y + Ri * sin(θ).
Auf diese Weise können jeweils die Koordinaten von Projektionskreismitten der Koordinatenpunkte, die die Gradientenschwellenbedingung erfüllen, die verschiedenen zuvor festgelegten Radien entlang der Gradientenrichtung entsprechen, berechnet werden. Die Koordinaten können Koordinaten in dem Grauskalenbild sein.
Wir wenden uns 14 zu, wo 14(a)-(d) den Projektionskreismittenergebnissen entspricht, die vier zuvor festgelegten Radien R1, R2, R3 bzw. R4 entsprechen. Die Kreismittenprojektion mit einem festen Radius reduziert die Dimensionalität eines Projektionsraums von 3 auf 2, wodurch die Komplexität einer Berechnung effizient reduziert wird.
Letztendlich werden die Koordinaten der Projektionskreismitte mit der maximalen Auftretenshäufigkeit als berufene Kreismittenkoordinaten ausgewählt, und es wird gesagt, dass ein Kreis existiert, falls die Auftretenshäufigkeit N die Bedingung N > 2πR * 0.45 erfüllt.
Da die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält, aufgezeichnet wird und das oben erwähnte Grauskalenbild durch Umwandeln des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält, erfasst wird, können die Kreismittenkoordinaten in dem Grauskalenbild in dem korrigierten Bild umgewandelt werden, um die Position der Kreismitte des Kreismerkmals in dem korrigierten Bild zu erfassen, und der zuvor festgelegte Radius, der den Koordinaten der Projektionskreismitte mit der maximalen Auftretenshäufigkeit entspricht, kann als der Radius des Kreismerkmals angesehen werden.
Zum Schluss wird ein Implementierungsprozess des Schrittes 104 veranschaulicht.
Da mehrere Kreisdetektionsergebnisse erhalten werden, wenn derselbe Kreis detektiert wird, können die mehreren Kreisdetektionsergebnisse fusioniert werden. In einer praktischen Anwendung können die Kreisdetektionsergebnisse in einer circleList (Kreis-Liste) aufgezeichnet werden, und mittels Durchsuchen der circleList wird eine Abgleichsoperation an den Kreisdetektionsergebnissen ausgeführt. Die Kreisdetektionsergebnisse mit Distanzen zwischen den Kreismitten kleiner als eine zuvor festgelegte Schwelle werden fusioniert. Das fusionierte Kreisdetektionsergebnis kann in einer resultList (Ergebnis-Liste) aufgezeichnet werden, und das Kreismerkmal in der resultList wird als das Kreismerkmal angesehen, das letztendlich zur seitlichen Fahrzeugpositionsbestimmung verwendet wird. Wir wenden uns 16 zu, die ein Schaubild eines seitlichen Fahrzeugpositionsbestimmungsergebnisses gemäß der Ausführungsform der vorliegenden Offenbarung zeigt.
Außerdem können in der Ausführungsform der vorliegenden Offenbarung die seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern erfasst werden, das seitliche Fahrzeug wird gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen verfolgt, und eine relative Geschwindigkeit zwischen dem vorhandenen Fahrzeug und dem seitlichen Fahrzeug wird erfasst.
Und zwar können in den Ausführungsformen der vorliegenden Offenbarung mehrere Frames von Originalbildern nacheinander erfasst werden, und die seitlichen Fahrzeugpositionsbestimmungsinformationen werden für jeden Frame der Originalbilder durch das oben beschriebene Verfahren gemäß den Ausführungsformen der vorliegenden Offenbarung bestimmt. Gemäß dem Erfassungsintervall und der Positionsveränderung desselben Kreismerkmals in dem Weltkoordinatensystem können die Geschwindigkeit des seitlichen Fahrzeugs und die relative Geschwindigkeit zwischen dem vorhandenen Fahrzeug und dem seitlichen Fahrzeug erfasst werden.
Wir wenden uns 17 zu, die eine Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Die Vorrichtung kann Folgendes enthalten:

eine Umwandlungseinheit 1701, die dafür konfiguriert ist, ein Originalbild in ein korrigiertes Bild umzuwandeln, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ein Bild unter einem Sichtwinkel einer virtuellen Kamera ist, das dem Originalbild entspricht;
eine erste Detektionseinheit 1702, die dafür konfiguriert ist, ein Radmerkmal in einer Detektionsregion des korrigierten Bildes zu detektieren, um eine Position eines Teilbildes in dem korrigierten Bild zu erfassen, wobei das Teilbild das Radmerkmal enthält;
eine zweite Detektionseinheit 1703, die dafür konfiguriert ist, ein Kreismerkmal in dem Teilbild, welches das Radmerkmal enthält, zu detektieren, um ein Kreisdetektionsergebnis zu erhalten, wobei das Kreisdetektionsergebnis eine Position einer Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals enthält; und
eine Erfassungseinheit 1704, die dafür konfiguriert ist, seitliche Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis zu erfassen.

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann die Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung gemäß der Ausführungsform der vorliegenden Offenbarung des Weiteren Folgendes enthalten:

eine Verfolgungseinheit, die dafür konfiguriert ist, die seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern zu erfassen, ein seitliches Fahrzeug gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen zu verfolgen, und eine relative Geschwindigkeit zwischen einem vorhandenen Fahrzeug und dem seitlichen Fahrzeug zu erfassen.

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann die Umwandlungseinheit Folgendes enthalten:

eine erste Herstellungs-Untereinheit, die dafür konfiguriert ist, eine bijektive Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild herzustellen; und
eine erste Abbildungs-Untereinheit, die dafür konfiguriert ist, das Originalbild als das korrigierte Bild gemäß der Abbildungsbeziehung abzubilden.

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung ist die Bildaufnahmevorrichtung eine Fischaugen-Kamera, und die erste Herstellungs-Untereinheit kann Folgendes enthalten:

eine erste Berechnungs-Untereinheit, die dafür konfiguriert ist, erste Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet, zu berechnen;
eine zweite Berechnungs-Untereinheit, die dafür konfiguriert ist, zweite Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem zu berechnen;
eine dritte Berechnungs-Untereinheit, die dafür konfiguriert ist, dritte Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, zu berechnen;
eine vierte Berechnungs-Untereinheit, die dafür konfiguriert ist, vierte Abbildungspositionen in einem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und einem Verzerrungsparameter der Fischaugen-Kamera zu berechnen; und
eine zweite Herstellungs-Untereinheit, die dafür konfiguriert ist, die bijektive Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem, das für die Positionen der Pixel in dem korrigierten Bild berechnet wird, herzustellen.

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann die erste Detektionseinheit Folgendes enthalten:

eine zweite Abbildungs-Untereinheit, die dafür konfiguriert ist, eine Position einer zuvor festgelegten Region in einer seitlichen Fahrspur in das korrigierte Bild abzubilden, um Detektionsregionen des korrigierten Bildes zu erfassen;
eine Detektions-Untereinheit, die dafür konfiguriert ist, Detektionskästchen in den Detektionsregionen des korrigierten Bildes zu bewegen, das Radmerkmal in dem Detektionskästchen mit einem zuvor angelernten Radklassifizierer zu detektieren, und ein Detektionskästchenbild, welches das Radmerkmal enthält, als das Teilbild, welches das Radmerkmal enthält, einzustellen; und
eine Erfassungs-Untereinheit, die dafür konfiguriert ist, die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild enthält, zu erfassen.

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann die zweite Detektionseinheit Folgendes enthalten:

In einigen möglichen Implementierungen der Ausführungsform der vorliegenden Offenbarung kann die Erfassungseinheit insbesondere für Folgendes konfiguriert sein:
Fusionieren mehrerer Kreisdetektionsergebnisse, Abbilden der Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem, um die seitlichen Fahrzeugpositionsbestimmungsinformationen zu erfassen.
Außerdem wird des Weiteren ein computerlesbares Speichermedium gemäß Ausführungsformen der vorliegenden Offenbarung bereitgestellt. Instruktionen werden in dem computerlesbaren Speichermedium gespeichert, und wenn die Instruktionen durch ein Endgerät ausgeführt werden, so führt das Endgerät das oben beschriebene Verfahren zur seitlichen Fahrzeugpositionsbestimmung gemäß Ausführungsformen der vorliegenden Offenbarung aus.
Des Weiteren wird ein Computerprogrammprodukt gemäß Ausführungsformen der vorliegenden Offenbarung bereitgestellt. Wenn das Computerprogrammprodukt durch ein Endgerät ausgeführt wird, so führt das Endgerät das oben beschriebene Verfahren zur seitlichen Fahrzeugpositionsbestimmung gemäß Ausführungsformen der vorliegenden Offenbarung aus.
Auf diese Weise wird gemäß Ausführungsformen der vorliegenden Offenbarung das durch die Bildaufnahmevorrichtung aufgenommene Originalbild zuerst in das planare korrigierte Bild umgewandelt. Wenn ein Rad in dem umgewandelten korrigierten Bild nahe einem perfekten Kreis ist, so kann das Radmerkmal in dem korrigierten Bild detektiert werden, und dann kann das Kreismerkmal in dem Radmerkmal detektiert werden. Andere Fahrzeuge an den Seiten werden durch Detektieren des expliziten Kreismerkmals exakt positionsbestimmt, wodurch die Genauigkeit der seitlichen Fahrzeugpositionsbestimmung durch eine einzelne Kamera erhöht wird.
Es ist anzumerken, dass die Ausführungsformen der vorliegenden Offenbarung in einer progressiven Weise beschrieben werden und dass jede Ausführungsform den Unterschied gegenüber anderen Ausführungsformen betont. Darum kann sich eine Ausführungsform auf andere Ausführungsformen für die gleichen oder für ähnliche Teile beziehen. Da das System oder die Vorrichtung, das bzw. die in den Ausführungsformen offenbart ist, dem in den Ausführungsformen offenbarten Verfahren entsprechen, ist die Beschreibung des Systems und der Vorrichtung einfach, und es kann auf den relevanten Teil des Verfahrens Bezug genommen werden.
Es ist außerdem anzumerken, dass in der vorliegenden Offenbarung Beziehungsbegriffe wie zum Beispiel erster und zweiter nur dazu dienen, eine Entität oder eine Operation von einer anderen Entität oder einer anderen Operation zu unterscheiden und nicht unbedingt erfordern oder besagen, das eine tatsächliche Beziehung oder Sequenz zwischen diesen Entitäten oder Operationen besteht. Außerdem ist beabsichtigt, dass Begriffe wie zum Beispiel „enthalten“ oder andere Varianten ein nicht-ausschließliches Enthalten meinen. Dadurch enthält ein Prozess, ein Verfahren, ein Objekt oder eine Vorrichtung, die eine Reihe von Elementen enthalten, nicht nur jene Elemente, sondern enthält auch andere Elemente, die nicht ausdrücklich angeführt sind, oder enthält auch inhärente Elemente in dem Prozess, dem Verfahren, dem Objekt oder der Vorrichtung. Falls keine weitere Beschränkung besteht, so schließt ein Element, das mit den Worten „enthält ein ...“ beschränkt ist, kein anderes gleiches Element aus, das in einem Prozess, einem Verfahren, einem Objekt oder einer Vorrichtung, die das Element enthalten, existiert.
In Verbindung mit den im vorliegenden Text offenbarten Ausführungsformen können Schritte des beschriebenen Verfahrens oder Algorithmus durch Hardware, ein Software-Modul, das durch einen Prozessor ausgeführt wird, oder eine Kombination von beidem implementiert werden. Das Software-Modul kann in einem Direktzugriffsspeicher (RAM), einem internen Speicher, einem Nurlesespeicher (ROM), einem elektrisch programmierbaren ROM, einem elektrisch löschbaren programmierbaren ROM, einem Register, einer Festplatte, einem Wechseldatenspeicher, einer CD-ROM oder einer sonstigen herkömmlichen Form von Speichermedium auf diesem technischen Gebiet gespeichert werden.
Der Fachmann kann die vorliegende Offenbarung gemäß der Beschreibung der offenbarten Ausführungsformen implementieren oder verwenden. Dem Fachmann werden sofort verschiedene Modifizierungen an diesen Ausführungsformen einfallen, und das im vorliegenden Text definierte allgemeine Prinzip kann auch in anderen Ausführungsformen implementiert werden, ohne vom Wesen oder Schutzumfang der vorliegenden Offenbarung abzuweichen. Darum ist die vorliegende Offenbarung nicht auf die im vorliegenden Text beschriebenen Ausführungsformen beschränkt, sondern ist im weitesten Sinne gemäß den Prinzipien und neuartigen Merkmalen, die in der vorliegenden Offenbarung offenbart sind, auszulegen.

Claims

Verfahren zur seitlichen Fahrzeugpositionsbestimmung, das Folgendes umfasst: Umwandeln eines Originalbildes in ein korrigiertes Bild, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ein Bild unter einem Sichtwinkel einer virtuellen Kamera ist, das dem Originalbild entspricht; Detektieren eines Radmerkmals in einer Detektionsregion des korrigierten Bildes, um eine Position eines Teilbildes in dem korrigierten Bild zu erfassen, wobei das Teilbild das Radmerkmal umfasst; Detektieren eines Kreismerkmals in dem Teilbild, welches das Radmerkmal umfasst, um ein Kreisdetektionsergebnis zu erhalten, wobei das Kreisdetektionsergebnis eine Position einer Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals umfasst; und Erfassen seitlicher Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis.
Verfahren nach Anspruch 1, das des Weiteren Folgendes umfasst: Erfassen der seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern, Verfolgen eines seitlichen Fahrzeugs gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen, und Erfassen einer relativen Geschwindigkeit zwischen einem vorhandenen Fahrzeug und dem seitlichen Fahrzeug.
Verfahren nach Anspruch 1, wobei das Umwandeln des Originalbildes in dem korrigierten Bild Folgendes umfasst: Herstellen einer bijektiven Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild; und Abbilden des Originalbildes als das korrigierte Bild gemäß der Abbildungsbeziehung.
Verfahren nach Anspruch 3, wobei die Bildaufnahmevorrichtung eine Fischaugen-Kamera ist, und das Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild Folgendes umfasst: Berechnen erster Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet; Berechnen zweiter Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem; Berechnen dritter Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und einer Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet; Berechnen vierter Abbildungspositionen in einem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und einem Verzerrungsparameter der Fischaugen-Kamera; und Herstellen der bijektiven Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem, das für die Positionen der Pixel in dem korrigierten Bild berechnet wird.
Verfahren nach Anspruch 1, wobei das Detektieren des Radmerkmals in der Detektionsregion des korrigierten Bildes zum Erfassen der Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild umfasst, Folgendes umfasst: Abbilden einer Position einer zuvor festgelegten Region in einer seitlichen Fahrspur in das korrigierte Bild, um Detektionsregionen des korrigierten Bildes zu erfassen; Bewegen von Detektionskästchen in den Detektionsregionen des korrigierten Bildes, Detektieren des Radmerkmals in den Detektionskästchen mit einem zuvor angelernten Radklassifizierer, und Einstellen eines Detektionskästchenbildes, welches das Radmerkmal umfasst, als das Teilbild, welches das Radmerkmal umfasst; und Erfassen der Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild umfasst.
Verfahren nach Anspruch 1, wobei das Detektieren des Kreismerkmals in dem Teilbild, welches das Radmerkmal umfasst, zum Erfassen des Kreisdetektionsergebnisses Folgendes umfasst: Umwandeln des Teilbildes, welches das Radmerkmal umfasst, in ein Grauskalenbild, und Ausführen einer Sobel-Filterung zum Erfassen von Gradienten des Grauskalenbildes in einer horizontalen Koordinatenachsenrichtung und einer vertikalen Koordinatenachsenrichtung; Erfassen von Koordinatenpunkten in dem Grauskalenbild, und Berechnen von Gradientenrichtungen der Koordinatenpunkte, wobei Gradienten der Koordinatenpunkte in der horizontalen Koordinatenachsenrichtung und der vertikalen Koordinatenachsenrichtung eine zuvor festgelegte Bedingung erfüllen; Berechnen, entlang der Gradientenrichtungen der Koordinatenpunkte, welche die zuvor festgelegte Bedingung erfüllen, von Koordinaten von Projektionskreismitten, die jeweils verschiedenen zuvor festgelegten Radien entsprechen; und Auswählen von Koordinaten einer Projektionskreismitte mit maximaler Auftretenshäufigkeit, die in die Position der Mitte des Kreismerkmals in dem korrigierten Bild umgewandelt werden soll, und Einstellen eines zuvor festgelegten Radius, der den Koordinaten der Projektionskreismitte mit maximaler Auftretenshäufigkeit entspricht, als den Radius des Kreismerkmals.
Verfahren nach Anspruch 1, wobei das Erfassen seitlicher Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis Folgendes umfasst: Fusionieren mehrerer Kreisdetektionsergebnisse, Abbilden der Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem, um die seitlichen Fahrzeugpositionsbestimmungsinformationen zu erfassen.
Vorrichtung zur seitlichen Fahrzeugpositionsbestimmung, die Folgendes umfasst: eine Umwandlungseinheit, die dafür konfiguriert ist, ein Originalbild in ein korrigiertes Bild umzuwandeln, wobei das Originalbild ein Bild ist, das durch eine Bildaufnahmevorrichtung aufgenommen wurde, und das korrigierte Bild ein Bild unter einem Sichtwinkel einer virtuellen Kamera ist, das dem Originalbild entspricht; eine erste Detektionseinheit, die dafür konfiguriert ist, ein Radmerkmal in einer Detektionsregion des korrigierten Bildes zu detektieren, um eine Position eines Teilbildes in dem korrigierten Bild zu erfassen, wobei das Teilbild das Radmerkmal umfasst; eine zweite Detektionseinheit, die dafür konfiguriert ist, ein Kreismerkmal in dem Teilbild, welches das Radmerkmal umfasst, zu detektieren, um ein Kreisdetektionsergebnis zu erhalten, wobei das Kreisdetektionsergebnis eine Position einer Mitte des Kreismerkmals in dem korrigierten Bild und einen Radius des Kreismerkmals umfasst; und eine Erfassungseinheit, die dafür konfiguriert ist, seitliche Fahrzeugpositionsbestimmungsinformationen gemäß dem Kreisdetektionsergebnis zu erfassen.
Vorrichtung nach Anspruch 8, die des Weiteren Folgendes umfasst: eine Verfolgungseinheit, die dafür konfiguriert ist, die seitlichen Fahrzeugpositionsbestimmungsinformationen jeweils gemäß mehreren Frames von Originalbildern zu erfassen, ein seitliches Fahrzeug gemäß den seitlichen Fahrzeugpositionsbestimmungsinformationen zu verfolgen, und eine relative Geschwindigkeit zwischen einem vorhandenen Fahrzeug und dem seitlichen Fahrzeug zu erfassen.
Vorrichtung nach Anspruch 8, wobei die Umwandlungseinheit Folgendes umfasst: eine erste Herstellungs-Untereinheit, die dafür konfiguriert ist, eine bijektive Abbildungsbeziehung zwischen Positionen von Pixeln in dem korrigierten Bild und Positionen von Pixeln in dem Originalbild herzustellen; und eine erste Abbildungs-Untereinheit, die dafür konfiguriert ist, das Originalbild als das korrigierte Bild gemäß der Abbildungsbeziehung abzubilden.
Vorrichtung nach Anspruch 10, wobei die Bildaufnahmevorrichtung eine Fischaugen-Kamera ist, und die erste Herstellungs-Untereinheit Folgendes umfasst: eine erste Berechnungs-Untereinheit, die dafür konfiguriert ist, erste Abbildungspositionen in einem Koordinatensystem, wo sich die virtuelle Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß einer Abbildungsbeziehung zwischen einem durch das korrigierte Bild verwendeten Bildkoordinatensystem und dem Koordinatensystem, wo sich die virtuelle Kamera befindet, zu berechnen; eine zweite Berechnungs-Untereinheit, die dafür konfiguriert ist, zweite Abbildungspositionen in einem Weltkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den ersten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Koordinatensystem, wo sich die virtuelle Kamera befindet, und dem Weltkoordinatensystem zu berechnen; eine dritte Berechnungs-Untereinheit, die dafür konfiguriert ist, dritte Abbildungspositionen in einem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, für die Positionen der Pixel in dem korrigierten Bild gemäß den zweiten Abbildungspositionen und eine Abbildungsbeziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem, wo sich die Fischaugen-Kamera befindet, zu berechnen; eine vierte Berechnungs-Untereinheit, die dafür konfiguriert ist, vierte Abbildungspositionen in einem durch das Originalbild verwendeten Bildkoordinatensystem für die Positionen der Pixel in dem korrigierten Bild gemäß den dritten Abbildungspositionen und einem Verzerrungsparameter der Fischaugen-Kamera zu berechnen; und eine zweite Herstellungs-Untereinheit, die dafür konfiguriert ist, die bijektive Abbildungsbeziehung zwischen den Positionen der Pixel in dem korrigierten Bild und den Positionen der Pixel in dem Originalbild gemäß den vierten Abbildungspositionen in dem durch das Originalbild verwendeten Bildkoordinatensystem, das für die Positionen der Pixel in dem korrigierten Bild berechnet wird, herzustellen.
Vorrichtung nach Anspruch 8, wobei die erste Detektionseinheit Folgendes umfasst: eine zweite Abbildungs-Untereinheit, die dafür konfiguriert ist, eine Position einer zuvor festgelegten Region in einer seitlichen Fahrspur in das korrigierte Bild abzubilden, um Detektionsregionen des korrigierten Bildes zu erfassen; eine Detektions-Untereinheit, die dafür konfiguriert ist, Detektionskästchen in den Detektionsregionen des korrigierten Bildes zu bewegen, das Radmerkmal in den Detektionskästchen mit einem zuvor angelernten Radklassifizierer zu detektieren, und ein Detektionskästchenbild, welches das Radmerkmal umfasst, als das Teilbild, welches das Radmerkmal umfasst, einzustellen; und eine Erfassungs-Untereinheit, die dafür konfiguriert ist, die Position des Teilbildes, welches das Radmerkmal in dem korrigierten Bild umfasst, zu erfassen.
Vorrichtung nach Anspruch 8, wobei die zweite Detektionseinheit Folgendes umfasst: eine Umwandlungs-Untereinheit, die dafür konfiguriert ist, das Teilbild, welches das Radmerkmal umfasst, in ein Grauskalenbild umzuwandeln, und eine Sobel-Filterung zum Erfassen von Gradienten des Grauskalenbildes in einer horizontalen Koordinatenachsenrichtung und einer vertikalen Koordinatenachsenrichtung auszuführen; eine fünfte Berechnungs-Untereinheit, die dafür konfiguriert ist, Koordinatenpunkte in dem Grauskalenbild zu erfassen und Gradientenrichtungen der Koordinatenpunkte zu berechnen, wobei Gradienten der Koordinatenpunkte in der horizontalen Koordinatenachsenrichtung und der vertikalen Koordinatenachsenrichtung eine zuvor festgelegte Bedingung erfüllen; eine sechste Berechnungs-Untereinheit, die dafür konfiguriert ist, entlang den Gradientenrichtungen der Koordinatenpunkte, welche die zuvor festgelegte Bedingung erfüllen, Koordinaten von Projektionskreismitten zu berechnen, die jeweils verschiedenen zuvor festgelegten Radien entsprechen; und eine Auswahl-Untereinheit, die dafür konfiguriert ist, Koordinaten einer Projektionskreismitte mit maximaler Auftretenshäufigkeit, die in die Position der Mitte des Kreismerkmals in dem korrigierten Bild umgewandelt werden soll, auszuwählen und einen zuvor festgelegten Radius, der den Koordinaten der Projektionskreismitte mit maximaler Auftretenshäufigkeit entspricht, als den Radius des Kreismerkmals einzustellen.
Vorrichtung nach Anspruch 8, wobei die Erfassungseinheit für Folgendes konfiguriert ist: Fusionieren mehrerer Kreisdetektionsergebnisse, Abbilden der Position der Mitte des Kreismerkmals des fusionierten Kreisdetektionsergebnisses in dem korrigierten Bild in ein Weltkoordinatensystem, um die seitlichen Fahrzeugpositionsbestimmungsinformationen zu erfassen.
Computerlesbares Speichermedium, das Instruktionen speichert, die, wenn sie durch ein Endgerät ausgeführt werden, das Endgerät dafür konfigurieren, das Verfahren zur seitlichen Fahrzeugpositionsbestimmung nach einem der Ansprüche 1-8 auszuführen.
Computerprogrammprodukt, wobei das Computerprogrammprodukt, wenn es durch ein Endgerät ausgeführt wird, das Endgerät dafür konfiguriert, das Verfahren zur seitlichen Fahrzeugpositionsbestimmung nach einem der Ansprüche 1-8 auszuführen.