-
Die
vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von
Videodaten eines Kamerasystems insbesondere eines Kraftfahrzeugs,
bei dem die vorzugsweise eine Umgebung des Kraftfahrzeugs wiedergebenden
Videodaten in Form mindestens eines Kamerabilds von dem Kamerasystem
erhalten werden, und bei dem mittels eines Abstandsmesssystems erhaltene
Entfernungsdaten ausgewertet werden.
-
Die
vorliegende Erfindung betrifft ferner ein System zur Verarbeitung
von Videodaten eines Kamerasystems.
-
Derartige
Verfahren und Systeme sind aus dem Stand der Technik bekannt und
werden beispielsweise zur Realisierung von Fahrerassistenzsystemen
eingesetzt, bei denen ein hinter einem Kraftfahrzeug befindlicher
Bereich von dem Kamerasystem erfasst und einem Fahrer des Kraftfahrzeugs
auf einem Bildschirm im Cockpit des Kraftfahrzeugs angezeigt wird.
Zusätzlich
zu den Videodaten des Kamerasystems werden Entfernungsdaten durch
ein Abstandsmesssystem gewonnen, die beispielsweise dazu verwendbar
sind, den Fahrer bei dem Unterschreiten eines vorgebbaren Minimalabstands
seines Kraftfahrzeugs zu einem Hindernis durch ein akustische Signal
zu warnen.
-
Es
ist Aufgabe der vorliegenden Erfindung, ein Verfahren und System
der eingangs genannten Art dahingehend zu verbessern, dass eine
zuverlässigere
Erkennung von Hindernissen und eine bessere Verwertung der Videodaten
und der Entfernungsdaten möglich
ist.
-
Diese
Aufgabe wird bei einem Verfahren nach dem Oberbegriff des Patentanspruchs
1 erfindungsgemäß dadurch
gelöst,
dass eine Koordinatentransformation auf das Kamerabild angewendet
wird, um ein transformiertes Kamerabild zu erhalten, wobei die Koordinatentransformation
ein Kamerakoordinatensystem, das zur Darstellung des Kamerabilds
verwendet wird, in ein Zielkoordinatensystem überführt.
-
Die
erfindungsgemäße Koordinatentransformation
erlaubt eine Verarbeitung des transformierten Kamerabilds zusammen
mit Daten von anderen Sensorsystemen, die Daten liefern, welche
unter Verwendung anderer Koordinatensysteme als dem Kamerakoordinatensystem
erhalten werden. Als Zielkoordinatensystem ist hierbei das entsprechende
Koordinatensystem eines anderen Sensorsystems zu wählen, so
dass die Daten des anderen Sensorsystems direkt mit den Videodaten
des transformierten Kamerabilds kombinierbar sind.
-
Bei
einer ganz besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens
wird als Zielkoordinatensystem ein Fahrzeugkoordinatensystem verwendet,
das auch zur Darstellung der Entfernungsdaten des Abstandsmesssystems
verwendet wird. Auf diese Weise ist es möglich, die Entfernungsdaten
des Abstandsmesssystems zusammen mit den Videodaten des transformierten
Kamerabilds zu verarbeiten. Dadurch ergibt sich vorteilhaft die
Möglichkeit,
die Position von in dem Kamerabild enthaltenen Objekten wie z.B. Hindernissen
in der Umgebung eines Kraftfahrzeugs eindeutig zu bestimmen, was
mittels eines Kamerasystems mit einer monokularen Kameraanordnung
allein nicht möglich
wäre.
-
Bei
einer weiteren Ausführungsform
des erfindungsgemäßen Verfahrens
wird als Abstandsmesssystem ein Ultraschall-basiertes und/oder ein Radar-basiertes
und/oder ein optisches Abstandsmesssystem verwendet wird. Eine Kombination
mehrerer der vorstehend genannten Systeme ist ebenso denkbar.
-
Als
optische Abstandsmesssysteme kommen beispielsweise laserbasierte
Entfernungsmesssysteme oder Kameraanordnungen mit mehreren Kameras
in Frage.
-
Bei
einer weiteren vorteilhaften erfindungsgemäßen Verfahrensvariante wird
das transformierte Kamerabild in Abhängigkeit von den Entfernungsdaten
des Abstandsmesssystems verarbeitet. Beispielsweise können die
Entfernungsdaten dazu verwendet werden, interessierende Bereiche
aus dem transformierten Kamerabild zu extrahieren bzw. nicht interessierende
Bereiche von einer weiteren Verarbeitung auszuschließen, um
eine effizientere Verarbeitung zu gewährleisten.
-
Es
ist erfindungsgemäß ferner
möglich,
eine auf das transformierte Kamerabild anzuwendende Filterung oder
dergleichen z.B. im Rahmen einer Nachbearbeitung des transformierten
Kamerabilds in Abhängigkeit
von den Entfernungsdaten des Entfernungsmesssystems durchzuführen.
-
Bei
einer weiteren Ausführungsform
des erfindungsgemäßen Verfahrens
wird das Kamerabild und/oder das transformierte Kamerabild durch
Entfernungsdaten des Abstandsmesssystems ergänzt. Auf diese Weise kann ein
auch als „range
map" bezeichnetes
Objekt erhalten werden, welches neben den Bilddaten des Kamerabilds,
d.h. neben den Koordinaten der Pixel des Kamerabilds und einem entsprechenden
Grauwert und/oder Farbwerten des jeweiligen Pixels auch Informationen
enthält,
die auf den Entfernungsdaten basieren.
-
Ganz
besonders vorteilhaft ist es hierbei, wenn jedem Pixel des Kamerabilds
und/oder des transformierten Kamerabilds entsprechende Entfernungsdaten
zugeordnet werden, so dass für
jeden beliebigen Bereich bzw. für
beliebige Pixel des Kamerabilds entsprechende Entfernungsdaten abgelesen
werden können.
-
Bei
einer anderen sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens
wird ein weiteres Abstandsmesssystem verwendet, und Entfernungsdaten
des weiteren Abstandsmesssystems werden dem Kamerabild vor der Koordinatentransformation
zugeordnet. Die Entfernungsdaten des weiteren Abstandsmesssystems
können
beispielsweise verwendet werden, um die mit einem ersten Abstandsmesssystem
ermittelten Entfernungsdaten zu verifizieren oder zu plausibilisieren.
-
Als
eine weitere Lösung
der Aufgabe der vorliegenden Erfindung ist ein System zur Verarbeitung
von Videodaten eines Kamerasystems insbesondere eines Kraftfahrzeugs
angegeben, das dadurch gekennzeichnet ist, dass das System zur Ausführung des
Verfahrens nach einem der Ansprüche
1 bis 7 geeignet ist.
-
Weitere
Merkmale, Ausführungsbeispiele
und Vorteile der vorliegenden Erfindung sind in der nachfolgenden
Figurenbeschreibung unter Bezugnahme auf die Figuren der Zeichnung
angegeben, wobei
-
1 ein
Szenario zur Anwendung des erfindungsgemäßen Verfahrens zeigt,
-
2 ein
Blockschaltbild einer Ausführungsform
des erfindungsgemäßen Systems
zeigt, und
-
3 ein
Flussdiagramm einer Ausführungsform
des erfindungsgemäßen Verfahrens
zeigt.
-
In 1 ist
ein Kamerasystem 10 und ein Abstandsmesssystem 20 gezeigt,
wobei die räumliche
Anordnung des Kamerasystems 10 und des Abstandsmesssystems 20 der
Anordnung der beiden Systeme 10, 20 am Heck eines
nicht in 1 abgebildeten Kraftfahrzeugs
entspricht. Das Kamerasystem 10 ist hierbei in einer ebenfalls
nicht abgebildeten Kofferraumklappe des Kraftfahrzeugs angeordnet,
während
das Abstandsmesssystem 20 an einem Stoßfänger (nicht gezeigt) des Kraftfahrzeugs
montiert ist.
-
Wie
aus 1 ersichtlich, ergibt sich aufgrund der vorstehend
beschriebenen Anordnung ein vertikaler Abstand d und ein horizontaler
Abstand a des Kamerasystems 10 zu dem Abstandsmesssystem 20.
Darüber
hinaus ist die optische Achse A des Kamerasystems 10 derart
geneigt, dass sie mit der Vertikalen einen Winkel α und mit
der Horizontalen einen Winkel α' einschließt.
-
Mit
dem Kamerasystem 10 ist im vorliegenden Ausführungsbeispiel
ein Rückfahrkamerasystem
realisiert, das in Form von Kamerabildern erhaltene Videodaten bereitstellt,
die eine Umgebung des Kraftfahrzeugs in seinem rückwärtigen Bereich wiedergeben.
Die Videodaten werden einem Fahrer des Kraftfahrzeugs über ein
ebenfalls nicht in 1 dargestelltes Visualisierungssystem
wie z.B. einen Bordmonitor oder dergleichen zur Verfügung gestellt.
-
Das
Abstandsmesssystem 20 weist mehrere einzeln nicht abgebildete
Ultraschallsensoren auf, die über
den Stoßfänger des
Kraftfahrzeugs in einer Richtung senkrecht zur Zeichenebene der 1 verteilt
sind und eine Haupterfassungsrichtung besitzen, die im wesentlichen
parallel zur Längsachse
des Kraftfahrzeugs, d.h. in 1 von links
nach rechts, verläuft.
Mittels der Ultraschallsensoren kann das Abstandsmesssystem 20 hinter
dem Kraftfahrzeug befindliche Hindernisse erkennen und deren Abstand
zu dem Kraftfahrzeug bzw. zu dem Stoßfänger des Kraftfahrzeugs erfassen.
-
Ein
derartiger Abstand wird dem in 2 gezeigten
erfindungsgemäßen System 100 zur
Verarbeitung von Videodaten von dem Abstandsmesssystem 20 in
Form von Entfernungsdaten 20a zur Verfügung gestellt, vgl. Schritt 200 aus 3.
Ebenso werden dem System 100 (2) die Videodaten 10a von
dem Kamerasystem 10 zur Verfügung gestellt, was durch Schritt 210 aus 3 symbolisiert
ist.
-
Um
die Videodaten 10a mit den Entfernungsdaten 20a kombinieren
zu können,
wird in dem System 100 eine nachfolgend detailliert beschriebene
erfindungsgemäße Koordinatentransformation
durchgeführt,
die durch den Verfahrensschritt 220 aus 3 repräsentiert
ist.
-
Wie
aus 1 ersichtlich, ist die optische Achse A des Kamerasystems 10 um
einen Winkel α' zur Horizontalen
und damit auch zur Haupterfassungsrichtung der Ultraschallsensoren
des Abstandsmesssystems 20 geneigt. Dies geht auch aus
einem Vergleich der beiden in 1 links
abgebildeten Koordinatensysteme K_1, K_2 hervor, wobei das Koordinatensystem
K_1 ein Kamerakoordinatensystem repräsentiert und wobei K_2 ein
Fahrzeugkoordinatensystem repräsentiert.
-
Zur
besseren Übersichtlichkeit
sind die beiden Koordinatensysteme K_1, K_2 in 1 links
abgebildet, aber tatsächlich
sind die Koordinatensysteme K_1, K_2 so definiert, dass ihr jeweiliger
Koordinatenursprung sich an dem Ort eines Bildsensors des Kamerasystems 10 bzw.
an dem Ort eines Ultraschallsensors oder zumindest einer gedachten
Verbindungslinie mehrerer Ultraschallsensoren des Abstandsmesssystems 20 befindet.
-
Das
Kamerakoordinatensystem K_1 wird innerhalb des Kamerasystems 10 zur
Darstellung eines Kamerabilds verwendet, wobei einzelne Pixel des
Kamerabilds jeweils als Vektoren in dem Kamerakoordinatensystem
K_1 darstellbar sind, und es weist eine x_1-Achse auf, die mit der
optischen Achse A des Kamerasystems 10 übereinstimmt. Eine z_1-Achse
und eine nicht abgebildete y_1-Achse, die senkrecht zur Zeichenebene
der 1 und in diese hinein verläuft, definieren zusammen eine
Bildebene, die orthogonal zur optischen Achse A des Kamerasystems 10 ist.
-
Das
Fahrzeugkoordinatensystem K_2 weist eine x_2-Achse auf, die sich
entgegengesetzt zur Fahrtrichtung, d.h. in 1 nach rechts,
und parallel zur Horizontalen erstreckt. Die bereits beschriebene
Haupterfassungsrichtung der Ultraschallsensoren des Abstandsmesssystems 20 verläuft parallel
zu der x_2-Achse. Ferner weist das Fahrzeugkoordinatensystem K_2
eine z_2-Achse auf, die in 1 vertikal
nach oben deutet und eine nicht abgebildete y_2-Achse, die, ebenso
wie die y_1-Achse des Kamerakoordinatensystems K_1, senkrecht zur
Zeichenebene der 1 und in diese hinein verläuft.
-
Um
das Kamerakoordinatensystem K_1 in das Fahrzeugkoordinatensystem
K_2 zu überführen, wird erfindungsgemäß eine euklidische
Koordinatentransformation mithilfe einer Transformationsmatrix
durchgeführt, wobei die Elemente r
11, .., r
33 einem
Rotationsanteil und die Elemente t
x, t
y, t
z einem Translationsanteil
entsprechen.
-
Aus 1 ist
ersichtlich, dass der Koordinatenursprung des Koordinatensystems
K_1 zunächst
einer Translation um die Strecke d in vertikaler Richtung und um
die Strecke a in horizontaler Richtung zu unterwerfen ist, damit
die Koordinatenursprünge
beider Koordinatensysteme K_1, K_2 denselben Ort aufweisen. Eine Translation
senkrecht zur Zeichenebene der 1 ist nicht
erforderlich, weil bei der Anordnung nach 1 die Koordinatenursprünge der
Koordinatensysteme K_1, K_2 beide bereits auf der Längsachse
des Kraftfahrzeugs liegen.
-
Nach
der vorstehend beschriebenen Translation muss noch eine Rotation
erfolgen, deren Parameter von dem Winkel α' abhängen.
Insgesamt ergibt sich für
das vorliegend beschriebene Ausführungsbeispiel
mit der Anordnung nach
1 für die Transformationsmatrix:
so dass ein Vektor
1x → = (x_1, y_1, z_1,1)
T aus
dem Kamerakoordinatensystem K_1 in den Vektor
2xx → =
(x_2, y_2, z_2,1)
T des Fahrzeugkoordinatensystems
K_2 transformiert wird:
-
Da
das Kamerabild bei dem vorliegenden Ausführungsbeispiel keine Informationen über eine
Entfernung des Kamerasystems 10 zu einem Hindernis oder
zu einem sonstigen aufgenommenen Objekt enthält, sondern sich nur in der
y_1 – z_1-Ebene
des Kamerakoordinatensystems K_1 erstreckt, liegt für die Transformation
kein sinnvoller Wert für
die Komponente x_1 vor. Deshalb wird die x_1-Komponente bereits
vor der Transformation zu Null gesetzt.
-
Für einen
Vektor
2x →, der einem Pixel des transformierten
Kamerabilds entspricht, gilt demzufolge:
-
Darüberhinaus
wird die x_2-Komponente z_1 sinα' + α des Vektors
2xx → verworfen und durch die Entfernungsdaten
20a von
dem Abstandsmesssystem
20 ersetzt, vgl. auch Schritt
230 aus
3,
d.h.
wobei b einen dem Vektor
2x → und dessen zugehörigem Pixel des transformierten
Kamerabilds entsprechenden Entfernungsdatenwert darstellt.
-
Durch
die erfindungsgemäße Koordinatentransformation
ist es demnach möglich,
Entfernungsdaten 20a von einem Abstandsmesssystem 20 und
in Form von Kamerabildern vorliegende Videodaten 10a eines Kamerasystems 10 zu
fusionieren, d.h. miteinander zu kombinieren.
-
Je
nach räumlicher
Auflösung
des Abstandsmesssystems 20 können dem erfindungsgemäß transformierten
Kamerabild wie beschrieben Entfernungsdaten 20a z.B. in
Form des Entfernungsdatenwerts b hinzugefügt werden, wobei gemäß einer
besonders vorteilhaften Ausführungsform
des erfindungsgemäßen Verfahrens
jedem Pixel des transformierten Kamerabilds ein entsprechender Entfernungsdatenwert
zugeordnet wird. Eine dabei erhaltene Kombination aus dem transformierten
Kamerabild und den Entfernungsdatenwerten wird auch als „range
map" bezeichnet.
-
Anstelle
von Ultraschallsensoren kann das Abstandsmesssystem auch einen oder
mehrere Radarsensoren aufweisen und/oder als optisches Abstandsmesssystem
ausgebildet sein und/oder eine Kombination der vorstehend genannten
Komponenten aufweisen.
-
Bei
einer Ausbildung als optisches Abstandsmesssystem kann beispielsweise
ein laserbasiertes Abstandsmesssystem eingesetzt werden oder auch
eine binokulare Kameraanordnung oder dergleichen.
-
Gemäß einer
anderen Ausführungsform
der vorliegenden Erfindung wird ein weiteres Abstandsmesssystem
verwendet, und Entfernungsdaten des weiteren Abstandsmesssystems
werden dem Kamerabild vor der Koordinatentransformation zugeordnet.
-
Auf
diese Weise ist es möglich,
die Entfernungsdaten eines ersten Abstandsmesssystems 20 mit
den Entfernungsdaten des weiteren Abstandsmesssystems abzugleichen
bzw. zu plausibilisieren.
-
Bei
der erfindungsgemäßen Koordinatentransformation
werden die Entfernungsdaten des weiteren Abstandsmesssystems in
Form der x_1-Komponente des zu transformierenden Vektors berücksichtigt,
d.h. die x_1-Komponente muss – im
Gegensatz zu dem oben beschriebenen Ausführungsbeispiel – in diesem
Fall nicht zu Null gesetzt werden.
-
Nach
der Koordinatentransformation liegt wiederum ein transformiertes
Kamerabild vor, das bereits die Entfernungsdaten des weiteren Abstandsmesssystems
in Form der x_2 Koordinaten enthält.
Diese Entfernungsdaten können
anschließend
mit den von einem ersten Abstandsmesssystem 20 erhaltenen
Entfernungsdaten abgeglichen werden.
-
Das
erfindungsgemäße System 100 (2)
kann beispielsweise in Form eines elektronischen Steuergeräts realisiert
werden, welches einen Mikroprozessor bzw. einen digitalen Signalprozessor
aufweist, der u.a. zur Verarbeitung der Videodaten 10a bzw.
der Entfernungsdaten 20a vorgesehen ist.
-
Zur
Visualisierung der Videodaten sowie weiterer Informationen ist ein
Visualisierungssystem 110 vorgesehen, das mit dem erfindungsgemäßen System 100 verbunden
ist.
-
Bei
einer sehr vorteilhaften Ausführungsform
des erfindungsgemäßen Verfahrens
wird das transformierte Kamerabild in Abhängigkeit von den Entfernungsdaten
des Abstandsmesssystems verarbeitet. Beispielsweise können auf
diese Weise spezielle Parameter für im Rahmen einer Bildverarbeitung
des transformierten Kamerabilds anzuwendende Filterprozesse oder
dergleichen je nach den erhaltenen Entfernungsdaten ausgewählt werden.
Insbesondere ist es hierdurch auch möglich, gezielt interessierende
Bereiche des transformierten Kamerabilds auszuwählen und nur diese interessierenden
Bereiche einer weiteren Verarbeitung zuzuführen. Als interessierende Bereiche
können
beispielsweise diejenigen Bereiche des Kamerabilds angesehen werden,
denen Entfernungsdatenwerte zugeordnet sind, die einen vorgebbaren
Mindestwert oder dergleichen unterschreiten.
-
Ganz
allgemein kann gemäß dem beschriebenen
Verfahren ein Kamerabild in ein beliebiges Zielkoordinatensystem
transformiert werden, um beispielsweise mit weiteren Sensordaten
kombiniert zu werden. Eine mehrfache Koordinatentransformation ist
ebenfalls vorstellbar, so dass beispielsweise Sensordaten von mehreren
Sensoren in dem jeweils für
sie geeigneten Koordinatensystem mit den Videodaten des Kamerabilds kombiniert
werden können.
-
Die
erfindungsgemäße Zuordnung
von Entfernungsdaten zu dem transformierten Kamerabild erlaubt eine
exakte Lokalisierung von Hindernissen und andere Objekten eines
beobachteten Umfelds. Insbesondere ist zur Realisierung des erfindungsgemäßen Verfahrens
bereits eine monokulare Kameraanordnung ausreichend, wodurch die
Kosten des Kamerasystems 10 gering gehalten werden.
-
Neben
dem anhand von 1 beschriebenen Rückfahrkamerasystem
ist das erfindungsgemäße Verfahren
bei allen anderen denkbaren Anwendungen einsetzbar, die Videodaten 10a (2)
in der beschriebenen Weise verarbeiten und eine Bereitstellung von
Entfernungsdaten 20a vorsehen.