DE102019211207B4

DE102019211207B4 - Verfahren und Sensorsystem zur Fahrbahnmarkierungserkennung

Info

Publication number: DE102019211207B4
Application number: DE102019211207.2A
Authority: DE
Inventors: Zhihu Chen
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2021-07-29
Anticipated expiration: 2039-07-30
Also published as: DE102019211207A1

Abstract

Verfahren zum Erkennen von mindestens einer Fahrbahnmarkierung (2, 4) auf einer Fahrbahn (1) in einem fahrzeugbezogenen Erkennungssystem (11) eines Fahrzeugs (10), wobei mindestens ein bildgebender Sensor (32, 34) beweglich an einem Bereich des Fahrzeugs (10) angeordnet ist, mit den Schritten: Erfassen (S1) von der mindestens einen Fahrbahnmarkierung (2, 4) mit dem mindestens einen bildgebenden Sensor (32, 34) in mindestens einem sensorbezogenen Erfassungssystem (31, 33), Erfassen (S2) von mindestens einer Punktwolke (44) mit mindestens einem bezogen auf den bildgebenden Sensor (32, 34) vordefiniert an dem Fahrzeug (10) angeordneten distanzmessenden Sensor (42), wobei die mindestens eine Punktwolke (44) Koordinaten von mindestens zwei auf der Fahrbahn (1) erfassten Punkten (43) aufweist, und Transformieren (S3) der in dem mindestens einen sensorbezogenen Erfassungssystem (11) erfassten mindestens einen Fahrbahnmarkierung (2, 4) in das fahrzeugbezogene Erkennungssystem (11) basierend auf der mindestens einen erfassten Punktwolke (44).

Description

Technisches Gebiet
Die Erfindung bezieht sich auf ein Verfahren und ein Sensorsystem zum Erkennen von einer Fahrbahnmarkierung mit einem an einem Fahrzeug angeordneten bildgebenden Sensor.
Stand der Technik
Aus dem Stand der Technik sind Assistenzsysteme zur Erkennung einer Fahrspur mit auf einem Kraftfahrzeug angeordneter Sensorik bekannt. So ist es aus der DE 10 2004 008 868 A1 bekannt, eine Fahrspur mit einer auf einem Kraftfahrzeug angeordneten Kamera und mit einem auf dem Fahrzeug angeordneten LIDAR-Sensor zu erkennen.
Die DE 10 2010 049 216 A1 offenbart ein Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera. Ein Verfahren zur Kalibrierung zumindest einer an einem Fahrzeug angeordneten Kamera, wird durch die DE 10 2010 048 143 A1 offenbart.
Darstellung der Erfindung
Die Erfindung betrifft in einem Aspekt ein Verfahren zum Erkennen von mindestens einer Fahrbahnmarkierung in einem fahrzeugbezogenen Erkennungssystem eines Fahrzeugs. Eine sensorisch erfasste Fahrbahnmarkierung kann in dem Erkennungssystem mittels Methoden der Bildverarbeitung erkannt werden. Von einer erfassten Fahrbahnmarkierung kann so beispielsweise mittels einer Skelettierung eine Fahrbahnlinie beziehungsweise ein Fahrbahnpolynom abgeleitet und erkannt werden. Bei der Fahrbahnmarkierung kann es sich um eine Straßenmarkierung und/oder um eine Bodenmarkierung auf einer Fahrbahn handeln. Die Fahrbahnmarkierung kann eine einzelne Fahrspur oder die Fahrbahn seitlich zur Fahrtrichtung des Fahrzeugs begrenzen. Zwei benachbarte Fahrbahnmarkierungen können eine zu befahrene Fahrspur durch deren Zwischenraum auf der Fahrbahn festlegen. Die Fahrbahnmarkierung kann ferner eine durchgehende Linie aufweisen. Alternativ oder zusätzlich dazu kann die Fahrbahnmarkierung eine unterbrochene Linie aufweisen.
Das fahrzeugbezogene Erkennungssystem zum Erkennen von der mindestens einen Fahrbahnmarkierung kann ein fahrzeugbezogenes Koordinatensystem sein. In dem fahrzeugbezogenen Koordinatensystem können Koordinaten der mindestens einen Fahrbahnmarkierung in einem fahrzeugbezogenen Bezugssystem erkannt werden. Das fahrzeugbezogene Erkennungssystem kann daher ein fahrzeugbezogenes Orientierungssystem sein, mit welchem sich das Fahrzeug in einem Verkehrsraum basierend auf der mindestens einen erkannten Fahrzeugmarkierung orientieren kann. Das Verfahren kann somit auch als ein Verfahren zum Orientieren in einem Verkehrsraum durchgeführt werden. Jedes der fahrzeugbezogenen Systeme kann auch ein entsprechendes fahrzeugfestes System sein.
An einem Bereich des Fahrzeugs ist mindestens ein bildgebender Sensor beweglich angeordnet, welcher als eine Kamera ausgebildet sein kann. Die Kamera kann eine RGB-Kamera und/oder eine Multispektralkamera sein. Bei einem von der Kamera aufgenommenen Bild kann es sich um ein RGB-Bild und/oder um ein Multispektralbild handeln. Der mindestens eine bildgebende Sensor kann derart an dem Fahrzeug angeordnet sein, dass er sich relativ zum Fahrzeugrahmen des Fahrzeugs bewegen kann. Eine relative Orientierung des mindestens einen bildgebenden Sensors zur Fahrbahn kann sich daher während einer Fahrt des Fahrzeugs auf der Fahrbahn verändern. Daher kann sich auch eine relative Orientierung des mindestens einen bildgebenden Sensors zu der mindestens einen Fahrbahnmarkierung verändern, selbst wenn die relative Orientierung des Fahrzeugrahmens zu der mindestens einen Fahrbahnmarkierung unverändert bleibt.
Das Verfahren weist als einen Schritt ein Erfassen von der mindestens einen Fahrbahnmarkierung mit dem mindestens einen bildgebenden Sensor in mindestens einem sensorbezogenen Erfassungssystem auf. Eine Fahrbahnmarkierung kann in dem Erfassungssystem bildbasiert erfasst werden. Handelt es sich bei dem mindestens einen bildgebenden Sensor um mindestens eine Kamera kann mindestens ein Kamerabild von der mindestens einen Fahrbahnmarkierung in mindestens einem jeweiligen Erfassungsbereich der mindestens einen Kamera aufgenommen werden. Das sensorbezogene Erfassungssystem zum Erfassen von der mindestens einen Fahrbahnmarkierung kann ein sensorbezogenes Koordinatensystem sein. In dem sensorbezogenen Koordinatensystem können Koordinaten der mindestens einen Fahrbahnmarkierung in einem sensorbezogenen Bezugssystem erkannt werden. Jedes der sensorbezogenen Systeme kann auch ein entsprechendes sensorfestes System sein.
Das Verfahren weist als einen weiteren Schritt ein Erfassen von mindestens einer Punktwolke mit mindestens einem bezogen auf den mindestens einen bildgebenden Sensor vordefiniert an dem Fahrzeug angeordneten distanzmessenden Sensor auf. Bei der Punktwolke kann es sich um eine 2D-Punktwolke oder um eine 3D-Punkwolke handeln. Die mindestens eine Punktwolke weist Koordinaten von mindestens zwei auf der Fahrbahn erfassten Punkten auf. Die mindestens zwei Punkte können auf einer sich quer zur Fahrtrichtung auf der Fahrbahn erstreckenden Gerade angeordnet sein. Die Punktwolke kann mindestens drei Punkte aufweisen, wobei die drei Punkte eine Ebene auf der Fahrbahn aufspannen. Die mindestens eine Punktwolke weist zudem Koordinaten von mindestens zwei in mindestens einer Erfassungsebene erfassten Punkten auf.
Das Verfahren kann den weiteren Schritt eines Erfassen von zwei Punktwolken mit zwei bezogen auf den mindestens einen bildgebenden Sensor vordefiniert an dem Fahrzeug angeordneten distanzmessenden Sensoren aufweisen. Die beiden distanzmessenden Sensoren können seitlich zur Fahrtrichtung versetzt an dem Fahrzeug angeordnet sein. Auch die relative Lage der beiden distanzmessenden Sensoren zueinander kann vordefiniert sein.
Der mindestens eine bildgebende Sensor und der distanzmessende Sensor können zueinander unbeweglich beziehungsweise fest auf dem Fahrzeug angeordnet sein. Der mindestens eine bildgebende Sensor und der distanzmessende Sensor können auf einem im Wesentlichen starren Fahrzeugbauteil angeordnet sein, wobei die Sensoren auf einem gemeinsamen Höhenniveau angeordnet sein können. Das im Wesentlichen starre Fahrzeugbauteil weist kein Federelement oder Dämpfungselement auf, welches den mindestens einen bildgebenden Sensor mit dem distanzmessenden Sensor verbindet. Eine Bewegung, welche der mindestens eine bildgebende Sensor aufgrund seiner beweglichen Anordnung auf dem Fahrzeug relativ zur Fahrbahn erfahren kann, erfährt somit auch der distanzmessende Sensor. Der mindestens eine bildgebende Sensor und der distanzmessende Sensor können sich daher während einer Fahrt des Fahrzeugs simultan auf dem Fahrzeug bewegen. Alternativ zur unbewegten Anordnung von dem mindestens einen bildgebenden Sensor und dem distanzmessenden Sensor kann eine Relativbewegung zwischen den Sensoren auf dem Fahrzeug vorgesehen sein und erfasst werden. Die Relativbewegung kann beispielsweise modelliert sein oder sensorisch erfasst werden, um als Korrekturgröße zum Ermitteln einer aktuellen relativen Position/Orientierung zwischen den Sensoren während einer Fahrt des Fahrzeugs herangezogen zu werden.
Bei dem distanzmessenden Sensor kann es sich um einen scannenden Sensor, beispielsweise um einen Laserscanner beziehungsweise Lidar-Sensor, um ein Radarmessgerät oder um ein Ultraschallmessgerät handeln. Der distanzmessende Sensor kann eine Punktwolke von der Fahrbahn in einem Scanbereich erzeugen. Der scannende Sensor kann als ein zweidimensional oder dreidimensional scannender Sensor ausgebildet sein. Bei dem distanzmessenden Sensor kann es sich alternativ zu einem scannenden Sensor auch um eine 3D-Kamera beziehungsweise ToF-Kamera handeln, welche mehrere Punkte einer Punktwolke gleichzeitig erfassen kann. Der distanzmessende Sensor kann daher eine zweidimensionale Punktwolke oder eine dreidimensionale Punktwolke in einem entsprechenden zweidimensionalen Erfassungsbereich oder in einem dreidimensionalen Erfassungsbereich erfassen. Der distanzmessende Sensor kann ein weiteres sensorbezogenes Erfassungssystem aufweisen.
Das Verfahren weist als einen weiteren Schritt ein Transformieren der in dem mindestens einen sensorbezogenen Erfassungssystem erfassten mindestens einen Fahrbahnmarkierung in das fahrzeugbezogene Erkennungssystem basierend auf der erfassten Punktwolke auf. Aus der erfassten Punktwolke können eine relative Orientierung und eine relative Position des distanzmessenden Sensors zur Fahrbahn abgeleitet werden. Basierend auf der vordefinierten Anordnung des distanzmessenden Sensors zu dem mindestens einen bildgebenden Sensors an dem Fahrzeug können auch eine jeweilige relative Orientierung und eine jeweilige relative Position des mindestens einen bildgebenden Sensors zur Fahrbahn bestimmt werden. Dem Ableiten beziehungsweise Bestimmen von Orientierung und Position kann die Annahme zugrunde liegen, dass die Punktwolke auf einem im Wesentlichen ebenen Bereich der Fahrbahn erfasst worden ist. Durch die Punkte der Punktwolke können beispielsweise ausgleichende Geraden oder eine ausgleichende Ebene gelegt werden, wobei basierend auf einem Normalenvektor der ausgleichenden Geraden oder der Ebene die relative Orientierung und die relative Position des distanzmessenden Sensors zur Fahrbahn abgeleitet werden kann.
Eine relative Orientierung und eine relative Position des fahrzeugbezogenen Erkennungssystem zur Fahrbahn kann vordefiniert sein oder modelliert werden. Bezieht sich das fahrzeugbezogene Erkennungssystem auf den Fahrzeugrahmen des Fahrzeugs, kann hierfür eine relative Orientierung und eine relative Position des Fahrzeugrahmens zur Fahrbahn vordefiniert sein oder modelliert werden. Basierend auf der abgeleiteten relativen Orientierung und Position des distanzmessenden Sensors zur Fahrbahn kann die erfasste mindestens einen Fahrbahnmarkierung in das fahrzeugbezogene Erkennungssystem transformiert werden. Dies kann alternativ oder zusätzlich auch basierend auf der relativen Orientierung und Position des fahrzeugbezogenen Erkennungssystem zur Fahrbahn durchgeführt werden.
Ist der Aufenthaltsort des Fahrzeugs bekannt, beispielsweise ist ein aktueller Kilometrierungswert bekannt, kann auch eine absolute Orientierung und eine absolute Position des distanzmessenden Sensors beziehungsweise des mindestens einen bildgebenden Sensors in dem übergeordneten Fahrbahnkoordinatensystem abgeleitet werden. Der Aufenthaltsort kann in einem übergeordneten Fahrbahnkoordinatensystem oder entlang der Fahrbahn bekannt sein. Ist der Aufenthaltsort des Fahrzeugs entlang der Fahrbahn bekannt, kann auch die erfasste mindestens eine Fahrbahnmarkierung in das übergeordnete Fahrbahnkoordinatensystem transformiert werden. Das übergeordnete Fahrbahnkoordinatensystem kann ein Geländemodell aufweisen. So kann der Schritt des Transformierens basierend auf einer Fahrbahnneigung, beispielsweise basierend auf einer Längsneigung und/oder einer Querneigung der Fahrbahn, durchgeführt werden. Die Punktwolke kann so auch auf einem nicht ebenen Bereich der Fahrbahn erfasst worden sein.
Der Schritt des Transformierens kann eine Koordinatentransformation der in dem sensorbezogenen Erfassungssystem erfassten mindestens einen Fahrbahnmarkierung in das fahrzeugbezogene Erkennungssystem aufweisen. Aus der vordefinierten Anordnung sowie relativen Orientierung und Position des distanzmessenden Sensors zur Fahrbahn und der relativen Orientierung und Position des fahrzeugbezogenen Erkennungssystem zur Fahrbahn können Transformationsparameter für die Koordinatentransformation abgeleitet werden.
In einem weiteren Schritt des Verfahrens kann basierend auf der transformierten mindestens einen Fahrbahnmarkierung eine Lenkung des Fahrzeugs angesteuert werden, um der transformierten Fahrbahnmarkierung zu folgen. Die Querdynamik des Fahrzeug kann so basierend auf der in das fahrzeugbezogene Erkennungssystem transformierten mindestens einen Fahrbahnmarkierung automatisiert gesteuert werden. Das Verfahren kann daher auch als Verfahren zum automatisierten Folgen von mindestens einer Fahrbahnmarkierung durch das Fahrzeug durchgeführt werden.
Mit der Erfindung ist es somit möglich, Bilder von mindestens einer Fahrbahnmarkierung mit einem sich auf einem Fahrzeug bewegenden bildgebenden Sensor zu erfassen und das Fahrzeug trotzdem in Bezug auf die Fahrbahnmarkierung automatisiert zu lenken. Dabei kann ein Sensorsystem des Fahrzeugs während einer Fahrt entlang der Fahrbahn instantan beziehungsweise kontinuierlich bezüglich seiner aktuellen räumlichen Lage kalibriert werden. Mit der Erfindung ist es ferner möglich, eine Fahrspur durch ein automatisiertes Lenken des Fahrzeugs automatisiert zu befahren. Das Verfahren ermöglich daher auch eine automatisierte Spurhalteunterstützung für ein automatisiert betreibbares Fahrzeug.
Bei dem Fahrzeug kann es sich um ein automatisiert fahrendes, beispielsweise um ein autonomes, Fahrzeug handeln. Gemäß einer Ausführungsform des Verfahrens ist das Fahrzeug ein in einem Fahrzeugkonvoi einem vorausfahrenden Fahrzeug nachfolgendes Fahrzeug. Das Fahrzeug kann dem vorausfahrenden Fahrzeug automatisiert folgen. Die Fahrzeuge können einen Fahrzeugkonvoi, beispielsweise einen Platoon, ausbilden, wobei das vorausfahrende Fahrzeug von einem Fahrer geführt werden kann und das Fahrzeug als nachfolgendes Fahrzeug dem vorausfahrenden Fahrzeug fahrerlos folgen kann. Gemäß dieser Ausführungsform kann das Fahrzeug in einem weiteren Schritt basierend auf der in das transformierten mindestens einen Fahrbahnmarkierung automatisiert gesteuert wird, um dem vorausfahrenden Fahrzeug automatisiert zu folgen. Fährt das vorausfahrende Fahrzeug zwischen zwei Fahrbahnmarkierungen kann das Fahrzeug diese Fahrbahnmarkierungen erfassen und erkennen, um dem vorausfahrenden Fahrzeug automatisiert nachzufahren. Bei den Fahrbahnmarkierungen kann es sich um Fahrbahnmarkierungen handeln, welche eine Fahrspur für autonome Fahrzeuge kennzeichnen. Eine derartige Fahrspur kann auf einer Autobahn eingerichtet sein.
Der Erfassungsbereich des distanzmessenden Sensors kann auf die Fahrbahn ausgerichtet sein. Der Erfassungsbereich des distanzmessenden Sensors kann derart schräg nach unten auf die Fahrbahn ausgerichtet sein, dass vor dem vorausfahrenden Fahrzeug Punkte auf der Fahrbahn erfasst werden können. Ein Erfassungsabstand, das heißt ein Abstand zwischen dem Fahrzeug und den Punkten auf der in Fahrtrichtung vorausliegenden Fahrbahn, kann daher kleiner sein, als ein Abstand zwischen dem Fahrzeug und einem vorausfahrenden Fahrzeug.
Gemäß einer Ausführungsform weist das Verfahren als einen weiteren Schritt ein Ableiten von einer Pose des distanzmessenden Sensors basierend auf der erfassten Punktwolke auf. Die Pose des distanzmessenden Sensors kann die relative Orientierung und die relative Position des distanzmessenden Sensors zur Fahrbahn aufweisen. Die Pose des distanzmessenden Sensors kann auch entsprechende extrinsische Parameter, beispielsweise die Lage im Raum, des distanzmessenden Sensors bezüglich der Fahrbahn aufweisen. Gemäß dieser Ausführungsform kann der Schritt des Transformierens basierend auf der abgeleiteten Pose des distanzmessenden Sensors durchgeführt werden.
Gemäß einer Ausführungsform des Verfahrens ist das Fahrzeug ein Nutzfahrzeug, welches eine gefedert auf einem Fahrzeugrahmen des Nutzfahrzeugs angeordnete Kabine aufweist. Die Kabine kann das im Wesentlichen starre Fahrzeugbauteil sein, auf welchem der mindestens eine bildgebende Sensor und der mindestens eine distanzmessende Sensor angeordnet sein können. Gemäß dieser Ausführungsform können der mindestens eine bildgebende Sensor und der mindestens eine distanzmessende Sensor an der Kabine mit vordefinierter relativer Lage zueinander angeordnet sein. Die Kabine kann an dem Fahrzeugrahmen des Fahrzeugs gefedert und gedämpft angeordnet sein. Eine federnde und dämpfende Bewegung der Kabine auf dem Fahrzeugrahmen kann aus einem vordefinierten Kabinenmodell bekannt sein, welches abgefederte und gedämpfte Bewegungen der Kabine auf dem Fahrzeugrahmen modelliert. Der mindestens eine bildgebende Sensor und der mindestens eine distanzmessende Sensor können sich deshalb auf einem Nutzfahrzeug während einer Fahrt relativ zur Fahrbahn bewegen.
Der Schritt des Transformierens kann auch auf einem vordefinierten Kabinenmodell der Kabinenbewegung relativ zum Fahrzeugrahmen des Fahrzeugs beziehungsweise der damit modellierten und ableitbaren relativen Kabinenbewegung in dem fahrzeugbezogenen Erkennungssystem basieren. Das Kabinenmodell kann ein Wanken der Kabine in Abhängigkeit der Querdynamik des Fahrzeugs modellieren. Das Kabinenmodell kann auch ein Nicken der Kabine in Abhängigkeit der Längsdynamik des Fahrzeugs modellieren. So können modellierte Kabinenbewegungen in einer Kurvenfahrt, beim Beschleunigen oder beim Abbremsen des Fahrzeugs zusätzlich effizient und sensorunabhängig im Schritt des Transformierens herangezogen werden.
Gemäß einer Ausführungsform weist das Verfahren als einen weiteren Schritt ein Bestimmen eines Nickens der Kabine um eine Kabinenquerachse basierend auf der erfassten Punktwolke auf. Das Nicken der Kabine kann alternativ auch um eine Fahrzeugquerachse basierend auf der erfassten Punktwolke bestimmt werden. Mindestens zwei auf der Fahrbahn erfasste Punkte der Punktwolke können auf einer sich in Fahrtrichtung erstreckenden Gerade angeordnet sein. Aus einer vermeintlichen Längsneigung der so erfassten Fahrbahn in dem sensorbezogenen Erfassungssystem des distanzmessenden Sensors kann dann auf das Nicken der Kabine um die Kabinenquerachse rückgeschlossen werden. Basierend auf dem bestimmten Nicken der Kabine kann auch ein jeweiliges Nicken des mindestens einen bildgebenden Sensor bestimmt werden, welches dem Nicken der Kabine entsprechen kann, wenn der mindestens einen bildgebenden Sensor fest an der Kabine angeordnet ist. Gemäß dieser Ausführungsform kann der Schritt des Transformierens basierend auf dem bestimmten Nicken der Kabine und damit dem Nicken des mindestens einen bildgebenden Sensors durchgeführt werden. Der Schritt des Transformierens kann so in vorteilhafter Weise basierend auf einer kontinuierlichen Schätzung des Nickens robust ausgeführt werden.
Gemäß einer Ausführungsform weist das Verfahren als einen weiteren Schritt ein Bestimmen eines Wankens der Kabine um eine Kabinenlängsachse basierend auf der erfassten Punktwolke auf. Das Wanken der Kabine kann alternativ auch um eine Fahrzeuglängsachse basierend auf der erfassten Punktwolke bestimmt werden. Mindestens zwei auf der Fahrbahn erfasste Punkte der Punktwolke können auf einer sich quer zur Fahrtrichtung beziehungsweise sich in Richtung der Fahrzeugquerachse erstreckenden Gerade angeordnet sein. Aus einer vermeintlichen Querneigung der so erfassten Fahrbahn in dem sensorbezogene Erfassungssystem des distanzmessenden Sensors kann dann auf das Wanken der Kabine um die Kabinenlängsachse rückgeschlossen werden. Basierend auf dem bestimmten Wanken der Kabine kann auch ein jeweiliges Wanken des mindestens einen bildgebenden Sensor bestimmt werden, welches dem Wanken der Kabine entsprechen kann, wenn der mindestens einen bildgebenden Sensor fest an der Kabine angeordnet ist. Gemäß dieser Ausführungsform kann der Schritt des Transformierens basierend auf dem bestimmten Wanken der Kabine durchgeführt werden. Dabei kann der Schritt des Transformierens auch auf dem bestimmten Wanken des mindestens einen bildgebenden Sensors durchgeführt werden. Der Schritt des Transformierens kann so in vorteilhafter Weise basieren auf einer kontinuierlichen Schätzung des Wankens weitergehend robust ausgeführt werden.
Gemäß einer Ausführungsform des Verfahrens ist der mindestens eine beweglich an dem Fahrzeug angeordnete bildgebende Sensor an einem Seitenbereich des Fahrzeugs angeordnet. Ein jeweiliger Erfassungsbereich des mindestens einen bildgebenden Sensors kann sich so versetzt zur Fahrzeuglängsachse in Fahrtrichtung des Fahrzeugs nach vorne erstrecken. Eine seitlich des Fahrzeugs auf der Fahrbahn angebrachte Fahrbahnmarkierung kann so ferner in einem zentralen Bereich in dem jeweiligen Erfassungsbereich liegen. Die Erfassungszuverlässigkeit einer Fahrbahnmarkierungserfassung durch den mindestens einen bildgebenden Sensor kann so erhöht werden. Ferner kann ein vorausfahrendes Fahrzeug bei seitlicher Anordnung des mindestens einen bildgebenden Sensors an dem Fahrzeug die zu erfassende Fahrbahnmarkierung in dem Erfassungsbereich des mindestens einen bildgebenden Sensors nicht verdecken. Auch die vorausblickende Erfassungsreichweite einer Fahrbahnmarkierungserfassung durch den mindestens einen bildgebenden Sensor kann so erhöht werden.
Gemäß einer Ausführungsform des Verfahrens sind zwei bildgebende Sensoren an einem Bereich des Fahrzeugs beweglich angeordnet. Die zwei bildgebenden Sensoren können an einem jeweiligen Seitenbereich des Fahrzeugs angeordnet sein, wobei ein bildgebender Sensor an einem in Fahrtrichtung des Fahrzeugs linken Seitenbereich und ein weiterer bildgebender Sensor an einem in Fahrtrichtung des Fahrzeugs rechten Seitenbereich angeordnet sein kann. Bei den Seitenbereichen kann es sich um entsprechende Seitenbereiche an der Kabine des Fahrzeugs handeln.
Gemäß dieser Ausführungsform kann das Verfahren als einen weiteren Schritt ein Erfassen von mindestens einer Fahrbahnmarkierung mit den zwei beweglich an dem Fahrzeugbereich angeordneten bildgebenden Sensoren in deren jeweiligem sensorbezogenen Erfassungssystemen aufweisen. Eine links neben dem Fahrzeug auf der Fahrbahn aufgebrachte Fahrbahnmarkierung kann mit dem an dem linken Seitenbereich angeordneten bildgebenden Sensor erfasst werden. Alternativ oder zusätzlich kann eine rechts neben dem Fahrzeug auf der Fahrbahn aufgebrachte Fahrbahnmarkierung mit dem an dem rechten Seitenbereich angeordneten bildgebenden Sensor erfasste werden. Überlappen sich die Erfassungsbereiche der beiden bildgebenden Sensoren, kann eine Fahrbahnmarkierung auch von beiden bildgebenden Sensoren in dem sich überlappenden Erfassungsbereich erfasst werden.
Gemäß dieser Ausführungsform kann der mindestens eine distanzmessende Sensor bezogen auf die zwei bildgebenden Sensoren jeweils vordefiniert an dem Fahrzeug angeordnet sein. Der mindestens eine distanzmessende Sensor und die zwei bildgebenden Sensoren können an der Kabine des Fahrzeugs angeordnet sein. Da es sich bei der Kabine um ein im Wesentlichen starres Bauteil handeln kann, können relative Positionen und Orientierungen zwischen dem distanzmessende Sensor und den beiden bildgebenden Sensoren während einer Fahrt mit dem Fahrzeug im Wesentlichen konstant bleiben. Die relative Positionen und Orientierungen können hierfür vorbestimmt worden sein.
Gemäß dieser Ausführungsform kann das Verfahren als einen weiteren Schritt ein Transformieren der in den beiden sensorbezogenen Erfassungssystemen erfassten mindestens einen Fahrbahnmarkierung in das fahrzeugbezogene Erkennungssystem basierend auf der erfassten Punktwolke aufweisen. Die in den beiden sensorbezogenen Erfassungssystemen erfasste Fahrbahnmarkierung beziehungsweise die zwei erfassten Fahrbahnmarkierungen können so in dem fahrzeugbezogenen Erkennungssystem fusioniert werden. Fahrbahnmarkierungen können so in ein gemeinsames Koordinatensystem des fahrzeugbezogenen Erkennungssystems transformiert werden. Unterschiedliche Relativbewegungen der beiden bildgebenden Sensoren relativ zur Fahrbahn können dabei bestimmt und für eine derartige Transformation herangezogen werden. Verschiedene und separat erfasste Fahrbahnmarkierungen können so in einem einzigen fahrzeugbezogenen Erkennungssystem erkannt werden. Die so erkannten Fahrbahnmarkierungen können zur automatisierten Spurführung des Fahrzeugs verwendet werden.
Gemäß einer Ausführungsform des Verfahrens sind die zwei beweglich an dem Fahrzeug angeordneten bildgebenden Sensoren an den beiden Seitenspiegeln des Fahrzeugs angeordnet. Die Seitenspiegel können an der Kabine angeordnet sein. Alternativ dazu können die zwei beweglich an dem Fahrzeug angeordneten bildgebenden Sensoren auch an seitlichen Frontbereichen der Kabine angeordnet sein. Die bildgebenden Sensoren können an dem Fahrzeug nachgerüstet werden. Alternativ dazu können auch bereits an dem Fahrzeug für andere Funktionen vorgesehene bildgebende Sensoren verwendet werden. Auch der distanzmessende Sensor kann an dem Fahrzeug nachgerüstet werden. Alternativ dazu kann auch ein bereits an dem Fahrzeug für andere Funktionen vorgesehener distanzmessender Sensor verwendet werden.
Die Erfindung betrifft in einem weiteren Aspekt ein Sensorsystem, welches mindestens einen bildgebenden Sensor, mindestens einen distanzmessenden Sensor und eine Steuereinrichtung aufweist. Die Sensoren und die Steuereinrichtung sind dazu eingerichtet, um die Schritte des Verfahrens nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Bei dem Sensorsystem kann es sich um ein automatisches Spurhaltesystem zum automatisierten Lenken eines Fahrzeugs handeln. Die Steuereinrichtung kann hierfür eine Schnittstelle zum Ausgeben eines Lenkungssteuerungsbefehls basierend einer in dem fahrzeugbezogenen Erkennungssystem erkannten Fahrbahnmarkierung aufweisen. Die Steuereinrichtung kann eine Schnittstelle zum Einlesen von Fahrbahnmarkierung aufweisen, die mit dem mindestens einen beweglich an dem Fahrzeug anordbaren bildgebenden Sensor erfasst wurde. Die Steuereinrichtung kann ferner eine Schnittstelle zum Einlesen von einer Punktwolke aufweisen, die mit dem distanzmessenden Sensor erfasst wurde. Die Steuereinrichtung kann auch eine Recheneinheit zum Transformieren der mindestens einen eingelesenen Fahrbahnmarkierung in das fahrzeugbezogene Erkennungssystem basierend auf der eingelesenen Punktwolke aufweisen.
Figurenliste

1 zeigt ein auf einer gefederten Kabine eines Nutzfahrzeugs angeordnetes Sensorsystem in einer perspektivischen Ansicht gemäß einer Ausführungsform der Erfindung zur Erläuterung eines Verfahrens zum Erkennen von Fahrbahnmarkierungen.
2 zeigt das Nutzfahrzeug mit dem Sensorsystem von 1 in einem Fahrzeugkonvoi zur weiteren Erläuterung des Verfahrens in einer Draufsicht.
3 zeigt das Nutzfahrzeug mit dem Sensorsystem von 1 in einem Fahrzeugkonvoi zur weiteren Erläuterung des Verfahrens in einer Seitenansicht.
4 zeigt das Nutzfahrzeug mit zwei distanzmessenden Sensoren in dem Fahrzeugkonvoi von 2 zur weiteren Erläuterung des Verfahrens in einer Draufsicht.
5 zeigt ein schematisches Ablaufdiagramm mit Verfahrensschritten zum Durchführen des Verfahrens gemäß einer Ausführungsform der Erfindung.

Detaillierte Beschreibung von Ausführungsformen
In 1 ist ein Sensorsystem 200 gezeigt, welches auf einer Kabine 15 eines Fahrzeugs 10 angeordnet ist. Das Fahrzeug 10 ist in der gezeigten Ausführungsform als ein Lastkraftwagen ausgebildet. Das Sensorsystem 200 weist bildgebende Sensorik 30 und distanzmessende Sensorik 40 auf, welche an einem Frontbereich 17 der Kabine 15 angeordnet sind. In einer nicht gezeigten Ausführungsform sind die bildgebende Sensorik 30 und die distanzmessende Sensorik 40 an mindestens einem Seitenbereich 16 der Kabine 15 angeordnet. Das Sensorsystem 200 weist zudem ein Steuereinrichtung 90 auf, welche mit der bildgebenden Sensorik 30 und mit der distanzmessenden Sensorik 40 verbunden ist. Auf der Fahrbahn 1, auf welcher das Fahrzeug 10 fährt, sind zwei Fahrbahnmarkierungen 2, 4 aufgebracht. Das Fahrzeug 10 fährt aktuell zwischen den beiden aufgebrachten Fahrbahnmarkierungen 2, 4.
Die Kabine 15 und die Sensorik 30, 40 sind zusammen abgefedert und gedämpft an einem Fahrzeugrahmen 12 des Fahrzeugs 10 angeordnet. Die Sensorik 30, 40 ist fest an der Kabine 15 verbaut. Die Kabine 15 ist mit dem Fahrzeugrahmen 12 über Feder-Dämpfer-Elemente 13 beweglich verbunden. Während einer Fahrt des Fahrzeugs 10 bewegen sich die Kabine 15 und die Sensorik 30, 40 daher gefedert und gedämpft auf dem Fahrzeugrahmen 12.
Die bildgebende Sensorik 30 weist zwei bildgebende Sensoren 32, 34 auf. Ein bildgebender Sensor 32 der bildgebenden Sensorik 30 ist links oben an dem Frontbereich 17 der Kabine 15 angebracht. Ein weiterer bildgebende Sensor 34 der bildgebenden Sensorik 30 ist rechts oben an dem Frontbereich 17 der Kabine 15 angebracht. Der linke bildgebende Sensor 32 und der rechte bildgebende Sensor 34 weisen ein jeweiliges sensorbezogenes Erfassungssystem 31, 33 auf, welches jeweils als Erfassungskoordinatensystem des Sensors 32, 34 ausgebildet ist. Die distanzmessende Sensorik 40 weist einen distanzmessenden Sensor 42 auf, welcher mittig oben an dem Frontbereich 17 der Kabine 15 angebracht ist. Auch der distanzmessende Sensor 42 weist ein sensorbezogenes Erfassungssystem 41 auf, welches auch als Erfassungskoordinatensystem des Sensors 42 ausgebildet ist. Die relative Lage der zwei bildgebenden Sensoren 32, 34 zu dem distanzmessenden Sensor 42 ist auch während einer Bewegung der Kabine 15 auf dem Fahrzeugrahmen 12 konstant. Die relative Lage der zwei bildgebenden Sensoren 32, 34 zu dem distanzmessenden Sensor 42 ist zudem bekannt und vordefiniert, beispielsweise hierzu eingemessen.
Der linke bildgebende Sensor 32, welcher in einer Ausführungsform als Kamera ausgebildet ist, erfasst ein Bild der Fahrbahn 1, in welchem zumindest die linke Fahrbahnmarkierung 2 abgebildet ist. Die linke Fahrbahnmarkierung 2 wird so in dem linken sensorbezogenen Erfassungssystem 31 des linken bildgebenden Sensors 32 erfasst. Auch die rechte Fahrbahnmarkierung 4 kann von dem linken sensorbezogenen Erfassungssystem 31 des linken bildgebenden Sensors 32 erfasst werden, wenn auch die rechte Fahrbahnmarkierung 4 in dem Erfassungsbereich des linken bildgebenden Sensors 32 liegt. Der rechte bildgebende Sensor 34, welcher in einer Ausführungsform als Kamera ausgebildet ist, erfasst ein weiteres Bild der Fahrbahn 1, in welchem zumindest die rechte Fahrbahnmarkierung 4 abgebildet ist. Die rechte Fahrbahnmarkierung 4 wird so in dem rechten sensorbezogenen Erfassungssystem 33 des rechten bildgebenden Sensors 34 erfasst. Auch die linke Fahrbahnmarkierung 2 kann von dem rechten sensorbezogenen Erfassungssystem 33 des rechten bildgebenden Sensors 34 erfasst werden, wenn auch die linke Fahrbahnmarkierung 4 in dem Erfassungsbereich des rechten bildgebenden Sensors 34 liegt.
Der distanzmessende Sensor 42, welcher in einer Ausführungsform als 3D-Laserscanner ausgebildet ist, erfasst eine Punktwolke 44 mit Punkten 43 auf der Fahrbahn 1. Der 3D-Scanner weist in der gezeigten Ausführungsform mehrere Scanfächer auf, welche die Fahrbahn 1 punktuell abtasten. Der distanzmessende Sensor 42 tastet die Fahrbahn 1 quer und längs zur Fahrzeuglängsachse X des Fahrzeugs 10 ab. Die Punkte 43 werden in dem sensorbezogenen Erfassungssystem 41 als ein Erfassungskoordinatensystem des distanzmessenden Sensors 42 erfasst. Aus der Lage der Punkte 43 in dem sensorbezogenen Erfassungssystem 41 wird auf ein Wanken W der Kabine 15 um eine Kabinenlängsachse KX und auf ein Nicken N der Kabine 15 um eine Kabinenquerachse KY geschlossen. Basierend auf dem Wanken W und dem Nicken N der Kabine 15 werden die in den sensorbezogenen Erfassungssystemen 31, 33 der beiden bildgebenden Sensoren 32, 34 erfassten Fahrbahnmarkierungen 2, 4 in ein fahrzeugbezogenes Erkennungssystem 11 transformiert, in welchem die erfassten Fahrbahnmarkierungen 2, 4 als solche erkannt werden. Das Transformieren erfolgt basierend auf dem durch das Wanken W und das Nicken N charakterisierte Bewegungsverhalten und basierend auf einer vordefinierten Anordnung der Kabine 15 über die Feder-Dämpfer-Elemente 13 auf dem Fahrzeugrahmen 12. Basierend auf den in das fahrzeugbezogene Erkennungssystem 11 transformierten Fahrbahnmarkierungen 2, 4 wird das Fahrzeug 10 über die Steuereinrichtung 90 mit einer nicht gezeigten Lenkung entlang der Fahrbahn 1 zwischen den Fahrbahnmarkierungen 2, 4 automatisiert gelenkt. Das Fahrzeug 10 fährt somit automatisiert zwischen den Fahrbahnmarkierungen 2, 4.
2 zeigt das Fahrzeug 10 in einem Fahrzeugkonvoi 100, welcher ein vorausfahrendes und von einem Fahrer geführtes Fahrzeug 110 und das Fahrzeug 10 als ein dem vorausfahrendem Fahrzeug 110 nachfolgendes Fahrzeug 10 aufweist. Beide Fahrzeuge 10, 110 fahren zwischen den Fahrbahnmarkierungen 2, 4. Das nachfolgende Fahrzeug 10 folgt dem vorausfahrenden Fahrzeug 110 automatisiert nach, wobei das automatisierte Folgen auf einer Ansteuerung der nicht gezeigten Lenkung basierend auf den in das fahrzeugbezogene Erkennungssystem 11 transformierten Fahrbahnmarkierungen 2, 4 basiert. Das nachfolgende Fahrzeug 10 wird um die Fahrzeugvertikalachse Z und in Richtung der Fahrzeugquerachse Y derart gelenkt, dass es dem vorausfahrenden Fahrzeug 110 zwischen den Fahrbahnmarkierungen 2, 4 nachfolgt.
Die linke Fahrbahnmarkierung 2 wird von dem linken bildgebenden Sensor 32 der bildgebenden Sensorik 30 in einem in 2 gezeigten linken Erfassungsbereich 36 erfasst. Die rechte Fahrbahnmarkierung 4 wird von dem rechten bildgebenden Sensor 34 der bildgebenden Sensorik 30 in einem in 2 gezeigten rechten Erfassungsbereich 38 erfasst. Die Erfassungsbereiche 36, 38 überlappen sich zwar, jedoch wird in jedem der beiden Erfassungsbereiche 36, 38 durch die Abschattung des vorausfahrenden Fahrzeugs 110 nur eine jeweilige Fahrbahnmarkierung 2, 4 erfasst. Der distanzmessende Sensor 42 der distanzmessenden Sensorik 40 weist einen Erfassungsbereich 46 zum Erfassen der Punktwolke 44 und zum Abtasten der Fahrbahn 1 auf, welcher derart ausgerichtet ist, dass die Punkte 43 der Punktwolke 44 zwischen dem vorausfahrenden Fahrzeug 110 und dem nachfolgenden Fahrzeug 10 erfasst werden.
Die Erfassungsbereiche 36, 38, 46 der Sensorik 30, 40 sind in 3 in einer Seitenansicht auf den Fahrzeugkonvoi 100 nochmals gezeigt. Die Erfassungsbereiche 36, 38 der bildgebenden Sensorik 30 sind in Fahrtrichtung X des Fahrzeugs 10 vorausblickend ausgerichtet. In der gezeigten Ausführungsform sind die Erfassungsbereiche 36, 38 der bildgebenden Sensorik derart ausgerichtet, dass die Fahrbahnmarkierungen 2, 4 vor dem vorausfahrenden Fahrzeug 110 erfasst werden. Die nicht gezeigte Lenkung des Fahrzeugs 10 kann so vorausschauend gesteuert werden. Der Erfassungsbereich 46 der distanzmessenden Sensorik 40 ist in der gezeigten Ausführungsform schräg nach vorne in Fahrtrichtung X auf die Fahrbahn 1 ausgerichtet. In der gezeigten Ausführungsform ist der Erfassungsbereich 46 in spitzem Winkel nach unten ausgerichtet, so dass die Punkte 43 auf der Fahrbahn 1 zischen den Fahrzeugen 10, 110 liegen.
In 4 ist die das Fahrzeug 10 aus 1 nochmals in dem Fahrzeugkonvoi 100 gezeigt. In der in 4 gezeigten Ausführungsform weist das Fahrzeug 10 zwei kombinierte Sensoreinheiten an der Kabine 15 auf. Jede der kombinierten Sensoreinheiten weist jeweils einen bildgebenden Sensor 32, 34 und einen distanzmessenden Sensor 42 auf. Die distanzmessende Sensorik 40 weist in dieser Ausführungsform zwei distanzmessende Sensoren 42 auf. Die beiden Erfassungsbereiche 46 der beiden distanzmessenden Sensoren 42 überlappen sich, wobei eine Redundanz bei der Abtastung der Fahrbahn 1 vorhanden ist. Das Sensorsystem 200 ist so seitlich an der Kabine 15 angeordnet. Die beiden Punktwolken 44 der beiden distanzmessenden Sensoren 42 können gemeinsam verwendet werden.
In 5 sind Verfahrensschritte S1 bis S3 eines Verfahrens zum Erkennen der Fahrbahnmarkierung 2, 4 in dem fahrzeugbezogenen Erkennungssystem 11 eines Fahrzeugs 10 in einer zeitlichen Abfolge schematisch dargestellt. In einem ersten Schritt S1 erfolgt eine Fahrbahnmarkierungserfassung. In diesem Schritt S1 werden die zwei Fahrbahnmarkierungen 2, 4 mit den zwei an der Kabine 15 beweglich an dem Fahrzeug 10 angeordneten bildgebenden Sensoren 32, 34 in den beiden sensorbezogenen Erfassungssystemen 31, 33 der bildgebenden Sensoren 32, 34 erfasst. In einem zweiten Schritt S2 erfolgt eine Punktwolkenerfassung. In diesem Schritt S2 wird die Punktwolke 44 mit dem distanzmessenden Sensor 42 oder mit den beiden in 4 gezeigten distanzmessenden Sensoren 42 erfasst. In einem dritten Schritt S3 erfolgt eine Fahrbahnmarkierungstransformation. Die Fahrbahnmarkierungen 2, 4 werden basierend auf der erfassten Punktwolke 44 in das fahrzeugbezogene Erkennungssystem 11 transformiert.

Claims

Verfahren zum Erkennen von mindestens einer Fahrbahnmarkierung (2, 4) auf einer Fahrbahn (1) in einem fahrzeugbezogenen Erkennungssystem (11) eines Fahrzeugs (10), wobei mindestens ein bildgebender Sensor (32, 34) beweglich an einem Bereich des Fahrzeugs (10) angeordnet ist, mit den Schritten: Erfassen (S1) von der mindestens einen Fahrbahnmarkierung (2, 4) mit dem mindestens einen bildgebenden Sensor (32, 34) in mindestens einem sensorbezogenen Erfassungssystem (31, 33), Erfassen (S2) von mindestens einer Punktwolke (44) mit mindestens einem bezogen auf den bildgebenden Sensor (32, 34) vordefiniert an dem Fahrzeug (10) angeordneten distanzmessenden Sensor (42), wobei die mindestens eine Punktwolke (44) Koordinaten von mindestens zwei auf der Fahrbahn (1) erfassten Punkten (43) aufweist, und Transformieren (S3) der in dem mindestens einen sensorbezogenen Erfassungssystem (11) erfassten mindestens einen Fahrbahnmarkierung (2, 4) in das fahrzeugbezogene Erkennungssystem (11) basierend auf der mindestens einen erfassten Punktwolke (44).
Verfahren nach Anspruch 1, wobei das Fahrzeug (10) ein in einem Fahrzeugkonvoi (100) einem vorausfahrenden Fahrzeug (110) nachfolgendes Fahrzeug (10) ist, und wobei das Fahrzeug (10) in einem weiteren Schritt basierend auf der in das fahrzeugbezogene Erfassungssystem (11) transformierten mindestens einen Fahrbahnmarkierung (2, 4) automatisiert gesteuert wird, um dem vorausfahrenden Fahrzeug (110) automatisiert zu folgen.
Verfahren nach Anspruch 1 oder 2, mit dem weiteren Schritt eines Ableitens von einer Pose des distanzmessenden Sensors (42) basierend auf der mindestens einen erfassten Punktwolke (44), wobei der Schritt des Transformierens (S3) basierend auf der abgeleiteten Pose des distanzmessenden Sensors (42) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeug (10) ein Nutzfahrzeug ist, welches eine gefedert auf einem Fahrzeugrahmen (12) des Nutzfahrzeugs angeordnete Kabine (15) aufweist, wobei der mindestens eine bildgebende Sensor (32, 34) und der mindestens eine distanzmessende Sensor (42) an der Kabine (15) mit vordefinierter relativer Lage zueinander angeordnet sind.
Verfahren nach Anspruch 4, mit dem weiteren Schritt eines Bestimmens eines Nickens (N) der Kabine (15) um eine Kabinenquerachse (KY) basierend auf der mindestens einen erfassten Punktwolke (44), wobei der Schritt des Transformierens (S3) basierend auf dem bestimmten Nicken (N) der Kabine (15) durchgeführt wird.
Verfahren nach Anspruch 4 oder 5, mit dem weiteren Schritt eines Bestimmens eines Wankens (W) der Kabine (15) um eine Kabinenlängsachse (KX) basierend auf der mindestens einen erfassten Punktwolke (44), wobei der Schritt des Transformierens (S3) basierend auf dem bestimmten Wanken (W) der Kabine (15) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der mindestens eine beweglich an dem Bereich des Fahrzeugs (10) angeordnete bildgebende Sensor (32, 34) an einem Seitenbereich (16) des Fahrzeugs (10) angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zwei bildgebende Sensoren (32, 34) an einem Bereich des Fahrzeug (10) beweglich angeordnet sind, mit den Schritten: Erfassen (S1) von mindestens einer Fahrbahnmarkierung (2, 4) mit den zwei bildgebenden Sensoren (32, 34) in deren jeweiligem sensorbezogenen Erfassungssystemen (31, 33), wobei der mindestens eine distanzmessende Sensor (42) bezogen auf die zwei bildgebenden Sensoren (32, 34) jeweils vordefiniert an dem Fahrzeug (10) angeordnet ist, und Transformieren (S3) der in den beiden sensorbezogenen Erfassungssystemen (31, 33) erfassten mindestens einen Fahrbahnmarkierung (2, 4) in das fahrzeugbezogene Erkennungssystem (11) basierend auf der mindestens einen erfassten Punktwolke (44).
Verfahren nach Anspruch 8, wobei die zwei beweglich an dem Fahrzeug (10) angeordneten bildgebenden Sensoren (32, 24) an den beiden Seitenspiegeln des Fahrzeugs (10) angeordnet sind.
Sensorsystem (200), welches mindestens einen bildgebenden Sensor (32, 34), mindestens einen distanzmessenden Sensor (42) und eine Steuereinrichtung (90) aufweist, welche dazu eingerichtet sind, die Schritte eines Verfahrens nach einem der vorhergehenden Ansprüche durchzuführen.