-
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen und Aktualisieren einer Merkmalskarte einer Umgebung basierend auf Bildern einer Kamera eines an einem Fahrzeug montierten Fahrunterstützungssystems, mit den Schritten zum Empfangen eines die Umgebung des Fahrzeugs abdeckenden Bildes, wobei mehrere Merkmale basierend auf dem empfangenen Bild erzeugt werden, und zum Identifizieren einer Position der mehreren Merkmale in der Merkmalskarte.
-
Des Weiteren betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zur Montage an einem Fahrzeug, mit einer Steuereinheit und einer Kamera, wobei das Fahrunterstützungssystem dazu geeignet ist, das vorstehende Verfahren auszuführen.
-
Auf dem Fachgebiet sind verschiedene Verfahren zum Bereitstellen einer Fahrunterstützung für ein Fahrzeug bekannt. Dies betrifft einerseits eine Unterstützung für autonomes oder halbautonomes Fahren und andererseits eine Unterstützung des Fahrers eines Fahrzeugs in verschiedenen Fahrsituationen. Diese Verfahren sind heute bereits in Fahrerassistenzsystemen für Fahrzeuge vorgesehen.
-
Derartige Verfahren und Fahrunterstützungssysteme können eine Unterstützung beim Manövrieren des Fahrzeugs beinhalten, z.B. beim Parken des Fahrzeugs entlang einer Trajektorie oder beim Fahren des Fahrzeugs in Verkehrsstausituationen. Viele dieser Verfahren und Fahrunterstützungssysteme beruhen auf Umgebungsinformation, die basierend auf Sensorinformation bereitgestellt wird, die durch verschiedenartige Umgebungssensoren bereitgestellt wird. Beispielsweise können die Umgebungssensoren zum Erfassen eines Parkplatzes für das Fahrzeug oder von Hindernissen in der Umgebung verwendet werden. Basierend auf dieser Sensorinformation ist es möglich, eine Trajektorie zu bestimmen, die z.B. zwischen einer Ist-Position des Fahrzeugs und dem Parkplatz zum Parken des Fahrzeugs definiert sein kann.
-
In diesem Zusammenhang ist es bekannt, dass das Fahrzeug teilautonome oder sogar autonome Fahrmanöver ausführt, um z.B. das Fahrzeug entlang der Trajektorie von seiner Ist-Position zum Parkplatz zu bewegen. In diesen Fällen kann das Fahrunterstützungssystem die Kontrolle der Querlenkung des Fahrzeugs, d.h. eine Quersteuerung des Fahrzeugs, sowie die Längssteuerung des Fahrzeugs übernehmen. Wenn das Fahrunterstützungssystem nur die Quersteuerung oder nur die Längssteuerung ausführt, muss der Fahrer des Fahrzeugs beispielsweise das Lenkrad betätigen, um die Quersteuerung selbst auszuführen, oder das Beschleunigungspedal und die Bremsen betätigen, um die Längssteuerung selbst auszuführen.
-
Derartige Verfahren und Fahrunterstützungssysteme bieten einen hohen Grad an Unterstützung für den Fahrer des Fahrzeugs und sind in modernen Fahrzeugen bereits weit verbreitet installiert. Derartige Verfahren und Fahrassistenzsysteme erfordern jedoch eine zuverlässige Kenntnis der Umgebung des Fahrzeugs. Ansonsten ist es nicht möglich, Trajektorien zum Fahren des Fahrzeugs zu bestimmen oder das Fahrzeug halbautonom oder sogar völlig autonom in einer gewünschten Weise zu manövrieren. Die Kenntnis der Umgebung des Fahrzeugs kann auf einem oder mehreren Umgebungssensoren basieren, wie beispielsweise Ultraschallsensoren, Radarsensoren, LIDAR-Sensoren oder optischen Kameras. Diese Umgebungssensoren stellen Sensorinformation bereit, die typischerweise verarbeitet wird, um eine Umgebungskarte zu erzeugen, die auch als Merkmalskarte bezeichnet wird und alle Arten von Objekten als Merkmale in einer Draufsichtdarstellung anzeigt.
-
Für die Generierung der Merkmalskarte ist eine genaue Kenntnis einer Position der verschiedenen Merkmale wesentlich. Die Bestimmung einer Position eines Merkmals unterliegt jedoch verschiedenen Unsicherheiten, was es schwierig macht, die Position der Merkmale zu bestimmen oder die Position der Merkmale mit einer hohen Genauigkeit bereitzustellen. Insbesondere ist es wichtig, falsche Erfassungen von Objekten zu filtern und Objekte in der Umgebung des Fahrzeugs korrekt zu identifizieren.
-
In diesem Zusammenhang betrifft das Dokument
EP 1470958 B1 ein Verfahren zum Überwachen des Freiraums in der Fahrtrichtung eines Fahrzeugs. Bilddaten der Fahrzeugumgebung im Bereich der Fahrtrichtung werden mittels eines Kamerasystems aufgezeichnet. Der für eine ungehinderte Fahrt erforderliche dreidimensionale Freiraum wird im Voraus in einer Signalverarbeitungseinheit auf der Basis der Betriebsparameter und der Abmessungen des Fahrzeugs berechnet. Dem Fahrer des Fahrzeugs wird zumindest derjenige Teil der aufgezeichneten Bilddaten angezeigt, die den erforderlichen Freiraum darstellen. Die Anzeige der Bilddaten erfolgt im Wesentlichen aus einer Perspektive, die der direkten Sicht entspricht, die der Fahrer auf die Umgebung des Fahrzeugs in Fahrtrichtung haben würde. Zumindest die dem dreidimensionalen Freiraum zugeordneten Bilddaten werden einer Weiterverarbeitung unterzogen, wobei als Folge dieser Weiterverarbeitung der Fahrer des Fahrzeugs darüber informiert wird, ob für eine ungehinderte Fahrt ausreichend Freiraum vorhanden ist oder nicht. Mindestens Teile der Bilddaten des erforderlichen dreidimensionalen Freiraums werden für den Fahrer des Kraftfahrzeugs auf einem Display angezeigt, wobei eine symbolische Darstellung der durch eine vorherige Berechnung in der Signalverarbeitungseinheit bestimmten Randgrenzen des erforderlichen Freiraums den angezeigten Bilddaten überlagert wird. Die Randgrenzen werden durch ein Gittermuster, eine Anordnung von Balken oder ein Schachbrettmuster angezeigt.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erzeugen und Aktualisieren einer Merkmalskarte einer Umgebung und ein Fahrunterstützungssystem für eine Montage in einem Fahrzeug anzugeben, das eine Steuereinheit und eine Kamera aufweist, die zum Ausführen des vorstehenden Verfahrens geeignet sind und eine zuverlässige visuelle Freiraumbestimmung unter Verwendung einer optischen Kamera ermöglichen.
-
Die Lösung dieser Aufgabe erfolgt durch die unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Insbesondere wird durch die vorliegende Erfindung ein Verfahren zum Erzeugen und Aktualisieren einer Merkmalskarte einer Umgebung auf der Basis von Bildern einer Kamera eines in einem Fahrzeug montierten Fahrunterstützungssystems angegeben, mit den Schritten zum Empfangen eines die Umgebung des Fahrzeugs abdeckenden Bildes, Erzeugen mehrerer Merkmale basierend auf dem empfangenen Bild, Identifizieren einer Position der mehreren Merkmale in der Merkmalskarte und Identifizieren eines Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal basierend auf einer Kameraposition am Fahrzeug und dem empfangenen Bild.
-
Durch die vorliegende Erfindung wird auch ein Fahrunterstützungssystem für eine Montage in einem Fahrzeug angegeben, das eine Steuereinheit und eine Kamera aufweist, wobei das Fahrunterstützungssystem dazu geeignet ist, das vorstehende Verfahren auszuführen.
-
Grundidee der Erfindung ist, die Merkmalserfassung zuverlässig zu ermöglichen, indem Freiraumbereiche ohne Hindernisse unter Verwendung einer optischen Kamera identifiziert werden. Merkmalserfassung der Kamera basiert auf sichtbaren Objekten, d.h., eine direkte Verbindung zwischen dem Objekt und der Kamera ist eine Voraussetzung für die Identifizierung von Merkmalen. Um jedoch die Handhabung und Verwendung der Merkmalskarte zu erleichtern, ist eine Erfassung von Freiraumbereichen hilfreich. Eine detaillierte Betrachtung des Freiraumbereichs ist nicht erforderlich. Da sich jedoch Objekte und Merkmale, die basierend auf solchen Objekten identifiziert wurden, wegbewegen können, bietet der Freiraumbereich ein einfaches Mittel zum Entfernen solcher Merkmale von der Merkmalskarte. Die Bewegung der Objekte kann auf dem Objekt basieren, z.B. auf einem geparkten Fahrzeug, das sich nach dem Parken weg bewegt, oder auf einer Bewegung des Ego-Fahrzeugs, z.B. wenn sich das Ego-Fahrzeug bewegt und das Hindernis zurücklässt. Daher ist es wichtig, dass Merkmalskarten eine Einrichtung zum Identifizieren sich bewegender Objekten und entsprechender Merkmale aufweisen, um sie geeignet von der Merkmalskarte zu entfernen.
-
Die Merkmalskarte ist eine Karte, die Merkmale an ihren Positionen enthält. Die Merkmale entsprechen realen Objekten, d.h. anderen Fahrzeugen, Gebäuden, Pfosten, Zäunen, Bäumen und anderen, die üblicherweise die Umgebung des Fahrzeugs definieren.
-
Der Freiraumbereich definiert einen Bereich, der als frei von Hindernissen betrachtet wird. Dadurch kann das Manövrieren des Fahrzeugs erleichtert werden. Außerdem können Merkmale innerhalb dieses Bereichs entfernt werden, z.B. wenn sich das Objekt entfernt.
-
Die Kamera ist eine optische Kamera eines Fahrunterstützungssystems und ist in einem Fahrzeug montiert. Die Kamera wird typischerweise als Weitwinkelkamera bereitgestellt, die ein Sichtfeld von bis zu 180°abdecken kann. Die Kamera kann eine 3D-Kamera sein, d.h. eine Stereokamera, die eine Merkmalserfassung durch Erzeugen von zwei Einzelbildern aus leicht versetzten Positionen ermöglicht, die das gleiche Sichtfeld abdecken. Es ist jedoch auch bekannt, eine einzelne Kamera zur Merkmalserfassung zu verwenden, z.B. unter Berücksichtigung einer Bewegung des Fahrzeugs. Daher kann ein 3D-Effekt auf zwei Bildern basieren, die in einer bekannten zeitlichen und Positionsbeziehung aufgenommen wurden. Eine derartige Technik ist beispielsweise bekannt als Structure from Motion (SfM), die eine photogrammetrische Bereichsabbildungstechnik zum Schätzen dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen ist, die mit lokalen Bewegungssignalen gekoppelt sein können. Daher kann sich der Begriff Bild auf eine Kombination von beispielsweise zwei Einzelbildern beziehen, die gemeinsam verarbeitet werden, um die Merkmale zu erzeugen und die Position der Merkmale zu identifizieren.
-
Die Merkmale werden innerhalb des empfangenen Bildes identifiziert. Es wird eine optische Merkmalserfassung ausgeführt. Algorithmen zur optischen Merkmalserfassung sind auf dem Fachgebiet bekannt und werden daher in diesem Dokument nicht näher diskutiert.
-
Das Fahrzeug kann ein beliebiger Fahrzeugtyp sein, z.B. elektrisch oder konventionell angetrieben durch Verbrennung. Das Fahrzeug ist mit dem Fahrunterstützungssystem ausgestattet, das eine Kamera aufweist, wobei das Fahrunterstützungssystem das vorstehende Verfahren ausführt.
-
Das Fahrunterstützungssystem kann ein System zum Unterstützen von autonomem oder halbautonomem Fahren für entsprechende autonome oder halbautonome Fahrzeuge oder ein System zum Unterstützen eines Fahrers eines Fahrzeugs in verschiedenen Fahrsituationen aufweisen. Die letztgenannten Systeme werden auch als Fahrerassistenzsysteme bezeichnet.
-
Der Schritt zum Identifizieren einer Position der mehreren Merkmale in der Merkmalskarte betrifft eine Abbildung der jeweiligen Merkmale in die Merkmalskarte. Daher wird eine Position der Merkmale identifiziert, die in relativen Werten spezifiziert werden können, z.B. unter Bezug auf das Fahrzeug, oder in Form von Absolutwerten, z.B. Positionsinformation basierend auf globalen Positionsbestimmungssystemen.
-
Die Kameraposition am Fahrzeug kann je nach Fahrzeugtyp variieren. Daher bieten unterschiedlich positionierte Kameras verschiedene Ansichten von Objekten, so dass ein Freiraum auf unterschiedliche Weise identifiziert werden muss. Eine typische Kameraposition bezieht sich auf eine Position z.B. hinter der vorderen Windschutzscheibe, typischerweise nahe an einem Dach des Fahrzeugs oder auf einem Armaturenbrett des Fahrzeugs. Das Gleiche gilt allgemein für eine Heckscheibe des Fahrzeugs. Dies gilt insbesondere dann, wenn das Fahrzeug mit zwei oder mehr Kameras ausgestattet ist, wobei eine Kamera als Frontansichtkamera und eine andere Kamera als Rückansichtkamera vorgesehen ist. Eine andere Kameraposition kann sich an einem Kühlergrill des Fahrzeugs befinden.
-
Da die Kamera ein 3D-Sensor sein kann oder wie ein 3D-Sensor verwendet werden kann, ist es möglich, dass die Kamera über Objekte hinwegblickt. Es ist daher wichtig, keine Objekte zu löschen, wenn die Kamera über sie hinwegblickt.
-
Die Identifizierung des Freiraumbereichs basiert auf dem Sichtkontakt zwischen der Kamera des Fahrzeugs und dem jeweiligen Merkmal. Typische Objekte sind für optische Signale, d.h. Licht, nicht transparent. Fahrzeuge können beispielsweise transparente Komponenten aufweisen. Ein vollständig transparentes Objekt ist jedoch nicht üblich.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren eines Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal basierend auf einer Kameraposition und dem Bild das Identifizieren eines Bereichs in der Merkmalskarte, der sich zwischen dem mindestens einen Merkmal und der Kamera befindet, als Freiraumbereich auf. Das Identifizieren des Freiraumbereichs basiert auf dem Sichtkontakt zwischen der Kamera des Fahrzeugs und dem jeweiligen Merkmal. Daher kann basierend auf den durch die Kamera erzeugten Bildern ein Freiraum in einem Sichtbereich identifiziert werden, der sich zwischen dem jeweiligen Merkmal und der Kamera des Fahrzeugs befindet. Typische Merkmale beziehen sich auf nicht transparente Objekte, so dass die Erfassung der Kamera durch solche Objekte eingeschränkt ist. Die Kamera liefert jedoch zuverlässige, visuelle Information bezüglich des Bereichs in der Merkmalskarte, der sich zwischen dem mindestens einen Merkmal und der Kamera befindet, so dass ein Freiraumbereich innerhalb dieses Bereichs identifiziert werden kann. Der Freiraumbereich ist typischerweise ein Teilbereich des zwischen dem mindestens einen Merkmal und der Kamera liegenden Bereichs, insbesondere da die Sichtbarkeit der Kamera in Bereichen in der Nähe des Fahrzeugs eingeschränkt sein kann. Beispielsweise kann die Sichtbarkeit durch das Fahrzeug selbst eingeschränkt werden, das ein Hindernis für die Kamera darstellt.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren eines Bereichs in der Merkmalskarte zwischen dem mindestens einen Merkmal und der Kamera als Freiraumbereich das Identifizieren einer kameraseitigen Grenze des Freiraumbereichs, wodurch die kameraseitige Grenze identifiziert wird, was die Definition eines Höhenparameters beinhaltet, Bestimmen einer direkten Verbindungslinie zwischen der Kamera des Fahrzeugs und einem niedrigsten Merkmal im Bild und Bestimmen eines Schnittpunktes zwischen der Verbindungslinie und einer Höhenlinie mit einer Höhe über dem Boden auf, die durch den Höhenparameter als kamerabasierter Rand des Freiraumbereichs spezifiziert wird. Der Höhenparameter definiert einen Höhenwert zum Berechnen des kamerabasierten Randes des Freiraumbereichs. Der Höhenparameter bezieht sich auf die Höhe möglicher nicht erfasster Objekten, z.B. basierend auf Eigenschaften der Bilderzeugung durch die am Fahrzeug montierte Kamera. Der Höhenparameter ist vorzugsweise für die gesamte Umgebung des Fahrzeugs konstant. Vorzugsweise wird, wenn die Umgebung in Winkelsektoren geteilt ist, vorzugsweise der gleiche Höhenparameter in jedem Sektor verwendet. Das niedrigste Merkmal muss nicht auf dem Bodenniveau angeordnet sein, z.B. wenn das niedrigste Merkmal eine Stoßstange eines Fahrzeugs in der Umgebung ist. Daher kann die direkte Verbindungslinie zwischen der Kamera des Fahrzeugs und einem niedrigsten Merkmal im Bild für verschiedene Arten von Merkmalen in der gleichen Entfernung zum Fahrzeug unterschiedlich sein. Daher kann der Schnittpunkt zwischen der direkten Verbindungslinie und der Höhenlinie für verschiedene Arten von Merkmalen variieren, was zu unterschiedlich großen Freiraumbereichen führt. Ein typischer Standardwert für den Höhenparameter kann z.B. auf 0,5 m über dem Boden gesetzt werden. Insbesondere wenn die Umgebung in einen Satz von Umgebungssektoren geteilt ist, ist eine solche Identifizierung der kameraseitigen Grenze ein einfaches Mittel zum Bestimmen des Freiraumbereichs. In diesem Fall kann z.B. angenommen werden, dass der gesamte Freiraumbereich in diesem Umgebungssektor kameraseitig durch den Schnittpunkt zwischen der Verbindungslinie und der Höhenlinie des mindestens einen Merkmals begrenzt ist.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Definieren eines Höhenparameters das Definieren eines Höhenparameters in Abhängigkeit von einer bestimmten Fahrsituation und/oder einer Umgebungsbedingung auf. Daher wird die Größe des erhaltenen Freiraumbereichs in Abhängigkeit von der bestimmten Fahrsituation und/oder einer Umgebungsbedingung unterschiedlich sein. Dies ermöglicht eine Anpassung von Freiraumbereichen unter Berücksichtigung unterschiedlicher Fahrsituationen und/oder Umgebungsbedingungen.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren eines Bereichs in der Merkmalskarte zwischen dem mindestens einen Merkmal und der Kamera als Freiraumbereich das Identifizieren einer merkmalsseitigen Grenze des Freiraumbereichs auf, wobei das Identifizieren der merkmalsseitigen Grenze das Identifizieren eines Abstands des nähesten Endes des mindestens einen Merkmals aufweist. Nicht nur Bodenmerkmale werden als relevante Merkmale betrachtet, sondern auch andere Merkmale, die sich nicht direkt am Boden befinden. Solche Merkmale können sich näher am Fahrzeug und an der Kamera befinden als andere Bodenmerkmale und können relevante Merkmale für die Merkmalskarte sein. Beispielsweise kann die Erfassung eines Stoßfängers eines Fahrzeugs, der als ein Merkmal erkannt wird, das nicht das Bodenniveau erreicht, näher an der Kamera angeordnet sein als ein Rad, das mit dem Bodenniveau in Kontakt steht, und stellt daher ein zu berücksichtigendes wichtiges Merkmal dar. Insbesondere ist, wenn die Umgebung in einen Satz von Umgebungssektoren geteilt ist, eine solche Identifizierung der merkmalsseitigen Grenze ein einfaches Mittel zum Bestimmen des Freiraumbereichs. In diesem Fall kann z.B. angenommen werden, dass der gesamte Freiraumbereich in diesem Umgebungssektor auf der Merkmalsseite durch den Endabstand des mindestens einen Merkmals begrenzt ist. Der Abstand des nähesten Endes bezieht sich auf den kürzesten Abstand des Merkmals bezüglich der Kamera.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren eines Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal das Identifizieren eines gemeinsamen Freiraumbereichs für mehrere Merkmale auf, und der Schritt zum Identifizieren einer merkmalsseitigen Grenze weist das Identifizieren eines Minimalwerts unter den Abständen der nähesten Enden der mehreren Merkmale auf. Somit können alle relevanten Merkmale berücksichtigt werden, so dass vermieden werden kann, dass der Freiraumbereich relevante Merkmale enthält. Alle derartigen relevanten Merkmale befinden sich hinter der merkmalsseitigen Grenze des Freiraumbereichs. Insbesondere wenn die Umgebung in einen Satz von Umgebungssektoren geteilt ist, ist eine solche Identifizierung der merkmalsseitigen Grenze ein einfaches Mittel zum Bestimmen des Freiraumbereichs, z.B. für jeden Umgebungssektor.
-
Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt zum Identifizieren eines Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal ein gemeinsames Identifizieren des Freiraumbereichs für mehrere Merkmale, und der Schritt zum Identifizieren einer merkmalsseitigen Grenze weist das Identifizieren der merkmalsseitigen Grenze basierend auf den kürzesten Endabständen der mehreren Merkmale auf. Die merkmalsseitige Grenze kann z.B. eine Verbindungslinie zwischen den der kürzesten Endabstände der mehreren Merkmale sein. Alternativ kann die merkmalsseitige Grenze so definiert werden, als ob sie eine Stütze hätte, um die herum eine merkmalsseitige Grenzlinie gedreht werden kann, um sie an die kürzesten Endabstände der mehreren Merkmale anzunähern. Insbesondere kann, wenn die Umgebung in einen Satz von Umgebungssektoren geteilt ist, die merkmalsseitige Grenzlinie in einer Mitte eines Umgebungssektors gestützt sein und gedreht werden, um an die kürzesten Endabstände der mehreren Merkmale angenähert zu werden. Daher kann die merkmalsseitige Grenzlinie einen beliebigen Winkel im Vergleich zu einer direkten Verbindungslinie zwischen der Kamera des Fahrzeugs und einem entsprechenden Merkmal im Bild aufweisen.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist das Verfahren einen zusätzlichen Schritt zum Teilen der Umgebung in einen Satz von Umgebungssektoren auf, und der Schritt zum Identifizieren eines Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal basierend auf einer Kameraposition am Fahrzeug und dem empfangenen Bild weist das Identifizieren des Umgebungssektors, der das mindestens eine Merkmal enthält, und das Identifizieren des Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal im identifizierten Umgebungssektor auf. Die Umgebungssektoren können kleiner oder größer sein. Ein Winkel von fünf bis sechs Grad hat sich für jeden Umgebungssektor als geeignet erwiesen. Vorzugsweise hat jeder Umgebungssektor den gleichen Winkel. Es können jedoch auch Umgebungssektoren mit individueller Größe verwendet werden. Der Winkel der Umgebungssektoren und damit ihre Anzahl sind vorzugsweise konstant. In einer alternativen Umgebung ist jedoch auch eine dynamische Anpassung des Winkels der Umgebungssektoren möglich, z.B. in Abhängigkeit von den Fahrbedingungen oder dergleichen. Die Umgebungssektoren können z.B. in der Form eines Fächers geteilt sein, der ein Sichtfeld der Kamera abdeckt. Daher kann das Sichtfeld, das einer durch die Kamera abgedeckten Umgebung entspricht, in eine bestimmte Anzahl von Umgebungssektoren geteilt werden. Für jeden Umgebungssektor können die kameraseitigen Grenzen und die merkmalsseitigen Grenzen des Freiraumbereichs unabhängig und z.B. unter Berücksichtigung aller Merkmale, die sich innerhalb dieses Umgebungssektors befinden, bestimmt werden, wie vorstehend diskutiert wurde. Die Teilung der Umgebung in einem Satz von Umgebungsgrenzen erleichtert die Bestimmung von Freiraum, da dieses Problem auf kleine, gut definierte Bereiche, d.h. die Umgebungssektoren, heruntergebrochen werden kann.
-
Gemäß einer modifizierten Ausführungsform der Erfindung weist der Schritt zum Identifizieren des Freiraumbereichs in der Merkmalskarte für mindestens ein Merkmal in dem identifizierten Umgebungssektor das Identifizieren des Freiraumbereichs mit einer seitlichen Winkelausdehnung auf, die der Winkelbreite des Umgebungssektors entspricht. Das Teilen der Umgebung in mehrere Umgebungsbereiche erleichtert das Identifizieren von Freiraum, da die Umgebungssektoren seitliche Grenzen für identifizierte Freiraumbereiche bereitstellen, die ohne Weiterverarbeitung verwendet werden können. Durch Bestimmen einer kamerabasierten Grenze und einer merkmalsseitigen Grenze kann der Freiraumbereich für jeden Umgebungssektor leicht definiert werden.
-
Diese und andere Aspekte der Erfindung werden unter Bezug auf die nachstehend beschriebenen Ausführungsformen verdeutlicht und erläutert. Einzelne in den Ausführungsformen dargestellte Merkmale können allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
-
Es zeigen:
- 1 eine schematische Darstellung eines Ego-Fahrzeugs mit einem Fahrunterstützungssystem gemäß einer ersten, bevorzugten Ausführungsform in einer Fahrsituation zusammen mit einem anderen Fahrzeug als Hindernis in einer Seitenansicht;
- 2 eine schematische Ansicht des Fahrzeugs mit dem Fahrunterstützungssystem gemäß der ersten Ausführungsform in einer Kartenansicht als eine Merkmalskarte zusammen mit verschiedenen Merkmalen und identifizierten Freiraumbereichen in einer Draufsicht; und
- 3 ein Ablaufdiagramm eines Verfahrens zum Erzeugen und Aktualisieren einer Merkmalskarte einer Umgebung basierend auf Bildern.
-
Die 1 und 2 zeigen ein Fahrzeug 10 gemäß einer ersten bevorzugten Ausführungsform der Erfindung. Das Fahrzeug 10 weist ein Fahrunterstützungssystem 12 mit einer Steuereinheit 14 und einer Frontkamera 16 auf. Die Steuereinheit 14 und die Frontkamera 16 sind über einen Datenbus 18 verbunden.
-
Die Frontkamera 16 ist eine Weitwinkel-Frontkamera 16, die ein Sichtfeld von bis zu 180°abdeckt. Die Frontkamera 16 ist eine einzelne Kamera, die zur Merkmalserfassung unter Berücksichtigung einer Bewegung des Fahrzeugs 10 verwendet wird. Daher wird ein 3D-Effekt basierend auf Structure from Motion (SfM) ausgewertet. Dies bedeutet, dass wenn von der Frontkamera 16 ein Bild bereitgestellt wird, dies eine Kombination zweier Einzelbilder betrifft, die gemeinsam verarbeitet werden. Structure from Motion ist eine bekannte Technik und wird daher nicht näher diskutiert.
-
Die Frontkamera 16 ist gemäß der ersten Ausführungsform an einem vorderen Teil 20 des Fahrzeugs 10 angeordnet, z.B. an einem oberen Teil eines Kühlergrills des Fahrzeugs 10. Wie insbesondere in 2 dargestellt ist, weist das Fahrzeug 10 zusätzlich eine hintere Kamera 22 und zwei Seitenkameras 24, 26 auf, die ebenfalls über den Datenbus 18 mit der Steuereinheit 14 verbunden sind. Die Kameras 16, 22, 24, 26 werden zusammen verwendet, um eine Umgebung 28 des Fahrzeugs 10 abzudecken. Auch wenn die verschiedenen Kameras 16, 22, 24, 26 unterschiedliche Eigenschaften haben können, sie können z.B. verschiedene Sichtfelder haben, Farb- oder Monochromkameras sein, unterschiedliche Auflösungen haben, unterschiedliche Bildraten haben und dergleichen, werden Bilder von den Kameras 16, 22, 24, 26 auf die gleiche Weise verarbeitet, so dass die Erfindung im weiteren Verlauf nur auf der Basis der Frontkamera 16 als Beispiel diskutiert wird.
-
Das vorstehende Fahrzeug 10 und das Fahrunterstützungssystem 12 der ersten Ausführungsform werden unter anderem zum Erzeugen und Aktualisieren einer Merkmalskarte 30 verwendet, die beispielhaft in 2 dargestellt ist. Die Merkmalskarte 30 ist eine Karte, die Merkmale 32 an ihren Positionen innerhalb der Umgebung 28 enthält. Die Merkmale 32 entsprechen realen Objekten, d.h. anderen Fahrzeugen, Gebäuden, Pfosten, Zäunen, Bäumen und dergleichen, die üblicherweise die Umgebung 28 des Fahrzeugs 10 definieren. Zu Demonstrationszwecken ist auch das Fahrzeug 10 in der Merkmalskarte 30 dargestellt.
-
Nachstehend wird ein Verfahren zum Erzeugen und Aktualisieren der Merkmalskarte 30 basierend auf dem in 3 dargestellten Ablaufdiagramm unter zusätzlichem Bezug auf die 1 und 2 diskutiert.
-
Das Verfahren beginnt mit Schritt S100, der das Empfangen eines Bildes von der Frontkamera 16 aufweist, die die Umgebung 28 des Fahrzeugs 10 abdeckt. Das Bild wird über den Datenbus 18 der Steuereinheit 14 zugeführt. Wie bereits vorstehend erläutert wurde, verwendet das Fahrunterstützungssystem 12 Structure from Motion, so dass zwei Einzelbilder von der Frontkamera 16 der Steuereinheit 14 zugeführt werden, die die Bilder üblicherweise als eine einzelne Aufnahme mit 3D-Information verarbeitet.
-
In Schritt S110 erzeugt die Steuereinheit 14 mehrere Merkmale 32 basierend auf dem empfangenen Bild, d.h. den durch die Frontkamera 16 bereitgestellten zwei Einzelbildern. Die Merkmale 32 werden innerhalb des empfangenen Bildes identifiziert. Die optische Merkmalserfassung wird unter Verwendung eines Algorithmus zur optischen Merkmalserfassung ausgeführt. Derartige Algorithmen, insbesondere solche, die auf Structure from Motion basieren, sind auf dem Fachgebiet bekannt und werden daher nicht näher diskutiert. Typische Merkmale 32 beziehen sich auf nicht transparente Objekte, die statische oder sich bewegende Objekte aufweisen können, z.B. andere Fahrzeuge, Gebäude, Pfosten, Zäune, Bäume und dergleichen, die üblicherweise die Umgebung 28 des Fahrzeugs 10 definieren.
-
In Schritt S120 identifiziert die Steuereinheit 14 für jedes der identifizierten Merkmale 32 eine Position in der Merkmalskarte 30. Dies bezieht sich auf eine Abbildung der Merkmale 32 in die Merkmalskarte 30. Dadurch wird eine Position der Merkmale 32 identifiziert, die in relativen Werten angegeben werden kann, z.B. bezüglich des Fahrzeugs 10, oder Absolutwerten, z.B. als Positionsinformation basierend auf dem globalen Positionsbestimmungssystem als Referenz.
-
Schritt S130 betrifft das Identifizieren eines Freiraumbereichs 34 in der Merkmalskarte 30 für die Merkmale 32 basierend auf einer Kameraposition am Fahrzeug 10 und dem empfangenen Bild. Daher basiert die Identifizierung des Freiraumbereichs 34 auf dem Sichtkontakt zwischen der Frontkamera 16 des Fahrzeugs 10 und dem jeweiligen Merkmal 32.
-
Der Schritt zum Identifizieren eines Freiraumbereichs 34 ist hier basierend auf einer Teilung der Umgebung 28 in einen Satz von Umgebungssektoren 36, wie in 2 dargestellt ist, in mehrere einzelne Schritte geteilt. Daher werden die identifizierten Merkmale 32 verwendet, um Freiraumbereiche 34 für alle Umgebungssektoren 36 zu identifizieren, die mindestens ein Merkmal 32 enthalten. Die Umgebungssektoren 36 haben jeweils einen Winkel von etwa fünf Grad, was zu einem Satz von 36 Umgebungssektoren 36 des gesamten Sichtfelds von 180° der Frontkamera 16 führt. Die Umgebungssektoren 36 sind z.B. in der Form eines Fächers geteilt, der ein Sichtfeld der Frontkamera 16 abdeckt.
-
Für jeden Umgebungssektor 36, der mindestens ein Merkmal 32 enthält, wird ein zwischen dem mindestens einen Merkmal 32 und der Frontkamera 16 angeordneter Bereich als Freiraumbereich 34 identifiziert, wobei der Freiraumbereich 34 ein Teilbereich eines Bereichs ist, der zwischen dem Merkmal 32 und der Frontkamera 16 angeordnet ist. Der Freiraumbereich 34 wird wie nachstehend spezifiziert identifiziert.
-
Der Freiraumbereich 34 jedes Umgebungssektors 36 wird seitlich durch ein seitliches Winkelmaß bestimmt, die der Winkelbreite des Umgebungssektors 36 entspricht, wie in 2 dargestellt ist. In einer radialen Richtung werden die Grenzen 38, 40 des jeweiligen Freiraumbereichs 34 als kameraseitige Grenze 38 und als merkmalsseitige Grenze 40 bestimmt. Details bezüglich der Bestimmung der kameraseitigen Grenze 38 und der merkmalsseitigen Grenze 40 der einzelnen Umgebungssektoren 36 sind in 1 dargestellt.
-
Die kameraseitige Grenze 38 des Freiraumbereichs 34 wird identifiziert durch Definieren eines Höhenparameters, Bestimmen einer direkten Verbindungslinie 42 zwischen der Frontkamera 16 und einem niedrigsten Merkmal 32 im Bild, und Bestimmen eines Schnittpunkts 44 zwischen der Verbindungslinie 42 und einer Höhenlinie 46 mit einer Höhe über dem Bodenniveau 50, die durch den Höhenparameter spezifiziert ist. Der Höhenparameter bezieht sich auf die Höhe möglicher nicht erfasster Objekte 48 und ist für die gesamte Umgebung 28 des Fahrzeugs 10 konstant, d.h. innerhalb jedes Umgebungssektors 36 wird der gleiche Höhenparameter verwendet. Der Höhenparameter ist in dieser Ausführungsform auf 0,5 m über dem Bodenniveau 50 eingestellt. Das niedrigste Merkmal 32 im Bild ist in der in 1 dargestellten Ausführungsform durch eine Heckseite eines vorausfahrenden Fahrzeugs 52 gegeben.
-
Im Falle eines einzelnen Merkmals 32, das sich innerhalb des jeweiligen Umgebungssektors 36 befindet, wird die merkmalsseitige Grenze 40 des jeweiligen Freiraumbereichs 34 durch einen kürzesten Endabstand des Merkmals 32 identifiziert, wie in 1 beispielhaft dargestellt ist. Der kürzeste Endabstand bezieht sich auf den kürzesten Abstand des Merkmals 32 bezüglich der Frontkamera 16.
-
Im Falle von mehreren Merkmalen 32 innerhalb des Umgebungssektors 36 wird, wie ebenfalls in 2 dargestellt ist, eine merkmalsseitige Grenze 40 üblicherweise basierend auf kürzesten Endabständen der mehreren Merkmale 32 identifiziert. Daher ist die merkmalsseitige Grenze 40 eine Verbindungslinie zwischen den Endabständen der mehreren Merkmale 32, oder die merkmalsseitige Grenze 40 ist durch eine Linie definiert, die in einer Mitte eines Umgebungssektors 36 gestützt ist und so gedreht wird, dass sie den Endabständen der mehreren Merkmale 32 angenähert wird.
-
Alternativ wird im Falle mehrerer Merkmale 32 innerhalb des Umgebungssektors 36 ein Minimalwert unter den kürzesten Endabständen der mehreren Merkmale 32 als merkmalsseitige Grenze 40 identifiziert.
-
In Schritt S140 wird das Merkmal 32 innerhalb der Freiraumbereiche 34 von der Merkmalskarte 30 entfernt. Daher wird der Freiraumbereich 34 als frei von Hindernissen betrachtet, z.B. wenn sich das zugrundeliegende Objekt wegbewegt hat.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- Fahrunterstützungssystem
- 14
- Steuereinheit
- 16
- Frontkamera
- 18
- Datenbus
- 20
- Vorderteil
- 22
- hintere Kamera
- 24
- Seitenkamera (rechte Seite)
- 26
- Seitenkamera (linke Seite)
- 28
- Umgebung
- 30
- Merkmalskarte
- 32
- Merkmal
- 34
- Freiraumbereich
- 36
- Umgebungssektor
- 38
- kameraseitige Grenze
- 40
- merkmalsseitige Grenze
- 42
- Verbindungslinie
- 44
- Schnittpunkt
- 46
- Höhenlinie
- 48
- Objekt
- 50
- Bodenniveau
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
