-
Die Erfindung betrifft ein Verfahren zum Wiedererkennen eines Anhängers, welcher an ein Fahrzeug angehängt ist, nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Ein gattungsgemäßes Verfahren ist im Wesentlichen aus der deutschen Offenlegungsschrift
DE 10 2015 201 586 A1 bekannt. Dabei ist es so, dass ein an ein Fahrzeug angehängter Anhänger anhand eines Abgleichs zwischen einem aktuell aufgenommenen Bild und einem gespeicherten Bild wiedererkannt werden kann. Dies kann genutzt werden, um gespeicherte Parameter des wiederkannten Anhängers für einen Anhängerassistenten in dem Fahrzeug zu verwenden, und somit die Größe des Anhängers, die zulässigen Knickwinkel und dergleichen anhand der gespeicherten Daten zu kennen, um so eine einfache und komfortable Möglichkeit zur Steuerung eines Anhängerassistenten zu schaffen.
-
Ein solcher Anhängerassistent ist beispielsweise in der Anmeldung
DE 10 2017 007 473 A1 der Anmelderin als Verfahren zur Rangierunterstützung entsprechend beschrieben.
-
Für den wiedererkannten Anhänger gemäß der
DE 10 2015 201 586 A1 lassen sich nun manuell, beispielsweise beim Abspeichern des ersten Datensatzes, die Größe des Anhängers und dergleichen eingeben. Man hat damit den Vorteil, dass zumindest die Geometrie des Anhängers in etwa bekannt ist und somit nicht nur über die Rückfahrkamera und eventuelle Abstandssensoren Daten für den Anhängerassistenten geliefert werden.
-
Problematisch ist es dabei, dass bei einer solchen vorgespeicherten Eingabe, wobei potenziell auch ein Abrufen der Grundmaße des Anhängers aus einer Herstellerdatenbank denkbar wäre, Anbauelemente wie beispielsweise Sportequipment, Fahrradträger oder auch überhängende Transportgegenstände, zum Beispiel aufgeladene Balken oder dergleichen, nicht bekannt sind und dementsprechend auch nicht in die Berechnungen des Anhängerassistenten einfließen können. Letztlich leiden hierunter der Funktionsumfang und die Funktionsgüte des Anhängerassistenten.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein solches Verfahren zum Wiedererkennen eines Anhängers nochmals weiter zu verbessern, um insbesondere die oben genannten Nachteile zu vermeiden.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Bei dem erfindungsgemäßen Verfahren ist es so, dass zum Erzeugen der zu speichernden Geometrie und Textur des Anhängers dieser mit einer mit dem Fahrzeug zumindest mittelbar gekoppelten Sensorik wenigstens einmal von wenigstens drei seiner Umfangsseiten Seiten erfasst wird, wobei die dabei erfassten Daten in ein dreidimensionales Modell mit Geometrie und Textur des Anhängers gewandelt und in dem Fahrzeug gespeichert werden. Wird der Anhänger dann beispielsweise anhand des einfachen Bildes einer Rückfahrkamera beim Anhängen des Anhängers wiedererkannt, dann kann auf dieses 3D-Modell des Anhängers zurückgegriffen werden. Damit sind sicher und zuverlässig alle notwendigen Parameter, wie z.B. die jeweiligen Abmessungen, Anbauten und dergleichen exakt dieses Anhängers in dem Anhängerassistenten bekannt und können dementsprechend verwendet werden, um eine ideale Funktion des Anhängerassistenten durch das vorliegende 3D-Modell des jeweils angehängten Anhängers entsprechend zu unterstützen.
-
Die Umfangsseiten des Anhängers bezeichnen dabei die sich zumindest im Wesentlichen in der Vertikalen erstreckenden Seitenflächen, also die, die senkrecht zum Untergrund, auf welchem der Anhänger steht, ausgebildet sind. Neben senkrecht sind dabei auch schräge Ausgestaltungen oder dergleichen selbstverständlich denkbar. Die Erfassung muss prinzipiell von wenigstens drei Seiten oder 180° des Umfangs aus erfolgen, sie kann jedoch gemäß einer sehr vorteilhaften Ausgestaltung insbesondere auch um den gesamten Umfang herum, also von allen vier Seiten aus, erfolgen. Die Qualität der erfassten Daten wird hierdurch nochmals verbessert.
-
Eine sehr vorteilhafte Weiterbildung sieht es dabei vor, dass temporäre Veränderungen an dem Anhänger durch eine erneute Erfassung von Daten erkannt und bis zur nächstfolgenden Erfassung berücksichtigt werden. Somit ist es möglich, bei zusätzlicher Ladung, welche gegebenenfalls über den Anhänger übersteht, bei modifizierter Ladung oder solcher die sich verschoben hat, bei aufgeladenen Fahrrädern oder dergleichen, den Anhänger erneut zumindest von den Umfangsseiten, an denen eine Änderung aufgetreten ist, zu erfassen. Das 3D-Modell wird dann unter Berücksichtigung dieser erfassten Daten entsprechend korrigiert, insbesondere bis zu einer erneuten Erfassung aufgrund einer erneuten temporären Veränderung, sodass immer die aktuellen Parameter hinsichtlich der Geometrie und der Textur in dem 3D-Modell des jeweiligen Anhängers vorliegen. Damit kann der Anhängerassistent einen Nutzer ideal hinsichtlich des Rangierens oder Rückwärtsfahrens mit dem Anhänger unterstützen.
-
Die Sensorik kann gemäß einer außerordentlich günstigen Ausgestaltung des erfindungsgemäßen Verfahrens dabei wenigstens eine Kamera und/oder einen Lidar umfassen. Insbesondere durch eine Kamera oder einen Lidar oder durch eine Sensorfusion zwischen einer Kamera und einem Lidar ist es besonders einfach und effizient möglich, die entsprechenden Daten für das 3D-Modell zu generieren.
-
Gemäß einer vorteilhaften Weiberbildung können dabei ergänzend Ultraschallsensoren und/oder Radarsensoren in der Sensorik mit vorhanden sein, um durch eine weitere Sensorfusion die Datenqualität noch weiter zu steigern.
-
Eine vorteilhafte Weiterbildung dieser Idee sieht es dabei vor, dass die Kamera als Stereokamera ausgebildet ist. Über eine solche Stereokamera lassen sich die Abmessungen des Anhängers direkt und problemlos erfassen. Da heute ohnehin viele Fahrzeuge mit Stereokameras ausgerüstet sind, kann eine solche in dem Fahrzeug vorhandene Stereokamera zur Erfassung des Anhängers genutzt werden, wenn das Fahrzeug beispielsweise um den Anhänger herumfährt und diesen erfasst.
-
Dabei kann die Kamera gemäß einer besonders vorteilhaften Weiterbildung aus einer oder mehreren Kameras bestehen, welche in dem Fahrzeug fest verbaut sind und ansonsten anderweitig genutzt werden. Insbesondere können die Kameras dabei ein 360°-Kamerasystem bzw. ein Surroundview-System ausbilden, sodass das gesamte Umfeld des Fahrzeugs entsprechend erfasst wird und damit lediglich ein Entlangfahren an dem Anhänger beispielsweise auf beiden Seiten in Fahrtrichtung rechts und links ausreicht, um den Anhänger von allen Seiten zu erfassen.
-
Eine ergänzende oder alternative Ausgestaltungsvariante des erfindungsgemäßen Verfahrens kann es ferner vorsehen, dass als Kamera die Kamera eines Smartphones genutzt wird, welches direkt oder mittelbar, beispielsweise über einen Server, mit dem Fahrzeug verbunden ist. Dadurch ist es besonders einfach und effizient möglich, den Anhänger zu umkreisen, da der Nutzer lediglich mit der Kamera seines Smartphones nach Aktivierung einer entsprechenden Funktion, beispielsweise in einer Anwendung bzw. App des Fahrzeug- oder Anhängerherstellers, den Anhänger umrunden muss. Die App kann dann die Daten an das Fahrzeug übertragen. Ungeachtet einer gegebenenfalls schwierigen Parksituation lässt sich der Anhänger typischerweise zu Fuß immer relativ einfach umrunden, sodass die Bereitstellung der notwendigen Daten über die Kamera eines Smartphones ideal und sehr komfortabel ist. Ideal ist dabei ein Smartphone mit einer Stereokamera.
-
Zumindest bei der Verwendung einer Monokamera, beispielsweise einer Kamera des Fahrzeugs oder auch der Kamera eines Smartphones, wird dabei eine Bewegungstrajektorie der Kamera anhand von Sensoren in dem Fahrzeug oder dem Smartphone erfasst, und bei der Erstellung des 3D-Modells entsprechend berücksichtigt. Eine Bewegungstrajektorie der Kamera kann auch bei einer Monokamera dazu genutzt werden, die Abschätzung von geometrischen Strecken, und damit letztlich der Größe des Anhängers, mit hoher Qualität zu realisieren. Damit ist auch eine gegenüber einer Stereokamera mit ihren fest zueinander positionierten und exakt ausgerichteten Objektiven sehr viel einfachere Monokamera, insbesondere in einem Smartphone, in der Lage, die notwendigen Daten mit ausreichender Genauigkeit zu generieren.
-
Weitere vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemäßen Verfahrens ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine Draufsicht auf ein Gespann, beispielsweise aus einem Pkw und einem Anhänger;
- 2 eine Draufsicht auf eine erste Möglichkeit zur Umsetzung der Anhängererfassung gemäß dem erfindungsgemäßen Verfahren;
- 3 eine Draufsicht auf eine zweite Möglichkeit zur Umsetzung der Anhängererfassung gemäß dem erfindungsgemäßen Verfahren;
- 4 eine Draufsicht auf eine dritte Möglichkeit zur Umsetzung der Anhängererfassung gemäß dem erfindungsgemäßen Verfahren;
- 5 eine Draufsicht auf ein Fahrzeuggespann mit einer möglichen temporären Änderung des Anhängers; und
- 6 eine Draufsicht auf ein Fahrzeugspann mit einer weiteren möglichen temporären Änderung des Anhängers.
-
In der Darstellung der 1 ist ein Gespann 1 dargestellt, welches in dem hier dargestellten Ausführungsbeispiel aus einem Pkw 2 und einem Anhänger 3, hier einem einachsigen Anhänger, besteht, Prinzipiell lässt sich das nachfolgend beschriebene Verfahren jedoch vom Fachmann ohne weiteres auch auf andere Gespanne, beispielsweise Gespanne mit Lastkraftwagen, Zugmaschinen, Traktoren oder dergleichen, übertragen.
-
Der Anhänger 3 des Gespanns 1 ist über eine Deichsel 4 und eine Anhängevorrichtung 5, bestehend aus einer sogenannten Anhängerkupplung 5' des Fahrzeugs und einer korrespondierenden Aufnahme 5" an der Deichsel, entsprechend gekoppelt. Nachfolgend ist dabei die Anhängerkupplung des Fahrzeugs 2, wenn diese alleine gezeigt ist, mit 5' und die korrespondierende Aufnahme an dem Anhänger 3 mit 5" bezeichnet. Bei angekoppelter Darstellung wird lediglich das Bezugszeichen 5 verwendet.
-
Das Fahrzeug 2 verfügt außerdem über in das Fahrzeug 2 integrierte Kameras, beispielsweise eine Rückfahrkamera 6, sowie zwei jeweils mit 8 bezeichnete Kameras an Seitenspiegeln 7 des Fahrzeugs 2. Weitere Kameras können ferner vorhanden sein und den Aufbau beispielsweise zu einem Surroundview-System ausbauen. Dies ist für die hier vorliegende Erfindung jedoch von untergeordneter Bedeutung. Da ferner ein solches Surroundview-System für ein Fahrzeug 2 mit einer Vielzahl von Kameras allgemein bekannt ist, wird auf eine Darstellung weiterer Kameras als der Kamera 6 und 8 hier verzichtet.
-
Ergänzend oder alternativ zu diesen Kameras können auch weitere Sensoren eingesetzt werden, beispielsweise ein Lidar. Zusätzlich lässt sich der Lidar und/oder die Kamera über eine Sensorfusion mit Daten weiterer Sensoren, wie beispielsweise Ultraschallsensoren oder Radarsensoren hinsichtlich der Qualität der erfassten Daten verbessern. Ungeachtet dessen ist das hier dargestellte Ausführungsbeispiel nachfolgend auch weiterhin nur unter Bezug auf die Kameras beschrieben, ohne die Idee jedoch darauf zu beschränken.
-
Die Daten der Kameras 6 und 8 gelangen in eine Elektronik 9, in welcher die Bilddaten entsprechend aufbereitet und gespeichert werden, um sie dann einem anhand seines Displays in dem Fahrzeug 2 angedeuteten Anhängerassistenten 10 zur Verfügung zu stellen. Ein entscheidender Aspekt ist dabei die Kontrolle eines sogenannten Knickwinkels α zwischen einer Längsachse 11 des Fahrzeugs 2 und einer Längsachse 12 des Anhängers. Dieser darf bestimmte Grenzwerte nicht überschreiten, einerseits um eine Beschädigung des Anhängers 3 oder des Fahrzeugs 2 zu verhindern und andererseits um das Gespann 1 nicht in eine Situation zu bringen, in der beispielsweise beim rückwärtigen Rangieren eine Weiterfahrt nicht mehr möglich ist bzw. die angedachte Rangier-Trajektorie nicht mehr umgesetzt werden kann.
-
Eine entscheidende Basis für einen Anhängerassistenten 10 in dem Fahrzeug 2 ist dabei eine möglichst genaue Kenntnis des Anhängers 3, und hier insbesondere seiner Geometrie, aber auch seiner Textur. Prinzipiell ist es bereits bekannt, dass verschiedene Anhänger 3, welche an das Fahrzeug 2 angehängt werden, über beispielsweise die Rückfahrkamera 6 entsprechend erkannt werden. Aus einer Datenbank oder auch über eine Fernabfrage beim Hersteller des Anhängers 3 lassen sich dann entsprechende Grunddaten, wie beispielsweise die Abmessungen des Anhängers 3, entsprechend laden oder sind von einer bereits vorherigen Verwendung des Anhängers 3 gespeichert. Wird der Anhänger dann über die Rückfahrkamera 6 eindeutig wiedererkannt, dann können diese Daten in dem Anhängerassistenten 10 verwendet werden. In der Praxis ist es aber so, dass die Anhänger relativ selten genau so, wie sie vom Hersteller ausgeliefert worden sind, auch verwendet werden. Die Anhänger können beispielsweise über Anbauteile oder durch die Ausgestaltung mit einer verstellbaren Deichsel entsprechend modifiziert sein, insbesondere hinsichtlich der für den Anhängerassistenten 10 benötigten Parameter. Typische Anbauteile können beispielsweise Anbauteile zum Transport von Sportgeräten sein. In der Darstellung der 5 ist rein beispielhaft ein Fahrradträger 18 auf der Deichsel 4 des Anhängers 3 montiert. Dieser beeinflusst dann den Knickwinkel α entsprechend. Eine weitere „Gefahr“ bei der Nutzung des Anhängers 3 ist das Beladen mit überstehender Ladung 19, welche in 6 anhand von einigen Balken beispielhaft angedeutet ist. Die nach vorne in Richtung des Fahrzeugs 2 über den Anhänger 3 überstehende Ladung beeinflusst dann auch wieder den maximal möglichen Knickwinkel α. Der nach hinten über den Anhänger 3 überstehende Teil der Ladung 19 beeinflusst das Rangieren ebenfalls, da er die Gesamtlänge des Anhängers 3 und damit des Gespanns 1 verändert. All dies wäre also sinnvoll jeweils zu kennen und entsprechend dem jeweiligen Anhänger 3 zuzuordnen, zumindest während einer Fahrt des Gespanns 1 unter diesen gegebenenfalls temporär veränderten Bedingungen.
-
Um nun möglichst zuverlässige Daten über den Anhänger 3 für den Anhängerassistenten 10 zu generieren, ist es entsprechend vorgesehen und in 2 in einer ersten Ausführungsvariante gezeigt, dass der Anhänger 3 von allen Seiten über wenigstens eine Kamera, hier die Kamera 8, im fahrerseitigen Seitenspiegel 7 erfasst wird. Das Fahrzeug 2 umrundet dafür den Anhänger 3 vollständig, ein- oder mehrmals. Dies ist mit der Trajektorie 14 angedeutet. Aus den unterschiedlichen Perspektiven und mit Unterstützung der durch Sensoren des Fahrzeugs 2 ermittelten Trajektorie, beispielsweise via Odometrie, lässt sich dann ein vollständiges 3D-Modell des Anhängers inklusive seiner Textur rekonstruieren und entsprechend genau diesem Anhänger 3 zugeordnet in dem Fahrzeug 2 speichern. Während des Umkreisens des Anhängers 3 lässt sich dabei in dem Fahrzeug 2 beispielsweise auf einem Display des Anhängerassistenten 10 der Status bzw. die Vollständigkeit der Erzeugung des 3D-Modells anzeigen, sodass ein Fahrer des Fahrzeugs 2 weiß, ob er den Anhänger 3 bereits vollständig bzw. ausreichend oft vollständig umkreist hat, um alle für das 3D-Modell benötigte Daten zu generieren. Das einmal erfasste 3D-Modell wird dann in dem System des Fahrzeugs 2 dauerhaft gespeichert und kann beim erneuten Koppeln des identischen Anhängers 3 an das Fahrzeug 2 auf Basis einer bildbasierten Mustererkennung des Anhängers 3 identifiziert und automatisch im Hintergrund geladen werden.
-
Eine Alternative zu dem Umrunden des Anhängers 3, welche je nach Platz und Verkehrsverhältnissen gegebenenfalls schwierig zu realisieren ist, ist in der 3 beispielhaft dargestellt. Prinzipiell reicht es, insbesondere wenn die Kameras 6, 8 sowie gegebenenfalls weitere Kameras oder Stereokameras des Fahrzeugs 2 zu einem Surroundview-System kombiniert sind, ein oder zweimal an dem Anhänger 3 entlang zu fahren. Beispielsweise, wie in der Darstellung der 3 durch die dortige Trajektorie 13 angedeutet, zuerst auf seiner in Fahrtrichtung rechten und dann auf seiner in Fahrtrichtung linken Seite, um den Anhänger 3 vollständig zu erfassen und die entsprechenden Daten für das 3D-Modell zu generieren.
-
In 4 ist eine weitere Variante dargestellt, bei welcher auf das vollständige Umkreisen des Anhängers 3 ebenso wie auf das Entlangfahren entlang des Anhängers 3 auf beiden Seiten verzichtet werden kann. Vielmehr kann eine Person 14, insbesondere der Nutzer des Fahrzeugs 2 und des Anhängers 3, den Anhänger 3 zu Fuß umrunden und diesen dabei mit einer Kamera 17 eines Smartphones 15 oder prinzipiell auch eines anderen mobilen Endgeräts entsprechend aufnehmen. Die von dem Smartphone 15 generierten Bilddaten werden dann beispielsweise über eine als Bluetooth-Verbindung ausgeführte kabellose Datenverbindung 16 an den Anhängerassistenten 10 des Fahrzeugs 2 übertragen und stehen dort entsprechend zur Verfügung. Insbesondere bei der Verwendung eines Smartphones 15 bzw. dessen Kamera 17 lässt sich außerdem die Trajektorie 13 des Smartphones sehr exakt mit ermitteln, da derartige Geräte heute über ausgefeilte Sensoren hinsichtlich Beschleunigung, Lage, Bewegung und dergleichen verfügen. Damit lassen sich auch ohne eine Stereokamera zu verwenden, was prinzipiell, insbesondere wenn diese in dem Fahrzeug 2 eingebaut ist, auch denkbar wäre, Daten mit einer ausreichenden Qualität hinsichtlich der geometrischen Abmessung des Anhängers 3 generieren.
-
Wie bereits oben erwähnt und in den 5 und 6 angedeutet, können nun Anbauteile wie beispielsweise Fahrradträger 18 oder Ladung 19 den Anhänger 3 entsprechend überragen. Dieses Wissen wäre nun für den Anhängerassistenten 10 wertvoll. Aus diesem Grund kann bei Abweichungen der individuellen Geometrie des Anhängers 3, beispielsweise verursacht durch den Fahrradträger 18 oder die Ladung 19 oder auch andere angebaute oder durch den Anhänger 3 transportierte Gegenstände, eine erneute Vermessung des Anhängers 3 erfolgen, indem dieser entsprechend umrundet wird, um die entsprechenden Daten zu erfassen. Auch hier sind wieder beispielsweise die drei zuvor beschriebenen Varianten zur Erfassung des Anhängers 3 von allen Seiten denkbar. Das 3D-Modell lässt sich dann durch die geänderten Daten entsprechend anpassen, sodass bei der nachfolgenden Fahrt der Anhängerassistent 10 wiederum ideal funktioniert.
-
Die Geometrie und Textur des jeweiligen Anhängers 3 in der temporär vorliegenden Variante hinsichtlich von Anbauteilen 12 und Ladung 13 kann also durch das Umkreisen des Anhängers 3 beispielsweise mit dem Fahrzeug 2 oder dem Smartphone 15 auf eine spielerische einfache Art und Weise erfasst werden. Die Verfügbarkeit, die Güte und die Umfänge der Assistenzfunktionen in dem Anhängerassistenten 10 im Kontext des Rangierens mit angekoppeltem Anhänger 3 können dann auf Basis des aus den Bilddaten generierten 3D-Modells erheblich gesteigert werden. Auf Basis des texturierten 3D-Modells kann außerdem ein völlig neuartiges Anzeigekonzept in den Anhängerassistenten 10 implementiert werden, bei dem das Gespann 1 durch die individuell eingelernten Daten perspektivisch und realitätsnah dargestellt wird und damit das Rangieren erheblich erleichtert. Zusätzlich würden beispielsweise individuelle Beschriftungen der Anhängerplane wie beispielsweise ein Firmenlogo oder dergleichen Teil der generierten 3D-Modelle mit Textur, und damit auch Teil der in dem Anhängerassistenten generierten 3D-Ansicht des Gespanns 1. Die dauerhafte Speicherung der Daten und ein Wiedererkennen eines einmal erfassten 3D-Modells des jeweiligen Anhängers 3 durch die Fahrzeugsensorik, unter Einbeziehung beispielsweise der Rückfahrkamera 6, erlaubt damit eine deutliche Reduzierung der Aufwands auf Seiten des Nutzers und erhöht die Verfügbarkeit entsprechend, da, wenn keine temporäre Änderung durch Ladung 19 oder Anbauteile 18 vorgenommen worden ist, oder diese unverändert ist, ein erneutes Umrunden des Anhängers 3 zur Erfassung von Bilddaten nicht notwendig ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015201586 A1 [0002, 0004]
- DE 102017007473 A1 [0003]
