DE102019219751A1

DE102019219751A1 - Object detection

Info

Publication number: DE102019219751A1
Application number: DE102019219751.5A
Authority: DE
Inventors: Steffen Bucher
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-06-17

Abstract

Ein Verfahren (200) zum Bestimmen eines Objekts (115) im Umfeld (120) eines Fahrzeugs (105) umfasst Schritte des optischen Erfassens einer vorbestimmten Kennzeichnung (135), die im Umfeld (120) angebracht ist; des Bestimmens eines nicht erfassbaren Abschnitts (165) der Kennzeichnung (135); und des Bestimmens des Objekts (115) auf der Basis des nicht erfassbaren Abschnitts (165).A method (200) for determining an object (115) in the surroundings (120) of a vehicle (105) comprises steps of optically detecting a predetermined identification (135) which is attached in the surroundings (120); determining an undetectable portion (165) of the identifier (135); and determining the object (115) based on the undetectable portion (165).

Description

Die vorliegende Erfindung betrifft eine Objekterfassung. Insbesondere betrifft die Erfindung die Erfassung eines Objekts im Umfeld eines Fahrzeugs.The present invention relates to object detection. In particular, the invention relates to the detection of an object in the vicinity of a vehicle.

Zur Vermeidung von Unfällen kann ein Umfeld eines Kraftfahrzeugs mittels eines oder mehrerer Sensoren abgetastet werden und ein Objekt im Umfeld kann erkannt werden. In Abhängigkeit des erkannten Objekts kann das Kraftfahrzeug dann gesteuert werden. Beispielsweise kann ein Fahrerassistenzsystem einen Hinweis auf ein kollisionsgefährdetes Objekt ausgeben oder eine Maßnahme zur Kollisionsvermeidung einleiten. Ein autonomes Kraftfahrzeug kann eigenständig Maßnahmen zur Kollisionsvermeidung durchführen.To avoid accidents, the surroundings of a motor vehicle can be scanned by means of one or more sensors and an object in the surroundings can be recognized. The motor vehicle can then be controlled as a function of the detected object. For example, a driver assistance system can output an indication of an object at risk of collision or initiate a measure to avoid a collision. An autonomous motor vehicle can independently carry out collision avoidance measures.

Die Qualität einer Objekterkennung ist üblicherweise abhängig von einer Anzahl, Art und Qualität von verfügbaren Sensoren. Jeder Sensor kann seine eigenen Stärken und Schwächen aufweisen, sodass das Kraftfahrzeug auch bei guter Ausstattung mit Sensoren in eine Situation gelangen kann, in welcher das Umfeld nicht ausreichend gut abgetastet werden kann. Das Risiko einer Kollision mit einem nicht erkannten Objekt, insbesondere mit einer Person, kann dadurch ansteigen.The quality of an object detection is usually dependent on a number, type and quality of available sensors. Each sensor can have its own strengths and weaknesses, so that even if the motor vehicle is well equipped with sensors, it can get into a situation in which the surroundings cannot be scanned sufficiently well. This can increase the risk of a collision with an unrecognized object, in particular with a person.

Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Abtastung eines Umfelds eines Fahrzeugs mittels eines Sensors. Die Erfindung löst die Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.One object on which the present invention is based is to provide an improved technique for scanning the surroundings of a vehicle by means of a sensor. The invention solves the problem by means of the subjects of the independent claims. Subclaims reproduce preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Bestimmen eines Objekts im Umfeld eines Fahrzeugs Schritte des optischen Erfassens einer vorbestimmten Kennzeichnung, die im Umfeld angebracht ist; des Bestimmens eines nicht erfassbaren Abschnitts der Kennzeichnung; und des Bestimmens des Objekts auf der Basis des nicht erfassbaren Abschnitts.According to a first aspect of the present invention, a method for determining an object in the surroundings of a vehicle comprises steps of optically detecting a predetermined identification that is attached in the surroundings; determining an undetectable portion of the label; and determining the object based on the undetectable portion.

Erfindungsgemäß kann ein an Bord des Fahrzeugs vorhandener Sensor dazu genutzt werden, eine im Umfeld erwartete Kennzeichnung zu erfassen. In einem Abschnitt, in dem dieses Erfassen nicht gelingt, kann ein Objekt zwischen dem Sensor und der Kennzeichnung liegen. So kann das Objekt auch dann bestimmt werden, wenn es durch den Sensor nicht direkt abgetastet werden kann.According to the invention, a sensor present on board the vehicle can be used to detect an identifier expected in the surroundings. In a section in which this detection does not succeed, an object can lie between the sensor and the marking. In this way, the object can be determined even if it cannot be scanned directly by the sensor.

Das Verfahren kann beispielsweise an Bord eines teilweise oder vollständig autonom fahrenden Fahrzeugs eingesetzt werden. Das Fahrzeug kann etwa im öffentlichen Personennahverkehr als Kleinbus oder Bus betrieben werden. Der Sensor kann insbesondere eine optische Kamera umfassen, die nach vorne, nach hinten oder zu einer Seite des Fahrzeugs ausgerichtet sein kann. Die Kamera kann primär für eine optische Abtastung des Umfelds in weiterer Entfernung eingerichtet sein, und in einem Nahbereich nur mäßige Abtastergebnisse produzieren. Mit Hilfe der vorgestellten Technik kann eine Kollision mit einem Objekt im Nahbereich trotzdem vermieden werden. In anderen Ausführungsformen kann der Sensor auch beispielsweise einen Radar- oder LiDAR-Sensor umfassen.The method can be used, for example, on board a partially or fully autonomous vehicle. The vehicle can be operated as a minibus or bus in local public transport, for example. The sensor can in particular comprise an optical camera which can be oriented to the front, to the rear or to one side of the vehicle. The camera can primarily be set up for optical scanning of the surroundings at a greater distance and only produce moderate scanning results in a close-up area. With the help of the technology presented, a collision with an object in the close range can nevertheless be avoided. In other embodiments, the sensor can also comprise, for example, a radar or LiDAR sensor.

Die Kennzeichnung kann auf eine vorbestimmte Oberfläche im Umfeld aufgebracht sein. Die Oberfläche kann insbesondere im Wesentlichen horizontal oder im Wesentlichen vertikal verlaufen. Eine horizontale Fläche kann beispielsweise eine Fahrbahn, eine vertikale Fläche beispielsweise eine Hauswand, ein Tor oder ein Schild betreffen. Es ist bevorzugt, dass die Oberfläche eben ist, wobei die Oberfläche auch aus unterschiedlichen Abschnitten zusammengesetzt sein kann, die nicht notwendigerweise in der genau gleichen Ebene liegen. Die Kennzeichnung kann insbesondere an einem Ort angebracht sein, an welchem eine verbesserte Erkennung von Objekten im Umfeld des Fahrzeugs erzielt werden soll. Im Fall eines Busses kann dies beispielsweise im Bereich einer Haltestelle der Fall sein.The identification can be applied to a predetermined surface in the area. The surface can in particular run essentially horizontally or essentially vertically. A horizontal surface can relate to a roadway, for example, a vertical surface to a house wall, a gate or a sign, for example. It is preferred that the surface is flat, it also being possible for the surface to be composed of different sections which do not necessarily lie in exactly the same plane. The identification can in particular be attached at a location at which an improved detection of objects in the vicinity of the vehicle is to be achieved. In the case of a bus, this can be the case, for example, in the area of a bus stop.

Die Oberfläche kann durch das Fahrzeug befahrbar sein. Insbesondere kann die Oberfläche eine Fahrbahn für das Fahrzeug umfassen. Weiter kann die Oberfläche durch eine Person begehbar sein, die sich im Umfeld des Fahrzeugs aufhält. Die Person kann einen Passagier des Fahrzeugs umfassen. Die Kennzeichnung ist weiter bevorzugt unmittelbar auf die Oberfläche aufgebracht.The surface can be drivable by the vehicle. In particular, the surface can comprise a roadway for the vehicle. Furthermore, the surface can be walked on by a person who is in the vicinity of the vehicle. The person can include a passenger of the vehicle. The identification is further preferably applied directly to the surface.

Im Rahmen des Verfahrens wird bevorzugt eine Kontur des Objekts bestimmt. Auf der Basis der Kontur kann das Objekt erkannt werden, beispielsweise eine Person, ein Tier oder ein anderes Fahrzeug. Die bestimmte Kontur kann gefüllt sein oder einen ausgesparten oder transparenten Bereich des Objekts berücksichtigen. Ferner können eine Größe und/oder eine Entfernung des Objekts bestimmt werden. Auf der Basis von zwei Bestimmungen, die zeitversetzt oder auf der Basis von Abtastungen zweier Sensoren erfolgen können, kann auch eine dreidimensionale Oberfläche des Objekts bestimmt werden. Auf der Basis dieser Informationen kann eine Erkennung des Objekts erleichtert sein.A contour of the object is preferably determined as part of the method. The object can be recognized on the basis of the contour, for example a person, an animal or another vehicle. The specific contour can be filled or take into account a recessed or transparent area of the object. Furthermore, a size and / or a distance of the object can be determined. A three-dimensional surface of the object can also be determined on the basis of two determinations, which can be carried out with a time delay or on the basis of scans from two sensors. Recognition of the object can be facilitated on the basis of this information.

Die Kennzeichnung kann bezüglich einer vorbestimmten Fläche wiederholungsfrei sein, sodass ein Abschnitt der Kennzeichnung von der Größe der Fläche eindeutig einer Position in der Kennzeichnung zugeordnet werden kann. Insbesondere können eine Größe und/oder eine Form der Fläche vorbestimmt sein. Die Form kann einem Rechteck oder Quadrat entsprechen. Eine Mehrdeutigkeit bei der Bestimmung des Objekts, seiner Kontur, eines ausgesparten oder transparenten Abschnitts, seiner Position bezüglich der Kennzeichnung oder bezüglich des Fahrzeugs kann so vermieden werden. Das Objekt kann verbessert mit Bezug auf das Fahrzeug bestimmt werden und eine Strategie zur Vermeidung einer Kollision des Fahrzeugs mit dem Objekt kann auf der Basis verbesserter Informationen bestimmt oder gesteuert werden.The identification can be repetitive with respect to a predetermined area, so that a section of the identification of the size of the area can be clearly assigned to a position in the identification. In particular, a size and / or a shape of the surface can be predetermined. The shape can be a rectangle or Square match. An ambiguity in the determination of the object, its contour, a recessed or transparent section, its position with respect to the marking or with respect to the vehicle can thus be avoided. The object can be determined improved with respect to the vehicle and a strategy for avoiding a collision of the vehicle with the object can be determined or controlled on the basis of improved information.

Die Kennzeichnung kann binär strukturiert sein, beispielsweise indem mittels eines Anstrichs ein vorbestimmtes Muster auf eine Oberfläche aufgebracht wird. Insbesondere kann die Kennzeichnung einzelne Elemente umfassen, wobei benachbarte Elemente bevorzugt keinen größeren als einen vorbestimmten Abstand aufweisen. Die Elemente können insbesondere graphische Elemente wie Striche, Flächen, Kurven oder Punkte umfassen. Auch ein Symbol oder ein Herstellerhinweis, etwa in Form eines Markenlogos, können verwendet werden. Die Größe des vorbestimmten Abstands legt fest, wie groß ein Objekt sein muss, um auf jeden Fall erkannt zu werden. Je kleiner der Abstand ist, desto kleiner kann ein erkanntes Objekt sein und desto genauer kann eine Form des Objekts bestimmt werden.The identification can be structured in a binary manner, for example in that a predetermined pattern is applied to a surface by means of a coating. In particular, the identification can comprise individual elements, with adjacent elements preferably not being more than a predetermined distance apart. The elements can in particular include graphic elements such as lines, areas, curves or points. A symbol or a manufacturer's reference, for example in the form of a brand logo, can also be used. The size of the predetermined distance determines how large an object must be in order to be recognized in any case. The smaller the distance, the smaller a recognized object can be and the more precisely a shape of the object can be determined.

Die Kennzeichnung kann einzelne Elemente umfassen, die in pseudo-zufälliger Lage zueinander angeordnet sind. So können die Elemente für das menschliche Auge unauffällig auf der Oberfläche vorgesehen sein.The identification can comprise individual elements which are arranged in a pseudo-random position relative to one another. The elements can thus be provided on the surface inconspicuously to the human eye.

Die Kennzeichnung kann eine vorbestimmte Farbe aufweisen, wobei ein Abschnitt im Umfeld nur dann der Kennzeichnung zugeordnet wird, falls er die vorbestimmte Farbe aufweist. Die Farbe kann beispielsweise durch einen Farbton oder einen vorbestimmten Wellenlängenbereich definiert sein. Die Kennzeichnung kann dadurch verbessert von der Umgebung unterschieden werden.The identification can have a predetermined color, a section in the surroundings being assigned to the identification only if it has the predetermined color. The color can be defined, for example, by a hue or a predetermined wavelength range. The marking can thus be better distinguished from the surroundings.

In einer weiteren Ausführungsform ist die Kennzeichnung retroreflektierend, wobei ein Abschnitt im Umfeld nur dann der Kennzeichnung zugeordnet wird, falls er retroreflektierend ist. Ein Retroreflektor sendet Licht im Wesentlichen in die Richtung zurück, aus der es auf den Retroreflektor fällt. Übliche Retroreflektoren umfassen beispielsweise sogenannte Katzenaugen oder Rückstrahler. Retroreflektoren können jedoch auch beispielsweise in Form von kleinen Glas- oder Kunststoffpartikeln vorgesehen sein, die mittels einer pastösen, aushärtbaren Masse an einer Oberfläche befestigt werden können. Die Masse kann ein Polymer umfassen und Partikel können beispielsweise die Form eines Prismas oder Tetraeders aufweisen. Eine übliche Straßenmarkierung kann Retroreflektoren umfassen. Die Masse kann dabei einen vorbestimmten Farbton aufweisen, beispielsweise Weiß oder Gelb. Ein Retroreflektor im Umfeld kann erfasst werden, indem er mit Licht aus unterschiedlichen Richtungen beleuchtet wird. Steigt eine beobachtete Lichtintensität einer vorbestimmten Stelle im Umfeld nur dann an, wenn sie mit Licht aus der Richtung der Kamera beleuchtet wird, so kann das Vorliegen eines Retroreflektors bestimmt werden.In a further embodiment, the marking is retroreflective, a section in the surroundings being assigned to the marking only if it is retroreflective. A retroreflector essentially sends light back in the direction from which it strikes the retroreflector. Usual retroreflectors include, for example, so-called cat's eyes or reflectors. However, retroreflectors can also be provided, for example, in the form of small glass or plastic particles that can be attached to a surface by means of a pasty, hardenable mass. The mass can comprise a polymer and particles can, for example, have the shape of a prism or tetrahedron. Common road marking may include retroreflectors. The mass can have a predetermined color, for example white or yellow. A retroreflector in the vicinity can be detected by illuminating it with light from different directions. If an observed light intensity of a predetermined point in the environment only increases when it is illuminated with light from the direction of the camera, the presence of a retroreflector can be determined.

Die Kennzeichnung kann auch ein vorbestimmtes Reflexionsverhalten von farbigem Licht aufweisen. Beispielsweise kann die Kennzeichnung bei Beleuchtung in einem ersten vorbestimmten Wellenlängenbereich stärker reflektieren als bei Beleuchtung in einem zweiten vorbestimmten Wellenlängenbereich. Ein Abschnitt im Umfeld kann nur dann der Kennzeichnung zugeordnet werden, falls er bei Beleuchtung im ersten Wellenlängenbereich stärker reflektiert als bei Beleuchtung im zweiten Wellenlängenbereich. Dazu kann eine Lichtquelle vorgesehen sein, deren verwendeter Wellenlängenbereich veränderbar ist, oder unterschiedliche Lichtquellen mit unterschiedlichen Wellenlängenbereichen können vorgesehen sein. Beispielsweise kann die Kennzeichnung bevorzugt in einem für den Menschen nicht sichtbaren Wellenlängenbereich, etwa dem Infrarotbereich, reflektieren. Die Kennzeichnung kann auch bei Beleuchtung mit einem vorbestimmten Wellenlängenbereich Licht in einem anderen vorbestimmten Wellenlängenbereich absondern. Das Reflexionsverhalten der Kennzeichnung bezüglich unterschiedlicher Wellenlängen kann eine verbesserte Erkennung und Diskriminierung gegenüber der Umgebung erlauben.The marking can also have a predetermined reflection behavior of colored light. For example, the marking can reflect more strongly when illuminated in a first predetermined wavelength range than when illuminated in a second predetermined wavelength range. A section in the surrounding area can only be assigned to the identification if it reflects more strongly when illuminated in the first wavelength range than when illuminated in the second wavelength range. For this purpose, a light source can be provided, the wavelength range of which can be changed, or different light sources with different wavelength ranges can be provided. For example, the marking can preferably reflect in a wavelength range that is not visible to humans, for example the infrared range. The marking can also emit light in a different predetermined wavelength range when illuminated with a predetermined wavelength range. The reflective behavior of the marking with regard to different wavelengths can allow improved recognition and discrimination in relation to the environment.

Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung zur Bestimmung eines Objekts im Umfeld eines Fahrzeugs eine Kamera zur Erfassung einer vorbestimmten Kennzeichnung im Umfeld; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, einen nicht erfassbaren Abschnitt der Kennzeichnung zu bestimmen und das Objekt auf der Basis des nicht erfassbaren Abschnitts zu bestimmen.According to a second aspect of the present invention, a device for determining an object in the surroundings of a vehicle comprises a camera for detecting a predetermined identification in the surroundings; and a processing device which is set up to determine an undetectable section of the marking and to determine the object on the basis of the undetectable section.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The processing device can be set up to carry out a method described herein in whole or in part. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Zur Überprüfung von Reflexionseigenschaften der Kennzeichnung kann die Vorrichtung zusätzlich eine oder mehrere Lichtquellen aufweisen. In einer Ausführungsform umfasst die Vorrichtung eine erste Lichtquelle zur Beleuchtung der Kennzeichnung aus einer Richtung der Kamera und eine zweite Lichtquelle zur Beleuchtung der Kennzeichnung aus einer anderen Richtung. Dabei ist die Verarbeitungseinrichtung bevorzugt dazu eingerichtet, einen Abschnitt im Umfeld nur dann der Kennzeichnung zuzuordnen, wenn er bei Beleuchtung nur mit der ersten Lichtquelle besser erfassbar ist als bei Beleuchtung nur mit der zweiten Lichtquelle. Eine bessere Erfassbarkeit kann durch ein stärkeres eintreffendes Helligkeitssignal bestimmt werden. Auf diese Weise kann eine Kennzeichnung aus retroreflektierendem Material verbessert erkannt werden.To check the reflective properties of the marking, the device can additionally have one or more light sources. In In one embodiment, the device comprises a first light source for illuminating the identification from one direction of the camera and a second light source for illuminating the identification from another direction. In this case, the processing device is preferably set up to assign a section in the environment to the identification only if it can be better detected when only the first light source is illuminated than when only the second light source is used. Better detectability can be determined by a stronger incoming brightness signal. In this way, a marking made of retroreflective material can be better recognized.

In einer weiteren Ausführungsform umfasst die Vorrichtung eine erste Lichtquelle zur Beleuchtung der Kennzeichnung mit Licht eines ersten vorbestimmten Wellenlängenbereichs und eine zweite Lichtquelle zur Beleuchtung der Kennzeichnung mit Licht eines zweiten vorbestimmten Wellenlängenbereichs. Dabei ist die Verarbeitungseinrichtung bevorzugt dazu eingerichtet, einen Abschnitt im Umfeld nur dann der Kennzeichnung zuzuordnen, wenn er bei Beleuchtung nur mit der ersten Lichtquelle heller wahrgenommen wird als bei Beleuchtung nur mit der zweiten Lichtquelle. Eine Kennzeichnung, die ein bezüglich der Wellenlänge selektiv reflektierendes Material umfasst, kann dadurch besser erkannt werden. In einer Variante dieser Ausführungsform kann auch nur eine Lichtquelle mit einem vorbestimmten Wellenlängenbereich vorgesehen sein, wobei dieser Wellenlängenbereich bevorzugt außerhalb des durch das menschliche Auge wahrnehmbaren Bereichs liegt. Durch Aktivieren und Deaktivieren der Lichtquelle kann überprüft werden, wie sich die Emissionseigenschaften der Markierung ändern. Nur wenn sich die Emissionseigenschaften auf eine vorbestimmte Weise ändern, kann ein beleuchteter Abschnitt im Umfeld der Markierung zugeordnet werden.In a further embodiment, the device comprises a first light source for illuminating the marking with light of a first predetermined wavelength range and a second light source for illuminating the marking with light of a second predetermined wavelength range. In this case, the processing device is preferably set up to assign a section in the environment to the identification only if it is perceived as brighter when it is only illuminated with the first light source than when it is only illuminated with the second light source. A marking which comprises a material that is selectively reflective with respect to the wavelength can thereby be better recognized. In a variant of this embodiment, only one light source with a predetermined wavelength range can be provided, this wavelength range preferably lying outside the range that can be perceived by the human eye. By activating and deactivating the light source, it is possible to check how the emission properties of the marking change. An illuminated section in the vicinity of the marking can only be assigned if the emission properties change in a predetermined manner.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug eine hierin beschriebene Vorrichtung. Das Fahrzeug kann dazu eingerichtet sein, eine Kollision mit dem Objekt zu vermeiden. Dazu kann das Fahrzeug einen Fahrassistenten oder eine autonome Steuerung umfassen.In accordance with yet another aspect of the present invention, a vehicle includes an apparatus as described herein. The vehicle can be set up to avoid a collision with the object. For this purpose, the vehicle can include a driver assistant or an autonomous controller.

Nach wieder einem anderen Aspekt der vorliegenden Erfindung erlaubt eine Kennzeichnung zur Anbringung im Bereich einer Fahrstraße eines Fahrzeugs das Bestimmen eines Objekts in ihrem Bereich auf der Basis eines nicht erfassbaren Abschnitts der Kennzeichnung. Die Kennzeichnung kann, wie hierin beschrieben ist, eine vorbestimmte graphische Ausprägung aufweisen und/oder vorbestimmte Reflexionseigenschaften für Licht. Die Kennzeichnung ist allgemein optisch erfassbar und wird bevorzugt auf einer ebenen Fläche im Bereich des Fahrwegs des Fahrzeugs angebracht. Weitere Eigenschaften der Kennzeichnung sind hierin mit Bezug auf ein Verfahren, eine Vorrichtung oder ein Fahrzeug beschrieben.According to yet another aspect of the present invention, a marking for attachment in the area of a driveway of a vehicle allows an object to be determined in its area on the basis of an undetectable section of the marking. As described herein, the marking can have a predetermined graphic expression and / or predetermined reflection properties for light. The marking can generally be detected optically and is preferably attached to a flat surface in the area of the vehicle's travel path. Further properties of the marking are described herein with reference to a method, a device or a vehicle.

Nach wieder einem weiteren Aspekt der vorliegenden Erfindung umfasst ein System 100 ein hierin beschriebenes Fahrzeug, sowie eine hierin beschriebene Kennzeichnung.In yet another aspect of the present invention comprises a system 100 a vehicle described herein, as well as a marking described herein.

Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen:

1 ein System; und
2 ein Ablaufdiagramm eines Verfahrens darstellt.

The invention will now be described in more detail with reference to the accompanying figures, in which:

1 a system; and
2 represents a flow diagram of a method.

1 zeigt ein System 100, das ein Fahrzeug 105 mit einer Vorrichtung 110 umfasst. Die Vorrichtung 110 ist dazu eingerichtet, ein Objekt 115, das sich in einem Umfeld 120 des Fahrzeugs 105 befindet, zu erfassen. 1 shows a system 100 that is a vehicle 105 with a device 110 includes. The device 110 is set up to be an object 115 that is in an environment 120 of the vehicle 105 located to capture.

Das Fahrzeug 105 umfasst bevorzugt ein Kraftfahrzeug, das insbesondere zum Transportieren von Personen und/oder Gegenständen eingerichtet ist. Im vorliegenden Beispiel umfasst das Fahrzeug 105 ein Kraftfahrzeug, das bevorzugt automatisiert nach einem vorbestimmten Fahrplan eine oder mehrere Haltestellen anfahren und dort Personen und/oder Gegenstände umschlagen kann. Im Folgenden wird beispielhaft von einem Fahrzeug 105 zur Beförderung von Personen im öffentlichen Personennahverkehr zwischen vorbestimmten Haltestellen ausgegangen.The vehicle 105 preferably comprises a motor vehicle which is set up in particular to transport people and / or objects. In the present example, the vehicle includes 105 a motor vehicle, which preferably automatically drives to one or more stops according to a predetermined schedule and can transfer people and / or objects there. The following is an example of a vehicle 105 assumed for the transport of people in local public transport between predetermined stops.

Das Objekt 115 kann eine beliebige Art von Hindernis umfassen, insbesondere ein solches, mit dem eine Kollision mit dem Fahrzeug 105 vermieden werden soll. Beispielsweise kann das Objekt 115 eine Person, ein Tier, ein Fahrzeug oder einen anderen Gegenstand umfassen. Das Objekt 115 kann feststehend oder beweglich sein. The object 115 may include any type of obstacle, in particular one that would cause a collision with the vehicle 105 should be avoided. For example, the object 115 include a person, animal, vehicle, or other object. The object 115 can be fixed or movable.

Das Umfeld 120 des Fahrzeugs 105 umfasst denjenigen Raum, in dem sich das Fahrzeug 105 bewegen kann und der bevorzugt auch mittels eines Sensors abgetastet werden kann. Vorliegend umfasst das Umfeld 120 eine Fahrstraße 125 und einen Gehweg 130. Fahrstraße 125 und Gehweg 130 sind üblicherweise beide eben, können aber vertikal zueinander versetzt sein. Im Bereich des Gehwegs 130 kann ein Wartebereich für Personen einer vorbestimmten Haltestelle für das Fahrzeug 105 vorgesehen sein.The surrounding 120 of the vehicle 105 includes the space in which the vehicle is located 105 can move and which can preferably also be scanned by means of a sensor. The present includes the environment 120 a driveway 125 and a sidewalk 130 . Driveway 125 and sidewalk 130 are usually both flat, but can be vertically offset from one another. In the area of the sidewalk 130 can be a waiting area for people at a predetermined stop for the vehicle 105 be provided.

Im Umfeld 120 ist eine Kennzeichnung 135 angebracht, die berührungslos, insbesondere optisch, erfasst werden kann. Die Kennzeichnung 135 ist vorliegend als regelmäßiges Muster dargestellt, das eine Anzahl voneinander beabstandeter Linien umfasst. Die Kennzeichnung 135 kann eine beliebige Anordnung graphischer Elemente umfassen, die in anderen Ausführungsformen auch beispielsweise vorbestimmte geometrische Formen, Kurven oder andere Elemente umfassen können. Ein Abstand zwischen einzelnen Elementen der Kennzeichnung 135 ist vorzugsweise so gewählt, dass es im Bereich der Kennzeichnung 135 keinen Abschnitt gibt, in dem sich keines der Elemente befindet und der gleichzeitig größer als ein vorbestimmtes Maß ist. Die Kennzeichnung 135 ist bevorzugt monochrom, indem sie lediglich Elemente einer vorbestimmten Farbe beziehungsweise eines vorbestimmten Farbtons aufweist, zwischen denen entweder eine vorbestimmte andere Farbe (Farbton) herrscht, oder das Umfeld 120 unverändert wahrnehmbar ist. Insbesondere kann die Kennzeichnung 135 physisch so ausgestaltet sein, dass ihre Elemente ein vorbestimmtes Emissionsverhalten für Licht bei externer Beleuchtung aufweisen. Diese Eigenschaften können insbesondere eine Reflexionsrichtung von einfallendem Licht oder einen Wellenlängenbereich ausgesandten Lichts umfassen, der von einem Wellenlängenbereich einfallenden Lichts abhängig sein kann.In the environment 120 is a mark 135 attached, which can be detected without contact, in particular optically. The marking 135 is shown here as a regular pattern comprising a number of spaced-apart lines includes. The marking 135 may include any arrangement of graphical elements, which in other embodiments may also include, for example, predetermined geometric shapes, curves or other elements. A space between individual elements of the marking 135 is preferably chosen so that it is in the area of the marking 135 there is no section in which none of the elements is located and which is at the same time larger than a predetermined dimension. The marking 135 is preferably monochrome in that it only has elements of a predetermined color or a predetermined hue, between which either a predetermined other color (hue) prevails, or the environment 120 is perceptible unchanged. In particular, the marking 135 be physically designed so that their elements have a predetermined emission behavior for light with external lighting. These properties can in particular include a direction of reflection of incident light or a wavelength range of emitted light which can be dependent on a wavelength range of incident light.

Die Vorrichtung 110 umfasst eine Verarbeitungseinrichtung 140, die üblicherweise mit einer Schnittstelle 145 verbunden ist, sowie einen insbesondere optischen Sensor 150, der vorliegend als Kamera ausgebildet ist. Vorliegend sind zusätzlich eine erste Lichtquelle 155 und eine zweite Lichtquelle 160 vorgesehen. Die Lichtquellen 155, 160 können sich durch ihre Positionen bezüglich der Kamera 150 und/oder bezüglich eines jeweils ausgestrahlten Wellenlängenbereichs von Licht unterscheiden. Es kann auch nur eine Lichtquelle 155 verwendet werden, deren diesbezügliche Eigenschaften in der beschriebenen Weise veränderbar sind. In entsprechender Weise können auch mehr als zwei Lichtquellen 155, 160 von der Vorrichtung 110 umfasst sein.The device 110 comprises a processing device 140 , usually with an interface 145 is connected, as well as a particular optical sensor 150 , which in the present case is designed as a camera. A first light source is also present 155 and a second light source 160 intended. The light sources 155 , 160 can look through their positions in relation to the camera 150 and / or differentiate from light with respect to a respective emitted wavelength range. It can also have just one light source 155 are used, the properties of which can be changed in the manner described. In a corresponding manner, more than two light sources can also be used 155 , 160 from the device 110 be included.

Es wird vorgeschlagen, das Objekt 115 mittels der Kamera 150 zu bestimmen, indem im Umfeld 120 lediglich die Kennzeichnung 135 optisch erfasst wird, und aus einem Abschnitt 165, in welchem die Kennzeichnung 135 nicht erfasst werden kann, auf das Objekt 115 zu schließen. In 1 ist beispielhaft dargestellt, dass Linien der Kennzeichnung 135 im Abschnitt 165 für die Kamera 150 durch das Objekt 115 verschattet sind. Graphische Elemente der Kennzeichnung 135 sind im Abschnitt 165 mit unterbrochenen Linien dargestellt.It is proposed the object 115 by means of the camera 150 to determine by in the environment 120 only the marking 135 is captured optically, and from a section 165 in which the marking 135 cannot be captured on the object 115 close. In 1 is exemplified that lines of marking 135 in the section 165 for the camera 150 through the object 115 are shaded. Graphic elements of the marking 135 are in the section 165 shown with broken lines.

2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zur Bestimmung eines Objekts 115 im Umfeld 120 eines Fahrzeugs 105. Rein exemplarisch wird dabei wieder von einem Fahrzeug 105 ausgegangen, das sich im Bereich einer Haltestelle aufhält oder bewegt. In einem Schritt 205 kann ein Annähern an die Haltestelle bestimmt werden. Dazu kann eine geographische Position des Fahrzeugs 105 bestimmt und mit der geographischen Position der Haltestelle verglichen werden. In anderen Ausführungsformen kann das Annähern an eine Kennzeichnung 135 bestimmt werden, deren geographische Position bekannt ist. 2 shows a flow chart of a method 200 to determine an object 115 in the environment 120 of a vehicle 105 . A vehicle is again used as an example 105 assumed that is in the area of a stop or moves. In one step 205 an approach to the stop can be determined. A geographical position of the vehicle can be used for this purpose 105 determined and compared with the geographical position of the stop. In other embodiments, approximating a label 135 whose geographical position is known.

In einem Schritt 210 kann die Kennzeichnung 135 im Umfeld 120 erfasst werden. Genauer kann ein Abschnitt der Kennzeichnung 135 bestimmt werden, der nicht durch das Objekt 115 abgedeckt oder verschattet ist. Das Abtasten der Kennzeichnung 135 erfolgt bevorzugt optisch mittels der Kamera 150, was voraussetzt, dass eine ausreichende Beleuchtung im Umfeld 120 gegeben ist. Ist dies nicht der Fall, so kann das Umfeld 120 mittels einer der Lichtquellen 155, 160 beleuchtet werden.In one step 210 can marking 135 in the environment 120 are recorded. More precisely, a section of the marking 135 not determined by the object 115 covered or shaded. The scanning of the marking 135 preferably takes place optically by means of the camera 150 which assumes that there is adequate lighting in the area 120 given is. If this is not the case, the environment can 120 by means of one of the light sources 155 , 160 be illuminated.

Die Kennzeichnung 135 kann auch bezüglich ihrer optischen Eigenschaften erkannt werden. Ist die Kennzeichnung 135 beispielsweise mittels eines retroreflektierenden Materials realisiert, so kann die retroreflektierende Eigenschaft überprüft werden. The marking 135 can also be recognized in terms of their optical properties. Is the marking 135 realized for example by means of a retroreflective material, the retroreflective property can be checked.

Dazu kann in einem Schritt 215 das Umfeld 120 zunächst nur mittels der ersten Lichtquelle 155 beleuchtet werden, die sich bevorzugt möglichst nahe an der Kamera 150 befindet, während die Kamera 150 eine erste Abtastung des Umfelds 120 bereitstellt. Anschließend kann die erste Lichtquelle 155 wieder deaktiviert werden. In einem Schritt 220 kann die zweite Lichtquelle 160 aktiviert werden, die einen vorbestimmten seitlichen Versatz zur Kamera 150 aufweist. Mittels der Kamera 150 kann eine zweite Abtastung des Umfelds 120 bereitgestellt werden und die zweite Lichtquelle 160 kann wieder deaktiviert werden. In einem Schritt 225 können die beiden Abtastungen miteinander verglichen werden. Ein Abschnitt im Umfeld 120, der bei Beleuchtung nur mit der ersten Lichtquelle 155 deutlich heller zu erkennen ist als bei Beleuchtung nur mit der zweiten Lichtquelle 160, kann als retroreflektierend bestimmt werden. Retroreflektierende Abschnitte können zur Kennzeichnung 135 beziehungsweise einem von der Kennzeichnung 135 erkennbaren Teil zusammengefügt werden.You can do this in one step 215 the surrounding 120 initially only by means of the first light source 155 should be illuminated, which is preferably as close as possible to the camera 150 located while the camera 150 a first scan of the environment 120 provides. Then the first light source 155 can be deactivated again. In one step 220 can use the second light source 160 are activated, which have a predetermined lateral offset to the camera 150 having. Using the camera 150 can do a second scan of the surrounding area 120 are provided and the second light source 160 can be deactivated again. In one step 225 the two samples can be compared with each other. A section in the environment 120 that when illuminated only with the first light source 155 can be seen much brighter than with illumination only with the second light source 160 , can be determined as retroreflective. Retroreflective sections can be used for identification 135 or one of the labeling 135 recognizable part are joined together.

Ein vorbestimmtes farbliches Reflexionsverhalten der Kennzeichnung 135 kann in ähnlicher Weise durch Verwendung verschiedener Lichtquellen 155, 160 bestimmt werden. Beispielsweise kann in einem Schritt 230 das Umfeld 120 mittels der ersten Lichtquelle 155 beleuchtet werden, die hierfür Licht in einem vorbestimmten Wellenlängenbereich emittiert, während eine erste Abtastung des Umfelds 120 durch die Kamera 150 bereitgestellt wird. Die erste Lichtquelle 155 kann wieder deaktiviert werden und in einem Schritt 235 kann die zweite Lichtquelle 160 aktiviert werden, die Licht in einem zweiten Wellenlängenbereich emittiert, der vom ersten Wellenlängenbereich unterschiedlich ist. Gleichzeitig kann mittels der Kamera 150 eine zweite Abtastung des Umfelds 120 bereitgestellt werden. Die zweite Lichtquelle 160 kann wieder deaktiviert werden und in einem Schritt 240 können die Abtastungen miteinander verglichen werden, um einen Abschnitt im Umfeld 120 zu bestimmen, der in vorbestimmter Weise unterschiedlich auf Beleuchtung in den beiden vorbestimmten Wellenlängenbereichen reagiert. Beispielsweise kann die Kennzeichnung 135 derart realisiert sein, dass sie vorzugsweise Licht im ersten, aber weniger stark im zweiten Wellenlängenbereich reflektiert oder umgekehrt. Es ist zu beachten, dass die Kennzeichnung 135 einfallendes Licht nicht notwendigerweise im gleichen Wellenlängenbereich zurückwirft, sondern auch im Rahmen der Reflexion eine Farbverschiebung bewirken kann, die mittels der Kamera 150 überprüft werden kann. Ein Abschnitt im Umfeld 120, der die bezüglich des empfangenen Wellenlängenbereichs bekannten Eigenschaften der Kennzeichnung 135 erfüllt, kann der Kennzeichnung 135 zugeordnet werden.A predetermined color reflection behavior of the marking 135 can be done in a similar way by using different light sources 155 , 160 to be determined. For example, in one step 230 the surrounding 120 by means of the first light source 155 are illuminated, which for this purpose emits light in a predetermined wavelength range, during a first scan of the environment 120 through the camera 150 provided. The first light source 155 can be deactivated again and in one step 235 can use the second light source 160 be activated, which emits light in a second wavelength range that is different from the first wavelength range. At the same time using the camera 150 a second scan of the environment 120 to be provided. The second light source 160 can be deactivated again and in one step 240 the scans can be compared with one another to identify a section in the vicinity 120 to determine which reacts differently in a predetermined manner to illumination in the two predetermined wavelength ranges. For example, the marking 135 be realized in such a way that it preferably reflects light in the first, but less strongly in the second wavelength range, or vice versa. It should be noted that the marking 135 incident light does not necessarily reflect back in the same wavelength range, but can also cause a color shift in the context of the reflection, which by means of the camera 150 can be checked. A section in the environment 120 , which contains the properties of the identifier known with regard to the received wavelength range 135 fulfilled, the marking 135 be assigned.

In einem Schritt 245 kann auf der Basis der Abtastungen ein erfasster Abschnitt der Kennzeichnung 135 bestimmt werden. Dabei können Erkenntnisse aus den verschiedenen Bestimmungsweisen miteinander kombiniert werden.In one step 245 a detected section of the identifier can be based on the scans 135 to be determined. Findings from the various methods of determination can be combined with one another.

Die Form der Kennzeichnung 135 ist bekannt und im Wesentlichen unveränderlich. In einem Schritt 250 kann der Abschnitt 165, in dem die Kennzeichnung 135 nicht bestimmt werden kann, aufgrund der bekannten Kennzeichnung 135 und des erfassten Abschnitts bestimmt werden.The form of the marking 135 is known and essentially immutable. In one step 250 can the section 165 in which the marking 135 cannot be determined due to the known labeling 135 and the detected section can be determined.

In einem Schritt 255 kann das Objekt 115 im Umfeld 120 bestimmt werden. Dazu kann beispielsweise eine Kontur des Objekts 115 bestimmt werden. Die Kontur kann einer vorbestimmten Objektklasse zugeordnet werden. Beispielhafte Objektklassen umfassen eine Person, ein Tier oder ein Fahrzeug. In weiteren Ausführungsformen kann auch ein Bewegungsverhalten des Objekts 115 bestimmt werden. Hierzu können mehrere Bestimmungen des Objekts 115 erforderlich sein.In one step 255 can the object 115 in the environment 120 to be determined. For this purpose, for example, a contour of the object 115 to be determined. The contour can be assigned to a predetermined object class. Exemplary object classes include a person, an animal, or a vehicle. In further embodiments, a movement behavior of the object can also be used 115 to be determined. For this purpose, several determinations of the object 115 to be required.

In einem Schritt 260 kann eine Information über das erkannte Objekt 115 beispielsweise über die Schnittstelle 145 bereitgestellt werden. Das Fahrzeug 105 kann in Abhängigkeit des erkannten Objekts 115 gesteuert werden. Insbesondere kann das Fahrzeug 105 in Längs- und/oder Querrichtung derart gesteuert werden, dass eine Kollision mit dem Objekt 115 möglichst vermieden wird.In one step 260 can provide information about the recognized object 115 for example via the interface 145 to be provided. The vehicle 105 can depending on the detected object 115 being controlled. In particular, the vehicle 105 be controlled in the longitudinal and / or transverse direction such that a collision with the object 115 is avoided as much as possible.

BezugszeichenlisteList of reference symbols

100100: Systemsystem
105105: Fahrzeugvehicle
110110: Vorrichtungcontraption
115115: Objektobject
120120: Umfeldenvironment
125125: FahrstraßeDriveway
130130: Gehwegside walk
135135: KennzeichnungLabelling
140140: VerarbeitungseinrichtungProcessing facility
145145: Schnittstelleinterface
150150: optischer Sensor, Kameraoptical sensor, camera
155155: erste Lichtquellefirst light source
160160: zweite Lichtquellesecond light source
165165: Abschnitt section
200200: VerfahrenProcedure
205205: Erfassen Annäherung HaltestelleDetecting approaching stop
210210: Erfassen AbschnittCapture section
215215: Erfassen bei Beleuchtung aus erster RichtungDetection with lighting from the first direction
220220: Erfassen bei Beleuchtung aus zweiter RichtungDetection with lighting from the second direction
225225: retroreflektierenden Abschnitt bestimmenDetermine the retroreflective section
230230: Erfassen bei Beleuchtung mit erstem WellenlängenbereichDetection with illumination with the first wavelength range
235235: Erfassen bei Beleuchtung mit zweitem WellenlängenbereichDetection with illumination with a second wavelength range
240240: selektiv reflektierenden Abschnitt bestimmenselectively determine reflective section
245245: Bestimmen erfasster Abschnitt der KennzeichnungDetermine the detected section of the marking
250250: Bestimmen nicht erfasster Abschnitt der KennzeichnungDetermine unrecognized section of the marking
255255: Bestimmen ObjektDetermine object
260260: Steuern FahrzeugControl vehicle

Claims

A method (200) for determining an object (115) in the surroundings (120) of a vehicle (105), the method (200) comprising the following steps: optical (210) detection of a predetermined identification (135) which is in the surroundings (120) is appropriate; Determining (250) an undetectable portion (165) of the identifier (135); and Determining (255) the object (115) on the basis of the undetectable portion (165).

Method (200) according to Claim 1 , wherein the marking (135) is applied to a predetermined surface in the environment (120).

Method (200) according to Claim 2 wherein the surface is drivable by the vehicle (105).

Method (200) according to one of the preceding claims, wherein a contour of the object (115) is determined.

Method (200) according to one of the preceding claims, wherein the marking (135) is not repetitive with respect to a predetermined area, so that a section of the marking (135) of the size of the area can be clearly assigned to a position in the marking (135).

Method (200) according to one of the preceding claims, wherein the marking (135) comprises individual elements, and adjacent elements are no greater than a predetermined distance apart.

Method (200) according to one of the preceding claims, wherein the identification (135) comprises individual elements which are arranged in a pseudo-random position relative to one another.

The method (200) according to any one of the preceding claims, wherein the identifier (135) has a predetermined color; and a section in the environment (120) is assigned to the identification (135) only if it has the predetermined color.

The method (200) according to any one of the preceding claims, wherein the marking (135) is retroreflective; and a section in the environment (120) is assigned to the marking (135) only if it is retroreflective.

Method (200) according to one of the preceding claims, wherein the marking (135) reflects more strongly when illuminated in a first predetermined wavelength range than when illuminated in a second predetermined wavelength range; and a section in the surroundings (120) is only assigned to the identification (135) if it reflects more strongly when illuminated in the first wavelength range than when illuminated in the second wavelength range.

Device (110) for determining an object (115) in the surroundings (120) of a vehicle (105), the device (110) comprising: a camera (120) for detecting a predetermined identification (135) in the surroundings (150); and a processing device (140) which is configured to determine an undetectable portion (165) of the marking (135) and to determine the object (115) on the basis of the undetectable portion (165).

Device (110) after Claim 11 , further comprising a first light source (155) for illuminating the marking (135) from one direction of the camera (150), and a second light source (160) for illuminating the marking (135) from another direction; wherein the processing device (140) is set up to assign a section in the environment (120) to the marking (135) only if it can be detected better when it is only illuminated with the first light source (155) than when it is only illuminated with the second light source ( 160).

Device (110) after Claim 11 or 12th , further comprising a first light source (155) for illuminating the marking (135) with light of a first predetermined wavelength range, and a second light source (160) for illuminating the marking (135) with light of a second predetermined wavelength range; wherein the processing device (140) is set up to assign a section in the environment (120) to the marking (135) only if it is perceived as brighter when illuminated only with the first light source (155) than when illuminated only with the second light source ( 160).

A vehicle (105) comprising a device (110) according to Claim 12 or 13th .

Identification (135) for attachment in the area of a driveway (125) of a vehicle (105), the identification (135) determining an object (115) in its area on the basis of an undetectable section (165) of the identification (135) allowed.

A system (100) comprising a vehicle (105) according to Claim 14 and a label (135) according to Claim 15 .