DE102018116515A1

DE102018116515A1 - Distance sensor determination and maneuvering of a vehicle based on image sensor data

Info

Publication number: DE102018116515A1
Application number: DE102018116515.3A
Authority: DE
Inventors: Ahmed El-Ramlawy; Mahmoud Rafik
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2018-07-09
Filing date: 2018-07-09
Publication date: 2020-01-09

Abstract

Die vorliegende Erfindung betrifft ein ferngesteuertes Fahrzeug-Rangierverfahren in mehreren Schritten, wobei das Verfahren eine Fahrzeugverifizierung, eine digitale Bildaufzeichnung von mindestens einem Teil (2, 3, 4, 5, 6) des Fahrzeugs (1), eine Distanzberechnung zwischen dem Fahrzeug und dem digitalen Bildaufzeichnungsgerät und die Beurteilung umfasst, ob die Distanz kleiner ist als eine bestimmte maximale Distanz, sowie das autonome oder halbautonome ferngesteuerte Fahrzeug-Rangieren in Fällen, in denen die Beurteilung ergibt, dass die Distanz kleiner oder gleich der maximal erlaubten Distanz ist. Außerdem betrifft die vorliegende Erfindung ein System, das in der Lage ist, das erfindungsgemäße Verfahren auszuführen, sowie auch ein Fahrzeug mit einem ebensolchen System.

The present invention relates to a remote-controlled vehicle maneuvering method in several steps, the method comprising vehicle verification, digital image recording of at least a part (2, 3, 4, 5, 6) of the vehicle (1), a distance calculation between the vehicle and the vehicle digital image recorder and the assessment includes whether the distance is less than a certain maximum distance, as well as autonomous or semi-autonomous remote-controlled vehicle maneuvering in cases where the assessment shows that the distance is less than or equal to the maximum permitted distance. In addition, the present invention relates to a system which is capable of carrying out the method according to the invention, and also to a vehicle with such a system.

Description

Die vorliegende Erfindung betrifft ein ferngesteuertes Fahrzeug-Rangierverfahren in mehreren Schritten, wobei das Verfahren eine Fahrzeugverifizierung, eine digitale Bildaufzeichnung von mindestens einem Teil des Fahrzeugs, eine Distanzberechnung zwischen dem Fahrzeug und dem digitalen Bildaufzeichnungsgerät und die Beurteilung umfasst, ob die Distanz kleiner ist als eine bestimmte maximale Distanz, sowie das autonome oder halbautonome ferngesteuerte Fahrzeug-Rangieren in Fällen, in denen die Beurteilung ergibt, dass die Distanz kleiner oder gleich der maximal erlaubten Distanz ist. Außerdem betrifft die vorliegende Erfindung ein System, das in der Lage ist, das erfindungsgemäße ferngesteuerte Rangierverfahren auszuführen, sowie auch ein Fahrzeug mit einem ebensolchen System.The present invention relates to a remote controlled multi-step vehicle maneuvering method, the method comprising vehicle verification, digital imaging of at least a portion of the vehicle, distance calculation between the vehicle and the digital imaging device, and judgment of whether the distance is less than one determined maximum distance, as well as autonomous or semi-autonomous remote-controlled vehicle maneuvering in cases where the assessment shows that the distance is less than or equal to the maximum permitted distance. In addition, the present invention relates to a system which is capable of carrying out the remote-controlled maneuvering method according to the invention, and also to a vehicle with the same system.

Das akkurate Rangieren eines Fahrzeugs ist eine wesentliche Herausforderung bei autonomen oder halbautonomen Fahrzeuganwendungen. Die Herausforderung beruht einerseits auf der komplizierten und dynamischen Fahrzeugumgebung und andererseits auf der akkuraten Bestimmung der Fahrzeugposition innerhalb dieser wechselnden Umgebung. Beide Faktoren spielen eine entscheidende Rolle für die Sicherheit dieser Fahrvorgänge, und in Folge führte diese Einrichtung zu technischen Lösungen, bei denen der Fahrzeugbediener immer noch das gesamte Fahrmanöver überwachen und bei unvorhergesehenen Zwischenfällen die manuelle Steuerung des Fahrzeugs übernehmen muss. D.h. der Bediener trägt weiterhin die Verantwortung für das Fahrzeug. Zur weiteren Stärkung der Verantwortung des Bedieners hat die Gesetzgebung Rechtsvorschriften eingeführt, die besonders die enge Überwachung der Fahrmanöver durch den Bediener beinhalten. Solche Vorschriften umfassen beispielsweise bestimmte maximale Distanzen zwischen dem Fahrzeug und dem Fahrzeugbediener, wodurch eine umfassende und weitreichende Kontrolle der aktuellen Fahrbewegungsbahn sichergestellt wird. Dennoch kann es aufgrund der Messunsicherheiten und, wie bereits erwähnt, der dynamischen Beschaffenheit des Gesamtverfahrens, einschließlich des Bedienerverhaltens, schwierig sein, einen problemlosen autonomen Fahrzeugbetrieb innerhalb der gesetzlichen Auflagen sicherzustellen.Accurate maneuvering of a vehicle is a major challenge in autonomous or semi-autonomous vehicle applications. The challenge is based on the one hand on the complicated and dynamic vehicle environment and on the other hand on the accurate determination of the vehicle position within this changing environment. Both factors play a crucial role in the safety of these driving processes, and as a result, this facility led to technical solutions in which the vehicle operator still has to monitor the entire driving maneuver and take manual control of the vehicle in the event of unforeseen incidents. That the operator remains responsible for the vehicle. In order to further strengthen the responsibility of the operator, the legislation has introduced legislation that particularly includes the close monitoring of the driving maneuvers by the operator. Such regulations include, for example, certain maximum distances between the vehicle and the vehicle operator, which ensures extensive and far-reaching control of the current travel path. Nevertheless, due to the measurement uncertainties and, as already mentioned, the dynamic nature of the overall process, including the operator behavior, it can be difficult to ensure problem-free autonomous vehicle operation within the legal requirements.

In der Patentliteratur befinden sich mehrere Verfahren zum verbesserten autonomen oder halbautonomen Fahrzeug-Rangieren.The patent literature contains several methods for improved autonomous or semi-autonomous vehicle maneuvering.

Die US 2017 186 310 A1 beispielsweise offenbart ein Verfahren und ein Gerät für die Fernsteuerung einer Fahrzeugfunktion. Von einer Kamera, die in der mobilen Steuereinheit untergebracht ist, werden Bilder des Fahrzeugs aufgezeichnet. An einer zuvor festgelegten Position am Fahrzeug wird ein visuelles Signal erzeugt, wobei die Fernsteuerung nur dann aktiviert wird, wenn das visuelle Signal von der Kamera aufgezeichnet wird. Das Gerät für die Fernsteuerung einer Fahrzeugfunktion umfasst eine mobile Steuereinheit mit einer integrierten Kamera zur Aufzeichnung der Fahrzeugbilder. Zur Erzeugung eines visuellen Signals ist eine Signalerzeugungseinheit an einer zuvor festgelegten Position am Fahrzeug angeordnet und das Fahrzeug umfasst eine Funktionseinheit zur Steuerung der Funktion. Die Funktionseinheit ist so ausgebildet, dass die Fernsteuerung nur dann aktiviert wird, wenn das visuelle Signal von der Kamera aufgezeichnet wird.The US 2017 186 310 A1 for example, discloses a method and apparatus for remotely controlling a vehicle function. Images of the vehicle are recorded by a camera housed in the mobile control unit. A visual signal is generated at a predetermined position on the vehicle, with the remote control only being activated when the visual signal is recorded by the camera. The device for remote control of a vehicle function comprises a mobile control unit with an integrated camera for recording the vehicle images. To generate a visual signal, a signal generation unit is arranged at a predetermined position on the vehicle and the vehicle comprises a functional unit for controlling the function. The functional unit is designed such that the remote control is only activated when the visual signal is recorded by the camera.

Ein weiteres Dokument, die US 2015 375 741 A1 , offenbart eine in einem Fahrzeug verwendete Fahrzeugvorrichtung, wobei die Vorrichtung eine erste abgelaufene Zeit nach Abschluss eines Einparkvorgangs zum Einparken des Fahrzeugs in einen Parkbereich misst und die Bewegung des Fahrzeugs zur Anpassung der Parkposition verbietet, wenn die erste abgelaufene Zeit eine erste festgelegte Zeit erreicht, bevor ein Anweisungssignal vom Empfänger empfangen wird.Another document that US 2015 375 741 A1 discloses a vehicle device used in a vehicle, the device measuring a first elapsed time after completing a parking operation to park the vehicle in a parking area and prohibiting movement of the vehicle to adjust the parking position when the first elapsed time reaches a first predetermined time, before an instruction signal is received by the receiver.

Darüber hinaus offenbart die DE 10 2016 011 071 A1 ein Verfahren zur Fernsteuerung von mindestens einer Funktion eines Motorfahrzeugs durch ein mobiles Steuergerät, in dem ein Fernsteuerbefehl an das Motorfahrzeug übermittelt und durch Letzteres ausgeführt wird, wenn eine Freigabe ausgegeben wurde. Zur Sicherstellung einer besonders sicheren Fernsteuerung wird angegeben, dass ein durch ein optisches Erkennungsgerät der mobilen Steuereinheit erfasstes Bild des Motorfahrzeugs an das Motorfahrzeug gesendet und anschließend die Freigabe durch ein Testgerät des Motorfahrzeugs ausgegeben wird, falls das Motorfahrzeug durch das Testgerät im übermittelten Bild identifiziert wird.In addition, the DE 10 2016 011 071 A1 a method for remote control of at least one function of a motor vehicle by a mobile control unit, in which a remote control command is transmitted to the motor vehicle and executed by the latter when a release has been issued. To ensure a particularly secure remote control, it is stated that an image of the motor vehicle captured by an optical recognition device of the mobile control unit is sent to the motor vehicle and then the release is issued by a test device of the motor vehicle if the motor vehicle is identified by the test device in the transmitted image.

Eine weitere technische Lösung ist in der DE 10 2014 015 655 A1 angegeben. Das Dokument betrifft ein Verfahren zur Überwachung der Ausführung eines durch ein Assistenzgerät automatisch ausgeführten Fahrmanövers eines Motorfahrzeugs, insbesondere eines automatisierten Einparkvorgangs oder eines automatisierten Einparkvorgangs durch den überwachenden Benutzer, umfassend die während des Fahrmanövers wiederholt ausgeführten Schritte: Empfang eines Radiosignals zur Übertragung und den Empfang von Informationen über das Kommunikationsnetzwerk, externes Fahrzeug-Kommunikationsgerät durch mindestens eine Empfangsantenne des Motorfahrzeugs, - Bestimmung einer dazugehörigen Signalstärke des empfangenen Radiosignals für die Empfangsantenne und Abbruch des Fahrmanövers und/oder Senden einer Nachricht an einen Benutzer durch das Motorfahrzeug und/oder das Kommunikationsgerät, wenn die Signalstärke oder eine aus der Signalstärke abgeleitete Information mindestens eine zuvor festgelegte Auslösebedingung erfüllt.Another technical solution is in the DE 10 2014 015 655 A1 specified. The document relates to a method for monitoring the execution of a driving maneuver of a motor vehicle performed automatically by an assistance device, in particular an automated parking process or an automated parking process by the monitoring user, comprising the steps carried out repeatedly during the driving maneuver: reception of a radio signal for transmission and reception of Information about the communication network, external vehicle communication device by at least one receiving antenna of the motor vehicle, - determination of an associated signal strength of the received radio signal for the receiving antenna and termination of the driving maneuver and / or sending a message to a user by the motor vehicle and / or the communication device, if the Signal strength or information derived from the signal strength meets at least one predetermined trigger condition.

Weiter bezieht sich die DE 10 2014 011 809 A1 auf ein Verfahren zur Überwachung eines zumindest teilweise autonomen Fahrvorgang eines Motorfahrzeugs mittels Erkennung von mindestens zwei Betriebsdaten mithilfe einer Benutzerschnittstelle eines tragbaren Kommunikationsgeräts, wobei die Betriebsdaten zwei aufeinanderfolgende Bedienaktionen eines Bedieners, der dieselbe Benutzerschnittstelle darstellt, die Übermittlung der erworbenen Betriebsdaten vom Kommunikationsgerät an ein Fahrerassistenzsystem des Motorfahrzeugs, die Berechnung von mindestens einem Vergleichssignal durch das Fahrerassistenzsystem unter Beachtung der übermittelten Betriebsdaten und den Abbruch des Fahrvorgangs umfasst, wenn das berechnete Vergleichssignal nicht in einem zuvor festgelegten Wertebereich liegt; um eine sicherere und komfortablere Überwachung von mindestens einem teilweise autonomen Fahrvorgang eines Motorfahrzeugs mithilfe eines tragbaren Kommunikationsgeräts zu ermöglichen.The refers further DE 10 2014 011 809 A1 to a method for monitoring an at least partially autonomous driving process of a motor vehicle by recognizing at least two operating data using a user interface of a portable communication device, the operating data representing two successive operating actions by an operator who represents the same user interface, the transmission of the acquired operating data from the communication device to a driver assistance system Motor vehicle, the calculation of at least one comparison signal by the driver assistance system taking into account the transmitted operating data and the termination of the driving process if the calculated comparison signal is not within a predetermined value range; to enable safer and more comfortable monitoring of at least one partially autonomous driving process of a motor vehicle using a portable communication device.

Eine andere technische Lösung wird in der DE 10 2013 221 650 A1 bereitgestellt. Das Dokument bezieht sich auf ein System und ein entsprechendes Verfahren zur Steuerung einer Fahrzeugfunktion. Die Erfindung bezieht sich auf eine Steuereinheit, die eingerichtet ist, um eine Fahrzeugposition eines geparkten Fahrzeugs und eine Geräteposition eines elektronischen Geräts außerhalb des Fahrzeugs zu bestimmen. Darüber hinaus ist die Steuereinheit in Abhängigkeit von der Fahrzeug- bzw. Geräteposition dazu angepasst, eine oder mehrere Fahrzeugfunktionen auszulösen. Another technical solution is in the DE 10 2013 221 650 A1 provided. The document relates to a system and a corresponding method for controlling a vehicle function. The invention relates to a control unit that is set up to determine a vehicle position of a parked vehicle and a device position of an electronic device outside the vehicle. In addition, the control unit is adapted to trigger one or more vehicle functions depending on the vehicle or device position.

Neben den bereits vorhandenen Ansätzen des Standes der Technik , besteht weiterhin Bedarf für die Bereitstellung zuverlässiger und schneller Verfahren, die die Sicherheit des autonomen oder halbautonomen ferngesteuerten Fahrzeug-Rangierens verbessern.In addition to the existing approaches of the prior art, there continues to be a need to provide reliable and fast methods that improve the safety of autonomous or semi-autonomous remote-controlled vehicle maneuvering.

Aufgabe der vorliegenden Erfindung ist es daher, die Nachteile des Standes der Technik zumindest teilweise zu überwinden. Insbesondere liegt die Aufgabe der vorliegenden Erfindung in der Bereitstellung einer zuverlässigen Lösung, um eine höhere Präzision bei der Bestimmung der relativen Fahrzeugpositionen zu liefern.The object of the present invention is therefore to at least partially overcome the disadvantages of the prior art. In particular, the object of the present invention is to provide a reliable solution to provide greater precision in determining the relative vehicle positions.

Die oben genannte Aufgabe wird durch die Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Die Aufgabe wird außerdem durch ein System gemäß den technischen Merkmalen nach Anspruch 11 und ein Fahrzeug mit dem erfindungsgemäßen System nach Anspruch 12 gelöst. Bevorzugte Ausführungen der Erfindung sind durch die Merkmale der abhängigen Ansprüche definiert, und zwar durch Merkmale, die in der Beschreibung und in den Figuren offenbart sind, wobei eine Merkmalsaggregation getrennter Teile innerhalb des Schutzumfangs der Erfindung liegt, sofern dies nicht ausdrücklich ausgeschlossen ist.The above object is achieved by the method with the features of independent claim 1. The object is also achieved by a system according to the technical features according to claim 11 and a vehicle with the system according to the invention according to claim 12. Preferred embodiments of the invention are defined by the features of the dependent claims, namely by features disclosed in the description and in the figures, an aggregation of features of separate parts being within the scope of the invention, unless this is expressly excluded.

Es liegt im Umfang der vorliegenden Erfindung, ein Verfahren zum ferngesteuerten Fahrzeug-Rangieren mit mindestens den folgenden Schritten zu offenbaren:

a) Verifizierung des Fahrzeugs auf Basis eines fahrzeugspezifischen Signals, ausgewählt aus der Gruppe bestehend aus visuellen, hörbaren oder elektromagnetischen Signalen oder deren Kombinationen, das durch ein mobiles, außerhalb des Fahrzeugs positioniertes Signalerkennungsgerät erfasst wird;
b) Aufzeichnung von digitalen Bildern von mindestens einem Teil des Fahrzeugs durch ein mobiles, außerhalb des Fahrzeugs positioniertes, digitales Bildgerät;
c) Distanzberechnung zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät;
d) Beurteilung, ob die im Schritt c) berechnete Distanz kleiner als eine gewisse maximale Distanz ist; und
e) Rangieren des Fahrzeugs über eine Fernsteuerung in den Fällen, in denen das Beurteilungsergebnis von Schritt d) ergibt, dass die Distanz zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät kleiner oder gleich der maximalen Distanz ist, wobei die Distanzberechnung im Schritt c) auf digitalen Bilddaten des im Schritt b) aufgezeichneten Fahrzeugteils basiert.

It is within the scope of the present invention to disclose a method for remotely controlled vehicle maneuvering with at least the following steps:

a) verification of the vehicle on the basis of a vehicle-specific signal, selected from the group consisting of visual, audible or electromagnetic signals or their combinations, which is detected by a mobile signal recognition device positioned outside the vehicle;
b) recording of digital images of at least part of the vehicle by a mobile digital image device positioned outside the vehicle;
c) distance calculation between the vehicle and the mobile digital image device;
d) assessing whether the distance calculated in step c) is less than a certain maximum distance; and
e) Maneuvering the vehicle via a remote control in the cases in which the result of the assessment of step d) shows that the distance between the vehicle and the mobile digital image device is less than or equal to the maximum distance, the distance calculation in step c) being digital Image data of the vehicle part recorded in step b) is based.

Überraschenderweise wurde gefunden, dass das vorgeschlagene Verfahren im Vergleich zu den aktuellen Verfahren bessere, d.h. präzisere Ergebnisse in der Distanzberechnung für ein Benutzerfahrzeug liefert. Gewöhnlich basieren die Distanzmessungen nach dem Stand der Technik auf elektromagnetischen Wellen, beispielsweise Bluetooth, welches anfällig für starke Interferenzen ist. Bluetooth nutzt hauptsächlich die Laufzeit und die Leistung der empfangenen Wellen zur Bestimmung der Distanz von Fahrzeugen. Dieses hat sich als schwierig und ungenau erwiesen, da Bluetooth konzeptmäßig omnidirektional ist und entsprechend das empfangene Signal sowohl durch Reflektionen an verschiedenen Objekten aus verschiedenen Materialien zufälligen Interferenzen unterschiedlicher Stärke als auch Interferenzen durch andere elektromagnetische Quellen im selben Frequenzbereich unterliegt. Das vorgestellte Verfahren verringert die erwähnten Probleme der bekannten Lösungen, die die elektromagnetischen (EM) Wellen nutzen. Die vorliegende Erfindung hängt nicht von den EM-Wellen ab, weil sie einfach ein digitales Bildgerät, z.B. einen Mobiltelefon-Bildgebungssensor, zur genauen Bestimmung der Distanz verwendet. Dies bietet die Vorteile eines schnelleren und weniger komplexen Algorithmus für die Distanzerkennung und -beurteilung. Zusätzlich sind die Ergebnisse zuverlässiger und die erforderliche Genauigkeit kann dem Verfahren antrainiert werden. Darüber hinaus kann das Verfahren ohne den Bedarf für zusätzliche Hardware durchgeführt werden, wodurch ein sehr kosteneffektives Gesamtverfahren ermöglicht wird.Surprisingly, it was found that the proposed method provides better, ie more precise results in the distance calculation for a user vehicle compared to the current methods. The distance measurements according to the prior art are usually based on electromagnetic waves, for example Bluetooth, which is susceptible to strong interference. Bluetooth mainly uses the transit time and the power of the waves received to determine the distance from vehicles. This has proven to be difficult and inaccurate, since Bluetooth is conceptually omnidirectional and, accordingly, the received signal is subject to random interference of different strengths due to reflections on different objects made of different materials as well as interference from other electromagnetic sources in the same frequency range. The method presented reduces the mentioned problems of the known solutions which use the electromagnetic (EM) waves. The present Invention does not depend on EM waves because it simply uses a digital imaging device, such as a cell phone imaging sensor, to accurately determine the distance. This offers the advantages of a faster and less complex distance detection and assessment algorithm. In addition, the results are more reliable and the required accuracy can be trained in the process. In addition, the process can be carried out without the need for additional hardware, which enables a very cost-effective overall process.

Das Verfahren ist auf ein ferngesteuertes Fahrzeug-Rangieren gerichtet. Dies bedeutet, dass das erfindungsgemäße Verfahren in autonomen oder halbautonomen Fahr- oder Rangierverfahren verwendet werden kann, wobei die gesamten Fahrzeug-Lenkungsfunktionen oder Teile davon an das Fahrzeug selbst übertragen werden. D.h. das Fahrzeug wird ohne volle Kontrolle durch den Bediener benutzt. Im Besonderen ist es vorgesehen, dass nicht alle Fahrentscheidungen vom Bediener getroffen werden. Für das erfindungsgemäße Verfahren ist es darüber hinaus von Vorteil, dass der Fahrzeugbediener sich außerhalb des Fahrzeugs befindet. Ein erfindungsgemäßes Fahrzeug kann beispielsweise ein PKW oder ein LKW sein und das Rangieren des Fahrzeugs kann die Bewegung des Fahrzeugs, einschließlich einer Positionsänderung, umfassen. Rangieren umfasst üblicherweise die Beschleunigung oder das Anhalten des Fahrzeugs und die Änderung der Fahrtrichtung des Fahrzeugs. Ein typisches Rangiermanöver kann eine Einparksituation sein.The method is aimed at remote-controlled vehicle maneuvering. This means that the method according to the invention can be used in autonomous or semi-autonomous driving or maneuvering methods, with all or part of the vehicle steering functions being transferred to the vehicle itself. That the vehicle is used without full operator control. In particular, it is provided that not all driving decisions are made by the operator. For the method according to the invention, it is also advantageous that the vehicle operator is outside the vehicle. A vehicle according to the invention can be, for example, a car or a truck, and the maneuvering of the vehicle can include the movement of the vehicle, including a change in position. Maneuvering usually involves accelerating or stopping the vehicle and changing the direction of travel of the vehicle. A typical maneuvering maneuver can be a parking situation.

Im ersten Schritt a) wird das Fahrzeug verifiziert. Das gesamte erfindungsgemäße Verfahren kann in zwei verschiedene Aufgaben aufgeteilt werden. Als Erstes wird sichergestellt, dass die erfindungsgemäße Routine am richtigen Fahrzeug durchgeführt wird, d.h. das zu rangierende Fahrzeug wird verifiziert. In diesem Schritt wird sichergestellt, dass nicht ein falsches Fahrzeug anvisiert wird. Zusätzlich wird verhindert, dass der Bediener sich zu lange auf das falsche Fahrzeug konzentriert. Die Verifizierung basiert auf einem fahrzeugspezifischen Signal, das aus der Gruppe bestehend aus visuellen, hörbaren oder elektromagnetischen Signalen oder deren Kombinationen ausgewählt wird. Dies bedeutet, dass das Fahrzeug ein spezifisches Signal aussendet, das das Fahrzeug von anderen Fahrzeugen unterscheiden kann, die sich eventuell in der näheren Umgebung befinden. Das Signal kann ein beliebiges Signal sein, das von einem Sensor erkannt werden kann. Mögliche und vorzugsweise verwendete Signaltypen sind oben erwähnt. Das Signal wird von einem mobilen und außerhalb des Fahrzeugs positionierten Signalerkennungsgerät erkannt. Dies bedeutet, dass das Signal für die Aufzeichnung oder Erkennung außerhalb des Fahrzeugs selbst angepasst werden kann. Daher liegt es nicht im Sinn der Erfindung, dass das Signal nur innerhalb des Fahrzeugs erkennbar ist. Ein mobiles Signalerkennungsgerät kann beispielsweise eine Digitalkamera, ein Smartphone oder einfach ein Mikrophon sein.In the first step a), the vehicle is verified. The entire method according to the invention can be divided into two different tasks. First, it is ensured that the routine according to the invention is carried out on the correct vehicle, i.e. the vehicle to be maneuvered is verified. This step ensures that the wrong vehicle is not targeted. It also prevents the operator from concentrating too long on the wrong vehicle. The verification is based on a vehicle-specific signal that is selected from the group consisting of visual, audible or electromagnetic signals or their combinations. This means that the vehicle emits a specific signal that can distinguish the vehicle from other vehicles that may be in the vicinity. The signal can be any signal that can be recognized by a sensor. Possible and preferably used signal types are mentioned above. The signal is recognized by a mobile signal recognition device positioned outside the vehicle. This means that the signal for recording or detection can be adapted outside the vehicle itself. It is therefore not in the spirit of the invention that the signal can only be recognized inside the vehicle. A mobile signal recognition device can be, for example, a digital camera, a smartphone or simply a microphone.

Nach der Fahrzeugverifizierung werden im Schritt b) digitale Bilder von mindestens einem Teil des Fahrzeugs durch ein mobiles, außerhalb des Fahrzeugs positioniertes digitales Bildgerät aufgezeichnet. Nach Sicherstellung, dass das richtige Fahrzeug aufgezeichnet und verfolgt wird, werden digitale Bilder des Fahrzeugs oder von spezifischen Fahrzeugteilen aufgenommen. Dazu gehört, dass verschiedene getrennte Bilder oder laufende Filmsequenzen als Funktion der Zeit aufgezeichnet werden. Beispielsweise ist es möglich, jede Sekunde ein Bild oder Bilder mit einer Frequenz von 10 oder 100 Hz aufzunehmen. Die digitalen Bilder müssen für das verifizierte Fahrzeug oder bestimmte Fahrzeugteile davon spezifische Daten enthalten. Dies bedeutet, dass zumindest gewisse Teile des digitalen Bildes Merkmale des verifizierten Fahrzeugs zeigen. In der folgenden Routine wird angenommen, dass das Fahrzeugteil die Fahrzeugposition repräsentiert. Es können beispielsweise weitere Berechnungen vorgenommen werden, um die Position des Fahrzeugteils innerhalb des Fahrzeugs zu ermitteln. Es könnte beispielsweise möglich sein, die Gesamtlänge eines Autos mit einzubeziehen in den Fällen, in denen der Vorderreifen für Distanzberechnungen verwendet wird. Aufgrund der bekannten Autoabmessung ist es unmittelbar möglich, die Position der weiteren Fahrzeugteile, beispielsweise der hinteren Fahrzeugreifen, zu berechnen. Daher ist es möglich, rein durch die Aufzeichnung eines Fahrzeugteils die gesamten Fahrzeugabmessungen zu integrieren. Die Bilder oder der Film werden mithilfe eines außerhalb des Fahrzeugs befindlichen mobilen digitalen Bildgeräts aufgezeichnet. Mögliche mobile Bildgeräte können Smartphones, Tablet-PCs oder einfach digitale Kameras sein, wobei diese Geräte üblicherweise einen digitalen Bildsensor und ein Speichermedium umfassen. Das Gerät befindet sich außerhalb des Fahrzeugs und in bevorzugten Ausführungen kann der Fahrzeugbediener, der sich außerhalb des Fahrzeugs aufhält, das digitale Bildgerät in seinen Händen halten, um die digitalen Bilder aufzuzeichnen. Die Aufzeichnung und Behandlung von digitalen Bildern kann in für den Fachmann bekannten verschiedenen Bildformaten durchgeführt werden. Mögliche Formate sind beispielsweise .jpg, .gif, .tif, .mpg oder andere Datenformate, die das Bild auf Pixelbasis des Bildaufzeichnungsgeräts darstellen.After vehicle verification, digital images of at least part of the vehicle are recorded in step b) by a mobile digital image device positioned outside the vehicle. After ensuring that the correct vehicle is recorded and tracked, digital images of the vehicle or of specific vehicle parts are taken. This includes recording various separate images or running film sequences as a function of time. For example, it is possible to take a picture or pictures with a frequency of 10 or 100 Hz every second. The digital images must contain data specific to the verified vehicle or certain vehicle parts thereof. This means that at least certain parts of the digital image show features of the verified vehicle. In the following routine, it is assumed that the vehicle part represents the vehicle position. For example, further calculations can be carried out in order to determine the position of the vehicle part within the vehicle. For example, it could be possible to include the total length of a car in cases where the front tire is used for distance calculations. Based on the known car dimensions, it is immediately possible to calculate the position of the other vehicle parts, for example the rear vehicle tires. It is therefore possible to integrate the entire vehicle dimensions purely by recording a vehicle part. The images or film are recorded using a mobile digital imaging device located outside the vehicle. Possible mobile image devices can be smartphones, tablet PCs or simply digital cameras, these devices usually comprising a digital image sensor and a storage medium. The device is located outside the vehicle and, in preferred embodiments, the vehicle operator who is outside the vehicle can hold the digital imaging device in his hands to record the digital images. The recording and processing of digital images can be carried out in various image formats known to those skilled in the art. Possible formats are, for example .jpg, .gif, .tif, .mpg or other data formats which represent the image on a pixel basis of the image recording device.

Nach der Aufzeichnung der Fahrzeugbilder wird im Schritt c) die Distanz zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät berechnet. Anhand der durch das mobile digitale Bildgerät aufgezeichneten digitalen Bilddaten ist es möglich, die Distanz zwischen dem Bildaufzeichnungsgerät und dem Fahrzeug zu berechnen. Die Berechnung kann eine Kalibrierung vor der Durchführung des Verfahrens erfordern, um die digitalen Bildpixelzahlen von bestimmten Autoteilen und die Distanz zu spezifischen Aufzeichnungsgeräten miteinander zu korrelieren. Da aufgrund der Korrelation die Teile, die vom Bildaufzeichnungsgerät weiter entfernt sind, kleiner erscheinen und daher zu einer niedrigeren Pixelzahl beitragen, kann ein allgemeines Distanz-Pixel-Verhältnis kalibriert werden . Die Distanzberechnung kann auch ein laufendes Verfahren sein, wobei eine Distanz für jedes aufgezeichnete Bild berechnet wird. Daher ist es möglich, die Fahrzeugbewegung über die Zeit zu verfolgen.After recording the vehicle images, the distance between the vehicle and the mobile digital image device is calculated in step c). It is based on the digital image data recorded by the mobile digital image device possible to calculate the distance between the image recorder and the vehicle. The calculation may require calibration before performing the method to correlate the digital image pixel counts of certain auto parts and the distance to specific recording devices. Since, due to the correlation, the parts that are further away from the image recorder appear smaller and therefore contribute to a lower number of pixels, a general distance-pixel ratio can be calibrated. The distance calculation can also be an ongoing process, with a distance being calculated for each recorded image. It is therefore possible to track the vehicle movement over time.

Nach der Distanzberechnung im Schritt c) wird im Schritt d) beurteilt, ob die Distanz kleiner als eine gewisse maximale Distanz ist. Die berechnete Distanz des Autoteils und des mobilen Bildaufzeichnungsgeräts kann als gleich der Distanz zwischen dem Fahrzeugbediener und dem Auto angenommen werden. Das Verfahren vergleicht in diesem Schritt, ob der Bediener sich in nächster Nähe des Autos befindet. Der Begriff „nächste Nähe“ kann als Funktion der maximalen Distanz eingestellt werden. Beispielsweise wird in bestimmten Gerichtsbezirken eine maximale Distanz festgelegt, wobei in dem Fall, in dem ein Fahrzeug eine Bedienerüberwachung erfordert, der Bediener sich innerhalb einer gewissen Distanz zum Fahrzeug, z.B. 5 m für ein Einparkverfahren, befinden muss.After the distance calculation in step c), it is assessed in step d) whether the distance is less than a certain maximum distance. The calculated distance of the auto part and the mobile image recorder can be assumed to be equal to the distance between the vehicle operator and the car. In this step, the process compares whether the operator is in close proximity to the car. The term “closest proximity” can be set as a function of the maximum distance. For example, in certain jurisdictions, a maximum distance is set, and in the event that a vehicle requires operator monitoring, the operator is within a certain distance of the vehicle, e.g. 5 m for a parking procedure.

Basierend auf der Definition der maximalen Distanz und des Beurteilungssschritts können verschiedene Entscheidungen oder Aktionen festgelegt werden. Beispielsweise ist es möglich, dass im Schritt e) das Rangieren des Fahrzeugs über eine Fernsteuerung in Fällen erlaubt ist, in denen das Beurteilungsergebnis von Schritt d) ergibt, dass die Distanz zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät kleiner oder gleich groß ist wie die maximale Distanz. Dieser Schritt stellt sicher, dass sich das Fahrzeug nur dann bewegt, wenn der Bediener sich in einer festgelegten nächsten Nähe befindet. Daher wird das Rangieren durch den Bediener überwacht und basierend auf der höheren Distanzgenauigkeit kann garantiert werden, dass eine Fahrzeugbewegung nur dann durchgeführt wird, wenn die Distanz innerhalb der gesetzlichen Anforderungen liegt. Als Alternative können die Messung und die Beurteilung ergeben, dass die Distanz zwischen dem Gerät/Bediener größer ist als vorgeschrieben und eine mögliche Aktion kann einen Fahrzeugstopp oder eine Nachricht an den Bediener zur Reduzierung der Distanz beinhalten.Various decisions or actions can be made based on the definition of the maximum distance and the assessment step. For example, it is possible that in step e) the vehicle can be maneuvered via a remote control in cases in which the result of the assessment in step d) shows that the distance between the vehicle and the mobile digital image device is less than or the same as that maximum distance. This step ensures that the vehicle only moves when the operator is in a specified close proximity. Therefore the maneuvering is monitored by the operator and based on the higher distance accuracy it can be guaranteed that a vehicle movement is only carried out if the distance is within the legal requirements. Alternatively, the measurement and assessment may indicate that the distance between the device / operator is greater than prescribed, and a possible action may include stopping the vehicle or notifying the operator to reduce the distance.

Die Distanzberechnung im Schritt c) basiert auf Digitalbilddaten des im Schritt b) aufgezeichneten Fahrzeugteils. Dies bedeutet, dass die Distanzberechnung nur auf der digitalen Bilddarstellung des Fahrzeugs, der darin enthaltenen Daten und optional einer bei Bedarf zuvor ausgeführten Kalibrierungsroutine basiert. In der optionalen Kalibrierungsroutine wird ein Verhältnis zwischen einer Längenskala in der realen Welt und einer Bilddatenskala, wie beispielsweise Pixelzahlen zur Darstellung einer gewissen Distanz, hergestellt. Ein solches Verhältnis kann zuvor für mehrere Anwendungen, beispielsweise für verschiedene Fahrzeuge oder Aufzeichnungsgeräte, in das Verfahren integriert oder mithilfe einer vom Benutzer initiierten Routine vor der ersten Anwendung für die vorliegende Einrichtung integriert werden.The distance calculation in step c) is based on digital image data of the vehicle part recorded in step b). This means that the distance calculation is based only on the digital image representation of the vehicle, the data contained therein and optionally a calibration routine previously carried out if necessary. In the optional calibration routine, a relationship is established between a length scale in the real world and an image data scale, such as pixel numbers to represent a certain distance. Such a relationship can be integrated into the method beforehand for several applications, for example for different vehicles or recording devices, or can be integrated for the present device using a routine initiated by the user before the first application.

In einer bevorzugten Ausführung des Verfahrens kann die Distanzberechnung im Schritt c) auf einer Kalibrierungsroutine beruhen, die in einem Vorabschritt vor Schritt a) ausgeführt wird, wobei

i) für eine oder mehrere Fahrzeugteile mit bekannten Abmessungen die Bilder aus mindestens zwei verschiedenen bekannten Distanzen zum Fahrzeug mithilfe eines Bildgeräts aufgezeichnet werden,
ii) die Pixelzahl der Fahrzeugteilbilder gezählt wird,
iii) der Unterschied in den Pixelanzahlen des bei verschiedenen Distanzen aufgenommenen Fahrzeugteilbildes mit den verschiedenen Aufzeichnungsdistanzen korreliert wird und
iv) die tatsächliche Distanz anhand der Pixelzahl des aktuell aufgezeichneten Fahrzeugbildteils berechnet wird. Das Kalibrierungsverfahren kann direkt vor der Distanzberechnung oder über einen bereits vorhandenen und validierten Konfigurations- bzw. Kalibrierungsdatensatz durchgeführt werden. Im letzteren Fall sind die relevanten Informationen des Bildgebungsgeräts und des Autos zuvor bekannt (beispielsweise Bildgeräteigenschaften wie Auflösung, Bildgröße und z.B. der Markentyp des Fahrzeugs und das Baujahr). In diesem Fall kann aus einer größeren Gruppe von bekannten Bildgerät-Autotyp-Kombinationen eine Konfigurationsdatei ausgewählt werden, die bereits die situationsspezifischen Kalibrierungsdaten enthält. Die Konfigurationsdaten könnten ohne die Notwendigkeit eines Benutzerkalibrierungsverfahrens implementiert werden, wenn der Benutzer die Anwendung auf seinem Smartphone das erste Mal installiert. Die Präzision und Reproduzierbarkeit des Verfahrens kann mittels einer oder mehreren Kalibrierungsroutinen erhöht werden. Solche Kalibrierungsroutinen können spezifisch für verschiedene Fahrzeugtypen und Einrichtungen des Bildaufzeichnungsgeräts ausgeführt werden und zusätzlich spezifisch weitere Bildaufzeichnungsbedingungen enthalten, die das Bildergebnis beeinflussen können. Somit ist dieses Verfahren sehr flexibel und kann an die tatsächliche Umgebung angepasst werden. Die Kalibrierung kann auch weitere Umweltfaktoren, beispielsweise Lichtverhältnisse und/oder Regen, Nebel usw. umfassen. Die Kalibrierung, beispielsweise eine App-basierte Kalibrierung, kann bereits vor dem Start in das Verfahren integriert werden. Wenn Daten für zwei verschiedene Distanzen verfügbar sind, kann die tatsächliche Fahrzeugdistanz beispielsweise durch einen Dreisatz extrapoliert werden. Bei Vorhandensein von mehr Datenpunkten kann die tatsächliche Distanz mittels linearer Regression der vorhandenen bekannten Kalibrierungspunkte beurteilt werden. Die Darstellung des Fahrzeugteils im digitalen Bild kann beispielsweise durch Bilderkennungsverfahren, z.B. ein neuronales Netzwerk, bestimmt werden. Die Identifizierung und Pixelzählung des jeweiligen Fahrzeugteils im Bild kann durch für den Fachmann bekannte Verfahren durchgeführt werden.

In a preferred embodiment of the method, the distance calculation in step c) can be based on a calibration routine which is carried out in a preliminary step before step a), wherein

i) for one or more vehicle parts with known dimensions, the images are recorded from at least two different known distances from the vehicle using an image device,
ii) the number of pixels of the vehicle partial images is counted,
iii) the difference in the pixel numbers of the vehicle partial image recorded at different distances is correlated with the different recording distances and
iv) the actual distance is calculated from the number of pixels of the currently recorded vehicle image part. The calibration procedure can be carried out directly before the distance calculation or via an existing and validated configuration or calibration data record. In the latter case, the relevant information of the imaging device and the car are known beforehand (for example, image device properties such as resolution, image size and, for example, the brand type of the vehicle and the year of construction). In this case, a configuration file that already contains the situation-specific calibration data can be selected from a larger group of known image device / autotype combinations. The configuration data could be implemented without the need for a user calibration procedure when the user first installed the application on their smartphone. The precision and reproducibility of the method can be increased using one or more calibration routines. Such calibration routines can be carried out specifically for different vehicle types and devices of the image recording device and can also contain specific additional image recording conditions which can influence the image result. So is this procedure is very flexible and can be adapted to the actual environment. The calibration can also include other environmental factors, for example light conditions and / or rain, fog, etc. The calibration, for example an app-based calibration, can be integrated into the process before starting. If data are available for two different distances, the actual vehicle distance can be extrapolated, for example, by a three-sentence. If there are more data points, the actual distance can be assessed using linear regression of the existing known calibration points. The representation of the vehicle part in the digital image can be determined, for example, by image recognition methods, for example a neural network. The identification and pixel counting of the respective vehicle part in the image can be carried out by methods known to the person skilled in the art.

Im Rahmen eines weiter bevorzugten Merkmals des Kalibrierungsverfahrens im Schritt i) können die Bilder auch als Funktion des Winkels zwischen einer Bildgerätposition und einer Fahrzeugachse aufgezeichnet werden und das Zählergebnis im Schritt ii) kann in Bezug auf den Bildgerät-Fahrzeugachse-Winkel korrigiert werden. Neben der Distanzkalibrierung selbst wurde auch als vorteilhaft gefunden, den Winkel zwischen dem Bildgerät und einer Autoachse mit einzuschließen, um verschiedene Bedienerpositionen in die Kalibrierungsroutine aufzunehmen. Dies kann hilfreich sein, da die gezählte Pixelanzahl unterschiedlich ausfallen kann, wenn das Bild aus verschiedenen Blickwinkeln in Bezug auf das aufgezeichnete Fahrzeugteil aufgezeichnet wird. Beispielsweise kann ein direkt aus einem Rückspiegel aufgezeichnetes hinteres Fahrzeugfensterbild, mehr Pixel für das hintere Fahrzeugfenster enthalten als ein Bild, in dem das hintere Fensterbild aus einer linken oder rechten Fahrzeugperspektive aufgezeichnet wurde. Durch das Einbeziehen solcher Kalibrierungen ist es möglich, die Präzision des Gesamtverfahrens deutlich zu erhöhen.As part of a further preferred feature of the calibration method in step i), the images can also be recorded as a function of the angle between an image device position and a vehicle axis and the counting result in step ii) can be corrected with respect to the image device-vehicle axis angle. In addition to the distance calibration itself, it was also found to be advantageous to include the angle between the image device and an auto axis in order to include different operator positions in the calibration routine. This can be helpful since the number of pixels counted can vary if the image is recorded from different angles with respect to the recorded vehicle part. For example, a rear vehicle window image recorded directly from a rearview mirror may contain more pixels for the rear vehicle window than an image in which the rear window image was recorded from a left or right vehicle perspective. By including such calibrations, it is possible to significantly increase the precision of the overall process.

Gemäß einem anderen Aspekt des Verfahrens können die gezählten Pixelanzahlen im Schritt ii) im Hinblick auf den Bildgerät-Neigungswinkel in der vertikalen Ebene berichtigt werden. Neben der tatsächlichen Distanz erwies sich auch der Neigungswinkel in der vertikalen Ebene vom Bildgerät als ein relevanter Faktor zur Distanzmessung. Dieser Winkel sollte erfasst und kompensiert werden, weil er die Art und Weise beeinflussen kann, in der die Höhe des erkannten Objektes von dem digitalen Bildgerät erfasst wird. Die Schätzung des Neigungswinkels in der vertikalen Ebene bei der Kalibrierung und später während des Verfahrens kann beispielsweise durch ein in das Gerät integrierte Gyroskop erfolgen.According to another aspect of the method, the counted pixel numbers in step ii) can be corrected with regard to the image device inclination angle in the vertical plane. In addition to the actual distance, the angle of inclination in the vertical plane from the image device also proved to be a relevant factor for distance measurement. This angle should be captured and compensated for because it can affect the way in which the height of the recognized object is captured by the digital imaging device. The angle of inclination in the vertical plane during the calibration and later during the method can be estimated, for example, by a gyroscope integrated in the device.

In einer weiteren bevorzugten Ausführung des Verfahrens kann die Pixelzählung im Schritt ii) auf der Höhe in der vertikalen Ebene des Fahrzeugteilbilds basieren. Es wurde als vorteilhaft gefunden, für die Berechnung nicht die gesamten Pixelanzahlen zu verwenden, die dem spezifischen Autoteil zugeordnet sind, sondern die Pixelhöhe in der vertikalen Ebene des Fahrzeugteilbilds. Diese Berechnungsbasis führt zu einer höheren Präzision und ist weniger anfällig für Bildartefakte.In a further preferred embodiment of the method, the pixel count in step ii) can be based on the height in the vertical plane of the vehicle partial image. It has been found to be advantageous not to use the total number of pixels assigned to the specific auto part, but rather the pixel height in the vertical plane of the vehicle sub-image for the calculation. This calculation base leads to higher precision and is less susceptible to image artifacts.

Gemäß einem anderen Aspekt des Verfahrens kann im Schritt b) das Fahrzeugteil aus einer Gruppe bestehend aus den Frontscheinwerfern , den Heckleuchten, den Blinkern, der Windschutzscheibe, den Fenstern, den Seitenspiegeln, dem Kennzeichen, den Reifen des Fahrzeugs oder aus deren Kombinationen ausgewählt werden. Grundsätzlich kann jedes Fahrzeugteil innerhalb des Verfahrens verwendet werden, wobei es sich als vorteilhaft erwiesen hat, die oben angegebene Gruppe von Autoteilen zu nutzen. Vor allem können diese Fahrzeugteile in einem digitalen Bild leicht detektiert und identifiziert werden. Darüber hinaus verfügen diese Teile über Formstabilität und ändern ihre Abmessungen nur in geringem Maße in Abhängigkeit von beispielsweise der Temperatur. Daher können hochspezifische Bilder aufgezeichnet werden und das Berechnungsergebnis ist im Vergleich zu anderen Fahrzeugteilen präziser.According to another aspect of the method, in step b) the vehicle part can be selected from a group consisting of the headlights, the rear lights, the turn signals, the windshield, the windows, the side mirrors, the number plate, the tires of the vehicle or a combination thereof. In principle, every vehicle part can be used within the method, it having proven advantageous to use the above-mentioned group of auto parts. Above all, these vehicle parts can be easily detected and identified in a digital image. In addition, these parts have dimensional stability and only change their dimensions to a small extent depending on, for example, the temperature. Therefore, highly specific images can be recorded and the calculation result is more precise compared to other vehicle parts.

In einer weiteren bevorzugten Ausführung des Verfahrens können das mobile Signalerkennungsgerät aus Schritt a) und das mobile digitale Bildgerät aus Schritt b) dasselbe Gerät sein und aus der Gruppe bestehend aus Mobiltelefonen, Tablet-PCs, Handheld-Computern, Smartuhren, PDAs, Autoschlüsseln ausgewählt werden. Diese Gruppe von Bildaufzeichnungsgeräten hat sich für die Anfertigung und Aufzeichnung von präzisen und reproduzierbaren Bildern der Fahrzeugteile als nützlich erwiesen. Darüber hinaus können in Fällen, in denen dasselbe Gerät für die Signal- und Bilderfassung verwendet wird, Kosten eingespart werden. Dies führt zu einem sehr kosteneffizienten und schnelten Verfahren. Zusätzlich können diese Geräte auch die Berechnungen und die Bildaufzeichnung mit ausreichender Geschwindigkeit durchführen, wodurch eine enge und rechtzeitige Fahrzeugüberwachung ermöglicht wird.In a further preferred embodiment of the method, the mobile signal recognition device from step a) and the mobile digital image device from step b) can be the same device and can be selected from the group consisting of mobile telephones, tablet PCs, handheld computers, smart watches, PDAs, car keys , This group of image recorders has proven useful for producing and recording precise and reproducible images of vehicle parts. In addition, costs can be saved in cases where the same device is used for signal and image acquisition. This leads to a very cost-efficient and quick process. In addition, these devices can also perform the calculations and image recording at a sufficient speed, which enables close and timely vehicle monitoring.

Gemäß einem weiteren Merkmal des Verfahrens können das mobile Signalerkennungsgerät und das mobile digitale Bildgerät dasselbe Gerät und dieses ein Smartphone sein. Vor allem liefern die Smartphones ausreichende Rechenleistung und genügend optische Komponenten zur Sicherstellung einer sehr präzisen Distanzbestimmung auf einer sehr kurzen Erkennungs-Zeitskala. Hierdurch kann auch das Sicherheitsniveau erhöht werden, weil unvorhergesehene Zwischenfälle zeitnah verfolgt werden und eine umgehende Antwort, z.B. das Anhalten des Fahrzeugs aufgrund eines plötzlich erscheinenden Kindes, kann unverzüglich ausgelöst werden.According to a further feature of the method, the mobile signal recognition device and the mobile digital image device can be the same device and this can be a smartphone. Above all, the smartphones provide sufficient computing power and enough optical components to ensure a very precise distance determination on a very short detection timescale. This can also increase the level of security because unforeseen incidents are tracked promptly and an immediate response, such as stopping the vehicle due to a suddenly appearing child, can be triggered immediately.

Gemäß einem weiteren Aspekt des Verfahrens kann das Rangieren des Fahrzeugs das Einparken des Fahrzeugs beinhalten. Das Verfahren eignet sich besonders für Fahrzeug-Einparksituationen, die normalerweise eine enge Überwachung durch den Fahrzeugbediener erfordern. Zusätzlich liegen die Distanzen zwischen dem Bediener und dem Auto in einem Bereich, in dem kleinere Distanzänderungen große Änderungen in den Pixelanzahlen ergeben, wodurch dieses Verfahren für hochpräzise Distanzbestimmungen sehr geeignet ist. Dieses Verfahren kann auf sehr vorteilhafte Weise für ein Auto-Einparkverfahren verwendet werden.According to a further aspect of the method, the maneuvering of the vehicle can include parking the vehicle. The method is particularly suitable for vehicle parking situations that normally require close monitoring by the vehicle operator. In addition, the distances between the operator and the car are in an area in which minor changes in distance result in large changes in the number of pixels, which makes this method very suitable for high-precision distance determination. This method can be used very advantageously for an auto-parking method.

Gemäß einem weiteren bevorzugten Merkmal des Verfahrens kann im Schritt a) die Fahrzeugverifizierung auf einem visuellen Signal basieren, das aus einem digitalen Bild der Fahrzeugkennzeichen generiert wird. Grundsätzlich ist es möglich, jedes visuelle Signal zur Fahrzeugverifizierung zu nutzen, das von der Lichtquelle des Fahrzeugs generiert wurde (z.B. Blinker, Fernlicht, Abblendlicht oder deren Kombinationen). Die Autokennzeichen wurden als besonders vorteilhaft befunden, um eine passende und zuverlässige Basis für die Fahrzeugverifizierung zu bieten. Basierend auf dem eindeutigen Fahrzeugkennzeichen, dessen Zugänglichkeit und den optischen Unterschieden zwischen dem Kennzeichen und dem Rest des Fahrzeuges kann eine einfache Verifizierung mit vorteilhaft geringen Fehlerraten erreicht werden.According to a further preferred feature of the method, in step a) the vehicle verification can be based on a visual signal that is generated from a digital image of the vehicle identification number. In principle, it is possible to use any visual signal for vehicle verification that was generated by the light source of the vehicle (e.g. turn signals, high beam, low beam or their combinations). The license plates were found to be particularly advantageous in order to offer a suitable and reliable basis for vehicle verification. Based on the unique vehicle registration number, its accessibility and the visual differences between the registration number and the rest of the vehicle, simple verification with advantageously low error rates can be achieved.

Zusätzlich liegt es im Umfang der Erfindung, ein System zum ferngesteuerten Fahrzeug-rangieren zu offenbaren, wobei das System zur Durchführung des erfindungsgemäßen Verfahrens ausgelegt ist. Bezüglich der Vorteile des erfindungsgemäßen ferngesteuerten Fahrzeugrangiersystems wird insbesondere und explizit auf die für das erfindungsgemäße Verfahren genannten Vorteile verwiesen. Das erfindungsgemäße Fahrzeug-rangiersystem kann zumindest Mittel, d.h. Sensoren, zur Aufzeichnung der Bilder umfassen. Zusätzlich kann das System weitere Sensoren für die Beurteilung der Umweltbedingungen, beispielsweise der Licht- oder anderer Witterungsverhältnisse, umfassen. Das erfindungsgemäße System kann ein eigenständiges System sein oder auf anderen „externen“ Komponenten wie Smartphones basieren. Darüber hinaus kann das System Datenverarbeitungs- und Datenspeichermittel umfassen, wobei es jedoch auch möglich ist, dass solche Mittel Teil verschiedener Fahrzeugsysteme sind. Die Hauptsystemkomponenten können beispielsweise eine Mobiltelefon-Verarbeitungseinheit, einschließlich Mobiltelefon-Bluetooth und einer Kamera, oder Fahrzeug-Kontrollleuchten und eine Fahrzeug-Bluetooth-ECU sein.In addition, it is within the scope of the invention to disclose a system for remote-controlled vehicle maneuvering, the system being designed to carry out the method according to the invention. With regard to the advantages of the remote-controlled vehicle maneuvering system according to the invention, reference is made in particular and explicitly to the advantages mentioned for the method according to the invention. The vehicle maneuvering system according to the invention can have at least means, i.e. Sensors to record the images. In addition, the system can include further sensors for assessing the environmental conditions, for example the light or other weather conditions. The system according to the invention can be an independent system or based on other “external” components such as smartphones. In addition, the system can include data processing and data storage means, but it is also possible that such means are part of different vehicle systems. The main system components can be, for example, a cell phone processing unit, including cell phone Bluetooth and a camera, or vehicle indicator lights and a vehicle Bluetooth ECU.

Es liegt außerdem im Umfang der vorliegenden Erfindung, ein Fahrzeug mit dem erfindungsgemäßen ferngesteuerten Fahrzeug-Rangiersystem zu offenbaren. Bezüglich der Vorteile eines Fahrzeugs mit dem erfindungsgemäßen ferngesteuerten Fahrzeug-Rangiersystem basierend auf dem erfindungsgemäßen ferngesteuerten Fahrzeug-Rangierverfahren wird explizit auf die Vorteile des erfindungsgemäßen Systems und die Vorteile des erfindungsgemäßen Verfahrens verwiesen.It is also within the scope of the present invention to disclose a vehicle with the remote controlled vehicle maneuvering system of the invention. With regard to the advantages of a vehicle with the remote-controlled vehicle maneuvering system according to the invention based on the remote-controlled vehicle maneuvering method according to the invention, reference is made explicitly to the advantages of the system according to the invention and the advantages of the method according to the invention.

Weitere Vorteile und bevorzugte Ausführungen der Erfindung werden in den Figuren weiter unten dargestellt und erörtert. Es wird ausdrücklich darauf hingewiesen, dass die Figuren nur Beispiele zeigen und den Umfang der Erfindung in keiner Weise einschränken..Further advantages and preferred embodiments of the invention are illustrated and discussed in the figures below. It is expressly pointed out that the figures only show examples and do not limit the scope of the invention in any way.

Die Abbildungen zeigen:

1 Schematische Darstellung eines möglichen Verfahrensablaufs gemäß der Erfindung.
2 Verschiedene Fahrzeugteile, die für die Distanzberechnung zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät gemäß der Erfindung verwendet werden können.
3 Verschiedene Fahrzeugteile, die für die Distanzberechnung zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät gemäß der Erfindung verwendet werden können.
4 Verschiedene Fahrzeugteile, die für die Distanzberechnung zwischen dem Fahrzeug und dem mobilen digitalen Bildgerät gemäß der Erfindung verwendet werden können.

The pictures show:

1 Schematic representation of a possible process sequence according to the invention.
2 Various vehicle parts that can be used for the distance calculation between the vehicle and the mobile digital imaging device according to the invention.
3 Various vehicle parts that can be used for the distance calculation between the vehicle and the mobile digital imaging device according to the invention.
4 Various vehicle parts that can be used for the distance calculation between the vehicle and the mobile digital imaging device according to the invention.

1 zeigt eine schematische Darstellung eines möglichen Verfahrensablaufs gemäß der Erfindung. Das Gesamtverfahren kann von einem Bediener oder einem „Fahrer“ durch Senden eines Signals, das eine Authentifizierung vom Fahrzeug erfordert, an das Fahrzeug eingeleitet werden. Dieses Signal kann mithilfe eines Mobilgeräts, beispielsweise eines Smartphone, oder unter Verwendung des Autoschlüssels gesendet werden. Nach dem Senden des Signals kann das Fahrzeug eine fahrzeugspezifische Authentifizierung, beispielsweise durch Blinken des Fahrzeuglichts in dem Fahrzeug oder durch ein zuvor festgelegtes spezifisches Muster, einleiten. Es ist ebenfalls möglich, dass das spezifische blinkende Muster durch das an das Fahrzeug gesendete Signal bestimmt und darin codiert ist. In dem Fall, dass das „richtige“ Fahrzeugsignal erkannt wird, kann die folgende Rangierroutine prinzipiell gestartet werden. Falls das Signal nicht erkannt wird oder falls aufgrund einer plötzlichen Bewegung oder eines sich bewegenden Objekts zwischen dem Signalempfänger und dem Fahrzeug nur Signalteile erkannt werden, kann die Routine beendet werden. Dies bedeutet, dass der Signalaustauschschritt für die Authentifizierung als erweiterter Totmann-Schalter oder als Teil eines Bewegungsmelders verwendet werden kann. Das Signal kann auch ein visuelles oder Audiosignal sein, wobei für die Erkennung entweder eine Digitalkamera oder ein Mikrophon verwendet werden kann. Nach dem Austausch des kompletten Authentifizierungssignals kann der Distanzberechnungsteil der Routine gestartet werden. In einem ersten Schritt dieses Teils werden die digitalen Bilder des Fahrzeugs aufgezeichnet, beispielsweise mittels einer Digitalkamera, und die Bilder spezifischer Fahrzeugteile verfolgt. Die Fahrzeugteile haben bekannte Abmessungen und digitale Bilder dieser Fahrzeugteile werden zuvor in einer Kalibrierungsroutine gescannt. Dies bedeutet, dass der Unterschied in den Pixelanzahlen dieser Fahrzeugteile als Funktion der Distanz Fahrzeugteil - Bildaufzeichnungsgerät, des Aufzeichnungswinkels und unter gewissen Umständen auch als Funktion des Aufzeichnungsgeräts selbst bekannt ist. Die Kalibrierung beruht auf dem Umstand, dass Teile, die weiter entfernt sind, kleiner erscheinen und umgekehrt, solche, die näher sind, größer erscheinen. Infolgedessen werden nähere Teile durch eine größere Pixelzahl dargestellt als dieselben, weiter entfernt gelegenen Teile. Anhand der Kalibrierung kann die Distanz sehr präzise ermittelt werden. Eine solche Routine ist zuverlässiger und umfasst eine höhere Präzision im Vergleich zu den im Stand der Technikbekannten Verfahren, wie beispielsweise elektromagnetische Wellen (z.B. Bluetooth) im Bereich von 2,402 GHz und 2,480 GHz. Letzteres nutzt hauptsächlich die Laufzeit und die Leistung der empfangenen Wellen zur Bestimmung der Distanz vom Fahrzeug. Dies erweist sich als sehr schwierig und ist ungenau, da Bluetooth konzeptmäßig omnidirektional ist und entsprechend das empfangene Signal durch Reflektionen an verschiedenen Objekten aus unterschiedlichen Materialien und auch aufgrund anderer elektromagnetischer Quellen in demselben Frequenzbereich zufälligen Interferenzen unterliegt. Nach dem Schritt der Distanzberechnung folgt die Distanzbeurteilung. In diesem Schritt wird ermittelt, ob die berechnete Distanz unter einer gewissen Schwellengrenze liegt oder nicht. Regeln und Vorschriften verfügen, dass die Benutzer sich in nächster Nähe des Fahrzeugs aufhalten müssen, beispielsweise nicht mehr als 5 m entfernt, um die Auto-Einparkfunktion zu aktivieren. Wenn die berechnete Distanz unter dieser Grenze oder einem anderen beliebigen festgelegten Distanzwert liegt, kann das Einparkverfahren gestartet oder weitergeführt werden. Wenn die Pixelzählung ergibt, dass die Distanz größer ist, kann das autonome oder halbautonome Fahrzeug-Einparkverfahren beendet werden. Es ist ebenso möglich, einen gewissen Schwellenbereich einzustellen, beispielsweise zwischen 10 cm und 5 m, bei dem das Einparkverfahren fortgeführt werden kann, wobei bei Distanzwerten außerhalb dieses Bereichs das Gesamtverfahren beendet wird. 1 shows a schematic representation of a possible process sequence according to the invention. The overall process can be initiated by an operator or a "driver" by sending a signal to the vehicle that requires authentication from the vehicle. This signal can be sent using a mobile device, such as a smartphone, or using the car key. After the signal has been sent, the vehicle can initiate vehicle-specific authentication, for example by the vehicle light flashing in the vehicle or by a previously defined specific pattern. It is also possible that the specific flashing pattern is determined by the signal sent to the vehicle and encoded therein. In the event that the "correct" vehicle signal is recognized, the following maneuvering routine can in principle be started. If the signal is not recognized or if due to a sudden movement or a moving object between the signal receiver and the signal can only be recognized by the vehicle, the routine can be ended. This means that the signal exchange step can be used for authentication as an extended dead man's switch or as part of a motion detector. The signal can also be a visual or audio signal, whereby either a digital camera or a microphone can be used for the detection. After exchanging the complete authentication signal, the distance calculation part of the routine can be started. In a first step of this part, the digital images of the vehicle are recorded, for example using a digital camera, and the images of specific vehicle parts are tracked. The vehicle parts have known dimensions and digital images of these vehicle parts are previously scanned in a calibration routine. This means that the difference in the pixel numbers of these vehicle parts is known as a function of the distance between the vehicle part and the image recording device, the recording angle and, under certain circumstances, also as a function of the recording device itself. The calibration is based on the fact that parts that are further away appear smaller and vice versa, those that are closer appear larger. As a result, closer parts are represented by a larger number of pixels than the same, more distant parts. The distance can be determined very precisely using the calibration. Such a routine is more reliable and includes a higher precision compared to the methods known in the prior art, such as electromagnetic waves (eg Bluetooth) in the range of 2.402 GHz and 2.480 GHz. The latter mainly uses the transit time and the power of the waves received to determine the distance from the vehicle. This proves to be very difficult and is inaccurate, since Bluetooth is conceptually omnidirectional and accordingly the received signal is subject to random interference due to reflections on different objects made of different materials and also due to other electromagnetic sources in the same frequency range. After the step of distance calculation, the distance assessment follows. This step determines whether or not the calculated distance is below a certain threshold. Rules and regulations stipulate that users must be in close proximity to the vehicle, for example no more than 5 m away, to activate the auto-parking function. If the calculated distance is below this limit or any other specified distance value, the parking procedure can be started or continued. If the pixel count shows that the distance is greater, the autonomous or semi-autonomous vehicle parking procedure can be ended. It is also possible to set a certain threshold range, for example between 10 cm and 5 m, at which the parking procedure can be continued, the overall procedure being terminated if the distance values are outside this range.

2 zeigt ein Fahrzeug (1) und bestimmte Fahrzeugteile (2, 3, 4), die für das erfindungsgemäße Berechnungsverfahren verwendet werden können. Dargestellt ist, dass beispielsweise hintere Fahrzeugteile, wie das hintere Fahrzeugfenster (2), der (hintere) Fahrzeugreifen (3) oder das Rücklicht (4) des Fahrzeugs , als Fahrzeugteile mit bekannten Abmessungen verwendet werden können, wobei das Pixelanzahl-Distanz-Verhältnis zuvor kalibriert werden kann. Auch Teile von diesen Objekten, beispielsweise ein bestimmter Oberflächenbereich des Rücklichts, können verwendet werden. 2 shows a vehicle ( 1 ) and certain vehicle parts ( 2 . 3 . 4 ) that can be used for the calculation method according to the invention. It is shown that, for example, rear vehicle parts, such as the rear vehicle window ( 2 ), the (rear) vehicle tire ( 3 ) or the rear light ( 4 ) of the vehicle, can be used as vehicle parts with known dimensions, wherein the pixel number-distance ratio can be calibrated beforehand. Parts of these objects, for example a certain surface area of the rear light, can also be used.

3 stellt ebenfalls spezifische Fahrzeugteile dar, die in der erfindungsgemäßen Berechnungsroutine verwendet werden können. Dargestellt ist, dass aus der seitlichen Ansicht des Fahrzeugs das Fahrzeug-Seitenfenster (5) und/oder einer der hinteren Fahrzeugreifen (3) verwendet werden kann. Es ist auch möglich, mehrere Fahrzeugteile zu kalibrieren und die Berechnungsroutine auf dem Bild von solchen Teilen, die am besten unter den gegebenen Aufzeichnungsbedingungen zu betrachten sind, und der relativen Fahrzeugposition zu basieren. Dies bedeutet auch, dass während des Fahrzeugrangierens zwischen verschiedenen Fahrzeugteilen gewechselt werden kann. 3 also represents specific vehicle parts that can be used in the calculation routine according to the invention. It is shown that from the side view of the vehicle the vehicle side window ( 5 ) and / or one of the rear vehicle tires ( 3 ) can be used. It is also possible to calibrate multiple vehicle parts and base the calculation routine on the image of those parts that are best viewed under the given recording conditions and the relative vehicle position. This also means that it is possible to switch between different vehicle parts during maneuvering.

4 stellt ebenfalls spezifische Fahrzeugteile dar, die in der erfindungsgemäßen Routine verwendet werden können. Dargestellt ist, dass beispielsweise ein Fahrzeug-Vorderreifen (3) oder ein Frontspiegel (6) zu Kalibrierungs- und Berechnungszwecken verwendet werden kann. Daher ist es möglich, Fahrzeugteile von sämtlichen Fahrzeugseiten zu verwenden und dadurch das Verfahren auch in Fällen zu verwenden, in denen das Fahrzeug in Bewegung ist und verschiedene Fahrzeugseiten aufgezeichnet werden. 4 also represents specific vehicle parts that can be used in the routine of the invention. It is shown that, for example, a vehicle front tire ( 3 ) or a front mirror ( 6 ) can be used for calibration and calculation purposes. It is therefore possible to use vehicle parts from all sides of the vehicle and thereby to use the method even in cases where the vehicle is in motion and different sides of the vehicle are recorded.

Beispielexample

Das Gesamtverfahren kann zur Einleitung eines Auto-Einparkens durch einen Benutzer ausgelegt sein. Beispielsweise kann ein Benutzer eine Mobilanwendung für eine Autorangierfunktion starten. Die Anwendung kann auf eine Mobiltelefonkamera zugreifen und diese zur Verifizierung des vorgesehenen Fahrzeugs und weiter zur Berechnung der Distanz zwischen diesem und dem Benutzer verwendet werden. Dann und nur dann, wenn das Fahrzeug verifiziert ist und die berechnete Distanz unter der maximalen vorgegebenen Distanz liegt, wird das Autoeinparken aktiviert.The overall method can be designed to initiate auto-parking by a user. For example, a user can start a mobile application for an auto maneuvering function. The application can access a mobile phone camera and use it to verify the intended vehicle and further to calculate the distance between it and the user. Then and only when the vehicle is verified and the calculated distance is below the maximum specified distance, the car parking is activated.

In einer Vorphase kann ein neuronales Netzwerk für das vorliegende Fahrzeug antrainiert werden, um Folgendes zu ermitteln:

a. Vorgesehenes Fahrzeug nach Modell und Farbe,
b. Verschiedene Fahrzeugteile, einschließlich aber nicht beschränkt auf, Frontscheinwerfer des Fahrzeugs, Heckleuchten des Fahrzeugs, Blinker des Fahrzeugs, Windschutzscheibe des Fahrzeugs, Fenster des Fahrzeugs, Seitenspiegel des Fahrzeugs, Kennzeichen des Fahrzeugs.

In a preliminary phase, a neural network can be trained for the present vehicle in order to determine the following:

a. Intended vehicle by model and color,
b. Various vehicle parts, including but not limited to, vehicle headlights, vehicle rear lights, vehicle indicators, vehicle windshield, vehicle windows, vehicle side mirrors, vehicle registration number.

Außerdem können in dieser Phase die realen aktuellen Abmessungen der verschiedenen Fahrzeugteile ins System integriert werden. In einer späteren Stufe (wenn der Benutzer die Anwendung auf sein Smartphone herunterlädt) kann eine weitere Kalibrierung erforderlich werden, weil ein anderes Smartphone mit abweichenden Bildsensor-Spezifikationen verwendet wird. Ziel des Kalibrierungsverfahrens ist, die realen Abmessungen der erkannten, zuvor erwähnten Objekte der Pixelanzahl zuzuordnen, die durch die Smartphone-Kamera des Benutzers bei einer gegebenen Distanz und eventuell bei einem gegebenen Aufzeichnungswinkel erfasst wurde.In this phase, the real, current dimensions of the various vehicle parts can also be integrated into the system. At a later stage (when the user downloads the application to their smartphone), further calibration may be necessary because a different smartphone with different image sensor specifications is used. The aim of the calibration method is to assign the real dimensions of the recognized, previously mentioned objects to the number of pixels that was captured by the user's smartphone camera at a given distance and possibly at a given recording angle.

Start der AnwendungStart the application

Der Benutzer startet die Anwendung.The user starts the application.

Die Anwendung authentifiziert das Fahrzeug unter Verwendung von Bluetooth und sendet danach ein zufälliges Muster. Entsprechend wird dieses Muster von dem Fahrzeug verwendet, um dessen Warnblinker blinken zu lassen .The application authenticates the vehicle using Bluetooth and then sends a random pattern. Accordingly, this pattern is used by the vehicle to flash its hazard lights.

Erkennung des Warnblinker-BlinkmustersDetection of the hazard warning flashing pattern

Die Smartphone-Kamera wird aus der Anwendung gestartet und fordert den Benutzer auf, die Smartphone-Kamera auf den blinkenden Warnblinker zu richten, woraufhin die Anwendung das blinkende Muster überwacht, analysiert und mit dem zuvor an das Fahrzeug gesendeten vergleicht. Falls das Muster übereinstimmt, ist damit das Fahrzeug identifiziert.The smartphone camera is started from the application and prompts the user to point the smartphone camera at the blinking hazard warning light, whereupon the application monitors the blinking pattern, analyzes it and compares it with the one previously sent to the vehicle. If the pattern matches, the vehicle is identified.

Fahrzeugerkennungvehicle detection

Nach korrekter Identifikation des blinkenden Musters beginnt die Anwendung, das Fahrzeug zu erkennen, an dem das blinkende Licht lokalisiert ist, und erfasst das Fahrzeug mit dem zuvor konfigurierten neuronalen Netzwerk.After correctly identifying the blinking pattern, the application begins to recognize the vehicle where the blinking light is located and detects the vehicle with the previously configured neural network.

Durch Verwendung eines optionalen Schritts 4 kann die Genauigkeit und Robustheit des Verfahrens verbessert werden. Dieser Schritt wird zur Erhöhung der Robustheit und Genauigkeit des Systems und zur Vermeidung der Erfassung eines anderen Fahrzeugs desselben Modells und identischer Farbe verwendet. Dieser optionale Schritt kann umfassen:

a. Durch Überwachung der Bewegungssensoren des Smartphones löst jede plötzliche Bewegung einen Fehler aus und fordert den Benutzer zum erneuten Scannen des Blinkers auf,
b. Der Benutzer drückt den sich im Sichtfeld der Kamera befindlichen Totmann-Schalter am Fahrzeug oder dreht eine Runde um das Fahrzeug. Falls das Fahrzeug das Sichtfeld verlässt, fordert die Anwendung den Benutzer zum erneuten Scannen des Blinkers auf.

By using an optional step 4 the accuracy and robustness of the method can be improved. This step is used to increase the robustness and accuracy of the system and to avoid detection of another vehicle of the same model and color. This optional step can include:

a. By monitoring the smartphone's motion sensors, any sudden movement triggers an error and prompts the user to scan the turn signal again,
b. The user presses the dead man's switch in the field of view of the camera on the vehicle or turns the vehicle. If the vehicle leaves the field of view, the application prompts the user to scan the turn signal again.

Identifizierung von Objekten innerhalb oder am erkannten FahrzeugIdentification of objects inside or on the recognized vehicle

Solange das Fahrzeug im Sichtfeld ist, identifiziert das neuronale Netzwerk das Erkennungsfeld des Fahrzeugs und sucht weiter darin nach verschiedenen Objekten am Fahrzeug, beispielsweise Windschutzscheibe, Reifen oder Frontscheinwerfer.As long as the vehicle is in the field of vision, the neural network identifies the detection field of the vehicle and continues to search for various objects on the vehicle, for example windshield, tires or headlights.

Distanzberechnungdistance calculation

Nach erfolgreicher Identifizierung einer bekannten Objektgröße können folgende Faktoren für die Distanzberechnung verwendet werden:

a. Zur Bestimmung der Distanz wird eine Kalibrierung in der Vorbetriebsphase (Zuordnung der Objektabmessungen zu den Pixelanzahlen) sowie die entsprechende Pixelanzahl (Höhe in der vertikalen Ebene), die das Objekt ausmacht, herangezogen.
b. Die Smartphone-Ausrichtung, insbesondere der Neigungswinkel des Smartphones in der vertikalen Ebene, kann vom Smartphone-Gyroskop abgerufen werden. Dieser Winkel kann erfasst und kompensiert werden, weil er die Höhe des erkannten Objektes in der durch die Kamera erfassten Form beeinflussen kann.

After successfully identifying a known object size, the following factors can be used for the distance calculation:

a. To determine the distance, a calibration in the pre-operation phase (assignment of the object dimensions to the number of pixels) and the corresponding number of pixels (height in the vertical plane) that make up the object are used.
b. The smartphone orientation, in particular the angle of inclination of the smartphone in the vertical plane, can be called up by the smartphone gyroscope. This angle can be detected and compensated because it can influence the height of the recognized object in the form detected by the camera.

Fahrzeugerkennung 360°Vehicle detection 360 °

Wenn das Manöver noch nicht abgeschlossen ist und die Kameraansicht des Fahrzeugs sich wegen der Bewegung des Fahrzeugs (d.h. das Fahrzeug dreht sich seitwärts) oder der veränderten Position des Benutzers verändert hat. Das neuronale Netzwerk sucht erneut nach einer bekannten Objektgröße im Fahrzeug und berechnet die Distanz erneut, bis das Manöver endet.If the maneuver is not yet complete and the camera view of the vehicle has changed due to the movement of the vehicle (i.e. the vehicle turns sideways) or the changed position of the user. The neural network searches again for a known object size in the vehicle and recalculates the distance until the maneuver ends.

Bezugsnummern references

11: Fahrzeugvehicle
22: hinteres Fenster des Fahrzeugsrear window of the vehicle
33: Fahrzeugreifenvehicle tires
44: Rücklicht des FahrzeugsTail light of the vehicle
55: Seitenfenster des FahrzeugsSide window of the vehicle
66: Seitenspiegel des FahrzeugsSide mirror of the vehicle

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2017186310 A1 [0004]
US 2015375741 A1 [0005]
DE 102016011071 A1 [0006]
DE 102014015655 A1 [0007]
DE 102014011809 A1 [0008]
DE 102013221650 A1 [0009]

Claims

Method for remote-controlled vehicle maneuvering, comprising at least the following steps: a) Verification of the vehicle (1) on the basis of a vehicle-specific signal, selected from the group consisting of visual, audible or electromagnetic signals or their combinations, which is generated by a mobile, outside the vehicle Vehicle positioned signal detection device is detected; b) recording digital images of at least a part (2, 3, 4, 5, 6) of the vehicle by means of a mobile digital image device positioned outside the vehicle; c) distance calculation between the vehicle (1) and the mobile digital image device; d) assessing whether the distance calculated in step c) is less than a certain maximum distance; and e) maneuvering said vehicle (1) via a remote control in the cases where the judgment result of step d) indicates that the distance between the vehicle (1) and the mobile digital image device is less than or equal to the maximum distance, characterized that the distance calculation in step c) is based on digital image data of the vehicle part (2, 3, 4, 5, 6) recorded in step b).

Procedure according to Claim 1 , wherein the distance calculation in step c) is based on a calibration routine which is carried out in a preliminary step before step a), wherein i) the images from at least one or more vehicle parts (2, 3, 4, 5, 6) with known dimensions two different known distances to the vehicle are recorded using an image device, ii) the number of pixels of the vehicle partial images is counted, iii) the difference in the pixel numbers of the vehicle partial image recorded at different distances is correlated with the different recording distances and iv) the actual distance based on the Number of pixels of the currently recorded vehicle image part (2, 3, 4, 5, 6) is calculated.

Procedure according to Claim 2 , wherein for the calibration in step i) the images are also recorded as a function of the angle between an image device position and a vehicle axis and the counting result from step ii) is corrected in relation to the angle between the image device and the vehicle axis.

Procedure according to Claim 2 or 3 , the number of pixels counted in step ii) being corrected with regard to the inclination angle of the image device in the vertical plane.

Procedure according to one of the Claims 2 to 4 , wherein the pixel count in step ii) is based on the height of the vehicle partial image in the vertical plane (2, 3, 4, 5, 6).

Method according to one of the preceding claims, wherein in step b) the vehicle part (2, 3, 4, 5, 6) from the group consisting of the headlights, the rear lights, the turn signals, the windshield, the windows, the side mirrors, the license plate , the tires of the vehicle or combinations thereof.

Method according to one of the preceding claims, wherein the mobile signal recognition device from step a) and the mobile digital image device from step b) are the same device and are selected from the group consisting of mobile telephones, tablet PCs, handheld computers, smart watches, PDAs, car keys ,

Method according to one of the preceding claims, wherein the mobile signal recognition device and the mobile digital image device are the same device which is a smartphone.

Method according to one of the preceding claims, wherein the vehicle maneuvering is the parking of the vehicle.

Method according to one of the preceding claims, wherein in step a) the vehicle verification is based on a visual signal which is generated from a digital image of the vehicle license plates.

System for remote-controlled vehicle maneuvering, characterized in that the system for performing the method according to one of the Claims 1 - 10 is adjusted.

Vehicle with a remote-controlled vehicle maneuvering system Claim 11 ,