DE102021132024A1 - METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE - Google Patents
METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE Download PDFInfo
- Publication number
- DE102021132024A1 DE102021132024A1 DE102021132024.0A DE102021132024A DE102021132024A1 DE 102021132024 A1 DE102021132024 A1 DE 102021132024A1 DE 102021132024 A DE102021132024 A DE 102021132024A DE 102021132024 A1 DE102021132024 A1 DE 102021132024A1
- Authority
- DE
- Germany
- Prior art keywords
- ultrasonic
- motor vehicle
- echo signal
- classification
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
- G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
- G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
- G01S15/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector wherein transceivers are operated, either sequentially or simultaneously, both in bi-static and in mono-static mode, e.g. cross-echo mode
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/523—Details of pulse systems
- G01S7/526—Receivers
- G01S7/527—Extracting wanted echo signals
- G01S7/5273—Extracting wanted echo signals using digital techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/46—Indirect determination of position data
- G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
Abstract
Vorgeschlagen wird ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs (1), das eine Anzahl Ultraschallsendeempfänger (2) aufweist. Das Verfahren umfasst:a) Ansteuern (S1) der Anzahl Ultraschallsendeempfänger (2) zum Aussenden von Ultraschall-Sendesignalen in die Umgebung des Kraftfahrzeugs (1) und Empfangen von Ultraschall-Empfangssignalen (7) aus der Umgebung des Kraftfahrzeugs (1); b) Identifizieren (S2) mehrerer Ultraschallechos (8) in den empfangenen Ultraschall-Empfangssignalen (7) und Erfassen einer jeweiligen Echosignaldarstellung (9) für jedes der identifizieren Ultraschallechos (8); c) Bestimmen (S3) einer Klassifizierung (32, 33) jeder der mehreren Echosignaldarstellungen (9) als Reflexion des Ultraschall-Sendesignals an einem punktförmigen Objekt (10) oder als Reflexion des Ultraschall-Sendesignals an einem linienförmigen Objekt (11); und d) Erzeugen (S4) einer Anzahl von Objektmerkmalen (18, 19), die ein jeweiliges Objekt (10, 11) in der Umgebung des Kraftfahrzeugs (1) angeben, anhand der mehreren Ultraschallechos (8) unter Berücksichtigung der Klassifizierungen (32, 33) der mehreren Echosignaldarstellungen (9).A method is proposed for measuring the surroundings of a motor vehicle (1) which has a number of ultrasonic transceivers (2). The method comprises: a) activation (S1) of the number of ultrasound transceivers (2) for emitting ultrasound transmission signals into the area surrounding the motor vehicle (1) and receiving ultrasound reception signals (7) from the area surrounding the motor vehicle (1); b) identifying (S2) a plurality of ultrasonic echoes (8) in the received ultrasonic signals (7) and detecting a respective echo signal representation (9) for each of the identified ultrasonic echoes (8); c) determining (S3) a classification (32, 33) of each of the plurality of echo signal representations (9) as a reflection of the ultrasonic transmission signal on a punctiform object (10) or as a reflection of the ultrasonic transmission signal on a linear object (11); and d) generating (S4) a number of object features (18, 19), which indicate a respective object (10, 11) in the area surrounding the motor vehicle (1), on the basis of the plurality of ultrasonic echoes (8) taking into account the classifications (32, 33) of the multiple echo signal representations (9).
Description
Die vorliegende Erfindung betrifft Ultraschall-Messtechnik in Kraftfahrzeugen und im Speziellen ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs mit einem oder mehreren Ultraschallsendeempfängern.The present invention relates to ultrasonic measuring technology in motor vehicles and, in particular, to a method for measuring an area surrounding a motor vehicle with one or more ultrasonic transceivers.
Kraftfahrzeuge werden mit Ultraschallsendeempfängern ausgestattet, die Ultraschall-Sendesignale in eine Umgebung des Kraftfahrzeugs aussenden und Ultraschall-Empfangssignale aus der Umgebung des Kraftfahrzeugs empfangen. Anhand einer Signallaufzeit zwischen Aussenden eines Ultraschall-Sendesignals und Auftreten eines Ultraschallechos in dem Ultraschall-Empfangssignal, das auf eine Reflexion des Ultraschall-Sendesignals an einem Objekt in der Umgebung eines Kraftfahrzeugs zurückgeht, wird ein Abstand zu dem Objekt in der Umgebung des Kraftfahrzeugs ermittelt. Mögliche Positionen des Objekts, oder genauer des Reflexionspunkts, bilden eine Ellipse, deren Brennpunkte die Positionen des sendenden und des empfangenden Ultraschallsendeempfängers bilden und deren große Halbachse dem ermittelten Abstand entspricht. Die tatsächliche Position des Reflexionspunkts wird sodann durch Trilateration oder dergleichen anhand mehrerer an verschiedenen Messpositionen gewonnen Ellipsen bestimmt. Bei der Trilateration und dergleichen stellt sich das Problem, dass ein bei zweidimensionaler Betrachtung im Wesentlichen punktförmiges Objekt, wie ein Pfosten, im Wesentlichen am Schnittpunkt der von verschiedenen Messpositionen aus bestimmten Ellipsen angeordnet ist, da in diesem Fall die Reflexionen bei den mehreren Messungen alle im Wesentlichen an demselben Punkt erfolgen. Ein ausgedehntes Objekt, wie eine Mauer, ist dagegen in der Regel entlang einer Tangente an die an den verschiedenen Messpositionen gewonnenen Ellipsen angeordnet, da in diesem Fall die mehreren Reflexionen in der Regel an unterschiedlichen Punkten des ausgedehnten Objekts erfolgen. Oft ist es nicht möglich, anhand des sich ergebenden Bildes der mehreren Ellipsen zu erkennen, ob Reflexionen an demselben Punkt eines punktförmigen oder Reflexionen an unterschiedlichen Punkten eines ausgedehnten Objekts vorliegen. Somit können die Positionen einiger Reflexionspunkte nicht hinreichend exakt bestimmt werden.Motor vehicles are equipped with ultrasonic transceivers, which emit ultrasonic transmission signals into the surroundings of the motor vehicle and receive ultrasonic reception signals from the surroundings of the motor vehicle. A distance to the object in the vicinity of the motor vehicle is determined on the basis of a signal propagation time between the transmission of an ultrasonic transmission signal and the occurrence of an ultrasonic echo in the ultrasonic reception signal, which is due to a reflection of the ultrasonic transmission signal on an object in the vicinity of a motor vehicle. Possible positions of the object, or more precisely of the reflection point, form an ellipse whose focal points form the positions of the transmitting and the receiving ultrasonic transceiver and whose semimajor axis corresponds to the determined distance. The actual position of the reflection point is then determined by trilateration or the like using a number of ellipses obtained at different measurement positions. With trilateration and the like, the problem arises that an object that is essentially point-shaped when viewed in two dimensions, such as a post, is essentially located at the intersection of the ellipses determined from different measurement positions, since in this case the reflections in the multiple measurements are all in the take place essentially at the same point. On the other hand, an extended object such as a wall is usually arranged along a tangent to the ellipses obtained at the various measurement positions, since in this case the multiple reflections usually occur at different points of the extended object. It is often not possible to tell from the resulting image of the multiple ellipses whether reflections are at the same point of a point-like object or reflections at different points of an extended object. Thus, the positions of some reflection points cannot be determined with sufficient accuracy.
Insbesondere bei parkendem Kraftfahrzeug ist zur Steuerung beispielsweise eines Türöffnungsassistenten eine sehr exakte Bestimmung der Lage der Objekte in der Umgebung des Kraftfahrzeugs notwendig, um eine Beschädigung einer Fahrzeugtür beim Öffnen zu vermeiden.In particular when the motor vehicle is parked, a very precise determination of the position of the objects in the vicinity of the motor vehicle is necessary for controlling a door opening assistant, for example, in order to avoid damaging a vehicle door when it is opened.
Vor diesem Hintergrund liegt der Erfindung als Aufgabe zugrunde, die Vermessung einer Umgebung eines Kraftfahrzeugs mittels Ultraschalls weiter zu verbessern.Against this background, the object of the invention is to further improve the measurement of an environment of a motor vehicle by means of ultrasound.
Gemäß einem ersten Aspekt wird ein Verfahren zum Vermessen einer Umgebung eines Kraftfahrzeugs vorgeschlagen, das eine Anzahl Ultraschallsendeempfänger aufweist. Das Verfahren umfasst: a) Ansteuern der Anzahl Ultraschallsendeempfänger zum Aussenden von Ultraschall-Sendesignalen in die Umgebung des Kraftfahrzeugs und Empfangen von Ultraschall-Empfangssignalen aus der Umgebung des Kraftfahrzeugs; b) Identifizieren mehrerer Ultraschallechos in den empfangenen Ultraschall-Empfangssignalen und Erfassen einer jeweiligen Echosignaldarstellung für jedes der identifizieren Ultraschallechos; c) Bestimmen einer Klassifizierung jeder der mehreren Echosignaldarstellungen als Reflexion des Ultraschall-Sendesignals an einem punktförmigen Objekt oder als Reflexion des Ultraschall-Sendesignals an einem linienförmigen Objekt; und d) Erzeugen einer Anzahl von Objektmerkmalen, die ein jeweiliges Objekt in der Umgebung des Kraftfahrzeugs angeben, anhand der mehreren Ultraschallechos unter Berücksichtigung der Klassifizierungen der mehreren Echosignaldarstellungen.According to a first aspect, a method for measuring the surroundings of a motor vehicle is proposed, which has a number of ultrasonic transceivers. The method comprises: a) controlling the number of ultrasonic transceivers for emitting ultrasonic transmit signals into the area surrounding the motor vehicle and receiving ultrasonic received signals from the area surrounding the motor vehicle; b) identifying a plurality of ultrasound echoes in the received ultrasound signals received and acquiring a respective echo signal representation for each of the identified ultrasound echoes; c) determining a classification of each of the plurality of echo signal representations as a reflection of the ultrasonic transmission signal on a punctiform object or as a reflection of the ultrasonic transmission signal on a linear object; and d) generating a number of object features, which indicate a respective object in the area surrounding the motor vehicle, based on the plurality of ultrasonic echoes, taking into account the classifications of the plurality of echo signal representations.
Das vorgeschlagene Verfahren beruht auf dem Gedanken, dass anhand einer Signalform eines einzelnen Echosignals (eines um ein Ultraschallecho angeordneten Abschnitts des Ultraschall-Empfangssignals) Rückschlüsse darüber möglich sind, ob das Ultraschallecho auf eine Reflexion des Ultraschall-Sendesignals an einem im wesentlichen punktförmigen Objekt oder auf eine Reflexion des Ultraschall-Sendesignals an einem ausgedehnten Objekt zurückgeht. Ursache hierfür können beispielsweise Unterschiede in der Geometrie, in der Oberflächenbeschaffenheit und dergleichen typischer bei zweidimensionaler Betrachtung näherungsweise punktförmiger Objekte, wie Pfosten, Ecken von Gebäuden und dergleichen, einerseits und linienförmiger Objekte, wie ausgedehnten Wänden und Mauern und dergleichen, andererseits sein.The proposed method is based on the idea that, based on a signal form of an individual echo signal (a section of the ultrasonic received signal arranged around an ultrasonic echo), conclusions can be drawn as to whether the ultrasonic echo is due to a reflection of the ultrasonic transmitted signal on an essentially punctiform object or on a reflection of the ultrasonic transmission signal is due to an extended object. This can be caused, for example, by differences in the geometry, in the surface texture and the like of typical two-dimensional objects that are approximately point-shaped, such as posts, corners of buildings and the like, on the one hand, and linear objects, such as extensive walls and walls and the like, on the other.
Durch die vorgeschlagene Vorklassifizierung der jeweiligen Echosignalverläufe - und somit der zugehörigen Ultraschallechos - als Reflexionen entweder an punktförmigen oder an linienförmigen Objekten wird es im weiteren Verlauf des Verfahrens vorteilhaft möglich, die Objektmerkmale, welche mindestens eine Angabe einer Position des jeweiligen Objektes in der Umgebung des Kraftfahrzeugs umfassen, korrekt entweder anhand von Tangenten an die oder aber anhand von Schnittpunkten der bestimmten Ellipsen zu bestimmen. Somit kann eine Genauigkeit der Umgebungsvermessung vorteilhaft verbessert werden.Due to the proposed pre-classification of the respective echo signal curves - and thus the associated ultrasonic echoes - as reflections either on point-like or on line-like objects, it is advantageously possible in the further course of the method to identify the object features, which at least indicate a position of the respective object in the area surrounding the motor vehicle include, to be determined correctly either on the basis of tangents to or on the basis of intersections of the particular ellipses. Thus, an accuracy of the surroundings measurement can be advantageously improved.
Eine „Anzahl“ ist vorliegend gleichbedeutend mit „eins oder mehrere“.A "number" is here synonymous with "one or more".
Ein Ultraschall-Sendesignal kann insbesondere ein auf eine Trägerfrequenz aufgeprägter Impuls sein. Ein Ultraschall-Empfangssignal kann insbesondere über einen vordefinierten Zeitraum nach Aussenden des Ultraschall-Sendesignals empfangen und vorzugsweise aufgezeichnet werden.An ultrasonic transmission signal can in particular be an impulse applied to a carrier frequency. A received ultrasound signal can be received and preferably recorded over a predefined period of time after the transmission of the ultrasound signal.
Bei einer jeweiligen Messung wird das Ultraschall-Sendesignal mit einem der Ultraschallsendeempfänger gesendet. Das zugehörige Ultraschall-Empfangssignal kann mit einem selben oder mit einem anderen der Ultraschallsendeempfänger empfangen werden. Das heißt, ein sendender und ein empfangender Ultraschallsendeempfänger können bei einer jeweiligen Messung identisch oder verschieden sein. Mehrere Messungen können nacheinander oder, beispielsweise unter Verwendung unterschiedlicher Trägerfrequenzen, auch gleichzeitig mit unterschiedlichen der Ultraschallsendeempfänger durchgeführt werden.With a respective measurement, the ultrasonic transmission signal is transmitted with one of the ultrasonic transceivers. The associated ultrasound reception signal can be received with the same or with a different one of the ultrasound transceivers. That is, a transmitting and a receiving ultrasonic transceiver can be identical or different in a respective measurement. Several measurements can be carried out one after the other or, for example using different carrier frequencies, also simultaneously with different ultrasonic transceivers.
Um eine Position eines Objekts in der Umgebung des Kraftfahrzeugs bestimmen zu können, genügt es, wenn mindestens zwei Messungen durchgeführt werden, wobei mindestens einer von dem sendenden Ultraschallsendeempfänger und dem empfangenden Ultraschallsendeempfänger bei unterschiedlichen Messungen an unterschiedlichen Positionen angeordnet sind. Es ist denkbar, dass das Kraftfahrzeug mit nur einem einzelnen Ultraschallsendeempfänger ausgestattet ist. In diesem Fall werden mindestens zwei Messungen bei fahrendem Kraftfahrzeug ausgeführt, so dass der Ultraschallsendeempfänger bei den unterschiedlichen Messungen an unterschiedlichen Positionen relativ zu einem ortsfesten Objekt in der Umgebung des Kraftfahrzeugs angeordnet ist. Vorzugsweise weist das Kraftfahrzeug jedoch mehrere, beispielsweise vier, acht oder zwölf Ultraschallsendeempfänger je Fahrzeugseite auf. In diesem Fall können mindestens zwei Messungen auch bei stehendem Kraftfahrzeug unter Verwendung unterschiedlicher der Ultraschallsendeempfänger durchgeführt werden.In order to be able to determine a position of an object in the area surrounding the motor vehicle, it is sufficient if at least two measurements are carried out, with at least one of the transmitting ultrasonic transceiver and the receiving ultrasonic transceiver being arranged at different positions for different measurements. It is conceivable that the motor vehicle is equipped with only a single ultrasonic transceiver. In this case, at least two measurements are carried out while the motor vehicle is moving, so that the ultrasonic transceiver is arranged at different positions relative to a stationary object in the vicinity of the motor vehicle for the different measurements. However, the motor vehicle preferably has several, for example four, eight or twelve, ultrasonic transceivers on each side of the vehicle. In this case, at least two measurements can also be carried out when the motor vehicle is stationary using different ultrasonic transceivers.
Unter einem Ultraschallecho ist insbesondere eine Reflexion des Ultraschall-Sendesignals an einem Objekt in der Umgebung des Kraftfahrzeugs zu verstehen. Das Ultraschallecho kann in dem gemessen Ultraschall-Empfangssignal oder in einer Aufzeichnung davon anhand des Auftretens eines Amplitudenmaximus, beispielsweise unter Verwendung eines Schwellwertfilters, identifiziert werden. Es können zur Identifizierung jedoch auch weitere und komplexe Signalanalysetechniken zum Einsatz kommen, die neben einer Amplitude auch eine Signalform eines Peaks bei dem Amplitudenmaximum und dergleichen berücksichtigen.An ultrasonic echo is to be understood in particular as a reflection of the ultrasonic transmission signal on an object in the vicinity of the motor vehicle. The ultrasonic echo can be identified in the measured ultrasonic received signal or in a recording thereof based on the occurrence of an amplitude maximum, for example using a threshold filter. However, further and complex signal analysis techniques can also be used for identification, which, in addition to an amplitude, also take into account a signal form of a peak at the amplitude maximum and the like.
Ergebnis des Identifizierens kann ein Zeitpunkt des Auftretens des Ultraschallechos bzw. eine Laufzeit des Ultraschall-Sendesignals zwischen dem Aussenden des Ultraschall-Sendesignals durch den sendenden Ultraschallsendeempfänger und dem Empfangen des Ultraschallechos durch den empfangenden Ultraschallsendeempfänger sein. Insofern weitere Schritte des Verfahrens „anhand eines Ultraschallechos“ erfolgen, bedeutet dies insbesondere auch „anhand des zeitlichen Auftretens des Ultraschallechos in dem zugehörigen Ultraschall-Empfangssignal“ und/oder „anhand einer Signallaufzeit des Ultraschall-Sendesignals bis zum Auftreten des Ultraschallechos“ und/oder „anhand eines gemessenen Abstands“.The result of the identification can be a point in time at which the ultrasonic echo occurs or a transit time of the ultrasonic transmission signal between the transmission of the ultrasonic transmission signal by the transmitting ultrasonic transceiver and the receipt of the ultrasonic echo by the receiving ultrasonic transceiver. Insofar as further steps of the method take place "based on an ultrasonic echo", this also means in particular "based on the temporal occurrence of the ultrasonic echo in the associated ultrasonic received signal" and/or "based on a signal propagation time of the ultrasonic transmitted signal until the ultrasonic echo occurs" and/or "by a measured distance".
Eine „Echosignaldarstellung“ ist insbesondere eine digitale Darstellung eines Abschnitts des Ultraschall-Empfangssignals in einem vorbestimmten Bereich, in dem das Ultraschallecho in dem Ultraschall-Empfangssignal auftritt. Beispielsweise kann die Echosignaldarstellung eine Anzahl von Abtastwerten des Ultraschall-Empfangssignals und/oder einer Amplitudenhüllkurve des Ultraschall-Empfangssignals umfassen. „Erfassen“ der Echosignaldarstellung ist insbesondere das Erzeugen der digitalen Darstellung anhand des Ultraschall-Empfangssignals. In einigen Ausführungsformen kann auch das Identifizieren des Ultraschallechos bereits an einer digitalen Darstellung des Ultraschall-Empfangssignals erfolge; in diesem Fall kann unter „Erfassen“ der Echosignaldarstellung das Bereitstellen eines entsprechenden Abschnitts der digitalen Darstellung des Ultraschall-Empfangssignals verstanden werden.An “echo signal representation” is in particular a digital representation of a section of the ultrasound reception signal in a predetermined area in which the ultrasound echo occurs in the ultrasound reception signal. For example, the echo signal representation can include a number of sampled values of the received ultrasound signal and/or an amplitude envelope of the received ultrasound signal. "Capturing" the echo signal representation is in particular the generation of the digital representation based on the ultrasonic received signal. In some embodiments, the identification of the ultrasound echo can also already take place on a digital representation of the ultrasound reception signal; in this case, “capturing” the echo signal representation can be understood to mean the provision of a corresponding section of the digital representation of the received ultrasound signal.
Die Begriffe „punktförmig“ und „linienförmig“ beziehen sich auf eine idealisierte Gestalt des tatsächlichen Objekts bei zweidimensionaler Betrachtung in einer horizontalen Ebene. Das heißt, das tatsächlich in der Umgebung befindliche Objekt braucht nicht tatsächlich punktförmig oder linienförmig zu sein. Vielmehr bedeutet eine Klassifizierung als „punktförmiges Objekt“ oder als „linienförmiges Objekt“, dass das tatsächliche Objekt durch ein zweidimensionales Punkt-Objektmerkmal oder durch ein zweidimensionales Linien-Objektmerkmal für die Zwecke des Verfahrens beschrieben wird und dadurch hinreichend exakt beschreiben ist.The terms "point" and "line" refer to an idealized shape of the actual object when viewed two-dimensionally in a horizontal plane. This means that the object actually located in the environment does not actually have to be point-shaped or line-shaped. Rather, classification as a “point object” or as a “line object” means that the actual object is described by a two-dimensional point object feature or by a two-dimensional line object feature for the purposes of the method and is therefore described with sufficient accuracy.
Beispiele für Objekte, die als punktförmig klassifiziert werden, sind Pfosten, Laternenpfähle, Straßenschilder und dergleichen. Ein weiteres Beispiel für ein als punktförmig zu klassifizierendes Objekt ist eine Ecke eines Gebäudes. Anders ausgedrückt werden Objekte als „punktförmig“ klassifiziert, die im Wesentlichen durch eine einzelne zweidimensionale Koordinate beschreibbar sind. Noch anders ausgedrückt handelt es sich bei „punktförmigen Objekten“ um Objekte, bei denen sich bei unterschiedlichen Messungen, die mit Ultraschallsendeempfängern an unterschiedlichen Positionen durchgeführt werden, das Ultraschall-Sendesignal an im Wesentlichen demselben Punkt des Objekts reflektiert wird. Unter „im Wesentlichen derselbe“ sind hierbei alle Punkte zu verstehen, die innerhalb einer akzeptablen Messunsicherheit als derselbe Punkt identifizierbar sind.Examples of objects classified as point-like are posts, lamp posts, street signs, and the like. Another example of an object to be classified as a point is a corner of a building. In other words, objects that are essentially describable by a single two-dimensional coordinate are classified as "point-like". To put it another way, “point objects” are objects that are at under different measurements performed with ultrasonic transceivers at different positions, the ultrasonic transmit signal is reflected at substantially the same point on the object. “Substantially the same” is understood to mean all points that are identifiable as the same point within an acceptable measurement uncertainty.
Beispiele für Objekte, die als linienförmig klassifiziert werden, sind Wände, Mauern, und dergleichen. Anders ausgedrückt werden Objekte als „Linien“ klassifiziert, die durch zwei zweidimensionale Koordinaten, oder durch eine eindimensionale Koordinate, eine Längenangabe und eine Winkelangabe, oder dergleichen beschreibbar sind. Noch anders ausgedrückt handelt es sich bei „linienförmigen Objekten“ um Objekte, bei denen sich bei unterschiedlichen Messungen, die an unterschiedlichen Positionen der beteiligten Ultraschallsendeempfänger durchgeführt werden, das Ultraschall-Sendesignal an verschiedenen Punkten des Objekts reflektiert wird.Examples of objects classified as line-shaped are walls, walls, and the like. In other words, objects are classified as “lines” that can be described by two two-dimensional coordinates, or by one one-dimensional coordinate, a length specification and an angle specification, or the like. To put it another way, “linear objects” are objects for which the ultrasonic transmission signal is reflected at different points of the object in different measurements that are carried out at different positions of the ultrasonic transceivers involved.
Es sei ferner angemerkt, dass sich auch der Begriff „Objekt in der Umgebung des Kraftfahrzeugs“ an den durch die Objektmerkmale gebildeten Darstellungen der Umgebung orientiert und nicht an dem tatsächlich vorhandenen Objekt. So könnte ein einzelnes tatsächlich vorhandenes Objekt, wie beispielsweise ein diagonal zu dem Kraftfahrzeug positioniertes Gebäude, im Rahmen des vorgeschlagenen Verfahrens als ein erstes linienförmiges Objekt (erste Wand), ein punktförmiges Objekt (Ecke des Gebäudes) und ein zweites linienförmiges Objekt (zweite Wand auf der anderen Seite der Ecke) beschrieben werden. Ein nicht geradliniges Objekt könnte durch mehrere linienförmige Objekte angenähert werden.It should also be noted that the term “object in the area surrounding the motor vehicle” is also based on the representations of the area formed by the object features and not on the object that is actually present. For example, a single object that is actually present, such as a building positioned diagonally to the motor vehicle, could be used in the proposed method as a first line-shaped object (first wall), a point-shaped object (corner of the building) and a second line-shaped object (second wall on the other side of the corner) are described. A non-rectilinear object could be approximated by several linear objects.
Das Klassifizieren kann anhand von heuristischen Datenbanken, durch Vergleich mit Referenz-Signaldarstellungen, durch Identifizieren charakteristischer Signalformen und/oder unter Verwendung eines neuronalen Netzes, mit künstlicher Intelligenz und dergleichen erfolgen.The classification can be done using heuristic databases, by comparison with reference signal representations, by identifying characteristic signal shapes and/or using a neural network, with artificial intelligence and the like.
Ein Objektmerkmal (auch „Feature“), kann als Datensatz aufgefasst werden, der eine Anzahl von Datenelementen mit Angaben mindestens zu einer Position und vorzugsweise weitere Angaben zur Lage und Ausrichtung eines jeweiligen Objekts in der Umgebung des Kraftfahrzeugs umfasst. Insbesondere ist ein Objektmerkmal ein Datensatz, der die Rekonstruktion einer zweidimensionalen Repräsentation eines punkt- oder linienförmigen Objekts auf einer zweidimensionalen Karte der Umgebung des Kraftfahrzeugs ermöglicht.An object feature (also "feature") can be understood as a data set that includes a number of data elements with information about at least one position and preferably further information about the position and orientation of a respective object in the area surrounding the motor vehicle. In particular, an object feature is a data record that enables the reconstruction of a two-dimensional representation of a punctiform or linear object on a two-dimensional map of the area surrounding the motor vehicle.
Somit kann eine Karte der vermessenen Umgebung des Kraftfahrzeugs als eine zweidimensionale Auftragung aller bestimmten Objektmerkmale aufgefasst werden. Anhand einer solchermaßen bestimmten Karte kann beispielsweise bestimmt werden, ob und wie weit eine Tür des Kraftfahrzeugs geöffnet werden kann. Dank der verbesserten Genauigkeit des vorgeschlagenen Verfahrens können Türbeschädigungen zuverlässiger vermieden werden.A map of the measured surroundings of the motor vehicle can thus be interpreted as a two-dimensional plot of all specific object features. A map determined in this way can be used, for example, to determine whether and to what extent a door of the motor vehicle can be opened. Thanks to the improved accuracy of the proposed method, door damage can be avoided more reliably.
Im Rahmen des Erzeugens der Objektmerkmale in Schritt d) kann die Position und dergleichen eines jeweiligen Objekts in der Umgebung des Kraftfahrzeugs durch Trilateration oder dergleichen mehrerer Messungen bestimmt werden. Eine jeweilige „Messung“ umfasst hierbei insbesondere ein identifiziertes Ultraschallecho, die zugehörige Echosignaldarstellung, und vorzugsweise topologische Parameter einer zugehörigen Messanordnung aus einem sendenden und einem empfangenden Ultraschallsendeempfänger, mit denen das Ultraschallecho erzeugt und gemessen wurde. Die Klassifizierung der Echosignaldarstellung kann hierbei beispielsweise bei der Auswahl der für die Trilateration oder dergleichen herangezogenen Messungen und/oder bei der Wahl einer geeigneten Trilaterationstechnik, beispielsweise Schnittpunktbildung oder Tangentenfitting, berücksichtigt werden. Auf diese Weise können die Objektmerkmale vorteilhafterweise besonders exakt bestimmt werden.Within the scope of generating the object features in step d), the position and the like of a respective object in the area surrounding the motor vehicle can be determined by trilateration or the like of a plurality of measurements. A respective “measurement” includes in particular an identified ultrasonic echo, the associated echo signal representation, and preferably topological parameters of an associated measurement arrangement consisting of a transmitting and a receiving ultrasonic transceiver, with which the ultrasonic echo was generated and measured. The classification of the echo signal representation can be taken into account here, for example, when selecting the measurements used for the trilateration or the like and/or when selecting a suitable trilateration technique, for example intersection point formation or tangent fitting. In this way, the object features can advantageously be determined particularly precisely.
Gemäß einer Ausführungsform umfasst die jeweilige Echosignaldarstellung eine Anzahl von Abtastungen einer Hüllkurve des entsprechenden Ultraschall-Empfangssignals vor und nach einem zeitlichen Auftreten des entsprechenden Ultraschallechos.According to one embodiment, the respective echo signal representation includes a number of samplings of an envelope curve of the corresponding ultrasonic received signal before and after a temporal occurrence of the corresponding ultrasonic echo.
Eine dergestalt datenreduzierte Echosignaldarstellung des jeweiligen Ultraschallechos transportiert vorteilhaft genügend Informationen, um die Klassifizierung der Echosignaldarstellung als Ultraschallecho eines punktförmigen oder linienförmigen Objekts zu ermöglichen, ist anderseits hinreichend datensparend, um die Klassifizierung unter Verwendung von neuronalen Netzen und dergleichen effizient zu ermöglichen.Such a data-reduced echo signal representation of the respective ultrasonic echo advantageously transports enough information to enable the echo signal representation to be classified as an ultrasonic echo of a punctiform or line-shaped object, while on the other hand it saves enough data to efficiently enable classification using neural networks and the like.
Die Hüllkurve ist insbesondere eine Amplitudenhüllkurve. Die Anzahl der Abtastungen der Hüllkurve vor dem Ultraschall-Empfangssignal beträgt vorzugsweise 50, besonders vorzugsweise 25 und ganz besonders vorzugsweise 10. Die Anzahl der Abtastungen der Hüllkurve nach dem Ultraschall-Empfangssignal beträgt vorzugsweise 100, besonders vorzugsweise 50 und ganz besonders vorzugsweise 20. Eine Abtastrate kann hierbei geeignet gewählt werden, so dass die Echosignaldarstellung im Wesentlichen das gesamte Ultraschallecho vom Moment des Anstiegs der Hüllkurve bis zum Abklingen der Hüllkurve unter einen vordefinierten Schwellwert umfasst.The envelope is in particular an amplitude envelope. The number of scans of the envelope curve before the ultrasonic reception signal is preferably 50, particularly preferably 25 and particularly preferably 10. The number of samplings of the envelope curve after the ultrasonic reception signal is preferably 100, particularly preferably 50 and particularly preferably 20. A sampling rate can in this case be chosen appropriately, so that the echo signal display essentially the entire ultrasonic echo from Moment of increase in the envelope includes until the envelope decays below a predefined threshold.
Gemäß einer weiteren Ausführungsform erfolgt Schritt c) unter Verwendung einer mittels maschinellen Lernens trainierten Klassifizierungsvorrichtung, der mindestens die jeweilige Echosignaldarstellung als Eingabedaten bereitgestellt wird und deren Ausgabedaten die Klassifizierung darstellen.According to a further embodiment, step c) takes place using a classification device trained by means of machine learning, which is provided with at least the respective echo signal representation as input data and whose output data represent the classification.
Die Erfinder haben erkannt, dass durch Verwendung einer mittels maschinellen Lernens trainierten Klassifizierungsvorrichtung eine Klassifizierung von Echosignaldarstellungen als Ultraschallechos von punktförmigen oder linienförmigen Objekten möglich ist, die dem menschlichen Auge und damit einem wissensbasierten Ansatz auf Basis von heuristischen Datenbanken und dergleichen überlegen ist.The inventors have recognized that by using a classification device trained using machine learning, it is possible to classify echo signal representations as ultrasonic echoes from punctiform or linear objects, which is superior to the human eye and thus to a knowledge-based approach based on heuristic databases and the like.
Gemäß einer weiteren Ausführungsform werden als Eingabedaten für die Klassifizierungsvorrichtung ferner ein oder mehrere topologische Parameter einer Messanordnung aus einem sendenden der Anzahl Ultraschallsendeempfänger und einem empfangenden der Ultraschallsendeempfänger, unter deren Verwendung die jeweilige Echosignaldarstellung erfasst wurde, bereitgestellt.According to a further embodiment, one or more topological parameters of a measurement arrangement consisting of a transmitting one of the number of ultrasonic transceivers and a receiving one of the ultrasonic transceivers, using which the respective echo signal representation was recorded, are also provided as input data for the classification device.
Die Erfinder haben erkannt, dass eine mittels maschinellen Lernens trainierte Klassifizierungsvorrichtung zuverlässigere Ergebnisse liefert, wenn sie die Topologie der verwendeten Messanordnung berücksichtigt, da diese einen Einfluss auf die in den Echosignaldarstellungen enthaltenen Signalformen haben kann.The inventors have recognized that a classification device trained using machine learning provides more reliable results if it takes into account the topology of the measurement arrangement used, since this can have an influence on the signal shapes contained in the echo signal representations.
Gemäß einer weiteren Ausführungsform umfasst der jeweilige topologische Parameter eine Einbauhöhe des sendenden und/oder des empfangenen Ultraschallsendeempfängers, einen Höhenwinkel einer Messachse des sendenden und/oder des empfangenden Ultraschallsendeempfängers und einen von den Messachsen des sendenden und des empfangenden Ultraschallsendeempfängers eingeschlossenen Azimutwinkel.According to a further embodiment, the respective topological parameter comprises an installation height of the transmitting and/or the receiving ultrasonic transceiver, an elevation angle of a measuring axis of the transmitting and/or the receiving ultrasonic transceiver and an azimuth angle enclosed by the measuring axes of the transmitting and the receiving ultrasonic transceiver.
Wenn die Eingabedaten für die Klassifizierungsvorrichtung die genannten Parameter umfassen, können sich besonders präzise Klassifizierungen ergeben.If the input data for the classification device include the parameters mentioned, particularly precise classifications can result.
Eine Messachse eines jeweiligen Ultraschallsendeempfängers ist insbesondere die Achse, entlang derer eine ausgesendete Signalkeule ein Maximum aufweist. Unter einem Höhenwinkel insbesondere der Winkel zu verstehen, der von der auf eine zu einer Fahrbahn, auf welcher das Kraftfahrzeug steht oder fährt, vertikale Ebene projizierten Messachse mit der Fahrbahn eingeschlossen wird. Unter einem Azimutwinkel ist insbesondere derjenige Winkel zu verstehen, den die beiden auf die Fahrbahn projizierten Messachsen einschließen.A measuring axis of a respective ultrasonic transceiver is in particular the axis along which a transmitted signal lobe has a maximum. An elevation angle is to be understood in particular as the angle that is enclosed by the measuring axis projected onto a vertical plane to a roadway on which the motor vehicle is standing or driving, with the roadway. An azimuth angle is to be understood in particular as meaning that angle which the two measurement axes projected onto the roadway enclose.
Gemäß einer weiteren Ausführungsform umfasst die Klassifizierungsvorrichtung ein durch überwachtes maschinelles Lernen trainiertes, künstliches neuronales Netzwerk.According to a further embodiment, the classification device comprises an artificial neural network trained by supervised machine learning.
Das überwachte maschinelle Lernen kann anhand von Referenzmessungen erfolgen, bei denen eine Mehrzahl vordefinierter Referenzobjekte bekannter Geometrie in einer ansonsten objektfreien oder anderweitig vordefinierten Umgebung des Kraftfahrzeugs angeordnet werden und zugehörige Referenz-Echosignaldarstellungen erfasst werden. Das überwache maschinelle Lernen kann alternativ hierzu auch anhand von Simulationsergebnissen erfolgen.The monitored machine learning can take place using reference measurements, in which a plurality of predefined reference objects of known geometry are arranged in an otherwise object-free or otherwise predefined environment of the motor vehicle and associated reference echo signal representations are recorded. Alternatively, the monitored machine learning can also be based on simulation results.
Gemäß einer weiteren Ausführungsform umfasst das künstliche neuronale Netzwerk eine Eingangs-Neuronenschicht, eine Anzahl verborgener, faltender Neuronenschichten, eine Anzahl verborgener, dicht verbundener Mehrschichtperzeptronenschichten und eine Ausgangs-Neuronenschicht umfasst.According to a further embodiment, the artificial neural network comprises an input neuron layer, a number of hidden convolutional neuron layers, a number of hidden densely connected multilayer perceptron layers and an output neuron layer.
Eine derartige Struktur des neuronalen Netzwerks liefert besonders gute Ergebnisse, wenn die Eingabedaten des neuronalen Netzwerks einerseits eine jeweilige Echosignaldarstellung und andererseits die topologischen Parameter der zugehörigen Messanordnung umfassen. Die faltenden Neuronenschichten sind hierbei vorteilhaft bei der Identifizierung von Ähnlichkeiten anhand der eine Mehrzahl von kontinuierlich benachbarten Abtastungen umfassenden Echosignaldarstellungen, während die Mehrschichtperzeptronenschichten die disjunkten topologischen Parameter besonders vorteilhaft berücksichtigen können.Such a structure of the neural network delivers particularly good results if the input data of the neural network includes a respective echo signal representation on the one hand and the topological parameters of the associated measurement arrangement on the other. The convolutional neuron layers are advantageous in identifying similarities based on the echo signal representations comprising a plurality of continuously adjacent samples, while the multilayer perceptron layers can particularly advantageously take into account the disjoint topological parameters.
Das neuronale Netzwerk kann einem Stundenglasmodell entsprechen, bei dem die Eingangs-Neuronenschicht und die Ausgangs-Neuronenschicht mehr Neuronen aufweisen als die dazwischenliegenden verborgenen Schichten. Eine Gesamtzahl der Neuronen des neuronalen Netzwerks kann von 1000 bis 10000, besonders bevorzugt von 2000 bis 5000, ganz besonders bevorzugt von 2000 bis 3000 betragen.The neural network may conform to an hourglass model where the input neuron layer and the output neuron layer have more neurons than the intermediate hidden layers. A total number of neurons of the neural network can be from 1000 to 10000, particularly preferably from 2000 to 5000, very particularly preferably from 2000 to 3000.
Gemäß einer weiteren Ausführungsform umfasst Schritt d): Auswählen eines ersten Ultraschallechos und eines oder mehrerer weiterer Ultraschallechos aus den mehreren identifizierten Ultraschallechos; Bestimmen einer Ortskurve möglicher Reflexionspunkte für jedes der ausgewählten Ultraschallechos; Bestimmen eines Schnittpunkts der bestimmten Ortskurven und/oder Bestimmen einer Tangente an die bestimmten Ortskurven; Validieren des bestimmten Schnittpunkts und/oder der bestimmten Tangente; und Erzeugen eines Punkt-Objektmerkmals basierend auf dem validierten Schnittpunkt und/oder eines Linien-Objektmerkmals basierend auf der validierten Tangente. Die Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho wird bei einer Entscheidung, ob ein Schnittpunkt oder eine Tangente bestimmt wird, und/oder bei einer Entscheidung, ob ein Punkt-Objektmerkmal oder ein Linien-Objektmerkmal erzeugt wird, und/oder bei einer Entscheidung, welches eine oder welche mehreren weiteren Ultraschallechos ausgewählt werden, berücksichtigt.According to a further embodiment, step d) comprises: selecting a first ultrasound echo and one or more further ultrasound echoes from the plurality of identified ultrasound echoes; Determine a locus of possible reflection points for each of the selected Ultra sound echoes; Determining an intersection of the determined loci and/or determining a tangent to the determined loci; validating the determined intersection point and/or the determined tangent; and generating a point feature based on the validated intersection and/or a line feature based on the validated tangent. The classification of at least the echo signal representation for the first ultrasonic echo is used in a decision as to whether an intersection point or a tangent is determined and/or in a decision as to whether a point object feature or a line object feature is generated and/or in a decision which one or which several further ultrasonic echoes are selected is taken into account.
Im Betrieb können eine Vielzahl von aktuellen und älteren Messungen vorliegen, die mit einer Vielzahl unterschiedlicher Messanordnungen erfasst wurden. Die Auswahl der Messungen (Ultraschallechos und zugehöriger Echosignaldarstellungen, topologischer Parameter und dergleichen), anhand derer versucht werden soll, ein Objektmerkmal zu konstruieren, kann anhand räumlicher Kriterien - Auswahl von Messungen mit benachbarten Ultraschallsendeempfängern - oder zeitlicher Kriterien - Auswahl nur der aktuellsten Messungen - oder einer Kombination davon erfolgen.In operation, there can be a large number of current and older measurements that were recorded with a large number of different measurement arrangements. The selection of the measurements (ultrasonic echoes and associated echo signal representations, topological parameters and the like) on the basis of which an attempt is to be made to construct an object feature can be based on spatial criteria - selection of measurements with neighboring ultrasonic transceivers - or temporal criteria - selection of only the most recent measurements - or a combination of these.
Wenn für ein gegebenes Ultraschallecho eine Messanordnung verwendet wurde, bei welcher der sendende Ultraschallsendeempfänger und der empfangende Ultraschallsendeempfänger identisch sind, kann die Ortskurve möglicher Reflexionspunkte für ein gegebenes Ultraschallecho ein Kreis sein, dessen Mittelpunkt die Position des Ultraschallsendeempfängers ist, dessen Radius durch den gemessenen Abstand gegeben ist, oder genauer ein Halbkreisabschnitt dieses Kreises außerhalb des Kraftfahrzeugs.If a measurement arrangement was used for a given ultrasonic echo, in which the transmitting ultrasonic transceiver and the receiving ultrasonic transceiver are identical, the locus of possible reflection points for a given ultrasonic echo can be a circle whose center is the position of the ultrasonic transceiver, whose radius is given by the measured distance is, or more precisely a semicircle section of this circle outside the motor vehicle.
Wenn für ein gegebenes Ultraschallecho eine Messanordnung verwendet wurde, bei welcher der sendende Ultraschallsendeempfänger und der empfangende Ultraschallsendeempfänger nicht identisch sind, kann die Ortskurve möglicher Reflexionspunkte eine Ellipse sein, deren Brennpunkte die Positionen der beiden Ultraschallsendeempfänger sind und deren große Halbachse durch den gemessenen Abstand gegeben ist, oder genauer ein Halbellipsenabschnitt dieser Ellipse außerhalb des Kraftfahrzeugs.If a measurement arrangement was used for a given ultrasonic echo, in which the transmitting ultrasonic transceiver and the receiving ultrasonic transceiver are not identical, the locus of possible reflection points can be an ellipse whose focal points are the positions of the two ultrasonic transceivers and whose semimajor axis is given by the measured distance , or more precisely a semi-ellipse section of this ellipse outside the motor vehicle.
Der Schnittpunkt und/oder die Tangente kann durch Anpassen (Fitting) bestimmt werden, beispielsweise nach der Methode der kleinsten Fehlerquadrate oder dergleichen. Denn in einem allgemeinen Fall, bei dem mehr als zwei Messungen ausgewählt wurden, existiert möglicherweise kein exakter Schnittpunkt der mehr als zwei Ellipsen und existiert möglicherweise keine Tangente exakt an mehr als zwei Ellipsen gelegt werden. Somit kann sich beim Bestimmen der Ortskurve neben den Koordinaten des Schnittpunkts oder der Tangente durch das Anpassen eine Messunsicherheit ergeben, die als Maß für die Genauigkeit der Anpassung bzw. der Messung dienen kann.The point of intersection and/or the tangent can be determined by fitting, for example using the least squares method or the like. Because, in a general case where more than two measurements are selected, there may not exist an exact intersection of more than two ellipses and there may not exist a tangent drawn exactly to more than two ellipses. Thus, when determining the locus curve, in addition to the coordinates of the point of intersection or the tangent, a measurement uncertainty can result from the adjustment, which can serve as a measure of the accuracy of the adjustment or the measurement.
Das Validieren des Schnittpunkts und/oder der Tangente kann somit beispielsweise anhand der beim Bestimmen des Schnittpunkts und/oder der Tangente bestimmten Messunsicherheit erfolgen. Die jeweiligen Messunsicherheiten können beispielsweise mit einem Schwellwert verglichen werden, der nicht überschritten werden darf. Denkbar sind jedoch andere Arten des Validierens, beispielsweise Plausibilitätsprüfungen. Ergeben sich beispielsweise bei mehrfachem Durchführen des Schritts d) Objektmerkmale, die einander widersprechen, können die widersprüchlichen Objektmerkmale beispielsweise nicht validiert werden. Auch können zum Validieren heuristische Datenbanken herangezogen werden, um die bestimmten Objektmerkmale mit als plausibel oder unplausibel bekannten Kombinationen von Objektmerkmalen zu vergleichen.The intersection point and/or the tangent can thus be validated, for example, based on the measurement uncertainty determined when determining the intersection point and/or the tangent. The respective measurement uncertainties can, for example, be compared with a threshold value that must not be exceeded. However, other types of validation are conceivable, for example plausibility checks. If, for example, multiple executions of step d) result in object features that contradict one another, the contradictory object features cannot be validated, for example. Heuristic databases can also be used for validation in order to compare the determined object features with combinations of object features that are known to be plausible or implausible.
Das Validieren erfolgt nicht notwendigerweise vor dem Erzeugen eines jeweiligen Objektmerkmals. Es können auch zunächst durch wiederholtes Auswählen und Bestimmen von Ortskurven und Schnittpunkten und/oder Tangenten, ohne diese zu validieren, mehrere Objektmerkmals-Hypothesen erzeugt werden. Das Validieren kann erst erfolgen, nachdem mehrere Objektmerkmals-Hypothesen erzeugt wurden. Sodann können die einzelnen Objektmerkmals-Hypothesen jeweils entweder verworfen oder als erzeugte Objektmerkmale bestätigt bzw. übernommen werden.The validation does not necessarily take place before a respective object feature is generated. A number of object feature hypotheses can also initially be generated by repeatedly selecting and determining loci and points of intersection and/or tangents without validating them. Validation can only take place after several object feature hypotheses have been generated. The individual object feature hypotheses can then either be discarded or confirmed or accepted as generated object features.
Ein Punkt-Objektmerkmal ist insbesondere ein Datensatz, der eine x-Koordinate, eine y-Koordinate und eine Angabe einer Messunsicherheit umfasst. Die Messunsicherheit kann auch als Angabe einer „Ausdehnung“ des „Punkts“ aufgefasst werden, oder anders ausgedrückt, als Radius eines Kreises um die durch die x- und y-Koordinaten bestimmten Position. Das Punkt-Objektmerkmal kann somit die Rekonstruktion eines zweidimensionalen Kreises ermöglichen, der eine Position des punktförmigen Objekts angibt bzw. eingrenzt.A point-object feature is in particular a data set that includes an x-coordinate, a y-coordinate and an indication of a measurement uncertainty. The measurement uncertainty can also be understood as an indication of an "extension" of the "point", or in other words the radius of a circle around the position determined by the x and y coordinates. The point-object feature can thus enable the reconstruction of a two-dimensional circle that indicates or delimits a position of the point-like object.
Ein Linien-Objektmerkmal ist insbesondere ein Datensatz, der eine x-Koordinate, eine y-Koordinate (Anfang der Linie), einen Winkelangabe (Richtung der Linie) und eine Längenangabe (Länge der Linie) umfasst. Alternativ hierzu kann ein Linien-Objektmerkmal beispielsweise auch zwei x-Koordinaten und zwei y-Koordinaten (Anfang und Ende der Linie). Zusätzlich dazu kann das Linien-Objektmerkmal eine Messunsicherheit umfassen, die als eine „Dicke“ der „Linie“ verstanden werden kann, oder anders ausgedrückt, als einen Abstand zwischen zwei zu der Linie parallelen Linien. Das Linien-Objektmerkmal kann somit die Rekonstruktion eines zweidimensionalen Balkens (Länge: Abstand der Reflexionspunkte 16, 17; Dicke: Messunsicherheit) oder einer zweidimensionalen Ellipse (große Halbachse: halber Abstand der Reflexionspunkte 16, 17; kleine Halbachse: halbe Messunsicherheit) erlauben, die eine Position des linienförmigen Objekts angibt bzw. eingrenzt.A line object feature is in particular a data record that includes an x-coordinate, a y-coordinate (start of the line), an angle specification (direction of the line) and a length specification (length of the line). As an alternative to this, a line object feature can, for example, also have two x-coordinates and two y-coordinates (beginning and end of the line). In addition to this, the line object feature include a measurement uncertainty, which can be understood as a "thickness" of the "line", or in other words, as a distance between two lines parallel to the line. The line object feature can thus allow the reconstruction of a two-dimensional bar (length: distance between the reflection points 16, 17; thickness: measurement uncertainty) or a two-dimensional ellipse (major semi-axis: half the distance between the reflection points 16, 17; minor semi-axis: half the measurement uncertainty) that indicates or delimits a position of the linear object.
Wenn beim Schritt des Auswählens nur gleich klassifizierte Echosignaldarstellungen ausgewählt werden, kann vorteilhafterweise das Erzeugen fehlerhafter Objektmerkmale weiter eingedämmt werden. Weitere Möglichkeiten, wie die Klassifizierung der Echosignaldarstellung des ersten Ultraschallechos und vorzugsweise auch der weiteren Echosignaldarstellungen vorteilhaft berücksichtigt werden können, werden anhand der folgenden Ausführungsformen näher diskutiert.If only identically classified echo signal representations are selected in the selection step, the generation of erroneous object features can advantageously be further contained. Further possibilities as to how the classification of the echo signal representation of the first ultrasonic echo and preferably also of the further echo signal representations can advantageously be taken into account are discussed in more detail on the basis of the following embodiments.
Gemäß einer weiteren Ausführungsform werden in Schritt d) sowohl der Schnittpunkt als auch die Tangente bestimmt, und, falls nur der Schnittpunkt erfolgreich validiert wird, wird das Punkt-Objektmerkmal erstellt; falls nur die Tangente erfolgreich validiert wird, wird das Linien-Objektmerkmal erzeugt; und falls sowohl der Schnittpunkt als auch die Tangente erfolgreich validiert werden, wird abhängig von der Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho entweder das Punkt-Objektmerkmal oder das Linien-Objektmerkmal erzeugt.According to a further embodiment, in step d) both the intersection and the tangent are determined and, if only the intersection is successfully validated, the point feature is created; if only the tangent is successfully validated, the line feature is created; and if both the intersection and the tangent are successfully validated, generating either the point object feature or the line object feature depending on the classification of at least the echo signal representation for the first ultrasonic echo.
Demgemäß kann die Entscheidung, ob basierend auf der Tangente ein Linien-Objektmerkmal oder basierend auf der Tangente ein Schnittpunkt erzeugt werden soll, mittels rechnerischer Validierungstechniken erfolgen. Die Klassifizierung braucht somit vorteilhafterweise nur dann durchgeführt und berücksichtigt zu werden, wenn eine rechnerische Validierungstechnik kein eindeutiges Ergebnis liefert, und kann in diesem Fall vorteilhafterweise eine Entscheidung für die richtige Art von Objektmerkmal herbeiführen.Accordingly, the decision of whether to generate a line feature based on the tangent or an intersection based on the tangent can be made using computational validation techniques. The classification therefore advantageously only needs to be carried out and taken into account if a computational validation technique does not provide a clear result, and in this case can advantageously bring about a decision for the correct type of object feature.
Gemäß einer weiteren Ausführungsform wird in Schritt d) abhängig von der Klassifizierung mindestens der Echosignaldarstellung für das erste Ultraschallecho entweder der Schnittpunkt bestimmt und, falls der Schnittpunkt erfolgreich validiert wird, das Punkt-Objektmerkmal erzeugt, oder es wird die Tangente bestimmt und, falls die Tangente erfolgreich validiert wird, das Linien-Objektmerkmal erzeugt.According to a further embodiment, in step d) depending on the classification of at least the echo signal representation for the first ultrasonic echo, either the intersection point is determined and, if the intersection point is successfully validated, the point object feature is generated, or the tangent is determined and, if the tangent is successfully validated, the line feature is created.
Besonders vorzugsweise werden zudem als das eine oder die mehreren weiteren Ultraschallechos nur solche Ultraschallechos ausgewählt, deren Echosignaldarstellungen die gleiche Klassifizierung aufweisen wie die Echosignaldarstellung des ersten Ultraschallechos.Particularly preferably, only those ultrasound echoes are selected as the one or more further ultrasound echoes whose echo signal representations have the same classification as the echo signal representation of the first ultrasound echo.
Somit werden vorteilhafterweise Schnittpunkte und Tangenten jeweils nur dann konstruiert und validiert, wenn dies gemäß der Klassifizierung der Echosignale sinnvoll ist. Ein Rechenaufwand kann vermindert sein und die Qualität der Vermessung kann verbessert werden.Intersections and tangents are thus advantageously only constructed and validated if this makes sense based on the classification of the echo signals. Calculation effort can be reduced and the quality of the measurement can be improved.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner e) Steuern eines Betriebsvorgangs des Kraftfahrzeugs in Abhängigkeit der erzeugten Objektmerkmale.According to a further embodiment, the method also includes e) controlling an operating process of the motor vehicle as a function of the generated object features.
Der Betriebsvorgang ist nicht eingeschränkt und kann jeden beliebigen teil- oder vollautomatischen Betriebsvorgang bezeichnen, der direkt oder indirekt von der Anwesenheit und Position von Objekten in der Umgebung des Kraftfahrzeugs abhängt.The operating process is not restricted and can denote any partially or fully automatic operating process that depends directly or indirectly on the presence and position of objects in the area surrounding the motor vehicle.
Gemäß einer weiteren Ausführungsform wird das vorgeschlagene Verfahren bei stehendem Kraftfahrzeug ausgeführt.According to a further embodiment, the proposed method is carried out when the motor vehicle is stationary.
Bei stehendem Kraftfahrzeug stehen Validierungstechniken, die beispielsweise auf der Fortbewegung des Kraftfahrzeugs und sich den daraus ergebenden Verschiebungen der Lagen der Objekte in der Umgebung des Kraftfahrzeugs beruhen, nicht zur Verfügung. Hier ist es daher besonders vorteilhaft, wie vorgeschlagen Punkt- oder linienförmige Objektmerkmale unter Berücksichtigung der Klassifikation einzelner Echosignaldarstellungen zu erzeugen.When the motor vehicle is stationary, validation techniques based, for example, on the movement of the motor vehicle and the resulting shifts in the positions of the objects in the area surrounding the motor vehicle are not available. It is therefore particularly advantageous here, as proposed, to generate point or line-shaped object features, taking into account the classification of individual echo signal representations.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Trainieren einer Klassifizierungsvorrichtung zur Verwendung in dem Verfahren des ersten Aspekts bei Verwendung der Klassifizierungsvorrichtung vorgeschlagen. Das Verfahren zum Trainieren umfasst: Anordnen eines punktförmigen oder linienförmigen Objekts in einer realen oder simulierten Umgebung eines Kraftfahrzeugs; Bestimmen von Ultraschall-Empfangssignalen, die jeweils eine Anzahl Ultraschallechos umfassen, die durch Reflexion eines jeweiligen ausgesendeten Ultraschall-Sendesignals an dem Objekt in der Umgebung des Kraftfahrzeugs entstanden sind; Identifizieren mehrerer Ultraschallechos in den empfangenen Ultraschall-Empfangssignalen und Erfassen einer jeweiligen Echosignaldarstellung für jedes der identifizierten Ultraschallechos; Durchführen überwachten maschinellen Lernens mit der Klassifizierungsvorrichtung unter Verwenden mindestens einer jeweiligen Echosignaldarstellung als Trainings-Eingabedaten und Verwenden einer Klassifizierung als Reflexion an einem punktförmigen Objekt oder als Reflexion an einem linienförmigen Objekt, in Übereinstimmung mit der Art des angeordneten Objekts, als Trainings-Ausgabedaten.According to a second aspect, a method for training a classification device for use in the method of the first aspect when using the classification device is proposed. The method for training comprises: arranging a punctiform or linear object in a real or simulated environment of a motor vehicle; Determination of ultrasonic received signals, each of which includes a number of ultrasonic echoes that have arisen through reflection of a respective transmitted ultrasonic signal on the object in the vicinity of the motor vehicle; identifying a plurality of ultrasound echoes in the received ultrasound signals received and acquiring a respective echo signal representation for each of the identified ultrasound echoes; Perform supervised machine learning with the classifier using at least each echo signal representation as training input data, and using classification as reflection on a point-like object or reflection on a line-like object, in accordance with the kind of the placed object, as training output data.
Der Schritt des Bestimmens der Ultraschall-Empfangssignale kann beispielsweise durch Ansteuern mehrerer Ultraschallsendeempfänger des Kraftfahrzeugs zum Aussenden von Ultraschall-Sendesignalen in die reale Umgebung des Kraftfahrzeugs und Empfangen von Ultraschall-Empfangssignalen aus der realen Umgebung erfolgen. Die reale Umgebung kann hierbei speziell präpariert sein und kann abgesehen von dem angeordneten Objekt keine weiteren Objekte innerhalb eines Messbereichs der Ultraschallsendeempfänger aufweisen. Bei der realen Umgebung kann es sich auch um eine akustische Absorberkammer handeln.The step of determining the ultrasonic received signals can be carried out, for example, by controlling a plurality of ultrasonic transceivers in the motor vehicle to emit ultrasonic transmitted signals into the real environment of the motor vehicle and receiving ultrasonic received signals from the real environment. In this case, the real environment can be specially prepared and, apart from the arranged object, cannot have any further objects within a measuring range of the ultrasonic transceiver. The real environment can also be an acoustic absorber chamber.
Alternativ hierzu kann der Schritt des Bestimmens der Ultraschall-Empfangssignale erfolgen, indem die Ausbreitung von Ultraschall-Sendesignalen in der simulierten Umgebung des Kraftfahrzeugs und das Empfangen der Ultraschall-Empfangssignale simuliert werden. As an alternative to this, the step of determining the ultrasonic received signals can take place by simulating the propagation of ultrasonic transmitted signals in the simulated environment of the motor vehicle and the reception of the ultrasonic received signals.
Gemäß einem dritten Aspekt wird eine Klassifizierungsvorrichtung zur Verwendung in dem Verfahren des ersten Aspekts bei Verwendung der Klassifizierungsvorrichtung vorgeschlagen, die nach dem Verfahren des zweiten Aspekts trainiert ist.According to a third aspect, there is proposed a classification device for use in the method of the first aspect using the classification device trained according to the method of the second aspect.
Die Klassifizierungsvorrichtung kann in Hardware oder in Software ausgeführt sein und beispielsweise ein neuronales Netz umfassen.The classification device can be embodied in hardware or in software and can comprise a neural network, for example.
Gemäß einem vierten Aspekt wird ein Kraftfahrzeug mit einer Anzahl Ultraschallsendeempfänger und der Klassifizierungsvorrichtung des dritten Aspekts vorgeschlagen.According to a fourth aspect, there is proposed a motor vehicle having a plurality of ultrasonic transceivers and the classifying device of the third aspect.
Das Kraftfahrzeug kann weiterhin eine Steuereinheit umfassen, die dazu eingerichtet ist, das Verfahren des ersten Aspekts durchzuführen. Das Kraftfahrzeug kann ein Automobil, ein Lastkraftwagen, ein Motorrad, ein Elektrofahrrad und dergleichen mehr sein.The motor vehicle can also include a control unit that is set up to carry out the method of the first aspect. The motor vehicle may be an automobile, truck, motorcycle, electric bicycle, and the like.
Gemäß einem fünften Aspekt wird ein Computerprogrammprodukt vorgeschlagen, das Befehle umfasst, die bei Ausführung durch eine Steuereinheit eines Kraftfahrzeugs des vierten Aspekts bewirken, dass die Steuereinheit das Verfahren des ersten Aspekts durchführt.According to a fifth aspect, a computer program product is proposed which comprises instructions which, when executed by a control unit of a motor vehicle of the fourth aspect, cause the control unit to carry out the method of the first aspect.
Die für das vorgeschlagene Verfahren gemäß dem ersten Aspekt beschriebenen Merkmale, Vorteile und Ausführungsformen gelten entsprechend auch für das vorgeschlagene Trainingsverfahren des zweiten Aspekts, das vorgeschlagene Klassifizierungsvorrichtung des dritten Aspekts, das vorgeschlagene Kraftfahrzeug des vierten Aspekts und das vorgeschlagene Computerprogrammprodukt des sechsten Aspekts.The features, advantages and embodiments described for the proposed method according to the first aspect also apply correspondingly to the proposed training method of the second aspect, the proposed classification device of the third aspect, the proposed motor vehicle of the fourth aspect and the proposed computer program product of the sixth aspect.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.Further possible implementations of the invention also include combinations of features or embodiments described above or below with regard to the exemplary embodiments that are not explicitly mentioned. The person skilled in the art will also add individual aspects as improvements or additions to the respective basic form of the invention.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert.
-
1 zeigt ein beispielhaftes Kraftfahrzeug mit mehreren Ultraschallsendeempfängern; -
2 veranschaulicht Details einer Steuereinheit des beispielhaften Kraftfahrzeugs; -
3 veranschaulicht Schritte eines Verfahrens gemäß einem ersten Ausführungsbeispiel; -
4 zeigt eine Auftragung einer Hüllkurve eines Ultraschall-Empfangssignals; -
5 veranschaulicht Messungen an einem punktförmigen Objekt in der Umgebung eines Kraftfahrzeugs; -
6 veranschaulicht Messungen an einem linienförmigen Objekt in der Umgebung eines Kraftfahrzeugs; -
7 veranschaulicht ein Punkt-Objektmerkmal; -
8 veranschaulicht ein Linien-Objektmerkmal; -
9 veranschaulicht den Schritt des Klassifizierens einer Echosignaldarstellung mit einer beispielhaften Klassifizierungsvorrichtung; -
10 veranschaulicht Schritte eines Verfahrens gemäß einem zweiten Ausführungsbeispiel; -
11 veranschaulicht Schritte eines Verfahrens gemäß einem dritten Ausführungsbeispiel; -
12 veranschaulicht ein beispielhaftes Verfahren zum Trainieren einer Klassifizierungsvorrichtung; -
13 veranschaulicht ein beispielhaftes Trainingsverfahrens; und -
14 veranschaulicht Schritte des beispielhaften Trainingsverfahrens.
-
1 Fig. 12 shows an exemplary motor vehicle with multiple ultrasonic transceivers; -
2 illustrates details of a control unit of the example motor vehicle; -
3 illustrates steps of a method according to a first embodiment; -
4 shows a plot of an envelope of an ultrasonic received signal; -
5 illustrates measurements on a point-like object in the vicinity of a motor vehicle; -
6 illustrates measurements on a linear object in the vicinity of a motor vehicle; -
7 illustrates a point feature; -
8th illustrates a line object feature; -
9 Figure 12 illustrates the step of classifying an echo signal representation with an exemplary classifier; -
10 illustrates steps of a method according to a second embodiment; -
11 illustrates steps of a method according to a third embodiment; -
12 illustrates an example method for training a classifier; -
13 illustrates an example training procedure; and -
14 illustrates steps of the example training method.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist. Elements that are the same or have the same function have been provided with the same reference symbols in the figures, unless otherwise stated.
In Schritt S1 steuert die Steuervorrichtung 5 die Ultraschallsendeempfänger 2 an und veranlasst diese dadurch, jeweils ein Ultraschall-Sendesignal in die seitliche Umgebung des Kraftfahrzeugs 1 auszusenden. Beispielsweise wird jeder der Ultraschallsendeempfänger 2 dazu veranlasst, ein Steuersignal mit einer anderen Trägerfrequenz auszusenden. Alternativ hierzu können die Ultraschallsendeempfänger 2 zeitlich versetzt angesteuert werden. Außerdem empfängt die Steuervorrichtung 5 von jedem der Ultraschallsendeempfänger 2 ein Ultraschall-Empfangssignal. Jeder der Ultraschallsendeempfänger 2 liefert herbei an die Steuervorrichtung 5 ein Ultraschall-Empfangssignal, dass im wesentlichen nur Ultraschall mit derjenigen Trägerfrequenz enthält, mit der derselbe der Ultraschallsendeempfänger 2 zuvor das Ultraschall-Sendesignal ausgesendet hat.In step S1, the
Es wird auf
In Schritt S2 identifiziert die Steuervorrichtung 5 das Maximum in dem Ultraschall-Empfangssignal 7 bei t3 als ein Ultraschallecho 8, das durch Reflexion des ausgesendeten Ultraschall-Sendesignals an einem Objekt in der Umgebung des Kraftfahrzeugs 1 entstanden ist. Die Steuervorrichtung 5 erfasst eine Anzahl von Abtastungen der Hüllkurve des Ultraschall-Empfangssignals 7 im Bereich des Ultraschallechos 8, genauer vom Zeitpunkt t2 bis zum Zeitpunkt t4 als Echosignaldarstellung 9 des Ultraschallechos 8. Beispielsweise werden 10 Abtastungen vor und 20 Abtastungen nach dem Maximum erfasst.In step S2, the
Anhand des zeitlichen Auftretens des Maximums des Ultraschallechos 8 in dem Ultraschall-Empfangssignal 7 wird ein Abstand zu einem Punkt an dem Objekt in der Umgebung des Kraftfahrzeugs 1, von dem das Ultraschallecho reflektiert wurde, bestimmt. Konkret ergibt sich in dem vorliegenden Beispiel, bei dem das Ultraschallecho von demselben Ultraschallempfänger 2 empfangen wird, der das Ultraschall-Sendesignal ausgesendet hat, der Abstand zu a = 0,5 * (t3 - t0) * c, mit der Schallgeschwindigkeit c in Luft.Based on the temporal occurrence of the maximum of the ultrasonic echo 8 in the ultrasonic received
Mit mehreren derartigen Messungen, die von unterschiedlichen Positionen ausgeführt werden, soll die Position von Objekten in der Umgebung des Kraftfahrzeugs 1 durch Trilateration bestimmt werden, wie nachfolgend beschrieben.The position of objects in the area surrounding
Angenommen, ein erster Ultraschallsendeempfänger 2a habe auf die zuvor beschriebene Weise durch Identifizieren eines Ultraschallechos 8 (
Sofern es sich bei dem Objekt um das in
Sofern es sich dagegen bei dem Objekt um das in
Es wird auf
Typische punktförmige Objekte 10, d. h. Objekte, deren Position durch den Schnittpunkt 14 mehrerer Ortskurven 12, 13 gut angenähert wird, da alle denkbaren Reflexionspunkte 16, 17 nahe beisammen liegen, sind Pfosten, Laternen, Straßenschilder, Bäume, Ecken von Wändern und Mauern, und dergleichen. Diese weisen jeweils eine charakteristische Oberflächenstruktur auf. Typische linienförmige Objekte 10, deren Position besser durch die Tangente 15 an mehrere Ortskurven 12, 13 angenähert wird, sind Wände, Mauern, Hecken und dergleichen, und weisen ebenfalls jeweils eine charakteristische Oberflächenstruktur auf, die sich von der Oberflächenstruktur der punktförmigen Objekte unterscheidet. Die Oberflächenstruktur einer jeweiligen Art von Objekt wirkt sich auf die Amplitude und die spezifische Signalform des Ultraschallechos 8 in dem Ultraschall-Empfangssignal 7 aus. Amplitude und Signalform lassen sich aus der in Schritt S3 erfassten Echosignaldarstellung 9 ablesen.Typical point objects 10, i. H. Objects whose position is well approximated by the
In Schritt S4 benutzt die Steuervorrichtung 5 daher die Klassifizierungsvorrichtung 6, um die erfassten Echosignaldarstellungen 9 zu klassifizieren. Die Klassifizierungsvorrichtung 6 erhält mindestens eine jeweilige Echosignaldarstellung 9 als Eingabe und liefert als Ausgabe eine Klassifizierung, die angibt, ob die Echosignaldarstellung 9 ein Ultraschallecho 8 enthält, das an einem punktförmigen Objekt 10 reflektiert wurde, oder ein Ultraschallecho 8 enthält, das an einem linienförmigen Objekt 11 reflektiert wurde. Die Klassifizierungsvorrichtung 6 kann die Klassifizierung durch Vergleich mit vorab gespeicherten Referenz-Echosignaldarstellungen und/oder mittels künstlicher Intelligenz oder dergleichen bestimmen.In step S4 the
In Schritt S5 erstellt die Steuervorrichtung 5 eine Anzahl Objektmerkmale 18, 19 (
Es sei angemerkt, dass die Ecken 28, 29 des linienförmigen Objekts 11 zwar von dem aus dem Linien-Objektmerkmal 19 rekonstruierbaren zweidimensionalen Merkmal (Balken oder Ellipse) nicht erfasst sind. Diese Ecken würden jedoch bei einer real durchgeführten Messung mit hinreichend vielen Ultraschallsendeempfängern 2 als separate punktförmige Objekte erfasst werden, so dass an der Stelle der Ecken 28, 29 weitere Kreise aus weiteren Punkt-Objektmerkmalen rekonstruiert werden würden und insgesamt eine hinreichend exakte Repräsentation des Objekts 11 durch mehrere Objektmerkmale entsteht.It should be noted that the
Unter Bezugnahme auf
Die Klassifizierungsvorrichtung 6 in
Vorzugsweise umfasst der Eingabedatenvektor 30 neben der Echosignaldarstellung 9 weiterhin mindestens drei topologische Parameter 34-36, die die Messanordnung spezifizieren, mit der die Echosignaldarstellung 9 erfasst wurde.In addition to the
Vorzugsweise umfasst der erste topologische Parameter 34 eine Einbauhöhe des sendenden und/oder des empfangenen Ultraschallsendeempfängers 2 (
Das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 umfasst vorzugsweise neben einer Eingangs-Neuronenschicht, an welche der Eingangsdatenvektor 31 eingegeben wird, und einer Ausgangs-Neuronenschicht, welche die Klassifizierung 32 oder 33 ausgibt, wenigstens drei verborgene, faltende Neuronenschichten und wenigstens drei verborgene, dicht verbundene Mehrschichtperzeptronenschichten. Die Schichten können einem Stundenglasmodell entsprechen, bei dem dazwischenliegende verborgene Schichten weniger Neuronen aufweisen als außenliegende Schichten. Gute Ergebnisse wurden mit einer Gesamtzahl an Neuronen in einem unteren vierstelligen Bereich, z. B. von 2000 bis 3000, erzielt.The artificial neural network of the
In (Teil-)Schritt S11 werden aus der Vielzahl von Messungen eine erste Messung und eine oder mehrere weitere Messungen ausgewählt. Eine Messung umfasst hierbei jeweils ein Ultraschallecho 8 und die zugehörige Echosignaldarstellung 9. Im vorliegenden Beispiel wird auf diese Weise ein Satz an Messungen ausgewählt, die in einem aktuellsten Messdurchgang erfasst bzw. aktualisiert wurden.In (partial) step S11, a first measurement and one or more further measurements are selected from the plurality of measurements. A measurement in this case includes an ultrasonic echo 8 and the associated
In Schritt S12 wird für jede ausgewählte Messung auf die für das erste Ausführungsbeispiel beschriebene Art eine Ortskurve 12, 13 möglicher Reflexionspunkte 16, 17 bestimmt.In step S12, a
In Schritt S13 wird auf die anhand von
In Schritt S14 wird auf die anhand von
In Schritt S15 werden die bestimmte Tangenten 15 und Schnittpunkte 14 mindestens anhand der bestimmten Messunsicherheiten validiert. Weitere heuristische Erwägungen können in die Validierung mit einfließen.In step S15, the
Wenn in Schritt S15 nur der Schnittpunkt 14 erfolgreich validiert wurde und die Tangente 15 nicht erfolgreich validiert wurde, verzweigt Schritt S15 zu Schritt S161. In Schritt S161 wird ein Punkt-Objektmerkmal 18 (
Wenn in Schritt S15 nur die Tangente 15 erfolgreich validiert wurde und der Schnittpunkt nicht erfolgreich validiert wurde, verzweigt Schritt S15 zu Schritt S162. In Schritt S162 wird ein Linien-Objektmerkmal 19 (
Falls weder die Tangente 15 noch der Schnittpunkt 14 erfolgreich validiert wurde, endet der in
Zusätzlich zu
Gemäß dem zweiten Ausführungsbeispiel werden die von der Klassifizierungsvorrichtung 6 bestimmten Klassifizierungen 32, 33 zur Entscheidung von uneindeutigen Fällen verwendet, wenn die Validierung in Schritt S15 allein keinen Hinweis darauf gibt, ob ein Punkt-Objektmerkmal 18 oder ein Linien-Objektmerkmal 19 zu erzeugen ist.According to the second exemplary embodiment, the
Es wird auf
In Schritt S12 wird für jede ausgewählte Messung auf die für das erste Ausführungsbeispiel beschriebene Art eine Ortskurve 12, 13 möglicher Reflexionspunkte 16, 17 bestimmt.In step S12, a
In Schritt S13 wird auf die anhand von
In Schritt S15 wird der bestimmte Schnittpunkt 14 mindestens anhand der bestimmten Messunsicherheiten validiert. Wenn die in Schritt S15 der Schnittpunkt 14 erfolgreich validiert wurde, wird mit Schritt S16 fortgefahren. Andernfalls wird kein Objektmerkmal erzeugt.In step S15, the point of
In Schritt S16 wird ein Punkt-Objektmerkmal 18 (
Es wird auf
Gemäß dem dritten Ausführungsbeispiel wird die Klassifizierung 32, 33 jeder Echosignaldarstellung 9 von Anfang an berücksichtigt. Punkt-Objektmerkmale 18 werden nur anhand von als Reflexion als punktförmigen Objekten klassifizierten Messungen erzeugt, und Linien-Objektmerkmale 19 werden nur anhand von als Reflexion an linienförmigen Objekten klassifizierten Messungen erzeugt. Die Genauigkeit kann weiter verbessert werden.According to the third exemplary embodiment, the
In Schritt S21 wird ein Referenzobjekt, bei dem es sich um ein punktförmiges Objekt 10 oder ein linienförmiges Objekt 11 handeln kann, in einer Umgebung des Kraftfahrzeugs 1 angeordnet. Das Anordnen kann physikalisch erfolgen, oder es kann ein simuliertes Referenzobjekt 10, 11 in einer simulierten Umgebung des Kraftfahrzeugs 1 angeordnet werden.In step S21, a reference object, which can be a
In Schritt S22 werden Ultraschall-Empfangssignale 7 bestimmt, die jeweils ein oder mehrere Ultraschallechos 8 umfassen, die durch Reflexion eines ausgesendeten Ultraschall-Sendesignals an dem Referenzobjekt 10, 11 in der Umgebung des Kraftfahrzeugs 1 entstanden. Die Ultraschall-Empfangssignale 7 können auf gleiche Weise, wie für das erste Ausführungsbeispiel des Vermessungsverfahrens beschrieben, gemessen werden. Alternativ hierzu können die Ausbreitung der Ultraschall-Sendesignale, deren Reflexionen an dem Referenzobjekt 10, 11 und das jeweilige resultierende Ultraschall-Empfangssignal 7 simuliert werden.In step S22, received
In Schritt S23 werden auf gleiche Weise, wie anhand des ersten Ausführungsbeispiels des Vermessungsverfahrens beschrieben, jein den in Schritt S22 bestimmten Ultraschall-Empfangssignalen 7 Ultraschallechos 8 identifiziert und die zugehörigen Echosignaldarstellungen 9 erfasst.In step S23, ultrasonic echoes 8 are identified in each of the ultrasonic received
In Schritt S24 wird das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 mittels überwachten maschinellen Lernens trainiert. Das heißt, dem künstlichen neuronalen Netzwerk der Klassifizierungsvorrichtung 6 werden als Trainings-Eingabedaten 37 eine jeweilige Echosignaldarstellung 9 und vorzugsweise außerdem die zugehörigen topologischen Parameter 34-36 bereitgestellt, und als Trainings-Ausgangsdaten 38 werden der Klassifizierungsvorrichtung 6 in Übereinstimmung damit, ob das Referenzobjekt ein punktförmiges Objekt 10 oder ein linienförmiges Objekt 11 ist, entweder die Klassifizierung 32 als Reflexion an einem punktförmigen Objekt oder die Klassifizierung 33 als Reflexion an einem linienförmigen Objekt bereitgestellt. Sodann wird ein Schritt des überwachten maschinellen Lernens mit den Trainings-Eingabedaten 37 und den Trainings-Ausgabedaten 38 durchgeführt.In step S24, the artificial neural network of the
Die Schritte S21 bis S24 werden mit verschiedenen Referenzobjekten, verschiedenen Messanordnungen und so weiter viele Male wiederholt, bis das künstliche neuronale Netzwerk der Klassifizierungsvorrichtung 6 ausreichend trainiert ist.Steps S21 to S24 are repeated many times with different reference objects, different measurement arrangements and so on until the artificial neural network of the
Obwohl die Erfindung anhand von Ausführungsbeispielen beschreiben wurde, ist sie im Rahmen des Schutzumfangs der beigefügten Ansprüche vielfältig modifizierbar.Although the invention has been described on the basis of exemplary embodiments, it can be modified in many ways within the scope of the appended claims.
Es wurden verschiedene Ausführungsbeispiele des Verfahrens zum Vermessen der Umgebung des Kraftfahrzeugs 1 beschrieben. Das jeweilige Verfahren kann bei fahrendem oder bei stehendem Kraftfahrzeug 1 ausgeführt werden.Various exemplary embodiments of the method for measuring the surroundings of
Anhand der gemäß dem Verfahren erzeugten Objektmerkmale kann eine Karte der Umgebung des Kraftfahrzeugs 1 erstellt werden, die aus Kreisen (Punkten mit Radien, die einer Messungenauigkeit entsprechen) und Balken (Linien mit einer Dicke, die einer Messungenauigkeit entspricht oder Ellipsen mit einer kleinen Halbachse, die der halben Messungenauigkeit entspricht) besteht. Anhand dieser Karte der Umgebung des Kraftfahrzeugs 1 kann sodann bestimmt werden, ob und wie weit eine Tür (nicht gezeigt) des Kraftfahrzeugs geöffnet werden kann, ob ein Spurwechsel des fahrenden Kraftfahrzeugs 1 sicher erfolgen kann, ob ein Einparkvorgang des Kraftfahrzeugs 1 möglich ist, der Einparkvorgang des Kraftfahrzeugs 1 kann anhand der solchermaßen erstellen Karte teil- oder vollautomatisch gesteuert werden, und dergleichen mehr. Die genannten Betriebsvorgänge des Kraftfahrzeugs können somit in Abhängigkeit der erzeugten Objektmerkmale 18, 19 gesteuert werden.Using the object features generated according to the method, a map of the surroundings of the
BezugszeichenlisteReference List
- 11
- Kraftfahrzeugmotor vehicle
- 2, 2a, 2b2, 2a, 2b
- Ultraschallsendeempfängerultrasonic transceiver
- 33
- Steuereinheitcontrol unit
- 44
- Kommunikationsleitungcommunication line
- 55
- Steuervorrichtungcontrol device
- 66
- Klassifizierungsvorrichtungclassification device
- 77
- Ultraschall-EmpfangssignalUltrasonic receiving signal
- 88th
- Ultraschallechoultrasonic echo
- 99
- Echosignaldarstellungecho signal representation
- 1010
- punktförmiges Objektpoint object
- 1111
- linienförmiges Objektline object
- 12, 1312, 13
- Ortskurven möglicher ReflexionspunkteLocus of possible reflection points
- 1414
- Schnittpunkt der OrtskurvenIntersection of the locus curves
- 1515
- Tangente an die OrtskurvenTangent to the locus curves
- 16, 1716, 17
- Reflexionspunktereflection points
- 1818
- Punkt-Objektmerkmalpoint feature
- 1919
- Linien-Objektmerkmalline feature
- 20, 2120, 21
- x-, y-Koordinate des Punkt-Objektmerkmalsx, y coordinate of the point feature
- 2222
- Messunsicherheit des Punkt-ObjektmerkmalsMeasurement uncertainty of the point feature
- 23, 2423, 24
- x-, y-Koordinate des Linien-Objektmerkmalsx, y coordinate of the line feature
- 2525
- Winkelangabe des Linien-ObjektmerkmalsAngle specification of the line feature
- 2626
- Längenangabe des Linien-ObjektmerkmalsLength specification of the line feature
- 2727
- Messunsicherheit des Linien-ObjektmerkmalsMeasurement uncertainty of the line feature
- 28, 2928, 29
- Eckencorners
- 3030
- Eingabedateninput data
- 3131
- Ausgabedatenoutput data
- 3232
- Klassifizierung als Reflexion an punktförmigem ObjektClassification as a reflection from a point object
- 3333
- Klassifizierung als Reflexion an linienförmigem ObjektClassification as a reflection on a line-shaped object
- 34-3634-36
- topologische Parametertopological parameters
- 3737
- Trainings-Eingabedatentraining input data
- 3838
- Trainings-Ausgabedatentraining output data
- S1-S163S1-S163
- Verfahrensschritteprocess steps
- AA
- Amplitudeamplitude
- a, baway
- Abständedistances
- tt
- ZeitTime
- t0-t4t0-t4
- Zeitpunktetimes
- x, yx, y
- Richtungen parallel zu einer FahrbahnebeneDirections parallel to a road plane
- ze.g
- vertikale Richtungvertical direction
Claims (15)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021132024.0A DE102021132024A1 (en) | 2021-12-06 | 2021-12-06 | METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE |
PCT/EP2022/083997 WO2023104617A1 (en) | 2021-12-06 | 2022-12-01 | Method for surveying the surroundings of a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021132024.0A DE102021132024A1 (en) | 2021-12-06 | 2021-12-06 | METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021132024A1 true DE102021132024A1 (en) | 2023-06-07 |
Family
ID=84387650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021132024.0A Pending DE102021132024A1 (en) | 2021-12-06 | 2021-12-06 | METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102021132024A1 (en) |
WO (1) | WO2023104617A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013021837A1 (en) | 2013-12-21 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Method for classifying an object, sensor device and motor vehicle |
DE102018103551A1 (en) | 2018-02-16 | 2019-08-22 | Valeo Schalter Und Sensoren Gmbh | Method for characterizing an object in a surrounding area of a motor vehicle on the basis of previously learned curve parameters, sensor device and driver assistance system |
-
2021
- 2021-12-06 DE DE102021132024.0A patent/DE102021132024A1/en active Pending
-
2022
- 2022-12-01 WO PCT/EP2022/083997 patent/WO2023104617A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013021837A1 (en) | 2013-12-21 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Method for classifying an object, sensor device and motor vehicle |
DE102018103551A1 (en) | 2018-02-16 | 2019-08-22 | Valeo Schalter Und Sensoren Gmbh | Method for characterizing an object in a surrounding area of a motor vehicle on the basis of previously learned curve parameters, sensor device and driver assistance system |
Also Published As
Publication number | Publication date |
---|---|
WO2023104617A1 (en) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2823331B1 (en) | Method and device for detecting objects in the surroundings of a vehicle | |
EP0909412B1 (en) | Process for preparing an area plan having a cellular structure and comprising a unit moving automatically and positioned in said area using sensors based on wave reflection | |
EP3695244B1 (en) | Method and device for creating an inverse sensor model and method for detecting obstacles | |
EP1417509B1 (en) | Monitoring device and method using echo signals | |
DE102012103555B4 (en) | Pedestrian detection device and pedestrian detection method | |
DE102015003584A1 (en) | Method and device for 3D position determination | |
DE102010030289A1 (en) | Radar sensor and method for operating a radar sensor | |
DE10359212A1 (en) | Obstacle detection system for a motor vehicle | |
WO2021069137A1 (en) | Method and driver assistance system for classifying objects in the surroundings of a vehicle | |
EP2288932B1 (en) | Method and apparatus for estimating the most probable distance between objects | |
WO2021224001A1 (en) | Method for determining the position of objects using ultrasound, and driver assistance system for determining the position of an object in the surroundings of a vehicle | |
DE102020205127A1 (en) | Method for generating an object representation by means of received ultrasonic signals | |
DE102021132024A1 (en) | METHOD OF MEASURING A VICINITY OF A MOTOR VEHICLE | |
EP1456689A1 (en) | Method for identifying obstacles for a motor vehicle, using at least three distance sensors for identifying the lateral extension of an object | |
DE102020107012A1 (en) | Driver assistance system for the detection of external signals | |
EP2749982A2 (en) | Generation and updating of reference models | |
DE102018202903A1 (en) | Method for evaluating measurement data of a radar measurement system using a neural network | |
DE60303577T2 (en) | Method for monitoring the environment of a vehicle | |
DE102006051091B4 (en) | Method for object recognition in vehicles by means of close-range detection | |
DE102018130745A1 (en) | Method for controlling an autonomous vehicle | |
WO2022129266A1 (en) | Method for detecting at least one object in surroundings by means of reflection signals of a radar sensor system | |
DE102022127989A1 (en) | Method for operating a detection device with disturbance treatment using an artificial neural network | |
DE102020210740A1 (en) | Method, computer program and driver assistance system for processing data surrounding a vehicle | |
WO2023275169A1 (en) | Method for evaluating a plurality of received signals | |
DE102021127800A1 (en) | METHOD OF OPERATING AN ULTRASOUND SENSING DEVICE FOR A VEHICLE, ULTRASOUND SENSING DEVICE AND VEHICLE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |