EP4493954A1 - Verfahren zur objektklassifizierung - Google Patents

Verfahren zur objektklassifizierung

Info

Publication number
EP4493954A1
EP4493954A1 EP23710212.4A EP23710212A EP4493954A1 EP 4493954 A1 EP4493954 A1 EP 4493954A1 EP 23710212 A EP23710212 A EP 23710212A EP 4493954 A1 EP4493954 A1 EP 4493954A1
Authority
EP
European Patent Office
Prior art keywords
information
detections
statistical distribution
position information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23710212.4A
Other languages
English (en)
French (fr)
Inventor
Wassim Suleiman
Nicolai Glatz
Abhishek Kekud
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4493954A1 publication Critical patent/EP4493954A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/936—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring parking spaces extending transverse or diagonal to the driving direction, i.e. not parallel to the driving direction

Definitions

  • the invention relates to a method for classifying objects into object classes
  • the height estimate can be used to distinguish a line-like object that relates to a curb from a line-like object in the form of a wall.
  • a system for classifying objects into object classes based on information from at least one ultrasonic sensor of a vehicle is the subject of independent patent claim 14 and a vehicle with such a system is the subject of independent patent claim 15.
  • Object into an object class based on information of at least one Ultrasonic sensor revealed includes the following steps:
  • the position information indicates the reflection location at which the reflection of an ultrasonic signal from the at least one ultrasonic sensor took place.
  • the position information can in particular include coordinates that indicate the location of reflection.
  • the directional information indicates the direction along which the ultrasonic signal propagates between the reflection location and the at least one ultrasonic sensor.
  • the directional information can be specified, for example, by an angle, in particular an azimuth angle.
  • the received detections are then assigned to clusters, with a cluster comprising several detections.
  • the clusters thus form groups of detections.
  • One or more clusters can relate to an object, i.e. the detections that come from an object can be assigned to one or more clusters.
  • the technical advantage of the disclosed method is that the information on the statistical distribution of the position information and the information on the statistical distribution of the directional information of the clusters can be used as decision aids as to which object class a cluster and thus an object assigned to the cluster is to be assigned to. This allows accurate and efficient object classification to be achieved, in particular with the aim of excluding detections in clusters that are assigned to the “vehicle” object class from the height estimate.
  • the position information includes at least a first and a second coordinate.
  • the statistical distribution information of the position information includes information based on the covariance matrix of the first and second coordinates of the position information.
  • the distribution of the detections in a longitudinal direction and a transverse direction perpendicular thereto can be used for classification into the object classes.
  • the determinant of the covariance matrix of the first and second coordinates of the position information can be used as a decision criterion. This determinant is larger for two-dimensionally shaped objects (especially objects with curves and/or corners) such as vehicles than for line-like objects (e.g. curbs or wall objects).
  • the information about the statistical distribution of the position information includes the eigenvalues of the covariance matrix of the first and second coordinates of the position information.
  • the eigenvalues of the covariance matrix of the first and second coordinates of the position information provide a measure of the extent of a cluster along its major and minor axes, so that conclusions can be drawn about the shape of the object using the eigenvalues.
  • the information about the statistical distribution of the position information includes the ratio of the eigenvalues of the covariance matrix of the first and second coordinates of the position information.
  • the ratio of the eigenvalues is very different for line objects and two-dimensionally shaped objects and can therefore be used advantageously as a basis for decision-making.
  • the information about the statistical distribution of the directional information of the detections includes the variance of the directional information.
  • the variance of the directional information is very low for line-like objects and very high for curved objects such as posts.
  • the variance of directional information lies between the variance of line-like objects and curved objects because the vehicle contour has both flat surfaces and curved surfaces.
  • the information about the statistical distribution of the directional information of the detections includes the time derivation of the directional information. This allows the Changes in directional information over time can be used as a basis for decision-making for object classification.
  • the information for the statistical distribution of the directional information of the detections includes the temporal derivation of directional information filtered using a filter function.
  • the filter function can in particular be a filter for filtering statistical outliers. This means that the change in the filtered directional information over time can be used as a basis for decision-making for object classification.
  • the classification is carried out at least based on a first and a second threshold value, the first threshold value indicating a threshold value for the information on the statistical distribution of the position information and the second threshold value indicating a threshold value for the information on the statistical distribution of the directional information of the detections. It is understood that more than two decision rules based on threshold values are used as a decision basis for object classification.
  • the first and second threshold values are determined using training data.
  • the training data includes object information and label information associated with this object information.
  • the label information indicates which object class the respective object should be assigned to.
  • decision rules can be created as to the thresholds from which the information on the statistical distribution of the position information and information on the statistical distribution of the directional information can be classified into the respective object classes.
  • the classification is carried out using a decision tree or a random forest. This allows object classification to be carried out with little computational effort.
  • a neural network is used for classification, the neural network being trained using training data that has label information about the respective object classes.
  • a classification takes place into the object classes “vehicle” and “not a vehicle”. This allows objects that represent vehicles to be distinguished from other objects, for example from the object classes “wall” or “curb”.
  • a height estimate of the object is made or not depending on the result of the classification of the object.
  • no height estimate can be made for detections that relate to the “vehicle” object class. This allows the calculation effort and the error rate in height estimation to be minimized.
  • a system for classifying objects into object classes based on information from at least one ultrasonic sensor of a vehicle has a computing unit configured to carry out the following steps: a) receiving multiple detections of at least one
  • Ultrasonic sensor of a vehicle with each detection one
  • Position information and direction information is assigned, wherein the position information indicates the reflection location at which the reflection of an ultrasonic signal from the at least one ultrasonic sensor took place and wherein the direction information indicates the direction along which the ultrasonic signal propagates between the reflection location and the at least one ultrasonic sensor; b) forming clusters of detections based on the received detections, where a cluster includes multiple detections; c) calculating information about the statistical distribution of the position information and information about the statistical distribution of the direction information of the detections associated with the respective cluster; d) Classifying the object into an object class based on the statistical distribution of the position information and the statistical distribution of the direction information of the clusters.
  • a vehicle with a system for classifying objects into object classes is disclosed.
  • the expressions “approximately”, “essentially” or “approximately” mean deviations from the exact value by +/- 10%, preferably by +/- 5% and/or deviations in the form of changes that are insignificant for the function .
  • FIG. 1 shows an example and schematic of a vehicle with an ultrasonic sensor system comprising several ultrasonic sensors distributed around the circumference of the vehicle and a computer unit for evaluating the information provided by the ultrasonic sensor system;
  • FIG. 2 shows an example of a diagram that shows the position information from detections for a parallel parking situation between two vehicles
  • FIG. 3 shows an example of a diagram that shows the position information and partly the direction information from detections for the parallel parking situation according to FIG. 2;
  • 5 shows, for example, a decision tree for classifying objects into object classes
  • FIG. 6 is an example of a block diagram that illustrates the steps of the method for classifying objects into object classes.
  • Figure 1 shows a vehicle 1 as an example and roughly schematically.
  • the vehicle 1 has a large number of ultrasonic sensors 2, by means of which environmental detection is effected.
  • the ultrasonic sensors 2 are coupled to at least one computing unit 3, by means of which the method described below for classifying an object 0 into an object class is carried out.
  • Figure 2 shows an example of a diagram in which a large number of detections are entered, which are detected by the ultrasonic sensors 2 of the vehicle 1 and which are assigned to several objects 0.
  • the detections relate, for example, to a parallel parking situation in which a parallel parking space is formed between two vehicles.
  • the detections arranged in a line between the two vehicles refer, for example, to a curb that laterally delimits the parking space.
  • a detection is represented by a point.
  • the reflection location where the detection occurred due to a reflection from a surrounding object is indicated by position information.
  • the position information can include at least two coordinates by means of which the reflection location is defined in a horizontal plane. These are in particular x and y coordinates, which are plotted on the respective diagram axes in the diagram in FIG. In other words, the position information is given in Cartesian coordinates.
  • position information in a cylindrical coordinate system or a spherical coordinate system.
  • the statistical distribution of position information is used to classify an object.
  • the position information may also include information about the height of the object area where the reflection occurred.
  • the position information can indicate the reflection location in three-dimensional space.
  • the information about the third dimension i.e. height
  • Directional information is also determined for each detection.
  • the direction information indicates from which direction the detection was received.
  • the directional information can, for example, be an angle spanned in the horizontal plane, which indicates the direction of a connecting line that connects the reflection location with the sensor position of the ultrasonic sensor through which the reflected ultrasonic signal was emitted and/or through which the reflected ultrasonic signal was received.
  • the angle can be measured, for example, relative to a coordinate axis, for example relative to the x-axis.
  • the directional information can therefore include, for example, the angle that the connecting line, which connects the reflection location with the sensor position of the ultrasonic sensor, includes with the x-axis.
  • FIG. 3 shows an example of a diagram similar to that of FIG. 2, with direction information additionally being assigned to each detection that is assigned to the left vehicle.
  • the directional information is indicated by a line.
  • the line indicates the direction in which the detection was determined. In other words, the line indicates the direction in which the ultrasonic sensor 2 was when emitting and/or receiving the ultrasonic signal. It should be noted that Due to the high propagation speed and the associated short transit time of the ultrasonic signal between transmission and reception, it can be approximately assumed that the ultrasonic sensor 2 is in the same location when sending an ultrasonic signal and receiving the reflected components of this ultrasonic signal.
  • At least one cluster C is formed from the detected detections.
  • clustering algorithms can be used to form a cluster, for example density-based clustering methods, partitioning clustering methods, etc.
  • a K-means clustering algorithm or a DBSCAN algorithm can be used to form the clusters.
  • Fig. 4 illustrates several clusters C that were determined based on the detections shown in Figs. 2 and 3.
  • the ellipses shown in Fig. 4 each represent the covariance matrix of the xy coordinates of those detections that are assigned to the respective cluster C.
  • the clusters C refer to locally connected groups of detections and preferably indicate how the respective group of detections is spatially arranged in a horizontal plane (i.e. the x-y plane).
  • a threshold value for the number of detections is preferably specified. The number of detections that are to form a cluster must exceed this threshold. This can prevent a cluster from being formed due to fewer detections.
  • the mean value of the position information is calculated for the respective cluster C.
  • This mean value indicates the center of the cluster. It can be determined, for example, by averaging the x and y coordinates of the detections of a cluster.
  • the covariance to the x and y coordinates of the detections assigned to the respective cluster can be calculated. In other words, the two-dimensional Gaussian distribution of the x and y coordinates of the detections is calculated.
  • the statistical distribution information of the directional information of the detections of a cluster may include the mean and the variance of the directional information of the detections of a cluster.
  • the mean and variance can either be calculated directly or the directional information can be filtered before calculating the mean and variance, for example smoothing filtering or filtering by means of which statistical outliers are filtered out.
  • the determinant of the covariance matrix of the first and second coordinates of the position information can be calculated. This is larger for multidimensionally shaped objects than for line objects. This means that the determinant of the covariance matrix can be used Differentiation between multi-dimensionally shaped objects and line objects.
  • the eigenvalues of the covariance matrix of the first and second coordinates of the position information can be calculated. In particular, this results in a first and a second eigenvalue.
  • the eigenvalues indicate the extent of the cluster C along its main axis and its perpendicular minor axis.
  • the eigenvalues indicate the length of the major and minor axes of an ellipse, which can be used to model the position and orientation of the cluster C. These ellipses assigned to clusters C are shown in Fig. 4.
  • the quotient of the first and second eigenvalues of the covariance matrix of the first and second coordinates of the position information can be calculated.
  • the ratio of the eigenvalues provides an indication of whether it is a line-like object or not, since the ratio of the eigenvalues differs significantly for line-like objects and two-dimensionally shaped objects.
  • the variance of the directional information of the detections of a cluster also provides an indication of whether it is a line-like object or a two-dimensionally shaped object.
  • the variance of the directional information is very small for line-like objects and very high for round objects such as posts or similar.
  • the variance of the directional information in vehicles lies in the middle between the variance of the directional information of line-like and round objects, since vehicles have both straight vehicle areas and diffusely reflecting areas, such as mirrors, door handles, etc.
  • the temporal derivation of statistical properties of the directional information of the detections or the filtered directional information of the detections can be determined, that is, for example, the change in the mean, the variance, etc.
  • the information on the statistical distribution of the position information and the information on the statistical distribution of the direction information are determined iteratively in such a way that the formation of clusters C is updated when one or more detections are received. This will result in updated clusters.
  • the statistical distribution information of the position information and the statistical distribution information of the directional information of the detections associated with a cluster are also updated after a cluster is updated, i.e. recalculated based on the detections newly added to the cluster.
  • the information on the statistical distribution of the position information and the information on the statistical distribution of the directional information of the detections can then be used to form decision rules, with the objects being classified into object classes based on the decision rules.
  • Training data can be used to form the decision rules.
  • This training data includes information about objects and label information associated with the objects.
  • the label information indicates which object class the respective object should be assigned to.
  • the decision rules can in particular be threshold values.
  • the height of the thresholds can be set based on the training data.
  • the threshold values can be assigned to certain information about the statistical distribution of the position information or certain information about the statistical distribution of the direction information.
  • the threshold values can in particular indicate that information below the threshold value indicates a classification into a first object class and information above the threshold value indicates a classification into a second object class.
  • a decision tree or a random forest can be used to classify the objects.
  • the structure and decision rules of the decision tree or random forest can be determined by the training data.
  • Fig. 5 shows an example of a decision tree.
  • the decision tree is used as an example to classify objects into the classes “curb”, “wall” and “vehicle”.
  • the decision tree is used for classification into the object classes “vehicle” and “non-vehicle”.
  • the decision rules of the decision tree refer to information about the statistical distribution of position information and information about the statistical distribution of direction information.
  • the quotient of the first and second eigenvalues of the covariance matrix of the first and second coordinates of the position information is used as information for the statistical distribution of the position information, that is, the ratio of the two eigenvalues of the covariance matrix.
  • the variance of the directional information is used as information for the statistical distribution of the directional information.
  • the Information about the statistical distribution of the directional information and the threshold values associated with this information can be used to assign the detections of the respective cluster C to an object class. In particular, it can be decided whether the detections of the detected cluster C relate to the object class “vehicle” or not.
  • a height estimation algorithm can be selectively carried out based on the information from the ultrasonic sensors.
  • those detections that are assigned to clusters of the “vehicle” object class can be excluded from the height estimate in order to avoid incorrect estimates.
  • FIG. 6 shows a schematic representation of the steps of a method according to the invention for classifying objects into object classes using ultrasonic sensors of a vehicle.
  • Each detection is assigned position information and direction information.
  • the position information indicates the reflection location at which the reflection of an ultrasonic signal from the at least one ultrasonic sensor took place.
  • the directional information indicates the direction along which the Ultrasonic signal propagates between the reflection location and the at least one ultrasonic sensor.
  • a cluster includes several detections (S11).
  • a cluster associated with an object is classified into an object class based on the information on the statistical distribution of the position information and the statistical distribution of the direction information (S13).

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Klassifizierung von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs.

Description

Verfahren zur Objektklassifizierung
Die Erfindung betrifft ein Verfahren zur Klassifizierung von Objekten in Objektklassen
Es ist bekannt, basierend auf Informationen, die durch eine Ultraschallsensorik erfasst wurden, eine Höhenschätzung von Objekten mittels geometrischer Verfahren vorzunehmen. Durch die Höhenschätzung kann beispielsweise ein linienartiges Objekt, das sich auf einen Randstein bezieht, von einem linienartigen Objekt in Form einer Wand unterschieden werden.
Problematisch bei der Höhenschätzung ist, dass die bekannten Methoden zur Höhenschätzung zu falschen Ergebnissen führen, wenn diese auf Objekte in Form von Fahrzeugen angewendet werden.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Objektklassifizierung anzugeben, das eine zuverlässige Klassifizierung von Objekten in vorgegebene Objektklassen ermöglicht.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Klassifikation von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs ist Gegenstand des nebengeordneten Patentanspruchs 14 und ein Fahrzeug mit einem solchen System ist Gegenstand des nebengeordneten Patentanspruchs 15.
Gemäß einem ersten Aspekt wird ein Verfahren zur Klassifizierung eines
Objekts in eine Objektklasse basierend auf Informationen zumindest eines Ultraschallsensors offenbart. Das Verfahren umfasst die folgenden Schritte:
Zunächst werden mehrere Detektionen zumindest eines Ultraschallsensors eines Fahrzeugs empfangen. Es versteht sich, dass die Detektionen durch Zusammenwirken mehrerer Ultraschallsensoren gewonnen werden können. Jeder Detektion ist eine Positionsinformation und eine Richtungsinformation zugeordnet. Die Positionsinformation gibt dabei den Reflektionsort an, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist. Die Positionsinformation kann insbesondere Koordinaten umfassen, die den Reflexionsort angeben. Die Richtungsinformation gibt die Richtung an, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet. Die Richtungsinformation kann beispielsweise durch einen Winkel, insbesondere einen Azimutwinkel, angegeben werden.
Anschließend werden die empfangenen Detektionen Clustern zugeordnet, wobei ein Cluster mehrere Detektionen umfasst. Die Cluster bilden damit Gruppen von Detektionen. Ein oder mehrere Cluster können sich auf ein Objekt beziehen, d.h. die Detektionen, die von einem Objekt stammen, können einem oder mehreren Clustern zugeordnet sein.
Nach der Bildung der Cluster werden für die jeweiligen Cluster Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen berechnet, und zwar basierend auf den Positionsinformationen und den Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind. Zuletzt erfolgt ein Klassifizieren des Objekts in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster.
Der technische Vorteil des offenbarten Verfahrens besteht darin, dass die Informationen zur statistischen Verteilung der Positionsinformationen und die Informationen zur statistischen Verteilung der Richtungsinformationen der Cluster als Entscheidungshilfen herangezogen werden können, welcher Objektklasse ein Cluster und damit ein dem Cluster zugeordnetes Objekt zuzuordnen ist. Damit kann eine genaue und effiziente Objektklassifizierung erreicht werden, insbesondere mit dem Ziel, Detektionen in Clustern, die der Objektklasse „Fahrzeug“ zugeordnet werden, von der Höhenschätzung auszuschließen.
Gemäß einem Ausführungsbeispiel umfasst die Positionsinformation zumindest eine erste und eine zweite Koordinate. Die Informationen zur statistischen Verteilung der Positionsinformationen umfassen Informationen, die auf der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen basieren. Durch die Berücksichtigung der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen kann insbesondere die Verteilung der Detektionen in einer Längs- und einer dazu senkrecht verlaufenden Querrichtung zur Klassifizierung in die Objektklassen herangezogen werden. Insbesondere kann die Determinante der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen als Entscheidungskriterium herangezogen werden. Diese Determinante ist für zweidimensional geformte Objekte (insbesondere Objekte mit Rundungen und/oder Ecken) wie beispielsweise Fahrzeuge größer als bei linienartigen Objekten (z.B. Randsteine oder Wandobjekte). Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Positionsinformationen die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen. Die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen liefern ein Maß für die Ausdehnung eines Clusters entlang dessen Haupt- und Nebenachse, so dass über die Eigenwerte auf die Form des Objekts zurückgeschlossen werden kann.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Positionsinformationen das Verhältnis der Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen. Das Verhältnis der Eigenwerte ist für Linienobjekte und zweidimensional geformte Objekte sehr unterschiedlich und kann daher vorteilhaft als Entscheidungsgrundlage verwendet werden.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die Varianz der Richtungsinformationen. Die Varianz der Richtungsinformationen ist bei linienartigen Objekten sehr gering und bei gewölbten Objekten wie beispielsweise Pfosten sehr hoch. Bei Fahrzeugen liegt die Varianz der Richtungsinformationen zwischen der Varianz von linienartigen Objekten und gewölbten Objekten, da die Fahrzeugkontur sowohl ebene Flächen als auch gewölbte Flächen aufweist.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung der Richtungsinformationen. Dadurch kann die Änderung der Richtungsinformationen über der Zeit als Entscheidungsgrundlage zur Objektklassifizierung verwendet werden.
Gemäß einem Ausführungsbeispiel umfassen die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung von mittels einer Filterfunktion gefilterten Richtungsinformationen. Die Filterfunktion kann insbesondere ein Filter zur Filterung von statistischen Ausreißern sein. Dadurch kann die Änderung der gefilterten Richtungsinformationen über der Zeit als Entscheidungsgrundlage für die Objektklassifizierung verwendet werden.
Gemäß einem Ausführungsbeispiel wird die Klassifikation zumindest basierend auf einem ersten und einem zweiten Schwellwert vorgenommen, wobei der erste Schwellwert einen Schwellwert für die Informationen zur statistischen Verteilung der Positionsinformationen und der zweite Schwellwert einen Schwellwert für die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen angibt. Es versteht sich, dass mehr als zwei Entscheidungsregeln, die auf Schwellwerten basieren, als Entscheidungsgrundlage für die Objektklassifizierung herangezogen werden.
Gemäß einem Ausführungsbeispiel wird der erste und zweite Schwellwert mittels Trainingsdaten ermittelt. Die Trainingsdaten weisen Objektinformationen und diesen Objektinformationen zugeordnete Label- Informationen auf. Die Label-Informationen geben an, welcher Objektklasse das jeweilige Objekt zuzuordnen ist. Mittels der Trainingsdaten können damit Entscheidungsregeln erstellt werden, ab welchen Schwellen der Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen eine Klassifizierung in die jeweiligen Objektklassen erfolgen kann. Gemäß einem Ausführungsbeispiel erfolgt die Klassifikation mittels eines Entscheidungsbaums oder eines Zufallswaldes (engl. Random Forest). Dadurch kann eine Objektklassifizierung mit geringem Rechenaufwand erfolgen.
Gemäß einem anderen Ausführungsbeispiel wird ein neuronales Netz zur Klassifikation verwendet, wobei das neuronale Netz mittels Trainingsdaten trainiert wurde, die Label-Informationen zu den jeweiligen Objektklassen aufweisen.
Gemäß einem anderen Ausführungsbeispiel erfolgt eine Klassifikation in die Objektklassen „Fahrzeug“ und „kein Fahrzeug“. Dadurch können Objekte, die Fahrzeuge darstellen, von anderen Objekten, beispielsweise von den Objektklassen „Wand“ oder „Randstein“ unterschieden werden.
Gemäß einem anderen Ausführungsbeispiel wird abhängig von dem Ergebnis der Klassifikation des Objekts eine Höhenschätzung des Objekts vorgenommen oder nicht. Insbesondere kann zu Detektionen, die sich auf die Objektklasse „Fahrzeug“ beziehen, keine Höhenschätzung vorgenommen werden. Dadurch kann der Rechenaufwand und die Fehlerquote bei der Höhenschätzung minimiert werden.
Gemäß einem weiteren Aspekt wird ein System zur Klassifikation von Objekten in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors eines Fahrzeugs offenbart. Das System weist eine Recheneinheit auf, die zum Ausführen der folgenden Schritte konfiguriert ist: a) Empfangen mehrerer Detektionen zumindest eines
Ultraschallsensors eines Fahrzeugs, wobei jeder Detektion eine
Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet; b) Bilden von Clustern von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster mehrere Detektionen umfasst; c) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind; d) Klassifizieren des Objekts in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster.
Gemäß einem nochmals weiteren Aspekt wird ein Fahrzeug mit einem System zur Klassifikation von Objekten in Objektklassen offenbart.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 beispielhaft und schematisch ein Fahrzeug mit einer Ultraschallsensorik umfassend mehrere umfangsseitig um das Fahrzeug herum verteilte Ultraschallsensoren und eine Rechnereinheit zur Auswertung der von der Ultraschallsensorik bereitgestellten Informationen;
Fig. 2 beispielhaft ein Diagramm, das die Positionsinformationen von Detektionen zu einer Längsparksituation zwischen zwei Fahrzeugen zeigt;
Fig. 3 beispielhaft ein Diagramm, das die Positionsinformationen und teilweise die Richtungsinformationen von Detektionen zu der Längsparksituation gemäß Fig. 2 zeigt;
Fig. 4 beispielhaft mehrere Cluster, die basierend auf den in Fig. 2 und Fig. 3 gezeigten Detektionen ermittelt wurden;
Fig. 5 beispielsweise ein Entscheidungsbaum zur Klassifikation von Objekten in Objektklassen; und
Fig. 6 beispielhaft ein Blockdiagramm, das die Schritte des Verfahrens zur Klassifizierung von Objekten in Objektklassen veranschaulicht. Figur 1 zeigt beispielhaft und grob schematisch ein Fahrzeug 1 . Das Fahrzeug 1 weist eine Vielzahl von Ultraschallsensoren 2 auf, mittels denen eine Umgebungserfassung bewirkt wird.
Die Ultraschallsensoren 2 sind mit zumindest einer Recheneinheit 3 gekoppelt, mittels der das nachfolgend beschriebene Verfahren zur Klassifizierung eines Objekts 0 in eine Objektklasse erfolgt.
Figur 2 zeigt beispielhaft ein Diagramm, in dem eine Vielzahl von Detektionen eingetragen sind, die durch die Ultraschallsensoren 2 des Fahrzeugs 1 erfasst werden und die mehreren Objekten 0 zugeordnet sind. Die Detektionen beziehen sich beispielsweise auf eine Längsparksituation, bei der eine Längsparklücke zwischen zwei Fahrzeugen gebildet ist. Die linienartig angeordneten Detektionen zwischen den beiden Fahrzeugen bezieht sich beispielsweise auf einen Randstein, der die Parklücke seitlich begrenzt.
Eine Detektion ist dabei durch einen Punkt dargestellt. Der Reflexionsort, an dem die Detektion aufgrund einer Reflexion an einem Umgebungsobjekt entstanden ist, ist durch Positionsinformationen angegeben. Die Positionsinformationen können zumindest zwei Koordinaten umfassen, mittels denen der Reflexionsort in einer horizontalen Ebene definiert ist. Diese sind insbesondere x- und y- Koordinaten, die in dem Diagramm der Fig. 2 auf den jeweiligen Diagrammachsen aufgetragen sind. In anderen Worten sind die Positionsinformationen in karthesischen Koordinaten angegeben.
Alternativ ist es möglich, dass die Positionsinformationen in einem Zylinderkoordinatensystem oder einem Kugelkoordinatensystem, anzugeben. Die statistische Verteilung der Positionsinformationen wird zur Klassifizierung eines Objekts herangezogen.
Falls verfügbar, können die Positionsinformationen auch Informationen über die Höhe des Objektbereichs, an dem die Reflexion entstanden ist, enthalten. In anderen Worten können die Positionsinformationen den Reflexionsort im dreidimensionalen Raum angeben. Auch die Informationen zur dritten Dimension (d.h. der Höhe) können zur Klassifizierung des Objekts herangezogen werden.
Zu den Detektionen wird jeweils auch eine Richtungsinformation ermittelt. Die Richtungsinformation gibt an, aus welcher Richtung die Detektion empfangen wurde. Die Richtungsinformation kann beispielsweise ein in der horizontalen Ebene aufgespannter Winkel sein, der die Richtung einer Verbindungslinie angibt, die den Reflexionsort mit der Sensorposition des Ultraschallsensors verbindet, durch den das reflektierte Ultraschallsignal ausgesendet wurde und/oder durch den das reflektierte Ultraschallsignal empfangen wurde. Der Winkel kann beispielsweise relativ zu einer Koordinatenachse gemessen werden, beispielsweise relativ zur x-Achse. Die Richtungsinformation kann damit beispielsweise den Winkel umfassen, den die Verbindungslinie, die den Reflexionsort mit der Sensorposition des Ultraschallsensors verbindet, mit der x-Achse einschließt.
Fig. 3 zeigt beispielhaft ein Diagramm ähnlich dem der Fig. 2, wobei zu jeder Detektion, die dem linken Fahrzeug zugeordnet ist, zusätzlich eine Richtungsinformation zugeordnet ist. Die Richtungsinformation ist jeweils durch eine Linie angedeutet. Die Linie gibt die Richtung an, in der die Detektion ermittelt wurde. In anderen Worten gibt die Linie die Richtung an, in der sich der Ultraschallsensor 2 beim Aussenden und/oder dem Empfangen des Ultraschallsignals befunden hat. Es sei angemerkt, dass aufgrund der hohen Ausbreitungsgeschwindigkeit und der damit verbundenen geringen Laufzeit des Ultraschallsignals zwischen dem Aussenden und dem Empfangen näherungsweise angenommen werden kann, dass sich der Ultraschallsensor 2 beim Senden eines Ultraschallsignals und dem Empfangen der reflektierten Anteile dieses Ultraschallsignals an demselben Ort befindet.
Um mehrere Detektionen einem Objekt zuzuordnen, wird zumindest ein Cluster C aus den erfassten Detektionen gebildet. Zur Bildung eines Clusters können bekannte Cluster-Algorithmen verwendet werden, beispielsweise dichtebasierte Clusterbildungsverfahren, partitionierende Clusterbildungsverfahren etc. Insbesondere kann ein K-Means-Clustering- Algorithmus oder ein DBSCAN-Algorithmus zur Bildung der Cluster verwendet werden.
Fig. 4 illustriert mehrere Cluster C, die basierend auf den in Fig. 2 und 3 dargestellten Detektionen ermittelt wurden. Die in Fig. 4 dargestellten Ellipsen repräsentieren jeweils die Kovarianzmatrix der x-y-Koordinaten derjenigen Detektionen, die dem jeweiligen Cluster C zugeordnet sind. Die Cluster C beziehen sich auf örtlich zusammenhängende Gruppen von Detektionen und geben vorzugsweise an, wie die jeweilige Gruppe von Detektionen örtlich in einer horizontalen Ebene (d.h. der x-y-Ebene) angeordnet ist.
Vorzugsweise ist ein Schwellwert für die Anzahl von Detektionen vorgegeben. Die Anzahl der Detektionen, die ein Cluster bilden sollen, muss diesen Schwellwert übersteigen. Damit kann verhindert werden, dass aufgrund weniger Detektionen bereits ein Cluster gebildet wird.
Nach der Clusterbildung können für die jeweiligen Cluster Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen ermittelt werden.
Insbesondere wird für die jeweiligen Cluster C der Mittelwert der Positionsinformationen berechnet. Dieser Mittelwert gibt damit das Zentrum des Clusters an. Er kann beispielsweise durch Mittelung der x- und y-Koordinaten der Detektionen eines Clusters ermittelt werden. Zudem kann die Kovarianz zu den x- und y-Koordinaten der Detektionen, die dem jeweiligen Cluster zugeordnet sind, berechnet werden. In anderen Worten wird die zweidimensionale Gaußverteilung der x- und y- Koordinaten der Detektionen berechnet.
Die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen eines Clusters können den Mittelwert und die Varianz der Richtungsinformationen der Detektionen eines Clusters umfassen. Hierbei kann der Mittelwert und die Varianz entweder direkt berechnet werden oder die Richtungsinformationen können vor der Berechnung des Mittelwerts und der Varianz gefiltert werden, beispielsweise einer Glättungsfilterung oder einer Filterung, mittels der statistische Ausreißer ausgefiltert werden.
Aus den Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen können weitere Informationen bzw. Größen berechnet werden, die zur Klassifizierung der Objekte herangezogen werden können:
Es kann beispielsweise die Determinante der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden. Diese ist bei mehrdimensional geformten Objekten größer als bei Linienobjekten. Damit kann die Determinante der Kovarianzmatrix zur Unterscheidung von mehrdimensional geformten Objekten und Linienobjekten dienen.
Des Weiteren können die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden. Insbesondere ergibt sich ein erster und ein zweiter Eigenwert. Die Eigenwerte geben die Erstreckung des Clusters C entlang deren Hauptachse und deren senkrecht dazu verlaufender Nebenachse an. Insbesondere geben die Eigenwerte die Länge der Haupt- und Nebenachse einer Ellipse an, durch die die Lage und Ausrichtung des Clusters C nachgebildet werden kann. Diese den Clustern C zugeordneten Ellipsen sind in Fig. 4 dargestellt.
Des Weiteren kann der Quotient aus dem ersten und zweiten Eigenwert der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen berechnet werden. Das Verhältnis der Eigenwerte liefert ein Indiz dafür, ob es sich um ein linienartiges Objekt handelt oder nicht, da das Verhältnis der Eigenwerte sich für linienartige Objekte und zweidimensional geformte Objekte erheblich unterscheidet.
Die Varianz der Richtungsinformationen der Detektionen eines Clusters liefert ebenfalls ein Indiz dafür, ob es sich um ein linienartiges Objekt oder ein zweidimensional geformtes Objekt handelt. So ist beispielsweise die Varianz der Richtungsinformationen bei linienartigen Objekten sehr klein, bei runden Objekten wie Pfosten o.ä. sehr hoch. Die Varianz der Richtungsinformationen liegt bei Fahrzeugen in der Mitte zwischen der Varianz der Richtungsinformationen von linienartigen und runden Objekten, da Fahrzeuge sowohl gerade ausgebildete Fahrzeugbereiche als auch diffus reflektierende Bereiche, beispielsweise Spiegel, Türgriffe etc. aufweisen. Zudem kann die zeitliche Ableitung von statistischen Eigenschaften der Richtungsinformationen der Detektionen oder der gefilterten Richtungsinformationen der Detektionen ermittelt werden, d.h. beispielsweise die Änderung des Mittelwerts, der Varianz etc.
Vorzugsweise werden die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen iterativ ermittelt, und zwar derart, dass die Bildung von Clustern C aktualisiert wird, wenn eine oder mehrere Detektionen empfangen werden. Dadurch werden aktualisierte Cluster erhalten. Die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die einem Cluster zugeordnet sind, werden nach der Aktualisierung eines Clusters ebenfalls aktualisiert, d.h. basierend auf den neu dem Cluster hinzugefügten Detektionen neu berechnet.
Die Informationen zur statistischen Verteilung der Positionsinformationen und den Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen können anschließend zur Bildung von Entscheidungsregeln herangezogen werden, wobei basierend auf den Entscheidungsregeln die Klassifizierung der Objekte in Objektklassen vorgenommen wird.
Zur Bildung der Entscheidungsregeln können Trainingsdaten verwendet werden. Diese Trainingsdaten weisen Informationen zu Objekten und den Objekten zugeordnete Label-Informationen auf. Die Label-Informationen geben an, welcher Objektklasse das jeweilige Objekt zugeordnet werden soll. Die Entscheidungsregeln können insbesondere Schwellwerte sein. Die Höhe der Schwellwerte kann basierend auf den Trainingsdaten festgelegt werden. Die Schwellwerte können bestimmten Informationen zur statistischen Verteilung der Positionsinformationen oder bestimmten Informationen zur statistischen Verteilung der Richtungsinformationen zugeordnet sein. Die Schwellwerte können insbesondere angeben, dass eine Information unterhalb dem Schwellwert eine Klassifikation in eine erste Objektklasse und eine Information oberhalb dem Schwellwert eine Klassifikation in eine zweite Objektklasse indiziert.
Zur Klassifikation der Objekte kann ein Entscheidungsbaum oder ein Zufallswald (engl. random forest) eingesetzt werden.
Die Struktur und die Entscheidungsregeln des Entscheidungsbaums oder des Zufallswalds kann durch die Trainingsdaten festgelegt werden.
Fig. 5 zeigt beispielhaft einen Entscheidungsbaum. Der Entscheidungsbaum dient beispielhaft der Klassifikation der Objekte in die Klassen „Randstein“, „Wand“ und „Fahrzeug“. Insbesondere dient der Entscheidungsbaum der Klassifikation in die Objektklassen „Fahrzeug“ und „Nicht-Fahrzeug“.
Die Entscheidungsregeln des Entscheidungsbaums beziehen sich auf Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen. Als Informationen zur statistischen Verteilung der Positionsinformationen wird der Quotient aus dem ersten und zweiten Eigenwert der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen verwendet, d.h. das Verhältnis der beiden Eigenwerte der Kovarianzmatrix. Als Informationen zur statistischen Verteilung der Richtungsinformationen wird die Varianz der Richtungsinformationen verwendet. Basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen, den Informationen zur statistischen Verteilung der Richtungsinformationen und den Schwellwerten, die diesen Informationen zugeordnet sind, können die Detektionen des jeweiligen Clusters C einer Objektklasse zugeordnet werden. Damit kann insbesondere entschieden werden, ob sich die Detektionen des erkannten Clusters C auf die Objektklasse „Fahrzeug“ beziehen oder nicht.
Gemäß dem Entscheidungsbaum der Fig. 5 kann dann, wenn die Varianz der Richtungsinformationen größer als 0,00665 und das Verhältnis der Eigenwerte größer als 0,0012 sind, mit einer Wahrscheinlichkeit von 99% davon ausgegangen werden, dass sich die Detektionen des Clusters auf ein Fahrzeug beziehen.
Nach der Klassifikation der Objekte bzw. der Cluster, die Objekten zugeordnet sind, in Objektklassen kann selektiv ein Höhenschätzungsalgorithmus basierend auf den Informationen der Ultraschallsensorik vollzogen werden. Insbesondere können diejenigen Detektionen, die Clustern der Objektklasse „Fahrzeug“ zugeordnet sind, von der Höhenschätzung ausgenommen werden, um falsche Schätzungen zu vermeiden.
Fig. 6 zeigt in schematischer Darstellung die Schritte eines erfindungsgemäßen Verfahrens zur Klassifikation von Objekten in Objektklassen mittels einer Ultraschallsensorik eines Fahrzeugs.
Zunächst werden mehrere Detektionen zumindest eines Ultraschallsensors eines Fahrzeugs empfangen (S10). Jeder Detektion ist eine Positionsinformation und eine Richtungsinformation zugeordnet. Die Positionsinformation gibt den Reflektionsort an, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors erfolgt ist. Die Richtungsinformation gibt die Richtung an, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor ausbreitet.
Anschließend werden Cluster von Detektionen basierend auf den empfangenen Detektionen gebildet. Ein Cluster umfasst dabei mehrere Detektionen (S11 ).
Für die Cluster werden anschließend Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster zugeordnet sind, berechnet (S12).
Zuletzt erfolgt ein Klassifizieren eines Clusters, das einem Objekt zugeordnet ist, in eine Objektklasse, und zwar basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen (S13).
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste 1 Fahrzeug
2 Ultraschallsensor
3 Recheneinheit
C Cluster E Entscheidungsbaum
0 Objekt s1 erster Schwellwert s2 zweiter Schwellwert

Claims

Patentansprüche
1 ) Verfahren zur Klassifizierung von Objekten (0) in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1 ), umfassend folgende Schritte: a) Empfangen mehrerer Detektionen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1 ), wobei jeder Detektion eine Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors (2) erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor (2) ausbreitet (S10); b) Bilden von Clustern (C) von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster (C) mehrere Detektionen umfasst (S11 ); c) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster (C) zugeordnet sind (S12); d) Klassifizieren des Objekts (0) in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster (C) (S13).
2) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Positionsinformation zumindest eine erste und eine zweite Koordinate umfasst, wobei die Informationen zur statistischen Verteilung der Positionsinformationen Informationen umfassen, die auf der Kovarianzmatrix der ersten und zweiten Koordinate der
Positionsinformationen basieren.
3) Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Positionsinformationen die Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen umfassen.
4) Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Positionsinformationen das Verhältnis der Eigenwerte der Kovarianzmatrix der ersten und zweiten Koordinate der Positionsinformationen umfassen.
5) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die Varianz der Richtungsinformationen umfassen.
6) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung der Richtungsinformationen umfassen.
7) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen die zeitliche Ableitung von mittels einer Filterfunktion gefilterten Richtungsinformationen umfassen.
8) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifikation zumindest basierend auf einem ersten und einem zweiten Schwellwert (s1 , s2) vorgenommen wird, wobei der erste Schwellwert (s1 ) einen Schwellwert für die Informationen zur statistischen Verteilung der Positionsinformationen und der zweite Schwellwert (s2) einen Schwellwert für die Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen angibt. ) Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der erste und zweite Schwellwert (s1 , s2) mittels Trainingsdaten ermittelt wird, die Label-Informationen zu den jeweiligen Objektklassen aufweisen. 0) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifikation mittels eines Entscheidungsbaums (E) oder eines Random Forest erfolgt. 1 ) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein neuronales Netz zur Klassifikation verwendet wird, wobei das neuronale Netz mittels Trainingsdaten trainiert wurde, die Label-Informationen zu den jeweiligen Objektklassen aufweisen. 2) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Klassifikation in die Objektklassen „Fahrzeug“ und „kein Fahrzeug“ erfolgt. 3) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von dem Ergebnis der Klassifikation des Objekts (0) eine Höhenschätzung des Objekts (O) vorgenommen wird oder nicht. ) System zur Klassifikation von Objekten (0) in Objektklassen basierend auf Informationen zumindest eines Ultraschallsensors (2) eines Fahrzeugs (1 ), wobei das System eine Recheneinheit (3) aufweist, die zum Ausführen der folgenden Schritte konfiguriert ist: e) Empfangen mehrerer Detektionen zumindest eines
Ultraschallsensors (2) eines Fahrzeugs (1 ), wobei jeder Detektion eine Positionsinformation und eine Richtungsinformation zugeordnet ist, wobei die Positionsinformation den Reflektionsort angibt, an der die Reflektion eines Ultraschallsignals des zumindest einen Ultraschallsensors (2) erfolgt ist und wobei die Richtungsinformation die Richtung angibt, entlang der sich das Ultraschallsignal zwischen dem Reflektionsort und dem zumindest einen Ultraschallsensor (2) ausbreitet; f) Bilden von Clustern (C) von Detektionen basierend auf den empfangenen Detektionen, wobei ein Cluster (C) mehrere Detektionen umfasst; g) Berechnen von Informationen zur statistischen Verteilung der Positionsinformationen und Informationen zur statistischen Verteilung der Richtungsinformationen der Detektionen, die dem jeweiligen Cluster (C) zugeordnet sind; h) Klassifizieren des Objekts (0) in eine Objektklasse basierend auf den Informationen zur statistischen Verteilung der Positionsinformationen und zur statistischen Verteilung der Richtungsinformationen der Cluster (C). ) Fahrzeug umfassend ein System gemäß Patentanspruch 14.
EP23710212.4A 2022-03-15 2023-02-27 Verfahren zur objektklassifizierung Pending EP4493954A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202524.5A DE102022202524B4 (de) 2022-03-15 2022-03-15 Verfahren zur Objektklassifizierung
PCT/DE2023/200042 WO2023174495A1 (de) 2022-03-15 2023-02-27 Verfahren zur objektklassifizierung

Publications (1)

Publication Number Publication Date
EP4493954A1 true EP4493954A1 (de) 2025-01-22

Family

ID=85569716

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23710212.4A Pending EP4493954A1 (de) 2022-03-15 2023-02-27 Verfahren zur objektklassifizierung

Country Status (5)

Country Link
US (1) US20250199168A1 (de)
EP (1) EP4493954A1 (de)
JP (1) JP7764626B2 (de)
DE (1) DE102022202524B4 (de)
WO (1) WO2023174495A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202524B4 (de) * 2022-03-15 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifizierung
DE102023134894A1 (de) * 2023-12-13 2025-06-18 Valeo Schalter Und Sensoren Gmbh Lagebestimmen eines linienartigen objekts

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007061235A1 (de) 2007-12-19 2009-06-25 Robert Bosch Gmbh Verfahren zur Klassifizierung von Abstandsdaten und korrespondierende Abstandsmessvorrichtung
DE102012004396A1 (de) 2012-03-03 2013-09-05 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen von Objekten in einer Umgebung eines Fahrzeugs
CN203311473U (zh) * 2013-05-06 2013-11-27 华南理工大学 一种收费公路收费站出入口车道车辆信息采集与识别系统
DE102014111124A1 (de) 2014-08-05 2016-02-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschalllsensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015101292A1 (de) * 2015-01-29 2016-08-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs durch Überprüfen einer räumlichen Abweichung von Messpunkten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6777403B2 (ja) 2016-02-26 2020-10-28 株式会社デンソー 物体認識装置及びプログラム
DE102016113736A1 (de) * 2016-07-26 2018-02-01 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Fahrzeugs mit Höhenbestimmung, Fahrerassistenzsystem sowie Fahrzeug
DE102019214612A1 (de) 2019-09-25 2021-03-25 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen eines Objekts in einer Umgebung eines Fahrzeugs
DE102019215393A1 (de) 2019-10-08 2021-04-08 Robert Bosch Gmbh Verfahren und eine Vorrichtung zur Klassifizierung eines Objektes, insbesondere im Umfeld eines Kraftfahrzeugs
DE102019215394A1 (de) * 2019-10-08 2021-04-08 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zum Klassifizieren von Objekten in der Umgebung eines Fahrzeugs
JP7224491B2 (ja) 2019-11-25 2023-02-17 三菱電機株式会社 障害物検知装置
DE102020203856A1 (de) 2020-03-25 2021-09-30 Continental Automotive Gmbh Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs und Assistenzsystem
DE102020205127A1 (de) 2020-04-23 2021-10-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren einer Objektrepräsentation mittels empfangener Ultraschallsignale
DE102022202524B4 (de) * 2022-03-15 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zur Objektklassifizierung

Also Published As

Publication number Publication date
WO2023174495A1 (de) 2023-09-21
DE102022202524B4 (de) 2024-04-18
US20250199168A1 (en) 2025-06-19
JP7764626B2 (ja) 2025-11-05
JP2025505298A (ja) 2025-02-21
DE102022202524A1 (de) 2023-09-21

Similar Documents

Publication Publication Date Title
EP3144920B1 (de) Bestimmen einer soll-trajektorie für ein fahrzeug
DE102008052439A1 (de) Verfahren und System zur Erkennung eines Zielparkplatzes eines Fahrzeugs
WO2023174495A1 (de) Verfahren zur objektklassifizierung
DE102016200642A1 (de) Verfahren und vorrichtung zum klassifizieren von fahrbahnbegrenzungen und fahrzeug
WO2021069137A1 (de) Verfahren und fahrerassistenzsystem zum klassifizieren von objekten in der umgebung eines fahrzeugs
DE102020129768A1 (de) Heck-Querverkehrskollisionserkennungssystem und -verfahren
EP1634241B1 (de) Verfahren und vorrichtung zur objektbestimmung in fahrerassistenzsystemen für kraftfahrzeuge
DE102018218007A1 (de) Verfahren zur Bestimmung einer Höhe eines Objektes, Umfelderfassungssystem sowie Fahrzeug mit einem Umfelderfassungssystem
DE102018213515A1 (de) Verfahren und Vorrichtung zum Erfassen einer Grenze in einem Umfeld eines Objekts
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
EP4226186B1 (de) Verfahren zum vermessen eines seitlichen umfelds eines fahrzeugs, messvorrichtung und fahrzeug
DE102016003935B4 (de) Verfahren zur Ermittlung einer Randbebauungsinformation in einem Kraftfahrzeug und Kraftfahrzeug
EP3482384B1 (de) Bestimmung von seitlich entfernten parklücken
WO2020001690A1 (de) Verfahren und system zur erkennung von hindernissen
EP4256378B1 (de) Verfahren zur erkennung von parklücken mittels ultraschallsensoren
DE102018133458A1 (de) Verfahren zur Bestimmung von Positionsinformationen von Objekten mit einer Radarvorrichtung und Radarvorrichtung
DE102014204430B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Genauigkeit eines zu bewertenden Belegungsgitters für ein Fahrerassistenzsystem
DE102017126183A1 (de) Verfahren zum Erfassen und zur Klassifizierung eines Objekts mittels zumindest einer Sensorvorrichtung auf Basis einer Belegungskarte, Fahrerassistenzsystem und Kraftfahrzeug
DE102021212980B3 (de) Verfahren zur Zuordnung von Empfangssignalen einer Sensorik eines Fahrzeugs zu einem Objekt
DE102015104937A1 (de) Verfahren zum Beurteilen einer Zugehörigkeit eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sowie Fahrerassistenzsystem
DE102024101688A1 (de) Verfahren zum Trainieren eines Algorithmus, Verfahren zur Bewertung einer Parklücke, Trainingssystem, Parklückenbeurteilungssystem, Verfahren zur Durchführung eines Parkvorgangs eines Fahrzeugs sowie Parkassistenzsystem
DE102024201957A1 (de) Verfahren zur Erkennung von Objekten in einem Parkraum für Kraftfahrzeuge
EP4564054A1 (de) Verfahren zum klassifizieren mindestens eines objekts anhand der höhe
DE102022122424A1 (de) Filtern von Geisterechos basierend auf einer Energie von Sensorsignalen
DE102023133216A1 (de) Verfahren zum Klassifizieren mindestens eines Objekts anhand der Höhe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241015

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH