EP4569494A1 - Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke - Google Patents

Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Info

Publication number
EP4569494A1
EP4569494A1 EP23761058.9A EP23761058A EP4569494A1 EP 4569494 A1 EP4569494 A1 EP 4569494A1 EP 23761058 A EP23761058 A EP 23761058A EP 4569494 A1 EP4569494 A1 EP 4569494A1
Authority
EP
European Patent Office
Prior art keywords
parking space
section
information
neural network
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23761058.9A
Other languages
English (en)
French (fr)
Inventor
Mohanad Youssef
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4569494A1 publication Critical patent/EP4569494A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the invention relates to a method and a system for determining a parking space and a target position of a vehicle in the parking space using a neural network.
  • Methods for determining a parking space and a target position of a vehicle in the parking space are known from the prior art. Based on the environmental information determined by sensors, an environmental model is first formed. The scene is then interpreted based on this environmental model, a parking space is detected and the target position of the vehicle in the parking space is determined. Complex algorithms are used that use a variety of if-then queries and look-up tables.
  • the problem with the known methods is that the software code that implements the method for determining the parking space or the target position of the vehicle is very complex due to the large number and often different customer requirements and is therefore difficult to maintain or expand. In addition, the known methods cannot handle all parking situations in a satisfactory manner.
  • the invention relates to a method for determining a parking space and a target position of a vehicle using a neural network.
  • the procedure has the following steps:
  • the sensor system can have any type of sensor that can be used to detect the environment, for example ultrasonic sensors, radar sensors, LIDAR sensors, cameras, etc.
  • the environmental information is, for example, two-dimensional data in which the detections recorded by the sensor system are mapped.
  • a raster map of the scene is then generated with a variety of cells based on the environmental information.
  • the cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not.
  • the raster map thus forms a virtual digital image and the cells form the pixels of the image, with the pixels having occupancy information, for example “0” for not occupied and “1” for occupied.
  • the cells can preferably also contain further information, for example height information about the detected objects, the density and/or intensity of the reflections received at the sensor, etc.
  • the density of the reflections received at the sensor can indicate how many feature points are in one certain cells fall.
  • the intensity of the reflections received at the sensor can indicate the signal strength of the received reflection, which in turn depends on the material and/or surface condition of the reflecting object.
  • the raster map is then transmitted to a neural network.
  • the neural network is trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map.
  • the technical advantage of the method according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle.
  • several prior art software components can be replaced at the same time, namely the software component for interpreting the scene and the software component for calculating the target position.
  • the cells of the raster map have information that indicates whether the respective cell is occupied by an object that is higher or lower than a specified threshold value.
  • the neural network can be provided with additional information as to what height the object has or into which height class (high or low in relation to a predetermined threshold value) the object should be grouped, which significantly improves parking space detection, since, for example, tall objects how vehicles etc. can be distinguished from low objects such as curbs.
  • the cells of the raster map are identical to the cells of the raster map.
  • This information can be used to weight the cells in such a way that those cells that have a higher density and/or intensity are weighted more heavily by the neural network than those that have a lower density and/or intensity.
  • the neural network has several sections, namely a first section, by means of which structures of the objects contained in the raster map are recognized, a second section, by means of which one or more areas relevant for parking space detection are determined, and a third section, which receives the at least one area relevant for the parking space detection and which determines information about a parking space delimitation frame and information about a target position of the vehicle in the parking space delimitation frame within the at least one area relevant for the parking space detection.
  • the neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
  • the first section has a convolutional neural network (also called convolutional neural network, CNN) with several layers, the layers each having a convolutional layer (ie a convolutional layer) and a pooling layer (ie a pooling layer or Bundling layer) and each layer provides a feature map (also called activation map or feature map) as output information.
  • the layers of the convolutional neural network are designed to recognize differently complex features of the information contained in the raster map and output them in the feature map. This means that the different feature maps provide initial information with different levels of complexity.
  • the output information of the respective convolutional layer is modified by an activation function.
  • the activation function can in particular be a ReLU activation function. This can increase the computational efficiency and convergence ability of the neural network.
  • the second section includes a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of the convolutional neural network of the first section and one or more relevant ones Parking space detection areas included.
  • Such an area can, for example, be a parking space with the objects delimiting this parking space.
  • the selective search algorithm or convolutional network receives multiple feature maps from different layers of the convolutional neural network of the first section. Based on the overall information contained in the feature maps, one or more relevant areas for parking space detection are determined. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
  • the third section has at least a first fully connected layer.
  • the third section creates at least a section of the feature maps created by the first Section of the neural network are provided based on the at least one relevant area provided by the second section.
  • This at least one section of the feature maps is further processed by the at least one first fully connected layer.
  • the information contained in the feature maps is reduced to the areas relevant for parking space detection and further processed.
  • the third section comprises a pooling layer that generates at least one section of the feature maps.
  • the at least one section has a predefined size.
  • the pooling layer provides several sections that have the same size regardless of the size of the relevant areas that led to the creation of the sections. Because the sections are the same size, it is possible to simplify further processing of the information. In particular, all sections can be further processed at the same time.
  • the third section has at least a second fully-connected layer for calculating the parking space boundary frame and at least a third fully-connected layer for calculating the target position of the vehicle, wherein the second and the third fully-connected layer are connected to the at least one first fully -Connected Layer are connected and output information is received from it.
  • the first and/or second section several different pieces of information are provided by the first and/or second section.
  • This different partial information is processed in parallel by several third sections of the neural network.
  • information from different feature maps, which are generated by the first section are further processed in different third sections of the neural network.
  • the output information generated in this way can then be combined in a further information processing step in order to provide the information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame.
  • the invention relates to a system for determining a parking space and a target position of a vehicle using a neural network.
  • the system is coupled to a sensor system that is designed to capture a scene in the area surrounding the vehicle and to provide surrounding information.
  • the system has a computing unit that is designed to generate a raster map of the scene with a plurality of cells based on the environmental information.
  • the cells of the grid map each contain information as to whether the surrounding area corresponding to the cell is occupied by an object or not.
  • the neural network is trained to determine information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the grid map.
  • the technical advantage of the system according to the invention is that the neural network achieves reliable and satisfactory parking space detection or determination of the target position of the vehicle.
  • the neural network can be used to determine the parking space boundary frame or the target position of the vehicle in a data-driven manner instead of using complex geometric algorithms.
  • the neural network has several sections, namely a first section which is designed to detect structures of the environmental objects contained in the raster map, and a second section which is designed to determine one or more areas relevant to parking space detection and a third section which is designed to receive the at least one area relevant for the parking space detection and to determine information about a parking space boundary frame and information about a target position of the vehicle in the parking space boundary frame within the at least one area relevant to the parking space detection.
  • the neural network therefore has a Fast R-CNN architecture or Faster R-CNN architecture, which offers high efficiency and detection accuracy in parking situations.
  • the second section comprises a selective search algorithm or a convolutional network designed to recognize and select one or more excerpts in the feature maps provided by the respective layers of a convolutional neural network of the first section and one or contain several relevant areas for detecting parking spaces.
  • Such an area can, for example, be a parking space with the objects delimiting this parking space.
  • the selective search algorithm or the convolutional network is to receive multiple feature maps from different layers of the convolutional neural network of the first section and to determine one or more relevant areas for the detection of parking spaces based on the Overall information contained in the feature maps is formed. In other words, information from several or all feature maps is used to determine relevant areas for the detection of parking spaces.
  • the third section has at least a first fully connected layer. At least a section of the feature maps provided by the first section of the neural network is generated based on the at least one relevant area provided by the second section. This at least one section of the feature maps is further processed by the at least one first fully connected layer.
  • the third section has at least a second fully connected layer for calculating the parking space boundary frame and at least a third fully connected layer for calculating the target position of the vehicle.
  • the second and third fully-connected layers are connected to the at least one first fully-connected layer and receive output information from this.
  • the expressions “approximately”, “essentially” or “approximately” mean deviations from the exact value by +/- 10%, preferably by +/- 5% and/or deviations in the form of changes that are insignificant for the function .
  • FIG. 1 shows an example of a schematic top view of a vehicle with a sensor system and a computing unit connected to this sensor system;
  • FIG. 2 shows an example of a schematic representation of a grid map which illustrates a parking situation and in which an area relevant for parking space detection, a parking space boundary frame and a target position of the vehicle in the parking space boundary frame are sketched;
  • FIG. 3 shows an exemplary schematic representation of a convolutional neural network with several layers
  • FIG. 4 shows an exemplary schematic representation of a neural network which is designed to determine a parking space boundary frame and a target position of the vehicle in the parking space boundary frame;
  • FIG. 5 is an example of a block diagram that illustrates the processes of a method for determining a parking space bounding frame and a target position of the vehicle in the parking space bounding frame.
  • Figure 1 shows a vehicle 1 as an example and roughly schematically.
  • the vehicle 1 has a sensor system comprising a large number of individual sensors distributed around the vehicle, by means of which environmental detection is possible.
  • the sensors can include, for example, ultrasonic sensors, at least one camera, at least one radar sensor and/or at least one LIDAR sensor.
  • the sensor system 2 is coupled to at least one computing unit R, by means of which the method described below for detecting a parking space and a target position of a vehicle in the parking space is carried out.
  • a neural network 4 is implemented in the computing unit R, by means of which information about a parking space boundary frame P and information about a target position Z of the vehicle 1 in the parking space boundary frame P can be determined.
  • the sensor system 2 of the vehicle 1 provides environmental information about a scene in the surrounding area of the vehicle 1. So that the neural network 4 can process the environmental information quickly and efficiently (in relation to the computing resources), a raster map 3 is generated that depicts the scene. 2 shows, by way of example and schematically, a grid map 3 with a scene forming a parking situation.
  • the raster map 3 is, for example, a two-dimensional, discretized representation of the scene. It has a large number of cells 3.1, each of which is assigned to an environmental area. Each cell is assigned digital information that indicates whether cell 3.1 is occupied by an object or not. In the event that the sensor system provides environmental information that has a height classification of the objects, the cell can also have information as to which height class the section of the object that is in the respective cell falls. For example, the cell may contain information as to whether the object is a high or low object (high/low with respect to a height threshold).
  • Two lines are drawn in the raster map 3 according to FIG. 2, which outline contours of objects 01, 02 recognized by the sensor system 2.
  • the neural network 4 determines an area B1 relevant for parking space detection, which at least partially contains the two objects 01, 02. 2 also shows a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P, the parking space boundary frame P and the target position Z of the vehicle 1 being output at the output interface of the neural network 4.
  • the neural network 4 preferably also determines an angle to the parking space boundary frame P and/or the target position Z, which indicates the orientation of the parking space boundary frame P or the target position Z in the scene.
  • the neural network 4 has several sections that contribute to determining the position and size of the parking space boundary frame P and the position of the target position Z of the vehicle 1 in this parking space boundary frame P.
  • the neural network 4 forms in particular a so-called Fast R-CNN or Faster R-CNN, where R-CNN is a so-called Region Based Convolutional Neural Network.
  • the neural network 4 has a first section 4.1, which includes a convolutional neural network 5 (CNN).
  • a second section 4.2, connected to the first section 4.1, has means for determining areas that are relevant for parking space detection. In Fig. 2 there is such an area with B1 marked. Such an area is characterized in particular by the fact that it has at least one parking space that is laterally delimited by one or more objects.
  • a third section 4.3 of the neural network 4, connected to the first and second sections 4.1, 4.2, has means for determining the position and size of the parking space boundary frame P and for the position of the target position Z of the vehicle 1 in this parking space boundary frame P.
  • Fig. 3 shows an example and schematically of a folding neural network 5, which can be used in the first section of the neural network 4.
  • the folding neural network 5 receives the raster map 3 at its input.
  • the folding neural network 5 has several layers 5.1, 5.2. In the exemplary embodiment shown, only two layers are provided. It should be noted that the convolutional neural network 5 can also have more than two layers 5.1, 5.2, depending on which level of structures are to be recognized.
  • Each layer 5.1 has at least one convolutional layer CL and one max-pooling layer MPL.
  • the convolutional layer CL has a filter (so-called Kemels) to detect features in the information of the raster map 3.
  • Kemels filters
  • By layering several convolutional layers CL increasingly complex structures can be recognized in the scene.
  • a first convolutional layer CL can recognize basic structures such as horizontal, vertical or oblique edges.
  • a second convolutional layer CL which follows the first convolutional layer CL in the information flow direction, can recognize patterns such as curves, rectangles or circles.
  • a possibly third convolutional layer CL which follows the second convolutional layer CL in the information flow direction, can then, for example, be more complex based on this information Detect structures such as vehicles, gaps between objects, etc.
  • a convolutional layer CL is followed by a max-pooling layer MPL.
  • the Max-Pooling Layer MPL serves to reduce the information processed by the subsequent layer to enable the kernel of the subsequent layer to give a zoom-like perspective on the scene that has already been reduced to detected features.
  • the respective max-pooling layer MPL reduces the information by the scaling factor ß, ie the convolutional layer of the first layer 5.1, for example, has the dimension I * w, which is equal to the dimension of the raster map 3 and provides m feature maps, whereas the convolutional layer of the second layer 5.2 has the dimension and n2 feature maps provides.
  • the convolutional layer CL preferably use an activation function, for example a ReLU activation function of the form:
  • Fig. 4 shows the overall structure of the neural network 4.
  • the flow of information in Fig. 4 is from bottom to top, as indicated by the arrows.
  • the sections 4.1 to 4.3 of the neural network 4 are also sketched in FIG. 4, with the convolutional neural network 5 located in the first section 4.1.
  • the folding neural network 5 transmits the feature maps to the second section 4.2 and to the third section 4.3 of the neural network 4.
  • the second section 4.2 of the neural network 4 implements a selective search algorithm or has another convolutional neural network, also referred to as a regional proposal network (RPN).
  • the selective search algorithm or the regional proposal network are designed to define areas to be examined in the respective feature maps that are generated by the convolutional neural network 5 (so-called regions of interest ROI). Areas to be examined are those areas in the feature maps in which areas to be parked are expected.
  • the regional proposal network for example, is a convolutional network pre-trained using labeled training data that is adapted to detect parking areas.
  • the training data includes, for example, parking lot scenes in which areas containing one or more objects with adjacent or enclosed open space, which could be a parking space, are marked as labels. By training with this data, the regional proposal network can be trained to recognize areas to be examined for parking.
  • the areas to be examined and the feature maps are then transferred to the third section 4.3 of the neural network 4.
  • the components of the neural network 4 shown in FIG. 4 in the third section 4.3 are provided multiple times, namely once for each feature map that is generated by the convolutional neural network 5.
  • a parking space boundary frame P and a target position Z of the vehicle 1 in the parking space boundary frame P can initially be determined separately based on each feature map are determined, whereby this information is then linked together and thereby a final parking space boundary frame P and a final target position Z of the vehicle 1 are determined in this final parking space boundary frame P.
  • the information processing is described below using a single feature map.
  • the information processing of the other feature maps takes place in the same way.
  • a feature map generated by the convolutional neural network 5 is linked to the at least one area to be examined, which is provided by the regional proposal network or the selective search algorithm. This means that one or more relevant areas B1, B2, B3 are defined within the feature map, which fall into at least one area to be examined. In other words, by linking the feature map and the at least one area to be examined, at least a section A1, A2, A3 of the feature map is determined, as indicated in FIG. 4 in the lower area of section 4.3.
  • a so-called Region of Interest (Rol) pooling then takes place through a pooling layer 7.
  • a max pooling operation is used to generate a partial feature map (sections A1, A2, A3) for each area to be examined .
  • the sub-feature maps are each the same size, i.e. even if sections of the original feature map are not the same size, the pooling layer 7 provides sub-feature maps that are all the same size.
  • sub-feature maps are then forwarded to a first fully connected layer 6, which further processes the information available in the sub-feature maps.
  • the information provided by the fully connected layer 6 is then transmitted in parallel to a second fully connected layer 8 and a third fully connected layer 9.
  • the second fully connected layer 8 is trained, for example, to determine the parking space boundary frame P for a detected parking space.
  • the third fully connected layer 8 is trained, for example, to determine the target position of the vehicle 1 in the parking space boundary frame P or the parking space. This information is then output by the second and third fully connected layers 8, 9.
  • the neural network 4 provides the information about the parking space boundary frame P and the target position Z of the vehicle 1 as follows.
  • the target position Z of vehicle 1 in a parking space is output, for example, by a vector with the following values:
  • the parking space bounding box P is, for example, output by a vector with the following values:
  • a corner of the parking space bounding frame P is defined by the coordinates b x and b y
  • the length and width of the parking space bounding frame P are defined by the values bi and bw and b ⁇ indicates the orientation of the parking space boundary frame P in the grid map 3.
  • the training of the neural network 4 is carried out using training data that has labeled parking situation scenes, the labels each indicating the aforementioned output information of the neural network 4, i.e. the target position Z and orientation of the vehicle 1 in the parking space and the position, size and orientation of the parking space boundary frame P .
  • an attempt is made to select the parameters or weights of the neural network 4 in such a way that the information provided by the neural network 4 corresponds as best as possible to the labels specified in the training data.
  • the neural network 4 provides two output pieces of information, namely information about the parking space boundary frame P and the target position Z of the vehicle 1.
  • the training of the neural network 4 is carried out in such a way that the overall error is minimized from the information about the parking space boundary frame P and the target position Z determined by the neural network 4 in comparison to the training data.
  • the validation data can be used to determine when the training of the neural network 4 has resulted in sufficient quality. This can reduce training time and prevent overfitting of the neural network 4 can be prevented, so that the neural network 4 leads to more general, ie less restricted, solutions.
  • a method based on minimizing the multi-task loss L is used, which takes into account both the loss due to the error in determining the parking space bounding box P and the loss due to the error in determining the target position Z . Since this is a regression problem, the loss is also called regression lost.
  • the total loss L is defined as follows:
  • L (t k , uk , b k , v k ) Lz (t k , uk ) + LP (b k , v k );
  • t k is the position and orientation of the target position Z of the vehicle 1 for the kth parking space t via the vector [ t Target position Z of vehicle 1 for the kth parking space in the training data
  • b k via the vector [b x b y bi bw b ⁇ ] the position, size and orientation of the parking space bounding box P for the kth parking space and v k via the Vector [v x v y vi v w v ⁇ ] define the location, size and orientation of the parking space bounding box P for the kth parking space in the training data.
  • Lz (t k , uk ) is therefore the loss that results from the difference in information about the target position Z of vehicle 1 compared to the training data and Lp (b k , v k ) is the loss that results from the difference in information to the parking space bounding box P relative to the training data.
  • the smooth L1 function is a modified loss function that enables a mixture of absolute distance and squared distance. It is defined as follows: if Ixl ⁇ 1 0.5 otherwise
  • FIG. 5 shows a diagram that illustrates the steps of the method for determining a parking space and a target position of a vehicle in the parking space using a neural network.
  • a scene in the surrounding area of a vehicle is recorded using a sensor system and environmental information is provided (S10).
  • a raster map of the scene is then generated with a plurality of cells based on the environmental information, the cells of the raster map each having information as to whether the environmental area corresponding to the cell is occupied by an object or not (S11).
  • the raster map is transmitted to a neural network, the neural network being trained to provide information about a parking space bounding frame and information about a target position of the vehicle in the parking space bounding frame based on the raster map (S12).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs (1) in der Parklücke mittels eines neuronalen Netzes (4), wobei das Verfahren die folgenden Schritte umfasst: - Erfassen einer Szene im Umgebungsbereich eines Fahrzeugs (1) mittels einer Sensorik (2) und Bereitstellen von Umgebungsinformationen (S10); - Erzeugen einer Rasterkarte (3) der Szene mit einer Vielzahl von Zellen (3.1) basierend auf den Umgebungsinformationen, wobei die Zellen (3.1) der Rasterkarte (3) jeweils Informationen aufweisen, ob der mit der Zelle (3.1) korrespondierende Umgebungsbereich von einem Objekt (O1, O2) belegt ist oder nicht (S11); - Übermitteln der Rasterkarte (3) an ein neuronales Netz (4), wobei das neuronale Netz (4) dazu trainiert ist, basierend auf der Rasterkarte (3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1) in dem Parklückenbegrenzungsrahmen (P) bereitzustellen (S12).

Description

Beschreibung
Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke
Die Erfindung betrifft ein Verfahren und ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke mittels eines neuronalen Netzes.
Aus dem Stand der Technik sind Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke bekannt. Basierend auf den durch eine Sensorik ermittelten Umgebungsinformationen wird zunächst ein Umgebungsmodell gebildet. Anschließend wird basierend auf diesem Umgebungsmodell die Szene interpretiert, eine Parklücke detektiert und die Zielposition des Fahrzeugs in der Parklücke festgelegt. Dabei kommen komplexe Algorithmen zum Einsatz, die eine Vielzahl von Wenn-Dann-Abfragen und Look-up-Tabellen verwenden.
Problematisch bei den bekannten Verfahren ist, dass der Softwarecode, der das Verfahren zur Bestimmung der Parklücke bzw. der Zielposition des Fahrzeugs implementiert, aufgrund der Vielzahl und häufig unterschiedlichen Kundenanforderungen sehr komplex ist und damit schwer wartbar bzw. erweiterbar ist. Zudem können die bekannten Verfahren nicht sämtliche Parksituationen in zufriedenstellender Weise handhaben.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke anzugeben, das komplexe Programmstrukturen vermeidet und eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs ermöglicht. Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs ist Gegenstand des nebengeordneten Patentanspruchs 12.
Gemäß einem ersten Aspekt bezieht sich die Erfindung auf ein Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs mittels eines neuronalen Netzes. Das Verfahren weist die folgenden Schritte auf:
Zunächst wird eine Szene im Umgebungsbereich eines Fahrzeugs mittels einer Sensorik erfasst und es werden Umgebungsinformationen bereitgestellt. Die Sensorik kann jegliche Sensorarten aufweisen, die zur Umgebungserfassung einsetzbar sind, beispielsweise Ultraschallsensoren, Radarsensoren, LIDAR-Sensoren, Kameras etc. Die Umgebungsinformationen sind beispielsweise zweidimensionale Daten, in denen die durch die Sensorik erfassten Detektionen kartiert sind.
Anschließend wird eine Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen erzeugt. Die Zellen der Rasterkarte weisen jeweils Informationen auf, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht. Die Rasterkarte bildet damit quasi ein digitales Bild und die Zellen bilden die Pixel des Bildes, wobei die Pixel Belegungsinformationen aufweisen, beispielsweise „0“ für nicht belegt und „1“ für belegt. Die Zellen können vorzugsweise auch weitere Informationen enthalten, beispielsweise Höheninformationen zu den detektierten Objekten, die Dichte und/oder Intensität der am Sensor empfangenen Reflektionen etc. Die Dichte der am Sensor empfangenen Reflektionen kann angeben, wie viele Merkmalspunkte (engl. feature points) in eine gewisse Zelle fallen. Die Intensität der am Sensor empfangenen Reflektionen kann die Signalstärke der empfangenen Reflektion angeben, die wiederum von dem Material und/oder der Oberflächenbeschaffenheit des reflektierenden Objekts abhängt.
Die Rasterkarte wird anschließend an ein neuronales Netz übermittelt, Das neuronale Netz ist dazu trainiert, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen.
Der technische Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass durch das neuronale Netz eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs erreicht wird. Zudem können durch den Einsatz des neuronalen Netzes mehrere Softwarekomponenten des Standes der Technik zugleich ersetzt werden, und zwar die Softwarekomponente zur Interpretation der Szene und die Softwarekomponente zur Berechnung der Zielposition.
Gemäß einem Ausführungsbeispiel weisen die Zellen der Rasterkarte Informationen auf, die angeben, ob die jeweilige Zelle mit einem Objekt belegt ist, das höher oder niedriger ist als ein festgelegter Schwellwert. Damit können dem neuronalen Netz zusätzlich Informationen zur Verfügung gestellt werden, welche Höhe das Objekt aufweist bzw. in welche Höhenklasse (hoch bzw. niedrig in Bezug auf einen vorgegebenen Schwellwert) das Objekt einzugruppieren ist, wodurch die Parklückenerkennung entscheidend verbessert wird, da beispielsweise hohe Objekte wie Fahrzeuge etc. von niedrigen Objekten wie beispielsweise Randsteinen unterscheidbar sind.
Gemäß einem Ausführungsbeispiel weisen die Zellen der Rasterkarte
Informationen zur Dichte und/oder Intensität der am Sensor empfangenen Reflektionen auf. Diese Informationen können dazu dienen, die Zellen zu gewichten, und zwar derart, dass diejenigen Zellen, die eine höhere Dichte und/oder Intensität aufweisen, durch das neuronale Netz stärker gewichtet werden als diejenigen, die eine geringere Dichte und/oder Intensität aufweisen.
Gemäß einem Ausführungsbeispiel weist das neuronale Netz mehrere Abschnitte auf, und zwar einen ersten Abschnitt, mittels dem eine Erkennung von Strukturen von den in der Rasterkarte enthaltenen Objekten erfolgt, einen zweiten Abschnitt, mittels dem ein oder mehrere für die Parklückendetektion relevante Bereiche ermittelt werden und einen dritten Abschnitt, der den zumindest einen für die Parklückendetektion relevanten Bereich empfängt und der innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen ermittelt. Damit weist das neuronale Netz eine Fast R-CNN-Architektur bzw. Faster R- CNN-Architektur auf, die eine hohe Effizienz und Detektionsgenauigkeit bei Parksituationen bietet.
Gemäß einem Ausführungsbeispiel weist der erste Abschnitt ein faltendes neuronales Netz (auch convolutional neural network, CNN, genannt) mit mehreren Schichten auf, wobei die Schichten jeweils ein Convolutional Layer (d.h. eine Faltungsschicht) und ein Pooling Layer (d.h. eine Pooling- Schicht bzw. Bündelungsschicht) aufweisen und wobei jede Schicht eine Feature Map (auch Aktivierungskarte bzw. Merkmalskarte genannt) als Ausgangsinformation bereitstellt. Die Schichten des faltenden neuronalen Netzes sind dazu ausgebildet, unterschiedlich komplexe Merkmale der in der Rasterkarte enthaltenen Informationen zu erkennen und in der Feature Map auszugeben. Damit werden durch die unterschiedlichen Feature Maps Ausgangsinformationen mit unterschiedlicher Komplexität bereitgestellt. Gemäß einem Ausführungsbeispiel werden die Ausgangsinformationen des jeweiligen Convolutional Layers durch eine Aktivierungsfunktion modifiziert. Die Aktivierungsfunktion kann insbesondere eine ReLU- Aktivierungsfunktion sein. Dadurch kann die Recheneffizienz und Konvergenzfähigkeit des neuronalen Netzes gesteigert werden.
Gemäß einem Ausführungsbeispiel umfasst der zweite Abschnitt einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk, die zum Erkennen und Auswählen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten des faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche zur Erkennung von Parklücken enthalten. Damit werden durch den zweiten Abschnitt des neuronalen Netzes in den Feature Maps diejenigen Bereiche erkannt, die eine Relevanz für die Parklückendetektion haben. Ein solcher Bereich kann beispielsweise eine Parklücke mit den diese Parklücke begrenzenden Objekten sein.
Gemäß einem Ausführungsbeispiel empfängt der selektive Suchalgorithmus oder das Faltungsnetzwerk mehrere Feature Maps aus unterschiedlichen Schichten des faltenden neuronalen Netzes des ersten Abschnitts. Basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, werden ein oder mehrere relevante Bereiche für die Erkennung von Parklücken bestimmt. In anderen Worten werden damit Informationen aus mehreren bzw. sämtlichen Feature Maps dazu verwendet, relevante Bereiche für die Erkennung von Parklücken zu bestimmen.
Gemäß einem Ausführungsbeispiel weist der dritte Abschnitt zumindest ein erstes Fully-Connected Layer auf. Der dritte Abschnitt erzeugt zumindest einen Ausschnitt der Feature Maps, die durch den ersten Abschnitt des neuronalen Netzes bereitgestellt werden, basierend auf dem vom zweiten Abschnitt bereitgestellten zumindest einen relevanten Bereich. Dieser zumindest eine Ausschnitt der Feature Maps wird durch das zumindest eine erste Fully-Connected Layer weiterverarbeitet. Damit werden in dem dritten Abschnitt die in den Feature Maps enthaltenen Informationen auf die für die Parklückenerkennung relevanten Bereiche reduziert und weiterverarbeitet.
Gemäß einem Ausführungsbeispiel umfasst der dritte Abschnitt ein Pooling Layer, das den zumindest einen Ausschnitt der Feature Maps erzeugt. Der zumindest eine Ausschnitt weist dabei eine vordefinierte Größe auf. Vorzugsweise werden durch das Pooling Layer mehrere Ausschnitte bereitgestellt, die unabhängig von der Größe der relevanten Bereiche, die zu der Erzeugung der Ausschnitte geführt haben, die gleiche Größe aufweisen. Aufgrund der gleichen Größe der Ausschnitte ist es möglich, die Weiterverarbeitung der Informationen zu vereinfachen. Insbesondere können alle Ausschnitte gleichzeitig weiterverarbeitet werden.
Gemäß einem Ausführungsbeispiel weist der dritte Abschnitt zumindest ein zweites Fully-Connected Layer zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully- Connected Layer zur Berechnung der Zielposition des Fahrzeugs auf, wobei das zweite und das dritte Fully-Connected Layer mit dem zumindest einen ersten Fully-Connected Layer verbunden sind und Ausgangsinformationen von diesem empfangen.
Gemäß einem Ausführungsbeispiel werden durch den ersten und/oder zweiten Abschnitt mehrere unterschiedliche Teilinformationen bereitgestellt. Diese unterschiedlichen Teilinformationen werden parallel durch mehrere dritte Abschnitte des neuronalen Netzes verarbeitet. Insbesondere können Informationen aus unterschiedlichen Feature Maps, die von dem ersten Abschnitt generiert werden, in unterschiedlichen dritten Abschnitten des neuronalen Netzes weiterverarbeitet werden. Die dadurch erzeugten Ausgangsinformationen können anschließend in einem weiteren Informationsverarbeitungsschritt zusammengefasst werden, um die Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs mittels eines neuronalen Netzes. Das System ist mit einer Sensorik gekoppelt, die zur Erfassung einer Szene im Umgebungsbereich des Fahrzeugs und zum Bereitstellen von Umgebungsinformationen ausgebildet ist. Das System weist eine Recheneinheit auf, die zum Erzeugen einer Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen ausgebildet ist. Die Zellen der Rasterkarte weisen jeweils Informationen auf, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht. Das neuronale Netz ist dazu trainiert, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen zu ermitteln.
Der technische Vorteil des erfindungsgemäßen Systems besteht darin, dass durch das neuronale Netz eine zuverlässige und zufriedenstellende Parklückendetektion bzw. Bestimmung der Zielposition des Fahrzeugs erreicht wird. Zudem kann durch das neuronale Netz eine datengetriebene Bestimmung des Parklückenbegrenzungsrahmens bzw. der Zielposition des Fahrzeugs erfolgen anstelle dafür eine komplexe geometrische Algorithmik zu verwenden. Gemäß einem Ausführungsbeispiel des Systems weist das neuronale Netz mehrere Abschnitte auf, und zwar einen ersten Abschnitt, der zur Erkennung von Strukturen von den in der Rasterkarte enthaltenen Umgebungsobjekten ausgebildet ist, einen zweiten Abschnitt, der zur Ermittlung eines oder mehrerer für die Parklückendetektion relevanter Bereiche ausgebildet ist und einen dritten Abschnitt, der zum Empfang des zumindest einen für die Parklückendetektion relevanten Bereichs und zur Ermittlung von Informationen zu einem Parklückenbegrenzungsrahmen und von Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich ausgebildet ist. Damit weist das neuronale Netz eine Fast R-CNN- Architektur bzw. Faster R-CNN-Architektur auf, die eine hohe Effizienz und Detektionsgenauigkeit bei Parksituationen bieten.
Gemäß einem Ausführungsbeispiel des Systems umfasst der zweite Abschnitt einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk, die zum Erkennen und Auswählen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten eines faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche zur Erkennung von Parklücken enthalten. Damit werden durch den zweiten Abschnitt des neuronalen Netzes in den Feature Maps diejenigen Bereiche erkannt, die eine Relevanz für die Parklückendetektion haben. Ein solcher Bereich kann beispielsweise eine Parklücke mit den diese Parklücke begrenzenden Objekten sein.
Gemäß einem Ausführungsbeispiel des Systems ist der selektive Suchalgorithmus oder das Faltungsnetzwerk zum Empfang mehrerer Feature Maps aus unterschiedlichen Schichten des faltenden neuronalen Netzes des ersten Abschnitts und zur Bestimmung eines oder mehrerer relevanter Bereiche für die Erkennung von Parklücken basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, ausgebildet. In anderen Worten werden damit Informationen aus mehreren bzw. sämtlichen Feature Maps dazu verwendet, relevante Bereiche für die Erkennung von Parklücken zu bestimmen.
Gemäß einem Ausführungsbeispiel des Systems weist der dritte Abschnitt zumindest ein erstes Fully-Connected Layer auf. Zumindest ein Ausschnitt der Feature Maps, die durch den ersten Abschnitt des neuronalen Netzes bereitgestellt werden, wird basierend auf dem vom zweiten Abschnitt bereitgestellten zumindest einen relevanten Bereich erzeugt. Dieser zumindest eine Ausschnitt der Feature Maps wird durch das zumindest eine erste Fully-Connected Layer weiterverarbeitet.
Gemäß einem Ausführungsbeispiel des Systems weist der dritte Abschnitt zumindest ein zweites Fully-Connected Layer zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully- Connected Layer zur Berechnung der Zielposition des Fahrzeugs auf. Das zweite und das dritte Fully-Connected Layer sind mit dem zumindest einen ersten Fully-Connected Layer verbunden und empfangen Ausgangsinformationen von diesem.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 beispielhaft eine schematische Draufsichtdarstellung auf ein Fahrzeug mit einer Sensorik und einer mit dieser Sensorik verbundenen Recheneinheit;
Fig. 2 beispielhaft eine schematische Darstellung einer Rasterkarte, die eine Parksituation illustriert und in der ein für die Parklückenerkennung relevanter Bereich, ein Parklückenbegrenzungsrahmen und eine Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen skizziert sind;
Fig. 3 beispielhaft eine schematische Darstellung eines faltenden neuronalen Netzes mit mehreren Schichten;
Fig. 4 beispielhaft eine schematische Darstellung eines neuronalen Netzes, das zur Bestimmung eines Parklückenbegrenzungsrahmens und einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen ausgebildet ist; und
Fig. 5 beispielhaft ein Blockdiagramm, das die Abläufe eines Verfahrens zur Bestimmung eines Parklückenbegrenzungsrahmens und einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen veranschaulicht. Figur 1 zeigt beispielhaft und grob schematisch ein Fahrzeug 1 . Das Fahrzeug 1 weist eine Sensorik umfassend eine Vielzahl von einzelnen um das Fahrzeug herum verteilte Sensoren auf, mittels denen eine Umgebungserfassung möglich ist. Die Sensoren können beispielsweise Ultraschallsensoren, zumindest eine Kamera, zumindest einen Radarsensor und/oder zumindest einen LIDAR-Sensor umfassen.
Die Sensorik 2 ist mit zumindest einer Recheneinheit R gekoppelt, mittels der das nachfolgend beschriebene Verfahren zur Erfassung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke vollzogen wird. Insbesondere ist in der Recheneinheit R ein neuronales Netz 4 implementiert, mittels dem Informationen zu einem Parklückenbegrenzungsrahmen P und Informationen zu einer Zielposition Z des Fahrzeugs 1 in dem Parklückenbegrenzungsrahmen P bestimmbar sind.
Die Sensorik 2 des Fahrzeugs 1 stellt Umgebungsinformationen zu einer Szene im Umgebungsbereich des Fahrzeugs 1 bereit. Damit das neuronale Netz 4 die Umgebungsinformationen schnell und in effizienter Weise (bezogen auf die Rechenressourcen) verarbeiten kann, wird eine Rasterkarte 3 erzeugt, die die Szene abbildet. Fig. 2 zeigt beispielhaft und schematisch eine Rasterkarte 3 mit einer eine Parksituation bildenden Szene.
Die Rasterkarte 3 ist beispielsweise eine zweidimensionale, diskretisierte Darstellung der Szene. Sie weist eine Vielzahl von Zellen 3.1 auf, die jeweils einem Umgebungsbereich zugeordnet sind. Jeder Zelle ist eine digitale Information zugeordnet, die angibt, ob die Zelle 3.1 mit einem Objekt belegt ist oder nicht. Für den Fall, dass die Sensorik Umgebungsinformationen bereitstellt, die eine Höhenklassifizierung der Objekte aufweisen, kann die Zelle zudem Informationen aufweisen, welche Höhenklasse der Abschnitt des Objekts, der in die jeweilige Zelle fällt, aufweist. So kann beispielsweise die Zelle Informationen aufweisen, ob es sich bei dem Objekt um ein hohes oder ein niedriges Objekt (hoch/niedrig in Bezug auf einen Höhenschwellwert) handelt.
In der Rasterkarte 3 gemäß Fig. 2 sind zwei Linien eingezeichnet, die durch die Sensorik 2 erkannte Konturen von Objekten 01 , 02 skizzieren.
Das neuronale Netz 4 ermittelt einen für die Parklückendetektion relevanten Bereich B1 , der die beiden Objekte 01 , 02 zumindest teilweise beinhaltet. Zudem zeigt Fig. 2 auch einen Parklückenbegrenzungsrahmen P und eine Zielposition Z des Fahrzeugs 1 im Parklückenbegrenzungsrahmen P, wobei der Parklückenbegrenzungsrahmen P und die Zielposition Z des Fahrzeugs 1 an der Ausgangsschnittstelle des neuronalen Netzes 4 ausgegeben werden. Zu dem Parklückenbegrenzungsrahmen P und/oder der Zielposition Z ermittelt das neuronale Netz 4 vorzugsweise auch jeweils einen Winkel, der die Ausrichtung des Parklückenbegrenzungsrahmens P bzw. der Zielposition Z in der Szene angibt.
Wie in Fig. 4 gezeigt, weist das neuronale Netz 4 mehrere Abschnitte auf, die zur Bestimmung der Lage und Größe des Parklückenbegrenzungsrahmens P und zur Lage der Zielposition Z des Fahrzeugs 1 in diesem Parklückenbegrenzungsrahmen P beitragen. Das neuronale Netz 4 bildet insbesondere ein sog. Fast R-CNN bzw. Faster R- CNN, wobei R-CNN ein sog. Region Based Convolutional Neural Network ist.
Insbesondere weist das neuronale Netz 4 einen ersten Abschnitt 4.1 auf, der ein faltendes neuronales Netz 5 (engl. convolutional neural network, CNN) umfasst. Ein mit dem ersten Abschnitt 4.1 verbundener, zweiter Abschnitt 4.2 weist Mittel zur Bestimmung von Bereichen auf, die für die Parklückendetektion relevant sind. In Fig. 2 ist ein solcher Bereich mit B1 gekennzeichnet. Ein solcher Bereich zeichnet sich insbesondere dadurch aus, dass dieser zumindest eine Parklücke aufweist, die seitlich durch ein oder mehrere Objekte begrenzt ist. Ein mit dem ersten und zweiten Abschnitt 4.1 , 4.2 verbundener dritter Abschnitt 4.3 des neuronalen Netzes 4 weist Mittel zur Ermittlung der Lage und Größe des Parklückenbegrenzungsrahmens P und zur Lage der Zielposition Z des Fahrzeugs 1 in diesem Parklückenbegrenzungsrahmen P auf.
Fig. 3 zeigt ein beispielhaft und schematisch ein faltendes neuronales Netz 5, das im ersten Abschnitt des neuronalen Netzes 4 zum Einsatz kommen kann.
Das faltende neuronale Netz 5 empfängt an dessen Eingang die Rasterkarte 3. Das faltende neuronale Netz 5 weist mehrere Schichten 5.1 , 5.2 auf. Im gezeigten Ausführungsbeispiel sind lediglich zwei Schichten vorgesehen. Es sei darauf hingewiesen, dass das faltende neuronale Netz 5 auch mehr als zwei Schichten 5.1 , 5.2 aufweisen kann, je nachdem, welches Level von Strukturen erkannt werden sollen.
Jede Schicht 5.1 weist zumindest ein convolutional layer CL und ein Max- Pooling Layer MPL auf. Das convolutional layer CL weist einen Filter (sog. Kemels) auf, um Merkmale in den Informationen der Rasterkarte 3 zu detektieren. Durch die geschichtete Anordnung mehrerer convolutional layer CL lassen sich zunehmend komplexere Strukturen in der Szene erkennen. So kann beispielsweise ein erstes convolutional layer CLGrundstrukturen wie beispielsweise horizontale, vertikale oder schräg verlaufende Kanten erkennen. Basierend darauf kann ein zweites convolutional layer CL, das in Informationsflußrichtung auf das erste convolutional layer CLfolgt, Muster wie beispielsweise Kurven, Rechtecke oder Kreise erkennen. Ein ggf. drittes convolutional layer CL, das in Informationsflußrichtung auf das zweite convolutional layer CL folgt, kann basierend auf diesen Informationen beispielsweise dann komplexere Strukturen wie beispielsweise Fahrzeuge, Lücken zwischen Objekten etc. erkennen.
Beispielsweise folgt in jeder Schicht 5.1 , 5.2 auf ein convolutional layer CL jeweils ein Max-Pooling Layer MPL. Das Max-Pooling Layer MPL dient dazu, die Informationen, die von der nachfolgenden Schicht verarbeitet werden, zu reduzieren, um dem Kemel der nachfolgenden Schicht es zu ermöglichen, eine zoomartige Perspektive auf die Szene zu geben, die schon auf detektierte Merkmale reduziert wurde. Beispielsweise reduziert der jeweilige Max-Pooling Layer MPL die Informationen um den Skalierungsfaktor ß, d.h. das convolutional layer der ersten Schicht 5.1 weist beispielsweise die Dimension I * w auf, die gleich der Dimension der Rasterkarte 3 ist und liefert m feature maps, wohingegen das convolutional layer der zweiten Schicht 5.2 die Dimension aufweist und n2 feature maps liefert.
Die convolutional layer CL nutzen vorzugsweise eine Aktivierungsfunktion, beispielsweise ein ReLU-Aktivierungsfunktion der Form:
Fig. 4 zeigt die Gesamtstruktur des neuronalen Netzes 4. Der Informationsfluss ist hierbei in Fig. 4 von unten nach oben, wie durch die Pfeile angedeutet.
Eine Rasterkarte 3, die die diskretisierten Umgebungsinformationen enthält, wird an das faltende neuronale Netz 5 übermittelst, das, wie vorher beschrieben, mehrere Schichten 5.1 , 5.2 aufweist und basierend auf diesen Schichten 5.1 , 5.2 mehrere feature maps als Ausgangsinformationen erzeugt. Die Abschnitte 4.1 bis 4.3 des neuronalen Netzes 4 sind ebenso in Fig. 4 skizziert, wobei das faltende neuronale Netz 5 in dem ersten Abschnitt 4.1 liegt. Das faltende neuronale Netz 5 übermittelt die feature maps zum einen an den zweiten Abschnitt 4.2, zum anderen an den dritten Abschnitt 4.3 des neuronalen Netzes 4.
Der zweite Abschnitt 4.2 des neuronalen Netzes 4 implementiert einen selektiven Suchalgorithmus oder weist ein weiteres faltendes neuronales Netz auf, auch als regional proposal network (RPN) bezeichnet. Der selektive Suchalgorithmus bzw. das regional proposal network sind dazu ausgebildet, in den jeweiligen feature maps, die durch das faltende neuronale Netz 5 generiert werden, zu untersuchende Bereiche festzulegen (sog. regions of interest ROI). Zu untersuchende Bereiche sind diejenigen Bereiche in den feature maps, in denen zu beparkende Bereiche zu erwarten sind. Das regional proposal network ist beispielsweise ein mittels gelabelten Trainingsdaten vortrainiertes Faltungsnetzwerk, das dazu angepasst ist, beparkbare Bereiche zu erkennen. Die Trainingsdaten weisen beispielsweise Parkplatz-Szenen auf, in denen Bereiche, die ein oder mehrere Objekte mit daran anschließender oder dazwischen eingeschlossener Freifläche, die eine Parklücke sein könnte, als Label gekennzeichnet sind. Durch das Training mit diesen Daten kann das regional proposal network dazu trainiert werden, für eine Beparkung zu untersuchende Bereiche zu erkennen.
Die zu untersuchenden Bereiche und die feature maps werden anschließend an den dritten Abschnitt 4.3 des neuronalen Netzes 4 übertragen. Vorzugsweise sind die in Fig. 4 in dem dritten Abschnitt 4.3 gezeigten Bestandteile des neuronalen Netzes 4 mehrfach vorgesehen, und zwar für jede feature map, die von dem faltenden neuronalen Netz 5 generiert wird, jeweils einmal. Dadurch kann zunächst basierend auf jedem feature map getrennt ein Parklückenbegrenzungsrahmen P und eine Zielposition Z des Fahrzeugs 1 im Parklückenbegrenzungsrahmen P bestimmt werden, wobei diese Informationen anschließend miteinander verknüpft und dadurch ein finaler Parklückenbegrenzungsrahmen P und eine finale Zielposition Z des Fahrzeugs 1 in diesem finalen Parklückenbegrenzungsrahmen P festgelegt werden.
Im Folgenden wird die Informationsverarbeitung anhand einer einzelnen feature map beschrieben. Die Informationsverarbeitung der weiteren feature maps erfolgt in gleicher Weise.
Eine von dem faltenden neuronalen Netz 5 erzeugte feature map wird mit dem zumindest einen zu untersuchenden Bereich, der von dem regional proposal network oder dem selektiven Suchalgorithmus bereitgestellt wird, verknüpft. Damit werden innerhalb der feature map ein oder mehrere relevante Bereiche B1 , B2, B3 festgelegt, die in den zumindest einen zu untersuchenden Bereich fallen. In anderen Worten wird durch die Verknüpfung der feature map und dem zumindest einen zu untersuchenden Bereich zumindest ein Ausschnitt A1 , A2, A3 der Feature map festgelegt, wie dies in Fig. 4 in dem unteren Bereich des Abschnitts 4.3 angedeutet ist.
Anschließend erfolgt ein sog. Region of Interest (Rol) Pooling durch ein pooling layer 7. Dabei wird beispielsweise eine Max-Pooling-Operation dazu verwendet, zu jedem zu untersuchenden Bereich eine Teil-feature map (Ausschnitte A1 , A2, A3) zu erzeugen. Die Teil-feature maps weisen dabei jeweils die gleiche Größe auf, d.h. auch bei nicht gleichgroßen Ausschnitten der originären feature map stellt das pooling layer 7 Teil- feature maps bereit, die alle die gleiche Größe haben.
Diese Teil-feature maps werden anschließend an ein erstes fully connected layer 6 weitergeleitet, das die in den Teil-feature maps vorhandenen Informationen weiterverarbeitet. Die von dem fully connected layer 6 bereitgestellten Informationen werden anschließend parallel an ein zweites fully connected layer 8 und ein drittes fully connected layer 9 übertragen. Das zweite fully connected layer 8 ist beispielsweise dazu trainiert, den Parklückenbegrenzungsrahmen P zu einer detektierten Parklücke zu bestimmen. Das dritte fully connected layer 8 ist beispielsweise dazu trainiert, die Zielposition des Fahrzeugs 1 in dem Parklückenbegrenzungsrahmen P bzw. der Parklücke zu bestimmen. Diese Informationen werden anschließend durch das zweite und dritte fully connected layer 8, 9 ausgegeben.
Das neuronale Netz 4 stellt beispielsweise die Informationen zu dem Parklückenbegrenzungsrahmen P und der Zielposition Z des Fahrzeugs 1 wie folgt bereit. Die Zielposition Z des Fahrzeugs 1 in einer Parklücke wird beispielsweise durch einen Vektor mit den folgenden Werten ausgegeben:
Z = [tx ty t©]; wobei beispielsweise durch die Koordinaten tx und ty eine Ecke des Fahrzeugs definiert wird oder ein Offset dieser Fahrzeugecke zu dem Parklückenbegrenzungsrahmen P angegeben wird und t© die Ausrichtung des Fahrzeugs in der Parklücke bzw. relativ zur Ausrichtung des Parklückenbegrenzungsrahmens P angibt.
Der Parklückenbegrenzungsrahmen P wird beispielsweise durch einen Vektor mit den folgenden Werten ausgegeben:
P = [bx by bi bw b©]; wobei beispielsweise durch die Koordinaten bx und by eine Ecke des Parklückenbegrenzungsrahmens P definiert wird, durch die Werte bi und bw die Länge und Breite des Parklückenbegrenzungsrahmens P definiert wird und b© die Ausrichtung des Parklückenbegrenzungsrahmens P in der Rasterkarte 3 angibt.
Es versteht sich, dass diese Informationen für jeden detektierten Parklückenbegrenzungsrahmen P bzw. für jede Zielposition Z des Fahrzeugs 1 separat bereitgestellt werden.
Das Training des neuronalen Netzes 4 erfolgt mittels Trainingsdaten, das gelabelte Parksituationsszenen aufweist, wobei die Labels jeweils die vorgenannten Ausgangsinformationen des neuronalen Netzes 4 angeben, d.h. die Zielposition Z und Ausrichtung des Fahrzeugs 1 in der Parklücke und die Position, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P.
Während des Trainings des neuronalen Netzes 4 wird versucht, die Parameter bzw. Gewichte des neuronalen Netzes 4 derart zu wählen, dass die von dem neuronalen Netz 4 bereitgestellten Informationen bestmöglich den in den Trainingsdaten angegebenen Labels entsprechen.
Wie oben ausgeführt, stellt das neuronale Netz 4 zwei Ausgangsinformationen bereit, und zwar Informationen zum Parklückenbegrenzungsrahmen P und zur Zielposition Z des Fahrzeugs 1 .
Das Training des neuronalen Netzes 4 erfolgt derart, dass eine Minimierung des Gesamtfehlers aus der vom neuronalen Netz 4 bestimmten Informationen zum Parklückenbegrenzungsrahmen P und zur Zielposition Z im Vergleich zu den Trainingsdaten erfolgt. Zusätzlich können Validierungsdaten vorhanden sein, die nicht als Trainingsdaten sondern für die Validierung des Trainings verwendet werden. Durch die Validierungsdaten kann ermittelt werden, wann das Training des neuronalen Netzes 4 zu einer hinreichenden Güte geführt hat. Dadurch kann die Trainingszeit reduziert und ein Overfitting des neuronalen Netzes 4 verhindert werden, so dass das neuronale Netz 4 zu allgemeineren, d.h. weniger eingeschränken Lösungen führt.
Hierzu wird ein auf der Minimierung des Multi-Task-Loss L basierendes Verfahren verwendet, das sowohl den Loss (Verlust) aufgrund des Fehlers bei der Bestimmung des Parklückenbegrenzungsrahmens P als auch den Loss (Verlust) aufgrund des Fehlers bei der Bestimmung der Zielposition Z berücksichtigt. Da es sich hierbei um ein Regressionsproblem handelt, wird der Verlust auch als regression lost bezeichnet.
Der Gesamtverlust L ist wie folgt definiert:
L (tk, uk, bk, vk) = Lz (tk, uk) + LP (bk, vk); wobei tk über den Vektor [tx ty t©] die Lage und Ausrichtung der Zielposition Z des Fahrzeugs 1 für die k-te Parklücke t, uk über den Vektor [ux uy u©] die Lage und Ausrichtung der Zielposition Z des Fahrzeugs 1 für die k-te Parklücke in den Trainingsdaten, bk über den Vektor [bx by bi bw b©] die Lage, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P für die k-te Parklücke und vk über den Vektor [vx vy vi vw v©] die Lage, Größe und Ausrichtung des Parklückenbegrenzungsrahmens P für die k-te Parklücke in den Trainingsdaten definieren. Lz (tk, uk) ist damit der Loss, der aus dem Unterschied der Informationen zur Zielposition Z des Fahrzeugs 1 im Vergleich zu den Trainingsdaten resultiert und Lp (bk, vk) ist der Loss, der aus dem Unterschied der Informationen zum Parklückenbegrenzungsrahmen P relativ zu den Trainingsdaten resultiert.
Die Berechnung der Losses Lz (tk, uk) und Lp (bk, vk) kann wie folgt erfolgen:
Dabei ist die Funktion smoothL1 eine modifizierte Verlustfunktion, die eine Mischung aus Absolutabstand und quadratischem Abstand ermöglicht. Sie ist wie folgt definiert: wenn Ixl < 1 0,5 sonst
Fig. 5 zeigt ein Diagramm, das die Schritte des Verfahrens zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke mittels eines neuronalen Netzes veranschaulicht.
Zunächst wird eine Szene im Umgebungsbereich eines Fahrzeugs mittels einer Sensorik erfasst und es werden Umgebungsinformationen bereitgestellt (S10).
Anschließend wird eine Rasterkarte der Szene mit einer Vielzahl von Zellen basierend auf den Umgebungsinformationen erzeugt, wobei die Zellen der Rasterkarte jeweils Informationen aufweisen, ob der mit der Zelle korrespondierende Umgebungsbereich von einem Objekt belegt ist oder nicht (S11 ).
Zuletzt wird die Rasterkarte an ein neuronales Netz übermittelt, wobei das neuronale Netz dazu trainiert ist, basierend auf der Rasterkarte Informationen zu einem Parklückenbegrenzungsrahmen und Informationen zu einer Zielposition des Fahrzeugs in dem Parklückenbegrenzungsrahmen bereitzustellen (S12). Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste 1 Fahrzeug
2 Sensorik
3 Rasterkarte
3.1 Zellen
4 neuronales Netz 4.1 erster Abschnitt
4.2 zweiter Abschnitt
4.3 dritter Abschnitt
5 faltendes neuronale Netz
5.1 , 5.2 Schicht 6 erstes fully-connected layer
7 pooling layer
8 zweites fully-connected layer
9 drittes fully-connected layer A1 , A2, A3 Ausschnitt
B1 , B2, B3 relevanter Bereich
CL convolutional Layer
MPL Max-pooling layer
01 , 02 Objekt P Parklückenbegrenzungsrahmen
R Recheneinheit
Z Zielposition des Fahrzeugs

Claims

Patentansprüche
1 ) Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs (1 ) in der Parklücke mittels eines neuronalen Netzes (4), wobei das Verfahren die folgenden Schritte umfasst:
- Erfassen einer Szene im Umgebungsbereich eines Fahrzeugs (1 ) mittels einer Sensorik (2) und Bereitstellen von Umgebungsinformationen (S10);
- Erzeugen einer Rasterkarte (3) der Szene mit einer Vielzahl von Zellen (3.1 ) basierend auf den Umgebungsinformationen, wobei die Zellen (3.1 ) der Rasterkarte (3) jeweils Informationen aufweisen, ob der mit der Zelle (3.1 ) korrespondierende Umgebungsbereich von einem Objekt (01 , 02) belegt ist oder nicht (S11 );
- Übermitteln der Rasterkarte (3) an ein neuronales Netz (4), wobei das neuronale Netz (4) dazu trainiert ist, basierend auf der Rasterkarte (3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) bereitzustellen (S12).
2) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Zellen (3.1 ) der Rasterkarte (3) Informationen aufweisen, ob die jeweilige Zelle (3.1 ) mit einem Objekt (01 , 02) belegt ist, das höher oder niedriger ist als ein festgelegter Schwellwert und/oder dass die Zellen (3.1 ) der Rasterkarte (3) Informationen zur Dichte und/oder Intensität der von der Sensorik (2) empfangenen Reflektionen aufweisen.
3) Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das neuronale Netz (4) mehrere Abschnitte (4.1 , 4.2, 4.3) aufweist, und zwar einen ersten Abschnitt (4.1 ), mittels dem eine Erkennung von Strukturen von den in der Rasterkarte (3) enthaltenen Objekten (01 , 02) erfolgt, einen zweiten Abschnitt (3.2), mittels dem ein oder mehrere für die Parklückendetektion relevante Bereiche (B1 , B2, B3) ermittelt werden und einen dritten Abschnitt (4.3), der den zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) empfängt und der innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) ermittelt. ) Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der erste Abschnitt (4.1 ) ein faltendes neuronales Netz (5) mit mehreren Schichten (5.1 , 5.2) aufweist, wobei die Schichten jeweils ein Convolutional Layer und ein Pooling Layer aufweisen und wobei jede Schicht (5.1 , 5.2) eine Feature Map als Ausgangsinformation bereitstellt. ) Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Ausgangsinformationen des jeweiligen Convolutional Layers durch eine Aktivierungsfunktion modifiziert werden. ) Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der zweite Abschnitt (4.2) einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk umfasst, die zum Erkennen und Auswahlen von einem oder mehreren Ausschnitten in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten des faltenden neuronalen Netzes des ersten Abschnitts bereitgestellt werden und einen oder mehrere relevante Bereiche (B1 , B2) zur Erkennung von Parklücken enthalten. ) Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der selektive Suchalgorithmus oder das Faltungsnetzwerk mehrere Feature Maps aus unterschiedlichen Schichten (5.1 , 5.2) des faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) empfängt und basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, einen oder mehrere relevante Bereiche (B1 , B2) für die Erkennung von Parklücken bestimmt. ) Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein erstes Fully-Connected Layer (6) aufweist, dass zumindest ein Ausschnitt (A1 , A2, A3) der Feature Maps, die durch den ersten Abschnitt (4.1 ) des neuronalen Netzes (4) bereitgestellt werden, basierend auf dem vom zweiten Abschnitt (4.2) bereitgestellten zumindest einen relevanten Bereich (B1 , B2, B3) erzeugt werden und dass der zumindest eine Ausschnitt (A1 , A2, A3) der Feature Maps durch das zumindest eine erste Fully-Connected Layer (6) weiterverarbeitet wird. ) Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) ein Pooling Layer (7) umfasst, das den zumindest einen Ausschnitt (A1 , A2, A3) der Feature Maps erzeugt, wobei der Ausschnitt (A1 , A2, A3) eine vordefinierte Größe aufweist. 0) Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein zweites Fully-Connected Layer (8) zur Berechnung des Parklückenbegrenzungsrahmens und zumindest ein drittes Fully-Connected Layer (9) zur Berechnung der Zielposition (Z) des Fahrzeugs (1 ) aufweist, wobei das zweite und das dritte Fully- Connected Layer (8, 9) mit dem zumindest einen ersten Fully- Connected Layer (6) verbunden sind und Ausgangsinformationen von diesem empfangen. 1 ) Verfahren nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, dass durch den ersten und/oder zweiten Abschnitt (4.1 , 4.2) mehrere unterschiedliche Teilinformationen bereitgestellt werden und dass die unterschiedlichen Teilinformationen parallel durch mehrere dritte Abschnitte (4.3) des neuronalen Netzes (4) verarbeitet werden. ) System zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs (1 ) mittels eines neuronalen Netzes (4), wobei das System mit einer Sensorik (2) gekoppelt ist, die zur Erfassung einer Szene im Umgebungsbereich des Fahrzeugs (1 ) und zum Bereitstellen von Umgebungsinformationen ausgebildet ist, wobei das System eine Recheneinheit (R) aufweist, die zum Erzeugen einer Rasterkarte (3) der Szene mit einer Vielzahl von Zellen (3.1 ) basierend auf den Umgebungsinformationen ausgebildet ist, wobei die Zellen (3.1 ) der Rasterkarte (3) jeweils Informationen aufweisen, ob der mit der Zelle (3) korrespondierende Umgebungsbereich von einem Objekt (01 , 02) belegt ist oder nicht und wobei das neuronale Netz (4) dazu trainiert ist, basierend auf der Rasterkarte (3) Informationen zu einem Parklückenbegrenzungsrahmen (P) und Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) zu ermitteln. ) System nach Anspruch 12, dadurch gekennzeichnet, dass das neuronale Netz (4) mehrere Abschnitte (4.1 , 4.2, 4.3) aufweist, und zwar einen ersten Abschnitt (4.1 ), der zur Erkennung von Strukturen von den in der Rasterkarte (3) enthaltenen Umgebungsobjekten ausgebildet ist, einen zweiten Abschnitt (4.2), der zu Ermittlung eines oder mehrerer für die Parklückendetektion relevanter Bereiche (B1 , B2, B3) ausgebildet ist und einen dritten Abschnitt (4.3), der zum Empfang des zumindest einen für die Parklückendetektion relevanten Bereichs (B1 , B2, B3) und zur Ermittlung von Informationen zu einem Parklückenbegrenzungsrahmen (P) und von Informationen zu einer Zielposition (Z) des Fahrzeugs (1 ) in dem Parklückenbegrenzungsrahmen (P) innerhalb dem zumindest einen für die Parklückendetektion relevanten Bereich (B1 , B2, B3) ausgebildet ist.
14) System nach Anspruch 13, dadurch gekennzeichnet, dass der zweite Abschnitt (4.2) einen selektiven Suchalgorithmus oder ein Faltungsnetzwerk umfasst, die zum Erkennen und Auswahlen von einem oder mehreren Ausschnitten (A1 , A2, A3) in den Feature Maps ausgebildet sind, die von den jeweiligen Schichten (5.1 , 5.2) eines faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) bereitgestellt werden und einen oder mehrere relevante Bereiche (B1 , B2, B3) zur Erkennung von Parklücken enthalten.
15) System nach Anspruch 14, dadurch gekennzeichnet, dass der selektive Suchalgorithmus oder das Faltungsnetzwerk zum Empfang mehrerer Feature Maps aus unterschiedlichen Schichten (5.1 , 5.2) des faltenden neuronalen Netzes (5) des ersten Abschnitts (4.1 ) und zur Bestimmung eines oder mehrerer relevanter Bereiche (B1 , B2, B3) für die Erkennung von Parklücken basierend auf den Gesamtinformationen, die in den Feature Maps enthalten sind, ausgebildet ist.
16) System nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein erstes Fully-Connected Layer (6) aufweist, dass zumindest ein Ausschnitt der Feature Maps, die durch den ersten Abschnitt (4.1 ) des neuronalen Netzes (4) bereitgestellt werden, basierend auf dem vom zweiten Abschnitt (4.2) bereitgestellten zumindest einen relevanten Bereich (B1 , B2, B3) erzeugt wird und dass der zumindest eine Ausschnitt (A1 , A2, A3) der Feature Maps durch das zumindest eine erste Fully-Connected Layer (6) weiterverarbeitet wird. ) System nach Anspruch 16, dadurch gekennzeichnet, dass der dritte Abschnitt (4.3) zumindest ein zweites Fully-Connected Layer (8) zur Berechnung des Parklückenbegrenzungsrahmens (P) und zumindest ein drittes Fully-Connected Layer (9) zur Berechnung der Zielposition (Z) des Fahrzeugs (1 ) aufweist, wobei das zweite und das dritte Fully-
Connected Layer (8, 9) mit dem zumindest einen ersten Fully- Connected Layer (6) verbunden sind und Ausgangsinformationen von diesem empfangen.
EP23761058.9A 2022-08-12 2023-07-27 Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke Pending EP4569494A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022208405.5A DE102022208405A1 (de) 2022-08-12 2022-08-12 Verfahren zur Bestimmung einer Parklücke und einer Zielposition eines Fahrzeugs in der Parklücke
PCT/DE2023/200155 WO2024032856A1 (de) 2022-08-12 2023-07-27 Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Publications (1)

Publication Number Publication Date
EP4569494A1 true EP4569494A1 (de) 2025-06-18

Family

ID=87800963

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23761058.9A Pending EP4569494A1 (de) 2022-08-12 2023-07-27 Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Country Status (3)

Country Link
EP (1) EP4569494A1 (de)
DE (1) DE102022208405A1 (de)
WO (1) WO2024032856A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118609406B (zh) * 2024-05-31 2025-01-17 武汉虹信技术服务有限责任公司 一种基于矢量gis数据的车位状态查询方法
DE102024205098A1 (de) * 2024-06-03 2025-12-04 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Pfadplanung bei Fahrmanövern
CN121291411B (zh) * 2025-12-15 2026-04-07 魔视智能科技(上海)股份有限公司 泊车位置确定方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
DE102017208718A1 (de) * 2017-05-23 2018-11-29 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
DE102017130488A1 (de) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
DE112020000369T5 (de) * 2019-03-16 2021-10-21 Nvidia Corporation Objekterfassung unter verwendung von verzerrten polygonen, die zur parkplatzerfassung geeignet ist
EP3736730A1 (de) * 2019-05-07 2020-11-11 Elektrobit Automotive GmbH Neuronales konvolutionsnetz mit verringerter komplexität
EP3809316A1 (de) * 2019-09-24 2021-04-21 Elektrobit Automotive GmbH Vorhersage eines strassenverlaufs auf basis von radardaten
DE102019215912A1 (de) * 2019-10-16 2021-04-22 Robert Bosch Gmbh Verfahren und vorrichtung zum computer-implementierten betreiben eines neuronalen netzwerks
KR20210135389A (ko) * 2020-05-04 2021-11-15 현대자동차주식회사 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
CN111552764B (zh) * 2020-05-15 2023-07-25 汇智机器人科技(深圳)有限公司 一种车位检测方法、装置、系统及机器人和存储介质
CN116438583A (zh) * 2020-12-21 2023-07-14 索尼半导体解决方案公司 可用泊车位识别装置、可用泊车位识别方法和程序
US11783597B2 (en) * 2020-12-30 2023-10-10 Continental Autonomous Mobility US, LLC Image semantic segmentation for parking space detection
CN113822156B (zh) * 2021-08-13 2022-05-24 北京易航远智科技有限公司 车位检测处理方法、装置、电子设备及存储介质
CN113963230A (zh) * 2021-10-09 2022-01-21 江苏大学 一种基于深度学习的车位检测方法
CN114359231B (zh) * 2022-01-06 2024-08-06 腾讯科技（深圳）有限公司 一种停车位的检测方法、装置、设备及存储介质
CN114842447B (zh) * 2022-05-06 2024-08-02 福州大学 一种基于卷积神经网络的车位快速识别方法

Also Published As

Publication number Publication date
WO2024032856A1 (de) 2024-02-15
DE102022208405A1 (de) 2024-02-15

Similar Documents

Publication Publication Date Title
EP3466239B1 (de) Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
EP4569494A1 (de) Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke
DE19521346C2 (de) Bilduntersuchungs/-Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
EP3788594B1 (de) Konturerkennung eines fahrzeugs anhand von messdaten einer umfeldsensorik
EP1419402B1 (de) Verfahren zur erkennung und verfolgung von objekten
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102019205962A1 (de) Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
DE102018213515A1 (de) Verfahren und Vorrichtung zum Erfassen einer Grenze in einem Umfeld eines Objekts
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
EP3938947B1 (de) Verfahren und vorrichtung zum ermitteln einer gefahrenquelle auf einer fahrbahn
DE69821225T2 (de) Verfahren zur kontrolle der oberfläche einer laufenden materialbahn mit vorklassifikation von ermittelten unregelmässigkeiten
EP3809316A1 (de) Vorhersage eines strassenverlaufs auf basis von radardaten
DE102019213459A1 (de) Verfahren zum Komprimieren eines Neuronalen Netzes
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102022202827A1 (de) Verfahren zum Bestimmen einer Orientierung einer Kamera
DE102021124649A1 (de) Verfahren und Vorrichtung zur Erzeugung von Bildern anhand von Szenegraphen
WO2022018191A1 (de) Verfahren zur bestimmung einer abbildungs-degradation eines bildgebenden sensors
EP4526842B1 (de) Verfahren zum steuern einer robotervorrichtung
DE102020101911A1 (de) Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, computerimplementiertes Verfahren zur visuellen Objekterkennung, Verfahren zum Steuern eines Kraftfahrzeugs, Computerprogramm sowie computerlesbares Speichermedium
DE102016124074A1 (de) Ermitteln einer Befahrbarkeit eines Fahrbahnabschnitts anhand eines Bildes
DE102022124085A1 (de) Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten
DE102020211596A1 (de) Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten
WO2023202751A1 (de) Verfahren zur prüfung der verletzung einer grenze eines befahrbaren bereichs durch ein fahrzeug und fahrerassistenzsystem
DE102023125490A1 (de) Verfahren und Detektionsvorrichtung zur lidarbasierten Objektdetektion bei nasser Fahrbahn und entsprechend eingerichtetes Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250312

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)