EP4313733A1 - Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug - Google Patents

Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Info

Publication number
EP4313733A1
EP4313733A1 EP22717798.7A EP22717798A EP4313733A1 EP 4313733 A1 EP4313733 A1 EP 4313733A1 EP 22717798 A EP22717798 A EP 22717798A EP 4313733 A1 EP4313733 A1 EP 4313733A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
distribution
determined
similarity
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22717798.7A
Other languages
English (en)
French (fr)
Inventor
Usama MOHAMAD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4313733A1 publication Critical patent/EP4313733A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Definitions

  • the present invention relates to a method for operating a parking assistance system, a computer program product, a parking assistance system and a vehicle.
  • Parking assistance systems which can learn a specific trajectory to be followed, with the vehicle being driven manually along the trajectory to be followed later in a training mode.
  • environmental data is recorded and stored by the vehicle's sensors, which is intended to enable the vehicle to be localized later on. This can be done, for example, using VSLAM, with camera images being recorded and evaluated, and a current position of the vehicle being determined in this way.
  • the stored environment data is up-to-date, otherwise localization is not possible. Since the environment can change over time, for example because moving objects are removed, added or moved, or because structural measures are carried out in the environment, the problem arises that the environment data can become out of date. In order to continue to carry out the localization successfully, the saved environment data must be updated.
  • DE 10 2017 115991 A1 discloses a method for operating a driver assistance system for a motor vehicle in which, in a training phase of the driver assistance system, during which the motor vehicle is maneuvered manually by a driver along a trajectory ma, the trajectory is stored and based on at least one image which is provided with a camera of the motor vehicle, a plurality of object features is stored.
  • the motor vehicle is maneuvered semi-autonomously along the stored trajectory using the stored trajectory and the stored object features.
  • a plurality of object features are recognized and the recognized object features are assigned to the stored object features. Based on the assignment, a decision is made as to whether the object features and/or the trajectory need to be saved again.
  • an object of the present invention is to improve the operation of a parking assistance system.
  • a method for operating a parking assistance system for a vehicle is proposed.
  • the parking assistance system is set up in a training mode for detecting and storing a trajectory to be trained and is set up in a following mode for following the stored trajectory with the vehicle.
  • Training mode includes:
  • A3 determining a plurality of optical features in the received image, a respective optical feature being characterized by at least one parameter
  • This method has the advantage that an update of the stored data set with the optical features that are used to localize the vehicle in the tracking mode is only updated if a statistical significance for a necessary update is determined. On the one hand, this avoids an update being carried out even in the event of minor changes in the environment, which is why the computing power required for this, which would have to be provided by the parking assistance system or another computing unit in the vehicle, is not required. The computing power is thus available for other processes, which contributes, for example, to increased security, reliability and/or speed of other running processes.
  • the method provides a reliable measure, because it is based purely on statistics, for reliably assessing whether an update of a respective data set is useful, ie whether it contributes significantly to improved localization of the vehicle, for example.
  • the vehicle In the training mode, the vehicle is in particular moved manually by a user of the vehicle. This means that the user is in control of the vehicle at all times.
  • a remote control and/or self-steering and/or self-propelled systems of the vehicle are used here, with sensor-supported decisions about a change in the direction of travel being able to be proposed and/or implemented by the vehicle.
  • the received image is in particular an image that is received by an on-board camera, for example a front camera. It can also be an image composed of multiple images from different cameras and/or images captured at different times.
  • the received image can comprise an extended spectral range, for example the image can comprise optical information in the near infrared range and in the UV range.
  • the image has spectral information between 2500 nm-150 nm.
  • the image can contain information in one or more sharply delimited spectral ranges, which were recorded, for example, using appropriate band or line filters. the one that can optimize a contrast for determining the optical features in the respective image.
  • the received image is in particular a digital image that can be displayed in the form of a two-dimensional pixel matrix, the pixel matrix being able to have a number of levels, with each level containing, for example, the information of a specific spectral range.
  • each level containing, for example, the information of a specific spectral range.
  • this has three levels corresponding to three detected color channels, in particular red, green and blue (RGB).
  • the optical features that are determined in the image have, for example, certain characteristics, such as a certain contrast between adjacent pixels and/or across a plurality of pixels, a certain shape, such as a round shape, an angular shape, an elongated shape shape, a wavy shape and the like.
  • Various image processing methods and/or image transformations can be used to determine the optical features and can be combined with one another in different sequences.
  • neural networks can be used, in particular to carry out an object classification of objects visible in the image.
  • a respective feature is characterized in particular by a number of parameters.
  • these parameters include the position of the feature in the image, the position being defined by at least two coordinates, for example an x-value and a y-value, a "color" of the feature, a shape of the feature, a Extension of the feature, which can be specified, for example, by the number of pixels that the feature covers, a classification of the feature, and the like.
  • the “color” of a respective feature can be specified, for example, by specifying an intensity (brightness information) of the feature at a specific wavelength or with a specific filter. For example, the intensity is determined by the value of an entry in the pixel matrix that is associated with a pixel.
  • the number of possible values that a parameter can take ranges from binary ("0" or "1") to quasi-continuous with no upper and/or lower limit. "Quasi-continuous" because the data is presently processed digitally, which is why the parameter values are present in quantized form, even if the corresponding parameter itself is of continuous nature.
  • At least 50 optical features and up to 5000 optical features are preferably determined in a single image. It should be noted here that a larger number of optical features requires a correspondingly larger memory requirement for storing the data set. On the other hand, although the accuracy of a localization increases with an increasing number of optical features, this increase flattens out as the number increases. Between 100 and 500 optical features are preferably determined per image and stored in the data set.
  • the data record includes, for example, a list or table of the optical features, where the corresponding parameter values are assigned to each feature. Not all determined optical features necessarily include a corresponding value for every possible parameter, or they have a value that characterizes a parameter as "undetermined".
  • Receiving the images and determining the optical features is carried out in particular in the same way in the training mode and the tracking mode, for example the same image processing methods are used. In this case, however, it can be provided that the accuracy with which one or more arithmetic operations are carried out varies, for example as a function of the available system resources. This does not rule out the possibility of new and/or different image processing steps and methods being added over the course of the service life of the parking assistance system as part of a system update or the like. After the system update has been carried out, these are then used again equally for training mode and tracking mode. This ensures that results of the same quality and/or the same type are achieved in the training mode and in the follow-up mode.
  • the first and the second distribution of at least one of the parameters are determined in the next step.
  • the distribution determined here is in particular a probability distribution.
  • the distribution of this random variable is characteristic of a particular image.
  • the determined distribution can be one-dimensional or also multi-dimensional.
  • a local distribution of the optical features in a two-dimensional image can be determined as a two-dimensional distribution.
  • a multidimensional distribution is not limited to parameters of the same type (such as location coordinates), but a multidimensional distribution can also be determined on the basis of a "location coordinate" parameter and a "color” parameter and/or other and/or additional parameters.
  • the similarity of the distributions can be determined by comparing the two distributions.
  • the similarity of the distributions corresponds, for example, to the overlap, the common set or the overlap of the distributions.
  • the similarity in multidimensional distributions can be determined separately for different dimensions (parameters) of the distributions.
  • the determined similarity can be compared to an update threshold value, with an update being performed if the determined similarity is below the update threshold value.
  • an overall similarity can be determined on the basis of the number of similarities determined.
  • the similarity values of the distributions of different parameters can be taken into account to different extents.
  • the similarity of the y-position (vertical position) distributions may be considered more than the similarity of the x-position (horizontal position) distributions, or vice versa.
  • the parking assistance system is set up in particular for semi-autonomous or fully autonomous operation of the vehicle, with it driving automatically along the trained trajectory in the follow-up mode, for example. Partially autonomous driving is understood, for example, to mean that the parking assistance system controls a steering device and/or an automatic driving stage.
  • Fully autonomous driving means, for example, that the parking assistance system also controls a drive device and a braking device. Orientation and/or localization of the vehicle takes place here in particular on the basis of a comparison of the determined optical features with the stored data records. From the absolute and/or relative arrangement of the determined optical features to each other, a shift or relative position of the current position of the vehicle in relation to the respective position during the training drive can be determined and the vehicle can correspondingly move to the trained trajectory and along the trained trajectory to be controlled.
  • the parameters of the optical features include a respective position of the respective feature in the image, a classification of the respective feature, a color of the respective feature, a geometric shape of the respective feature, a contrast value of the respective feature and the like.
  • the “color” parameter is understood to mean, for example, an intensity (brightness) at a specific wavelength, a specific wavelength band and/or at a plurality of wavelengths. Furthermore, the "color” parameter can include a ratio of two or more than two intensities at different wavelengths.
  • the "contrast value” parameter can include a pure intensity contrast, but can also include a color contrast.
  • a respective optical feature is unambiguously characterized by specifying the assigned or associated parameter values. For example, one can arrange the parameter values in a parameter vector, with the position in the vector identifying the parameter.
  • the similarity of the first and the second distribution is determined on the basis of the Bhattacharyya distance and/or the Kullback-Leibler distance.
  • steps A2)-A4) are carried out for a number of positions along the trajectory to be trained, so that a corresponding data set is stored for each of the positions.
  • steps B3)-B5) are carried out on the basis of those stored data sets whose corresponding position is at a distance from a current position of the vehicle that is less than or equal to a predetermined distance threshold value.
  • the trained trajectory is assigned a plurality of data sets with determined optical features, which were each determined on the basis of images captured at different positions along the trajectory.
  • the current vehicle position is a useful indicator of whether it makes sense to compare two distributions. Because if the positions from which the images on the basis of which the optical features are or were determined are too different, it can be assumed that the distributions are dissimilar, since the images can show different sections or areas of the environment. In this case it would be disadvantageous to perform an update, which can be reliably avoided by comparing the position.
  • This embodiment can also be referred to as a selection method for selecting the data sets or distributions to be compared.
  • the position of the vehicle can be determined here in particular using a position sensor such as GPS.
  • position in this example also includes an orientation of the vehicle, which can be determined, for example, by a magnetic field sensor relative to the earth's magnetic field and/or an artificial horizon.
  • only that stored data set is used in the follow-up mode whose corresponding position has the smallest distance from a current position of the vehicle in comparison with the other stored data sets of the trajectory.
  • steps A2)-A4) are carried out for a number of positions along the trajectory to be trained, so that a corresponding data set is stored for each of the positions.
  • steps B3) and B4) are carried out for all stored data sets and step B5) is carried out for those data sets whose first distribution has a similarity with the second distribution that is above a predetermined similarity threshold value.
  • the trained trajectory is assigned a plurality of data sets with determined optical features, which were each determined on the basis of images captured at different positions along the trajectory.
  • it is determined on the basis of the similarity of the distributions whether the images of the environment on which the respective distribution is based show a comparable section or area from the environment or not.
  • this embodiment can be combined with the position-based selection method.
  • the predetermined similarity threshold corresponds to a smaller similarity than the predetermined update threshold.
  • the similarity threshold is between 65%-75% and the update threshold is between 80%-95%. If the similarity is between 75%-80%, then it is determined that the corresponding record is to be updated.
  • a value of 100% means that two compared distributions are identical, and a value of 0% means that two compared distributions have no overlap or similarity at all.
  • step B5) is only carried out for that data set whose first distribution is most similar to the second distribution in comparison with all data sets of the trajectory.
  • a first stochastic process of the first distribution of the at least one parameter is determined based on a respective time stamp of the images received in the training mode, and a second stochastic process based on the respective time stamp of the images received in the tracking mode the second distribution of the parameter is determined, and step B5) is additionally and/or alternatively carried out on the basis of a similarity between the first stochastic process and the second stochastic process.
  • the development over time of the distribution of a parameter along the trajectory is determined and the decision to update tion linked to this.
  • the time is treated as an additional parameter, so that, for example, the temporal development of the distribution of a location coordinate can be represented in the form of a two-dimensional distribution.
  • the data set is updated in step B5) on the basis of the optical features determined in step B2).
  • updating the data set in step B5) includes replacing the data set with a current data set and/or replacing at least one optical feature contained in the stored data set and/or updating at least one parameter of one in the ge stored data record contained optical feature.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the latter to execute the method according to the first aspect.
  • a computer program product such as a computer program means
  • a server in a network, for example, as a storage medium such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file. This can be done, for example, in a wireless communication network by transferring a corresponding file with the computer program product or the computer program means.
  • a parking assistance system for a vehicle is proposed.
  • the parking assistance system is set up in a training mode for detecting and storing a trajectory to be trained and is set up in a following mode for following the stored trajectory with the vehicle.
  • the parking assistance system includes: a receiving unit for receiving at least one image of an environment of the vehicle while it is driving in the training mode along the trajectory to be trained, a first determination unit for determining a plurality of optical features in the received image, a respective optical feature being characterized by at least one parameter , and a storage unit for storing a data set comprising the determined optical features, the receiving unit being set up to receive at least one current image of the surroundings of the vehicle while the vehicle is traveling in the follow-up mode along the trajectory and the first determination unit for determining the optical features is established in the received current image.
  • the parking assistance system also includes: a second determination unit for determining a first distribution of at least one of the parameters based on the stored data set and for determining a second distribution of the parameter based on the determined optical features of the current image, a comparison unit for determining a similarity of the first distribution with the second distribution, and an update unit for updating the stored data set if the determined similarity is less than or equal to a predetermined update threshold value.
  • This parking assistance system has the same advantages that are described for the method according to the first aspect.
  • the embodiments and definitions presented for the method according to the first aspect apply accordingly to the parking assistance system.
  • the respective unit of the parking assistance system can be implemented in terms of hardware and/or software.
  • each respective unit can be designed, for example, as a computer or as a microprocessor.
  • the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object.
  • each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or an engine control unit (ECU: Engine Control Unit).
  • ECU Engine Control Unit
  • a vehicle is proposed with at least one camera for capturing and outputting an image of an area surrounding the vehicle and with a parking assistance system according to the third aspect.
  • the vehicle is, for example, a passenger car or a truck.
  • the vehicle preferably includes a number of sensor units that are set up to detect the driving condition of the vehicle and to detect an environment of the vehicle.
  • sensor units of the vehicle are image recording devices, such as a camera, a radar (radio detection and ranging) or a lidar (light detection and ranging), ultrasonic sensors, location sensors, wheel angle sensors and/or wheel speed sensors.
  • the sensor units are each set up to output a sensor signal, for example to the parking assistance system or driving assistance system, which carries out the partially autonomous or fully autonomous driving as a function of the detected sensor signals
  • FIG. 1 shows a schematic view of an exemplary embodiment of a vehicle from a bird's eye view
  • Figure 2 shows a schematic view of a received image with a number of optical features contained therein;
  • 3 shows three diagrams as examples for a respective distribution of a respective parameter
  • FIG. 5 shows a schematic block diagram of an exemplary embodiment of a parking assistance system
  • FIG. 6 shows a schematic flow diagram of an exemplary embodiment of a method for operating a parking assistance system.
  • FIG. 1 shows a schematic view of a vehicle 100 from a bird's eye view.
  • the vehicle 100 is, for example, a car that is arranged in an environment 200 .
  • Car 100 has a parking assistance system 110, which is embodied as a control unit, for example.
  • the car 100 includes a front camera 120, which in this case game is arranged at an upper edge of the windscreen.
  • the camera 120 is configured to capture an image of the environment 200 .
  • the captured image is output, for example, to parking assistance system 110, which receives it and processes it further, as is described in detail below with reference to FIGS. 2-6.
  • the parking assistance system 110 is set up to drive the car 100 semi-autonomously or fully autonomously.
  • vehicle 100 can have various other sensor devices. Examples of this are ultrasonic sensors, a lidar, a radar, a GPS receiver, an acceleration sensor, a receiver for receiving electromagnetically transmittable data signals, a microphone and the like.
  • Fig. 2 shows a schematic view of a received image IMG with a number of optical features F1 - F8 contained therein.
  • the image IMG is an image with two spatial dimensions, ie it comprises a two-dimensional arrangement of pixels. In embodiments, it can also be an image with three spatial dimensions, which additionally includes depth information for each pixel.
  • Each pixel of the image of the IMG is uniquely determined by its respective coordinates in the image IMG, which are two spatial coordinates x, y.
  • the coordinates x, y relate to an image coordinate system (not shown), which originates, for example, in one of the corners of the image IMG.
  • the optical features F1 - F8 shown as an example have two location parameters that correspond to the x, y coordinates of the respective optical feature. It should be noted that the optical features F1-F8 are only shown as points in the image IMG in this example for reasons of clarity, but a respective optical feature can also have an extent.
  • the optical features F1-F8 are characterized by a third parameter p, which is a color value of the optical feature F1-F8, for example.
  • a respective optical feature is thus clearly characterized by specifying the three parameters x, y, p.
  • the optical Feature F1 can be represented, for example, by the specification F1 (x1, y1, p1), where x1, y1, p1 are the respective values of the respective parameter for the optical feature F1.
  • a respective optical feature F1-F8 can be characterized by more than three parameters. It should also be noted that significantly more than eight optical features F1-F8 are preferably determined in an image IMG, for example between 200 and 500 optical features.
  • a respective optical feature F1-F8 is in particular a characteristic structure in the received image IMG, which can be determined, for example, in the form of a contrast.
  • FIG. 3 shows three diagrams as examples for a respective distribution P(x), P(y), P(p) of a respective parameter x, y, p.
  • the distributions each represent a probability distribution or a frequency distribution, with the vertical axis P indicating the probability or the frequency and the respective horizontal axis x, y, p indicating the value of the respective parameter x, y, p.
  • the distributions P(x) and P(y) are represented in this example as (quasi-)continuous distributions and the distribution P(p) is represented as a discrete distribution. Since the respective values that a parameter x, y, p can assume are quantized in particular when determined by the determination unit of the parking assistance system, all distributions are, for example, discrete, and one can also speak of quasi-continuous distributions. A data reduction can also be advantageous here, which is carried out, for example, in the form of "binning", with all values that lie within a specific interval being assigned a mean value (for example when reducing the bit depth for a parameter).
  • Figure 4 shows a diagram containing two distributions P1(x), P2(x) for a parameter x.
  • FIG. 4 serves to illustrate what is to be understood by the similarity of two distributions P1(x), P2(x).
  • the first distribution P1(x) is the first distribution of the Parameter x, which was determined on the basis of the stored data set
  • the distribution P2(x) is the second distribution of the same parameter x, which is based on the determined optical features F1-F8 (see FIG. 2) of the received current image IMG (see Fig. 2) was determined.
  • the similarity between the two distributions P1(x), P2(x) can be illustrated as the overlap U(P1; P2) of the two distributions P1(x), P2(x).
  • the number of equal parameter values x in the two distributions P1(x), P2(x) can be counted and divided by the total number of optical features F1-F8 to determine the similarity.
  • the similarity between two distributions P1(x), P2(x) is advantageously determined on the basis of the Bhattacharyya distance and/or the Kullback-Leibler distance. Other known measures of similarity can also be used.
  • Fig. 5 shows a schematic block diagram of an exemplary embodiment of a parking assistance system 110, for example the parking assistance system of vehicle 100 in Fig. 1.
  • Parking assistance system 110 is set up in a training mode MODO (see Fig. 6) for detecting and storing a trajectory to be trained and is set up in a tracking mode MODI (see FIG. 6) for tracking the stored trajectory with the vehicle 100 .
  • Parking assistance system 110 includes a receiving unit 111 for receiving at least one image IMG (see Fig. 2) of surroundings 200 (see Fig. 1) of vehicle 100 while it is driving in training mode MODO along the trajectory to be trained, a first determination unit 112 for determining a plurality of optical features F1-F8 (see FIG.
  • a respective optical feature F1-F8 being characterized by at least one parameter x, y, p (see FIG. 2 or 3), and a storage unit 113 for storing a data set comprising the determined optical features F1-F8.
  • the receiving unit 111 is also set up to receive at least one current image IMG of the surroundings 200 of the vehicle 100 while the vehicle 100 is traveling in the follow-up mode MODI along the trajectory, and the first determination unit 112 is also set up to determine the optical features F1 - F8 in the received current picture IMG set up.
  • the parking assistance system 110 also includes a second determination unit 114 for determining a first distribution P(x), P(y), P(p), P1(x) (see FIG. 3 or 4) of at least one of the parameters x, y, p based on the stored data set and for determining a second distribution P(x), P(y), P(p), P2(x) (see FIG.
  • a comparison unit 115 for determining a similarity of the first distribution P(x), P(y), P(p), P1 (x) to the second distribution P(x), P (y), P(p), P2(x) and an update unit 116 for updating the stored data set if the determined similarity is less than or equal to a predetermined update threshold value.
  • Fig. 6 shows a schematic flowchart of an embodiment of a method for operating a parking assistance system 110, for example the parking assistance system 110 of Fig. 1 or Fig. 5.
  • the method includes a training mode MODO, in which a trajectory to be trained is detected and stored, and includes a tracking mode in which the stored trajectory is tracked with the vehicle.
  • the MODO training mode includes, in particular, steps S1 - S4, with vehicle 100 being driven manually along the trajectory in a first step S1, and at least one image IMG (see Fig. 2) of an environment 200 (see Fig. 1) of vehicle 100 is received during manual driving, in a third step S3 a plurality of optical features F1-F8 (see FIG. 2) are determined in the received image IMG, with a respective optical feature F1-F8 being determined by at least one parameter x, y, p (see FIG. 2 or 3) is characterized, and in a fourth step S4 a data set comprising the determined optical features F1-F8 is stored.
  • the tracking mode includes in particular the steps S5 - S9, wherein in a fifth step S5 at least one current image IMG of the surroundings 200 of the vehicle 100 is received during tracking, in a sixth step S6 the optical features F1 - F8 in the received current image Image IMG are determined, in a seventh step S7, a first distribution P (x), P (y), P (p), P1 (x) (see Fig. 3 or 4) at least one of Parameter x, y, p based on the stored data set and a second distribution P(x), P(y), P(p), P2(x) (see Fig.
  • a similarity of the first distribution P(x), P(y), P(p), P1(x) with the second distribution P (x), P(y), P(p), P2(x) is determined and in a ninth step S9 the stored data record is updated if the determined similarity is less than or equal to a predetermined update threshold value.
  • the MODO training mode is carried out only once for a specific trajectory, with the MODI follow-up mode being able to be carried out as often as desired on the basis of the trained trajectory.
  • follow-up mode MODI can include further steps that relate, for example, to the control of vehicle 100 by parking assistance system 110 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Es wird Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100) vorgeschlagen, welches in einem Trainingsmodus (MOD0) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MOD1) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist. Um zu ermitteln, ob gespeicherte optische Merkmale, die zur Orientierung des Fahrzeugs bei dem Nachfahren dienen, aktualisiert werden müssen, werden Verteilungen von Parametern der optischen Merkmale verglichen. Wenn die Ähnlichkeit der verglichenen Verteilungen einen vorbestimmten Schwellwert unterschreitet, wird eine Aktualisierung durchgeführt.

Description

VERFAHREN ZUM BETREIBEN EINES PARKASSISTENZSYSTEMS, COMPUTERPROGRAMMPRODUKT, PARKASSISTENZSYSTEM SOWIE FAHRZEUG
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem sowie ein Fahrzeug.
Es sind Parkassistenzsysteme bekannt, die eine bestimmte, nachzufahrende Trajektorie an lernen können, wobei in einem Trainingsmodus das Fahrzeug manuell entlang der später nachzufahrenden Trajektorie gefahren wird. Während dieser Trainingsfahrt werden über die Sensorik des Fahrzeugs Umgebungsdaten erfasst und gespeichert, die bei dem späteren Nachfahren eine Lokalisation des Fahrzeugs ermöglichen sollen. Dies kann beispielsweise mittels VSLAM erfolgen, wobei Kamerabilder erfasst und ausgewertet werden und so eine aktuelle Position des Fahrzeugs ermittelt wird.
Bei diesem Verfahren ist es wichtig, dass die gespeicherten Umgebungsdaten aktuell sind, da ansonsten eine Lokalisation nicht möglich ist. Da sich die Umgebung mit der Zeit verän dern kann, beispielsweise da bewegliche Objekte entfernt, hinzugefügt oder verschoben werden, oder auch da bauliche Maßnahmen in der Umgebung vorgenommen werden, stellt sich das Problem, dass die Umgebungsdaten ihre Aktualität verlieren können. Um die Loka lisation weiterhin erfolgreich durchführen zu können, muss eine Aktualisierung der gespei cherten Umgebungsdaten durchgeführt werden.
DE 10 2017 115991 A1 offenbart ein Verfahren zum Betreiben eines Fahrerassistenzsys tems für ein Kraftfahrzeug, bei dem in einer Trainingsphase des Fahrerassistenzsystems, während der das Kraftfahrzeug von einem Fahrer manuell entlang einer Trajektorie ma növriert wird, die Trajektorie gespeichert und anhand zumindest eines Bilds, welches mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, eine Mehrzahl von Objektmerkmalen, gespeichert wird. In einer Betriebsphase des Fahrerassistenzsystems wird das Kraftfahrzeug anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale semi-autonom entlang der gespeicherten Trajektorie manövriert. Dabei wird in dem Betriebsmodus eine Mehrzahl von Objektmerkmalen erkannt und es werden die erkannten Objektmerkmale den gespeicherten Objektmerkmalen zugeordnet. Auf Basis der Zuordnung wird entschieden, ob ein erneutes Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern.
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerich tet. Der Trainingsmodus umfasst:
A1) manuelles Fahren des Fahrzeugs entlang der Trajektorie,
A2) Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs während des manuellen Fahrens,
A3) Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parameter charakterisiert ist, und
A4) Speichern eines Datensatzes umfassend die ermittelten Merkmale.
Der Nachfahrmodus umfasst:
B1) Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs wäh rend des Nachfahrens,
B2) Ermitteln der optischen Merkmale in dem empfangenen aktuellen Bild,
B3) Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bildes,
B4) Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und
B5) Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist. Dieses Verfahren weist den Vorteil auf, dass eine Aktualisierung des gespeicherten Daten satzes mit den optischen Merkmalen, die der Lokalisierung des Fahrzeug in dem Nachfahr modus dienen, nur dann aktualisiert wird, wenn eine statistische Signifikanz für eine notwen dige Aktualisierung ermittelt wird. Damit einerseits vermieden, dass bereits bei kleineren Veränderungen in der Umgebung eine Aktualisierung durchgeführt wird, weshalb eine hierfür notwendige Rechenleistung, die von dem Parkassistenzsystem oder einer anderen Rechen einheit des Fahrzeugs bereitgestellt werden müsste, nicht beansprucht wird. Damit steht die Rechenleistung für andere Prozesse zur Verfügung, was beispielsweise zu einer erhöhten Sicherheit, Zuverlässigkeit und/oder Geschwindigkeit anderer laufender Prozesse beiträgt. Andererseits ist durch das Verfahren ein zuverlässiges, weil rein auf Statistik beruhendes Maß vorhanden, um zuverlässig zu beurteilen, ob eine Aktualisierung eines jeweiligen Da tensatzes nützlich ist, also beispielsweise signifikant zu einer verbesserten Lokalisierung des Fahrzeugs beiträgt.
In dem Trainingsmodus wird das Fahrzeug insbesondere manuell von einem Nutzer des Fahrzeugs bewegt. Hierunter wird verstanden, dass der Nutzer jederzeit die Kontrolle über das Fahrzeug ausübt. Es ist jedoch nicht ausgeschlossen, dass hierbei eine Fernsteuerung und/oder selbstlenkende und/oder selbstfahrende Systeme des Fahrzeugs zum Einsatz kommen, wobei auch sensorgestützte Entscheidungen über eine Fahrtrichtungsänderung durch das Fahrzeug vorgeschlagen und/oder durchgeführt werden können.
Das empfangene Bild ist insbesondere ein Bild, das von einer fahrzeugeigenen Kamera empfangen wird, beispielsweise einer Frontkamera. Es kann sich dabei auch um ein Bild handeln, das aus mehreren Bildern unterschiedlicher Kameras und/oder zu unterschiedli chen Zeitpunkten erfasster Bilder zusammengesetzt ist. Das empfangene Bild kann insbe sondere einen erweiterten Spektralbereich umfassen, beispielsweise kann das Bild optische Informationen im nahen Infrarotbereich und im UV-Bereich umfassen. Beispielsweise weist das Bild eine spektrale Information zwischen 2500 nm - 150 nm auf. Weiterhin kann das Bild Informationen in einem oder mehreren scharf begrenzten Spektralbereichen aufweisen, die beispielsweise unter Verwendung von entsprechenden Band- oder Linienfiltern erfasst wur- den, was einen Kontrast zur Ermittlung der optischen Merkmale in dem jeweiligen Bild opti mieren kann. Das empfangene Bild ist insbesondere ein digitales Bild, in Form einer zweidi mensionalen Pixelmatrix darstellbar ist, wobei die Pixelmatrix mehrere Ebenen aufweisen kann, wobei eine jeweilige Ebene beispielsweise die Information eines bestimmten Spektral bereichs enthält. So kann bei einem farbigen Bild vorgesehen sein, dass dieses drei Ebenen entsprechend drei erfassten Farbkanälen, insbesondere rot, grün und blau (RGB), aufweist.
Die optischen Merkmale, die in dem Bild ermittelt werden, weisen beispielsweise bestimmte Charakteristika auf, wie einen bestimmten Kontrast zwischen benachbarten Pixeln und/oder über eine Mehrzahl von Pixeln hinweg, eine bestimmte Form, wie eine runde Form, eine kan tige Form, eine längliche Form, eine wellige Form und dergleichen mehr. Zur Ermittlung der optischen Merkmale können verschiedene Bildverarbeitungsmethoden und/oder Bildtrans formationen verwendet und in unterschiedlicher Reihenfolge miteinander kombiniert werden. Weiterhin können neuronale Netzwerke verwendet werden, insbesondere um eine Objekt klassifikation von in dem Bild sichtbaren Objekten durchzuführen.
Ein jeweiliges Merkmal ist insbesondere durch mehrere Parameter charakterisiert. Diese Parameter umfassen insbesondere die Position des Merkmals in dem Bild, wobei die Positi on wenigstens durch zwei Koordinaten, zum Beispiel einem x-Wert und einem Y-Wert, fest gelegt ist, eine "Farbe" des Merkmals, eine Form des Merkmals, eine Ausdehnung des Merkmals, die beispielsweise durch die Anzahl der Pixel, die das Merkmal überdeckt, ange geben werden kann, eine Klassifikation des Merkmals und dergleichen mehr. Die "Farbe" eines jeweiligen Merkmals kann beispielsweise durch eine Angabe einer Intensität (Hellig keitsinformation) des Merkmals bei einer bestimmten Wellenlänge oder bei einem bestimm ten Filter angegeben werden. Beispielsweise ist die Intensität durch den Wert eines einem Pixel zugeordneten Eintrags der Pixelmatrix bestimmt. Die Anzahl möglicher Werte, die ein Parameter einnehmen kann, reicht von binär ("0" oder "1") bis hin zu quasi-kontinuierlich ohne obere und/oder untere Grenze. "Quasi-kontinuierlich" deshalb, weil die Daten vorlie gend digital verarbeitet werden, weshalb die Parameterwerte quantisiert vorliegen, auch wenn der korrespondierende Parameter selbst von kontinuierlicher Natur ist. In einem einzelnen Bild werden vorzugsweise wenigstens 50 optische Merkmale und bis zu 5000 optische Merkmale ermittelt. Hierbei gilt zu beachten, dass eine größere Zahl optischer Merkmale einen entsprechend größeren Speicherbedarf zum Speichern des Datensatzes benötigt. Andererseits steigt die Genauigkeit einer Lokalisierung zwar mit zunehmender An zahl optischer Merkmale an, jedoch flacht dieser Anstieg mit zunehmender Anzahl ab. Be vorzugt werden pro Bild zwischen 100 und 500 optische Merkmale ermittelt und in dem Da tensatz gespeichert.
Der Datensatz umfasst beispielsweise eine Liste oder Tabelle der optischen Merkmale, wo bei jedem Merkmal die entsprechenden Parameterwerte zugeordnet sind. Nicht alle ermittel ten optischen Merkmale umfassen zwingend für jeden möglichen Parameter auch einen ent sprechenden Wert, oder sie weisen einen Wert auf, der einen Parameter als "unbestimmt" kennzeichnet.
Das Empfangen der Bilder und Ermitteln der optischen Merkmale wird in dem Trainingsmo dus und dem Nachfahrmodus insbesondere in der gleichen Art durchgeführt, beispielsweise kommen die gleichen Bildverarbeitungsmethoden zum Einsatz. Hierbei kann jedoch vorge sehen sein, dass eine Genauigkeit, mit der einzelne oder mehrere Rechenoperationen durchgeführt, variiert, beispielsweise in Abhängigkeit der verfügbaren Systemressourcen. Dies schließt nicht aus, dass im Laufe der Nutzungsdauer des Parkassistenzsystems im Rahmen eines Systemupdates oder dergleichen neue und/oder andere Bildverarbeitungs schritte und Methoden hinzukommen können. Diese werden, nachdem das Systemupdate durchgeführt wurde, dann wieder gelichermaßen für den Trainingsmodus und den Nach fahrmodus verwendet. Damit ist sichergestellt, dass im Trainingsmodus und im Nachfahrmo dus Ergebnisse gleicher Qualität und/oder gleicher Art erzielt werden.
Wenn für das empfangene aktuelle Bild die optischen Merkmale ermittelt wurden, werden im nächsten Schritt die erste und die zweite Verteilung wenigstens eines der Parameter ermit telt. Die hierbei ermittelte Verteilung ist insbesondere eine Wahrscheinlichkeitsverteilung. Man kann auch sagen, dass der Wert eines Parameters über alle optischen Merkmale eines jeweiligen Bildes hinweg zufällig verteilt ist, der Parameter bildet also eine Zufallsvariable.
Die Verteilung dieser Zufallsvariable ist charakteristisch für ein jeweiliges Bild.
Die ermittelte Verteilung kann hierbei eindimensional oder auch mehrdimensional sein. Bei spielsweise kann eine örtliche Verteilung der optischen Merkmale in einem zweidimensiona len Bild als eine zweidimensionalen Verteilung ermittelt werden. Eine mehrdimensionale Ver teilung ist hierbei nicht auf Parameter gleichen Typs (wie beispielsweise Ortskoordinaten) beschränkt, sondern es kann auch eine mehrdimensionale Verteilung auf Basis eines Para meters Ortskoordinate" und eines Parameters "Farbe" und/oder anderen und/oder weiteren Parametern ermittelt werden.
Durch einen Vergleich der beiden Verteilungen kann die Ähnlichkeit der Verteilungen ermit telt werden. Die Ähnlichkeit der Verteilungen entspricht beispielsweise der Überschneidung, der gemeinsamen Menge oder auch dem Überlapp der Verteilungen. Hierbei kann die Ähn lichkeit bei mehrdimensionalen Verteilungen für unterschiedliche Dimensionen (Parameter) der Verteilungen jeweils separat ermittelt werden.
Je nach der ermittelten Ähnlichkeit der Verteilungen wird anschließend ermittelt, ob der ge speicherte Datensatz aktualisiert wird oder nicht. Insbesondere kann die ermittelte Ähnlich keit mit einem Aktualisierungs-Schwellwert verglichen werden, wobei, wenn die ermittelte Ähnlichkeit unter dem Aktualisierungs-Schwellwert liegt, eine Aktualisierung vorgenommen wird.
Wenn für mehrere Parameter die jeweilige erste und zweite Verteilung ermittelt und die Ähn lichkeit ermittelt wird, dann kann eine Gesamt-Ähnlichkeit auf Basis der mehreren ermittelten Ähnlichkeiten ermittelt werden. Hierbei können die Ähnlichkeitswerte der Verteilungen unter schiedlicher Parameter unterschiedlich stark berücksichtigt werden. Beispielsweise kann die Ähnlichkeit der Verteilungen der y-Position (vertikale Position) stärker berücksichtigt werden als die Ähnlichkeit der Verteilungen der x-Position (horizontale Position), oder umgekehrt. Das Parkassistenzsystem ist insbesondere zum teilautonomen oder vollautonomen Betrei ben des Fahrzeugs eingerichtet, wobei es beispielsweise in dem Nachfahrmodus automa tisch entlang der trainierten Trajektorie fährt. Unter teilautonomem Fahren wird beispielswei se verstanden, dass das Parkassistenzsystem eine Lenkvorrichtung und/oder eine Fahrstu fenautomatik steuert. Unter vollautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem zusätzlich auch eine Antriebseinrichtung und eine Bremseinrichtung steuert. Eine Orientierung und/oder Lokalisation des Fahrzeugs erfolgt hierbei insbesondere auf Basis eines Vergleichs der ermittelten optischen Merkmale mit den gespeicherten Da tensätzen. Aus der absoluten und/oder relativen Anordnung der ermittelten optischen Merk male zueinander lässt sich eine Verschiebung oder relative Position der aktuellen Position des Fahrzeugs in Bezug auf die jeweilige Position während der Trainingsfahrt ermitteln und das Fahrzeug kann entsprechend auf die trainierte Trajektorie und entlang der trainierten Trajektorie gesteuert werden.
Gemäß einer Ausführungsform des Verfahrens umfassen die Parameter der optischen Merkmale eine jeweilige Position des jeweiligen Merkmals in dem Bild, eine Klassifikation des jeweiligen Merkmals, eine Farbe des jeweiligen Merkmals, eine geometrische Form des jeweiligen Merkmals, einen Kontrastwert des jeweiligen Merkmals und dergleichen mehr.
Wie vorstehend bereits angedeutet, wird unter dem Parameter "Farbe" beispielsweise eine Intensität (Helligkeit) bei einer bestimmten Wellenlänge, einem bestimmten Wellenlängen band und/oder bei mehreren Wellenlängen verstanden. Weiterhin kann der Parameter "Far be" ein Verhältnis von zwei oder mehr als zwei Intensitäten bei unterschiedlichen Wellenlän gen umfassen.
Der Parameter "Kontrastwert" kann einen reinen Intensitätskontrast umfassen, kann aber auch einen Farbkontrast umfassen. Ein jeweiliges optisches Merkmal ist durch die Angabe der zugeordneten oder zugehörigen Parameterwerte eindeutig charakterisiert. Man kann die Parameterwerte beispielsweise in einem Parametervektor anordnen, wobei die Position in dem Vektor den Parameter kenn zeichnet.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Ähnlichkeit der ersten und der zweiten Verteilung auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler- Abstands ermittelt wird.
Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) - B5) auf Basis derjenigen gespeicherten Datensätze durchgeführt werden, deren korrespondierende Position einen Abstand zu einer aktuellen Position des Fahrzeugs aufweisen, der kleiner oder gleich einem vorbestimmten Abstands-Schwellwert ist.
In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Die aktuelle Fahrzeug position ist ein nützlicher Indikator dafür, ob es sinnvoll ist, zwei Verteilungen miteinander zu vergleichen. Denn wenn die Positionen, aus denen die Bilder auf deren Basis die optischen Merkmale ermittelt werden oder wurden zu unterschiedlich sind, ist davon auszugehen, dass die Verteilungen sich unähnlich sind, da die Bilder unterschiedliche Ausschnitte oder Berei che der Umgebung zeigen können. In diesem Fall wäre es nachteilig, eine Aktualisierung durchzuführen, was durch den Vergleich der Position zuverlässig vermieden werden kann. Diese Ausführungsform kann auch als eine Auswahlmethode zum Auswählen der zu verglei chenden Datensätze oder Verteilungen bezeichnet werden. Die Position des Fahrzeugs kann hierbei insbesondere unter Verwendung eines Positions sensors, wie GPS, ermittelt werden. Alternativ oder zusätzlich kann eine Odometrie bei der Ermittlung der jeweiligen Position genutzt werden. Es sei angemerkt, dass der Begriff "Posi tion" in diesem Beispiel auch eine Ausrichtung des Fahrzeugs umfasst, die beispielsweise durch einen Magnetfeldsensor relativ zu dem Erdmagnetfeld und/oder einem künstlichen Horizont ermittelt werden kann.
In Ausführungsformen wird in dem Nachfahrmodus nur derjenige gespeicherte Datensatz herangezogen, dessen korrespondierende Position im Vergleich mit den weiteren gespei cherten Datensätzen der Trajektorie einen kleinsten Abstand zu einer aktuellen Position des Fahrzeugs aufweist.
Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) und B4) für alle gespeicherten Datensätze durchgeführt und der Schritt B5) wird für diejenigen Datensätze durchgeführt, deren erste Verteilung eine über einem vorbestimmten Ähnlichkeits-Schwellwert liegende Ähnlichkeit mit der zweiten Vertei lung aufweist.
In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Bei dieser Ausfüh rungsform wird auf Basis der Ähnlichkeit der Verteilungen ermittelt, ob die der jeweiligen Ver teilung zugrundeliegenden Bilder der Umgebung einen vergleichbaren Ausschnitt oder Be reich aus der Umgebung zeigen oder nicht. Diese Ausführungsform kann insbesondere mit der auf der Position basierenden Auswahlmethode kombiniert werden.
Bei dieser Ausführungsform sind damit zwei vorbestimmte Schwellwerte für die Ähnlichkeit vorhanden: der Aktualisierungs-Schwellwert und der Ähnlichkeits-Schwellwert. Gemäß einer weiteren Ausführungsform des Verfahrens entspricht der vorbestimmte Ähn lichkeits-Schwellwert einer kleineren Ähnlichkeit als der vorbestimmte Aktualisierungs- Schwellwert.
Das heißt, dass diejenigen Datensätze aktualisiert werden, deren Ähnlichkeit über dem Ähn lichkeits-Schwellwert liegt aber gleichzeitig unter dem Aktualisierungs-Schwellwert liegt.
Beispielsweise beträgt der Ähnlichkeits-Schwellwert einen Wert zwischen 65% - 75%, und der Aktualisierungs-Schwellwert beträgt einen Wert zwischen 80% - 95%. Wenn die Ähnlich keit zwischen 75% - 80% beträgt, dann wird ermittelt, dass der entsprechende Datensatz zu aktualisieren ist. Ein Wert von 100% bedeutet hierbei, dass zwei verglichene Verteilungen identisch sind, und ein Wert von 0% bedeutet, dass zwei verglichene Verteilungen überhaupt keine Überschneidung oder Gemeinsamkeit aufweisen.
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt B5) nur für denjeni gen Datensatz durchgeführt, dessen erste Verteilung im Vergleich mit allen Datensätzen der Trajektorie die größte Ähnlichkeit mit der zweiten Verteilung aufweist.
Gemäß einer weiteren Ausführungsform des Verfahrens wird auf Basis eines jeweiligen Zeit stempels der in dem Trainingsmodus empfangenen Bilder ein erster stochastischer Prozess der ersten Verteilung des wenigstens einen Parameters ermittelt, und wobei auf Basis des jeweiligen Zeitstempels der in dem Nachfahrmodus empfangenen Bilder ein zweiter stochas tischer Prozess der zweiten Verteilung des Parameters ermittelt wird, und wobei der Schritt B5) zusätzlich und/oder alternativ auf Basis einer Ähnlichkeit des ersten stochastischen Pro zesses und des zweiten stochastischen Prozesses durchgeführt wird.
In dieser Ausführungsform wird die zeitliche Entwicklung der Verteilung eines Parameters entlang der Trajektorie, die über die Fahrzeuggeschwindigkeit mit der Position des Fahr zeugs entlang der Trajektorie gekoppelt ist, bestimmt und die Entscheidung der Aktualisie- rung hieran geknüpft. Man kann auch sagen, dass die Zeit hierbei als ein zusätzlicher Para meter behandelt wird, so dass beispielsweise die zeitliche Entwicklung der Verteilung einer Ortskoordinate in Form einer zweidimensionalen Verteilung darstellbar ist.
Gemäß einer weiteren Ausführungsform des Verfahrens erfolgt die Aktualisierung des Da tensatzes in Schritt B5) auf Basis der in dem Schritt B2) ermittelten optischen Merkmale.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Aktualisierung des Da tensatzes in Schritt B5) ein Ersetzen des Datensatzes mit einem aktuellen Datensatz und/oder ein Ersetzen wenigstens eines in dem gespeicherten Datensatz enthaltenen opti schen Merkmals und/oder ein Aktualisieren wenigstens eines Parameters eines in dem ge speicherten Datensatz enthaltenen optischen Merkmals.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen ver anlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder gelie fert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem dritten Aspekt wird ein Parkassistenzsystem für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerichtet. Das Parkassistenzsystem umfasst: eine Empfangseinheit zum Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs, während dieses in dem Trainingsmodus entlang der zu trainierenden Trajektorie fährt, eine erste Ermittlungseinheit zum Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parame ter charakterisiert ist, und eine Speichereinheit zum Speichern eines Datensatzes umfassend die ermittelten opti schen Merkmale, wobei die Empfangseinheit zum Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs eingerichtet ist, während das Fahrzeug in dem Nachfahrmodus entlang der T rajektorie fährt und die erste Ermittlungseinheit zum Ermitteln der optischen Merkmalen in dem empfangenen aktuellen Bild eingerichtet ist. Das Parkassistenzsystem umfasst ferner: eine zweite Ermittlungseinheit zum Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bil des, eine Vergleichseinheit zum Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und eine Aktualisierungseinheit zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
Dieses Parkassistenzsystem weist die gleichen Vorteile auf, die zu dem Verfahren gemäß dem ersten Aspekt beschrieben sind. Die zu dem Verfahren gemäß dem ersten Aspekt dar gelegten Ausführungsformen und Definitionen gelten für das Parkassistenzsystem entspre chend.
Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder software technisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die je- weilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei ei ner softwaretechnischen Implementierung kann die jeweilige Einheit als Computerpro grammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Pro grammcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahr zeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
Gemäß einem vierten Aspekt wird Fahrzeug mit wenigstens einer Kamera zum Erfassen und Ausgeben eines Bildes einer Umgebung des Fahrzeugs und mit einem Parkassistenzsystem gemäß dem dritten Aspekt vorgeschlagen.
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerich tet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrich tungen, wie eine Kamera, ein Radar (engl radio detection and ranging) oder auch ein Lidar (engl light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsenso ren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Parkassistenzsystem oder Fahrassistenz system, welches das teilautonome oder vollautonome Fahren in Abhängigkeit der erfassten Sensorsignale durchführt
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschrie benen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufü gen. Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Un- teransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung.
Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezug nahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt eine schematische Ansicht eines Ausführungsbeispiels für ein Fahrzeug aus einer Vogelperspektive;
Fig. 2 zeigt eine schematische Ansicht eines empfangenen Bildes mit einer Anzahl von darin enthaltenen optischen Merkmalen;
Fig. 3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung eines jeweiligen Parameters;
Fig. 4 zeigt ein Beispiel eines Vergleichs zweier Verteilungen zur Ermittlung der Ähn lichkeit;
Fig. 5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Par kassistenzsystem; und
Fig. 6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Ver fahren zum Betreiben eines Parkassistenzsystems.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Fig. 1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive.
Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist ein Parkassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Weiterhin umfasst das Auto 100 eine Frontkamera 120, die in diesem Bei- spiel an einer oberen Kante der Frontscheibe angeordnet ist. Die Kamera 120 ist zum Erfas sen eines Bildes der Umgebung 200 eingerichtet. Das erfasste Bild wird beispielsweise an das Parkassistenzsystems 110 ausgegeben, welches dieses empfängt und weiterverarbeitet, wie nachfolgend anhand der Fig. 2 - 6 im Detail beschrieben ist.
Das Parkassistenzsystem 110 ist dazu eingerichtet, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer der in der Fig. 1 dargestellten Kamera 120 kann das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen aufweisen. Beispiele hierfür sind Ultra schallsensoren, ein Lidar, ein Radar, ein GPS-Empfänger, ein Beschleunigungssensor, ei nen Empfänger zum Empfangen von elektromagnetisch übertragbaren Datensignalen, ein Mikrofon und dergleichen mehr.
Fig. 2 zeigt eine schematische Ansicht eines empfangenen Bildes IMG mit einer Anzahl von darin enthaltenen optischen Merkmalen F1 - F8. Das Bild IMG ist in diesem Beispiel ein Bild mit zwei Raumdimensionen, das heißt es umfasst eine zweidimensionale Anordnung von Pixeln. In Ausführungsformen kann es sich auch um ein Bild mit drei Raumdimensionen handeln, das zusätzlich eine Tiefeninformation zu jedem Pixel umfasst. Jeder Pixel des Bil des IMG ist eindeutig durch seine jeweiligen Koordinaten in dem Bild IMG bestimmt, wobei es sich um zwei Ortskoordinaten x, y handelt. Die Koordinaten x, y beziehen sich hierbei auf ein Bild-Koordinatensystem (nicht dargestellt), das beispielsweise in einer der Ecken des Bildes IMG entspringt. Dementsprechend weisen die beispielhaft dargestellten optischen Merkmale F1 - F8 zwei Ortsparameter auf, die den x, y Koordinaten des jeweiligen opti schen Merkmals entsprechen. Es sei angemerkt, dass die optischen Merkmale F1 - F8 in diesem Beispiel aus Gründen der Übersicht nur als Punkte in dem Bild IMG dargestellt sind, ein jeweiliges optisches Merkmal kann aber auch eine Ausdehnung aufweisen.
Zusätzlich zu den Ortskoordinaten x, y sind die optischen Merkmale F1 - F8 durch einen dritten Parameter p charakterisiert, bei dem es sich beispielsweise um einen Farbwert des optischen Merkmals F1 - F8 handelt. In diesem Beispiel ist ein jeweiliges optisches Merkmal somit durch die Angabe der drei Parameter x, y, p eindeutig charakterisiert. Das optische Merkmal F1 kann beispielsweise durch die Angabe F1 (x1 , y1 , p1) dargestellt werden, wobei x1 , y1 , p1 die jeweiligen Werte des jeweiligen Parameters für das optische Merkmal F1 sind.
Es sei angemerkt, dass ein jeweiliges optisches Merkmal F1 - F8 durch mehr als drei Para meter charakterisiert sein kann. Es sei weiterhin angemerkt, dass in einem Bild IMG vor zugsweise deutlich mehr als acht optische Merkmale F1 - F8 ermittelt werden, beispielswei se zwischen 200 und 500 optische Merkmale.
Ein jeweiliges optisches Merkmal F1 - F8 ist insbesondere eine charakteristische Struktur in dem empfangenen Bild IMG, die beispielsweise in Form eines Kontrasts ermittelbar ist.
Fig. 3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung P(x), P(y), P(p) eines jeweiligen Parameters x, y, p. Die Verteilungen stellen jeweils eine Wahrscheinlichkeitsver teilung oder eine Häufigkeitsverteilung dar, wobei die vertikale Achse P die Wahrscheinlich keit oder die Häufigkeit angibt und die jeweilige horizontale Achse x, y, p den Wert des jewei ligen Parameters x, y, p angibt.
Die Verteilungen P(x) und P(y) sind in diesem Beispiel als (quasi-)kontinuierliche Verteilun gen dargestellt und die Verteilung P(p) ist als eine diskrete Verteilung dargestellt. Da die je weiligen Werte, die ein Parameter x, y, p annehmen kann, bei der Ermittlung durch die Er mittlungseinheit des Parkassistenzsystems insbesondere quantisiert werden, sind beispiels weise alle Verteilungen diskret, wobei man auch von quasi-kontinuierlichen Verteilungen sprechen kann. Hierbei kann auch eine Datenreduktion vorteilhaft sein, die beispielsweise in Form eines "Binnings" vorgenommen wird, wobei alle Werte, die in einem bestimmten Inter vall liegen, einem Mittelwert zugeordnet werden (beispielsweise bei einer Reduktion der Bit tiefe für einen Parameter).
Fig. 4 zeigt ein Diagramm, das zwei Verteilungen P1 (x), P2(x) für einen Parameter x enthält. Die Fig. 4 dient der Veranschaulichung, was unter der Ähnlichkeit zweier Verteilungen P1 (x), P2(x) zu verstehen ist. Die erste Verteilung P1 (x) ist beispielsweise die erste Verteilung des Parameters x, die auf Basis des gespeicherten Datensatzes ermittelt wurde, und die Vertei lung P2(x) ist die zweite Verteilung des gleichen Parameters x, die auf Basis der ermittelten optischen Merkmale F1 - F8 (siehe Fig. 2) des empfangenen aktuellen Bildes IMG (siehe Fig. 2) ermittelt wurde. Die Ähnlichkeit zwischen den zwei Verteilungen P1 (x), P2(x) kann als die Überschneidung U(P1 ; P2) der beiden Verteilungen P1 (x), P2(x) veranschaulicht werden. Beispielsweise kann die Anzahl an gleichen Parameterwerten x in den zwei Verteilungen P1 (x), P2(x) gezählt werden und diese durch die Gesamtanzahl der optischen Merkmale F1 - F8 geteilt werden, um die Ähnlichkeit zu ermitteln. Vorteilhaft wird die Ähnlichkeit zwischen zwei Verteilungen P1 (x), P2(x) auf Basis des Bhattacharyya-Abstands und/oder des Kull- back-Leibler-Abstands ermittelt. Andere bekannte Maße für die Ähnlichkeit können ebenfalls genutzt werden.
Fig. 5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Parkassis tenzsystem 110, beispielsweise des Parkassistenzsystems des Fahrzeugs 100 der Fig. 1. Das Parkassistenzsystem 110 ist in einem Trainingsmodus MODO (siehe Fig. 6) zum Erfas sen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahr modus MODI (siehe Fig. 6) zum Nachfahren der gespeicherten Trajektorie mit dem Fahr zeug 100 eingerichtet. Das Parkassistenzsystem 110 umfasst eine Empfangseinheit 111 zum Empfangen wenigstens eines Bildes IMG (siehe Fig. 2) einer Umgebung 200 (siehe Fig. 1) des Fahrzeugs 100, während dieses in dem Trainingsmodus MODO entlang der zu trainie renden Trajektorie fährt, eine erste Ermittlungseinheit 112 zum Ermitteln einer Mehrzahl opti scher Merkmale F1 - F8 (siehe Fig. 2) in dem empfangenen Bild IMG, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe Fig. 2 oder 3) charakterisiert ist, und eine Speichereinheit 113 zum Speichern eines Datensatzes umfas send die ermittelten optischen Merkmale F1 - F8.
Die Empfangseinheit 111 ist ferner zum Empfangen wenigstens eines aktuellen Bildes IMG der Umgebung 200 des Fahrzeugs 100 eingerichtet, während das Fahrzeug 100 in dem Nachfahrmodus MODI entlang der Trajektorie fährt und die erste Ermittlungseinheit 112 ist ferner zum Ermitteln der optischen Merkmale F1 - F8 in dem empfangenen aktuellen Bild IMG eingerichtet. Das Parkassistenzsystem 110 umfasst ferner eine zweite Ermittlungsein heit 114 zum Ermitteln einer ersten Verteilung P(x), P(y), P(p), P1(x) (siehe Fig. 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung P(x), P(y), P(p), P2(x) (siehe Fig. 3 oder 4) des Parame ters x, y, p auf Basis der ermittelten optischen Merkmale F1 - F8 des aktuellen Bildes IMG, eine Vergleichseinheit 115 zum Ermitteln einer Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1 (x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) und eine Aktualisierungseinheit 116 zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
Fig. 6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 110, beispielsweise des Parkassistenzsystems 110 der Fig. 1 oder der Fig. 5. Das Verfahren umfasst einen Trainingsmodus MODO, in dem eine zu trainierende Trajektorie erfasst und gespeichert wird, und umfasst einen Nachfahr modus, in dem die gespeicherte Trajektorie mit dem Fahrzeug nachgefahren wird.
Der Trainingsmodus MODO umfasst insbesondere die Schritte S1 - S4, wobei in einem ers ten Schritt S1 das Fahrzeug 100 manuell entlang der Trajektorie gefahren wird, in einem zweiten Schritt S2 wenigstens ein Bild IMG (siehe Fig. 2) einer Umgebung 200 (siehe Fig. 1) des Fahrzeugs 100 während des manuellen Fahrens empfangen wird, in einem dritten Schritt S3 eine Mehrzahl optischer Merkmale F1 - F8 (siehe Fig. 2) in dem empfangenen Bild IMG ermittelt werden, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe Fig. 2 oder 3) charakterisiert ist, und in einem vierten Schritt S4 ein Datensatz umfassend die ermittelten optischen Merkmale F1 - F8 gespeichert wird.
Der Nachfahrmodus umfasst insbesondere die Schritte S5 - S9, wobei in einem fünften Schritt S5 wenigstens ein aktuelles Bild IMG der Umgebung 200 des Fahrzeugs 100 wäh rend des Nachfahrens empfangen wird, in einem sechsten Schritt S6 die optischen Merkma le F1 - F8 in dem empfangenen aktuellen Bild IMG ermittelt werden, in einem siebten Schritt S7 eine erste Verteilung P(x), P(y), P(p), P1 (x) (siehe Fig. 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und eine zweite Verteilung P(x), P(y), P(p), P2(x) (siehe Fig. 3 oder 4) des Parameters x, y, p auf Basis der ermittelten opti schen Merkmale F1 - F8 des aktuellen Bildes IMG ermittelt werden, in einem achten Schritt S8 eine Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1 (x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) ermittelt wird und in einem neunten Schritt S9 der gespeicherte Da tensatz aktualisiert wird, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimm ten Aktualisierungs-Schwellwert ist.
Es sei angemerkt, dass der Trainingsmodus MODO für eine bestimmte Trajektorie insbeson- dere nur einmal durchgeführt wird, wobei der Nachfahrmodus MODI auf Basis der trainierten Trajektorie beliebig oft durchgeführt werden kann.
Weiterhin sei angemerkt, dass der Nachfahrmodus MODI weitere Schritte umfassen kann, die beispielsweise das Steuern des Fahrzeugs 100 durch das Parkassistenzsystem 110 be- treffen.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
BEZUGSZEICHENLISTE
100 Fahrzeug
110 Parkassistenzsystem
111 Empfangseinheit
112 Ermittlungseinheit
113 Speichereinheit
114 Ermittlungseinheit
115 Vergleichseinheit
116 Aktualisierungseinheit
120 Kamera
F1 - F8 optisches Merkmal
IMG Bild
MODO Trainingsmodus
MODI Nachfahrmodus p Parameter p1 - p8 Parameterwert
P Wahrscheinlichkeit
P(p) Wahrscheinlichkeitsverteilung
P(x) Wahrscheinlichkeitsverteilung
P1(x) erste Verteilung
P2(x) zweite Verteilung
P(y) Wahrscheinlichkeitsverteilung
S1 - S9 Verfahrensschritte
U(P1 ; P2) Schnittmenge x Koordinate x1 - x8 x-Position (ein Beispiel eines Parameters) y Koordinate y1 - y8 y-Position (ein Beispiel eines Parameters)

Claims

PATENTANSPRÜCHE
1. Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100), welches in einem Trainingsmodus (MODO) zum Erfassen und Speichern einer zu trainieren den Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MODI) zum Nachfah ren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist, wobei der Trai ningsmodus (MODO) umfasst:
A1) manuelles Fahren (S1) des Fahrzeugs (100) entlang der Trajektorie,
A2) Empfangen (S2) wenigstens eines Bildes (IMG) einer Umgebung (200) des Fahr zeugs (100) während des manuellen Fahrens,
A3) Ermitteln (S3) einer Mehrzahl optischer Merkmale (F1 - F8) in dem empfangenen Bild (IMG), wobei ein jeweiliges optisches Merkmal (F1 - F8) durch wenigstens einen Para meter (x, y, p) charakterisiert ist, und
A4) Speichern (S4) eines Datensatzes umfassend die ermittelten optischen Merkmale (F 1 - F8), und wobei der Nachfahrmodus (MODI) umfasst:
B1) Empfangen (S5) wenigstens eines aktuellen Bildes (IMG) der Umgebung (200) des Fahrzeugs (100) während des Nachfahrens,
B2) Ermitteln (S6) der optischen Merkmale (F1 - F8) in dem empfangenen aktuellen Bild (IMG),
B3) Ermitteln (S7) einer ersten Verteilung (P(x), P(y), P(p); P1 (x)) wenigstens eines der Parameter (x, y, p) auf Basis des gespeicherten Datensatzes und Ermitteln einer zweiten Verteilung (P(x), P(y), P(p); P2(x)) des Parameters (x, y, p) auf Basis der ermittelten opti schen Merkmale (F1 - F8) des aktuellen Bildes (IMG),
B4) Ermitteln (S8) einer Ähnlichkeit der ersten Verteilung (P(x), P(y), P(p); P1 (x)) mit der zweiten Verteilung (P(x), P(y), P(p) ; P2(x)), und
B5) Aktualisieren (S9) des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Parameter (x, y, p) der optischen Merkmale (F1 - F8) eine jeweilige Position des jeweiligen Merkmals in dem Bild (IMG) umfassen, eine Klassifikation des jeweiligen Merkmals umfassen, eine Farbe des je weiligen Merkmals umfassen, eine geometrische Form des jeweiligen Merkmals umfassen und/oder einen Kontrastwert des jeweiligen Merkmals umfassen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ähnlichkeit der ersten und der zweiten Verteilung (P(x), P(y), P(p); P1 (x), P2(x)) auf Basis des Bhattacha- ryya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in dem Trainingsmodus (MODO) für mehrere Positionen entlang der zu trainierenden Trajektorie die Schritte A2) - A4) durchgeführt werden, so dass für jede der Positionen ein korrespondie render Datensatz gespeichert wird, und wobei in dem Nachfahrmodus (MODI) die Schritte B3) - B5) auf Basis derjenigen gespeicherten Datensätze durchgeführt werden, deren kor respondierende Position einen Abstand zu einer aktuellen Position des Fahrzeugs (100) aufweisen, der kleiner oder gleich einem vorbestimmten Abstands-Schwellwert ist.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in dem Trainingsmodus (MODO) für mehrere Positionen entlang der zu trainierenden Trajektorie die Schritte A2) - A4) durchgeführt werden, so dass für jede der Positionen ein korrespondie render Datensatz gespeichert wird, wobei in dem Nachfahrmodus (MODI) die Schritte B3) und B4) für alle gespeicherten Datensätze durchgeführt werden, und wobei der Schritt B5) für diejenigen Datensätze durchgeführt wird, deren erste Verteilung (P(x), P(y), P(p); P1 (x)) eine über einem vorbestimmten Ähnlichkeits-Schwellwert liegende Ähnlichkeit mit der zwei ten Verteilung (P(x), P(y), P(p); P2(x)) aufweist.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Ähnlichkeits- Schwellwert einer kleineren Ähnlichkeit entspricht als der Aktualisierungs-Schwellwert.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass der Schritt B5) nur für denjenigen Datensatz durchgeführt wird, dessen erste Verteilung (P(x), P(y), P(p); P1 (x)) im Vergleich mit allen Datensätzen der Trajektorie die größte Ähnlichkeit mit der zweiten Ver teilung (P(x), P(y), P(p); P2(x)) aufweist.
8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass auf Basis eines jeweiligen Zeitstempels der in dem Trainingsmodus (MODO) empfangenen Bilder (IMG) ein erster stochastischer Prozess der ersten Verteilung (P(x), P(y), P(p); P1 (x)) des wenigstens einen Parameters (x, y, p) ermittelt wird, und wobei auf Basis des jeweiligen Zeitstempels der in dem Nachfahrmodus (MODI) empfangenen Bilder (IMG) ein zweiter stochastischer Prozess der zweiten Verteilung (P(x), P(y), P(p); P1 (x))des Parameters (x, y, p) ermittelt wird, und wobei der Schritt B5) zusätzlich und/oder alternativ auf Basis einer Ähn lichkeit des ersten stochastischen Prozesses und des zweiten stochastischen Prozesses durchgeführt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Ak tualisierung des Datensatzes in Schritt B5) auf Basis der in dem Schritt B2) ermittelten opti schen Merkmale (F1 - F8) erfolgt.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Ak tualisierung des Datensatzes in Schritt B5) ein Ersetzen des Datensatzes mit einem aktuel len Datensatz und/oder ein Ersetzen wenigstens eines, in dem gespeicherten Datensatz enthaltenen optischen Merkmals (F1 - F8) und/oder ein Aktualisieren wenigstens eines Pa rameters (x, y, p) eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals (F1 - F8) umfasst.
11 . Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Pro gramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprü che 1 bis 10 auszuführen.
12. Parkassistenzsystem (110) für ein Fahrzeug (100), welches in einem Trainingsmodus (MODO) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MODI ) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist, wobei das Parkassistenzsystem (110) umfasst: eine Empfangseinheit (111 ) zum Empfangen wenigstens eines Bildes (IMG) einer Um gebung (200) des Fahrzeugs (100) , während dieses in dem Trainingsmodus (MODO) ent lang der zu trainierenden Trajektorie fährt, eine erste Ermittlungseinheit (112) zum Ermitteln einer Mehrzahl optischer Merkmale (F1 - F8) in dem empfangenen Bild (IMG), wobei ein jeweiliges optisches Merkmal (F1 - F8) durch wenigstens einen Parameter (x, y, p) charakterisiert ist, und eine Speichereinheit (113) zum Speichern eines Datensatzes umfassend die ermittel ten optischen Merkmale (F1 - F8), wobei die Empfangseinheit (111) zum Empfangen wenigstens eines aktuellen Bildes (IMG) der Umgebung (200) des Fahrzeugs (100) eingerichtet ist, während das Fahrzeug (100) in dem Nachfahrmodus (MODI) entlang der Trajektorie fährt und die erste Ermitt lungseinheit (112) zum Ermitteln der optischen Merkmale (F1 - F8) in dem empfangenen aktuellen Bild (IMG) eingerichtet ist, und wobei das Parkassistenzsystem (110) ferner aufweist: eine zweite Ermittlungseinheit (114) zum Ermitteln einer ersten Verteilung (P(x), P(y), P(p); P1 (x)) wenigstens eines der Parameter (x, y, p) auf Basis des gespeicherten Datensat zes und zum Ermitteln einer zweiten Verteilung (P(x), P(y), P(p); P2(x)) des Parameters (x, y, p) auf Basis der ermittelten optischen Merkmale (F1 - F8) des aktuellen Bildes (IMG), eine Vergleichseinheit (115) zum Ermitteln einer Ähnlichkeit der ersten Verteilung (P(x), P(y), P(p); P1 (x)) mit der zweiten Verteilung (P(x), P(y), P(p); P2(x)), und eine Aktualisierungseinheit (116) zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs- Schwellwert ist.
13. Fahrzeug (100) mit wenigstens einer Kamera (120) zum Erfassen und Ausgeben eines Bildes (IMG) einer Umgebung (200) des Fahrzeugs (100) und mit einem Parkassistenzsys tem (110) nach Anspruch 12.
EP22717798.7A 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug Pending EP4313733A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021107523.8A DE102021107523A1 (de) 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
PCT/EP2022/057727 WO2022200482A1 (de) 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Publications (1)

Publication Number Publication Date
EP4313733A1 true EP4313733A1 (de) 2024-02-07

Family

ID=81346210

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22717798.7A Pending EP4313733A1 (de) 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Country Status (7)

Country Link
US (1) US20240158010A1 (de)
EP (1) EP4313733A1 (de)
JP (1) JP2024512572A (de)
KR (1) KR20230160368A (de)
CN (1) CN117157228A (de)
DE (1) DE102021107523A1 (de)
WO (1) WO2022200482A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007051612B4 (de) 2007-10-24 2009-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten
DE102017115991A1 (de) 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US11679760B2 (en) * 2018-12-10 2023-06-20 Mobileye Vision Technologies Ltd. Navigation in vehicle crossing scenarios
CA3128957A1 (en) 2019-03-04 2020-03-03 Bhaskar Bhattacharyya Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence

Also Published As

Publication number Publication date
KR20230160368A (ko) 2023-11-23
CN117157228A (zh) 2023-12-01
JP2024512572A (ja) 2024-03-19
WO2022200482A1 (de) 2022-09-29
US20240158010A1 (en) 2024-05-16
DE102021107523A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
DE102018132525A1 (de) Verfahren und Vorrichtung zur Bewertung einer Fahrzeugfahrfläche
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102017123848A1 (de) Automatisches Parken eines Fahrzeugs auf einem Parkplatz
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
EP3545507A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
EP3545505A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
EP3970116A1 (de) Verfahren zum ermitteln eines betriebswinkels zwischen einer zugmaschine und einem anhänger der zugmaschine
DE102017207438B4 (de) Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
WO2019015851A1 (de) Verfahren und vorrichtung zum identifizieren von schäden in fahrzeugscheiben
EP3621035A1 (de) Verfahren zum führen eines fahrzeugs hinter einem vorausfahrenden fahrzeug
DE102015008422B3 (de) Verfahren und System zur Detektion von auf einem Parkplatz falsch geparkten Fahrzeugen
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
WO2022200482A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
DE102017219123A1 (de) Verfahren zum Ermitteln von Objektgrenzen eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
WO2022122439A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102015218967A1 (de) Verfahren und System zur Ermittlung und Nutzung von Eigenschaftszusammenhängen
DE102016223180A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102020128763A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230905

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)