EP4364093A1 - Objektverfolgung basierend auf einem bewegungsmodell - Google Patents

Objektverfolgung basierend auf einem bewegungsmodell

Info

Publication number
EP4364093A1
EP4364093A1 EP22738374.2A EP22738374A EP4364093A1 EP 4364093 A1 EP4364093 A1 EP 4364093A1 EP 22738374 A EP22738374 A EP 22738374A EP 4364093 A1 EP4364093 A1 EP 4364093A1
Authority
EP
European Patent Office
Prior art keywords
tracked
point
movement
state
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22738374.2A
Other languages
English (en)
French (fr)
Inventor
Daniel Wingert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4364093A1 publication Critical patent/EP4364093A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for object tracking, wherein a first state of an object to be tracked is estimated by means of at least one computing unit using a predefined movement model for the object to be tracked, the first state containing a first direction of movement of a point to be tracked, whose position with respect to the to be tracked object is specified and environment sensor data are generated by means of an environment sensor system, which represent the object to be tracked.
  • the invention also relates to a method for at least partially automatically guiding an ego vehicle, an electric vehicle guidance system and a computer program product.
  • the object tracking from the perspective of the ego vehicle is important, with the object being, for example, other road users or other vehicles in the vicinity of the vehicle Ego vehicle is a key task to ensure a safe and reliable automatic or partially automatic driving or driver support.
  • iterative methods are used, for example, which require known motion models that approximately describe the dynamic behavior of the object to be tracked.
  • a possible and widespread movement model is the so-called single-track model.
  • Kalman filter methods or derivatives thereof for example an extended Kalman filter method, an unscented Kalman filter method and so on, are used for state prediction and verification or refinement. It is an object of the present invention to increase the accuracy of object tracking based on a motion model, in particular tracking external vehicles from the perspective of an ego vehicle based on a motion model.
  • the invention is based on the idea of moving a point of the object to be tracked, which is tracked using the motion model or whose state is estimated using the motion model, so that the resulting direction of movement of the shifted point better matches a geometric orientation of the object to be tracked, such as it is given on the basis of environment sensor data, matches.
  • a method for object tracking is specified.
  • At least one computing unit in particular an ego vehicle, is used to estimate a first state of an object to be tracked, which is located in particular in the vicinity of the ego vehicle, using a predefined movement model for the object to be tracked.
  • the first state includes a first direction of movement of a point to be tracked.
  • a surroundings sensor system in particular of the ego vehicle, is used to generate surroundings sensor data which represent the object to be tracked.
  • a geometric orientation of the object to be tracked is determined by means of the at least one computing unit based on the surroundings sensor data.
  • the point to be tracked is shifted by means of the at least one computing unit depending on a first deviation of the geometric orientation from the first direction of movement.
  • a second state of the object to be tracked is determined by means of the at least one computing unit as a function of the first state and the shifted point.
  • the point to be tracked has a predefined position with respect to the object to be tracked.
  • the point to be tracked can be on or in the object, but can also be outside of the object. It is therefore in particular a virtual point that is tracked using the motion model.
  • the state, in particular the first and the second state, of the object to be tracked contains the corresponding direction of movement of the object to be tracked and possibly further model parameters, for example a speed, acceleration and/or position of the point to be tracked and so on.
  • the direction of movement of the state ie in particular the first state, corresponds to the direction of movement of the point to be tracked.
  • this point is transferred to the shifted point, so that the second state contains, for example, the direction of movement of the shifted point instead of the direction of movement of the point to be tracked.
  • the direction of movement of the object to be tracked represents a particularly well-suited model parameter.
  • the direction of movement can be estimated within the framework of the movement model on the one hand and measured directly or indirectly using the environment sensor system of the ego vehicle, for example using cameras, lidar systems or radar systems, on the other hand.
  • computer vision algorithms or other algorithms for automated perception can be used for this purpose in order to obtain corresponding measured values for the direction of movement based on the environmental sensor data.
  • the movement of the point to be tracked consists of a translational movement and a rotational movement.
  • the first direction of movement can be understood in particular as the direction of movement of the translational movement of the point to be tracked.
  • the first direction of movement and the geometric orientation can be given, for example, by corresponding angles in a known coordinate system.
  • the first deviation therefore corresponds in particular to an angular difference or an absolute value of the corresponding angular difference.
  • the geometric orientation of the object to be tracked can be given, for example, by a constant direction that is firmly predetermined with respect to the object to be tracked.
  • the geometric orientation of a vehicle can be given, for example, by its longitudinal axis or the direction of the longitudinal axis. This can be determined, for example, at least approximately by the alignment or orientation of a delimiting figure, also referred to as a delimiting box (English: "Bounding Box"), which the at least one computing unit is based on can determine the environment sensor data.
  • the delimiting figure can correspond to a rectangle or a cuboid, for example, which encloses the object to be tracked in the representation by the environment sensor data, ie for example in a corresponding camera image or in a corresponding lidar or radar point cloud.
  • the direction of movement of the points is generally different given a general movement of the object to be tracked. Accordingly, the direction of movement of the point to be tracked generally deviates from the geometric orientation, so that the first deviation is generally non-zero.
  • the shifting of the point to be tracked in order to obtain the shifted point can be greater, for example, the greater the first deviation.
  • the first state can be estimated, for example, using a Kalman filter algorithm or based on another mathematical estimation algorithm, in particular an iterative estimation algorithm.
  • Such methods usually include estimating a state of the object to be tracked, in particular based on the movement model, and refining or improving the estimated state taking into account measured values, in particular the environmental sensor data.
  • the motion model can be used as a basis, but corresponding actual measured values can also be recorded in order to take into account deviations from the ideal or expected behavior.
  • the first state can then correspond, for example, to the state estimated using the motion model and the second state to the state improved or refined using the environmental sensor data.
  • the first and the second state relate in particular to the same time segment or the same iteration step.
  • the refinement step ie the step for determining the second state of the object to be tracked, is not based on the point to be tracked, its direction of movement as the first direction of movement and part of the first State was estimated, but performed based on the shifted point.
  • a second deviation of the direction of movement of the shifted point from the geometric orientation can be smaller than the first deviation or ideally equal to zero. In this way, a better match between the refined estimated state and the motion model is achieved.
  • an error in the object tracking can be reduced and accordingly the accuracy and reliability of the object tracking can be increased, particularly when the method steps mentioned are repeated iteratively.
  • this increases the security of a driver assistance function or a function for automatically or partially automatically driving the ego vehicle, which is based on the output of the object tracking method.
  • the improvement in accuracy by the invention is all the greater, the greater the first deviation of the first movement direction from the geometric orientation of the object to be tracked.
  • the improvement in accuracy can be greater as the object is larger.
  • the environment sensor system can contain one or more subsystems, for example one or more cameras, one or more lidar sensor systems and/or one or more radar sensor systems.
  • the environmental sensor data may include one or more camera images, one or more lidar point clouds, and/or one or more radar point clouds.
  • a current radius of movement of the point to be tracked is determined, in particular by means of the at least one computing unit, based on the first state.
  • the shifting of the point to be followed then takes place depending on the current radius of movement.
  • Both the point to be followed and the shifted point lie on a circular arc that corresponds to the current radius of movement.
  • the at least one computing unit can determine a center point of the circular arc and the current radius of movement based on the first state.
  • the displacement of the point to be followed is dependent on the first deviation and dependent on the current radius of movement.
  • the greater the first deviation and the greater the instantaneous radius of movement the greater the displacement.
  • the deviation of the geometric orientation from a second direction of movement of the point to be tracked can be at least partially compensated for in relation to the first deviation of the geometric orientation from the first direction of movement of the point to be tracked.
  • the first state contains a translation speed of the object to be tracked, in particular of the point to be tracked, and an angular speed of the point to be tracked.
  • the current radius of movement is determined, in particular by means of the at least one computing unit, as the ratio of the translational speed to the angular speed, ie as the quotient of the translational speed and the angular speed.
  • the translation speed is in particular parallel to the first direction of movement and the angular speed corresponds to an angular speed around the center of the circle corresponding to the instantaneous radius of movement. In this way, the current radius of movement can be reliably determined or estimated.
  • the point to be tracked is moved along an arc of a circle having a radius equal to the current radius of movement.
  • the point to be tracked and the point moved lie on an arc of a circle.
  • the first deviation is determined as the first angular difference between the geometric orientation and the first direction of movement.
  • the second state includes the second direction of movement of the displaced point.
  • the second deviation of the geometric orientation from the second direction of movement is smaller than the first deviation, in particular equal to zero or approximately equal to zero.
  • the second direction of movement is equal to the geometric orientation or approximately equal to the geometric orientation.
  • the second deviation is at least approximately equal to zero in this case. In this way, a good agreement with the motion model can be achieved.
  • a point cloud is generated based on the surroundings sensor data or the surroundings sensor data contain the point cloud.
  • a portion of the point cloud that represents the object to be tracked is identified.
  • a delimiting figure is determined, in particular by means of the at least one computing unit, which encloses the part of the point cloud, the delimiting figure having a predefined geometric shape.
  • the geometric orientation of the object to be tracked corresponds to a spatial alignment of the boundary figure.
  • the geometric orientation can be clearly defined according to the spatial orientation of the delimiting figure.
  • the delimiting figure is a rectangle or a cuboid.
  • an aspect ratio of the rectangle or the cuboid can be predetermined or variable.
  • the point cloud corresponds in particular to a lidar point cloud or a radar point cloud.
  • the point cloud contains a large number of points.
  • the part of the point cloud that represents the object to be tracked corresponds to a subset of the point cloud.
  • the determination or identification of the part of the point cloud that represents the object to be tracked can be achieved, for example, by using a cluster method.
  • Such embodiments have the advantage that corresponding limiting figures can be determined using known methods, so that the first deviation can be precisely determined and compensated for.
  • a reproducible and reliable result of the determination of the geometric orientation can be achieved by using a rectangular or cuboid delimitation figure.
  • a camera image is generated based on the surroundings sensor data or the surroundings sensor data contain the camera image.
  • a boundary figure is determined which encloses the representation of the object to be tracked in the camera image, the boundary figure having a predefined shape.
  • the geometric orientation of the object to be tracked corresponds to a spatial alignment of the boundary figure.
  • the delimiting figure can be determined, for example, using an object recognition algorithm using the at least one computing unit.
  • This can, for example, be an algorithm based on machine learning, for example a
  • Algorithm based on a trained artificial neural network. Numerous architectures are known for this, for example corresponding to the so-called YOLO algorithm. According to at least one embodiment, a method based on a Kalman filter is used to determine the second state.
  • the method based on the Kalman filter can, for example, correspond to a Kalman filter method, an extended Kalman filter method, an unscented Kalman filter method or some other derivative of the Kalman filter method.
  • the first state is first estimated, which is also referred to as prediction.
  • a Kalman gain factor or the like is then determined, for example, and this is used to improve the prediction, in particular depending on the corresponding measured values, here the surroundings sensor data, in order to determine the second state, which can also be referred to as refinement.
  • refinement is not based on the original point to be traced, but on the point that has been moved. In this way, established methods based on the Kalman filter or the like can be enabled to achieve more accurate object tracking.
  • a method for at least partially automatically driving an ego vehicle which is in particular a motor vehicle, is specified.
  • a method according to the invention for object tracking is carried out by means of the ego vehicle, in particular an electronic vehicle guidance system of the ego vehicle, which contains the environment sensor system and the at least one computing unit.
  • a control unit of the ego vehicle, in particular the electronic vehicle guidance system, for example the at least one computing unit, generates at least one control signal for at least partially automatic guidance of the ego vehicle depending on the second state of the object to be tracked.
  • the at least one control signal is fed to at least one corresponding actuator of the ego vehicle, which then at least partially automatically guides the ego vehicle based on the at least one control signal or can implement the at least partially automatic guidance.
  • the at least one control signal can also be used for driver assistance for a driver of the ego vehicle.
  • an electronic vehicle guidance system for an ego vehicle has at least one computing unit that is set up to estimate a first state of an object to be tracked, in particular in the vicinity of the ego vehicle, using a predefined movement model for the object to be tracked, the first state having a first direction of movement of a point to be tracked.
  • the electronic vehicle guidance system has an environment sensor system for the ego vehicle, which is set up to generate environment sensor data which represent the object to be tracked.
  • the at least one computing unit is set up to determine a geometric orientation of the object to be tracked based on the surroundings sensor data, to move the point to be tracked as a function of a first deviation of the geometric orientation from the first direction of movement, and to determine a second state of the object to be tracked depending on the first state and the shifted point.
  • an electronic vehicle guidance system according to the invention is set up to carry out a method according to the invention or carries out such a method.
  • a computer program with instructions is provided. If the commands are executed by an electronic vehicle guidance system according to the invention, in particular by the at least one computing unit of the electronic vehicle guidance system, the commands cause the electronic vehicle guidance system to implement a method according to the invention for object tracking or a method according to the invention for at least partially automatically guiding an ego vehicle to perform.
  • a computer-readable storage medium which stores a computer program according to the invention.
  • the computer program according to the invention and the computer-readable storage medium according to the invention can be understood as respective computer program products with the commands.
  • An electronic vehicle guidance system can be understood to mean an electronic system that is set up to guide or control the motor vehicle fully automatically or fully autonomously, in particular without the driver having to intervene in a control system.
  • the motor vehicle or the electronic vehicle guidance system carries out all necessary functions, such as steering, braking and/or acceleration maneuvers that may be necessary, the observation and recording of road traffic and the associated necessary reactions, automatically and fully automatically.
  • the electronic vehicle guidance system can be used to implement a fully automatic or fully autonomous driving mode of the motor vehicle according to level 5 of the classification according to SAE J3016.
  • Under an electronic vehicle guidance system can also a driver assistance system (English: “advanced driver assistance system", ADAS) are understood, which supports the driver in a partially automated or partially autonomous driving of the motor vehicle.
  • ADAS advanced driver assistance system
  • the electronic vehicle guidance system can be used to implement a partially automated or partially autonomous driving mode of the motor vehicle according to one of levels 1 to 4 according to the SAE J3016 classification.
  • SAE J3016 refers to the corresponding standard in the June 2018 version.
  • the at least partially automatic vehicle guidance can therefore include guiding the motor vehicle according to a fully automatic or fully autonomous driving mode of level 5 according to SAE J3016.
  • the at least partially automatic vehicle guidance can also include guiding the motor vehicle according to a partially automated or partially autonomous driving mode according to one of levels 1 to 4 according to SAE J3016.
  • a computing unit can be understood in particular as a data processing device, so the computing unit can in particular process data for carrying out computing operations. This may also include operations to perform indexed accesses to a data structure, for example a look-up table (LUT).
  • LUT look-up table
  • the processing unit can contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits, ASIC (English: “application-specific integrated circuit”), one or more field-programmable gate Arrays, FPGA, and/or one or more single-chip systems, SoC (English: "System on a Chip”).
  • the processing unit can also have one or more processors, for example one or more microprocessors, one or more central processing units, CPU (central processing unit), one or more graphics processor units, GPU and/or contain one or more signal processors, in particular one or more digital signal processors, DSP.
  • the computing unit can also contain a physical or a virtual network of computers or other of the units mentioned.
  • the computing unit includes one or more hardware and/or software interfaces and/or one or more memory units.
  • a memory device can be configured as volatile data storage, such as dynamic random access memory (DRAM), or static random access memory (SRAM), or non-volatile Data memory, for example as a read-only memory, ROM, as a programmable read-only memory, PROM, as an erasable read-only memory, EPROM (erasable read-only memory) ), as electrically erasable read-only memory, EEPROM (English: “electrically erasable read-only memory”), as flash memory or flash EEPROM, as ferroelectric memory with random access, FRAM (English: “ferroelectric random access memory”), as magnetoresistive random access memory (MRAM) or phase change random access memory (PCRAM). random access memory”).
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • non-volatile Data memory for example as a read-only memory, ROM, as a programmable read-only memory,
  • a component of the electronic vehicle guidance system according to the invention in particular the at least one computing unit or the control unit of the electronic vehicle guidance system, is set up, configured, designed or the like to perform or realize a specific function, a specific To achieve an effect or to serve a specific purpose, this can be understood in such a way that the component, beyond the basic or theoretical usability or suitability of the component for this function, effect or purpose, through a corresponding adaptation, programming, physical design and so on is specifically and actually capable of performing or realizing the function, achieving the effect, or serving the purpose.
  • An object recognition algorithm can be understood as a computer algorithm that is able to identify one or more objects within a provided input image by defining corresponding bounding figures or bounding boxes (English: "bounding boxes") and assigning each of the bounding boxes a corresponding object class, where the object classes can be selected from a predefined set of object classes.
  • the assignment of an object class to a bounding box can be understood in such a way that a corresponding confidence value or a probability for the object identified within the bounding box belonging to the corresponding object class is provided.
  • the algorithm may have such a confidence value or a provide probability.
  • Object class assignment may include, for example, selecting or providing the object class with the highest confidence or probability.
  • the algorithm can only specify the bounding boxes without assigning a corresponding object class.
  • FIG. 1 a schematic representation of an ego vehicle with an exemplary embodiment of an electronic vehicle guidance system according to the invention.
  • FIG. 2 shows a schematic flowchart of an exemplary embodiment of a method for object tracking according to the invention.
  • FIG. 1 schematically shows an ego vehicle 1 which has an exemplary embodiment of an electronic vehicle guidance system 2 according to the invention. Furthermore, an object 5 to be tracked is shown in the vicinity of the ego vehicle 1 .
  • the object 5 to be tracked is, in particular, another vehicle that is only shown schematically as a rectangle.
  • the electronic vehicle guidance system 2 includes a computing unit 3, which can be designed, for example, as a control unit, ECU, of the ego vehicle 1 or can be part of a control unit.
  • the electronic vehicle guidance system 2 has also an environment sensor system 4a, 4b, for example a camera 4b and/or a lidar system 4a and/or a radar system (not shown).
  • the vehicle guidance system 2 is able to carry out a method according to the invention for object tracking.
  • a corresponding flow chart of such a method is shown schematically in FIG.
  • step S1 of the method for example, an initial state of the object 5 to be tracked is determined using a predefined movement model, for example a single-track model.
  • the processing unit 3 can use, for example, surroundings sensor data from the surroundings sensor system 4a, 4b.
  • step S2 a first state of the object 5 to be tracked is estimated or predicted using the predefined movement model by the computing unit 3, the first state containing a first movement direction 6a of a point 8a to be tracked of the object 5 to be tracked.
  • surroundings sensor data representing the object 5 to be tracked are generated by means of the surroundings sensor system 4a, 4b.
  • step S3 the computing unit 3 determines a geometric orientation of the object 5 to be tracked based on the environmental sensor data.
  • the computing unit 3 can, for example, apply an object recognition algorithm to a camera image of the camera 4b and/or a cluster algorithm to a point cloud of the lidar system 4a. In this way, the computing unit 3 can determine a boundary figure that encloses the object 5 to be tracked.
  • a rectangle is shown as the delimiting figure 7 in FIG.
  • the geometric orientation then corresponds to a predetermined spatial orientation of the delimiting figure 7, for example the geometric orientation is parallel to one side of the delimiting figure 7, in particular to the longer side of the rectangle.
  • the computing unit 3 also determines, based on the surroundings sensor data, an instantaneous movement radius of the object to be tracked, which corresponds to a radius of a circle 9 .
  • R corresponds to the radius of the circle 9
  • D corresponds to an angular difference between the first direction of movement 6a of the point 8a to be tracked and the geometric orientation of the point to be tracked Object 5.
  • the second direction of movement 6b of the shifted point 8b is then also approximately equal to the geometric orientation.
  • step S4 the computing unit can calculate a correction factor based on the shifted point 8b and in particular the second direction of movement 6b. If, for example, an approach based on a Kalman filter is followed, then the correction factor can correspond to a corresponding Kalman amplification factor. In step S4, the state of the object 5 to be tracked is then updated depending on the correction factor, which in turn is determined depending on the shifted point 8b.
  • the second direction of movement 6b which is used to update the state of the object to be tracked, corresponds at least approximately to the geometric orientation of the object 5 to be tracked, so that a more precise object tracking is made possible.
  • the point to be tracked is shifted to a point that, in particular, has no transverse velocity, ie corresponds to a point that moves in the geometric orientation direction of the object to be tracked.
  • the object to be tracked is in particular a vehicle, for example a motor vehicle with two axles.
  • the shifted point can be, for example, on a non-steerable axle, ie an axle with non-steerable wheels, of the vehicle.
  • the shifted point may be between the two axles.
  • the shifted point can also lie outside the vehicle.
  • the shifted point can be determined by minimizing the deviation between the geometric orientation of the object to be tracked from the direction of motion based on the motion model.
  • an object filter such as an extended Kalman filter, based on a corresponding state vector may be used.
  • the state vector may include two-dimensional location coordinates of a point to be tracked, a translational velocity, a yaw rate, a yaw angle, and so on.
  • the computing unit can determine the current radius of movement based on the movement model or based on the ratio of the translation speed to the angular speed of the object.
  • the center of the corresponding circle can also be determined, with the line connecting the center of the circle and the point to be tracked being perpendicular to the direction of movement of the point to be tracked.
  • the point to be tracked can then be shifted on the circle by an angle corresponding to the angular difference between the geometric orientation and the direction of movement, so as to determine an optimal shifted point for tracking.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Gemäß einem Verfahren zur Objektverfolgung wird ein erster Zustand eines Objekts (5), der eine erste Bewegungsrichtung (6a) eines zu verfolgenden Punkts (8a) beinhaltet, anhand eines Bewegungsmodells geschätzt. Es werden Umfeldsensordaten erzeugt, die das zu verfolgende Objekt (5) darstellen und basierend darauf wird eine geometrische Orientierung des zu verfolgenden Objekts (5) bestimmt. Der zu verfolgende Punkt (8a) wird abhängig von einer Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung verschoben und ein zweiter Zustand des zu verfolgenden Objekts (5) wird abhängig von dem verschobenen Punkt (8b) bestimmt.

Description

Objektverfolgung basierend auf einem Bewegungsmodell
Die vorliegende Erfindung betrifft ein Verfahren zur Objektverfolgung, wobei mittels wenigstens einer Recheneinheit ein erster Zustand eines zu verfolgenden Objekts anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt geschätzt wird, wobei der erste Zustand eine erste Bewegungsrichtung eines zu verfolgenden Punkts beinhaltet, dessen Position bezüglich des zu verfolgenden Objekts vorgegeben ist und mittels eines Umfeldsensorsystems Umfeldsensordaten erzeugt werden, welche das zu verfolgende Objekt darstellen. Die Erfindung betrifft außerdem ein Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs, ein elektrisches Fahrzeugführungssystem und ein Computerprogrammprodukt.
Beim automatischen oder teilweise automatischen Führen eines Ego-Fahrzeugs, also beispielsweise im Kontext von Fahrerassistenzsystemen oder autonomen beziehungsweise teilautonomen Fahrfunktionen, ist die Objektverfolgung aus Sicht des Ego-Fahrzeugs, wobei es sich bei dem Objekt beispielsweise um weitere Verkehrsteilnehmer oder weitere Fahrzeuge in der Umgebung des Ego-Fahrzeugs handelt, eine zentrale Aufgabe, um eine sichere und zuverlässige automatische oder teilweise automatische Fahrt oder Fahrerunterstützung gewährleisten zu können. Um zukünftige Zustände des zu verfolgenden Objekts abzuschätzen, werden beispielsweise iterative Verfahren verwendet, die bekannte Bewegungsmodelle voraussetzen, welche das dynamische Verhalten des zu verfolgenden Objekts näherungsweise beschreiben, eingesetzt. Ein mögliches und weit verbreitetes Bewegungsmodell ist das sogenannte Einspurmodell.
In der Veröffentlichung R. Schubert et.al.: „Comparison and evaluation of advanced motion models for vehicle tracking“, 2008, 11 th International Conference on Information Fusion, 2008, pp. 1-6, werden verschiedene weitere Bewegungsmodelle, die sich zur Objektverfolgung im Automobilkontext eignen, vorgestellt und verglichen.
Zur Zustandsvorhersage und Verifizierung beziehungsweise Verfeinerung werden beispielsweise Kalman-Filterverfahren oder Derivate davon, beispielsweise ein erweitertes Kalman-Filterverfahren, ein Unscented Kalman-Filterverfahren und so weiter verwendet. Es ist eine Aufgabe der vorliegenden Erfindung, die Genauigkeit der Objektverfolgung basierend auf einem Bewegungsmodell, insbesondere der Verfolgung externer Fahrzeuge aus Sicht eines Ego-Fahrzeugs basierend auf einem Bewegungsmodell, zu erhöhen.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, einen Punkt des zu verfolgenden Objekts, der anhand des Bewegungsmodells verfolgt wird beziehungsweise dessen Zustand anhand des Bewegungsmodells geschätzt wird, zu verschieben, sodass die resultierende Bewegungsrichtung des verschobenen Punkts besser mit einer geometrischen Orientierung des zu verfolgenden Objekts, wie es anhand von Umfeldsensordaten gegeben ist, übereinstimmt.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Objektverfolgung angegeben. Dabei wird mittels wenigstens einer Recheneinheit, insbesondere eines Ego-Fahrzeugs, ein erster Zustand eines zu verfolgenden Objekts, das sich insbesondere in einer Umgebung des Ego-Fahrzeugs befindet, anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt geschätzt. Der erste Zustand beinhaltet dabei eine erste Bewegungsrichtung eines zu verfolgenden Punkts. Mittels eines Umfeldsensorsystems, insbesondere des Ego-Fahrzeugs, werden Umfeldsensordaten erzeugt, welche das zu verfolgende Objekt darstellen. Mittels der wenigstens einen Recheneinheit wird basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts bestimmt. Der zu verfolgende Punkt wird mittels der wenigstens einen Recheneinheit abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung verschoben. Mittels der wenigstens einen Recheneinheit wird ein zweiter Zustand des zu verfolgenden Objekts abhängig von dem ersten Zustand und dem verschobenen Punkt bestimmt.
Der zu verfolgende Punkt weist eine vordefinierte Position bezüglich des zu verfolgenden Objekts auf. Der zu verfolgende Punkt kann dabei auf oder in dem Objekt liegen, kann jedoch auch außerhalb des Objekts liegen. Es handelt sich also insbesondere um einen virtuellen Punkt, der anhand des Bewegungsmodells verfolgt wird. Der Zustand, insbesondere der erste und der zweite Zustand, des zu verfolgenden Objekts beinhaltet die entsprechende Bewegungsrichtung des zu verfolgenden Objekts und gegebenenfalls weitere Modellparameter, beispielsweise eine Geschwindigkeit, Beschleunigung und/oder Position des zu verfolgenden Punkts und so weiter. Gemäß dem Bewegungsmodell entspricht die Bewegungsrichtung des Zustands, also insbesondere des ersten Zustands, der Bewegungsrichtung des zu verfolgenden Punkts. Im Rahmen des erfindungsgemäßen Verfahrens wird dieser Punkt jedoch in den verschobenen Punkt überführt, sodass der zweite Zustand anstelle der Bewegungsrichtung des zu verfolgenden Punkts beispielsweise die Bewegungsrichtung des verschobenen Punkts beinhaltet.
Die Bewegungsrichtung des zu verfolgenden Objekts stellt einen besonders gut geeigneten Modellparameter dar. Die Bewegungsrichtung kann einerseits im Rahmen des Bewegungsmodells geschätzt werden und andererseits anhand des Umfeldsensorsystems des Ego-Fahrzeugs, beispielsweise anhand von Kameras, Lidarsystemen oder Radarsystemen, direkt oder indirekt gemessen werden. Hierzu können insbesondere Computer-Vision-Algorithmen oder sonstige Algorithmen zur automatisierten Wahrnehmung eingesetzt werden, um ausgehend von den Umfeldsensordaten entsprechende Messwerte für die Bewegungsrichtung zu erhalten.
Im Allgemeinen setzt sich die Bewegung des zu verfolgenden Punktes aus der Translationsbewegung und einer Rotationsbewegung zusammen. Die erste Bewegungsrichtung kann insbesondere als Bewegungsrichtung der Translationsbewegung des zu verfolgenden Punktes verstanden werden.
Die erste Bewegungsrichtung und die geometrische Orientierung können beispielsweise durch entsprechende Winkel in einem bekannten Koordinatensystem gegeben sein. Die erste Abweichung entspricht daher insbesondere einer Winkeldifferenz oder einem Absolutwert der entsprechenden Winkeldifferenz.
Die geometrische Orientierung des zu verfolgenden Objekts kann beispielsweise durch eine bezüglich des zu verfolgenden Objekts fest vorgegebene konstante Richtung gegeben sein. Die geometrische Orientierung eines Fahrzeugs kann beispielsweise durch dessen Längsachse beziehungsweise die Richtung der Längsachse gegeben sein. Diese kann beispielsweise wenigstens näherungsweise durch die Ausrichtung oder Orientierung einer Begrenzungsfigur, auch als Begrenzungsbox (englisch: „Bounding Box“) bezeichnet, bestimmt werden, welche die wenigstens eine Recheneinheit basierend auf den Umfeldsensordaten bestimmen kann. Die Begrenzungsfigur kann beispielsweise einem Rechteck oder einem Quader entsprechen, welches das zu verfolgende Objekt in der Darstellung durch die Umfeldsensordaten, also beispielsweise in einem entsprechenden Kamerabild oder in einer entsprechenden Lidar- oder Radarpunktwolke, einschließt.
Betrachtet man verschiedene Punkt auf dem zu verfolgenden Objekt oder mit einer vordefinierten Lage zu dem zu verfolgenden Objekt, so ist die Bewegungsrichtung der Punkte bei einer allgemeinen Bewegung des zu verfolgenden Objekts im Allgemeinen unterschiedlich. Dementsprechend weicht die Bewegungsrichtung des zu verfolgenden Punkts im Allgemeinen von der geometrischen Orientierung ab, sodass die erste Abweichung im Allgemeinen von null verschieden ist.
Durch die Berücksichtigung der ersten Abweichung zur Bestimmung des zweiten Zustands des zu verfolgenden Objekts kann daher eine genauere und zuverlässigere Schätzung weiterer Zustände des zu verfolgenden Objekts ermöglicht werden. Dazu kann die Verschiebung des zu verfolgenden Punkts, um den verschobenen Punkt zu erhalten, beispielsweise umso größer sein, je größer die erste Abweichung ist.
Die Schätzung des ersten Zustands kann beispielsweise anhand eines Kalman- Filteralgorithmus oder basierend auf einem anderen mathematischen Schätzalgorithmus, insbesondere einem iterativen Schätzalgorithmus, erfolgen. Solche Verfahren beinhalten es in der Regel, einen Zustand des zu verfolgenden Objekts zu schätzen, insbesondere basierend auf dem Bewegungsmodell, und den geschätzten Zustand unter Berücksichtigung von Messwerten, insbesondere der Umfeldsensordaten, zu verfeinern oder zu verbessern. Dadurch kann zum einen das Bewegungsmodell zugrunde gelegt werden, es können aber auch entsprechende tatsächliche Messwerte erfasst werden, um Abweichungen vom idealen oder erwarteten Verhalten zu berücksichtigen. Im Kontext der Erfindung kann dann der erste Zustand beispielsweise dem anhand des Bewegungsmodells geschätzten Zustand entsprechen und der zweite Zustand dem anhand der Umfeldsensordaten verbesserten oder verfeinerten Zustand. Der erste und der zweite Zustand beziehen sich in solchen Fällen insbesondere auf denselben Zeitabschnitt beziehungsweise denselben Iterationsschritt.
Erfindungsgemäß wird nun der Verfeinerungsschritt, also der Schritt zum Bestimmen des zweiten Zustands des zu verfolgenden Objekts, nicht basierend auf dem zu verfolgenden Punkt, dessen Bewegungsrichtung als erste Bewegungsrichtung und Teil des ersten Zustands geschätzt wurde, durchgeführt, sondern basierend auf dem verschobenen Punkt. Durch die Berücksichtigung der Abweichung der ersten Bewegungsrichtung von der geometrischen Orientierung kann insbesondere eine zweite Abweichung der Bewegungsrichtung des verschobenen Punkts von der geometrischen Orientierung kleiner sein als die erste Abweichung oder im Idealfall gleich null sein. Auf diese Weise wird eine bessere Übereinstimmung des verfeinerten Schätzzustands mit dem Bewegungsmodell erreicht. Insgesamt kann so, insbesondere bei wiederholter Ausführung der genannten Verfahrensschritte in iterativer Weise, ein Fehler bei der Objektverfolgung verringert werden und dementsprechend eine Genauigkeit und Zuverlässigkeit der Objektverfolgung erhöht werden. Schlussendlich wird dadurch die Sicherheit einer Fahrerassistenzfunktion oder einer Funktion zum automatischen oder teilweise automatischen Fahren des Ego-Fahrzeugs, das auf der Ausgabe des Objektverfolgungsverfahrens beruht, erhöht.
Die Verbesserung der Genauigkeit durch die Erfindung ist dabei umso größer, je größer die erste Abweichung der ersten Bewegungsrichtung von der geometrischen Orientierung des zu verfolgenden Objekts ist. Daher kann die Verbesserung der Genauigkeit insbesondere umso stärker ausfallen, je größer das Objekt ist.
Je nach Ausführungsform kann das Umfeldsensorsystem eines oder mehrere Teilsysteme beinhalten, beispielsweise eine oder mehrere Kameras, eines oder mehrere Lidarsensorsysteme und/oder eines oder mehrere Radarsensorsysteme. Dementsprechend können die Umfeldsensordaten eines oder mehrere Kamerabilder, eine oder mehrere Lidarpunktwolken und/oder eine oder mehrere Radarpunktwolken beinhalten.
Gemäß zumindest einer Ausführungsform des erfindungsgemäßen Verfahrens zur Objektverfolgung wird, insbesondere mittels der wenigstens einen Recheneinheit, basierend auf dem ersten Zustand ein momentaner Bewegungsradius des zu verfolgenden Punkts bestimmt. Das Verschieben des zu verfolgenden Punkts erfolgt dann abhängig von dem momentanen Bewegungsradius.
Dabei liegen sowohl der zu verfolgende Punkt als auch der verschobene Punkt auf einem Kreisbogen, der dem momentanen Bewegungsradius entspricht. Insbesondere kann die wenigstens eine Recheneinheit einen Kreismittelpunkt des Kreisbogens und den momentanen Bewegungsradius basierend auf dem ersten Zustand bestimmen. Das Verschieben des zu verfolgenden Punkts erfolgt abhängig von der ersten Abweichung und abhängig von dem momentanen Bewegungsradius. Insbesondere erfolgt eine umso stärkere Verschiebung, je größer die erste Abweichung ist und je größer der momentane Bewegungsradius ist. Dadurch kann die Abweichung der geometrischen Orientierung von einer zweiten Bewegungsrichtung des verschobenen Punkts gegenüber der ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung des zu verfolgenden Punkts wenigstens teilweise kompensiert werden.
Gemäß zumindest einer Ausführungsform enthält der erste Zustand eine Translationsgeschwindigkeit des zu verfolgenden Objekts, insbesondere des zu verfolgenden Punkts und eine Winkelgeschwindigkeit des zu verfolgenden Punkts. Der momentane Bewegungsradius wird, insbesondere mittels der wenigstens einen Recheneinheit, als Verhältnis der Translationsgeschwindigkeit zu der Winkelgeschwindigkeit bestimmt, also als Quotient der Translationsgeschwindigkeit und der Winkelgeschwindigkeit.
Die Translationsgeschwindigkeit ist dabei insbesondere parallel zur ersten Bewegungsrichtung und die Winkelgeschwindigkeit entspricht einer Winkelgeschwindigkeit um den Kreismittelpunkt entsprechend des momentanen Bewegungsradius. Auf diese Weise kann der momentane Bewegungsradius zuverlässig bestimmt beziehungsweise abgeschätzt werden.
Gemäß zumindest einer Ausführungsform erfolgt das Verschieben des zu verfolgenden Punkts entlang eines Kreisbogens, der einem Radius gleich dem momentanen Bewegungsradius aufweist. Mit anderen Worten liegen der zu verfolgende Punkt und der verschobene Punkt auf einem Kreisbogen.
Gemäß zumindest einer Ausführungsform wird die erste Abweichung als erste Winkeldifferenz zwischen der geometrischen Orientierung und der ersten Bewegungsrichtung bestimmt. Das Verschieben erfolgt um einen Kreisbogenabschnitt des Kreisbogens, wobei der Kreisbogenabschnitt eine Länge L aufweist, die gegeben ist durch L = D*R, wobei D die erste Winkeldifferenz bezeichnet und R den momentanen Bewegungsradius bezeichnet.
Für kleine erste Winkeldifferenzen kann so eine sehr genaue Verschiebung derart erfolgen, dass die erste Abweichung möglichst kompensiert wird, die zweite Abweichung der zweiten Bewegungsrichtung des verschobenen Punkts zu der geometrischen Orientierung also näherungsweise gleich null ist. So wird eine besonders gute Übereinstimmung mit dem Bewegungsmodell erreicht.
Gemäß zumindest einer Au sfüh rungsform enthält der zweite Zustand die zweite Bewegungsrichtung des verschobenen Punkts. Die zweite Abweichung der geometrischen Orientierung von der zweiten Bewegungsrichtung ist kleiner als die erste Abweichung, insbesondere gleich null oder näherungsweise gleich null.
Gemäß zumindest einer Au sfüh rungsform ist die zweite Bewegungsrichtung gleich der geometrischen Orientierung oder näherungsweise gleich der geometrischen Orientierung.
Mit anderen Worten ist die zweite Abweichung in diesem Fall wenigstens näherungsweise gleich null. So lässt sich eine gute Übereinstimmung mit dem Bewegungsmodell erzielen.
Gemäß zumindest einer Ausführungsform wird basierend auf den Umfeldsensordaten eine Punktwolke erzeugt oder die Umfeldsensordaten beinhalten die Punktwolke. Es wird ein Teil der Punktwolke identifiziert, der das zu verfolgende Objekt darstellt. Eine Begrenzungsfigur wird bestimmt, insbesondere mittels der wenigstens einen Recheneinheit, die den Teil der Punktwolke einschließt, wobei die Begrenzungsfigur eine vordefinierte geometrische Form aufweist. Die geometrische Orientierung des zu verfolgenden Objekts entspricht einer räumlichen Ausrichtung der Begrenzungsfigur.
Durch die Vorgabe der geometrischen Form der Begrenzungsfigur, beispielsweise durch eine entsprechende Symmetrie oder, im Falle eines Polygons, die Anzahl der Seiten, kann die geometrische Orientierung entsprechend der räumlichen Ausrichtung der Begrenzungsfigur eindeutig definiert werden. Insbesondere handelt es sich bei der Begrenzungsfigur um ein Rechteck oder einen Quader. Dabei kann, je nach Ausführungsform, ein Seitenverhältnis des Rechtecks beziehungsweise des Quaders vorgegeben oder variabel sein.
Die Punktwolke entspricht insbesondere einer Lidarpunktwolke oder einer Radarpunktwolke. Die Punktwolke beinhaltet dabei eine Vielzahl von Punkten. Der Teil der Punktwolke, der das zu verfolgende Objekt darstellt, entspricht einer Untermenge der Punktwolke. Das Bestimmen beziehungsweise Identifizieren des Teils der Punktwolke, der das zu verfolgende Objekt darstellt, kann beispielsweise durch Anwendung eines Clusterverfahrens erreicht werden. Solche Ausführungsformen haben den Vorteil, dass entsprechende Begrenzungsfiguren anhand bekannter Methoden bestimmt werden können, sodass die erste Abweichung genau bestimmt und kompensiert werden kann. Insbesondere lässt sich durch die Verwendung einer rechteckigen oder quaderförmigen Begrenzungsfigur ein reproduzierbares und verlässliches Ergebnis der Bestimmung der geometrischen Orientierung erreichen.
Gemäß zumindest einer Ausführungsform wird basierend auf den Umfeldsensordaten ein Kamerabild erzeugt oder die Umfeldsensordaten beinhalten das Kamerabild. Es wird eine Begrenzungsfigur bestimmt, welche die Darstellung des zu verfolgenden Objekts in dem Kamerabild einschließt, wobei die Begrenzungsfigur eine vordefinierte Form hat. Die geometrische Orientierung des zu verfolgenden Objekts entspricht einer räumlichen Ausrichtung der Begrenzungsfigur.
Für die Begrenzungsfigur gilt dabei das oben zur Begrenzungsfigur des Teils der Punktwolke analog. Die Begrenzungsfigur kann in solchen Ausführungsformen beispielsweise anhand eines Objekterkennungsalgorithmus mittels der wenigstens einen Recheneinheit bestimmt werden. Dabei kann es sich beispielsweise um einen auf maschinelles Lernen basierenden Algorithmus handeln, beispielsweise um einen
Algorithmus, der auf einem trainierten künstlichen neuronalen Netzwerk beruht. Hierzu sind zahlreiche Architekturen bekannt, beispielsweise entsprechend dem sogenannten YOLO-Algorithmus. Gemäß zumindest einer Ausführungsform wird zum Bestimmen des zweiten Zustands ein auf einem Kalman-Filter basierendes Verfahren verwendet.
Das auf den Kalman-Filter basierende Verfahren kann beispielsweise einem Kalman- Filterverfahren, einem erweiterten Kalman-Filterverfahren, einem Unscented Kalman- Filterverfahren oder einem sonstigen Derivat des Kalman-Filterverfahrens entsprechen.
In einem Iterationsschritt des Kalman-Filterverfahrens wird dabei zunächst der erste Zustand geschätzt, was auch als Prädiktion bezeichnet wird. Sodann wird beispielsweise ein Kalman-Gain-Faktor oder dergleichen bestimmt und anhand diesem wird die Prädiktion verbessert, insbesondere abhängig von den entsprechenden Messwerten, hier den Umfeldsensordaten, um den zweiten Zustand zu bestimmen, was auch als Verfeinerung oder Refinement bezeichnet werden kann. Erfindungsgemäß erfolgt das Refinement jedoch nicht basierend auf dem ursprünglichen zu verfolgenden Punkt, sondern auf dem verschobenen Punkt. Auf diese Weise können etablierte auf dem Kalman-Filter basierende Verfahren oder dergleichen befähigt werden, eine genauere Objektverfolgung zu erzielen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs, bei dem es sich insbesondere um ein Kraftfahrzeug handelt, angegeben. Mittels des Ego-Fahrzeugs, insbesondere eines elektronischen Fahrzeugführungssystems des Ego-Fahrzeugs, das das Umfeldsensorsystem sowie die wenigstens eine Recheneinheit beinhaltet, wird ein erfindungsgemäßes Verfahren zur Objektverfolgung durchgeführt. Mittels einer Steuereinheit des Ego-Fahrzeugs, insbesondere des elektronischen Fahrzeugführungssystems, beispielsweise der wenigstens einen Recheneinheit, wird abhängig von dem zweiten Zustand des zu verfolgenden Objekts wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Ego-Fahrzeugs erzeugt.
Beispielsweise wird das wenigstens eine Steuersignal wenigstens einem entsprechenden Aktuator des Ego-Fahrzeugs zugeführt, welcher das Ego-Fahrzeug basierend auf dem wenigstens einen Steuersignal dann wenigstens teilweise automatisch führen beziehungsweise die wenigstens teilweise automatische Führung implementieren können. Alternativ oder zusätzlich kann das wenigstens eine Steuersignal auch zur Fahrerassistenz für einen Fahrer des Ego-Fahrzeugs eingesetzt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Ego-Fahrzeug angegeben. Das elektronische Fahrzeugführungssystem weist wenigstens eine Recheneinheit auf, die dazu eingerichtet ist, einen ersten Zustand eines zu verfolgenden Objekts, insbesondere in der Umgebung des Ego-Fahrzeugs, anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt zu schätzen, wobei der erste Zustand eine erste Bewegungsrichtung eines zu verfolgenden Punkts beinhaltet. Das elektronische Fahrzeugführungssystem weist ein Umfeldsensorsystem für das Ego-Fahrzeug auf, das dazu eingerichtet ist, Umfeldsensordaten zu erzeugen, welche das zu verfolgende Objekt darstellen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts zu bestimmen, den zu verfolgenden Punkt abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung zu verschieben und einen zweiten Zustand des zu verfolgenden Objekts abhängig von dem ersten Zustand und dem verschobenen Punkt zu bestimmen.
Weitere Au sfüh rungsformen des elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Ausgestaltungsformen des erfindungsgemäßen Verfahrens zur Objektverfolgung beziehungsweise des erfindungsgemäßen Verfahrens zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs und jeweils umgekehrt. Insbesondere ist ein elektronisches Fahrzeugführungssystem gemäß der Erfindung dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen oder führt ein solches Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Wenn die Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere durch die wenigstens eine Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zur Objektverfolgung oder ein erfindungsgemäßes Verfahren zum wenigstens teilweise automatischen Führen eines Ego-Fahrzeugs durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes Computerprogramm speichert.
Das erfindungsgemäße Computerprogramm und das erfindungsgemäße computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Kraftfahrzeug vollautomatisch oder vollautonom zu führen oder zu steuern, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Kraftfahrzeug beziehungsweise das elektronische Fahrzeugführungssystem führt dabei alle erforderlichen Funktionen, wie gegebenenfalls erforderliche Lenk-, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie die damit verbundenen erforderlichen Reaktionen selbsttätig und vollautomatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 dienen. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance System“, ADAS) verstanden werden, welches den Fahrer bei einer teilweise automatisierten oder teilautonomen Fahrt des Kraftfahrzeugs unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem zur Implementierung eines teilweise automatisierten oder teilautonomen Fahrmodus des Kraftfahrzeugs nach einer der Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung dienen. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Kraftfahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Kraftfahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach einer der Stufen 1 bis 4 nach SAE J3016 zu führen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated Circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „System on a Chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central Processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics Processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten. Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen elektronischen Fahrzeugführungssystems, insbesondere die wenigstens eine Recheneinheit oder die Steuereinheit des elektronischen Fahrzeugführungssystems dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Ein Objekterkennungsalgorithmus kann als Computeralgorithmus verstanden werden, der in der Lage ist, eines oder mehrere Objekte innerhalb eines bereitgestellten Eingabebildes zu identifizieren, indem er entsprechende Begrenzungsfiguren oder Begrenzungsboxen (englisch: "bounding boxes") festlegt und jeder der Begrenzungsboxen eine entsprechende Objektklasse zuordnet, wobei die Objektklassen aus einem vordefinierten Satz von Objektklassen ausgewählt werden können. Dabei kann die Zuweisung einer Objektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identifizierte Objekt zu der entsprechenden Objektklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für jede der Objektklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Objektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Objektklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Objektklasse zuzuordnen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
In den Figuren zeigen: Fig. 1 eine schematische Darstellung eines Ego-Fahrzeugs mit einer beispielhaften Ausführungsform eines erfindungsgemäßen elektronischen Fahrzeugführungssystems; und
Fig. 2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Objektverfolgung.
In der Fig. 1 ist schematisch ein Ego-Fahrzeug 1 gezeigt, das eine beispielhafte Ausführungsform eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung aufweist. Ferner ist ein zu verfolgendes Objekt 5 in der Umgebung des Ego-Fahrzeugs 1 dargestellt. Bei dem zu verfolgenden Objekt 5 handelt es sich insbesondere um ein weiteres Fahrzeug, das schematisch lediglich als Rechteck dargestellt ist.
Das elektronische Fahrzeugführungssystem 2 beinhaltet eine Recheneinheit 3, die beispielsweise als Steuergerät, ECU, des Ego-Fahrzeugs 1 ausgestaltet sein kann oder Teil eines Steuergeräts sein kann. Das elektronische Fahrzeugführungssystem 2 weist außerdem ein Umfeldsensorsystem 4a, 4b auf, beispielsweise eine Kamera 4b und/oder ein Lidarsystem 4a und/oder ein Radarsystem (nicht dargestellt).
Das Fahrzeugführungssystem 2 ist dazu in der Lage, ein erfindungsgemäßes Verfahren zur Objektverfolgung durchzuführen. Ein entsprechendes Ablaufdiagramm eines solchen Verfahrens ist schematisch in Fig. 2 dargestellt.
In Schritt S1 des Verfahrens wird beispielsweise ein initialer Zustand des zu verfolgenden Objekts 5 anhand eines vorgegebenen Bewegungsmodells, beispielsweise eines Einspurmodells, bestimmt. Dazu kann die Recheneinheit 3 beispielsweise Umfeldsensordaten des Umfeldsensorsystems 4a, 4b verwenden. Im Schritt S2 wird ein erster Zustand des zu verfolgenden Objekts 5 anhand des vorgegebenen Bewegungsmodells mittels der Recheneinheit 3 geschätzt oder prädiziert, wobei der erste Zustand eine erste Bewegungsrichtung 6a eines zu verfolgenden Punkts 8a des zu verfolgenden Objekts 5 beinhaltet. Ferner werden in Schritt S2 mittels des Umfeldsensorsystems 4a, 4b Umfeldsensordaten erzeugt, die das zu verfolgende Objekt 5 darstellen.
In Schritt S3 bestimmt die Recheneinheit 3 basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts 5. Dazu kann die Recheneinheit 3 beispielsweise einen Objekterkennungsalgorithmus auf ein Kamerabild der Kamera 4b anwenden und/oder einen Clusteralgorithmus auf eine Punktwolke des Lidarsystems 4a. Auf diese Weise kann die Recheneinheit 3 eine Begrenzungsfigur ermitteln, die das zu verfolgende Objekt 5 einschließt. In Fig. 1 ist als Begrenzungsfigur 7 ein Rechteck dargestellt. Die geometrische Orientierung entspricht dann einer vorgegebenen räumlichen Ausrichtung der Begrenzungsfigur 7, beispielsweise ist die geometrische Orientierung parallel zu einer Seite der Begrenzungsfigur 7, insbesondere zu der längeren Seite des Rechtecks.
Die Recheneinheit 3 bestimmt basierend auf den Umfeldsensordaten ferner einen momentanen Bewegungsradius des zu verfolgenden Objekts, der einem Radius eines Kreises 9 entspricht. Der zu verfolgende Punkt 8a wird dann durch die Recheneinheit 3 entlang des Kreises 9 um einen Kreisbogenabschnitt 10 der Länge L = D*R verschoben, sodass ein verschobener Punkt 8b resultiert. Dabei entspricht R dem Radius des Kreises 9 und D entspricht einer Winkeldifferenz zwischen der ersten Bewegungsrichtung 6a des zu verfolgenden Punkts 8a und der geometrischen Orientierung des zu verfolgenden Objekts 5. Die zweite Bewegungsrichtung 6b des verschobenen Punkts 8b ist dann ebenfalls näherungsweise gleich der geometrischen Orientierung.
Im Schritt S4 kann die Recheneinheit basierend auf dem verschobenen Punkt 8b und insbesondere der zweiten Bewegungsrichtung 6b einen Korrekturfaktor berechnen. Wird beispielsweise ein auf einem Kalman-Filter basierender Ansatz verfolgt, so kann der Korrekturfaktor einem entsprechenden Kalman-Verstärkungsfaktor entsprechen. Im Schritt S4 wird dann der Zustand des zu verfolgenden Objekts 5 abhängig von dem Korrekturfaktor, der wiederum abhängig von dem verschobenen Punkt 8b bestimmt wird, aktualisiert.
Auf diese Weise kann erreicht werden, dass die zweite Bewegungsrichtung 6b, die zur Aktualisierung des Zustands des zu verfolgenden Objekts herangezogen wird, wenigstens näherungsweise mit der geometrischen Orientierung des zu verfolgenden Objekts 5 übereinstimmt, sodass eine exaktere Objektverfolgung ermöglicht wird.
In verschiedenen Au sfüh rungsformen der Erfindung wird der zu verfolgende Punkt auf einen Punkt verschoben, der insbesondere keine Quergeschwindigkeit aufweist, also einem Punkt entspricht, der sich in die geometrische Orientierungsrichtung des zu verfolgenden Objekts bewegt.
Bei dem zu verfolgenden Objekt handelt es sich insbesondere um ein Fahrzeug, beispielsweise einen Kraftwagen mit zwei Achsen. Falls kein Radschlupf in Querrichtung vorliegt, kann der verschobene Punkt beispielsweise auf einer nicht steuerbaren Achse, also einer Achse mit nicht steuerbaren Rädern, des Fahrzeugs liegen. Falls Radschlupf in Querrichtung vorliegt, das Fahrzeug jedoch nicht um sich selbst rotiert, und das Fahrzeug eine gesteuerte und eine nicht gesteuerte Achse aufweist, kann der verschobene Punkt beispielsweise zwischen den beiden Achsen liegen. Im allgemeinen Fall, in dem zusätzlich zum Radschlupf in Querrichtung auch eine Rotation des Fahrzeugs um sich selbst vorliegt und/oder beide Achsen steuerbare Achsen sind, kann der verschobene Punkt auch außerhalb des Fahrzeugs liegen.
Im Allgemeinen kann der verschobene Punkt bestimmt werden, indem die Abweichung zwischen der geometrischen Orientierung des zu verfolgenden Objekts von der Bewegungsrichtung basierend auf dem Bewegungsmodell minimiert wird. In manchen Ausführungsformen kann ein Objektfilter, beispielsweise ein erweiterter Kalman-Filter, verwendet werden, der auf einem entsprechenden Zustandsvektor basiert. Der Zustandsvektor kann beispielsweise zweidimensionale Ortskoordinaten eines zu verfolgenden Punkts, eine Translationsgeschwindigkeit, eine Gierrate, einen Gierwinkel und so weiter beinhalten. Die Recheneinheit kann basierend auf dem Bewegungsmodell oder basierend auf dem Verhältnis der Translationsgeschwindigkeit zur Winkelgeschwindigkeit des Objekts, den momentanen Bewegungsradius bestimmen. Der Mittelpunkt des entsprechenden Kreises kann ebenfalls bestimmt werden, wobei die Verbindungslinie zwischen Kreismittelpunkt und zu verfolgendem Punkt senkrecht zur Bewegungsrichtung des zu verfolgenden Punkts ist. Der zu verfolgende Punkt kann dann auf dem Kreis um einen Winkel verschoben werden, welcher der Winkeldifferenz zwischen der geometrischen Orientierung und der Bewegungsrichtung entspricht, um so einen optimal verschobenen Punkt zur Verfolgung zu bestimmen.

Claims

Patentansprüche
1. Verfahren zur Objektverfolgung, wobei mittels wenigstens einer Recheneinheit (3) ein erster Zustand eines zu verfolgenden Objekts (5) anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt (5) geschätzt wird, wobei der erste Zustand eine erste Bewegungsrichtung
(6a) eines zu verfolgenden Punkts (8a) beinhaltet; und mittels eines Umfeldsensorsystems (4a, 4b) Umfeldsensordaten erzeugt werden, welche das zu verfolgende Objekt (5) darstellen; dadurch gekennzeichnet, dass - mittels der wenigstens einen Recheneinheit (3) basierend auf den
Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts (5) bestimmt wird; der zu verfolgende Punkt (8a) mittels der wenigstens einen Recheneinheit (3) abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung (6a) verschoben wird; und mittels der wenigstens einen Recheneinheit (3) ein zweiter Zustand des zu verfolgenden Objekts (5) abhängig von dem ersten Zustand und dem verschobenen Punkt (8b) bestimmt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass basierend auf dem ersten Zustand ein momentaner Bewegungsradius des zu verfolgenden Punkts (8a) bestimmt wird; und das Verschieben des zu verfolgenden Punkts (8a) abhängig von dem momentanen Bewegungsradius erfolgt.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der erste Zustand eine Translationsgeschwindigkeit des zu verfolgenden Punktes (8a) und eine Winkelgeschwindigkeit des zu verfolgenden Punktes (8a) enthält; und der momentane Bewegungsradius als Verhältnis der Translationsgeschwindigkeit zu der Winkelgeschwindigkeit bestimmt wird.
4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Verschieben des zu verfolgenden Punktes (8a) entlang eines Kreisbogens (9), der einen Radius gleich dem momentanen Bewegungsradius aufweist, erfolgt.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die erste Abweichung als erste Winkeldifferenz zwischen der geometrischen
Orientierung und der ersten Bewegungsrichtung (6a) bestimmt wird; das Verschieben um einen Kreisbogenabschnitt (10) erfolgt, der eine Länge L =
D*R aufweist, wobei D die erste Winkeldifferenz bezeichnet und R den momentanen Bewegungsradius bezeichnet.
6. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass der zweite Zustand eine zweite Bewegungsrichtung (6b) des verschobenen Punktes (8b) enthält und eine zweite Abweichung der geometrischen Orientierung von der zweiten Bewegungsrichtung (6b) kleiner ist als die erste Abweichung.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die zweite Bewegungsrichtung (6b) gleich der geometrischen Orientierung ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf den Umfeldsensordaten eine Punktwolke erzeugt wird oder die Umfeldsensordaten die Punktwolke beinhalten; ein Teil der Punktwolke identifiziert wird, der das zu verfolgende Objekt (5) darstellt; eine Begrenzungsfigur (7) bestimmt wird, die den Teil der Punktwolke einschließt, wobei die Begrenzungsfigur (7) eine vordefinierte Form hat; die geometrische Orientierung des zu verfolgenden Objekts (5) einer räumlichen Ausrichtung der Begrenzungsfigur (7) entspricht.
9. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass basierend auf den Umfeldsensordaten ein Kamerabild erzeugt wird oder die Umfeldsensordaten das Kamerabild beinhalten; eine Begrenzungsfigur (7) bestimmt wird, die die Darstellung des zu verfolgenden Objekts (5) in dem Kamerabild einschließt, wobei die Begrenzungsfigur (7) eine vordefinierte Form hat; die geometrische Orientierung des zu verfolgenden Objekts (5) einer räumlichen Ausrichtung der Begrenzungsfigur (7) entspricht.
10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass die vordefinierte Form der Begrenzungsfigur (7) einem Rechteck entspricht und die räumliche Ausrichtung der Begrenzungsfigur (7) parallel zu einer Seite des Rechtecks ist; oder die vordefinierte Form der Begrenzungsfigur (7) einem Quader entspricht und die räumliche Ausrichtung der Begrenzungsfigur (7) parallel zu einer Kante des Quaders Rechtecks ist.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen des zweiten Zustands ein auf einem Kalman-Filter basierendes Verfahren verwendet wird.
12. Verfahren zum wenigstens teilweise automatischen Führen eines Ego- Fahrzeugs (1), dadurch gekennzeichnet dass mittels des Ego-Fahrzeugs (1) ein Verfahren zur Objektverfolgung nach einem der vorhergehenden Ansprüche durchgeführt wird; mittels einer Steuereinheit des Ego-Fahrzeugs (1) abhängig von dem zweiten Zustand des zu verfolgenden Objekts (5) wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Ego-Fahrzeugs (1) erzeugt wird.
13. Elektronisches Fahrzeugführungssystem (2) für ein Ego-Fahrzeug (1), das elektronische Fahrzeugführungssystem (2) aufweisend wenigstens eine Recheneinheit (3), die dazu eingerichtet ist, einen ersten Zustand eines zu verfolgenden Objekts (5) anhand eines vorgegebenen Bewegungsmodells für das zu verfolgende Objekt (5) zu schätzen, wobei der erste Zustand eine erste
Bewegungsrichtung (6a) eines zu verfolgenden Punkts (8a) beinhaltet; ein Umfeldsensorsystem (4a, 4b), das dazu eingerichtet ist, Umfeldsensordaten zu erzeugen, welche das zu verfolgende Objekt (5) darstellen; dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (3) dazu eingerichtet ist, basierend auf den Umfeldsensordaten eine geometrische Orientierung des zu verfolgenden Objekts (5) zu bestimmen; den zu verfolgenden Punkt (8a) abhängig von einer ersten Abweichung der geometrischen Orientierung von der ersten Bewegungsrichtung (6a) zu verschieben; und einen zweiten Zustand des zu verfolgenden Objekts (5) abhängig von dem ersten Zustand und dem verschobenen Punkt (8b) zu bestimmen.
14. Elektronisches Fahrzeugführungssystem (2) nach Anspruch 13, dadurch gekennzeichnet, dass das Umfeldsensorsystem (4a, 4b) eine Kamera und/oder ein Lidarsystem und/oder ein Radarsystem enthält.
15. Computerprogrammprodukt mit Befehlen, die, wenn sie durch ein elektronisches Fahrzeugführungssystem (2) nach einem der Ansprüche 13 oder 14 ausgeführt werden, das elektronische Fahrzeugführungssystem (2) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
EP22738374.2A 2021-06-29 2022-06-22 Objektverfolgung basierend auf einem bewegungsmodell Pending EP4364093A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021116693.4A DE102021116693A1 (de) 2021-06-29 2021-06-29 Objektverfolgung basierend auf einem Bewegungsmodell
PCT/EP2022/066939 WO2023274795A1 (de) 2021-06-29 2022-06-22 Objektverfolgung basierend auf einem bewegungsmodell

Publications (1)

Publication Number Publication Date
EP4364093A1 true EP4364093A1 (de) 2024-05-08

Family

ID=82446467

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22738374.2A Pending EP4364093A1 (de) 2021-06-29 2022-06-22 Objektverfolgung basierend auf einem bewegungsmodell

Country Status (6)

Country Link
US (1) US20240412381A1 (de)
EP (1) EP4364093A1 (de)
JP (1) JP7717858B2 (de)
KR (1) KR20240023621A (de)
DE (1) DE102021116693A1 (de)
WO (1) WO2023274795A1 (de)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
DE102013018310A1 (de) * 2013-10-31 2015-04-30 Daimler Ag Verfahren zur Bestimmung einer Bewegung eines Objekts
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
US10816344B2 (en) * 2018-03-07 2020-10-27 Aptiv Technologies Limited Method and system for determining the pointing angle of a moving object
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
JP2021067647A (ja) * 2019-10-28 2021-04-30 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両追跡装置
JP7383451B2 (ja) * 2019-10-28 2023-11-20 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両追跡装置
DE102020105192B4 (de) * 2020-02-27 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
US12110042B1 (en) * 2020-10-14 2024-10-08 Aurora Operations, Inc. Systems and methods for generating physically realistic trajectories
EP3985411B1 (de) * 2020-10-19 2025-03-19 Aptiv Technologies AG Verfahren und vorrichtung zur erkennung von objekten

Also Published As

Publication number Publication date
JP2024527543A (ja) 2024-07-25
US20240412381A1 (en) 2024-12-12
DE102021116693A1 (de) 2022-12-29
KR20240023621A (ko) 2024-02-22
WO2023274795A1 (de) 2023-01-05
JP7717858B2 (ja) 2025-08-04

Similar Documents

Publication Publication Date Title
DE112018006161B4 (de) System und Verfahren zum Steuern eines Fahrzeugs
DE102019112413B4 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
DE102019116569A1 (de) LOKALISIERUNG FÜR AUTONOME FAHRZEUGE UNTER VERWENDUNG VON GAUßSCHEN VERMISCHUNGSMODELLEN
DE102017118808A1 (de) Verfahren und Systeme für Fahrzeugpositionierungs-Rückmeldung
DE102009004415B4 (de) Verfahren und Systeme zum Berechnen der Gierverstärkung für die Verwendung bei der Steuerung eines Fahrzeugs
WO2024041833A1 (de) Visuelle wahrnehmung mit einem fahrzeug basierend auf einem kamerabild und einer ultraschallkarte
EP4153943B1 (de) Verfahren zum ermitteln einer ausgangspose eines fahrzeugs
DE102020109883A1 (de) Vorrichtung zur ausweichlenkungsunterstützung, system damit und verfahren davon
WO2025012194A1 (de) Verfahren zum betreiben eines assistenzsystems eines zumindest teilweise assistiert betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem
DE102014215245B4 (de) Bahnplanung für komplexe Dynamiken
DE102020127051A1 (de) Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
DE102023100599A1 (de) Rechnerisch effizientes unüberwachtes dnn-vortraining
WO2023274795A1 (de) Objektverfolgung basierend auf einem bewegungsmodell
DE102017104357A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bewegungsplanung für ein kraftfahrzeug
EP4526842B1 (de) Verfahren zum steuern einer robotervorrichtung
DE102022125766A1 (de) Berechnung von Höheninformationen eines Bordsteins in einer Umgebung einesFahrzeugs
DE102021126527A1 (de) Radarbasierte Objektverfolgung
DE102022124085A1 (de) Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten
DE102025109746B3 (de) Modellprädiktive Steuerung für automatisiertes Fahren in komplexen Geometrien
DE112020007133T5 (de) Fahrzeugrelativpositionsberechnungsvorrichtung und Fahrzeugregelvorrichtung
DE102022111559A1 (de) Positionierung eines Fahrzeugs bezüglich eines Anhängers
DE102023105962A1 (de) Modellierung eines Umrisses eines Objekts
DE102024109531B3 (de) Verfahren zur Kalibrierung eines Kamerasystems sowie Kamerasystem mit Prozessoreinheit
DE102022114097A1 (de) Bewertung einer möglichen Kollision eines Fahrzeugs mit einem Objekt
DE102024126730A1 (de) Auswählen eines Zielfahrzeugs zur Längssteuerung eines Ego-Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231219

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS