EP4499455A1 - Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs - Google Patents

Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs

Info

Publication number
EP4499455A1
EP4499455A1 EP23715059.4A EP23715059A EP4499455A1 EP 4499455 A1 EP4499455 A1 EP 4499455A1 EP 23715059 A EP23715059 A EP 23715059A EP 4499455 A1 EP4499455 A1 EP 4499455A1
Authority
EP
European Patent Office
Prior art keywords
image data
data stream
vehicle
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23715059.4A
Other languages
English (en)
French (fr)
Inventor
Michael Fischer
David Kudlek
David Middrup
Eugen Wige
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4499455A1 publication Critical patent/EP4499455A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G05D1/2248—Optic providing the operator with simple or augmented images from one or more cameras the one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/22—Details of software or hardware architectures used for the control of position using off-board distributed computer resources for performing calculations, e.g. cloud-based

Definitions

  • the present invention relates to a method for detecting the environment, in which a first image data stream is generated by means of a first camera of an ego vehicle, and to a method for teleoperated driving of an ego vehicle.
  • the invention further relates to a corresponding environment detection system, a vehicle guidance system for teleoperated driving of an ego vehicle and a computer program product.
  • a human tele-operator receives access via a computer system external to the vehicle to the data collected from the vehicle's surroundings using various sensor systems, in particular cameras, and can then remotely control the vehicle in order to resolve the situation.
  • the field of vision of a vehicle camera is partially obscured, for example by another vehicle driving in front.
  • the teleoperator may then not be able to take relevant but hidden information into account during remote control, which can pose a security risk.
  • the invention is based on the idea of overcoming restrictions in the field of view of the camera of the vehicle to be driven, which are caused by obscuring objects, such as other vehicles driving in front, by combining an image data stream from a camera of another vehicle with the image data stream of the vehicle to be guided is combined.
  • replacement image data from the image data stream of the another vehicle is shown in a hidden area of the image data stream of the vehicle to be driven.
  • a method for detecting the environment is specified, wherein a first image data stream is generated using a first camera of an ego vehicle.
  • a second image data stream generated by a second camera of a further vehicle is obtained, in particular by means of at least one computing unit.
  • a first field of view represented by the first image data stream overlaps with a second field of view represented by the second image data stream.
  • Based on the first image data stream and the second image data stream an area in the first field of view that is obscured for the first camera and is not obscured for the second camera is identified, in particular by means of the at least one computing unit.
  • replacement image data is generated that corresponds to the area covered by the first camera, in particular by means of the at least one computing unit.
  • a combined image data stream is generated which represents the first field of view. The replacement image data is displayed in an area of the combined image data stream that corresponds to the area hidden for the first camera.
  • the second image data stream is obtained in particular by means of the at least one computing unit, for example by means of at least one vehicle computing unit of the ego vehicle, in particular via a first communication interface for wireless communication, for example V2V or V2X communication.
  • V2V stands for vehicle-to-vehicle
  • V2X stands for vehicle-to-anything.
  • the at least one computing unit contains, for example, the at least one vehicle computing unit and can, for example, contain a computer system external to the vehicle, i.e. a computer system arranged externally to the ego vehicle and the other vehicle.
  • the off-vehicle computer system can be referred to, for example, as a server computer system or backend computer system. In particular, it can be a computer system for teleoperated driving of vehicles, in particular the ego vehicle.
  • the second image data stream is generated in particular by means of the second camera and from the further vehicle, for example a further vehicle computing unit of the further vehicle, in particular via a further communication interface for wireless communication, for example for V2V or V2X communication, to the ego vehicle, in particular the at least one computing unit, for example the at least one vehicle computing unit, in particular via the first communication interface.
  • An image data stream can, for example, be understood as a sequence of two or more consecutive images.
  • the first image data stream in particular corresponding first images of the first image data stream, in particular depict an external environment of the ego vehicle.
  • the first field of view which can also be understood as the field of view of the first camera, lies in particular at least partially in the external environment of the ego vehicle.
  • the second image data stream in particular corresponding second images of the second image data stream, in particular depict an external environment of the further vehicle.
  • the second field of view which can also be understood as the field of view of the second camera, is therefore at least partially in the external environment of the other vehicle.
  • the first and second image data streams generally represent partially matching content.
  • the second image data stream represents content that the first Image data stream does not represent the first camera due to the occlusion.
  • the concealment can be done by an obscuring object in the first field of view.
  • the obscuring object for example, is not necessarily the other vehicle itself.
  • the replacement image data can therefore be generated, for example, based on those image data of the second image data stream which represent a region of the second field of view which also lies in the first field of view and which would be represented by the first image data stream if the obscuring object did not exist.
  • the corresponding image data of the second image data stream can in particular be processed or modified in order to generate the replacement image data, in particular in order to adapt the representation to the first image data stream.
  • the combined image data stream corresponds in particular to a combination of the first image data stream or a processed variant of the first image data stream with the replacement image data.
  • the combined image data stream can, for example, be equal to the first image data stream outside the area that corresponds to the area covered by the first camera.
  • the combined image data stream can correspond, for example, to the replacement image data or to a superposition of the replacement image data with the first image data stream.
  • a transition area between the areas mentioned can also be provided.
  • the combined image data stream therefore contains information through the replacement image data that would otherwise not be available to the ego vehicle due to the obscuration.
  • a viewer of the combined image data stream such as a tele-operator who remotely controls the ego vehicle using teleoperated guidance, can therefore be more comprehensively informed by the ego vehicle about the current conditions in the area around the ego vehicle, which ultimately improves the safety of the teleoperated vehicle Driving the ego vehicle increased.
  • a deviation of one or more extrinsic camera parameters and / or one or more intrinsic camera parameters between the first camera and the second camera is at least partially compensated for, in particular by means of the at least one computing unit, for example by means of the at least a vehicle computing unit, the second image data stream is transformed according to a, for example predetermined, transformation parameter set.
  • the area obscured for the first camera is identified based on the first image data stream and the transformed second image data stream, in particular by means of the at least one computing unit, for example by means of the at least one vehicle computing unit.
  • Extrinsic camera parameters include, for example, a pose, i.e. a position and orientation, of a camera coordinate system of the corresponding camera with respect to a reference coordinate system.
  • the camera coordinate system is rigidly connected to the respective camera.
  • the reference coordinate system can, for example, be rigidly connected to the respective vehicle or to the surroundings of the respective vehicle. It can also be used for cameras of different vehicles common reference coordinate system can be selected.
  • the pose can be defined, for example, by six parameters, for example three position parameters and three orientation parameters.
  • the three position parameters can, for example, be three-dimensional coordinates of a coordinate origin of the camera coordinate system in the reference coordinate system.
  • the three orientation parameters can be, for example, three orientation angles, for example Euler angles, which can also be referred to as pitch, yaw and roll angles.
  • the intrinsic camera parameters may include parameters that define how a point in the area surrounding the camera is imaged by the camera, in particular on an image sensor of the camera.
  • the intrinsic camera parameters can, for example, describe or define an imaging function of a camera lens, a focal length, and so on.
  • the intrinsic camera parameters may also include an aspect ratio, resolution and/or pixel density of the image sensor.
  • the intrinsic camera parameters can also relate to camera-internal preprocessing of the captured image data, i.e. include, for example, parameters relating to white balance, image sharpening, color correction or the like.
  • the combined image data stream is generated based on the first image data stream and the transformed second image data stream, wherein the replacement image data is generated based on the transformed second image data stream, in particular by means of the at least one computing unit, for example by means of the at least one vehicle computing unit.
  • At least one feature is identified, in particular based on the first image data stream and the second image data stream, which is represented by both the first image data stream and the second image data stream, in particular by means of the at least one computing unit, for example by means of the at least one vehicle computing unit .
  • the transformation parameter set is determined depending on a comparison of a representation of the at least one feature in the first image data stream with a representation of the at least one feature in the second image data stream, in particular by means of the at least one computing unit, for example by means of the at least one vehicle computing unit.
  • the effects of the deviation of one or more extrinsic camera parameters and/or one or more intrinsic camera parameters between the first camera and the second camera can be extracted directly from the image data streams.
  • Deviations in the camera parameters which may not have a relevant effect, are advantageously not explicitly taken into account and therefore do not have to be explicitly determined. This makes compensating for the deviation of the camera parameters more efficient.
  • a tone value distribution and/or a color value distribution of the second image data stream is compared with a tone value distribution and/or a color value distribution of the first image data stream, in particular by means of the at least one computing unit, for example by means of the at least one vehicle computing unit. Based on a result of the comparison, the transformed second image data stream is corrected or the second image data stream is corrected before the transformation. The replacement image data is generated based on the transformed and corrected second image data stream.
  • the tone value distribution and/or a color value distribution can be given, for example, by one or more corresponding histograms.
  • the replacement image data is superimposed on the first image data stream, in particular on the area of the first image data stream that corresponds to the area obscured for the first camera, in order to generate the combined image data stream.
  • the replacement image data is partially transparently superimposed on original image data of the first image data stream, which corresponds to the area in the first image data stream that is obscured for the first camera.
  • Both the replacement image data and the original image data are therefore displayed in the combined image data stream.
  • the combined image data stream thus represents both the obscuring object and content that lies behind the obscuring object as seen from the first camera.
  • the viewer for example the teleoperator, can therefore take more information into account when making decisions, which ultimately further increases safety in the application of teleoperated driving of the ego vehicle.
  • the further vehicle is located in the first field of view, in particular the further vehicle is represented by the first image data stream, and the area obscured for the first camera is obscured by the further vehicle for the first camera.
  • the other vehicle is the obscuring object.
  • the additional vehicle can drive ahead of the ego vehicle on a road, in particular on the same lane in which the ego vehicle is located, or on another, for example adjacent, lane.
  • the first camera can be, for example, a camera oriented in the forward direction of travel of the ego motor vehicle, which is also referred to as a front camera.
  • the second camera can be, for example, a front camera of the other vehicle.
  • the area hidden for the first camera is identified by means of the at least one vehicle computing unit of the ego vehicle.
  • the at least one vehicle computing unit can transmit the first image data stream and the second image data stream to the external computer system, in particular via the first communication interface or a second communication interface, and the external computer system can identify the area hidden for the first camera.
  • the replacement image data is determined using the at least one vehicle computing unit of the ego vehicle.
  • the at least one vehicle computing unit can transmit the second image data stream and optionally the first image data stream to the external computer system, in particular via the first communication interface or the second communication interface, and the external computer system can determine the replacement image data.
  • the combined image data stream is generated by means of the at least one vehicle computing unit of the ego vehicle.
  • the at least one vehicle computing unit can transmit the first image data stream to the external computer system, in particular via the first communication interface or a second communication interface.
  • the at least one vehicle computing unit can thus also transmit the second image data stream or the replacement image data to the external computer system.
  • the external computer system can then generate the combined image data stream.
  • the steps of identifying the hidden area, generating the replacement image data and generating the combined image data stream are carried out by the at least one vehicle computing unit.
  • the combined image data stream is transmitted to the external computer system by means of the at least one vehicle computing unit, in particular via the first communication interface or the second communication interface.
  • the combined image data stream is displayed by means of the vehicle-external computer system on a vehicle-external display device, such as one or more screens or monitors or a head-mounted visual output device, also referred to as an HMD (head mounted display).
  • HMD head mounted display
  • the combined image data stream is generated, for example, by means of the at least one vehicle computing unit and transmitted to the external computer system, in particular via the first communication interface or the second communication interface, or the combined image data stream is generated by means of the external computer system.
  • a method for teleoperated driving of an ego vehicle is specified.
  • a method according to the invention for detecting the surroundings is carried out, in particular the combined image data stream being displayed on the display device external to the vehicle using the vehicle-external computer system.
  • a user input in particular from the teleoperator, is recorded by means of the vehicle-external computer system.
  • the ego vehicle is at least partially guided automatically, in particular remotely controlled, depending on the user input.
  • a control command is generated by the vehicle-external computer system depending on the user input and transmitted to the ego vehicle.
  • the ego vehicle is guided at least partially automatically depending on the control command, in particular by means of an ego vehicle guidance system of the ego vehicle.
  • the ego vehicle guidance system can be understood in particular as an electronic system that is set up to guide the ego vehicle fully automatically or fully autonomously, in particular without the driver having to intervene in a control system.
  • the ego vehicle automatically carries out all necessary functions, such as steering, braking and/or acceleration maneuvers, observing and recording road traffic and corresponding reactions.
  • the ego vehicle guidance system can be fully automatic or fully autonomous Implement driving mode of the motor vehicle according to level 5 classification according to SAE J3016.
  • the ego vehicle guidance system can implement a highly automated driving mode of the motor vehicle according to level 4 of the classification according to SAE J3016.
  • SAE J3016 refers to the corresponding standard in the June 2018 version.
  • the ego vehicle guidance system can, for example, generate one or more control signals depending on the control command and transmit them to one or more actuators of the ego vehicle, so that they influence or carry out lateral and/or longitudinal control of the ego vehicle in accordance with the control command.
  • an environment detection system which has a first camera for an ego vehicle, which is set up to generate a first image data stream.
  • the environment detection system has at least one communication interface for the ego vehicle for wireless data transmission and at least one computing unit, in particular at least one vehicle computing unit.
  • the at least one computing unit, in particular the at least one vehicle computing unit is set up to receive a second image data stream generated by a second camera of a further vehicle via the at least one communication interface, for example the first communication interface, with a first field of view represented by the first image data stream overlaps a second field of view represented by the second image data stream.
  • the at least one computing unit in particular the at least one vehicle computing unit, is set up to identify, based on the first image data stream and the second image data stream, an area in the first field of view that is obscured for the first camera and that is not obscured for the second camera and based on that second image data stream to generate replacement image data that correspond to the area hidden for the first camera.
  • the at least one computing unit in particular the at least one vehicle computing unit, is set up to generate a combined image data stream based on the first image data stream and in particular the second image data stream, which represents the first field of view, and thereby in an area of the combined image data stream that corresponds to that for the first camera covered area corresponds to displaying the replacement image data.
  • the environment detection system is designed as an ego vehicle guidance system for the ego vehicle.
  • the environment detection system has a display device external to the vehicle and the at least one computing unit contains a computer system external to the vehicle.
  • the environment detection system can also be referred to as a vehicle guidance system for teleoperated guidance of the ego vehicle.
  • the vehicle-external computer system is set up to generate the combined image data stream and display it on the vehicle-external display device.
  • the vehicle-external computer system can, for example, receive the first image data stream and the second image data stream from the at least one vehicle computing unit.
  • the at least one vehicle computing unit is set up to receive the second image data stream via the at least one communication interface, in particular the first communication interface, to identify the area hidden for the first camera, to generate the replacement image data, to the combined image data stream generate and transmit the combined image data stream to the vehicle-external computer system via the at least one communication interface, in particular the first communication interface or the second communication interface.
  • the vehicle-external computer system is set up to display the combined image data stream on the vehicle-external display device.
  • the vehicle-external computer system is set up to record user input in response to the display of the combined image data stream on the vehicle-external display device.
  • the vehicle guidance system for teleoperated guidance has an ego vehicle guidance system for the ego vehicle, which is set up to do so To guide the ego vehicle at least partially automatically depending on the user input.
  • the vehicle-external computer system is set up to generate a control command depending on the user input and transmit it to the ego vehicle.
  • the ego vehicle guidance system is set up to at least partially automatically guide the ego vehicle depending on the control command.
  • the environment detection system according to the invention and the vehicle guidance system according to the invention follow directly from the various embodiments of the method according to the invention for environmental detection or of the method according to the invention for teleoperated driving of an ego vehicle and vice versa.
  • individual features and corresponding explanations regarding the various embodiments of the method according to the invention can be transferred analogously to corresponding embodiments of the environment detection system according to the invention and the vehicle guidance system according to the invention.
  • the environment detection system according to the invention is designed or programmed to carry out a method according to the invention for environmental detection.
  • the environment detection system according to the invention carries out the method according to the invention for environmental detection.
  • the vehicle guidance system according to the invention is designed or programmed to carry out a method according to the invention for teleoperated driving of an ego vehicle.
  • the vehicle guidance system according to the invention carries out the method according to the invention for teleoperated driving of an ego vehicle.
  • a first computer program with first commands is specified.
  • the first commands When the first commands are executed by an environment detection system according to the invention, the first commands cause the environment detection system to carry out a method for environmental detection according to the invention.
  • a second computer program with second commands is specified.
  • the second commands When the second commands are executed by a vehicle guidance system according to the invention for teleoperating an ego vehicle, the second commands cause the vehicle guidance system to carry out a method according to the invention for teleoperating an ego vehicle.
  • a computer-readable storage medium which stores a first computer program according to the invention and/or a second computer program according to the invention.
  • the first computer program, the second computer program and the computer-readable storage medium can be viewed as respective computer program products with the first and/or second instructions.
  • a computing unit can be understood in particular to mean a data processing device that contains a processing circuit.
  • the arithmetic unit can therefore in particular process data to carry out arithmetic operations. This may also include operations to perform indexed access to a data structure, for example a translation table (LUT).
  • LUT translation table
  • the computing unit can in particular contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits, ASIC (English: “application-specific integrated circuit”), one or more field-programmable gate circuits. Arrays, FPGA, and/or one or more single-chip systems, SoC (English: “system on a chip”).
  • the computing unit can also have one or more processors, for example one or more microprocessors, one or more central processing units, CPU (central processing unit), one or more graphics processing units, GPU (graphics processing unit) and/or one or more signal processors, in particular one or more digital signal processors, DSP.
  • the computing unit can also contain a physical or a virtual network of computers or other of the units mentioned.
  • the computing unit includes one or more hardware and/or software interfaces and/or one or more memory units.
  • a storage unit can be used as a volatile data memory, for example as a dynamic random access memory, DRAM or static random access memory, SRAM, or as a non-volatile Data memory, for example as a read-only memory, ROM (English: “read-only memory”), as a programmable read-only memory, PROM (English: “programmable read-only memory”), as an erasable read-only memory, EPROM (English: “erasable read-only memory”) ), as electrically erasable read-only memory, EEPROM (English: “electrically erasable read-only memory”), as flash memory or flash EEPROM, as ferroelectric random access memory, FRAM (English: “ferroelectric random access memory”), as magnetoresistive memory with random access, MRAM (English: “magnetoresistive random access memory”) or as a phase change memory with random access, PCRAM (English: “phase-change random access memory”).
  • ROM read-only memory
  • PROM programmable read-only memory
  • a component of the environment detection system or vehicle guidance system in particular the at least one computing unit, the at least one vehicle computing unit and/or the vehicle-external computer system, is set up, trained, designed, or the like for a specific function to carry out or realize, to achieve a certain effect or to serve a certain purpose, this can be understood as meaning that the component, beyond the fundamental or theoretical usability or suitability of the component for this function, effect or purpose, by a appropriate adaptation, programming, physical design and so on is concretely and actually capable of carrying out or realizing the function, achieving the effect or serving the purpose.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of an environment detection system according to the invention.
  • Fig. 2 is a schematic flow diagram of an exemplary embodiment of a method according to the invention for environmental detection.
  • FIG. 1 an exemplary embodiment of an environment detection system 1 according to the invention is shown schematically, which in particular also represents a vehicle guidance system according to the invention for teleoperated driving of an ego vehicle 4.
  • the ego vehicle 4 drives on a roadway behind another vehicle 5.
  • additional vehicles 6, 7 can drive in front of the additional vehicle 5.
  • the environment detection system 1 has a first camera 2, in particular a front camera, of the ego vehicle 4, which is set up to generate a first image data stream 15, which represents a first field of view 8 of the first camera 2.
  • the further vehicle 5 and, for example, the further vehicles 6, 7 are located in the first field of view 8, with the further vehicle 5, for example, having an area 14 in the first Field of view 8 for the first camera 2 is obscured, so that in particular the other vehicles 6, 7 are partially obscured in the first image data stream 15.
  • the further vehicle 5 has a second camera 3, in particular a front camera, which is set up to generate a second image data stream which represents a second field of view 9 of the second camera 3.
  • the other vehicles 6, 7 are located, for example, in the second field of view 9 and are in particular not obscured or less obscured for the second camera 3 than for the first camera 2.
  • the ego vehicle 4 and the other vehicle 5 each have a communication interface for wireless data transmission, for example a V2V or V2X interface.
  • the environment detection system 1 has a vehicle computing unit 10 and a vehicle-external computer system 10, which is, for example, part of a backend for teleoperated driving of vehicles.
  • the vehicle computing unit 10 receives the second image data stream from the further vehicle 5, for example from a further vehicle computing unit of the further vehicle 5, via the communication interfaces.
  • the vehicle computing unit 10 identifies the area 14 hidden for the first camera 2 based on a comparison of the first image data stream 15 with the second image data stream and generates replacement image data 17 based on the second image data stream, which correspond to the area 14 hidden for the first camera 2 .
  • the vehicle computing unit 10 then generates a combined image data stream 16, which represents the first field of view 8, with the replacement image data 17 being displayed in an area of the combined image data stream 16, which corresponds to the area 14 hidden for the first camera 2, for example semi-transparently the original one Image data of the first image data stream 15 are superimposed.
  • the vehicle computing unit 10 can wirelessly transmit the combined image data stream 16 to the vehicle-external computer system 13.
  • the environment detection system 1, in particular the backend, has a display device 11 external to the vehicle.
  • the vehicle-external computer system 13 is set up to generate the combined image data stream 16 and display it on the vehicle-external display device 11.
  • a tele-operator 12 in can analyze the displayed combined image data stream 16 and, in response, make a user input on an input device of the vehicle-external computer system 13.
  • the vehicle-external computer system 13 can transmit a control command to the vehicle computing unit 10. Based on the control command, the ego vehicle 4 can then be guided at least partially automatically.
  • FIG. 2 shows a schematic flow diagram of an exemplary embodiment of a method according to the invention for environmental detection.
  • step SOa the further vehicle 5 is identified and selected, for example based on V2V or V2X capabilities of the further vehicle 5 and/or the relative position to the ego vehicle 4.
  • the second image data stream is generated and sent to the ego vehicle 4 transmitted.
  • step SOb the first image data stream is generated.
  • step S1a features are identified in the second image data stream and in step S1b, features are identified in the first image data stream 15.
  • step S2 matching features from the first image data stream 15 and the second image data stream are then identified based on the previously identified features.
  • the features can be, for example, objects or edges in the respective image data stream or the like.
  • step S3 the matching features are compared and in step S4, depending on the comparison, a transformation parameter set is determined which approximately converts the matching features of the second image data stream into the matching features of the first image data stream 15.
  • the transformation parameters of the transformation parameter set are optimized so that an optimal superposition of the matching features is achieved.
  • the transformation parameter set relates in particular to a scale, shifts and/or perspective adjustments.
  • the color of the second image data stream can optionally also be adjusted. This can be achieved, for example, by adjusting the histograms of the first image data stream 15 and the second image data stream.
  • the hidden area 14 is masked. To do this, the relevant areas are identified by comparing both image data streams and significantly different areas are identified. These areas are most likely covered by the other vehicle 5. Alternatively, the location data of the vehicle in front can also be used, if available.
  • the combined image data stream 16 is generated.
  • the teleoperator's view is limited to the camera images of the vehicle being driven. In the absence of direct feedback from the vehicle and the environment, it is desirable to support the teleoperator as much as possible.
  • the invention makes it possible to reduce the teleoperator's visibility restrictions caused by obscuring objects by using camera data from other road users.
  • V2X communication technologies are used, which enable communication between individual vehicles and permanently installed units to exchange sensor data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Gemäß einem Verfahren zur Umgebungserfassung wird mittels einer ersten Kamera (2) eines Ego-Fahrzeugs (4) ein erster Bilddatenstrom (15) erzeugt und mittels des Ego-Fahrzeugs (4) wird ein mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugter zweiter Bilddatenstrom erhalten, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt. Es wird ein für die erste Kamera (2) verdeckter Bereich (14) in dem ersten Sichtfeld (8) identifiziert, der für die zweite Kamera nicht verdeckt ist. Basierend auf dem zweiten Bilddatenstrom werden Ersatzbilddaten (17) erzeugt, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen. Basierend auf dem ersten Bilddatenstrom (15) wird ein kombinierter Bilddatenstrom erzeugt, der das erste Sichtfeld darstellt, wobei in einem Bereich (14) des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) dargestellt werden.

Description

Umgebungserfassung und teleoperiertes Führen eines Ego-Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren zur Umgebungserfassung, wobei mittels einer ersten Kamera eines Ego-Fahrzeugs ein erster Bilddatenstrom erzeugt wird, sowie ein Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs. Die Erfindung betrifft ferner ein entsprechendes Umgebungserfassungssystem, ein Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs und ein Computerprogrammprodukt.
Kommt es bei hochgradig automatisiert geführten Fahrzeugen, insbesondere bei vollautonomen Fahrzeugen, zu einer Situation, die das Fahrzeug nicht mehr oder nicht mehr mit ausreichender Sicherheit eigenständig handhaben kann, kann das sogenannte teleoperierte Führen eingesetzt werden. Dabei erhält ein menschlicher Tele-Operator über ein fahrzeugexternes Computersystem Zugriff auf die mittels verschiedener Sensorsysteme, insbesondere Kameras, des Fahrzeugs erfassten Daten von der Umgebung des Fahrzeugs und kann dann das Fahrzeug fernsteuern, um die Situation aufzulösen.
In manchen Situationen ist das Sichtfeld einer Kamera des Fahrzeugs aber teilweise verdeckt, beispielsweise durch ein vorausfahrendes weiteres Fahrzeug. Der Tele- Operator kann dann gegebenenfalls relevante aber verdeckte Informationen bei der Fernsteuerung nicht berücksichtigen, was ein Sicherheitsrisiko darstellen kann.
Es ist eine Aufgabe der vorliegenden Erfindung, die Sicherheit beim teleoperierten Führen eines Fahrzeugs zu erhöhen.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, Beschränkungen im Sichtfeld der Kamera des zu führenden Fahrzeugs, die durch verdeckende Objekte, wie etwa vorausfahrende weitere Fahrzeuge, verursacht werden, dadurch zu überwinden, dass ein Bilddatenstrom einer Kamera eines weiteren Fahrzeugs mit dem Bilddatenstrom des zu führenden Fahrzeugs kombiniert wird. Dabei werden insbesondere Ersatzbilddaten aus dem Bilddatenstrom des weiteren Fahrzeugs in einem verdeckten Bereich des Bilddatenstroms des zu führenden Fahrzeugs dargestellt.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Umgebungserfassung angegeben, wobei mittels einer ersten Kamera eines Ego-Fahrzeugs ein erster Bilddatenstrom erzeugt wird. Es wird ein mittels einer zweiten Kamera eines weiteren Fahrzeugs erzeugter zweiter Bilddatenstrom erhalten, insbesondere mittels wenigstens einer Recheneinheit. Ein von dem ersten Bilddatenstrom dargestelltes erstes Sichtfeld überlappt dabei mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld. Basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom wird ein für die erste Kamera verdeckter Bereich in dem ersten Sichtfeld identifiziert, der für die zweite Kamera nicht verdeckt ist, insbesondere mittels der wenigstens einen Recheneinheit. Basierend auf dem zweiten Bilddatenstrom werden Ersatzbilddaten erzeugt, die dem für die erste Kamera verdeckten Bereich entsprechen, insbesondere mittels der wenigstens einen Recheneinheit. Basierend auf dem ersten Bilddatenstrom, und insbesondere dem zweiten Bilddatenstrom, wird ein kombinierter Bilddatenstrom erzeugt, der das erste Sichtfeld darstellt. Dabei werden einem Bereich des kombinierten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, die Ersatzbilddaten dargestellt.
Der zweite Bilddatenstrom wird insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels wenigstens einer Fahrzeugrecheneinheit des Ego- Fahrzeugs, insbesondere über eine erste Kommunikationsschnittstelle zur drahtlosen Kommunikation, beispielsweise V2V- oder V2X-Kommunikation, erhalten. V2V steht dabei für Fahrzeug-zu-Fahrzeug (englisch: „vehicle-to-vehicle“) und V2X steht für Fahrzeug-zu-Allem (englisch: „vehicle-to-anything“).
Die wenigstens eine Recheneinheit enthält beispielsweise die wenigstens eine Fahrzeugrecheneinheit und kann beispielsweise ein fahrzeugexternes Computersystem, also ein extern zu dem Ego-Fahrzeug und dem weiteren Fahrzeug angeordnetes Computersystem, beinhalten. Das fahrzeugexterne Computersystem kann beispielsweise als Servercomputersystem oder Backend-Computersystem bezeichnet werden. Insbesondere kann es sich um ein Computersystem zum teleoperierten Führen von Fahrzeugen, insbesondere des Ego-Fahrzeugs, handeln. Der zweite Bilddatenstrom wird insbesondere mittels der zweiten Kamera erzeugt und von dem weiteren Fahrzeug, beispielsweise einer weiteren Fahrzeugrecheneinheit des weiteren Fahrzeugs, insbesondere über eine weitere Kommunikationsschnittstelle zur drahtlosen Kommunikation, beispielsweise zur V2V- oder V2X-Kommunikation, an das Ego-Fahrzeug, insbesondere die wenigstens eine Recheneinheit, beispielsweise die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle, übermittelt.
Unter einem Bilddatenstrom kann beispielsweise eine Abfolge von zwei oder mehr aufeinanderfolgenden Bildern verstanden werden. Der erste Bilddatenstrom, insbesondere entsprechende erste Bilder des ersten Bilddatenstroms, bilden insbesondere eine äußere Umgebung des Ego-Fahrzeugs ab. Das erste Sichtfeld, das auch als Sichtfeld der ersten Kamera aufgefasst werden kann, liegt also insbesondere wenigstens zum Teil in der äußeren Umgebung des Ego-Fahrzeugs. Der zweite Bilddatenstrom, insbesondere entsprechende zweite Bilder des zweiten Bilddatenstroms, bilden insbesondere eine äußere Umgebung des weiteren Fahrzeugs ab. Das zweite Sichtfeld, das auch als Sichtfeld der zweiten Kamera aufgefasst werden kann, liegt also insbesondere wenigstens zum Teil in der äußeren Umgebung des weiteren Fahrzeugs.
Da das erste Sichtfeld und das zweite Sichtfeld überlappen stellen der erste und der zweite Bilddatenstrom im Allgemeinen teilweise übereinstimmende Inhalte dar. Da der für die erste Kamera verdeckte Bereich für die zweite Kamera nicht verdeckt ist, stellt der zweite Bilddatenstrom jedoch Inhalte dar, die der erste Bilddatenstrom aufgrund der Verdeckung für die erste Kamera nicht darstellt. Beispielsweise kann die Verdeckung durch ein verdeckendes Objekt in dem ersten Sichtfeld erfolgen. Bei dem verdeckenden Objekt handelt es sich beispielsweise aber nicht notwendigerweise um das weitere Fahrzeug selbst.
Die Ersatzbilddaten können daher beispielsweise basierend auf denjenigen Bilddaten des zweiten Bilddatenstroms erzeugt werden, die einen Bereich des zweiten Sichtfelds darstellen, der auch im ersten Sichtfeld liegt und durch die von dem ersten Bilddatenstrom dargestellt würden, wenn das verdeckende Objekt nicht existieren würde. Die entsprechenden Bilddaten des zweiten Bilddatenstroms können insbesondere verarbeitet oder modifiziert werden, um die Ersatzbilddaten zu erzeugen, insbesondere um die Darstellung an den ersten Bilddatenstrom anzupassen. Der kombinierte Bilddatenstrom entspricht insbesondere einer Kombination des ersten Bilddatenstroms oder einer bearbeiteten Variante des ersten Bilddatenstroms mit den Ersatzbilddaten.
Der kombinierte Bilddatenstrom kann außerhalb des Bereichs, der dem für die erste Kamera verdeckten Bereich entspricht, beispielsweise gleich dem ersten Bilddatenstrom sein. In dem Bereich, der dem für die erste Kamera verdeckten Bereich entspricht, kann der kombinierte Bilddatenstrom beispielsweise den Ersatzbilddaten entsprechen oder einer Überlagerung der Ersatzbilddaten mit dem ersten Bilddatenstrom. Es kann auch ein Übergangsbereich zwischen den genannten Bereichen vorgesehen sein.
Der kombinierte Bilddatenstrom enthält daher durch die Ersatzbilddaten Informationen, die ansonsten durch die Verdeckung für das Ego-Fahrzeug nicht zur Verfügung stehen würden. Ein Betrachter des kombinierten Bilddatenstroms, etwa ein Tele-Operator, der der Ego-Fahrzeug mittels teleoperiertem Führen fernsteuert, kann daher von dem Ego- Fahrzeug umfassender über die aktuellen Gegebenheiten in der Umgebung des Ego- Fahrzeugs informiert werden, was letztlich die Sicherheit beim teleoperierten Führen des Ego-Fahrzeugs erhöht.
Gemäß zumindest einer Ausführungsform des erfindungsgemäßen Verfahrens zur Umgebungserfassung wird eine Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera und der zweiten Kamera wenigstens teilweise kompensiert, indem, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit, der zweite Bilddatenstrom gemäß einem, beispielsweise vorgegebenen, Transformationsparametersatz transformiert wird. Der für die erste Kamera verdeckte Bereich wird basierend auf dem ersten Bilddatenstrom und dem transformierten zweiten Bilddatenstrom identifiziert, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Extrinsische Kameraparameter beinhalten beispielsweise eine Pose, also eine Position und Orientierung, eines Kamerakoordinatensystems der entsprechenden Kamera bezüglich eines Referenzkoordinatensystems. Das Kamerakoordinatensystem ist dabei starr mit der jeweiligen Kamera verbunden. Das Referenzkoordinatensystem kann beispielsweise starr mit dem jeweiligen Fahrzeug verbunden sein oder mit der Umgebung des jeweiligen Fahrzeugs. Es kann auch für Kameras verschiedener Fahrzeuge ein gemeinsames Referenzkoordinatensystem gewählt werden. Die Pose kann beispielsweise durch sechs Parameter, beispielsweise drei Positionsparameter und drei Orientierungsparameter, definiert sein. Die drei Positionsparameter können beispielsweise dreidimensionale Koordinaten eines Koordinatenursprungs des Kamerakoordinatensystems in dem Referenzkoordinatensystem sein. Die drei Orientierungsparameter können beispielsweise drei Orientierungswinkel sein, beispielsweise Euler-Winkel, die auch als Nick-, Gier- und Rollwinkel bezeichnet werden können.
Die intrinsischen Kameraparameter können Parameter beinhalten, die definieren, wie ein Punkt in der Umgebung der Kamera durch die Kamera abgebildet wird, insbesondere auf einem Bildsensor der Kamera. Die intrinsischen Kameraparameter können also beispielsweise eine Abbildungsfunktion eines Objektivs der Kamera beschreiben oder definieren, eine Brennweite, und so weiter. Die intrinsischen Kameraparameter können auch ein Seitenverhältnis, eine Auflösung und/oder eine Pixeldichte des Bildsensors beinhalten. Die intrinsischen Kameraparameter können auch eine Kamerainterne Vorverarbeitung der erfassten Bilddaten betreffen, also beispielsweise Parameter betreffend einen Weißabgleich, eine Bildschärfung, eine Farbkorrektur oder dergleichen beinhalten.
Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom basierend auf dem ersten Bilddatenstrom und dem transformierten zweiten Bilddatenstrom erzeugt wird, wobei die Ersatzbilddaten basierend auf dem transformierten zweiten Bilddatenstrom erzeugt werden, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Durch die wenigstens teilweise Kompensation der Abweichung der extrinsischen und/oder eines oder intrinsischen Kameraparameter werden beispielsweise Abweichungen zwischen dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom in einem Maßstab und/oder einer Skalierung abgebildeter Objekte wenigstens teilweise kompensiert, ein Versatz und oder eine Verschiebung des ersten Sichtfelds bezüglich des zweiten Sichtfelds wenigstens teilweise kompensiert und/oder perspektivische Abweichung zwischen dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom wenigstens teilweise kompensiert. Dadurch wird erreicht, dass die Ersatzbilddaten in Kombination mit den Bilddaten aus dem ersten Bilddatenstrom eine konsistente Darstellung der Umgebung erlauben, was im Anwendungsfall des teleoperierten Führens des Ego- Fahrzeugs letztlich die Sicherheit weiter erhöht. Gemäß zumindest einer Ausführungsform wird, insbesondere basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom, wenigstens ein Merkmal identifiziert, das sowohl durch den ersten Bilddatenstrom als auch durch den zweiten Bilddatenstrom dargestellt wird, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit. Der Transformationsparametersatz wird abhängig von einem Abgleich einer Darstellung des wenigstens einen Merkmals in dem ersten Bilddatenstrom mit einer Darstellung des wenigstens einen Merkmals in dem zweiten Bilddatenstrom bestimmt, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit.
Indem das genannte Merkmal identifiziert und verglichen wird, können die Auswirkungen der Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera und der zweiten Kamera direkt aus den Bilddatenströmen extrahiert werden. Abweichungen der Kameraparameter, die sich gegebenenfalls nicht in relevanter Weise auswirken, werden so mit Vorteil nicht ausdrücklich berücksichtigt und müssen daher auch nicht explizit bestimmt werden. Die Kompensation der Abweichung der Kameraparameter wird dadurch effizienter.
Gemäß zumindest einer Ausführungsform wird eine Tonwertverteilung und/oder eine Farbwertverteilung des zweiten Bilddatenstroms mit einer Tonwertverteilung und/oder eine Farbwertverteilung des ersten Bilddatenstrom abgeglichen, insbesondere mittels der wenigstens einen Recheneinheit, beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit. Basierend auf einem Ergebnis des Abgleichs wird der transformierte zweite Bilddatenstrom korrigiert oder der zweite Bilddatenstrom wird vor der Transformation korrigiert. Die Ersatzbilddaten werden basierend auf dem transformierten und korrigierten zweiten Bilddatenstrom erzeugt.
Dadurch wird insbesondere erreicht, dass die Helligkeit und der Weißabgleich in dem kombinierten Bilddatenstrom konsistent ist, was im Anwendungsfall des teleoperierten Führens des Ego-Fahrzeugs letztlich die Sicherheit weiter erhöht. Die Tonwertverteilung und/oder eine Farbwertverteilung kann beispielsweise durch eines oder mehrere entsprechende Histogramme gegeben sein.
Gemäß zumindest einer Ausführungsform werden die Ersatzbilddaten dem ersten Bilddatenstrom, insbesondere dem Bereich des ersten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, überlagert, um den kombinierten Bilddatenstrom zu erzeugen.
Beispielsweise werden die Ersatzbilddaten teiltransparent ursprünglichen Bilddaten des ersten Bilddatenstroms überlagert, welche dem für die erste Kamera verdeckten Bereich in dem ersten Bilddatenstrom entsprechen.
In dem kombinierten Bilddatenstrom werden damit sowohl die Ersatzbilddaten als auch die ursprünglichen Bilddaten dargestellt. Der kombinierte Bilddatenstrom stellt damit sowohl das verdeckende Objekt dar als auch Inhalte, die von der ersten Kamera aus gesehen hinter dem verdeckenden Objekt liegen. Der Betrachter, beispielsweise der Tele-Operator, kann daher mehr Informationen bei zu treffenden Entscheidungen berücksichtigen, was im Anwendungsfall des teleoperierten Führens des Ego-Fahrzeugs letztlich die Sicherheit weiter erhöht.
Gemäß zumindest einer Ausführungsform befindet sich das weitere Fahrzeug in dem ersten Sichtfeld, insbesondere wird das weitere Fahrzeug von dem ersten Bilddatenstrom dargestellt, und der für die erste Kamera verdeckte Bereich wird durch das weitere Fahrzeug für die erste Kamera verdeckt. Mit anderen Worten ist das weitere Fahrzeug das verdeckende Objekt.
Beispielsweise kann das weitere Fahrzeug dem Ego-Fahrzeug auf einer Fahrbahn, insbesondere auf derselben Fahrspur auf der sich das Ego-Fahrzeug befindet oder auf einer anderen, beispielsweise benachbarten, Fahrspur, vorausfahren. Bei der ersten Kamera kann es sich beispielsweise um eine in Vorwärtsfahrtrichtung des Ego- Kraftfahrzeugs orientierte Kamera handeln, die auch als Front-Kamera bezeichnet wird. Die zweite Kamera kann beispielsweise eine Front-Kamera des weiteren Fahrzeugs sein. Gemäß zumindest einer Ausführungsform wird der für die erste Kamera verdeckte Bereich mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs identifiziert wird.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder eine zweite Kommunikationsschnittstelle, den ersten Bilddatenstrom und den zweiten Bilddatenstrom an das externe Computersystem übermitteln und das externe Computersystem kann den für die erste Kamera verdeckten Bereich identifizieren.
Gemäß zumindest einer Ausführungsform werden die Ersatzbilddaten mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs bestimmt.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, den zweiten Bilddatenstrom und optional den ersten Bilddatenstrom an das externe Computersystem übermitteln und das externe Computersystem kann die Ersatzbilddaten bestimmen.
Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom mittels der wenigstens einen Fahrzeugrecheneinheit des Ego-Fahrzeugs erzeugt.
Alternativ kann die wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder eine zweite Kommunikationsschnittstelle, den ersten Bilddatenstrom das externe Computersystem übermitteln. Die wenigstens eine Fahrzeugrecheneinheit kann so auch den zweiten Bilddatenstrom oder die Ersatzbilddaten an das externe Computersystem übermitteln. Das externe Computersystem kann dann den kombinierten Bilddatenstrom erzeugen.
In einer bevorzugten Ausführungsform werden die Schritte des Identifizierens des verdeckten Bereichs, des Erzeugens der Ersatzbilddaten und des Erzeugens des kombinierten Bilddatenstroms durch die wenigstens eine Fahrzeugrecheneinheit durchgeführt. Beispielsweise wird der kombinierte Bilddatenstrom mittels der wenigstens eine Fahrzeugrecheneinheit, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das externe Computersystem übermittelt. Gemäß zumindest einer Ausführungsform wird der kombinierte Bilddatenstrom mittels des fahrzeugexternen Computersystems auf einem fahrzeugexternen Anzeigegerät, etwa einem oder mehreren Bildschirmen oder Monitoren oder einem auf dem Kopf zu tragenden visuellen Ausgabegerät, auch als HMD (englisch: "head mounted display") bezeichnet, angezeigt. Zuvor wird der kombinierte Bilddatenstrom beispielsweise mittels der wenigstens einen Fahrzeugrecheneinheit erzeugt und, insbesondere über die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das externe Computersystem übermittelt oder der kombinierte Bilddatenstrom wird mittels des externen Computersystems erzeugt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs angegeben. Dazu wird ein erfindungsgemäßes Verfahren zur Umfelderfassung durchgeführt, wobei insbesondere der kombinierte Bilddatenstrom mittels des fahrzeugexternen Computersystems auf dem fahrzeugexternen Anzeigegerät angezeigt wird. In Reaktion auf die Anzeige des kombinierten Bilddatenstroms auf dem fahrzeugexternen Anzeigegerät, also insbesondere nach der Anzeige oder zeitgleich mit der Anzeige, wird mittels des fahrzeugexternen Computersystems eine Benutzereingabe, insbesondere des Tele-Operators, erfasst. Das Ego-Fahrzeug wird abhängig von der Benutzereingabe wenigstens teilweise automatisch geführt, insbesondere ferngesteuert.
Gemäß zumindest einer Ausführungsform des Verfahrens zum teleoperierten Führen des Ego-Fahrzeugs wird mittels des fahrzeugexternen Computersystems abhängig von der Benutzereingabe ein Steuerbefehl erzeugt und an das Ego-Fahrzeug übermittelt. Das Ego-Fahrzeug wird abhängig von dem Steuerbefehl wenigstens teilweise automatisch geführt wird, insbesondere mittels eines Ego-Fahrzeugführungssystems des Ego- Fahrzeugs.
Unter dem Ego-Fahrzeugführungssystem kann insbesondere ein elektronisches System verstanden werden, das dazu eingerichtet ist, das Ego-Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Ego-Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das Ego-Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Alternativ kann das Ego-Fahrzeugführungssystem einen hochautomatisierten Fahrmodus des Kraftfahrzeugs nach Stufe 4 der Klassifizierung gemäß SAE J3016 implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Das Ego-Fahrzeugführungssystem kann beispielsweise abhängig von dem Steuerbefehl eines oder mehrere Steuersignale erzeugen und an einen oder mehrere Aktuatoren des Ego-Fahrzeugs übermitteln, sodass diese eine Quer- und/oder Längssteuerung des Ego- Fahrzeugs gemäß dem Steuerbefehl beeinflussen oder durchführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Umgebungserfassungssystem angegeben, das eine erste Kamera für ein Ego-Fahrzeug aufweist, die dazu eingerichtet ist, einen ersten Bilddatenstrom zu erzeugen. Das Umgebungserfassungssystem weist wenigstens eine Kommunikationsschnittstelle für das Ego-Fahrzeug zur drahtlosen Datenübertragung auf sowie wenigstens eine Recheneinheit, insbesondere wenigstens eine Fahrzeugrecheneinheit. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, einen mittels einer zweiten Kamera eines weiteren Fahrzeugs erzeugten zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, beispielsweise die erste Kommunikationsschnittstelle, zu erhalten, wobei ein von dem ersten Bilddatenstrom dargestelltes erstes Sichtfeld mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld überlappt. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, basierend auf dem ersten Bilddatenstrom und dem zweiten Bilddatenstrom einen für die erste Kamera verdeckten Bereich in dem ersten Sichtfeld zu identifizieren, der für die zweite Kamera nicht verdeckt ist und basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten zu erzeugen, die dem für die erste Kamera verdeckten Bereich entsprechen. Die wenigstens eine Recheneinheit, insbesondere die wenigstens eine Fahrzeugrecheneinheit, ist dazu eingerichtet, basierend auf dem ersten Bilddatenstrom und insbesondere dem zweiten Bilddatenstrom einen kombinierten Bilddatenstrom zu erzeugen, der das erste Sichtfeld darstellt, und dabei in einem Bereich des kombinierten Bilddatenstroms, der dem für die erste Kamera verdeckten Bereich entspricht, die Ersatzbilddaten darzustellen. Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist das Umgebungserfassungssystem als Ego-Fahrzeugführungssystem für das Ego-Fahrzeug ausgestaltet.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems weist dieses ein fahrzeugexternes Anzeigegerät auf und die wenigstens eine Recheneinheit beinhaltet ein fahrzeugexternes Computersystem.
In solchen Ausführungsformen kann das Umgebungserfassungssystems auch als Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs bezeichnet werden.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist das fahrzeugexterne Computersystem dazu eingerichtet, den kombinierten Bilddatenstrom zu erzeugen und auf dem fahrzeugexternen Anzeigegerät anzuzeigen. Dabei kann das fahrzeugexterne Computersystem beispielsweise den ersten Bilddatenstrom und den zweiten Bilddatenstrom von der wenigstens einen Fahrzeugrecheneinheit erhalten.
Gemäß zumindest einer Ausführungsform des Umgebungserfassungssystems ist die wenigstens eine Fahrzeugrecheneinheit dazu eingerichtet, den zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, insbesondere die erste Kommunikationsschnittstelle, zu erhalten, den für die erste Kamera verdeckten Bereich zu identifizieren, die Ersatzbilddaten zu erzeugen, den kombinierten Bilddatenstrom zu erzeugen und den kombinierten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle, insbesondere die erste Kommunikationsschnittstelle oder die zweite Kommunikationsschnittstelle, an das fahrzeugexterne Computersystem zu übermitteln. Das fahrzeugexterne Computersystem ist dazu eingerichtet, den kombinierten Bilddatenstrom auf dem fahrzeugexternen Anzeigegerät anzuzeigen.
Gemäß zumindest einer Ausführungsform des Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs ist das fahrzeugexterne Computersystem dazu eingerichtet, in Reaktion auf die Anzeige des kombinierten Bilddatenstroms auf dem fahrzeugexternen Anzeigegerät, eine Benutzereingabe zu erfassen. Das Fahrzeugführungssystem zum teleoperierten Führen weist ein Ego- Fahrzeugführungssystem für das Ego-Fahrzeug aufweist, das dazu eingerichtet ist, das Ego-Fahrzeug abhängig von der Benutzereingabe wenigstens teilweise automatisch zu führen.
Gemäß zumindest einer Ausführungsform des Fahrzeugführungssystem zum teleoperierten Führen des Ego-Fahrzeugs ist das fahrzeugexterne Computersystem dazu eingerichtet, abhängig von der Benutzereingabe einen Steuerbefehl zu erzeugen und an das Ego-Fahrzeug zu übermitteln. Das Ego-Fahrzeugführungssystem ist dazu eingerichtet, das Ego-Fahrzeug abhängig von dem Steuerbefehl wenigstens teilweise automatisch zu führen.
Weitere Ausführungsformen des erfindungsgemäßen Umgebungserfassungssystems sowie des erfindungsgemäßen Fahrzeugführungssystems folgen unmittelbar aus den verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens zur Umgebungserfassung beziehungsweise des erfindungsgemäßen Verfahrens zum teleoperierten Führen eines Ego-Fahrzeugs und jeweils umgekehrt. Insbesondere lassen sich einzelne Merkmale und entsprechende Erläuterungen bezüglich der verschiedenen Ausführungsformen zu den erfindungsgemäßen Verfahren analog auf entsprechende Ausführungsformen des erfindungsgemäßen Umgebungserfassungssystems und des erfindungsgemäßen Fahrzeugführungssystems übertragen. Insbesondere ist das erfindungsgemäße Umgebungserfassungssystem zum Durchführen eines erfindungsgemäßen Verfahrens zur Umgebungserfassung ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße Umgebungserfassungssystem das erfindungsgemäße Verfahren zur Umgebungserfassung durch. Insbesondere ist das erfindungsgemäße Fahrzeugführungssystem zum Durchführen eines erfindungsgemäßen Verfahrens zum teleoperierten Führen eines Ego-Fahrzeugs ausgebildet oder programmiert. Insbesondere führt das erfindungsgemäße Fahrzeugführungssystem das erfindungsgemäße Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogramm mit ersten Befehlen angegeben. Bei Ausführung der ersten Befehle durch ein erfindungsgemäßes Umgebungserfassungssystem veranlassen die ersten Befehle das Umgebungserfassungssystem dazu, ein erfindungsgemäßes Verfahren zur Umgebungserfassung durchzuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein zweites Computerprogramm mit zweiten Befehlen angegeben. Bei Ausführung der zweiten Befehle durch ein erfindungsgemäßes Fahrzeugführungssystem zum teleoperierten Führen eines Ego- Fahrzeugs veranlassen die zweiten Befehle das Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, das ein erfindungsgemäßes erstes Computerprogramm und/oder ein erfindungsgemäßes zweites Computerprogramm speichert.
Das erste Computerprogramm, das zweite Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den ersten und/oder zweiten Befehlen aufgefasst werden.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten. In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen Umgebungserfassungssystem oder Fahrzeugführungssystems, insbesondere die wenigstens eine Recheneinheit, die wenigstens eine Fahrzeugrecheneinheit und/oder das fahrzeugexterne Computersystem, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
Dabei zeigen:
Fig. 1 eine schematische Darstellung einer beispielhaften Ausführungsform eines erfindungsgemäßen Umgebungserfassungssystems; und
Fig. 2 ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Umgebungserfassung.
In Fig. 1 ist eine beispielhafte Ausführungsform eines erfindungsgemäßen Umgebungserfassungssystems 1 schematisch dargestellt, das insbesondere auch ein erfindungsgemäßes Fahrzeugführungssystem zum teleoperierten Führen eines Ego- Fahrzeugs 4 darstellt.
Das Ego-Fahrzeug 4 fährt auf einer Fahrbahn hinter einem weiteren Fahrzeug 5. Beispielsweise können vor dem weiteren Fahrzeug 5 weitere Fahrzeuge 6, 7 fahren.
Das Umgebungserfassungssystem 1 weist eine erste Kamera 2, insbesondere Front- Kamera, des Ego-Fahrzeugs 4 auf, die dazu eingerichtet ist, einen ersten Bilddatenstrom 15 zu erzeugen, der ein erstes Sichtfeld 8 der ersten Kamera 2 darstellt. Das weitere Fahrzeug 5 und beispielsweise die weiteren Fahrzeuge 6, 7 befinden sich in dem ersten Sichtfeld 8, wobei das weitere Fahrzeug 5 beispielsweise einen Bereich 14 in dem ersten Sichtfeld 8 für die erste Kamera 2 verdeckt, sodass insbesondere die weiteren Fahrzeuge 6, 7 in dem ersten Bilddatenstrom 15 teilweise verdeckt sind.
Das weitere Fahrzeug 5 weist eine zweite Kamera 3, insbesondere Front-Kamera, auf, die dazu eingerichtet ist, einen zweiten Bilddatenstrom zu erzeugen, der ein zweites Sichtfeld 9 der zweiten Kamera 3 darstellt. Die weiteren Fahrzeuge 6, 7 befinden sich beispielsweise in dem zweiten Sichtfeld 9 und sind dabei für die zweite Kamera 3 insbesondere nicht verdeckt oder weniger verdeckt als für die erste Kamera 2.
Das Ego-Fahrzeug 4 und das weitere Fahrzeug 5 weisen jeweils Kommunikationsschnittstelle zur drahtlosen Datenübertragung auf, beispielsweise eine V2V- oder V2X-Schnittstelle. Zudem weist das Umgebungserfassungssystem 1 eine Fahrzeugrecheneinheit 10 auf und ein fahrzeugexternes Computersystem 10, das Beispielsweise Teil eines Backends zum teleoperierten Führen von Fahrzeugen ist.
Die Fahrzeugrecheneinheit 10 erhält von dem weiteren Fahrzeug 5, beispielsweise von einer weiteren Fahrzeugrecheneinheit des weiteren Fahrzeugs 5, den zweiten Bilddatenstrom über die Kommunikationsschnittstellen.
Die Fahrzeugrecheneinheit 10 identifiziert beispielsweise basierend auf einem Abgleich des ersten Bilddatenstroms 15 mit dem zweiten Bilddatenstrom den für die erste Kamera 2 verdeckten Bereich 14 und erzeugt basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten 17, zu erzeugen, die dem für die erste Kamera 2 verdeckten Bereich 14 entsprechen. Sodann erzeugt die Fahrzeugrecheneinheit 10 einen kombinierten Bilddatenstrom 16 zu erzeugen, der das erste Sichtfeld 8 darstellt, wobei in einem Bereich des kombinierten Bilddatenstroms 16, der dem für die erste Kamera 2 verdeckten Bereich 14 entspricht, die Ersatzbilddaten 17 dargestellt werden, beispielsweise semitransparent den ursprünglichen Bilddaten ersten Bilddatenstroms 15 überlagert werden.
Die Fahrzeugrecheneinheit 10 kann den kombinierten Bilddatenstrom 16 drahtlos an das fahrzeugexterne Computersystem 13 übermitteln. Das Umgebungserfassungssystem 1 , insbesondere das Backend, weist ein fahrzeugexternes Anzeigegerät 11 auf. Das fahrzeugexterne Computersystem 13 ist dazu eingerichtet, den kombinierten Bilddatenstrom 16 zu erzeugen und auf dem fahrzeugexternen Anzeigegerät 11 anzuzeigen. Ein Tele-Operator 12 in kann den angezeigten kombinierten Bilddatenstrom 16 analysieren und in Reaktion darauf eine Benutzereingabe an einem Eingabegerät des fahrzeugexternen Computersystems 13 tätigen. Abhängig von der Benutzereingabe kann das fahrzeugexterne Computersystem 13 einen Steuerbefehl an die Fahrzeugrecheneinheit 10 übermitteln. Basierend auf dem Steuerbefehl kann das Ego- Fahrzeug 4 dann wenigstens teilweise automatisch geführt werden.
In Fig. 2 ist ein schematisches Ablaufdiagramm einer beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zur Umgebungserfassung gezeigt.
In Schritt SOa wird das weitere Fahrzeug 5 identifiziert und ausgewählt, beispielsweise auf der Grundlage von V2V- oder V2X-Fähigkeiten des weiteren Fahrzeug 5 und/oder der Relativposition zum Ego-Fahrzeug 4. Außerdem wird der zweite Bilddatenstrom erzeugt und an das Ego-Fahrzeug 4 übermittelt. In Schritt SOb wird der erste Bilddatenstrom erzeugt.
Im Schritt S1 a werden Merkmale im zweiten Bilddatenstrom identifiziert und im Schritt S1b werden Merkmale im ersten Bilddatenstrom 15 identifiziert. Im Schritt S2 werden dann basierend auf den zuvor identifizieren Merkmalen übereinstimmende Merkmale aus dem ersten Bilddatenstrom 15 und dem zweiten Bilddatenstrom identifiziert. Bei den Merkmalen kann es sich beispielsweise um Objekte oder Kanten im jeweiligen Bilddatenstrom handeln oder dergleichen. In Schritt S3 werden die übereinstimmenden Merkmale verglichen und in Schritt S4 wird abhängig von dem Vergleich ein Transformationsparametersatz bestimmt, der die übereinstimmenden Merkmale des zweiten Bilddatenstroms näherungsweise in die übereinstimmenden Merkmale ersten Bilddatenstroms 15 überführt. Insbesondere werden die Transformationsparameter des Transformationsparametersatzes optimiert, sodass eine optimale Überlagerung der übereinstimmenden Merkmale erreicht wird. Der Transformationsparametersatz betrifft insbesondere einen Maßstab, Verschiebungen und/oder perspektivische Anpassungen.
Da die erste Kamera 2 und die zweite Kamera 3 nicht notwendigerweise den gleichen Weißabgleich, die gleiche Helligkeit und den gleichen Kontrast haben, kann optional auch die Farbe des zweiten Bilddatenstroms angepasst werden. Dies kann beispielsweise erreicht werden, indem die Histogramme des ersten Bilddatenstroms 15 und des zweiten Bilddatenstroms angepasst werden. In Schritt S6 wird der verdeckte Bereich 14 maskiert. Dazu werden die relevanten Bereiche, indem beide Bilddatenströme verglichen werden und signifikant unterschiedliche Bereiche erkannt werden. Diese Bereiche werden höchstwahrscheinlich durch das weitere Fahrzeug 5 verdeckt. Alternativ können auch die Standortdaten des vorausfahrenden Fahrzeugs verwendet werden, sofern diese vorhanden sind. In Schritt S7 wird der kombinierte Bilddatenstrom 16 erzeugt.
Bei bekannten teleoperierten Fahrzeugen ist die Sicht des Tele-Operators auf die Kamerabilder des zu Führenden Fahrzeugs beschränkt. Mangels einer direkten Rückkopplung des Fahrzeugs und der Umgebung ist es wünschenswert, den Tele- Operator so gut wie möglich zu unterstützen.
Die Erfindung ermöglicht es in verschiedenen Ausführungsformen, die Sichteinschränkung des Tele-Operators durch verdeckende Objekte zu verringern, indem Kameradaten anderer Verkehrsteilnehmer genutzt werden.
In verschiedenen Ausführungsformen der Erfindung werden V2X-Kommunikationstechnologien genutzt, welche die Kommunikation zwischen einzelnen Fahrzeugen und fest installierten Einheiten zum Austausch von Sensordaten ermöglichen.

Claims

Patentansprüche
1 . Verfahren zur Umgebungserfassung, wobei mittels einer ersten Kamera (2) eines Ego-Fahrzeugs (4) ein erster Bilddatenstrom (15) erzeugt wird, dadurch gekennzeichnet, dass ein mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugter zweiter Bilddatenstrom erhalten wird, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt; basierend auf dem ersten Bilddatenstrom (15) und dem zweiten Bilddatenstrom ein für die erste Kamera (2) verdeckter Bereich (14) in dem ersten Sichtfeld (8) identifiziert wird, der für die zweite Kamera nicht verdeckt ist; basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten (17) erzeugt werden, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen; und basierend auf dem ersten Bilddatenstrom (15) ein kombinierter Bilddatenstrom erzeugt wird, der das erste Sichtfeld darstellt, wobei in einem Bereich des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) dargestellt werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine Abweichung eines oder mehrerer extrinsischer Kameraparameter und/oder eines oder mehrerer intrinsischer Kameraparameter zwischen der ersten Kamera (2) und der zweiten Kamera wenigstens teilweise kompensiert wird, indem der zweite Bilddatenstrom gemäß einem Transformationsparametersatz transformiert wird; und der für die erste Kamera (2) verdeckte Bereich (14) basierend auf dem ersten Bilddatenstrom (15) und dem transformierten zweiten Bilddatenstrom identifiziert wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der kombinierte Bilddatenstrom (16) basierend auf dem ersten Bilddatenstrom (15) und dem transformierten zweiten Bilddatenstrom erzeugt wird, wobei die Ersatzbilddaten (17) basierend auf dem transformierten zweiten Bilddatenstrom erzeugt werden. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass wenigstens ein Merkmal identifiziert wird, das sowohl durch den ersten Bilddatenstrom (15) als auch durch den zweiten Bilddatenstrom dargestellt wird; und der Transformationsparametersatz abhängig von einem Abgleich einer Darstellung des wenigstens einen Merkmals in dem ersten Bilddatenstrom (15) mit einer Darstellung des wenigstens einen Merkmals in dem zweiten Bilddatenstrom bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ersatzbilddaten (17) dem ersten Bilddatenstrom (15) überlagert werden, um den kombinierten Bilddatenstrom (16) zu erzeugen. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Ersatzbilddaten (17) teiltransparent ursprünglichen Bilddaten ersten Bilddatenstroms (15) überlagert werden, welche dem für die erste Kamera (2) verdeckten Bereich (14) in dem ersten Bilddatenstrom (15) entsprechen. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich das weitere Fahrzeug (5) in dem ersten Sichtfeld (8) befindet und der für die erste Kamera (2) verdeckte Bereich (14) durch das weitere Fahrzeug (5) für die erste Kamera (2) verdeckt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der für die erste Kamera (2) verdeckte Bereich (14) mittels wenigstens einer Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) identifiziert wird; und/oder die Ersatzbilddaten (17) mittels der wenigstens einen Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) bestimmt werden; und/oder der kombinierte Bilddatenstrom (16) mittels der wenigstens einen Fahrzeugrecheneinheit (10) des Ego-Fahrzeugs (4) erzeugt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der kombinierte Bilddatenstrom (16) mittels eines fahrzeugexternen Computersystems (13) auf einem fahrzeugexternen Anzeigegerät (11 ) angezeigt wird. Verfahren zum teleoperierten Führen eines Ego-Fahrzeugs (4), dadurch gekennzeichnet, dass ein Verfahren zur Umfelderfassung nach Anspruch 9 durchgeführt wird; in Reaktion auf die Anzeige des kombinierten Bilddatenstroms (16) auf dem fahrzeugexternen Anzeigegerät (11 ), mittels des fahrzeugexternen Computersystems (13) eine Benutzereingabe erfasst wird; und das Ego-Fahrzeug (4) abhängig von der Benutzereingabe wenigstens teilweise automatisch geführt wird. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mittels des fahrzeugexternen Computersystems (13) abhängig von der Benutzereingabe ein Steuerbefehl an das Ego-Fahrzeug (4) übermittelt wird; und das Ego-Fahrzeug (4) abhängig von dem Steuerbefehl wenigstens teilweise automatisch geführt wird. Umgebungserfassungssystem (1), aufweisend eine erste Kamera (2) für ein Ego- Fahrzeug (4), die dazu eingerichtet ist, einen ersten Bilddatenstrom (15) zu erzeugen, wenigstens eine Kommunikationsschnittstelle für das Ego-Fahrzeug (4) zur drahtlosen Datenübertragung und wenigstens eine Recheneinheit, dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit dazu eingerichtet ist, einen mittels einer zweiten Kamera eines weiteren Fahrzeugs (5) erzeugten zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle zu erhalten, wobei ein von dem ersten Bilddatenstrom (15) dargestelltes erstes Sichtfeld (8) mit einem von dem zweiten Bilddatenstrom dargestelltes zweites Sichtfeld (9) überlappt; basierend auf dem ersten Bilddatenstrom (15) und dem zweiten Bilddatenstrom einen für die erste Kamera (2) verdeckten Bereich (14) in dem ersten Sichtfeld (8) zu identifizieren, der für die zweite Kamera nicht verdeckt ist; basierend auf dem zweiten Bilddatenstrom Ersatzbilddaten (17) zu erzeugen, die dem für die erste Kamera (2) verdeckten Bereich (14) entsprechen; und basierend auf dem ersten Bilddatenstrom (15) einen kombinierten Bilddatenstrom (16) zu erzeugen, der das erste Sichtfeld (8) darstellt, und dabei in einem Bereich des kombinierten Bilddatenstroms (16), der dem für die erste Kamera (2) verdeckten Bereich (14) entspricht, die Ersatzbilddaten (17) darzustellen. Umgebungserfassungssystem (1) nach Anspruch 12, dadurch gekennzeichnet, dass das Umgebungserfassungssystem (1) ein fahrzeugexternes Anzeigegerät (11 ) aufweist und die wenigstens eine Recheneinheit ein fahrzeugexternes Computersystem (13) beinhaltet, und das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, den kombinierten Bilddatenstrom (16) zu erzeugen und auf dem fahrzeugexternen Anzeigegerät (11) anzuzeigen; oder die wenigstens eine Recheneinheit wenigstens eine Fahrzeugrecheneinheit (10) enthält, die dazu eingerichtet ist, den zweiten Bilddatenstrom über die wenigstens eine Kommunikationsschnittstelle zu erhalten, den für die erste Kamera (2) verdeckten Bereich (14) zu identifizieren, die Ersatzbilddaten (17) zu erzeugen, den kombinierten Bilddatenstrom (16) zu erzeugen und den kombinierten Bilddatenstrom (16) über die wenigstens eine Kommunikationsschnittstelle an das fahrzeugexterne Computersystem (13) zu übermitteln und das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, den kombinierten Bilddatenstrom (16) auf dem fahrzeugexternen Anzeigegerät (11 ) anzuzeigen. Fahrzeugführungssystem zum teleoperierten Führen eines Ego-Fahrzeugs (4), dadurch gekennzeichnet, dass das Fahrzeugführungssystem ein Umgebungserfassungssystem (1 ) nach Anspruch 13 aufweist; das fahrzeugexterne Computersystem (13) dazu eingerichtet ist, in Reaktion auf die Anzeige des kombinierten Bilddatenstroms (16) auf dem fahrzeugexternen Anzeigegerät (11 ), eine Benutzereingabe zu erfassen; und das Fahrzeugführungssystem ein Ego-Fahrzeugführungssystem für das Ego- Fahrzeug (4) aufweist, das dazu eingerichtet ist, das Ego-Fahrzeug (4) abhängig von der Benutzereingabe wenigstens teilweise automatisch zu führen. 15. Computerprogrammprodukt mit Befehlen, die bei Ausführung durch ein Umgebungserfassungssystem (1) nach einem der Ansprüche 12 oder 13 das Umgebungserfassungssystem (1 ) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen; und/oder bei Ausführung durch ein Fahrzeugführungssystem nach Anspruch 14 das Fahrzeugführungssystem dazu veranlassen, ein Verfahren nach einem der Ansprüche 10 oder 11 durchzuführen.
EP23715059.4A 2022-03-28 2023-03-23 Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs Pending EP4499455A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022107250.9A DE102022107250A1 (de) 2022-03-28 2022-03-28 Umgebungserfassung und teleoperiertes Führen eines Ego-Fahrzeugs
PCT/EP2023/057402 WO2023186675A1 (de) 2022-03-28 2023-03-23 Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs

Publications (1)

Publication Number Publication Date
EP4499455A1 true EP4499455A1 (de) 2025-02-05

Family

ID=85873814

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23715059.4A Pending EP4499455A1 (de) 2022-03-28 2023-03-23 Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs

Country Status (5)

Country Link
US (1) US20250209826A1 (de)
EP (1) EP4499455A1 (de)
CN (1) CN118946481A (de)
DE (1) DE102022107250A1 (de)
WO (1) WO2023186675A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023210748A1 (de) 2023-10-30 2025-04-30 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umgebungsansicht für ein Fahrzeug, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102019112471A1 (de) * 2019-05-13 2020-11-19 Valeo Schalter Und Sensoren Gmbh Verfahren, Computerprogramm, computerlesbares Medium, Fahrerassistenzsystem und Fahrzeug zum Bereitstellen visueller Information über mindestens einen verdeckten Teil einer Umgebung

Also Published As

Publication number Publication date
WO2023186675A1 (de) 2023-10-05
CN118946481A (zh) 2024-11-12
DE102022107250A1 (de) 2023-09-28
US20250209826A1 (en) 2025-06-26

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP2559236B1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
DE102020105569A1 (de) Anhängerwinkeldetektion unter verwendung von end-to-end-learning
DE102019131702A1 (de) Anhängerwinkelerfassung unter verwendung von ende-zu-ende-lernen
DE10059315A1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE102017105635A1 (de) System und verfahren zum erzeugen einer hybriden kameraansicht in einem fahrzeug
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
EP4028276B1 (de) Verfahren zum betreiben einer virtual-reality-brille in einem fahrzeug sowie virtual-reality-system mit einer virtual-reality-brille und einem fahrzeug
DE112015000763T5 (de) Fahrzeugumgebungsbildanzeigevorrichtung undFahrzeugumgebungsbildanzeigeverfahren
DE102022205238A1 (de) Anzeigesysteme für arbeitsfahrzeuge und verfahren zum erzeugen optisch manipulierter kontextansichten
DE102015007491A1 (de) Verfahren zum Betrieb eines Fahrerinformationssystems eines Kraftfahrzeugs und Kraftfahrzeug
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
EP4499455A1 (de) Umgebungserfassung und teleoperiertes führen eines ego-fahrzeugs
DE102023113630A1 (de) Erweitertes maschinenbenutzeroberflächensystem
WO2023186683A1 (de) Führen eines fahrzeugs in einem vorgegebenen befahrbaren bereich
DE102022102635A1 (de) Autonomes fahrzeug, steuersystem zum fernsteuern desselben und verfahren dazu
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
EP3543060B1 (de) Verfahren zum anzeigen von den betrieb eines fahrzeugs betreffende informationen und anzeigesystem
DE102023203322B3 (de) Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Fahrerassistenzeinrichtung, Fahrzeug und Computerprogramm
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102020108817A1 (de) Verfahren und System zum Führen eines Fahrzeugs
DE102020209817B4 (de) Zumindest teilweise autonom steuerbares Fahrzeug, Verfahren, Computerprogramm und Vorrichtung zur Validierung von Informationen über eine Beschränkung eines Verkehrsbereichs
DE102022121839A1 (de) Texterkennung basierend auf einem verzeichneten Kamerabild
DE102021122543A1 (de) Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240903

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)