EP3891038A1 - Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug - Google Patents

Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug

Info

Publication number
EP3891038A1
EP3891038A1 EP19828567.8A EP19828567A EP3891038A1 EP 3891038 A1 EP3891038 A1 EP 3891038A1 EP 19828567 A EP19828567 A EP 19828567A EP 3891038 A1 EP3891038 A1 EP 3891038A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
remote control
control device
perspective
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19828567.8A
Other languages
English (en)
French (fr)
Inventor
Johannes PETZOLD
Joerg Schrepfer
Stefan MILZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP3891038A1 publication Critical patent/EP3891038A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/225—Remote-control arrangements operated by off-board computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle

Definitions

  • the invention relates to a method for assisting a user in remotely controlling a motor vehicle by means of a remote control device, wherein, depending on sensor data provided by means of at least one environment sensor of the motor vehicle, an environmental image of at least part of the environment of the motor vehicle is provided from a certain perspective and the first environmental image is provided by means of the Remote control device is displayed.
  • the invention also includes a
  • Computer program product a remote control device and a driver assistance system for a motor vehicle.
  • US 2016/0096549 A1 describes a method for remote control of a motor vehicle with a trailer.
  • a user can drive the motor vehicle trailer arrangement remotely by means of a remote control.
  • appropriate control elements in particular also as a virtual display of such control elements, can be provided by the remote control, for example to remotely operate the accelerator pedal, the brake pedal, a gear selector lever and so on.
  • a video stream of a 360-degree all-round vision system of the motor vehicle can also be displayed to a user.
  • DE 10 2009 041 587 A1 describes a method for assisting a driver in monitoring an autonomous parking process of a motor vehicle, the monitoring user also changing during the autonomous parking process can be outside the motor vehicle.
  • image data about a surrounding area of the motor vehicle can be obtained by means of at least one camera of the motor vehicle and this or image data calculated therefrom can be transmitted to a remote control of the user for display. If several cameras are provided, the user can select one of the several cameras via the remote control and then the image data of the selected camera is transmitted to the user by means of the
  • the views of the various cameras can also be automatically displayed to the user via the remote control in a predetermined time change.
  • the driver is shown a bird's eye view of the area surrounding the motor vehicle by means of the remote control.
  • the environmental video recorded by a motor vehicle camera can be displayed as a live stream to a remote user who remotely controls the motor vehicle.
  • Remote control of a motor vehicle by means of a remote control device is provided as a function of at least one environment sensor of the motor vehicle
  • Sensor data a first environment image of at least part of the environment of the motor vehicle from a certain perspective and the first
  • the particular perspective is selected from a plurality of perspectives that can be selected as a perspective that is independent of a position of the at least one environment sensor and is dependent on a perspective that the user detects by means of the remote control device
  • the perspectives that can be selected by the user by means of the remote control device, from which the user can be shown the corresponding surrounding image of the surroundings of the motor vehicle are not limited to the perspectives provided by the positions of the one or more surroundings sensors of the motor vehicle, but can be, for example in principle be freely selectable in three-dimensional space.
  • the view or representation of the environment from the selected perspective can then be calculated by known methods from the sensor data provided by the at least one environment sensor. This advantageously provides the user with significantly more flexibility with regard to the choice of the perspective on the motor vehicle environment, which in particular
  • both an activation of a function to be carried out automatically by the motor vehicle can be understood from a distance, and also manual remote-controlled driving of the motor vehicle
  • the motor vehicle to be remotely controlled is preferably an automatically driving motor vehicle, in particular of the autonomy level two, three or four. Remote control of the motor vehicle preferably takes place through the
  • the user when the motor vehicle is controlled remotely, the user does not have to be in a predetermined proximity to the motor vehicle, but can be at any distance from the motor vehicle. That also has to be
  • Motor vehicle is not in the user's field of vision.
  • the communication between the motor vehicle and the remote control device can in principle take place by any communication standard, preferably by one
  • the 4G or LTE (Long Term Evolution) mobile communications standard in particular LTE advanced, is currently particularly suitable for this.
  • LTE advanced Long Term Evolution mobile communications standard
  • the highest data transfer speeds can currently be achieved, thereby minimizing latency.
  • other, further improved mobile radio standards such as the planned 5G mobile radio standard or others for data transmission between the motor vehicle and the
  • the remote control device can take any form. This can be designed, for example, as a mobile device, such as a Wi-Fi connection, or a Wi-Fi connection, or a Wi-Fi connection.
  • a mobile device such as a Wi-Fi connection
  • Smartphone or another mobile communication device or as a non-mobile communication device, such as a desktop computer
  • the remote control device has at least one for displaying the at least one first environment image
  • Display device or a display.
  • the at least one environment sensor is preferably designed as at least one camera.
  • other types of sensors for example LIDAR (Light Detection And Ranging) sensors and / or radar sensors and / or ultrasound sensors and any combination thereof, can also be used as an alternative or in addition for environment detection and for providing the sensor data.
  • LIDAR Light Detection And Ranging
  • a 3D all-round view of the motor vehicle is based on the acquired sensor data
  • a 360-degree camera and / or a 360-degree LIDAR sensor can be installed on the roof of the motor vehicle in order to detect the surroundings around the motor vehicle at full angle.
  • several environment sensors in particular several cameras, are used to provide the sensor data, which are arranged on the outside around the motor vehicle, for example a front camera on the vehicle front, a rear camera on the rear of the vehicle and, for example, a left mirror camera in the Area of the left outside mirror of the motor vehicle and a right mirror camera in the area of the right outside mirror of the motor vehicle.
  • Each of these cameras is preferably designed as a wide-angle camera, in particular as a fisheye camera.
  • a respective camera can be designed to provide a field of view with an opening angle of 180 degrees in the horizontal. Such an arrangement also allows the surroundings of the motor vehicle to be at a full angle around the motor vehicle capture and based on this a 3D all-round view of the motor vehicle
  • a perspective can be assigned a viewpoint, in particular a virtual viewpoint from which the surroundings are to be viewed, as well as a direction of view. Furthermore, a perspective that is independent of a position of the at least one environment sensor is to be understood as a perspective, the associated viewpoint of which is also from a position of the at least one
  • Environment sensor can be different.
  • the user can also choose perspectives that do not match the perspectives from which the respective motor vehicle cameras record the surroundings.
  • the recorded user input can be used to select the perspective
  • a user can select or change a perspective without having to change the position and / or orientation of the motor vehicle itself by remote control.
  • a certain perspective within the motor vehicle coordinate system can thus be selected or changed by the user input.
  • a view window is determined on a defined projective surface and the first surrounding image as part of one from the sensor data
  • the available 3D all-round view of the motor vehicle is calculated as a function of the particular view window on the defined projective area, so that the first surrounding image represents the part of the surroundings lying within the view window from the selected perspective.
  • the sensor data provided can be projected onto the defined projective area from the point of view of the selected perspective, and the surrounding image can thus advantageously be provided as part of the total 3D all-round view that can be provided around the motor vehicle within the specific view window.
  • the projective surface can represent, for example, a plane that extends perpendicular to the vertical axis of the vehicle and with respect to the
  • Vehicle vertical axis is below the motor vehicle.
  • Such a projective area is particularly suitable for displaying or representing the surroundings from a bird's eye view or in a top view of the motor vehicle.
  • the projective surface is a curved surface.
  • the projective surface can be hemispherical or bowl-shaped, for example.
  • the projective surface can also be composed of a
  • a virtual viewpoint associated with the particular perspective can be freely selectable on one or more predetermined lines or in three-dimensional space.
  • the user can thus freely select the perspective and change it as desired, in particular also dynamically and continuously, through the user input recorded by the remote control device.
  • innumerable, in particular infinitely many, different perspectives can be suitably chosen to suit the respective situation.
  • a virtual viewpoint assigned to the specific perspective can be selected within the motor vehicle and also outside the motor vehicle.
  • a perspective can be selected that a driver sitting in the motor vehicle would have of the surroundings, as well as any number of perspectives outside the motor vehicle that a viewer would have next to, behind, in front of or above the motor vehicle. The user is thus advantageously provided with the option of having the environmental information recorded by the motor vehicle displayed comprehensively.
  • a motor vehicle representation of the motor vehicle Surrounding image at least part of a motor vehicle representation of the motor vehicle is shown from the selected perspective.
  • This motor vehicle representation can, for example, be provided in the form of a 2D bitmap image or else as a three-dimensional computer-generated motor vehicle model. This significantly increases the degree of reality for the user. Above all, however, the user can directly relate the environment shown in the first environment image and objects located therein to the position of the motor vehicle and, for example, distances, Size relationships, the current direction of travel or the like can be recorded much better and this can further increase safety.
  • this embodiment has the great advantage that the data to be transmitted from the motor vehicle to the remote control device can be reduced to a minimum, since only the image data of the surrounding image is transmitted to the remote control device and, for example, no sensor data or ambient data that are outside the specific one Viewports as described above. This enables a significantly faster data transmission from the motor vehicle to the remote control device. This allows latency times to be reduced to a minimum. In this case it is advantageous if the
  • Remote control device recorded user input for selecting the perspective as, for example, corresponding selection information is transmitted from the remote control device to the motor vehicle. This can then correspondingly calculate the environmental image on the basis of the acquired sensor data in accordance with the selected perspective and transmit it to the remote control device. This process is repeated in particular continuously, so that the user is shown repeatedly updated first surroundings images from the selected perspective in the form of a live video on the remote control device.
  • the sensor data are transmitted from the motor vehicle to the remote control device and the first environmental image is calculated from the sensor data by the remote control device.
  • this makes it possible, for example, to simultaneously compute and display environmental images from different perspectives from the sensor data transmitted to the remote control device.
  • these different environmental images that is to say from the different perspectives, calculated in the motor vehicle on the basis of the sensor data and transmitted to the remote control device, but the computing capacity in motor vehicles is typically very limited, in particular due to that in the motor vehicle available space is limited. Such restrictions apply to the
  • Remote control device not, for example, as a powerful home computer can be trained. So you can, for example, next to the first
  • Remote control device and / or a bandwidth and / or one
  • Data transmission speed of the data transmission between the motor vehicle and the remote control device determines whether the first environment image is calculated from the sensor data by the motor vehicle or by the remote control device.
  • the two variants described above can be implemented depending on the situation, depending on the current connection quality of the communication link between the motor vehicle and the remote control device. Since at least the motor vehicle is moving, the communication link can be better or worse from time to time. If, for example, currently high data transmission speeds are available, all of the raw sensor data recorded by the motor vehicle can be transmitted to the remote control device, and the first of these sensor data
  • Environment image and preferably other environment images are calculated from further perspectives and displayed to the user. If, on the other hand, the communication link between the motor vehicle and the remote control device is currently poor or only very low data transmission speeds are available, the motor vehicle can instead use the first environment image based on the acquired one
  • the first environment image is calculated from the sensor data by the motor vehicle and transmitted to the remote control device and if the bandwidth of the Communication link and / or the data transmission speed of the communication link between the motor vehicle and remote control device does not fall below the predetermined limit, the sensor data to the
  • Remote control device are transmitted and the first environment image from the
  • Sensor data is calculated by the remote control device.
  • At least one second environment image is provided from a second perspective and at the same time as the first by means of the remote control device
  • the perspective assigned to the second environment image can also be selected or changed by the user or can also be predefined. For example, in addition to the first environment image with the perspective selected by the user, a top view image from a bird's eye view of the motor vehicle and the motor vehicle environment can be displayed as the second environment image, and / or a further second environment image from a driver's perspective or the like. There are no limits to the design options.
  • the user can also set the perspectives associated with the environment images displayed in each case beforehand by a user using a configuration menu. The user can then, for example, change the set perspective at any time for each individual surrounding image.
  • remote control of the motor vehicle is independent of a distance between the remote control device and the
  • Motor vehicle is carried out or is feasible.
  • the user does not have to be in a predetermined proximity to the motor vehicle, but can be in a user position that is independent of the position of the motor vehicle for remote control of the motor vehicle. Especially in connection with such a remote control, it is particularly important to provide the user with comprehensive
  • Motor vehicle is, so that the motor vehicle is always within sight of the User.
  • Such a comprehensive provision of information regarding the surroundings of the motor vehicle can advantageously be provided by the invention, which increases security, particularly with regard to such remote control systems
  • the invention also relates to a computer program product comprising commands that are executed by a processor of an electronic
  • Control device cause the latter to carry out a method according to the invention or one of its embodiments.
  • the invention also relates to a remote control device for assisting a user in remotely controlling a motor vehicle, the remote control device being designed to display an environmental image of at least part of the environment of the vehicle
  • the remote control device is designed to detect a user input made by the user and, depending on the recorded user input, to select the particular perspective from a plurality of selectable perspectives as a perspective independent of a position of the at least one environment sensor.
  • the invention also includes a driver assistance system for a motor vehicle to assist a user in remotely controlling the motor vehicle by means of a
  • the driver assistance system is designed to receive from the remote control device a selection information that is dependent on a user input acquired by means of the remote control device and that is made by the user and, depending on the received selection information, the specific perspective from several selectable perspectives as one from a position of the at least one Environment sensor independent perspective to select.
  • a motor vehicle with a driver assistance system according to the invention or one of its configurations should also be regarded as belonging to the invention.
  • the invention also includes a system comprising one
  • Remote control device and a motor vehicle the system being designed to carry out the method according to the invention or one of its embodiments.
  • Fig. 1 is a schematic representation of a remote control system with a
  • FIG. 2 shows a schematic illustration of the provision of a 3D all-round view of the motor vehicle from the sensor data provided by the motor vehicle and the calculation of an environmental image as a function of a selected perspective according to an exemplary embodiment of the invention
  • Fig. 3 is a schematic representation of the remote control device according to one
  • Fig. 1 shows a schematic representation of a remote control system 1 with a
  • the motor vehicle 2 has a driver assistance system 4 which comprises at least one environment sensor, in this example four cameras 5, 6, 7, 8, namely for example a front camera 5, a rear camera 6, a left mirror camera 7 and a right mirror camera 8. Each of these cameras 5, 6, 7, 8 can be used as
  • an environment can thus be 9 of the motor vehicle 2 completely, that is, at a full angle around the motor vehicle 2.
  • an environmental image of at least part of the environment 9 of the motor vehicle 2 can be calculated from a certain perspective and displayed on the remote control device 3, as will be described in more detail with reference to FIG. 3.
  • each of these perspectives is now advantageously freely selectable by a user.
  • This freely selectable perspective is therefore advantageously independent of the positions of the respective cameras 5, 6, 7, 8.
  • a perspective can be selected that does not match a perspective of the respective cameras 5, 6, 7, 8.
  • the remote control device 3 can have corresponding input means. The remote control device 3 can use this to record the perspective selection made by the user.
  • both the motor vehicle 2 and the remote control device 3 are designed to calculate the environmental image on the basis of the acquired sensor data.
  • the driver assistance system 4 has a control device 10, which is designed to calculate the image of the surroundings based on the predefined perspective on the basis of the sensor data.
  • the remote control device 3 also has a corresponding control device 11, which is also designed to operate on the basis of a given perspective
  • the user input acquired by the remote control device 3 for defining a desired perspective can be transmitted as a corresponding selection information item 12 to the motor vehicle 2, in particular to the control device 10 of the motor vehicle 2.
  • the control device 10 calculates the environmental image 13 from the image based on the image data provided by the cameras 5, 6, 7, 8 in a respective time step
  • control device 10 can repeatedly calculate the environment image 13 based on the sensor data from the same perspective chosen by the user until a new one Selection information 12 is received from the remote control device 3 specifying a different perspective. Then the control device 10 of the
  • Motor vehicle 2 calculate the environment image 13 depending on the newly specified perspective and transmit it to the remote control device 3.
  • this calculation of the environmental image 13 can also be carried out by the remote control device 3 itself.
  • the remote control device 3 itself.
  • Selection information 12 is not transmitted from the remote control device 3 to the motor vehicle 2. Instead, the control device 10 of the motor vehicle 2 transmits the image data captured by the cameras 5, 6, 7, 8, in particular as raw sensor data 14, to the remote control device 3 in a respective time step. In addition, other environmental and / or motor vehicle data, such as a Area map, the current motor vehicle position, the current driving speed, or other data are transmitted from the motor vehicle to the remote control device. This then calculates and displays the environmental image 13 as a function of the perspective chosen by the user.
  • the determination of whether the surroundings image 13 is to be calculated by the motor vehicle 2 or by the remote control device 3 is made depending on how good the communication link between the motor vehicle 2 and the remote control device 3 is currently. For example, if a very high bandwidth is currently available for the data transmission and / or if currently high data transmission speeds are possible, it is preferred that the motor vehicle 2, in particular the control device 10, transmits the raw camera data 14 to the remote control device 3 and the calculation of the environmental image 13 is carried out by the remote control device 3.
  • the remote control device 3 is not limited in its computing power due to the installation space, as is the case for the control device 10 of the motor vehicle 2, for example. This advantageously makes it possible, on the basis of the data transmitted to the remote control device 3
  • the motor vehicle 2 itself calculates the environmental image 13 is calculated as a function of the perspective specified by the user and the calculated environment image 13 is transmitted to the remote control device 3, which then displays it.
  • This has the advantage that significantly smaller amounts of data are generated for the transmission of the environmental image 13 from the motor vehicle 2 to the remote control device 3 than when the entire raw camera data 14 is transmitted. This enables data transmission to be carried out quickly even at low data transmission speeds.
  • remote control commands 15 entered by the user via the remote control device 3 can also be carried out by the remote control device 3
  • Remote control device 3 to the motor vehicle 2, in particular to the
  • Control device 10 are transmitted, which implements these commands.
  • Remote control commands are, in particular, drive commands to motor vehicle 2, in particular for controlling steering of motor vehicle 2 and / or for controlling acceleration and / or braking of motor vehicle 2.
  • a user thus receives remote control of motor vehicle 2 by means of
  • Remote control device 3 additionally provides comprehensive environmental information about the environment 9 of the motor vehicle 2, which increases security in the
  • FIG. 2 shows a schematic illustration of the calculation of the environmental image based on the sensor data provided as part of a 3D all-round view of the motor vehicle 2.
  • FIG. 2 shows a projective surface, which in this example is designed as a spherical or shell-shaped projective surface 15 , together with a three-dimensional model of the motor vehicle 2 as an example of a motor vehicle representation 17.
  • the images of the surroundings 9 captured by the motor vehicle cameras 5, 6, 7, 8 can be combined and referenced to the
  • View window 18 defines which depends on the position of the selected perspective 19, which is represented here by the virtual view point assigned to perspective 19.
  • the perspective 19 is selected such that a rear view of the motor vehicle 2, which is represented here by the motor vehicle model or in general a motor vehicle representation 17, is provided.
  • an environment image can be provided, which represents the first part of the environment 20 lying within the view window from the selected perspective 19.
  • FIG. 3 shows a schematic illustration of the remote control device 3 in detail according to an exemplary embodiment of the invention.
  • the remote control device 3 can have operating elements 21, of which only one steering wheel is shown here by way of example and by means of which a user can drive the motor vehicle 2 by remote control.
  • Such a steering wheel or the operating elements 21 in general do not have to be provided objectively, but can also be represented as a virtual representation on a display device and / or a touchscreen.
  • the remote control device 3 also provides input options which are also not explicitly shown here and by means of which one
  • the user can choose the perspective from which the surroundings 9 of the motor vehicle 2 are to be represented by means of the remote control device 3.
  • the remote control device 3 has at least one display device.
  • a respective display device 22 shows a respective environmental image 13a, 13b, 13c.
  • These environmental images 13a, 13b, 13c can alternatively also be on a common one
  • Display device 22 for example side by side, one below the other or the like. At least one of the displayed surrounding images 13a, 13b, 13c is displayed from a perspective 19 specified by the user.
  • the other two environment images can either also be displayed from a perspective that the user has actively selected and / or from one
  • a first environment image 13a shows a part 20 of the environment 9 of the motor vehicle 2, which is in turn represented here as a corresponding motor vehicle representation 17, from a perspective 19, the associated viewpoint of which is outside the motor vehicle 2 or
  • a second environment image 13b shows the part 20 of the environment 9 from a perspective, the associated viewpoint of which lies within the motor vehicle 2 or the motor vehicle model 17.
  • the part 20 lying in the view window 18 is the
  • the focus of perspective 19 is directly above motor vehicle 2 or motor vehicle display 17.
  • the two surroundings images 13b, 13c can be displayed to the user as predetermined perspectives. This is particularly advantageous because the bird's eye view according to the third environment image 13c to a user
  • a perspective according to the second environment image 13b is particularly advantageous since this simulates the perspective of a driver seated in the motor vehicle 2, which is a particularly familiar type of representation according to the remote-control user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Steering Controls (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs (2) mittels einer Fernsteuereinrichtung (3), wobei in Abhängigkeit von mittels zumindest eines Umfeldsensors (5, 6, 7, 8) des Kraftfahrzeugs (2) bereitgestellten Sensordaten (14) ein erstes Umgebungsbild (13) zumindest eines Teils (20) der Umgebung (9) des Kraftfahrzeugs (2) aus einer bestimmten Perspektive (19) bereitgestellt und mittels der Fernsteuereinrichtung (3) angezeigt wird. Dabei wird die bestimmte Perspektive (19) aus mehreren wählbaren Perspektiven (19) als eine von einer Position des mindestens einen Umfeldsensors (5, 6, 7, 8) unabhängige Perspektive (19) in Abhängigkeit von einer mittels der Fernsteuereinrichtung (3) erfassten, durch den Benutzer getätigten Benutzereingabe ausgewählt.

Description

Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, Computerprogrammprodukt, Fernsteuereinrichtung und Fahrerassistenzsystem für ein
Kraftfahrzeug
Die Erfindung betrifft ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung, wobei in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten Sensordaten ein Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitgestellt wird und das erste Umgebungsbild mittels der Fernsteuereinrichtung angezeigt wird. Zur Erfindung gehören auch ein
Computerprogrammprodukt, eine Fernsteuereinrichtung und ein Fahrerassistenzsystem für ein Kraftfahrzeug.
Aus dem Stand der Technik sind diverse Fernsteuersysteme zum Fernsteuern eines Kraftfahrzeugs bekannt. Zum einen gibt es dabei Systeme, bei denen sich der Benutzer zur Fernsteuerung des Kraftfahrzeugs in vorbestimmter Nähe zum Kraftfahrzeug befinden muss, insbesondere so, dass sich das Kraftfahrzeug in Sichtreichweite zum Benutzer befindet. Derartige Systeme kommen hauptsächlich im Zusammenhang mit automatisch vom Kraftfahrzeug durchgeführten Parkvorgängen zum Einsatz, bei welchen ein Benutzer außerhalb des Kraftfahrzeugs einen solchen automatischen Einparkvorgang über eine Fernbedienung starten und überwachen kann.
In diesem Zusammenhang beschreibt die US 2016/0096549 A1 ein Verfahren zum Fernsteuern eines Kraftfahrzeugs mit einem Anhänger. Dabei kann ein Benutzer mittels einer Fernbedienung die Kraftfahrzeug-Anhänger-Anordnung ferngesteuert fahren. Hierzu können entsprechende Steuerelemente, insbesondere auch als virtuelle Anzeige solcher Steuerelemente, durch die Fernbedienung bereitgestellt sein, um beispielsweise das Gaspedal, das Bremspedal, einen Gangwahlhebel und so weiter fernzubedienen. Weiter kann einem Benutzer dabei auch ein Videostream eines 360-Grad-Rundumsichtsystems des Kraftfahrzeugs angezeigt werden.
Weiterhin beschreibt die DE 10 2009 041 587 A1 ein Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs, wobei sich der überwachende Benutzer ebenfalls während des autonomen Parkvorgangs außerhalb des Kraftfahrzeugs befinden kann. Auch hier können mittels zumindest einer Kamera des Kraftfahrzeugs Bilddaten über einen Umgebungsbereich des Kraftfahrzeugs gewonnen werden und diese oder daraus berechnete Bilddaten an eine Fernbedienung des Benutzers zum Anzeigen übermittelt werden. Sind mehrere Kameras vorgesehen, kann der Benutzer über die Fernbedienung eine der mehreren Kameras auswählen und dann werden dem Benutzer die Bilddaten der ausgewählten Kamera mittels der
Fernbedienung angezeigt. Alternativ können die Ansichten der verschiedenen Kameras auch dem Benutzer über die Fernbedienung in einem vorbestimmten zeitlichen Wechsel automatisch angezeigt werden. Bei einer weiteren Alternative ist es vorgesehen, dass dem Fahrer mittels der Fernbedienung der Umgebungsbereich des Kraftfahrzeugs aus einer Vogelperspektive angezeigt wird.
Darüber hinaus gibt es auch Fernbedienungssysteme, bei welchen sich der Benutzer nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden muss, sondern auch sehr weit vom Kraftfahrzeug entfernt sein kann, zum Beispiel in einer anderen Stadt, oder sogar in einem anderen Land. Ein solches System ist beispielsweise im Artikel„CES 2018:
Phantom Auto Demonstrates First Remote-Controlled Car on Public Roads” von Mark Harris, veröffentlicht am 10.01 .2018 unter https://spectrum.ieee.org/cars-that- think/transportation/self-driving/ces-2018-phantom-auto-demonstrates-first- remotecontrolled-car-on-public-roads” beschrieben. Auch hierbei kann das von einer Kraftfahrzeugkamera aufgenommene Umgebungsvideo als Livestream einem entfernten und das Kraftfahrzeug fernbedienenden Benutzer angezeigt werden.
Gerade im letztgenannten Fall, in welchem sich also ein Benutzer unter Umständen sehr weit entfernt vom fernzusteuernden Kraftfahrzeug befinden kann, ist es besonders wichtig, für den Fall, dass der Benutzer dieses Kraftfahrzeug aus der Entfernung fernsteuern muss, dem Benutzer umfassende Informationen über die Umgebung es Kraftfahrzeugs zu liefern.
Im Allgemeinen sind zudem bereits hoch automatisiert fahrende Kraftfahrzeuge aus dem Stand der Technik bekannt. Dabei werden mittlerweile Kraftfahrzeuge verschiedenster Autonomielevel getestet. Allerdings ist es abzusehen, dass zumindest in der nächsten Zeit ein Autonomielevel der Stufe 5, bei welchem also überhaupt kein Fahrer oder eine überwachende Person mehr anwesend sein muss, nicht umsetzbar sein wird. Aktuell können also auch Kraftfahrzeuge mit sehr hohen Autonomieleveln dennoch in Situationen geraten, in welchen eine manuelle Interaktion durch einen Benutzer erforderlich ist. Diese Situationen können zum Beispiel kritische Manöver darstellen, wie zum Beispiel Autobahnausfahrten, zusammenführende Fahrspuren, Unfälle, das Bereitstellen eines Korridors für Einsatzfahrzeuge, Baustellen oder auch einfachere Fahrerübernahmen zum Einparken in eine Parklücke oder in Parkhäusern. Auch bei solchen Arten der manuellen Übernahme durch einen Benutzer des automatisch fahrenden Kraftfahrzeugs kann die durch den Benutzer durchgeführte Steuerung des Kraftfahrzeugs aus der Ferne erfolgen. Dabei kann eine solche Übernahme sowohl beim Stillstand des Kraftfahrzeugs oder bei langsamer Fahrt, wie zum Beispiel bei einem Einparkmanöver, erforderlich sein, andererseits aber auch in durchaus kritischeren Situationen bei schneller Fahrt des Kraftfahrzeugs, zum Beispiel auf einer Autobahn. Daher ist es wünschenswert, eine derartige Übernahme für den Benutzer so einfach wie möglich und insgesamt so sicher wie möglich zu gestalten.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung, ein Computerprogrammprodukt, eine Fernsteuereinrichtung und ein Fahrerassistenzsystem für ein Kraftfahrzeug bereitzustellen, welche eine möglichst sichere Fernsteuerung des Kraftfahrzeugs durch den kraftfahrzeugexternen und entfernt befindlichen Benutzer ermöglichen.
Diese Aufgabe wird gelöst durch ein Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, durch ein Computerprogrammprodukt, durch eine Fernsteuereinrichtung und durch ein Fahrerassistenzsystem mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.
Bei einem erfindungsgemäßen Verfahren zum Unterstützen eines Benutzers beim
Fernsteuern eines Kraftfahrzeugs mittels einer Fernsteuereinrichtung wird in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten
Sensordaten ein erstes Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitgestellt und das erste
Umgebungsbild mittels der Fernsteuereinrichtung angezeigt. Weiterhin wird die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängigen Perspektive in Abhängigkeit von einer mittels der Fernsteuereinrichtung erfassten, durch den Benutzer getätigten
Benutzereingabe ausgewählt. Mit anderen Worten sind die vom Benutzer mittels der Fernsteuereinrichtung wählbaren Perspektiven, aus welchen dem Benutzer das entsprechende Umgebungsbild der Umgebung des Kraftfahrzeugs angezeigt werden kann, nicht auf die durch die Positionen des einen oder der mehreren Umfeldsensoren des Kraftfahrzeugs bereitgestellten Perspektiven beschränkt, sondern können zum Beispiel im Prinzip im dreidimensionalen Raum frei wählbar sein. Die Ansicht beziehungsweise Repräsentation der Umgebung aus der gewählten Perspektive kann dann durch bekannte Verfahren aus den vom zumindest einen Umfeldsensor bereitgestellten Sensordaten berechnet werden. Dadurch ist vorteilhafterweise dem Benutzer deutlich mehr Flexibilität hinsichtlich der Wahl der Perspektive auf die Kraftfahrzeugumgebung bereitgestellt, wodurch gerade in
Kombination mit einem Fernbedienungssystem, bei welchem der Benutzer das
Kraftfahrzeug aus der Entfernung unter Umständen in sehr kritischen Fahrsituationen fernsteuern muss, die Sicherheit enorm erhöht werden kann, da durch die deutlich flexiblere Wahl der Perspektive dem Benutzer ein Umgebungsbild angezeigt werden kann, welches der Benutzer auf die Erfordernisse der Situation geeignet angepasst wählen kann und dabei nicht auf eine definierte Anzahl vorbestimmter, insbesondere durch die Positionen der Kraftfahrzeugsensoren vorbestimmter, Perspektiven beschränkt ist.
Bei einem Fernsteuern des Kraftfahrzeugs können dabei sowohl ein Aktivieren einer automatisch vom Kraftfahrzeug durchzuführenden Funktion aus der Entfernung verstanden werden, sowie auch ein manuelles ferngesteuertes Fahren des
Kraftfahrzeugs. Vorzugsweise handelt es sich beim fernzusteuernden Kraftfahrzeug um ein automatisch fahrendes Kraftahrzeug, insbesondere des Autonomielevels zwei, drei oder vier. Vorzugsweise findet eine Fernsteuerung des Kraftfahrzeugs durch den
Benutzer nur in einer Übernahmesituation statt, das heißt wenn das aktuell automatisch fahrende Kraftfahrzeug den Benutzer zur Übernahme der Fahrfunktionen auffordert. Dies kann in den eingangs beschriebenen Situationen der Fall sein.
Im Zusammenhang mit der vorliegenden Erfindung muss sich beim Fernsteuern des Kraftfahrzeugs der Benutzer nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden, sondern kann vom Kraftfahrzeug beliebig weit entfernt sein. Auch muss sich das
Kraftfahrzeug nicht im Sichtbereich des Benutzers befinden. Die Kommunikation zwischen dem Kraftfahrzeug und der Fernsteuereinrichtung kann dabei prinzipiell durch jeden beliebigen Kommunikationsstandart erfolgen, vorzugsweise durch einen
Mobilfunkstandard. Besonders geeignet hierfür ist aktuell vor allem der Mobilfunkstandard 4G beziehungsweise LTE(Long Term Evolution), insbesondere LTE-advanced. Hierdurch lassen sich aktuell die größten Datenübertragungsgeschwindigkeiten erreichen und dadurch Latenzzeiten minimieren. Zukünftig lassen sich aber auch andere, weiter verbesserte Mobilfunkstandards, wie zum Beispiel der geplante Mobilfunkstandard 5G oder andere für die Datenübertragung zwischen dem Kraftfahrzeug und der
Fernsteuereinrichtung verwenden.
Weiterhin kann die Fernsteuereinrichtung beliebige Formen annehmen. Diese kann beispielsweise als ein mobiles Gerät ausgestaltet sein, wie zum Beispiel als ein
Smartphone oder ein anderes mobiles Kommunikationsgerät, oder auch als eine nicht mobile Kommunikationseinrichtung, wie zum Beispiel ein Desktop-Rechner
beziehungsweise Heimcomputer des Benutzers. Zum Anzeigen des zumindest einen ersten Umgebungsbilds weist die Fernsteuereinrichtung zumindest eine
Anzeigeeinrichtung beziehungsweise ein Display auf.
Der zumindest eine Umfeldsensor ist vorzugsweise als mindestens eine Kamera ausgebildet. Zur Umfelderfassung und zur Bereitstellung der Sensordaten können aber auch alternativ oder zusätzlich andere Sensorarten verwendet werden, zum Beispiel LIDAR(Light Detection And Ranging)-Sensoren und/oder Radarsensoren und/oder Ultraschallsensoren und beliebige Kombinationen davon.
Um die Umgebung für den Benutzer aus jeder beliebigen gewählten Perspektive darstellbar zu machen, ist es, wie es später näher beschrieben wird, bevorzugt, dass auf Basis der erfassten Sensordaten eine 3D-Rundumsicht um das Kraftfahrzeug
bereitstellbar ist. Dies lässt sich sowohl durch einen einzigen Umfeldsensor als auch durch mehrere Umfeldsensoren ermöglichen. Beispielsweise kann auf dem Dach des Kraftfahrzeugs eine 360-Grad-Kamera installiert sein und/oder ein 360-Grad-LIDAR- Sensor, um die Umgebung um das Kraftfahrzeug im Vollwinkel zu erfassen. Bevorzugt ist es jedoch, dass zur Bereitstellung der Sensordaten mehrere Umfeldsensoren, insbesondere mehre Kameras, verwendet werden, die außenseitig um das Kraftfahrzeug herum angeordnet sind, zum Beispiel eine Frontkamera an der Fahrzeugfront, eine Heckkamera am Heck des Fahrzeugs sowie zum Beispiel eine linke Spiegelkamera im Bereich des linken Außenspiegels des Kraftfahrzeugs und eine rechte Spiegelkamera im Bereich des rechten Außenspiegels des Kraftfahrzeugs. Eine jeweilige dieser Kameras ist vorzugsweise als Weitwinkelkamera, insbesondere als Fischaugenkamera ausgebildet. Eine jeweilige Kamera kann dazu ausgelegt sein, ein Sichtfeld mit einem Öffnungswinkel von 180 Grad in der Horizontalen bereitzustellen. Auch durch eine derartige Anordnung lässt sich die Umgebung des Kraftfahrzeugs in einem Vollwinkel um das Kraftfahrzeug erfassen und darauf basierend eine 3D-Rundumsicht um das Kraftfahrzeug durch
Zusammenfügen und Fusionieren der einem gemeinsamen Erfassungszeitschritt zugeordneten Kamerabilddaten der jeweiligen Kameras erzeugen.
Einer Perspektive kann dabei zum einen ein Blickpunkt, insbesondere ein virtueller Blickpunkt, aus welchem die Umgebung betrachtet werden soll, zugeordnet sein, sowie auch eine Blickrichtung. Weiterhin soll unter einer von einer Position des mindestens einen Umfeldsensors unabhängigen Perspektive eine Perspektive verstanden werden, deren zugeordneter Blickpunkt auch von einer Position des mindestens einen
Umfeldsensors verschieden sein kann. Beispielsweise können durch den Nutzer also auch Perspektiven gewählt werden, die nicht mit den Perspektiven, aus welchen die jeweiligen Kraftfahrzeugkameras die Umgebung aufnehmen, übereinstimmen.
Weiterhin kann die erfasste Benutzereingabe zur Auswahl der Perspektive eine
Benutzereingabe darstellen, die einzig und allein zur Auswahl der Perspektive
vorgesehen ist. Mit anderen Worten kann ein Benutzer eine Perspektive wählen oder auch ändern, ohne hierfür durch Fernsteuerung die Position und/oder Ausrichtung des Kraftfahrzeugs selbst ändern zu müssen. Durch die Benutzereingabe kann also eine bestimmte Perspektive innerhalb des Kraftfahrzeugkoordinatensystems gewählt oder geändert werden.
Bei einer vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von der gewählten Perspektive ein Ansichtsfenster auf einer definierten projektiven Fläche bestimmt und das erste Umgebungsbild als Teil einer aus den Sensordaten
bereitstellbaren 3D-Rundumsicht um das Kraftfahrzeug in Abhängigkeit vom bestimmten Ansichtsfenster auf der definierten projektiven Fläche berechnet, sodass das erste Umgebungsbild den innerhalb des Ansichtsfensters liegenden Teil der Umgebung aus der gewählten Perspektive repräsentiert.
So können beispielsweise die bereitgestellten Sensordaten vom Blickpunkt der gewählten Perspektive aus auf die definierte projektive Fläche projiziert werden und dadurch vorteilhafterweise das Umgebungsbild als Teil der bereitstellbaren gesamten 3D- Rundumsicht um das Kraftfahrzeug innerhalb des bestimmten Ansichtsfensters bereitgestellt werden. Die projektive Fläche kann zum Beispiel eine Ebene darstellen, die sich senkrecht zur Fahrzeughochachse erstreckt und in Bezug auf die
Fahrzeughochachse unterhalb des Kraftfahrzeugs liegt. Eine derartige projektive Fläche eignet sich besonders zur Darstellung beziehungsweise Repräsentation der Umgebung aus der Vogelperspektive beziehungsweise in einer Draufsicht auf das Kraftfahrzeug.
Besonders vorteilhaft ist es jedoch, wenn die projektive Fläche eine gekrümmte Fläche darstellt. Die projektive Fläche kann zum Beispiel halbkugelförmig oder schalenförmig ausgebildet sein. Auch kann die projektive Fläche als Komposition aus einer
kreisförmigen Ebene und einer schalenförmigen die Ebene umlaufenden Fläche bereitgestellt sein. Hierdurch wird ein deutlich höheres Maß an Flexibilität bereitgestellt, da so die Perspektive im Prinzip an jeder beliebigen Stelle im dreidimensionalen Raum gewählt werden kann und aus der gewählten Perspektive ein dreidimensionales Abbild der Umgebung als Teil der 3D-Rundumsicht bereitgestellt werden kann.
Beispielsweise kann ein der bestimmten Perspektive zugeordneter virtueller Blickpunkt auf einer oder mehreren vorbestimmten Linien oder im dreidimensionalen Raum frei wählbar sein. Somit kann der Benutzer durch die von der Fernsteuereinrichtung erfasste Benutzereingabe die Perspektive frei wählen und beliebig, insbesondere auch dynamisch und kontinuierlich, ändern. Somit können im Prinzip unzählig viele, insbesondere unendlich viele, verschiedene Perspektiven in Anpassung an die jeweilige Situation geeignet gewählt werden.
Insbesondere ist dabei ein der bestimmten Perspektive zugeordneter virtueller Blickpunkt innerhalb des Kraftfahrzeugs sowie auch außerhalb des Kraftfahrzeugs wählbar. Somit kann beispielsweise eine Perspektive gewählt werden, wie sie ein im Kraftfahrzeug sitzender Fahrer auf die Umgebung haben würde, sowie auch beliebig viele Perspektiven außerhalb des Kraftfahrzeugs, wie sie ein neben, hinter, vor oder über dem Kraftfahrzeug befindlicher Betrachter haben würde. Dem Benutzer ist damit vorteilhafterweise die Möglichkeit bereitgestellt, sich die vom Kraftfahrzeug erfassten Umfeldinformationen umfassend anzeigen zu lassen.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird im ersten
Umgebungsbild zumindest ein Teil einer Kraftfahrzeugdarstellung des Kraftfahrzeugs aus der gewählten Perspektive dargestellt. Diese Kraftfahrzeugdarstellung kann zum Beispiel in Form eines 2D-Bitmap-Bildes bereitgestellt sein oder aber auch als dreidimensionales computergeneriertes Kraftfahrzeugmodell. Dadurch wird der Realitätsgrad für den Benutzer deutlich erhöht. Vor allem aber kann der Benutzer hierdurch die im ersten Umgebungsbild dargestellte Umgebung und darin befindliche Objekte direkt in Beziehung zur Position des Kraftfahrzeugs setzen und beispielsweise Entfernungen, Größenverhältnisse, die aktuelle Fahrtrichtung oder ähnliches deutlich besser erfassen und dadurch kann die Sicherheit weiter erhöht werden.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird das erste
Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug berechnet und an die Fernsteuereinrichtung übermittelt. Dies hat den großen Vorteil, dass hierdurch
Rechenleistung auf der Seite der Fernsteuereinrichtung eingespart werden kann, was eine besonders kompakte Ausgestaltung der Fernsteuereinrichtung zum Beispiel als mobiles Gerät ermöglicht. Zudem hat diese Ausgestaltung den großen Vorteil, dass sich hierdurch die vom Kraftfahrzeug an die Fernsteuereinrichtung zu übermittelnden Daten auf ein Minimum reduzieren lassen, da hierdurch nur die Bilddaten des Umgebungsbildes an die Fernsteuereinrichtung übermittelt werden und zum Beispiel keine Sensordaten oder Umgebungsdaten, die außerhalb des bestimmten Ansichtsfensters, wie dies oben beschrieben wurde, liegen. Dies ermöglicht eine deutlich schnellere Datenübermittlung vom Kraftfahrzeug an die Fernsteuereinrichtung. Hierdurch lassen sich Latenzzeiten auf ein Minimum reduzieren. In diesem Fall ist es vorteilhaft, wenn die mittels der
Fernsteuereinrichtung erfasste Benutzereingabe zur Auswahl der Perspektive als zum Beispiel entsprechende Auswahlinformation von der Fernsteuereinrichtung an das Kraftfahrzeug übermittelt wird. Dieses kann dann entsprechend das Umgebungsbild auf Basis der erfassten Sensordaten entsprechend der gewählten Perspektive berechnen und an die Fernsteuereinrichtung übermitteln. Dieser Vorgang wird dabei insbesondere fortwährend wiederholt, sodass dem Benutzer auf der Fernsteuereinrichtung wiederholt aktualisierte erste Umgebungsbilder aus der gewählten Perspektive in Form eines Livevideos angezeigt werden.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die Sensordaten vom Kraftfahrzeug an die Fernsteuereinrichtung übermittelt und das erste Umgebungsbild aus den Sensordaten durch die Fernsteuereinrichtung berechnet. Dies ermöglicht es, wie dies später näher erläutert wird, beispielsweise aus den an die Fernsteuereinrichtung übermittelten Sensordaten Umgebungsbilder aus verschiedenen Perspektiven gleichzeitig zu errechnen und anzuzeigen. Prinzipiell wäre es auch denkbar, diese verschiedenen Umgebungsbilder, das heißt aus den verschiedenen Perspektiven, auch im Kraftfahrzeug gleich auf Basis der Sensordaten berechnen zu lassen und an die Fernsteuereinrichtung zu übermitteln, jedoch ist die Rechenkapazität in Kraftfahrzeugen typischerweise stark begrenzt, insbesondere aufgrund des im Kraftfahrzeug nur begrenzt zur Verfügung stehenden Bauraums. Derartige Restriktionen gelten dagegen für die
Fernsteuereinrichtung nicht, die zum Beispiel auch als rechenstarker Heimcomputer ausgebildet sein kann. Somit lassen sich also beispielsweise neben dem ersten
Umgebungsbild aus der vom Benutzer gewählten Perspektive weitere Umgebungsbilder aus anderen Perspektiven gleichzeitig darstellen, ohne dass dies mehr Rechenleistung auf Seiten des Kraftfahrzeugs erfordern würde. In diesem Fall ist es auch nicht erforderlich, die von der Fernsteuereinrichtung erfasste Benutzereingabe zur Auswahl der Perspektive in Form einer Auswahlinformation an das Kraftfahrzeug zu übermitteln.
Bei einer besonders vorteilhaften Ausgestaltung der Erfindung wird in Abhängigkeit von einer Art der Kommunikationsverbindung zwischen Kraftfahrzeug und
Fernsteuereinrichtung und/oder einer Bandbreite und/oder einer
Datenübertragungsgeschwindigkeit der Datenübertragung zwischen Kraftfahrzeug und Fernsteuereinrichtung bestimmt, ob das erste Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug oder durch die Fernsteuereinrichtung berechnet wird. Mit anderen Worten können die beiden oben beschriebenen Varianten situationsbedingt abhängig von der aktuellen Verbindungsqualität der Kommunikationsverbindung zwischen Kraftfahrzeug und der Fernsteuereinrichtung umgesetzt werden. Da sich zumindest das Kraftfahrzeug bewegt, so kann die Kommunikationsverbindung von Zeit zu Zeit besser oder schlechter sein. Stehen beispielsweise aktuell hohe Datenübertragungsgeschwindigkeiten zur Verfügung, so können die gesamten vom Kraftfahrzeug erfassten Sensorrohdaten an die Fernsteuereinrichtung übermittelt werden, die aus diesen Sensordaten das erste
Umgebungsbild sowie vorzugsweise weitere Umgebungsbilder aus weiteren Perspektiven berechnet und dem Benutzer anzeigt. Ist die Kommunikationsverbindung zwischen Kraftfahrzeug und der Fernsteuereinrichtung dagegen aktuell schlecht beziehungsweise stehen nur sehr geringe Datenübertragungsgeschwindigkeiten zur Verfügung, so kann stattdessen das Kraftfahrzeug das erste Umgebungsbild auf Basis der erfassten
Sensordaten sowie in Abhängigkeit von der vom Benutzer gewählten Perspektive berechnen und an die Fernsteuereinrichtung übermitteln, wodurch die zu übermittelnden Datenmengen enorm reduziert werden können. Somit ist also vorteilhafterweise eine an die aktuelle Kommunikationsverbindungsqualität angepasste Datenübertragung und Kommunikation zwischen dem Kraftfahrzeug und der Fernsteuereinrichtung möglich.
Entsprechend stellt es also eine weitere besonders vorteilhafte Ausgestaltung der Erfindung dar, dass, wenn die Bandbreite der Kommunikationsverbindung und/oder die Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen
Kraftfahrzeug und Fernsteuereinrichtung einen vorbestimmten Grenzwert unterschreitet, das erste Umgebungsbild aus den Sensordaten durch das Kraftfahrzeug berechnet und an die Fernsteuereinrichtung übermittelt wird und wenn die Bandbreite der Kommunikationsverbindung und/oder die Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen Kraftfahrzeug und Fernsteuereinrichtung den vorbestimmten Grenzwert nicht unterschreitet, die Sensordaten an die
Fernsteuereinrichtung übermittelt werden und das erste Umgebungsbild aus den
Sensordaten durch die Fernsteuereinrichtung berechnet wird.
Wie bereits erwähnt, ist es weiterhin besonders vorteilhaft, wenn in Abhängigkeit von den Sensordaten mindestens ein zweites Umgebungsbild aus einer zweiten Perspektive bereitgestellt und mittels der Fernsteuereinrichtung gleichzeitig mit dem ersten
Umgebungsbild angezeigt wird. Somit können dem Benutzer vorteilhafterweise
Umgebungsbilder aus verschiedenen Perspektiven gleichzeitig dargestellt werden. Somit kann ein Benutzer zu einem jeweiligen gegebenen Zeitpunkt mit noch umfassenderen Umgebungsinformationen versorgt werden. Dabei kann die dem zweiten Umgebungsbild zugeordnete Perspektive ebenfalls vom Benutzer wählbar oder änderbar sein oder auch fest vorgegeben sein. Beispielsweise kann zusätzlich zum ersten Umgebungsbild mit der vom Benutzer gewählten Perspektive ein Draufsichtbild aus der Vogelperspektive auf das Kraftfahrzeug und die Kraftfahrzeugumgebung als das zweite Umgebungsbild dargestellt werden, und/oder ein weiteres zweites Umgebungsbild aus einer Fahrerperspektive oder ähnliches. Hierbei sind den Ausgestaltungsmöglichkeiten keine Grenzen gesetzt.
Beispielsweise können im Falle mehrerer gleichzeitig dargestellter Umgebungsbilder auch von vornherein durch den Benutzer die den jeweils angezeigten Umgebungsbildern zugeordneten Perspektiven vorab von einem Benutzer durch ein Konfigurationsmenü eingestellt werden. Für jedes einzelne Umgebungsbild kann der Benutzer dann beispielsweise auch jederzeit die eingestellte Perspektive wieder ändern.
Wie bereits beschrieben, ist es weiterhin bevorzugt, dass gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung eine Fernsteuerung des Kraftfahrzeugs unabhängig von einer Entfernung zwischen der Fernsteuereinrichtung und dem
Kraftfahrzeug durchgeführt wird beziehungsweise durchführbar ist. Der Benutzer muss sich also nicht in vorbestimmter Nähe zum Kraftfahrzeug befinden, sondern kann sich zum Fernsteuern des Kraftfahrzeugs an einer von der Position des Kraftfahrzeugs unabhängigen Benutzerposition befinden. Gerade im Zusammenhang mit einer solchen Fernsteuerung ist es besonders wichtig, dem Benutzer umfassende
Umgebungsinformationen bereitzustellen, da dieser unter Umständen das Fahrzeug und dessen Umgebung gar nicht direkt sehen kann, insbesondere im Gegensatz zu anderen Fernsteuersystemen, bei welchen sich der Benutzer in vorbestimmter Nähe zum
Kraftfahrzeug befindet, sodass sich das Kraftfahrzeug auch immer in Sichtweite des Benutzers befindet. Eine derart umfassende Informationsbereitstellung die Umgebung des Kraftfahrzeugs betreffend lässt sich durch die Erfindung vorteilhafterweise bereitstellen, was die Sicherheit gerade in Bezug auf solche Fernsteuersysteme, die
entfernungsunabhängig sind, deutlich erhöhen.
Des Weiteren betrifft die Erfindung auch ein Computerprogrammprodukt umfassend Befehle, die bei der Ausführung durch einen Prozessor einer elektronischen
Steuereinrichtung diesen veranlassen, ein erfindungsgemäßes Verfahren oder eines seiner Ausführungsformen auszuführen.
Des Weiteren betrifft die Erfindung auch eine Fernsteuereinrichtung zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, wobei die Fernsteuereinrichtung dazu ausgelegt ist, ein Umgebungsbild zumindest eines Teils der Umgebung des
Kraftfahrzeugs aus einer bestimmten Perspektive anzuzeigen, welches in Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs bereitgestellten
Sensordaten bereitgestellt wird. Darüber hinaus ist die Fernsteuereinrichtung dazu ausgelegt, eine durch den Benutzer getätigte Benutzereingabe zu erfassen und in Abhängigkeit von der erfassten Benutzereingabe die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängige Perspektive auszuwählen.
Weiterhin gehört zur Erfindung auch ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Unterstützen eines Benutzers beim Fernsteuern des Kraftfahrzeugs mittels einer
Fernsteuereinrichtung, wobei das Fahrerassistenzsystem dazu ausgelegt ist, in
Abhängigkeit von mittels zumindest eines Umfeldsensors des Kraftfahrzeugs
bereitgestellten Sensordaten ein erstes Umgebungsbild zumindest eines Teils der Umgebung des Kraftfahrzeugs aus einer bestimmten Perspektive bereitzustellen und an die Fernsteuereinrichtung zum Anzeigen des ersten Umgebungsbilds zu übermitteln. Darüber hinaus ist das Fahrerassistenzsystem dazu ausgelegt, eine von einer mittels der Fernsteuereinrichtung erfassten, durch den Benutzer getätigte Benutzereingabe abhängige Auswahlinformation von der Fernsteuereinrichtung zu empfangen und in Abhängigkeit von der empfangenen Auswahlinformation die bestimmte Perspektive aus mehreren wählbaren Perspektiven als eine von einer Position des mindestens einen Umfeldsensors unabhängige Perspektive auszuwählen.
Die mit Bezug auf das erfindungsgemäße Verfahren und seine Ausführungsformen genannten Vorteile gelten in gleicher Weise für das erfindungsgemäße Computerprogrammprodukt, die erfindungsgemäße Fernsteuereinrichtung und das erfindungsgemäße Fahrerassistenzsystem. Zudem ermöglichen die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen bevorzugten Ausführungsformen die Weiterbildung des erfindungsgemäßen Computerprogrammprodukts, der
erfindungsgemäßen Fernsteuereinrichtung und des erfindungsgemäßen
Fahrerassistenzsystems durch weitere korrespondierende Ausgestaltungen.
Zudem soll auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem oder einer seiner Ausgestaltungen als zur Erfindung gehörend angesehen werden.
Entsprechend gehört zur Erfindung auch ein System umfassend eine
Fernsteuereinrichtung sowie ein Kraftfahrzeug, wobei das System zur Ausführung des erfindungsgemäßen Verfahrens oder einer seiner Ausführungsformen ausgelegt ist.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Fernsteuersystems mit einem
Kraftfahrzeug und einer Fernsteuereinrichtung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 2 eine schematische Veranschaulichung der Bereitstellung einer 3D- Rundumsicht um das Kraftfahrzeug aus den durch das Kraftfahrzeug bereitgestellten Sensordaten und der Berechnung eines Umgebungsbildes in Abhängigkeit von einer gewählten Perspektive gemäß einem Ausführungsbeispiel der Erfindung; und
Fig. 3 eine schematische Darstellung der Fernsteuereinrichtung gemäß einem
Ausführungsbeispiel der Erfindung.
Fig. 1 zeigt eine schematische Darstellung eines Fernsteuersystems 1 mit einem
Kraftfahrzeug 2 und einer Fernsteuereinrichtung 3 gemäß einem Ausführungsbeispiel der Erfindung. Das Kraftfahrzeug 2 weist dabei ein Fahrerassistenzsystem 4 auf, welches mindestens einen Umfeldsensor, in diesem Beispiel vier Kameras 5, 6, 7, 8, nämlich beispielsweise eine Frontkamera 5, eine Heckkamera 6, eine linke Spiegelkamera 7 und eine rechte Spiegelkamera 8, umfasst. Jede diese Kameras 5, 6, 7, 8 kann als
Weitwinkelkamera ausgestaltet sein. Daher kann ein sehr großes Sichtfeld von jeder dieser Kameras 5, 6, 7, 8 erfasst werden. Insgesamt lässt sich somit eine Umgebung 9 des Kraftfahrzeugs 2 vollständig, das heißt in einem Vollwinkel um das Kraftfahrzeug 2, erfassen. Auf Basis dieser erfassten Sensordaten kann ein Umgebungsbild von zumindest einem Teil der Umgebung 9 des Kraftfahrzeugs 2 aus einer bestimmten Perspektive berechnet und auf der Fernsteuereinrichtung 3 angezeigt werden, wie dies anhand von Fig. 3 noch genauer beschrieben wird.
Vorteilhafterweise ist nun jede dieser Perspektive von einem Benutzer frei wählbar. Diese frei wählbare Perspektive ist damit vorteilhafterweise von den Positionen der jeweiligen Kameras 5, 6, 7, 8 unabhängig. Mit anderen Worten kann eine Perspektive gewählt werden, die nicht mit einer Perspektive der jeweiligen Kameras 5, 6, 7, 8 übereinstimmt. Um eine gewünschte Perspektive auswählen zu können, kann die Fernsteuereinrichtung 3 entsprechende Eingabemittel aufweisen. Hierüber lässt sich die durch den Benutzer getroffene Perspektivenauswahl von der Fernsteuereinrichtung 3 erfassen.
Um das Umgebungsbild auf Basis der erfassten Sensordaten zu berechnen, gibt es nun mehrere Möglichkeiten. Diese Berechnung kann einerseits fahrzeugseitig erfolgen, andererseits auch durch die Fernsteuereinrichtung 3 durchgeführt werden. Im folgenden beschrieben Beispiel sind sowohl das Kraftfahrzeug 2 als auch die Fernsteuereinrichtung 3 zur Berechnung des Umgebungsbilds auf Basis der erfassten Sensordaten ausgelegt. Zu diesem Zweck weist das Fahrerassistenzsystem 4 eine Steuereinrichtung 10 auf, welche dazu ausgelegt ist, in Abhängigkeit von einer vorgegebenen Perspektive auf Basis der Sensordaten das Umgebungsbild zu berechnen. Andererseits weist in diesem Beispiel auch die Fernsteuereinrichtung 3 eine entsprechende Steuereinrichtung 1 1 auf, die ebenfalls dazu ausgelegt ist, auf Basis einer gegebenen Perspektive aus den
bereitgestellten Sensordaten das Umgebungsbild zu berechnen.
Soll das Umgebungsbild kraftfahrzeugseitig berechnet werden, so kann die von der Fernsteuereinrichtung 3 erfasste Benutzereingabe zur Festlegung einer gewünschten Perspektive als eine entsprechende Auswahlinformation 12 an das Kraftfahrzeug 2, insbesondere an die Steuereinrichtung 10 des Kraftfahrzeugs 2, übermittelt werden. Die Steuereinrichtung 10 berechnet dann auf Basis der durch die Kameras 5, 6, 7, 8 in einem jeweiligen Zeitschritt bereitgestellten Bilddaten das Umgebungsbild 13 aus der
bestimmten Perspektive und übermittelt dieses hier mit 13 bezeichnete Umgebungsbild in einem jeweiligen Zeitschritt wiederum an die Fernsteuereinrichtung 3, welche die übermittelten Umgebungsbilder 13 anzeigt. In einem jeweiligen Zeitschritt kann die Steuereinrichtung 10 das Umgebungsbild 13 auf Basis der Sensordaten immer wieder aus der gleichen vom Benutzer gewählten Perspektive berechnen, bis eine neue Auswahlinformation 12 von der Fernsteuereinrichtung 3 empfangen wird, die eine andere Perspektive spezifiziert. Dann kann entsprechend die Steuereinrichtung 10 des
Kraftfahrzeugs 2 das Umgebungsbild 13 in Abhängigkeit von der neu spezifizierten Perspektive berechnen und an die Fernsteuereinrichtung 3 übermitteln.
Andererseits kann, wie erwähnt, diese Berechnung des Umgebungsbilds 13 auch durch die Fernsteuereinrichtung 3 selbst durchgeführt werden. In diesem Fall muss die
Auswahlinformation 12 nicht von der Fernsteuereinrichtung 3 an das Kraftfahrzeug 2 übermittelt werden. Stattdessen übermittelt die Steuereinrichtung 10 des Kraftfahrzeugs 2 in einem jeweiligen Zeitschritt die von den Kameras 5, 6, 7, 8 erfassten Bilddaten, insbesondere als Sensorrohdaten 14, an die Fernsteuereinrichtung 3. Zusätzlich können auch noch weitere Umgebungs- und/oder Kraftfahrzeugdaten, wie eine Umgebungskarte, die aktuelle Kraftfahrzeugposition, die aktuelle Fahrgeschwindigkeit, oder sonstige Daten vom Kraftahrzeug an die Fernsteuereinrichtung übermittelt werden. Diese berechnet dann das Umgebungsbild 13 in Abhängigkeit von der vom Benutzer gewählten Perspektive und zeigt dieses an.
Besonders vorteilhaft ist es dabei, wenn die Bestimmung dessen, ob das Umgebungsbild 13 vom Kraftfahrzeug 2 oder von der Fernsteuereinrichtung 3 berechnet werden soll, in Abhängigkeit davon erfolgt, wie gut die Kommunikationsverbindung zwischen dem Kraftfahrzeug 2 und der Fernsteuereinrichtung 3 aktuell ist. Steht beispielsweise aktuell eine sehr hohe Bandbreite für die Datenübertragung zur Verfügung und/oder werden aktuell hohe Datenübertragungsgeschwindigkeiten ermöglicht, so ist es bevorzugt, dass das Kraftfahrzeug 2, insbesondere die Steuereinrichtung 10, die Kamerarohdaten 14 an die Fernsteuereinrichtung 3 übermittelt und die Berechnung des Umgebungsbilds 13 von der Fernsteuereinrichtung 3 durchgeführt wird. Dies hat den großen Vorteil, dass die Fernsteuereinrichtung 3 in ihrer Rechenleistung nicht bauraumbedingt begrenzt ist, wie dies zum Beispiel für die Steuereinrichtung 10 des Kraftfahrzeugs 2 der Fall ist. Dies ermöglicht es vorteilhafterweise, auf Basis der an die Fernsteuereinrichtung 3
übermittelten Kamerarohdaten 14 nicht nur ein einzelnes Umgebungsbild 13 in
Abhängigkeit von der vom Benutzer gewählten Perspektive anzuzeigen, sondern beispielsweise auch noch weitere Umgebungsbilder aus anderen Perspektiven zu berechnen und gleichzeitig anzuzeigen.
Andererseits, ist aktuell keine große Bandbreite für die Datenübermittlung zur Verfügung gestellt und/oder sind lediglich geringe Datenübertragungsgeschwindigkeiten möglich, so ist es bevorzugt, dass das Kraftfahrzeug 2 selbst die Berechnung des Umgebungsbildes 13 in Abhängigkeit von der vom Benutzer spezifizierten Perspektive berechnet und das berechnete Umgebungsbild 13 an die Fernsteuereinrichtung 3 übermittelt, welche dieses dann anzeigt. Dies hat den Vorteil, dass für die Übermittlung des Umgebungsbildes 13 vom Kraftfahrzeug 2 an die Fernsteuereinrichtung 3 deutlich geringere Datenmengen anfallen als bei der Übermittlung der gesamten Kamerarohdaten 14. Dadurch lässt sich eine Datenübertragung auch bei geringen Datenübertragungsgeschwindigkeiten schnell ausführen.
Weiterhin können noch von der Fernsteuereinrichtung 3 auch vom Benutzer über die Fernsteuereinrichtung 3 eingegebene Fernsteuerbefehle 15 von der
Fernsteuereinrichtung 3 an das Kraftfahrzeug 2, insbesondere wiederum an die
Steuereinrichtung 10, übermittelt werden, welche diese Befehle umsetzt. Solche
Fernsteuerbefehle stellen insbesondere Fahrbefehle an das Kraftfahrzeug 2 dar, insbesondere zur Steuerung einer Lenkung des Kraftfahrzeugs 2 und/oder zur Steuerung einer Beschleunigung und/oder Bremsung des Kraftfahrzeugs 2. Insbesondere bekommt ein Benutzer damit bei der Fernsteuerung des Kraftfahrzeugs 2 mittels der
Fernsteuereinrichtung 3 zusätzlich umfassende Umgebungsinformationen über die Umgebung 9 des Kraftfahrzeugs 2 bereitgestellt, was die Sicherheit bei der
Fernsteuerung des Kraftfahrzeugs 2 deutlich erhöht.
Fig. 2 zeigt eine schematische Veranschaulichung der Berechnung des Umgebungsbildes auf Basis der bereitgestellten Sensordaten als Teil einer 3D-Rundumsicht um das Kraftfahrzeug 2. Insbesondere zeigt Fig. 2 eine projektive Oberfläche, die in diesem Beispiel als eine kugelförmige beziehungsweise schalenförmige projektive Oberfläche 15 ausgebildet ist, zusammen mit einem dreidimensionalen Modell des Kraftfahrzeugs 2 als Beispiel einer Kraftfahrzeugdarstellung 17. Die von den Kraftfahrzeugkameras 5, 6, 7, 8 erfassten Bilder der Umgebung 9 können zusammengefügt werden und auf die
Oberfläche dieser Kugel 16 projiziert werden. Darüber hinaus ist ein bestimmtes
Ansichtsfenster 18 definiert, welches von der Position der gewählten Perspektive 19, die hier durch den virtuellen, der Perspektive 19 zugeordneten Blickpunkt repräsentiert ist, abhängt. In diesem Beispiel ist also die Perspektive 19 so gewählt, dass eine Ansicht von hinten auf das Kraftfahrzeug 2, welches hier durch das Kraftfahrzeugmodell oder im Allgemeinen eine Kraftfahrzeugdarstellung 17 repräsentiert wird, bereitgestellt ist. Auf diese Weise lässt sich ein Umgebungsbild bereitstellen, welches den innerhalb des Ansichtsfensters ersten liegenden Teil der Umgebung 20 aus der gewählten Perspektive 19 repräsentiert. Exemplarische Umgebungsbilder aus verschiedenen Perspektiven sind in Fig. 3 zu sehen. Insbesondere zeigt Fig. 3 dabei eine schematische Darstellung der Fernsteuereinrichtung 3 im Detail gemäß einem Ausführungsbeispiel der Erfindung. Die Fernsteuereinrichtung 3 kann Bedienelemente 21 aufweisen, von welchen hier exemplarisch lediglich ein Lenkrad dargestellt ist und mittels welchen ein Benutzer das Kraftfahrzeug 2 ferngesteuert fahren kann. Ein solches Lenkrad beziehungsweise die Bedienelemente 21 im Allgemeinen müssen dabei nicht gegenständlich bereitgestellt sein, sondern können auch als virtuelle Repräsentation auf einer Anzeigeeinrichtung und/oder einem Touchscreen dargestellt werden. Weiterhin sind durch die Fernsteuereinrichtung 3 auch Eingabemöglichkeiten bereitgestellt, die hier ebenfalls nicht explizit dargestellt sind und mittels welchen ein
Benutzer die Perspektive wählen kann, aus welcher die Umgebung 9 des Kraftfahrzeugs 2 mittels der Fernsteuereinrichtung 3 dargestellt werden soll. Zum Darstellen dieses Umgebungsbilds weist die Fernsteuereinrichtung 3 mindestens eine Anzeigeeinrichtung auf.
In diesem Beispiel sind drei Anzeigeeinrichtungen 22 bereitgestellt. Eine jeweilige Anzeigeeinrichtung 22 zeigt dabei ein jeweiliges Umgebungsbild 13a, 13b, 13c an. Diese Umgebungsbilder 13a, 13b, 13c können alternativ auch auf einer gemeinsamen
Anzeigeeinrichtung 22, zum Beispiel nebeneinander, untereinander oder ähnliches, angezeigt werden. Von den angezeigten Umgebungsbildern 13a, 13b, 13c wird mindestens eines aus einer vom Benutzer spezifizierten Perspektive 19 angezeigt. Die beiden anderen Umgebungsbilder können dabei entweder ebenfalls aus einer Perspektive angezeigt werden, die vom Benutzer aktiv gewählt wurde, und/oder aus einer
vorgegebenen Perspektive. In diesem Beispiel zeigt ein erstes Umgebungsbild 13a einen Teil 20 der Umgebung 9 des Kraftfahrzeugs 2, welches hier wiederum als entsprechende Kraftfahrzeugdarstellung 17 repräsentiert wird, aus einer Perspektive 19, deren zugeordneter Blickpunkt außerhalb des Kraftfahrzeugs 2 beziehungsweise des
Kraftfahrzeugmodells 17 liegt. Ein zweites Umgebungsbild 13b zeigt den Teil 20 der Umgebung 9 aus einer Perspektive, deren zugeordneter Blickpunkt innerhalb des Kraftfahrzeugs 2 beziehungsweise des Kraftfahrzeugmodells 17 liegt. Bei dem dritten Umgebungsbild 13c ist der im Ansichtsfenster 18 liegende Teil 20 der
Kraftfahrzeugumgebung 9 aus einer Vogelperspektive dargestellt, das heißt der
Blickpunkt der Perspektive 19 liegt direkt oberhalb des Kraftfahrzeugs 2 beziehungsweise der Kraftfahrzeugdarstellung 17. Beispielsweise kann die Perspektive des ersten
Umgebungsbilds 13a vom Benutzer frei wählbar sein und in beliebiger Weise
modifizierbar sein. Zusätzlich können dem Benutzer als vorbestimmte Perspektiven die beiden Umgebungsbilder 13b, 13c angezeigt werden. Dies ist besonders vorteilhaft, da die Vogelperspektive gemäß dem dritten Umgebungsbild 13c einem Benutzer
üblicherweise umfassende Umgebungsinformationen bereitstellt. Eine Perspektive gemäß dem zweiten Umgebungsbild 13b ist besonders vorteilhaft, da dies die Perspektive eines im Kraftfahrzeug 2 sitzenden Fahrers simuliert, was entsprechend dem fernbedienenden Benutzer eine besonders vertraute Darstellungsart ist. Ergänzt werden diese
bereitgestellten Umgebungsinformationen dann noch durch das erste Umgebungsbild 13a, dessen Perspektive 19 vom Benutzer selbst frei wählbar ist.
Umgebungsinformationen, die aktuell von dem Benutzer zur Fernsteuerung besonders bedeutsam sind, jedoch den anderen beiden Darstellungen nicht entnommen werden können, kann sich der Benutzer dann entsprechend durch geeignete Wahl der
Perspektive 19 durch dieses erste Umgebungsbild anzeigen lassen.
Somit kann die Sicherheit beim Fernsteuern eines autonomen Fahrzeugs, falls das Fahrzeug sich in einer Situation befindet, aus welcher es sich nicht ohne menschliche Hilfe befreien kann, beispielsweise eine unvorhergesehene und nicht einprogrammierte Verkehrssituation, beispielsweise eine enge Gasse, deutlich erhöht. Mithilfe von
Fischaugenkameras kann eine 360-Grad-Rundumsicht besonders einfach erstellt werden. Dies ermöglicht es vorteilhafterweise vom fernbedienenden Benutzer, dem Teleoperator, jede beliebige gewünschte Perspektive zu wählen, wodurch ein Navigieren durch den Teleoperator deutlich vereinfacht wird, gerade in besonders kritischen Fahrsituationen. Gerade dadurch, dass somit jede beliebige Betrachterposition eingenommen werden kann, zum Beispiel oberhalb oder hinter dem Kraftfahrzeug, kann der Teleoperator die aktuelle Situation deutlich besser beurteilen, was die Fernsteuerung deutlich einfacherer und damit sicherer gestaltet. Damit hat der Teleoperator letztendlich die Möglichkeit einer vollen 360-Grad-Wahrnehmung des ferngesteuerten Kraftfahrzeugs. Auch kann er den virtuellen Blickpunkt an jede bevorzugte Betrachtungsposition, innerhalb sowie außerhalb des Kraftfahrzeugs, verschieben, was es deutlich vereinfacht, das Kraftfahrzeug aus einer Unfallsituation heraus zu navigieren oder das Kraftfahrzeug 2 bei Einparkmanövern zu navigieren.

Claims

Patentansprüche
Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines
Kraftfahrzeugs (2) mittels einer Fernsteuereinrichtung (3), mit den Schritten:
- in Abhängigkeit von mittels zumindest eines Umfeldsensors (5, 6, 7, 8) des Kraftfahrzeugs (2) bereitgestellten Sensordaten (14) Bereitstellen eines ersten Umgebungsbilds (13) zumindest eines Teils (20) der Umgebung (9) des Kraftfahrzeugs
(2) aus einer bestimmten Perspektive (19);
Anzeigen des ersten Umgebungsbilds (13) mittels der Fernsteuereinrichtung
(3),
gekennzeichnet durch den Schritt:
- Auswählen der bestimmten Perspektive (19) aus mehreren wählbaren
Perspektiven (19) als eine von einer Position des mindestens einen
Umfeldsensors (5, 6, 7, 8) unabhängige Perspektive (19) in Abhängigkeit von einer mittels der Fernsteuereinrichtung (3) erfassten, durch den Benutzer getätigten Benutzereingabe.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
in Abhängigkeit von der gewählten Perspektive (19) ein Ansichtsfensters (18) auf einer definierten projektiven Fläche (16) bestimmt wird und das erste
Umgebungsbild (13, 13a) als Teil einer aus den Sensordaten (14) bereitstellbaren 3D-Rundumsicht um das Kraftfahrzeug (2) in Abhängigkeit vom bestimmten Ansichtsfenster (18) auf der definierten projektiven Fläche (16) berechnet wird, so dass das erste Umgebungsbild (13, 13a) den innerhalb des Ansichtsfensters liegenden Teil (20) der Umgebung (9) aus der gewählten Perspektive (19) repräsentiert.
Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass
die projektive Fläche (16) eine gekrümmte Fläche (16) darstellt.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ein der bestimmten Perspektive (19) zugeordneter virtueller Blickpunkt (19) auf einer oder mehrerer vorbestimmter Linien oder im dreidimensionalen Raum frei wählbar ist.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ein der bestimmten Perspektive (19) zugeordneter virtueller Blickpunkt (19) innerhalb des Kraftfahrzeugs (2) und außerhalb des Kraftfahrzeugs (2) wählbar ist.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
im ersten Umgebungsbild (13, 13a) zumindest ein Teil einer
Kraftfahrzeugdarstellung (17) des Kraftfahrzeugs (2) aus der gewählten Perspektive (19) dargestellt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das erste Umgebungsbild (13, 13a) aus den Sensordaten (14) durch das
Kraftfahrzeug (2) berechnet und an die Fernsteuereinrichtung (3) übermittelt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Sensordaten (14) vom Kraftfahrzeug (2) an die Fernsteuereinrichtung (3) übermittelt werden und das erste Umgebungsbild (13, 13a) aus den Sensordaten (14) durch die Fernsteuereinrichtung (3) berechnet wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
in Abhängigkeit von einer Art der Kommunikationsverbindung zwischen
Kraftfahrzeug (2) und Fernsteuereinrichtung (3) und/oder einer Bandbreite und/oder einer Datenübertragungsgeschwindigkeit der Datenübertragung zwischen
Kraftfahrzeug (2) und Fernsteuereinrichtung (3) bestimmt wird, ob das erste Umgebungsbild (13, 13a) aus den Sensordaten (14) durch das Kraftfahrzeug (2) oder durch die Fernsteuereinrichtung (3) berechnet wird.
10. Verfahren nach Anspruch 8,
dadurch gekennzeichnet, dass
wenn die Bandbreite der Kommunikationsverbindung und/oder die
Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen Kraftfahrzeug (2) und Fernsteuereinrichtung (3) einen vorbestimmten Grenzwert unterschreitet, das erste Umgebungsbild (13, 13a) aus den Sensordaten (14) durch das Kraftfahrzeug (2) berechnet und an die Fernsteuereinrichtung (3) übermittelt wird und wenn die Bandbreite der Kommunikationsverbindung und/oder die Datenübertragungsgeschwindigkeit der Kommunikationsverbindung zwischen Kraftfahrzeug (2) und Fernsteuereinrichtung (3) den vorbestimmten Grenzwert nicht unterschreitet, die Sensordaten (14) an die Fernsteuereinrichtung (3) übermittelt werden und das erste Umgebungsbild (13, 13a) aus den Sensordaten (14) durch die Fernsteuereinrichtung (3) berechnet wird.
1 1. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
in Abhängigkeit von den Sensordaten (14) mindestens ein zweites Umgebungsbild
(13b, 13c) aus einer zweiten Perspektive (19) bereitgestellt und mittels der
Fernsteuereinrichtung (3) gleichzeitig mit dem ersten Umgebungsbild (13, 13a) angezeigt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Fernsteuerung des Kraftfahrzeugs (2) unabhängig von einer Entfernung zwischen der Fernsteuereinrichtung (3) und dem Kraftfahrzeug (2) durchgeführt wird.
13. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung durch einen Prozessor einer elektronischen Steuereinrichtung (10, 1 1 ) diesen
veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche
auszuführen.
14. Fernsteuereinrichtung (3) zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs (2), wobei die Fernsteuereinrichtung (3) dazu ausgelegt ist, ein Umgebungsbild (13, 13a) zumindest eines Teils (20) der Umgebung (9) des Kraftfahrzeugs (2) aus einer bestimmten Perspektive (19) anzuzeigen, welches in Abhängigkeit von mittels zumindest eines Umfeldsensors (5, 6, 7, 8) des
Kraftfahrzeugs (2) bereitgestellten Sensordaten (14) bereitgestellt wird,
dadurch gekennzeichnet, dass
die Fernsteuereinrichtung (3) dazu ausgelegt ist, eine Benutzereingabe durch den Benutzer zu erfassen und in Abhängigkeit von der erfassten Benutzereingabe die bestimmte Perspektive (19) aus mehreren wählbaren Perspektiven (19) als eine von einer Position des mindestens einen Umfeldsensors (5, 6, 7, 8) unabhängige Perspektive (19) auszuwählen.
15. Fahrerassistenzsystem (4) für ein Kraftfahrzeug (2) zum Unterstützen eines
Benutzers beim Fernsteuern des Kraftfahrzeugs (2) mittels einer
Fernsteuereinrichtung (3), wobei das Fahrerassistenzsystem (4) dazu ausgelegt ist, in Abhängigkeit von mittels zumindest eines Umfeldsensors (5, 6, 7, 8) des
Kraftfahrzeugs (2) bereitgestellten Sensordaten (14) ein erstes Umgebungsbild (13, 13a) zumindest eines Teils der Umgebung (9) des Kraftfahrzeugs (2) aus einer bestimmten Perspektive (19) bereitzustellen und an die Fernsteuereinrichtung (3) zum Anzeigen des ersten Umgebungsbilds (13) zu übermitteln;
dadurch gekennzeichnet, dass
das Fahrerassistenzsystem (4) dazu ausgelegt ist, eine von einer mittels der Fernsteuereinrichtung (3) erfassten, durch den Benutzer getätigten
Benutzereingabe abhängige Auswahlinformation von der Fernsteuereinrichtung (3) zu empfangen und in Abhängigkeit von der empfangenen Auswahlinformation die bestimmte Perspektive (19) aus mehreren wählbaren Perspektiven (19) als eine von einer Position des mindestens einen Umfeldsensors (5, 6, 7, 8) unabhängige Perspektive (19) auszuwählen.
EP19828567.8A 2018-12-06 2019-11-21 Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug Pending EP3891038A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018131104.4A DE102018131104A1 (de) 2018-12-06 2018-12-06 Verfahren zum Unterstützen eines Benutzers beim Fernsteuern eines Kraftfahrzeugs, Computerprogrammprodukt, Fernsteuereinrichtung und Fahrerassistenzsystem für ein Kraftfahrzeug
PCT/EP2019/082007 WO2020114785A1 (de) 2018-12-06 2019-11-21 Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP3891038A1 true EP3891038A1 (de) 2021-10-13

Family

ID=69055946

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19828567.8A Pending EP3891038A1 (de) 2018-12-06 2019-11-21 Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug

Country Status (6)

Country Link
US (1) US12007765B2 (de)
EP (1) EP3891038A1 (de)
JP (1) JP7317967B2 (de)
CN (1) CN113348125B (de)
DE (1) DE102018131104A1 (de)
WO (1) WO2020114785A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892838B1 (en) * 2020-07-27 2024-02-06 Nuro, Inc. Framework for validating autonomy and teleoperations systems
CN113771874A (zh) * 2021-08-02 2021-12-10 北京百度网讯科技有限公司 自动驾驶车辆的控制方法、装置、电子设备及可读存储介质
DE102021123234A1 (de) 2021-09-08 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Teleoperator-arbeitsplatz
DE102022121225A1 (de) 2022-08-23 2024-02-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Unterstützungssystem
DE102022125794A1 (de) * 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596319A (en) * 1994-10-31 1997-01-21 Spry; Willie L. Vehicle remote control system
JP2003195941A (ja) * 2001-12-26 2003-07-11 Matsushita Electric Ind Co Ltd 移動体を移動させるサービスを提供する方法
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
DE102006026092A1 (de) 2006-06-03 2007-12-06 Bayerische Motoren Werke Ag Verfahren zur Steuerung eines Einparkvorgangs
DE102007024752B4 (de) * 2007-05-26 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
IL188655A (en) * 2008-01-08 2011-09-27 Rafael Advanced Defense Sys System and method for navigating a remote control vehicle past obstacles
JP5124351B2 (ja) 2008-06-04 2013-01-23 三洋電機株式会社 車両操作システム
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
DE102009041587A1 (de) 2009-09-15 2011-03-17 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs
DE102011082475A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Fahrerassistenzsystem zur Unterstützung eines Fahrers in kollisionsrelevanten Situationen
DE102011084524A1 (de) 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
EP2827605B1 (de) * 2012-03-12 2016-09-28 NTT DoCoMo, Inc. Fernsteuerungssystem, fernsteuerungsverfahren, kommunikationsvorrichtung und programm dafür
DE102012007986A1 (de) * 2012-04-20 2013-10-24 Valeo Schalter Und Sensoren Gmbh Ferngesteuertes Rangieren eines Kraftfahrzeugsmithilfe eines tragbaren Kommunikationsgeräts
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
JP6084097B2 (ja) * 2013-03-29 2017-02-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US10196089B2 (en) 2014-10-03 2019-02-05 Continental Automotive Systems, Inc. Vehicle trailer control system with wireless capability
JP6304885B2 (ja) 2014-10-03 2018-04-04 本田技研工業株式会社 車両遠隔操作システム
KR101942793B1 (ko) * 2015-07-03 2019-01-28 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
JP2017225062A (ja) * 2016-06-17 2017-12-21 株式会社デンソーテン 画像処理装置、画像処理システム及び画像処理方法
JP6717723B2 (ja) 2016-10-12 2020-07-01 矢崎総業株式会社 車両システム
KR101894918B1 (ko) * 2016-10-31 2018-09-04 현대자동차주식회사 차량 및 그 제어방법
JP7029910B2 (ja) 2016-12-22 2022-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP7317967B2 (ja) 2023-07-31
JP2022510450A (ja) 2022-01-26
US20220035368A1 (en) 2022-02-03
US12007765B2 (en) 2024-06-11
CN113348125B (zh) 2023-11-28
WO2020114785A1 (de) 2020-06-11
CN113348125A (zh) 2021-09-03
DE102018131104A1 (de) 2020-06-10

Similar Documents

Publication Publication Date Title
EP3891038A1 (de) Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug
EP3662333B1 (de) Verfahren und system zum fernsteuern eines fahrzeugs
DE102015118489B4 (de) Fernbedienung eines autonomen Fahrzeugs in einer unerwarteten Umgebung
EP3380391B1 (de) System zum einparken eines fahrzeugs
EP1862376B1 (de) Verfahren zur Steuerung eines Einparkvorgangs
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
DE102018110270A1 (de) System zum automatischen ankuppeln eines anhängers
DE102014015493B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102018114607A1 (de) Hinteres Objektnäherungssystem eines Fahrzeugs mit mehreren Kameras
DE10339075A1 (de) Kraftfahrzeug
DE102015215918A1 (de) Einparksystem mit interaktiver Trajektorienoptimierung
EP3774499B1 (de) Verfahren zur überwachung und steuerung eines fernbedienten park- oder manövriervorgangs eines fahrzeugs
DE102020122363A1 (de) Erfassung eines eingeengten anhängers und reaktion darauf bei einem systemunterstützten kupplungsvorgang
DE102014223237A1 (de) Induktives Ladesystem zum Aufladen eines Elektrofahrzeugs
EP3882733B1 (de) Verfahren und system zum autonomen fahren eines fahrzeugs
EP3251922A1 (de) Verfahren zum autonomen einparken eines kraftfahrzeugs in eine parklücke mit ausgabe eines ausstiegssignals an den fahrer, fahrerassistenzsystem sowie kraftfahrzeug
DE102016105261A1 (de) Anhängerrückwärtsfahrassistenzsystem mit Spurmarkierungsdetektion
DE102014119317A1 (de) Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
DE102015000794A1 (de) Verfahren zum Anzeigen einer Umgebung eines Fahrzeugs und Rundumsicht-Anzeigevorrichtung für ein Fahrzeug
DE102016211453A1 (de) Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102018222002B4 (de) Verfahren und elektronisches Fahrzeugführungssystem zur Fernsteuerung eines fahrerlos fahrenden Kraftfahrzeugs
WO2020052840A1 (de) Verfahren und vorrichtung zum betrieb eines zumindest teilweise automatisiert betriebenen ersten fahrzeugs
WO2021110340A1 (de) Verfahren zum durchführen eines ferngesteuerten parkmanövers mit einem fahrzeug unter verwendung eines mobilen endgeräts sowie system
DE102020206828A1 (de) Anhänger
EP2603403A1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210519

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230220

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528