DE102022121225A1 - Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system - Google Patents
Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system Download PDFInfo
- Publication number
- DE102022121225A1 DE102022121225A1 DE102022121225.4A DE102022121225A DE102022121225A1 DE 102022121225 A1 DE102022121225 A1 DE 102022121225A1 DE 102022121225 A DE102022121225 A DE 102022121225A DE 102022121225 A1 DE102022121225 A1 DE 102022121225A1
- Authority
- DE
- Germany
- Prior art keywords
- environment
- motor vehicle
- support system
- display device
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000008447 perception Effects 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract 2
- 230000007613 environmental effect Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
- G05D1/2244—Optic
- G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
- G05D1/2248—Optic providing the operator with simple or augmented images from one or more cameras the one or more cameras located remotely from the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/20—Specific applications of the controlled vehicles for transportation
- G05D2105/22—Specific applications of the controlled vehicles for transportation of humans
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/10—Outdoor regulated spaces
- G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung (2) eines Kraftfahrzeugs (1) auf einer Anzeigeeinrichtung (13, 15) mittels eines Unterstützungssystems (19), mit den Schritten:- Erfassen der Umgebung (2) des Kraftfahrzeugs (1) mittels zumindest einer kraftfahrzeugexternen Erfassungseinrichtung (7, 8) des Unterstützungssystems (19);- Transformieren der erfassten Umgebung (2) mittels einer elektronischen Recheneinrichtung (6) des Unterstützungssystems (19) derart, dass eine Wahrnehmungsperspektive (20) aus einem Innenraum (21) des Kraftfahrzeugs (1) erzeugt wird; und- Anzeigen der transformierten Umgebung (2) auf der Anzeigeeinrichtung (13, 15).Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Unterstützungssystem (19).The invention relates to a method for displaying an environment (2) of a motor vehicle (1) on a display device (13, 15) by means of a support system (19), with the steps: - detecting the environment (2) of the motor vehicle (1) by means of at least a vehicle-external detection device (7, 8) of the support system (19); - transforming the detected environment (2) by means of an electronic computing device (6) of the support system (19) in such a way that a perception perspective (20) from an interior (21) of the motor vehicle (1) is generated; and - displaying the transformed environment (2) on the display device (13, 15). The invention further relates to a computer program product, a computer-readable storage medium and a support system (19).
Description
Die Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems gemäß dem geltenden Patentanspruch 1. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Unterstützungssystem.The invention relates to a method for displaying an environment of a motor vehicle on a display device by means of a support system according to the
Aus dem Stand der Technik ist bereits bekannt, dass Kraftfahrzeuge zumindest teilweise autonom betrieben werden können. Beispielsweise sind hierzu so genannte automated valet parking (AVP) Parkhäuser bekannt, bei welchen das Kraftfahrzeug an einem Abgabeort von einem Fahrer abgegeben werden kann, und dann das Kraftfahrzeug autonom von dem Abgabeort an einen Parkplatz gebracht werden kann. Umgekehrt: Sollte der Fahrer zurückkommen und das Kraftfahrzeug entsprechend wiederverlangen, wird das Kraftfahrzeug von der Parkfläche autonom zu einem Abholbereich übergeben, wo der Fahrer dieses abholen kann. Hierbei ist bereits bekannt, dass beispielsweise dann die Parkumgebung entsprechend Sensoren aufweist, sodass auf Basis einer Erfassung der Parkumgebung mit diesen Sensoren ein autonomes Fahren innerhalb der Parkumgebung ermöglicht ist. Sollte es nun innerhalb dieser Parkumgebung zu Problemen, beispielsweise in Notbremssituationen, kommen, so kann ein teleoperiertes Fahren des Kraftfahrzeugs initiiert werden. Beim teleoperierten Fahren bedient eine kraftfahrzeugexterne Person, insbesondere von einem Teleoperationsplatz, dann wiederum das Kraftfahrzeug. Insbesondere kann somit ein ferngesteuerter Betrieb bereitgestellt werden. Hierbei sieht der Teleoperator das Kraftfahrzeug aus dem Blickwinkel der Erfassungseinrichtung, was insbesondere ein erschwertes Manövrieren verursacht.It is already known from the prior art that motor vehicles can be operated at least partially autonomously. For example, so-called automated valet parking (AVP) parking garages are known, in which the motor vehicle can be dropped off at a drop-off location by a driver, and then the motor vehicle can be brought autonomously from the drop-off location to a parking space. Conversely: If the driver returns and demands the motor vehicle back, the motor vehicle will be transferred autonomously from the parking area to a pick-up area where the driver can pick it up. It is already known that, for example, the parking environment then has corresponding sensors, so that autonomous driving within the parking environment is possible based on a detection of the parking environment with these sensors. If problems arise within this parking environment, for example in emergency braking situations, teleoperated driving of the motor vehicle can be initiated. During teleoperated driving, a person outside the vehicle, in particular from a teleoperation station, then in turn operates the vehicle. In particular, remote-controlled operation can thus be provided. Here, the teleoperator sees the motor vehicle from the perspective of the detection device, which makes maneuvering particularly difficult.
Gemäß der
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Unterstützungssystem zu schaffen, mittels welchen ein verbesserter Betrieb des Kraftfahrzeugs realisiert werden kann.The object of the present invention is to create a method, a computer program product, a computer-readable storage medium and a support system by means of which improved operation of the motor vehicle can be achieved.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie durch ein Unterstützungssystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This task is solved by a method, a computer program product, a computer-readable storage medium and a support system according to the independent patent claims. Advantageous embodiments are specified in the subclaims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems. Es erfolgt das Erfassen der Umgebung des Kraftfahrzeugs mittels zumindest einer kraftfahrzeugexternen Erfassungseinrichtung. Es wird die erfasste Umgebung mittels einer elektronischen Recheneinrichtung des Unterstützungssystems derart transformiert, dass eine Wahrnehmungsperspektive aus dem Innenraum des Kraftfahrzeugs erzeugt wird. Es erfolgt dann das Anzeigen der transformierten Umgebung auf der Anzeigeeinrichtung.One aspect of the invention relates to a method for displaying the surroundings of a motor vehicle on a display device using a support system. The surroundings of the motor vehicle are detected by means of at least one detection device external to the motor vehicle. The captured environment is transformed using an electronic computing device of the support system in such a way that a perceptual perspective from the interior of the motor vehicle is generated. The transformed environment is then displayed on the display device.
Somit ist es beispielsweise ermöglicht, dass ein Teleoperator des Kraftfahrzeugs die Umgebung derart angezeigt bekommt, als ob dieser im Innenraum des Kraftfahrzeugs sitzen würde. Dadurch ist es ermöglicht, dass ein intuitives Steuern des Kraftfahrzeugs für den Teleoperator realisiert werden kann. Somit kann ein verbesserter Betrieb des Kraftfahrzeugs, beispielsweise in einer Parkumgebung, welche insbesondere als so genanntes automated valet parking ausgebildet ist, bereitgestellt werden.This makes it possible, for example, for a teleoperator of the motor vehicle to see the surroundings as if he were sitting in the interior of the motor vehicle. This makes it possible for the teleoperator to control the motor vehicle intuitively. Improved operation of the motor vehicle can thus be provided, for example in a parking environment, which is designed in particular as so-called automated valet parking.
Insbesondere verfügt das Kraftfahrzeug über entsprechende Einrichtungen, um zumindest einen teilweise autonomen Betrieb des Kraftfahrzeugs realisieren zu können. Beispielsweise kann in eine Längsbeschleunigungseinrichtung und/oder in eine Querbeschleunigungseinrichtung des Kraftfahrzeugs automatisiert eingegriffen werden. Die Steuerung des Kraftfahrzeugs, beispielsweise in der Parkumgebung, wird dann auf Basis einer externen elektronischen Recheneinrichtung durchgeführt, welche entsprechende Befehle an das Kraftfahrzeug übermittelt und diese dann wiederum von dem zumindest teilweise autonomen Kraftfahrzeug ausgeführt werden.In particular, the motor vehicle has appropriate devices in order to be able to realize at least partially autonomous operation of the motor vehicle. For example, it is possible to intervene automatically in a longitudinal acceleration device and/or in a lateral acceleration device of the motor vehicle. The control of the motor vehicle, for example in the parking environment, is then carried out on the basis of an external electronic computing device, which transmits corresponding commands to the motor vehicle and these in turn are carried out by the at least partially autonomous motor vehicle.
Insbesondere verfügt somit das Kraftfahrzeug zumindest auch über eine Kommunikationseinrichtung, welche zum Empfangen von Befehlen ausgebildet ist. Das Unterstützungssystem weist ebenfalls eine Kommunikationseinrichtung auf, welche zum Senden von Befehlen ausgebildet ist.In particular, the motor vehicle therefore also has at least one communication device which is designed to receive commands. The support system also has a communication device which is designed to send commands.
Insbesondere kann somit das Transformieren der Umgebungserfassung durch die Parkumgebung derart durchgeführt werden, dass beispielsweise eine Rundumsicht, wie dies im Kraftfahrzeug der Fall wäre, erzeugt werden kann.In particular, the transformation of the surroundings detection through the parking environment can be carried out in such a way that, for example, an all-round view, as would be the case in a motor vehicle, can be generated.
Als Erfassungseinrichtung kann beispielsweise eine Ultraschallsensorvorrichtung, eine Radarsensorvorrichtung, eine Lidarsensorvorrichtung oder bevorzugt eine Kamera ausgebildet sein. Insbesondere kann die Umgebung auch eine Vielzahl von Erfassungseinrichtungen aufweisen. Insbesondere ist es dabei möglich, dass beispielsweise dann wiederum eine Fusion der unterschiedlichen Umgebungserfassungen realisiert werden kann, welche insbesondere zu einem gesamtheitlichen Bild zusammengeführt werden kann.For example, an ultrasonic sensor device, a radar sensor device, a lidar sensor device or preferably a camera can be designed as the detection device. In particular, the environment can also have a large number of detection devices. In particular, it is possible that, for example, a fusion of the different environmental recordings can then be realized, which can in particular be combined to form a holistic image.
Insbesondere kann das Verfahren bei dem so genannten automated valet parking Typ 2 durchgeführt werden, bei welchem innerhalb des Kraftfahrzeugs keine Person mehr während des Parkmanövers vorhanden ist. Da beispielsweise in dem Fall, in welchem das Kraftfahrzeug sich in einer Situation befindet, bei welcher es keinen Weg mehr gibt, um eine Planung der Trajektorie durchzuführen, beispielsweise aufgrund von externen Einflüssen, so kann das Kraftfahrzeug dann wieder über den Teleoperator bedient werden. Hierbei ist es insbesondere vorteilhaft, wenn dann wiederum der Teleoperator eine Sicht erhält, welche transformiert ist, als ob der Teleoperator im Kraftfahrzeug selbst sitzen würde.In particular, the method can be carried out in the so-called automated
Insbesondere kann dabei auch die aktuelle Position des Kraftfahrzeugs, insbesondere innerhalb der Umgebung, berücksichtigt werden, um die entsprechende Adaption beziehungsweise Transformation der erfassten Umgebung durchführen zu können. Insbesondere da die Umgebungserfassung aus dem Kraftfahrzeug selbst nicht verfügbar ist und die Verwendung von kraftfahrzeugexternen Erfassungseinrichtungen nicht intuitiv ist, was zu Fehlern und damit zu gefährlichen Situationen führen kann, liegt der Hauptvorteil des vorgestellten Verfahrens in der Erhöhung der Sicherheit im Straßenverkehr, insbesondere in der vorgegebenen Umgebung. Insbesondere kann somit für den Teleoperator die Sicherheit erhöht werden und das Gefühl vermittelt werden, dass der Teleoperator sich in der Wahrnehmungsperspektive des Fahrers des Fahrzeugs befindet.In particular, the current position of the motor vehicle, in particular within the environment, can also be taken into account in order to be able to carry out the corresponding adaptation or transformation of the detected environment. In particular, since the environmental detection from the motor vehicle itself is not available and the use of detection devices external to the motor vehicle is not intuitive, which can lead to errors and thus to dangerous situations, the main advantage of the method presented lies in increasing safety in road traffic, especially in the specified one Vicinity. In particular, safety can be increased for the teleoperator and the feeling can be conveyed that the teleoperator is in the perceptual perspective of the driver of the vehicle.
Gemäß einer vorteilhaften Ausgestaltungsform wird als Anzeigeeinrichtung eine kraftfahrzeuginterne Anzeigeeinrichtung bereitgestellt. Beispielsweise, sollte das Kraftfahrzeug selbst nicht über Sensoren verfügen, und ein Fahrer des Kraftfahrzeugs sich in der entsprechenden Umgebung befinden, so kann auf einer Anzeigeeinrichtung des Kraftfahrzeugs wiederum die transformierte Umgebung angezeigt werden, sodass der Fahrer des Kraftfahrzeugs die entsprechenden Sensorerkennungen, beispielsweise auch als erweiterte Realität, beispielsweise entsprechende Abstände oder Ähnliches, auf der Anzeigeeinrichtung angezeigt bekommt. Somit ist das Verfahren hochflexibel einsetzbar, und kann beispielsweise auch einem Fahrer des Kraftfahrzeugs innerhalb des Kraftfahrzeugs zur Verfügung gestellt werden.According to an advantageous embodiment, a display device internal to the motor vehicle is provided as the display device. For example, if the motor vehicle itself does not have sensors and a driver of the motor vehicle is in the corresponding environment, the transformed environment can in turn be displayed on a display device of the motor vehicle so that the driver of the motor vehicle can use the corresponding sensor detections, for example as an expanded one Reality, for example corresponding distances or the like, is displayed on the display device. The method can therefore be used in a highly flexible manner and can, for example, also be made available to a driver of the motor vehicle within the motor vehicle.
Alternativ hat es sich als vorteilhaft erwiesen, wenn als Anzeigeeinrichtung eine kraftfahrzeugexterne Anzeigeeinrichtung bereitgestellt wird. Insbesondere kann dann wiederum die Anzeigeeinrichtung als Teil eines Teleoperationsplatzes ausgebildet sein, wobei dann wiederum der Teleoperator auf Basis von entsprechenden Eingabebefehlen auch eine Bewegung des Kraftfahrzeugs, insbesondere eine ferngesteuerte Bewegung des Kraftfahrzeugs, initiieren kann.Alternatively, it has proven to be advantageous if a display device external to the vehicle is provided as the display device. In particular, the display device can then be designed as part of a teleoperation station, in which case the teleoperator can then also initiate a movement of the motor vehicle, in particular a remote-controlled movement of the motor vehicle, on the basis of corresponding input commands.
Es hat sich weiter als vorteilhaft erwiesen, wenn die Anzeige für einen zumindest teilweise teleoperierten Fahrbetrieb des Kraftfahrzeugs bereitgestellt wird. Hierbei kann beispielsweise vorgesehen sein, dass für den teleoperierten Fahrbetrieb eine Vielzahl von Anzeigeflächen/Bildschirmen bereitgestellt wird, sodass der Teleoperator sowohl eine Heckansicht, eine Seitenansicht sowie eine Frontansicht bereitgestellt bekommt. Ferner kann vorgesehen sein, dass beispielsweise auch eine so genannte Vogelperspektive mit angezeigt werden kann. Somit kann ein umfängliches Bild der Umgebung für den teleoperierten Fahrbetrieb realisiert werden.It has also proven to be advantageous if the display is provided for at least partially teleoperated driving of the motor vehicle. Here, for example, it can be provided that a large number of display areas/screens are provided for teleoperated driving, so that the teleoperator is provided with a rear view, a side view and a front view. Furthermore, it can be provided that, for example, a so-called bird's eye view can also be displayed. This means that a comprehensive picture of the environment can be created for teleoperated driving.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass in der Parkumgebung ein automatisierter Fahrbetrieb des Kraftfahrzeugs bereitgestellt wird, wobei in einem Notbetrieb der zumindest teilweise teleoperierte Fahrbetrieb bereitgestellt wird. Insbesondere findet somit ein zumindest teilweise automatisierter Fahrbetrieb des Kraftfahrzeugs innerhalb der Parkumgebung statt. Sollte es jedoch zu einem Notfall, beispielsweise einer fehlerhaften Planung einer Trajektorie oder nicht vorhergesehenen Ereignissen kommen, so kann wiederum der teilweise teleoperierte Fahrbetrieb durchgeführt werden, wodurch die Sicherheit innerhalb der Parkumgebung erhöht werden kann.A further advantageous embodiment provides that automated driving operation of the motor vehicle is provided in the parking environment, with the at least partially teleoperated driving operation being provided in an emergency operation. In particular, at least partially automated driving operation of the motor vehicle takes place within the parking environment. However, if an emergency occurs, for example incorrect planning of a trajectory or unforeseen events, the partially teleoperated driving operation can again be carried out, which can increase safety within the parking environment.
Ferner hat es sich als vorteilhaft erwiesen, wenn die Erfassungseinrichtung an einer Infrastruktureinrichtung der Umgebung bereitgestellt wird. Beispielsweise kann als Infrastruktureinrichtung eine Wand, eine Schranke, Zäune, Säulen oder dergleichen bereitgestellt werden. Insbesondere kann die Infrastruktureinrichtung als Teil der Parkumgebung ausgebildet sein. Insbesondere kann über die Infrastruktureinrichtung, bevorzugt über eine Vielzahl von Infrastruktureinrichtungen, dann wiederum die gesamte Parkumgebung erfasst werden.Furthermore, it has proven to be advantageous if the detection device is provided on an infrastructure device in the surrounding area. For example, a wall, a barrier, fences, columns or the like can be provided as an infrastructure device. In particular, the infrastructure facility can be designed as part of the park environment. In particular, via the infrastructure facility, preferably via a variety of Infrastructure facilities, and then the entire park environment are recorded.
Ebenfalls vorteilhaft ist, wenn mittels einer Vielzahl von Erfassungseinrichtungen die Umgebung erfasst wird. Beispielsweise kann das Kraftfahrzeug mit der Umgebung aus verschiedenen Blickwinkeln erfasst werden. Es kann dann wiederum eine Fusionierung der entsprechenden Umgebungserfassungen durchgeführt werden, wodurch die unterschiedlichen Blickwinkel und somit eine vollumfängliche Umgebungserfassung realisiert werden kann. Somit kann die Sicherheit innerhalb der Umgebung erhöht werden.It is also advantageous if the environment is detected using a large number of detection devices. For example, the motor vehicle and its surroundings can be captured from different perspectives. A fusion of the corresponding environmental recordings can then be carried out, whereby the different viewing angles and thus a complete environmental recording can be realized. This means that security within the environment can be increased.
Es hat sich weiter als vorteilhaft erwiesen, wenn eine jeweilige Erfassung der Umgebung zu einer gemeinsamen Darstellung fusioniert wird. Es kann daher vorgesehen sein, dass eine Vielzahl von Kameras oder auch anderen Sensoren in der Umgebung bereitgestellt werden. Es kann dann wiederum eine gemeinsame Fusionierung stattfinden, beispielsweise auf Basis einer Vogelperspektive, oder auch weitere Entfernungsinformationen als erweiterte Realität mit dargestellt werden, welche beispielsweise auf Basis einer Lidarsensoreinrichtung oder Radarsensoreinrichtung erfasst werden können. Beispielsweise können ermittelte Abstände zu Objekten in der Umgebung als erweiterte Realität dargestellt werden. Somit kann ein vollumfängliches Umgebungsbild erzeugt werden, welches dann wiederum fusioniert wird und für die Wahrnehmungsperspektive transformiert wird.It has also proven to be advantageous if a respective recording of the environment is merged into a common representation. It can therefore be provided that a large number of cameras or other sensors are provided in the environment. A joint fusion can then take place, for example based on a bird's eye view, or further distance information can also be represented as augmented reality, which can be recorded, for example, on the basis of a lidar sensor device or radar sensor device. For example, determined distances to objects in the environment can be displayed as augmented reality. This means that a complete image of the surroundings can be created, which is then merged and transformed for the perceptual perspective.
Ebenfalls vorteilhaft ist, wenn eine Rundumsicht als gemeinsame Darstellung angezeigt wird. Die Rundumsicht kann dabei insbesondere aus dem Blickwinkel eines Fahrers des Kraftfahrzeugs angezeigt werden. Insbesondere kann somit eine seitliche Sicht, eine frontale Sicht sowie eine Heckansicht entsprechend angezeigt werden.It is also advantageous if an all-round view is displayed as a common representation. The all-round view can be displayed in particular from the perspective of a driver of the motor vehicle. In particular, a side view, a frontal view and a rear view can be displayed accordingly.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass mittels einer Kamera als Erfassungseinrichtung die Umgebung erfasst wird. Insbesondere da die Wahrnehmung hauptsächlich über das Auge stattfindet, ist eine entsprechende Kamera als Erfassungseinrichtung bevorzugt vorgesehen. Insbesondere kann vorgesehen sein, dass mittels einer Vielzahl von Kameras die entsprechende Umgebung aus unterschiedlichen Blickrichtungen erfasst wird, und auf der Anzeigeeinrichtung fusioniert dargestellt werden kann.A further advantageous embodiment provides that the environment is recorded using a camera as a recording device. Particularly since perception takes place mainly via the eye, a corresponding camera is preferably provided as a detection device. In particular, it can be provided that the corresponding environment is recorded from different viewing directions by means of a large number of cameras and can be displayed in a merged manner on the display device.
Es hat sich weiter als vorteilhaft erwiesen, wenn die erfasste Umgebung derart angepasst wird, dass die Umgebung aus der Wahrnehmungsperspektive einer auf dem Fahrersitz des Kraftfahrzeugs sitzenden Person angezeigt wird. Dadurch ist es besonders intuitiv möglich, dass ein beispielsweise teleoperierter Fahrbetrieb durch den Teleoperator besonders sicher durchgeführt werden kann.It has also proven to be advantageous if the recorded environment is adjusted in such a way that the environment is displayed from the perceptual perspective of a person sitting in the driver's seat of the motor vehicle. This makes it particularly intuitively possible for a teleoperated driving operation, for example, to be carried out particularly safely by the teleoperator.
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden.The method presented is in particular a computer-implemented method. Therefore, a further aspect of the invention relates to a computer program product with program code means which cause an electronic computing device to carry out a method according to the previous aspect when the program code means are processed by the electronic computing device. The computer program product can also be referred to as a computer program.
Ein nochmals weiterer Aspekt der Erfindung betrifft auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.Yet another aspect of the invention also relates to a computer-readable storage medium with the computer program product.
Ferner betrifft die Erfindung auch ein Unterstützungssystem zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung, mit zumindest einer elektronischen Recheneinrichtung, wobei das Unterstützungssystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Unterstützungssystems durchgeführt.Furthermore, the invention also relates to a support system for displaying the surroundings of a motor vehicle on a display device, with at least one electronic computing device, the support system being designed to carry out a method according to the preceding aspect. In particular, the procedure is carried out using the support system.
Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um die entsprechenden Verfahrensschritte durchführen zu können.The electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out the corresponding method steps.
Ebenfalls betrifft die Erfindung auch eine Parkumgebung mit dem Unterstützungssystem sowie mit zumindest einer Umgebungserfassungseinrichtung.The invention also relates to a parking environment with the support system and with at least one environment detection device.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Unterstützungssystems sowie der Parkumgebung anzusehen. Das Unterstützungssystem sowie die Parkumgebung weisen hierzu insbesondere entsprechende gegenständliche Merkmale auf, um die Verfahrensschritte durchführen zu können.Advantageous embodiments of the method are to be viewed as advantageous embodiments of the computer program product, the computer-readable storage medium, the support system and the parking environment. The support system and the park environment in particular have corresponding physical features in order to be able to carry out the procedural steps.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen und in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch aus separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungsformen, als offenbart anzusehen, die über den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures alone can be used not only in the combination specified in each case, but also in other combinations and on their own, without the frame men of the invention to leave. Embodiments which are not explicitly shown and explained in the figures, but which emerge from separate combinations of features from the explained embodiments and can be generated are therefore also to be regarded as included and disclosed by the invention. Versions and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated claim. In addition, designs and combinations of features, in particular through the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the claims.
Ausführungsbeispiele werden nachfolgend anhand von schematischen Zeichnungen erläutert.Exemplary embodiments are explained below using schematic drawings.
Dazu zeigen:
-
1 eine schematische Draufsicht auf eine Umgebung eines Kraftfahrzeugs mit einem Unterstützungssystem; und -
2 eine schematische Perspektivansicht gemäß einer Ausführungsform einer Anzeigeeinrichtung des Unterstützungssystems.
-
1 a schematic top view of an environment of a motor vehicle with a support system; and -
2 a schematic perspective view according to an embodiment of a display device of the support system.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.In the figures, identical or functionally identical elements are provided with the same reference numerals.
Sollte es während des autonomen Manövrierens des Kraftfahrzeugs 1 zu einer kritischen Situation kommen, so kann vorgesehen sein, dass ein teleoperierter Betrieb des Kraftfahrzeugs 1 ermöglicht ist. Ferner weist das Kraftfahrzeug 1 insbesondere ein kraftfahrzeuginterne Anzeigeeinrichtung 13 auf.Should a critical situation arise during the autonomous maneuvering of the
Bei einem erfindungsgemäßen Verfahren zum Anzeigen der Umgebung 2 des Kraftfahrzeugs 1 auf der Anzeigeeinrichtung 13, 15 ist insbesondere vorgesehen, dass das Anzeigen der Umgebung 2 mittels eines Unterstützungssystems 19 erfolgt. Das Unterstützungssystem 19 weist hierzu insbesondere die elektronische Recheneinrichtung 6 auf. Ferner weist das Unterstützungssystem 19 zumindest die eine kraftfahrzeugexterne Erfassungseinrichtung 7, 8 auf.In a method according to the invention for displaying the
Es ist dabei vorgesehen, dass die Umgebung 2 des Kraftfahrzeugs 1 mittels der kraftfahrzeugexternen Erfassungseinrichtung 7, 8 erfasst wird. Es erfolgt das Transformieren der erfassten Umgebung 2 mittels der elektronischen Recheneinrichtung 6 derart, dass eine Wahrnehmungsperspektive 20 aus einem Innenraum 21 des Kraftfahrzeugs 1 erzeugt wird. Es erfolgt dann das Anzeigen der transformierten Umgebung 2 auf der Anzeigeeinrichtung 15. Mit anderen Worten zeigt die
Des Weiteren ist, wie bereits erwähnt, vorgesehen, dass mittels einer Vielzahl von Erfassungseinrichtungen 7, 8 die Umgebung 2 erfasst wird, wobei eine jeweilige Erfassung der Umgebung 2 zu einer gemeinsamen Darstellung fusioniert wird, und insbesondere, wie in der
Die
Des Weiteren ist insbesondere vorgesehen, dass die Anzeige für einen zumindest teilweise teleoperierten Fahrbetrieb des Kraftfahrzeugs 1 bereitgestellt wird, wobei das Verfahren innerhalb der Parkumgebung des Kraftfahrzeugs 1 bereitgestellt wird. Ferner kann in der Parkumgebung insbesondere ein automatisierter Fahrbetrieb des Kraftfahrzeugs 1 bereitgestellt werden, wobei in einem Notbetrieb der zumindest teilweise teleoperierte Fahrbetrieb 14 bereitgestellt wird.Furthermore, it is particularly provided that the display is provided for an at least partially teleoperated driving operation of the
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102017218536 A1 [0003]DE 102017218536 A1 [0003]
Claims (15)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022121225.4A DE102022121225A1 (en) | 2022-08-23 | 2022-08-23 | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system |
PCT/EP2023/070655 WO2024041830A1 (en) | 2022-08-23 | 2023-07-26 | Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022121225.4A DE102022121225A1 (en) | 2022-08-23 | 2022-08-23 | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022121225A1 true DE102022121225A1 (en) | 2024-02-29 |
Family
ID=87517471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022121225.4A Pending DE102022121225A1 (en) | 2022-08-23 | 2022-08-23 | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102022121225A1 (en) |
WO (1) | WO2024041830A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150077562A1 (en) | 2012-01-19 | 2015-03-19 | Robert Bosch Gmbh | Method and device for visualizing the surroundings of a vehicle |
DE102014208310A1 (en) | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | Driver assistance system for displaying an augmented reality |
DE102017218536A1 (en) | 2017-10-17 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Method for automatically and / or remotely moving a driverless first vehicle in the longitudinal direction |
DE102018131104A1 (en) | 2018-12-06 | 2020-06-10 | Valeo Schalter Und Sensoren Gmbh | Method for assisting a user in remote control of a motor vehicle, computer program product, remote control device and driver assistance system for a motor vehicle |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016213961A1 (en) * | 2016-07-28 | 2018-02-01 | Robert Bosch Gmbh | Concept for the remote control of a motor vehicle within a parking lot |
KR102102651B1 (en) * | 2017-10-12 | 2020-05-29 | 엘지전자 주식회사 | Autonomous vehicle and method for controlling the same |
-
2022
- 2022-08-23 DE DE102022121225.4A patent/DE102022121225A1/en active Pending
-
2023
- 2023-07-26 WO PCT/EP2023/070655 patent/WO2024041830A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150077562A1 (en) | 2012-01-19 | 2015-03-19 | Robert Bosch Gmbh | Method and device for visualizing the surroundings of a vehicle |
DE102014208310A1 (en) | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | Driver assistance system for displaying an augmented reality |
DE102017218536A1 (en) | 2017-10-17 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Method for automatically and / or remotely moving a driverless first vehicle in the longitudinal direction |
DE102018131104A1 (en) | 2018-12-06 | 2020-06-10 | Valeo Schalter Und Sensoren Gmbh | Method for assisting a user in remote control of a motor vehicle, computer program product, remote control device and driver assistance system for a motor vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2024041830A1 (en) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3662333B1 (en) | Method and system for remote control of a vehicle | |
EP1658211B1 (en) | Maneuvering assistance system for a motor vehicle | |
DE102016214597A1 (en) | Method of supporting a vehicle hitch and support system | |
DE102014015493B4 (en) | Method for operating a motor vehicle and motor vehicle | |
DE102016211182A1 (en) | A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map | |
EP3251922B1 (en) | Method for autonomous parking of a motor vehicle into a parking space with output of an exit signal to the driver, driver assistance system and motor vehicle | |
DE102017110020A1 (en) | Method for operating a driver assistance system of a motor vehicle for maneuvering the motor vehicle in a mobile area, driver assistance system and motor vehicle | |
WO2015000882A1 (en) | Assistance system and assistance method for support when controlling a motor vehicle | |
DE102014011613A1 (en) | Method and device for supporting a parking process for a vehicle | |
DE102018221871A1 (en) | Method for operating a parking assistance system of a vehicle with specification of a direction of travel for a parking maneuver, and parking assistance system | |
DE102013221274A1 (en) | Method for supporting a parking or parking operation of a vehicle, vehicle and communication means | |
DE102018131104A1 (en) | Method for assisting a user in remote control of a motor vehicle, computer program product, remote control device and driver assistance system for a motor vehicle | |
DE102016122759A1 (en) | Method for operating a driver assistance system for the at least semi-autonomous maneuvering of a motor vehicle taking into account a geographical area, driver assistance system and motor vehicle | |
EP3284649A1 (en) | Driver assistance for parking a motor vehicle and a trailer by means of virtual sensors | |
DE102016117743A1 (en) | Method for evaluating a driving behavior of a driver of a motor vehicle during a parking maneuver, driver assistance system and motor vehicle | |
WO2022180005A1 (en) | Method for the at least partially automated parking of a motor vehicle, driver assistance system, and motor vehicle | |
DE102016122760A1 (en) | Method for operating a driver assistance system of a motor vehicle for maneuvering the motor vehicle to various destinations, driver assistance system and motor vehicle | |
DE102016122756A1 (en) | A method for assisting a driver of a motor vehicle when parking the motor vehicle on a parking area, driver assistance system and motor vehicle | |
DE102019133223B3 (en) | Method for performing a remote-controlled parking maneuver with a vehicle using a mobile terminal device and system | |
DE102016013971A1 (en) | Method for remote controlled operation of a motor vehicle, and system for the remote controlled operation of a motor vehicle | |
DE102022121225A1 (en) | Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system | |
DE102016122215A1 (en) | Method for operating a driver assistance system of a motor vehicle with extended learning mode, driver assistance system and motor vehicle | |
DE102010056063A1 (en) | Method for automatically steering vehicle to target position, involves displaying image of environment with selected holding position and determining holding position as target position of vehicle using displayed image | |
DE102020103905A1 (en) | Method for the remote-controlled operation of a target motor vehicle, control device, and controller motor vehicle | |
DE102016111878A1 (en) | Method for determining an alignment of a motor vehicle parked on a parking area, control unit, driver assistance system and motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |