DE102022105155A1 - Vehicle and control device and procedures for operating the vehicle - Google Patents

Vehicle and control device and procedures for operating the vehicle Download PDF

Info

Publication number
DE102022105155A1
DE102022105155A1 DE102022105155.2A DE102022105155A DE102022105155A1 DE 102022105155 A1 DE102022105155 A1 DE 102022105155A1 DE 102022105155 A DE102022105155 A DE 102022105155A DE 102022105155 A1 DE102022105155 A1 DE 102022105155A1
Authority
DE
Germany
Prior art keywords
vehicle
control device
representation
dimensional
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022105155.2A
Other languages
German (de)
Inventor
Mohamed Kari
Simon Tobias Isele
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102022105155.2A priority Critical patent/DE102022105155A1/en
Publication of DE102022105155A1 publication Critical patent/DE102022105155A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)

Abstract

Steuerungsgerät (102) und Fahrzeug (100), das durch das Steuerungsgerät (102) mit erweiterter Realität ansteuerbar ist, wobei das Fahrzeug (100) und das Steuerungsgerät (102) ausgebildet sind ein Verfahren zum Bedienen des Fahrzeugs (100) mit dem Steuerungsgerät (102) auszuführen.Control device (102) and vehicle (100), which can be controlled by the control device (102) with augmented reality, the vehicle (100) and the control device (102) being designed a method for operating the vehicle (100) with the control device ( 102) to execute.

Description

Die Erfindung geht aus von einem Fahrzeug und einem Steuerungsgerät sowie einem Verfahren zum Bedienen des Fahrzeugs.The invention is based on a vehicle and a control device as well as a method for operating the vehicle.

US 2019/0220002 A1 offenbart Aspekte eines Bedienkonzepts. U.S. 2019/0220002 A1 reveals aspects of an operating concept.

Durch die Verfahren, das Steuerungsgerät und das Fahrzeug nach den unabhängigen Ansprüchen wird ein verbessertes Bedienkonzept erreicht.An improved operating concept is achieved by the method, the control device and the vehicle according to the independent claims.

Ein Verfahren zum Bedienen eines autonomen Fahrzeugs in einem Steuerungsgerät mit erweiterter Realität sieht vor, dass eine Repräsentation einer Umgebung des Steuerungsgeräts mit wenigstens einem Sensor des Steuerungsgeräts erfasst wird, eine, mit wenigstens einem Sensor des Fahrzeugs erfasste Repräsentation einer Umgebung des Fahrzeugs bereitgestellt wird, dreidimensionale Koordinaten einer dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs, insbesondere eine Punktewolke oder ein Netz, abhängig von der Repräsentation der Umgebung des Steuerungsgeräts und der Repräsentation der Umgebung des Fahrzeugs insbesondere mit einer kollaborativen, simultanen Positionsbestimmung und Kartierung durch das Steuerungsgerät und das autonome Fahrzeug bestimmt wird, auf Basis derer mit einer semantischen Segmentierung der dreidimensionalen Koordinaten vom Fahrzeug befahrbare Flächen erkennbar sind, auf einer Anzeige des Steuerungsgeräts eine zweidimensionale Darstellung einer Umgebung des autonomen Fahrzeugs dargestellt wird, und entweder eine Nutzereingabe erkannt wird, die in der zweidimensionalen Darstellung einem Punkt zugeordnet ist, der eine Zielposition für das autonome Fahrzeug repräsentiert, wobei der Punkt aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet wird, und wobei die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs insbesondere mit einem Kommunikationsmodul des Steuerungsgeräts an das Fahrzeug gesendet wird, oder eine Nutzereingabe erkannt wird, die in der zweidimensionalen Darstellung einer Menge von Punkten zugeordnet ist, die eine Trajektorie repräsentieren, auf der sich das autonome Fahrzeugbewegen soll, wobei wenigstens ein Punkt aus der Menge aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet wird, und wobei die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs insbesondere mit einem Kommunikationsmodul des Steuerungsgeräts an das Fahrzeug gesendet wird.A method for operating an autonomous vehicle in a control device with augmented reality provides that a representation of an environment of the control device is captured with at least one sensor of the control device, a representation of an environment of the vehicle captured with at least one sensor of the vehicle is provided, three-dimensional Coordinates of a three-dimensional map representation of the environment of the autonomous vehicle, in particular a point cloud or a network, is determined depending on the representation of the environment of the control device and the representation of the environment of the vehicle, in particular with a collaborative, simultaneous position determination and mapping by the control device and the autonomous vehicle , on the basis of which surfaces that can be driven on by the vehicle can be identified with a semantic segmentation of the three-dimensional coordinates, a two-dimensional representation of an environment of the autonomous vehicle is shown on a display of the control device, and either a user input is recognized which is assigned to a point in the two-dimensional representation , which represents a target position for the autonomous vehicle, the point from the two-dimensional representation being mapped onto one of the three-dimensional coordinates of the map representation, and the three-dimensional coordinate for controlling the vehicle being sent to the vehicle in particular with a communication module of the control device, or a User input is recognized, which is assigned to a set of points in the two-dimensional representation, which represent a trajectory on which the autonomous vehicle is to move, wherein at least one point from the set from the two-dimensional representation is mapped to one of the three-dimensional coordinates of the map representation, and wherein the three-dimensional coordinate for controlling the vehicle is sent to the vehicle in particular with a communication module of the control device.

Vorzugsweise werden dreidimensionale Koordinaten einer vom Fahrzeug geplanten Trajektorie insbesondere vom Fahrzeug empfangen, wobei die dreidimensionalen Koordinaten auf Punkte der zweidimensionalen Darstellung der Umgebung des Fahrzeugs abgebildet werden, die die Trajektorie repräsentieren, wobei die zweidimensionale Darstellung auf der Anzeige des Steuerungsgeräts angezeigt wird, wobei die Trajektorie der zweidimensionalen Darstellung überlagert auf der Anzeige des Steuerungsgeräts angezeigt wird.Preferably, three-dimensional coordinates of a trajectory planned by the vehicle are received in particular by the vehicle, the three-dimensional coordinates being mapped to points in the two-dimensional representation of the area surrounding the vehicle, which represent the trajectory, the two-dimensional representation being displayed on the display of the control device, the trajectory superimposed on the two-dimensional representation on the display of the control device.

Vorzugsweise umfasst der wenigstens eine Sensor eine Kamera, wobei mit der Kamera ein digitales Bild erfasst wird, und wobei die Repräsentation der Umgebung des Steuerungsgeräts abhängig von dem digitalen Bild bestimmt wird. Die Pixel des digitalen Bildes repräsentieren die Umgebung des Steuerungsgeräts besonders gut.The at least one sensor preferably includes a camera, with the camera capturing a digital image, and with the representation of the environment of the control device being determined as a function of the digital image. The pixels of the digital image represent the surroundings of the control device particularly well.

Vorzugsweise ist der wenigstens eine Sensor des Steuerungsgeräts ausgebildet, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Steuerungsgeräts zu erfassen, wobei eine Position des Steuerungsgeräts in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Steuerungsgeräts bestimmt wird. Dies verbessert die Genauigkeit der Zuordnung von Pixel des digitalen Bildes zu den dreidimensionalen Koordinaten der Kartenrepräsentation.The at least one sensor of the control device is preferably designed to detect an acceleration and/or a speed and/or a position of the control device, with a position of the control device in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation depending on the acceleration and /or the speed and/or the position of the control device is determined. This improves the accuracy of mapping pixels of the digital image to the three-dimensional coordinates of the map representation.

Ein Verfahren zum Bedienen eines autonomen Fahrzeugs im Fahrzeug sieht vor, dass eine, mit wenigstens einem Sensor eines Steuerungsgeräts für das Fahrzeug erfasste Repräsentation einer Umgebung des Steuergeräts bereitgestellt wird, eine Repräsentation einer Umgebung des Fahrzeugs mit wenigstens einem Sensor des Fahrzeugs erfasst wird, dreidimensionale Koordinaten einer dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs, insbesondere eine Punktewolke oder ein Netz, abhängig von der Repräsentation der Umgebung des Steuerungsgeräts und der Repräsentation der Umgebung des Fahrzeugs insbesondere mit einer kollaborativen, simultanen Positionsbestimmung und Kartierung durch das Steuerungsgerät und das autonome Fahrzeug bestimmt wird, mit einer semantischen Segmentierung der dreidimensionalen Koordinaten vom Fahrzeug befahrbare Flächen erkannt werden, eine der dreidimensionalen Koordinaten insbesondere vom Steuerungsgerät empfangen wird, die einem Punkt zugeordnet ist, der auf einer Anzeige des Steuerungsgeräts in einer zweidimensionalen Darstellung einer Umgebung des autonomen Fahrzeugs eine Zielposition für das autonome Fahrzeug repräsentiert, wobei abhängig von der dreidimensionalen Koordinate und den befahrbaren Flächen insbesondere in einem Steuergerät des Fahrzeugs eine Trajektorie zur Ansteuerung des Fahrzeugs zum Erreichen der Zielposition bestimmt wird, und eine Motorik des Fahrzeugs abhängig von der Trajektorie zum Bewegen des Fahrzeugs auf der Trajektorie zum Erreichen der Zielposition angesteuert wird, oder wenigstens eine der dreidimensionalen Koordinaten insbesondere vom Steuerungsgerät empfangen wird, die einem Punkt einer Menge von Punkten zugeordnet ist, die auf einer Anzeige des Steuerungsgeräts in einer zweidimensionalen Darstellung einer Umgebung des autonomen Fahrzeugs eine Trajektorie für das autonome Fahrzeug repräsentieren, wobei abhängig von der dreidimensionalen Koordinate und den befahrbaren Flächen insbesondere in einem Steuergerät des Fahrzeugs eine Trajektorie zur Ansteuerung des Fahrzeugs zum Erreichen der Zielposition bestimmt wird, und eine Motorik des Fahrzeugs abhängig von der Trajektorie zum Bewegen des Fahrzeugs auf der Trajektorie zum Erreichen der Zielposition angesteuert wird.A method for operating an autonomous vehicle in the vehicle provides that a representation of an environment of the control unit captured with at least one sensor of a control device for the vehicle is provided, a representation of an environment of the vehicle is captured with at least one sensor of the vehicle, three-dimensional coordinates a three-dimensional map representation of the surroundings of the autonomous vehicle, in particular a point cloud or a network, is determined depending on the representation of the surroundings of the control device and the representation of the surroundings of the vehicle, in particular with a collaborative, simultaneous position determination and mapping by the control device and the autonomous vehicle, with a semantic segmentation of the three-dimensional coordinates areas that can be driven on by the vehicle are recognized, one of the three-dimensional coordinates is received in particular by the control device, which is assigned to a point which, on a display of the control device in a two-dimensional representation of an environment of the autonomous vehicle, is a target position for the autonomous vehicle Vehicle represents, depending on the three-dimensional coordinate and the trafficable areas in particular in a control unit of the vehicle Tra jectory for controlling the vehicle to reach the target position is determined, and a motor system of the vehicle is controlled depending on the trajectory for moving the vehicle on the trajectory to reach the target position, or at least one of the three-dimensional coordinates is received in particular from the control device, which is a point is assigned to a set of points that represent a trajectory for the autonomous vehicle on a display of the control device in a two-dimensional representation of an area surrounding the autonomous vehicle, with a trajectory for activation depending on the three-dimensional coordinate and the surfaces that can be driven on, in particular in a control unit of the vehicle of the vehicle to reach the target position is determined, and a motor system of the vehicle is controlled depending on the trajectory for moving the vehicle on the trajectory to reach the target position.

Vorzugsweise werden dreidimensionale Koordinaten der vom Fahrzeug geplanten Trajektorie insbesondere mit einem Kommunikationsmodul des Fahrzeugs an das Steuerungsgerät gesendet. Dadurch ist die geplante Route in der Anzeige im Steuerungsgerät überlagert darstellbar.Three-dimensional coordinates of the trajectory planned by the vehicle are preferably sent to the control device, in particular using a communication module in the vehicle. As a result, the planned route can be superimposed on the display in the control device.

Vorzugsweise umfasst der wenigstens eine Sensor eine Kamera, wobei mit der Kamera ein digitales Bild erfasst wird, und wobei die Repräsentation der Umgebung des Fahrzeugs abhängig vom digitalen Bild bestimmt wird. Die Pixel des digitalen Bildes repräsentieren die Umgebung des Fahrzeugs besonders gut.The at least one sensor preferably includes a camera, with the camera capturing a digital image and with the representation of the surroundings of the vehicle being determined as a function of the digital image. The pixels of the digital image represent the surroundings of the vehicle particularly well.

Vorzugsweise ist der wenigstens eine Sensor des Fahrzeugs ausgebildet, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Fahrzeugs zu erfassen, wobei eine Position des Fahrzeugs in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Fahrzeugs bestimmt wird. Dies verbessert die Genauigkeit der Zuordnung von Pixel des digitalen Bildes zu den dreidimensionalen Koordinaten der Kartenrepräsentation.The at least one sensor of the vehicle is preferably designed to detect an acceleration and/or a speed and/or a position of the vehicle, with a position of the vehicle in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation depending on the acceleration and /or the speed and/or the position of the vehicle is determined. This improves the accuracy of mapping pixels of the digital image to the three-dimensional coordinates of the map representation.

Ein Steuerungsgerät zum Bedienen eines autonomen Fahrzeugs mit erweiterter Realität umfasst eine Anzeige, wenigstens einen Sensor und ein Kommunikationsmodul, wobei die Anzeige ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs anzuzeigen, wobei der wenigstens eine Sensor ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Steuerungsgeräts zu erfassen, wobei das Kommunikationsmodul ausgebildet ist, mit einem korrespondierenden Kommunikationsmodul des Fahrzeugs zu kommunizieren, wobei die Anzeige, der wenigstens eine Sensor und das Kommunikationsmodul ausgebildet sind, Schritte im Verfahren auszuführen.A control device for operating an autonomous vehicle with augmented reality comprises a display, at least one sensor and a communication module, the display being designed to display a two-dimensional representation of an environment of the vehicle, the at least one sensor being designed to display a two-dimensional representation of an environment of the vehicle To detect control device, wherein the communication module is designed to communicate with a corresponding communication module of the vehicle, wherein the display, the at least one sensor and the communication module are designed to perform steps in the method.

Der wenigstens eine Sensor umfasst vorzugsweise eine Kamera oder ist ausgebildet, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Steuerungsgeräts zu erfassen.The at least one sensor preferably includes a camera or is designed to detect an acceleration and/or a speed and/or a position of the control device.

Ein Fahrzeug, das durch ein Steuerungsgeräts mit erweiterter Realität ansteuerbar ist, umfasst ein Steuergerät, eine Motorik, wenigstens einen Sensor und ein Kommunikationsmodul, wobei der wenigstens eine Sensor ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs zu erfassen, wobei das Steuergerät, das Kommunikationsmodul, und der wenigstens eine Sensor ausgebildet sind, Schritte im Verfahren zum Bestimmen einer Trajektorie auszuführen, wobei das Steuergerätausgebildet ist, die Motorik dazu anzusteuern, das Fahrzeugentlang der Trajektorie zu bewegen.A vehicle that can be controlled by a control device with augmented reality comprises a control unit, a motor system, at least one sensor and a communication module, with the at least one sensor being designed to capture a two-dimensional representation of an area surrounding the vehicle, with the control unit, the Communication module, and the at least one sensor are designed to perform steps in the method for determining a trajectory, wherein the control unit is designed to control the motor system to move the vehicle along the trajectory.

Der wenigstens eine Sensor umfasst vorzugsweise eine Kamera oder ist ausgebildet, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Fahrzeugs zu erfassen.The at least one sensor preferably includes a camera or is designed to detect an acceleration and/or a speed and/or a position of the vehicle.

Weitere vorteilhafte Ausführungsformen sind der folgenden Beschreibung und der Zeichnung entnehmbar. In der Zeichnung zeigt:

  • 1 eine schematische Darstellung eines Fahrzeugs und eines Steuerungsgeräts dafür,
  • 2 ein Sequenzdiagramm eines Verfahrens zum Bedienen des Fahrzeugs.
Further advantageous embodiments can be found in the following description and the drawing. In the drawing shows:
  • 1 a schematic representation of a vehicle and a control device for it,
  • 2 a sequence diagram of a method for operating the vehicle.

In 1 ist ein Fahrzeug 100 und ein Steuerungsgerät 102 dafür schematisch dargestellt.In 1 a vehicle 100 and a control device 102 for it are shown schematically.

Das Fahrzeug 100 ist durch das Steuerungsgerät 102 mit erweiterter Realität ansteuerbar. Erweiterte Realität bedeutet beispielsweise, dass ein digitales Bild, das von einer Kamera aufgenommen wird, mit berechneter Zusatzinformation überlagert dargestellt wird oder dass eine Nutzereingabe mit der der Nutzer eine Pixel oder mehrere Pixel des digitalen Bildes auswählt, erfasst wird. Das digitale Bild repräsentiert vorzugsweise ein Szenario, dass sich in dem Moment, in dem der Nutzer über die Auswahl entscheidet und/oder die Nutzereingabe eingibt, in der realen Welt stattfindet. Statt das Szenario durch das aufgenommene digitale Bild selbst darzustellen, kann auch eine andere zweidimensionale Darstellung des Szenarios vorgesehen sein, insbesondere eine aus verschiedenen, dasselbe Szenario zur im Wesentlichen selben Zeit repräsentierenden, digitalen Bildern errechnete perspektivische Ansicht oder Aufsicht auf das Szenario. Die Nutzereingabe wird beispielsweise dadurch ermöglicht, dass ein Pixel des digitalen Bildes in Reaktion auf die Nutzereingabe als Punkt bestimmt wird, wobei das Pixel erkannt wird, das ein Nutzer durch Antippen des digitalen Bildes auf einer berührungsempfindlichen Anzeige während das digitale Bild angezeigt wird, auswählt.The vehicle 100 can be controlled by the control device 102 with augmented reality. Augmented reality means, for example, that a digital image recorded by a camera is displayed superimposed with calculated additional information, or that a user input with which the user selects one or more pixels of the digital image is recorded. The digital image preferably represents a scenario taking place in the real world at the moment the user decides on the selection and/or enters the user input. Instead of displaying the scenario using the recorded digital image itself, another two-dimensional display of the scenario can also be provided, in particular a perspective view calculated from different digital images representing the same scenario at essentially the same time, or supervision of the scenario. User input is enabled, for example, by designating a pixel of the digital image as a point in response to the user input, recognizing the pixel that a user selects by tapping the digital image on a touch-sensitive display while the digital image is displayed.

Das Fahrzeug 100 umfasst ein Steuergerät 104, eine Motorik 106, wenigstens eine Kamera 108, wenigstens einen Sensor 110, der ausgebildet ist eine Beschleunigung des Fahrzeugs 100 zu erfassen, wenigstens einen Sensor 112, der ausgebildet ist eine Geschwindigkeit des Fahrzeugs 100 zu erfassen, wenigstens einen Sensor 114, der ausgebildet ist eine Lage des Fahrzeugs 100 zu erfassen.Vehicle 100 includes a control unit 104, a motor system 106, at least one camera 108, at least one sensor 110 that is designed to detect an acceleration of vehicle 100, at least one sensor 112 that is designed to detect a speed of vehicle 100, at least a sensor 114 which is designed to detect a position of vehicle 100 .

Die Kamera 108 ist ausgebildet, ein digitales Bild der Umgebung des Fahrzeugs 100 zu erfassen. Das bedeutet, das Fahrzeug 100 umfasst wenigstens einen Sensor, der ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs 100 zu erfassen.Camera 108 is designed to capture a digital image of the surroundings of vehicle 100 . This means that vehicle 100 includes at least one sensor that is designed to capture a two-dimensional representation of an environment of vehicle 100 .

Das Steuergerät 104 ist ausgebildet, abhängig vom digitale Bild der Umgebung des Fahrzeugs eine Repräsentation einer Umgebung des Fahrzeugs zu bestimmen.Control unit 104 is designed to determine a representation of the surroundings of the vehicle as a function of the digital image of the surroundings of the vehicle.

Das Fahrzeug 100 umfasst ein Kommunikationsmodul 116, das ausgebildet ist, mit dem Steuerungsgerät 102 zu kommunizieren.Vehicle 100 includes a communication module 116 that is designed to communicate with control device 102 .

Das Steuergerät 104, das Kommunikationsmodul 116 und der wenigstens eine Sensor sind ausgebildet, Schritte in einem im folgenden beschriebenen Verfahren zum Bestimmen einer Trajektorie auszuführen, auf der sich das Fahrzeug 100 insbesondere autonom bewegen soll.Control unit 104, communication module 116 and the at least one sensor are designed to carry out steps in a method, described below, for determining a trajectory along which vehicle 100 is intended to move, in particular autonomously.

Das Steuergerät 104 ist ausgebildet, die Motorik 106 dazu anzusteuern, das Fahrzeug 100 insbesondere autonom entlang der Trajektorie zu bewegen.Control unit 104 is designed to actuate motor system 106 to move vehicle 100, in particular autonomously, along the trajectory.

Das Steuerungsgerät 102 zum Bedienen des autonomen Fahrzeugs 100 mit erweiterter Realität umfasst eine Anzeige 118, wenigstens eine Kamera 120, wenigstens einen Sensor 122 zum Erfassen einer Beschleunigung des Steuerungsgeräts 102, wenigstens einen Sensor 124 zum Erfassen einer Geschwindigkeit des Steuerungsgeräts 102 und wenigstens einen Sensor 126 zum Erfassen einer Lage des Steuerungsgeräts 102.Control device 102 for operating autonomous vehicle 100 with augmented reality includes a display 118, at least one camera 120, at least one sensor 122 for detecting an acceleration of control device 102, at least one sensor 124 for detecting a speed of control device 102, and at least one sensor 126 for detecting a position of the control device 102.

Die Kamera 120 ist ausgebildet, ein digitales Bild einer Umgebung des Steuerungsgeräts 102 zu erfassen. Das bedeutet, das Steuerungsgerät 102 umfasst wenigstens einen Sensor, der ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Steuerungsgeräts 102 zu erfassen.The camera 120 is designed to capture a digital image of an environment of the control device 102 . This means that control device 102 includes at least one sensor that is designed to capture a two-dimensional representation of an environment of control device 102 .

Das Steuerungsgerät 102 umfasst ein Kommunikationsmodul 128, das ausgebildet ist, mit dem Fahrzeug 100 zu kommunizieren.Control device 102 includes a communication module 128 that is designed to communicate with vehicle 100 .

Die Anzeige 118 ist ausgebildet, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs 100 anzuzeigen. Im Beispiel wird das Fahrzeug 100 selbst in der Anzeige 118 mit dargestellt. Es kann auch vorgesehen sein, dass eine Sicht aus dem Fahrzeug 100 auf seine Umgebung dargestellt wird.The display 118 is designed to display a two-dimensional representation of an environment of the vehicle 100 . In the example, vehicle 100 itself is shown in display 118 . Provision can also be made for a view from vehicle 100 of its surroundings to be displayed.

Das Steuergerät 104 ist ausgebildet, mit der Motorik 106 den Sensoren 108, 110, 112, 114 und dem Kommunikationsmodul 116 über eine Datenverbindung 134 zu kommunizieren.Control unit 104 is designed to communicate with motor system 106 , sensors 108 , 110 , 112 , 114 and communication module 116 via a data connection 134 .

Die Anzeige 118, der wenigstens eine Sensor und das Kommunikationsmodul 116 sind ausgebildet, Schritte in dem im Folgenden beschriebenen Verfahren auszuführen.The display 118, the at least one sensor and the communication module 116 are configured to carry out steps in the method described below.

Die Anzeige 118 ist in einem Beispiel ausgebildet, eine Nutzereingabe zu erkennen, die in der zweidimensionalen Darstellung einem Punkt 130 zugeordnet ist, der eine Zielposition für das autonome Fahrzeug 100 repräsentiert.In one example, the display 118 is configured to recognize a user input that is associated with a point 130 in the two-dimensional representation, which represents a target position for the autonomous vehicle 100 .

Die Anzeige 118 ist in einem Beispiel ausgebildet, eine Nutzereingabe zu erkennen, die in der zweidimensionalen Darstellung einer Menge von Punkten 132 zugeordnet ist, die eine Trajektorie repräsentieren, auf der sich das autonome Fahrzeug 100 bewegen soll.In one example, the display 118 is configured to recognize a user input that is associated in the two-dimensional representation with a set of points 132 that represent a trajectory on which the autonomous vehicle 100 is intended to move.

Das Steuerungsgerät 102 und das Fahrzeug 100 sind im Beispiel ausgebildet, dreidimensionale Koordinaten einer dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs 100 zu bestimmen.In the example, the control device 102 and the vehicle 100 are designed to determine three-dimensional coordinates of a three-dimensional map representation of the surroundings of the autonomous vehicle 100 .

Die dreidimensionale Kartenrepräsentation umfasst beispielsweise eine Punktewolke der dreidimensionalen Koordinaten oder ein Netz durch das diese einander zugeordnet sind.The three-dimensional map representation includes, for example, a point cloud of the three-dimensional coordinates or a network through which these are associated with one another.

Das Steuerungsgerät 102 und das Fahrzeug 100 sind im Beispiel ausgebildet, die dreidimensionalen Kartenrepräsentation abhängig von der Repräsentation der Umgebung des Steuerungsgeräts 102 und der Repräsentation der Umgebung des Fahrzeugs 100 mit einer kollaborativen, simultanen Positionsbestimmung und Kartierung zu bestimmen.In the example, the control device 102 and the vehicle 100 are designed to determine the three-dimensional map representation depending on the representation of the environment of the control device 102 and the representation of the environment of the vehicle 100 with a collaborative, simultaneous position determination and mapping.

Das Steuerungsgerät 102 umfasst wenigstens einen Prozessor 138.Control device 102 includes at least one processor 138.

Der Prozessor 138 ist beispielsweise ausgebildet, den Punkt 130 aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abzubilden. Das Kommunikationsmodul 128 ist zum Beispiel ausgebildet, die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs 100 an das Fahrzeug 100 zu senden.The processor 138 is designed, for example, to map the point 130 from the two-dimensional representation to one of the three-dimensional coordinates of the map representation. The communication module 128 is designed, for example, to send the three-dimensional coordinates to the vehicle 100 in order to control the vehicle 100 .

Der Prozessor 138 ist beispielsweise ausgebildet wenigstens einen Punkt aus der Menge 132 aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abzubilden.The processor 138 is designed, for example, to map at least one point from the set 132 from the two-dimensional representation onto one of the three-dimensional coordinates of the map representation.

Das Kommunikationsmodul 128 ist zum Beispiel ausgebildet, die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs 100 in an das Fahrzeug 100 zu senden.The communication module 128 is designed, for example, to send the three-dimensional coordinates to the vehicle 100 in order to control the vehicle 100 .

Das Kommunikationsmodul 128 ist im Beispiel ausgebildet, mit dem korrespondierenden Kommunikationsmodul 116 des Fahrzeugs 100 über eine Kommunikationsverbindung 136 zu kommunizieren. Prozessor 138 ist im Beispiel ausgebildet, mit den Sensoren 120, 122, 124, 126 und dem Kommunikationsmodul 128 über eine Datenverbindung 140 zu kommunizierenIn the example, the communication module 128 is designed to communicate with the corresponding communication module 116 of the vehicle 100 via a communication link 136 . In the example, processor 138 is designed to communicate with sensors 120 , 122 , 124 , 126 and communication module 128 via a data connection 140

2 stellt ein Sequenzdiagramm einer beispielhaften Ausführung des Verfahrens dar. 2 Figure 12 illustrates a sequence diagram of an example implementation of the method.

Das Verfahren zum Bedienen des autonomen Fahrzeugs 100 läuft im Beispiel teilweise im Steuerungsgerät 102 mit erweiterter Realität und teilweise im Fahrzeug 100 ab.In the example, the method for operating the autonomous vehicle 100 runs partly in the control device 102 with augmented reality and partly in the vehicle 100 .

In einem Schritt 200 wird eine Repräsentation einer Umgebung des Steuerungsgeräts 102 mit wenigstens einem Sensor 120, 122, 124, 126 des Steuerungsgeräts 102 erfasst.In a step 200, a representation of an environment of control device 102 with at least one sensor 120, 122, 124, 126 of control device 102 is recorded.

In einem Schritt 202 wird mit wenigstens einem Sensor 108, 110, 112, 114 des Fahrzeugs 100 eine Repräsentation einer Umgebung des Fahrzeugs 100 erfasst. Beispielsweise wird mit der Kamera 120 ein digitales Bild erfasst.In a step 202, at least one sensor 108, 110, 112, 114 of vehicle 100 is used to capture a representation of an environment of vehicle 100. For example, a digital image is captured with camera 120 .

Es kann vorgesehen sein, dass eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Steuerungsgeräts 102 erfasst wird.Provision can be made for an acceleration and/or a speed and/or a position of the control device 102 to be detected.

In einem Schritt 204 werden die Repräsentation der Umgebung des Fahrzeugs 100 dem Steuerungsgerät 102 und/oder die Repräsentation der Umgebung des Steuerungsgeräts 102 dem Fahrzeug 102 bereitgestellt.In a step 204 the representation of the environment of vehicle 100 is made available to control device 102 and/or the representation of the environment of control device 102 is made available to vehicle 102 .

Im Beispiel werden diese Schritte als Teile einer kollaborativen, simultanen Positionsbestimmung und Kartierung 206 durch das Steuerungsgerät 102 und das autonome Fahrzeug 100 wiederholt ausgeführt. Beispielsweise wird die Repräsentation der Umgebung des Steuerungsgeräts 102 abhängig von dem digitalen Bild bestimmt. Es kann vorgesehen sein, dass eine Position des Steuerungsgeräts 102 in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Steuerungsgeräts 102 bestimmt wird.In the example, these steps are repeatedly executed as parts of a collaborative, simultaneous position determination and mapping 206 by the control device 102 and the autonomous vehicle 100 . For example, the representation of the environment of the control device 102 is determined depending on the digital image. Provision can be made for a position of the control device 102 in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation to be determined as a function of the acceleration and/or the speed and/or the position of the control device 102 .

Es kann vorgesehen sein, dass eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Fahrzeugs 100 erfasst wird. Es kann vorgesehen sein, dass eine Position des Fahrzeugs 100 in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Fahrzeugs 100 bestimmt wird.Provision can be made for an acceleration and/or a speed and/or a position of the vehicle 100 to be detected. Provision can be made for a position of vehicle 100 in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation to be determined as a function of the acceleration and/or the speed and/or the position of vehicle 100 .

Im Verfahren werden die dreidimensionale Koordinaten der dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs 100 abhängig von der Repräsentation der Umgebung des Steuerungsgeräts 102 und der Repräsentation der Umgebung des Fahrzeugs 100 bestimmt. Es kann vorgesehen sein, dass die dreidimensionalen Koordinaten abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage und/oder der Position des Fahrzeugs 100 insbesondere zu einem Zeitpunkt zu dem vom wenigstens einen Sensor Daten erfasst wurden, die für die Bestimmung der Repräsentation der Umgebung des Steuerungsgeräts 102 verwendet werden, bestimmt wird. Es kann vorgesehen sein, dass die dreidimensionalen Koordinaten abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage und/oder der Position des Steuerungsgeräts 102 insbesondere zu einem Zeitpunkt zu dem vom wenigstens einen Sensor die Daten erfasst wurden, die für die Bestimmung der Repräsentation der Umgebung des Steuerungsgeräts 102 verwendet werden, bestimmt wird.In the method, the three-dimensional coordinates of the three-dimensional map representation of the area surrounding autonomous vehicle 100 are determined depending on the representation of the area surrounding control device 102 and the representation of the area surrounding vehicle 100 . It can be provided that the three-dimensional coordinates are dependent on the acceleration and/or the speed and/or the location and/or the position of the vehicle 100, in particular at a point in time at which the at least one sensor has recorded data that is necessary for determining the Representation of the environment of the control device 102 are used, is determined. It can be provided that the three-dimensional coordinates are dependent on the acceleration and/or the speed and/or the location and/or the position of the control device 102, in particular at a point in time at which the at least one sensor recorded the data required for the determination of the representation of the environment of the control device 102 is determined.

In einem Schritt 208 werden auf Basis der dreidimensionalen Koordinaten oder der dreidimensionalen Kartenrepräsentation mit einer semantischen Segmentierung der dreidimensionalen Koordinaten vom Fahrzeug 100 befahrbare Flächen bestimmt.In a step 208, on the basis of the three-dimensional coordinates or the three-dimensional map representation with a semantic segmentation of the three-dimensional coordinates, areas that can be driven on by the vehicle 100 are determined.

In einem Schritt 210 wird auf der Anzeige 118 des Steuerungsgeräts 102 eine zweidimensionale Darstellung einer Umgebung des autonomen Fahrzeugs 100 dargestellt. Das bedeutet, die zweidimensionale Darstellung wird auf der Anzeige 118 des Steuerungsgeräts 102 angezeigt.In a step 210, a two-dimensional representation of an environment of autonomous driving is displayed on the display 118 of the control device 102 100 shown. That means the two-dimensional representation is displayed on the display 118 of the control device 102 .

In einem Schritt 212 wird eine Nutzereingabe erkannt.In a step 212, user input is recognized.

In einem ersten Beispiel wird die Nutzereingabe erkannt, die in der zweidimensionalen Darstellung dem Punkt 130 zugeordnet ist, der die Zielposition für das autonome Fahrzeug 100 repräsentiert.In a first example, the user input associated with the point 130 in the two-dimensional representation, which represents the target position for the autonomous vehicle 100, is recognized.

In einem zweiten Beispiel wird die Nutzereingabe erkannt, die in der zweidimensionalen Darstellung einer Menge von Punkten 132 zugeordnet ist, die die Trajektorie repräsentieren, auf der sich das autonome Fahrzeug 100 bewegen soll.In a second example, the user input is recognized, which is associated in the two-dimensional representation with a set of points 132 that represent the trajectory on which the autonomous vehicle 100 is to move.

Anschließend wird ein Schritt 214 ausgeführt.A step 214 is then executed.

Im Schritt 214 wird im ersten Beispiel der Punkt 130 aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet. Dazu wird z.B. Raycasting eingesetzt.In step 214, in the first example, the point 130 from the two-dimensional representation is mapped to one of the three-dimensional coordinates of the map representation. Raycasting, for example, is used for this.

Im Schritt 214 wird im zweiten Beispiel wenigstens ein Punkt aus der Menge 132 aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet.In step 214, in the second example, at least one point from the set 132 from the two-dimensional representation is mapped to one of the three-dimensional coordinates of the map representation.

Anschließend wird ein Schritt 216 ausgeführt.A step 216 is then executed.

Im Schritt 216 wird wenigstens eine dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs 100 an das Fahrzeug 100 gesendet.In step 216 at least one three-dimensional coordinate for driving vehicle 100 is sent to vehicle 100 .

Im ersten Beispiel wird die dreidimensionale Koordinate gesendet, die dem Punkt 130 zugeordnet ist, der auf einer Anzeige des Steuerungsgeräts 102 in der zweidimensionalen Darstellung der Umgebung des autonomen Fahrzeugs 100 die Zielposition für das autonome Fahrzeug 100 repräsentiert.In the first example, the three-dimensional coordinate assigned to the point 130 that represents the target position for the autonomous vehicle 100 in the two-dimensional representation of the surroundings of the autonomous vehicle 100 on a display of the control device 102 is sent.

Im zweiten Beispiel wird zumindest eine der dreidimensionalen Koordinaten gesendet, die einem der Punkte aus der Menge von Punkten 132 zugeordnet ist. In the second example, at least one of the three-dimensional coordinates associated with one of the points from the set of points 132 is sent.

Im zweiten Beispiel kann vorgesehen sein, die dreidimensionalen Koordinaten mehrerer oder aller Punkte der Menge der Punkte 132 zu bestimmen und zur Ansteuerung des Fahrzeugs 100 an das Fahrzeug 100 zu senden. Das bedeutet, die vom Nutzer gewünschte Trajektorie wird teilweise oder ganz übertragen.In the second example, it can be provided that the three-dimensional coordinates of several or all points of the set of points 132 are determined and sent to vehicle 100 in order to control vehicle 100 . This means that the trajectory desired by the user is partially or completely transmitted.

Anschließend wird ein Schritt 218 ausgeführt.A step 218 is then executed.

Im Schritt 218 wird die Trajektorie zur Ansteuerung des Fahrzeugs 100 zum Erreichen der Zielposition abhängig von der dreidimensionalen Koordinate und den befahrbaren Flächen insbesondere im Steuergerät 104 des Fahrzeugs 100 bestimmt.In step 218 the trajectory for driving vehicle 100 to reach the target position is determined as a function of the three-dimensional coordinates and the trafficable areas, in particular in control unit 104 of vehicle 100 .

Im zweiten Beispiel kann vorgesehen sein, dass die Trajektorie abhängig von den übertragenen der dreidimensionalen Koordinaten der vom Nutzer gewünschte Trajektorie und den befahrbaren Flächen bestimmt wird.In the second example, it can be provided that the trajectory is determined as a function of the transmitted three-dimensional coordinates of the trajectory desired by the user and the surfaces that can be driven on.

In einem Schritt 220 werden dreidimensionale Koordinaten der vom Fahrzeug 100 geplanten Trajektorie zum Erreichen des Zielpunkts vom Fahrzeug 100 an das Steuerungsgerät 102 übertragen. Im Beispiel werden dreidimensionale Koordinaten der vom Fahrzeug 100 geplanten Trajektorie insbesondere mit dem Kommunikationsmodul 116 des Fahrzeugs 100 an das Steuerungsgerät 102 gesendet.In a step 220 , three-dimensional coordinates of the trajectory planned by vehicle 100 to reach the destination are transmitted from vehicle 100 to control device 102 . In the example, three-dimensional coordinates of the trajectory planned by vehicle 100 are sent to control device 102 in particular using communication module 116 of vehicle 100 .

In einem Schritt 222 werden die dreidimensionalen Koordinaten auf Punkte der zweidimensionalen Darstellung der Umgebung des Fahrzeugs 100 abgebildet, die die Trajektorie repräsentieren.In a step 222, the three-dimensional coordinates are mapped onto points of the two-dimensional representation of the surroundings of vehicle 100, which represent the trajectory.

In einem Schritt 224 wird die Trajektorie der zweidimensionalen Darstellung wird überlagert auf der Anzeige 118 des Steuerungsgeräts 102 angezeigt.In a step 224 the trajectory of the two-dimensional representation is superimposed on the display 118 of the control device 102 .

In einem Schritt 226 wird die Motorik 106 des Fahrzeugs 100 abhängig von der Trajektorie zum Bewegen des Fahrzeugs 100 auf der Trajektorie zum Erreichen der Zielposition angesteuert.In a step 226, the motor system 106 of the vehicle 100 is controlled depending on the trajectory for moving the vehicle 100 on the trajectory to reach the target position.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 20190220002 A1 [0002]US20190220002A1[0002]

Claims (12)

Verfahren zum Bedienen eines autonomen Fahrzeugs (100) in einem Steuerungsgerät (102) mit erweiterter Realität, dadurch gekennzeichnet, dass eine Repräsentation einer Umgebung des Steuerungsgeräts (102) mit wenigstens einem Sensor (120, 122, 124, 126) des Steuerungsgeräts (102) erfasst wird (200), eine, mit wenigstens einem Sensor (108, 110, 112, 114) des Fahrzeugs (100) erfasste (202) Repräsentation einer Umgebung des Fahrzeugs (100) bereitgestellt wird (204), dreidimensionale Koordinaten einer dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs (100), insbesondere eine Punktewolke oder ein Netz, abhängig von der Repräsentation der Umgebung des Steuerungsgeräts (102) und der Repräsentation der Umgebung des Fahrzeugs (100) insbesondere mit einer kollaborativen, simultanen Positionsbestimmung und Kartierung durch das Steuerungsgerät (102) und das autonome Fahrzeug (100) bestimmt wird (206), auf Basis derer mit einer semantischen Segmentierung der dreidimensionalen Koordinaten vom Fahrzeug (100) befahrbare Flächen erkennbar sind (208), auf einer Anzeige (118) des Steuerungsgeräts (102) eine zweidimensionale Darstellung einer Umgebung des autonomen Fahrzeugs (100) dargestellt wird (210), und entweder eine Nutzereingabe erkannt wird (212), die in der zweidimensionalen Darstellung einem Punkt (130) zugeordnet ist, der eine Zielposition für das autonome Fahrzeug (100) repräsentiert, wobei der Punkt (130) aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet wird (214), und wobei die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs (100) insbesondere mit einem Kommunikationsmodul (128) des Steuerungsgeräts (102) an das Fahrzeug (100) gesendet wird (216), oder eine Nutzereingabe erkannt wird (212), die in der zweidimensionalen Darstellung einer Menge von Punkten (132) zugeordnet ist, die eine Trajektorie repräsentieren, auf der sich das autonome Fahrzeug (100) bewegen soll, wobei wenigstens ein Punkt aus der Menge (132) aus der zweidimensionalen Darstellung auf eine der dreidimensionalen Koordinaten der Kartenrepräsentation abgebildet wird (214), und wobei die dreidimensionale Koordinate zur Ansteuerung des Fahrzeugs (100) insbesondere mit einem Kommunikationsmodul (128) des Steuerungsgeräts (102) an das Fahrzeug (100) gesendet wird (216).Method for operating an autonomous vehicle (100) in a control device (102) with augmented reality, characterized in that a representation of an environment of the control device (102) with at least one sensor (120, 122, 124, 126) of the control device (102) is recorded (200), a representation of an area surrounding the vehicle (100) recorded (202) with at least one sensor (108, 110, 112, 114) of the vehicle (100) is provided (204), three-dimensional coordinates of a three-dimensional map representation of the Environment of the autonomous vehicle (100), in particular a point cloud or a network, depending on the representation of the environment of the control device (102) and the representation of the environment of the vehicle (100), in particular with a collaborative, simultaneous position determination and mapping by the control device (102 ) and the autonomous vehicle (100) is determined (206), on the basis of which, with a semantic segmentation of the three-dimensional coordinates, areas that can be driven on by the vehicle (100) can be identified (208), on a display (118) of the control unit (102) a two-dimensional Representation of an environment of the autonomous vehicle (100) is shown (210), and either a user input is recognized (212), which is assigned to a point (130) in the two-dimensional representation, which represents a target position for the autonomous vehicle (100), wherein the point (130) from the two-dimensional representation is mapped onto one of the three-dimensional coordinates of the map representation (214), and wherein the three-dimensional coordinate for controlling the vehicle (100) is transmitted to the vehicle, in particular with a communication module (128) of the control device (102). (100) is sent (216), or a user input is recognized (212), which is assigned to a set of points (132) in the two-dimensional representation, which represent a trajectory on which the autonomous vehicle (100) is to move, wherein at least one point from the set (132) from the two-dimensional representation is mapped (214) to one of the three-dimensional coordinates of the map representation, and wherein the three-dimensional coordinate for controlling the vehicle (100) is used in particular with a communication module (128) of the control unit (102 ) is sent (216) to the vehicle (100). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dreidimensionale Koordinaten einer vom Fahrzeug (100) geplanten Trajektorie insbesondere vom Fahrzeug (100) empfangen werden (220), wobei die dreidimensionalen Koordinaten auf Punkte der zweidimensionalen Darstellung der Umgebung des Fahrzeugs (100) abgebildet werden (222), die die Trajektorie repräsentieren, wobei die zweidimensionale Darstellung auf der Anzeige (118) des Steuerungsgeräts (102) angezeigt wird (210), wobei die Trajektorie der zweidimensionalen Darstellung überlagert auf der Anzeige (118) des Steuerungsgeräts (102) angezeigt wird (224).procedure after claim 1 , characterized in that three-dimensional coordinates of a trajectory planned by the vehicle (100) are received (220), in particular by the vehicle (100), the three-dimensional coordinates being mapped (222) to points in the two-dimensional representation of the surroundings of the vehicle (100), the represent the trajectory, the two-dimensional representation being displayed (210) on the display (118) of the control device (102), the trajectory being superimposed on the two-dimensional representation on the display (118) of the control device (102) being displayed (224). Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der wenigstens eine Sensor eine Kamera (120) umfasst, wobei mit der Kamera (120) ein digitales Bild erfasst wird (200), und wobei die Repräsentation der Umgebung des Steuerungsgeräts (102) abhängig von dem digitalen Bild bestimmt wird (206).Procedure according to one of Claims 1 or 2 , characterized in that the at least one sensor comprises a camera (120), with the camera (120) capturing a digital image (200), and wherein the representation of the environment of the control device (102) is determined depending on the digital image (206). Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der wenigstens eine Sensor (122, 124, 126) des Steuerungsgeräts (102) ausgebildet ist, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Steuerungsgeräts (102) zu erfassen, wobei eine Position des Steuerungsgeräts (102) in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Steuerungsgeräts (102) bestimmt wird (206).Procedure according to one of Claims 1 until 3 , characterized in that the at least one sensor (122, 124, 126) of the control device (102) is designed to detect an acceleration and/or a speed and/or a position of the control device (102), a position of the control device ( 102) in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation are determined (206) as a function of the acceleration and/or the speed and/or the position of the control device (102). Verfahren zum Bedienen eines autonomen Fahrzeugs (100) im Fahrzeug (100), dadurch gekennzeichnet, dass eine, mit wenigstens einem Sensor (120, 122, 124, 126) eines Steuerungsgeräts (102) für das Fahrzeug (100) erfasste (200) Repräsentation einer Umgebung des Steuergeräts (104) bereitgestellt wird (204), eine Repräsentation einer Umgebung des Fahrzeugs (100) mit wenigstens einem Sensor (108, 110, 112, 114) des Fahrzeugs (100) erfasst wird (202), dreidimensionale Koordinaten einer dreidimensionalen Kartenrepräsentation der Umgebung des autonomen Fahrzeugs (100), insbesondere eine Punktewolke oder ein Netz, abhängig von der Repräsentation der Umgebung des Steuerungsgeräts (102) und der Repräsentation der Umgebung des Fahrzeugs (100) insbesondere mit einer kollaborativen, simultanen Positionsbestimmung und Kartierung durch das Steuerungsgerät (102) und das autonome Fahrzeug (100) bestimmt wird (206), mit einer semantischen Segmentierung der dreidimensionalen Koordinaten vom Fahrzeug (100) befahrbare Flächen erkannt werden (208), eine der dreidimensionalen Koordinaten insbesondere vom Steuerungsgerät (102) empfangen wird (216), die einem Punkt (130) zugeordnet ist, der auf einer Anzeige des Steuerungsgeräts (102) in einer zweidimensionalen Darstellung einer Umgebung des autonomen Fahrzeugs (100) eine Zielposition für das autonome Fahrzeug (100) repräsentiert, wobei abhängig von der dreidimensionalen Koordinate und den befahrbaren Flächen insbesondere in einem Steuergerät (104) des Fahrzeugs (100) eine Trajektorie zur Ansteuerung des Fahrzeugs (100) zum Erreichen der Zielposition bestimmt wird (218), und eine Motorik (106) des Fahrzeugs (100) abhängig von der Trajektorie zum Bewegen des Fahrzeugs (100) auf der Trajektorie zum Erreichen der Zielposition angesteuert wird (226), oder wenigstens eine der dreidimensionalen Koordinaten insbesondere vom Steuerungsgerät (102) empfangen wird (216), die einem Punkt einer Menge von Punkten (132) zugeordnet ist, die auf einer Anzeige des Steuerungsgeräts (102) in einer zweidimensionalen Darstellung einer Umgebung des autonomen Fahrzeugs (100) eine Trajektorie für das autonome Fahrzeug (100) repräsentieren, wobei abhängig von der dreidimensionalen Koordinate und den befahrbaren Flächen insbesondere in einem Steuergerät (104) des Fahrzeugs (100) eine Trajektorie zur Ansteuerung des Fahrzeugs (100) zum Erreichen der Zielposition bestimmt wird (218), und eine Motorik (106) des Fahrzeugs (100) abhängig von der Trajektorie zum Bewegen des Fahrzeugs (100) auf der Trajektorie zum Erreichen der Zielposition angesteuert wird (226).Method for operating an autonomous vehicle (100) in the vehicle (100), characterized in that a, with at least one sensor (120, 122, 124, 126) of a control device (102) for the vehicle (100) recorded (200) representation an environment of the control unit (104) is provided (204), a representation of an environment of the vehicle (100) with at least one sensor (108, 110, 112, 114) of the vehicle (100) is recorded (202), three-dimensional coordinates of a three-dimensional Map representation of the surroundings of the autonomous vehicle (100), in particular a point cloud or a network, depending on the representation of the surroundings of the control device (102) and the representation of the surroundings of the vehicle (100), in particular with a collaborative, simultaneous position determination and mapping by the control device (102) and the autonomous vehicle (100) is determined (206), with a semantic segmentation of the three-dimensional coordinates of the vehicle (100) drivable surfaces are recognized (208), one of the three-dimensional coordinates is received in particular by the control device (102) (216 ) which is assigned to a point (130) which represents a target position for the autonomous vehicle (100) on a display of the control device (102) in a two-dimensional representation of an environment of the autonomous vehicle (100), depending on the three-dimensional Coordinate and the trafficable areas, in particular in a control unit (104) of the vehicle (100), a trajectory for controlling the vehicle (100) to reach the target position is determined (218), and a motor system (106) of the vehicle (100) depending on the Trajectory for moving the vehicle (100) on the trajectory for reaching the target position is controlled (226), or at least one of the three-dimensional coordinates is received (216), in particular by the control device (102), which is assigned to a point of a set of points (132). which represent a trajectory for the autonomous vehicle (100) on a display of the control device (102) in a two-dimensional representation of an environment of the autonomous vehicle (100), depending on the three-dimensional coordinates and the drivable areas, in particular in a control device (104 ) of the vehicle (100), a trajectory for controlling the vehicle (100) to reach the target position is determined (218), and a motor system (106) of the vehicle (100) depending on the trajectory for moving the vehicle (100) on the trajectory is driven to reach the target position (226). Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass dreidimensionale Koordinaten der vom Fahrzeug (100) geplanten Trajektorie insbesondere mit einem Kommunikationsmodul (116) des Fahrzeugs (100) an das Steuerungsgerät (102) gesendet werden (220).procedure after claim 5 , characterized in that three-dimensional coordinates of the vehicle (100) planned trajectory in particular with a communication module (116) of the vehicle (100) to the control device (102) are sent (220). Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass der wenigstens eine Sensor eine Kamera (108) umfasst, wobei mit der Kamera (108) ein digitales Bild erfasst wird (202), und wobei die Repräsentation der Umgebung des Fahrzeugs (100) abhängig von dem digitalen Bild bestimmt wird (206).Procedure according to one of Claims 5 or 6 , characterized in that the at least one sensor comprises a camera (108), with the camera (108) capturing a digital image (202), and wherein the representation of the area surrounding the vehicle (100) is determined as a function of the digital image (206). Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass der wenigstens eine Sensor (110, 112, 114) des Fahrzeugs (100) ausgebildet ist, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Fahrzeugs (100) zu erfassen (202), wobei eine Position des Fahrzeugs (100) in der dreidimensionalen Kartenrepräsentation und/oder die dreidimensionalen Koordinaten der dreidimensionalen Kartenrepräsentation abhängig von der Beschleunigung und/oder der Geschwindigkeit und/oder der Lage des Fahrzeugs (100) bestimmt wird (206).Procedure according to one of Claims 5 until 7 , characterized in that the at least one sensor (110, 112, 114) of the vehicle (100) is designed to detect (202) an acceleration and/or a speed and/or a position of the vehicle (100), with a position of the vehicle (100) in the three-dimensional map representation and/or the three-dimensional coordinates of the three-dimensional map representation are determined (206) as a function of the acceleration and/or the speed and/or the position of the vehicle (100). Steuerungsgerät (102) zum Bedienen eines autonomen Fahrzeugs (100) mit erweiterter Realität, dadurch gekennzeichnet, dass das Steuerungsgerät (102) eine Anzeige (118), wenigstens einen Sensor (120, 122, 124, 126) und ein Kommunikationsmodul (128) umfasst, wobei die Anzeige ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs (100) anzuzeigen, wobei der wenigstens eine Sensor ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Steuerungsgeräts (102) zu erfassen, wobei das Kommunikationsmodul ausgebildet ist, mit einem korrespondierenden Kommunikationsmodul des Fahrzeugs (100) zu kommunizieren, wobei die Anzeige, der wenigstens eine Sensor und das Kommunikationsmodul ausgebildet sind, Schritte im Verfahren nach einem der Ansprüche 1 bis 4 auszuführen.Control device (102) for operating an autonomous vehicle (100) with augmented reality, characterized in that the control device (102) comprises a display (118), at least one sensor (120, 122, 124, 126) and a communication module (128). , wherein the display is designed to display a two-dimensional representation of surroundings of the vehicle (100), wherein the at least one sensor is designed to detect a two-dimensional representation of surroundings of the control device (102), wherein the communication module is designed with a corresponding communication module of the vehicle (100) to communicate, wherein the display, the at least one sensor and the communication module are formed steps in the method according to one of Claims 1 until 4 to execute. Steuerungsgerät (102) nach Anspruch 9, dadurch gekennzeichnet, dass der wenigstens eine Sensor eine Kamera (120) umfasst oder dass der wenigstens eine Sensor (122, 124, 126) des Steuerungsgeräts (102) ausgebildet ist, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Steuerungsgeräts (102) zu erfassen.Control device (102) according to claim 9 , characterized in that the at least one sensor comprises a camera (120) or that the at least one sensor (122, 124, 126) of the control device (102) is formed, an acceleration and / or a speed and / or a position of the control device (102) to capture. Fahrzeug (100), das durch ein Steuerungsgerät (102) mit erweiterter Realität ansteuerbar ist, dadurch gekennzeichnet, dass das Fahrzeug (100) ein Steuergerät (104), eine Motorik (106), wenigstens einen Sensor (108, 110, 112, 114) und ein Kommunikationsmodul (116) umfasst, wobei der wenigstens eine Sensor (108, 110, 112, 114) ausgebildet ist, eine zweidimensionale Darstellung einer Umgebung des Fahrzeugs (100) zu erfassen, wobei das Steuergerät (104), das Kommunikationsmodul (116), und der wenigstens eine Sensor (108, 110, 112, 114) ausgebildet sind, Schritte im Verfahren nach einem der Ansprüche 5 bis 8 zum Bestimmen einer Trajektorie auszuführen, wobei das Steuergerät (104) ausgebildet ist, die Motorik (106) dazu anzusteuern, das Fahrzeug (100) entlang der Trajektorie zu bewegen.Vehicle (100), which can be controlled by a control device (102) with augmented reality, characterized in that the vehicle (100) has a control unit (104), a motor system (106), at least one sensor (108, 110, 112, 114 ) and a communication module (116), wherein the at least one sensor (108, 110, 112, 114) is designed to capture a two-dimensional representation of an environment of the vehicle (100), wherein the control unit (104), the communication module (116 ), and the at least one sensor (108, 110, 112, 114) are formed, steps in the method according to one of Claims 5 until 8th to determine a trajectory, the control unit (104) being designed to control the motor system (106) to move the vehicle (100) along the trajectory. Fahrzeug (100) nach Anspruch 11, dadurch gekennzeichnet, dass der wenigstens eine Sensor eine Kamera (108) umfasst oder dass der wenigstens eine Sensor (110, 112, 114) des Fahrzeugs (100) ausgebildet ist, eine Beschleunigung und/oder eine Geschwindigkeit und/oder eine Lage des Fahrzeugs (100) zu erfassen.vehicle (100) after claim 11 , characterized in that the at least one sensor comprises a camera (108) or that the at least one sensor (110, 112, 114) of the vehicle (100) is formed, an acceleration and / or a speed and / or a position of the vehicle (100) to capture.
DE102022105155.2A 2022-03-04 2022-03-04 Vehicle and control device and procedures for operating the vehicle Pending DE102022105155A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022105155.2A DE102022105155A1 (en) 2022-03-04 2022-03-04 Vehicle and control device and procedures for operating the vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022105155.2A DE102022105155A1 (en) 2022-03-04 2022-03-04 Vehicle and control device and procedures for operating the vehicle

Publications (1)

Publication Number Publication Date
DE102022105155A1 true DE102022105155A1 (en) 2023-09-07

Family

ID=87572299

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022105155.2A Pending DE102022105155A1 (en) 2022-03-04 2022-03-04 Vehicle and control device and procedures for operating the vehicle

Country Status (1)

Country Link
DE (1) DE102022105155A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190220002A1 (en) 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190220002A1 (en) 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display

Similar Documents

Publication Publication Date Title
DE102018215826B4 (en) Robot system and workpiece gripping method
DE102016211182A1 (en) A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map
CN109358614A (en) Automatic Pilot method, system, device and readable storage medium storing program for executing
DE102019211681B4 (en) Method of a vehicle for automated parking
DE112008003424B4 (en) Navigation device using video images from a camera
DE102012219280A1 (en) Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
EP2922384B1 (en) Autonomous locomotion device
EP3380391A1 (en) System for parking a vehicle
DE102014008152A1 (en) Method and device for augmented presentation of at least one additional information in at least one image of an environment
DE102019208788A1 (en) Motor vehicle
DE102016201389A1 (en) Method for recognizing objects, in particular of three-dimensional objects
EP2813999A2 (en) Augmented reality system and method of generating and displaying augmented reality object representations for a vehicle
DE102022105155A1 (en) Vehicle and control device and procedures for operating the vehicle
DE102021203589A1 (en) Method and control device for recognizing a driving style
DE102021203588A1 (en) Method and controller for estimating a behavior of a system
DE102018006824A1 (en) Method for assisting a passenger and vehicle with a device for carrying out the method
DE102022001569A1 (en) Method for detecting and selecting a parking space
DE102021201774A1 (en) Augmented Reality Recognition for the Localization of Autonomous Vehicles
EP3596428B1 (en) Method and device for updating a digital map for vehicle navigation
CN109948656A (en) A kind of information processing method, device and storage medium
DE102019208712A1 (en) Method for displaying an identified vehicle in an environment and a mobile device for this purpose
DE102019104231B4 (en) METHOD AND DEVICE FOR IMPROVING VEHICLE BEHAVIOR
DE102022201799B3 (en) Method and control device for monitoring a working environment of a work machine and work machine
DE102019210758B4 (en) Provision and transmission of position data of the surroundings of a motor vehicle
DE102018008973B4 (en) Estimation device, driving assistance device, method and computer program product

Legal Events

Date Code Title Description
R012 Request for examination validly filed