DE102023004121A1 - Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug - Google Patents

Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug Download PDF

Info

Publication number
DE102023004121A1
DE102023004121A1 DE102023004121.1A DE102023004121A DE102023004121A1 DE 102023004121 A1 DE102023004121 A1 DE 102023004121A1 DE 102023004121 A DE102023004121 A DE 102023004121A DE 102023004121 A1 DE102023004121 A1 DE 102023004121A1
Authority
DE
Germany
Prior art keywords
motor vehicle
vehicle
unmanned aircraft
display device
surroundings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102023004121.1A
Other languages
English (en)
Inventor
Joerg Kneip
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102023004121.1A priority Critical patent/DE102023004121A1/de
Publication of DE102023004121A1 publication Critical patent/DE102023004121A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/017—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including arrangements for providing electric power to safety arrangements or their actuating means, e.g. to pyrotechnic fuses or electro-mechanic valves
    • B60R21/0173—Diagnostic or recording means therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein System (10) und ein Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug (12). In dem Verfahren wird mittels einer an einem beweglichen unbemannten Luftfahrzeug (14) angeordneten Sensoreinrichtung (16) eine Fahrzeugumgebung erfasst, wobei eine Flugbahn des unbemannten Luftfahrzeugs (16) relativ zum Kraftfahrzeug (12) und eine Ausrichtung (18) der Sensoreinrichtung (16) auf die Fahrzeugumgebung in Abhängigkeit von einem Betriebsmodus des Kraftfahrzeugs (12) vorgegeben wird, und wobei die erfasste Fahrzeugumgebung auf einer Anzeigeeinrichtung (22) dargestellt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug sowie ein System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug.
  • Bei Fahrten im Gelände kann man in sehr schwierigem Terrain oft das Umfeld direkt neben dem Fahrzeug nicht so überblicken, wie es für die Situation erforderlich wäre. Durch Kameras, die im Kraftfahrzeug installiert werden können, beispielsweise Parksystemkameras, kann man das Umfeld nicht ausreichend überblicken, da diese nur eine definierte Position haben. Daher steigt normalerweise ein Beifahrer aus und hilft e beim Rangieren. In herausfordernden Passagen benötigt man sogar vorne und hinten eine Person, die Anweisungen für Lenkeinschlag und Richtung geben.
  • Aus der DE 10 2011 106 170 A1 ist ein Verfahren zur Unterstützung eines Fahrers bei einer Steuerung eines Fahrzeugs bekannt, wobei mittels einer an einem unabhängig vom Fahrzeug beweglichen unbemannten Luftfahrzeug angeordneten ersten Bilderfassungseinheit eine Umgebung des Fahrzeugs erfasst wird. Zusätzlich wird die Umgebung des Fahrzeugs mittels einer am Fahrzeug angeordneten zweiten Bilderfassungseinheit erfasst und Bilddaten der ersten Bilderfassungseinheit und Bilddaten der zweiten Bilderfassungseinheit werden fusioniert und aus den fusionierten Bilddaten werden Umgebungseigenschaften, ein dreidimensionales Geländeprofil und/oder mögliche Fahrspuren in dem dreidimensionalen Geländeprofil ermittelt, wobei in Abhängigkeit der Umgebungseigenschaften, des dreidimensionalen Geländeprofils und/oder der Fahrspuren als Unterstützungsfunktion Fahrhinweise ausgegeben werden und/oder ein Antriebsstrang und/oder eine Bremse und/oder ein Fahrwerk des Fahrzeugs gesteuert werden.
  • Die Aufgabe der Erfindung ist es, eine Umfeldsicht für ein Kraftfahrzeug zu verbessern.
  • Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug, wobei mittels einer an einem beweglichen unbemannten Luftfahrzeug angeordneten Sensoreinrichtung eine Fahrzeugumgebung erfasst wird, wobei eine Flugbahn des unbemannten Luftfahrzeugs relativ zum Kraftfahrzeug und eine Ausrichtung der Sensoreinrichtung auf die Fahrzeugumgebung in Abhängigkeit von einem Betriebsmodus des Kraftfahrzeugs vorgegeben wird, und wobei die erfasste Fahrzeugumgebung auf einer Anzeigeeinrichtung des Kraftfahrzeugs dargestellt wird.
  • Mit anderen Worten können ein Kraftfahrzeug und ein unbemanntes Luftfahrzeug vorgesehen sein, wobei das unbemannte Luftfahrzeug eine Umfeldsicht für einen Fahrer des Kraftfahrzeugs verbessert, indem die Umgebung durch eine Sensoreinrichtung des unbemannten Luftfahrzeugs erfasst und auf einer Anzeigeeinrichtung des Kraftfahrzeugs dargestellt wird. Das Kraftfahrzeug kann beispielsweise ein Geländewagen sein, der sich im Gelände abseits von öffentlichen Straßen befinden kann und zur Unterstützung eine Datenverbindung zu dem unbemannten Luftfahrzeug aufbauen kann. Das unbemannte Luftfahrzeug, das auch als Drohne bezeichnet werden kann, kann vorzugsweise an vorgegebenen Positionen relativ zum Kraftfahrzeug schweben und/oder eine vorgegebene Flugbahn fliegen. Außerdem kann das unbemannte Luftfahrzeug einen Aufbewahrungsplatz am Kraftfahrzeug aufweisen, an dem es starten und landen kann, beispielsweise an einem Dach des Kraftfahrzeugs. Hierbei kann ein Starten und Landen des unbemannten Luftfahrzeugs beispielsweise mittels eines Steuerbefehls, insbesondere per Knopfdruck, aktiviert werden, um den Fahrer zu unterstützen.
  • Die Sensoreinrichtung des unbemannten Luftfahrzeugs kann vorzugsweise eine Kamera und/oder einen Lidar umfassen, mit denen Aufnahmen der Fahrzeugumgebung erstellt werden können. Eine Flugbahn des unbemannten Luftfahrzeugs und eine Ausrichtung der Sensoreinrichtung auf die Fahrzeugumgebung können anhand eines Betriebsmodus, in dem sich das Kraftfahrzeug befindet, vorgegeben sein. Das bedeutet, dass das unbemannte Luftfahrzeug automatisch eine Flugbahn und/oder Positionen anfliegt, die dem gegenwärtigen Betriebsmodus entsprechen, um eine direkte Unterstützung bereitzustellen, ohne das Luftfahrzeug manuell gesteuert werden muss. Beispielsweise kann als Betriebsmodus des Kraftfahrzeugs ein Fahrbetrieb oder ein Stillstand des Kraftfahrzeugs erkannt werden, wobei sich das Luftfahrzeug bei einem Fahrbetrieb vorzugsweise derart in Fahrtrichtung positioniert, dass die Fahrzeugumgebung in Fahrtrichtung erfasst werden kann und bei einem Stillstand des Kraftfahrzeugs kann das unbemannte Luftfahrzeug das Kraftfahrzeug vorzugsweise umkreisen und die Fahrzeugumgebung um das Kraftfahrzeug herum aufnehmen. Des Weiteren ist es jedoch auch möglich, die Flugbahn und/oder Positionen des unbemannten Luftfahrzeugs manuell anzupassen.
  • Während der Aufnahme der Fahrzeugumgebung ist die Sensoreinrichtung vorzugsweise auf das Kraftfahrzeug gerichtet, sodass als Fahrzeugumgebung ein Übergang vom Kraftfahrzeug zur Umgebung bereitgestellt wird. Besonders bevorzugt kann auch eine Objekterkennung vorgesehen sein, durch die aus den Sensordaten der Sensoreinrichtung Objekte erkannt werden können, insbesondere das Kraftfahrzeug, um damit eine Flugbahn und/oder Position relativ zum Kraftfahrzeug festzulegen. Die in Abhängigkeit von der Flugbahn und dem Betriebsmodus erfasste Fahrzeugumgebung kann schließlich auf einer Anzeigeeinrichtung des Kraftfahrzeugs dargestellt werden. Insbesondere kann das Kraftfahrzeug die Anzeigeeinrichtung aufweisen, die beispielsweise als Bildschirm eines Infotainmentsystems ausgebildet ist. Alternativ oder zusätzlich kann die Anzeigeeinrichtung auch zu einem mobilen Endgerät gehören, auf der die erfasste Fahrzeugumgebung angezeigt wird.
  • Durch die Erfindung ergibt sich der Vorteil, dass in schwierigen Situationen eine Flugbahn des unbemannten Luftfahrzeugs automatisch anhand des Betriebsmodus des Kraftfahrzeugs vorgegeben werden kann, um den Fahrer des Kraftfahrzeugs durch Bereitstellung einer von dem unbemannten Luftfahrzeug erfassten Fahrzeugumgebung zu unterstützen.
  • Vorzugsweise ist vorgesehen, dass das unbemannte Luftfahrzeug das Kraftfahrzeug umkreist und durch die Sensoreinrichtung ein 360°-Panoramabild der Fahrzeugumgebung erfasst wird, falls als Betriebsmodus ein Stillstand des Kraftfahrzeugs festgestellt wird. Insbesondere können Einzelaufnahmen der Fahrzeugumgebung erfasst werden, die durch eine Recheneinrichtung zu dem 360°-Panoramabild fusioniert werden.
  • In einer weiteren Ausgestaltung ist vorgesehen, dass das unbemannte Luftfahrzeug an eine Position vor dem Kraftfahrzeug zum Erfassen der Fahrzeugumgebung fliegt, falls als Betriebsmodus eine Fahrt in Vorwärtsrichtung festgestellt wird, und das unbemannte Luftfahrzeug an eine Position hinter dem Kraftfahrzeug zum Erfassen der Fahrzeugumgebung fliegt, falls als Betriebsmodus eine Fahrt in Rückwärtsrichtung festgestellt wird. Die Fahrtrichtung kann hierbei beispielsweise anhand eines eingelegten Gangs erkannt werden. Vorzugsweise ist vorgesehen, dass das unbemannte Luftfahrzeug während einer Fahrt des Kraftfahrzeugs eine Position in Abhängigkeit von einer Lenkrichtung anpasst. Das bedeutet, dass beispielsweise während einer Fahrt in Vorwärtsrichtung eine Lenkung, beispielsweise nach rechts, durchgeführt werden kann, und das unbemannte Luftfahrzeug eine entsprechende Position zu der Lenkrichtung einnimmt, um die Fahrzeugumgebung in diesem Bereich zu erfassen.
  • In einer weiteren Ausgestaltung ist vorgesehen, dass die Flugbahn des unbemannten Luftfahrzeugs relativ zu dem Kraftfahrzeug anhand vorgegebener Fahrzeugabmessungen festgelegt wird. Insbesondere kann ein digitales Fahrzeugmodell bereitgestellt sein, welches als Referenz für eine Positionsbestimmung des unbemannten Luftfahrzeugs in Relation zum Kraftfahrzeug dient. Die Fahrzeugabmessungen dienen beispielsweise dafür, eine Flugbahn des unbemannten Luftfahrzeugs um das Kraftfahrzeug festzulegen.
  • Vorzugsweise ist vorgesehen, dass die Anzeigeeinrichtung berührungsempfindlich ausgebildet ist und zusätzlich ein digitales Fahrzeugmodell auf der Anzeigeeinrichtung angezeigt wird, wobei eine Position des unbemannten Luftfahrzeugs durch Verschieben und/oder Drehen des digitalen Fahrzeugmodells auf der Anzeigeeinrichtung angepasst wird. Alternativ kann das unbemannte Luftfahrzeug durch direktes Anwählen der Position auf der Anzeigeeinrichtung gesteuert werden. Das heißt, dass neben einer automatisch festgelegten Flugbahn, die das unbemannte Luftfahrzeug zunächst ausführen kann, weitere Positionen und/oder Flugbahnen eingestellt werden können, indem durch Berührungseingabe auf der berührungsempfindlichen Anzeigeeinrichtung das digitale Fahrzeugmodell gedreht werden kann, wobei das unbemannte Luftfahrzeug dann eine Aufnahme aus der Richtung aufnehmen kann, die das digitale Fahrzeugmodell auf der Anzeigeeinrichtung aufweist. Besonders bevorzugt kann auch ein Fokus der Sensoreinrichtung durch eine Berührungshandlung auf der berührungsempfindlichen Anzeigeeinrichtung angepasst werden. Insbesondere kann ein Fokus beziehungsweise ein Zoom anhand eines Schiebereglers oder eines Herein- oder Herausziehens des digitalen Fahrzeugmodells, beispielsweise durch Spreizen von zwei Fingern auf der Anzeigeeinrichtung, durchgeführt werden.
  • Ein weiterer Aspekt der Erfindung betrifft ein System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug, wobei das unbemannte Luftfahrzeug eine Sensoreinrichtung zum Erfassen einer Fahrzeugumgebung aufweist, wobei das Kraftfahrzeug eine Recheneinrichtung umfasst, durch die ein Betriebsmodus des Kraftfahrzeugs feststellbar ist, wobei eine Flugbahn des unbemannten Luftfahrzeugs und eine Ausrichtung der Sensoreinrichtung auf die Fahrzeugumgebung in Abhängigkeit von dem festgestellten Betriebsmodus vorgegeben ist, und wobei das Kraftfahrzeug ferner eine Anzeigeeinrichtung zum Darstellen der erfassten Fahrzeugumgebung aufweist.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung(en). Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Dabei zeigen:
    • 1 ein System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug;
    • 2 eine Anzeigeeinrichtung und eine Recheneinrichtung zum Steuern des unbemannten Luftfahrzeugs.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • In 1 ist ein System 10 mit einem Kraftfahrzeug 12 und einem beweglichen unbemannten Luftfahrzeug 14 dargestellt. Das Kraftfahrzeug 12 kann beispielsweise als Geländewagen ausgebildet sein und das unbemannte Luftfahrzeug 14 kann eine Drohne sein, die eine Sensoreinrichtung 16 aufweist. Die Sensoreinrichtung 16 kann beispielsweise eine Kamera und/oder ein Lidar umfassen, wobei ein Erfassungsbereich 18 beziehungsweise Aufnahmebereich vorzugsweise auf eine Fahrzeugumgebung gerichtet ist, die einen Übergang des Kraftfahrzeugs 12 zur Umwelt umfasst.
  • Nach einem Start des unbemannten Luftfahrzeugs 14 kann eine voreingestellte Flugbahn durch die Drohne geflogen werden, die abhängig ist von einem Betriebsmodus des Kraftfahrzeugs. Beispielsweise kann in einem Stillstand des Kraftfahrzeugs 12 das unbemannte Luftfahrzeug 14 das Kraftfahrzeug 12 umkreisen und ein 360°-Panoramabild der Fahrzeugumgebung erfassen. Hierbei können insbesondere mehrere Einzelaufnahmen bei dem Flug um das Kraftfahrzeug 12 aufgenommen werden, die durch eine Recheneinrichtung 20 zu dem 360°-Panoramabild fusioniert werden können. Befindet sich das Kraftfahrzeug 12 jedoch in einem Fahrbetrieb, kann das unbemannte Luftfahrzeug 14 bei einer Fahrt in Vorwärtsrichtung eine Position P1 vor dem Kraftfahrzeug 12 ansteuern, um mittels der Sensoreinrichtung 16 die Fahrzeugumgebung zu erfassen. Bei einer Rückwärtsfahrt kann durch das unbemannte Luftfahrzeug 14 eine Position P2 hinter dem Kraftfahrzeug 12 angesteuert werden, um die Fahrzeugumgebung in Rückwärtsrichtung zu erfassen.
  • Besonders bevorzugt können Fahrzeugabmessungen des Kraftfahrzeugs 12 vorgegeben sein, um eine entsprechende Kreis- beziehungsweise Ellipsenbahn um das Kraftfahrzeug 12 festzulegen und/oder um die Positionen P1 und P2 in einem Fahrbetrieb des Kraftfahrzeugs 12 anzusteuern. Des Weiteren kann vorgesehen sein, dass eine Position des unbemannten Luftfahrzeugs 14 in Abhängigkeit von einer Lenkrichtung angepasst wird. Beispielsweise kann während einer Fahrt in Vorwärtsrichtung die Position P1 durch das unbemannte Luftfahrzeug 14 eingenommen werden. Findet eine Lenkbewegung statt, kann sich die Position des unbemannten Luftfahrzeugs 14 entsprechend der Lenkbewegung von der Position P1 in Lenkrichtung bewegen, um die Fahrzeugumgebung in der neuen Fahrtrichtung zu erfassen.
  • Die durch das unbemannte Luftfahrzeug 14 erfasste Fahrzeugumgebung kann dann einem Fahrer des Kraftfahrzeugs 12 auf einer Anzeigeeinrichtung 22 bereitgestellt werden, durch die auch eine manuelle Anpassung einer Flugbahn des unbemannten Luftfahrzeugs 14 möglich ist.
  • In 2 ist eine solche Anzeigeeinrichtung 22 zusammen mit einer Recheneinrichtung 20 und dem unbemannten Luftfahrzeug 14 schematisch dargestellt. Die Anzeigeeinrichtung 22 kann beispielsweise eine Anzeigeeinrichtung des Kraftfahrzeugs 12 oder von einem mobilen Endgerät (nicht gezeigt) sein. Die Anzeigeeinrichtung 22 kann mit der Recheneinrichtung 20, die beispielsweise zum Kraftfahrzeug 12 gehören kann, verbunden sein. Die Recheneinrichtung 20 kann dazu ausgebildet sein, drahtlos, insbesondere über WiFi, mit dem unbemannten Luftfahrzeug 14 zu kommunizieren. Beispielsweise können Sensordaten der Sensoreinrichtung 16 drahtlos an die Recheneinrichtung 20 übermittelt werden, sodass die Recheneinrichtung 20 die Sensordaten aufbereiten kann, um diese auf der Anzeigeeinrichtung 22 anzuzeigen. Insbesondere kann die Recheneinrichtung 20 die Sensordaten, beispielsweise Bilddaten, fusionieren, um das 360°-Panoramabild bereitzustellen.
  • Des Weiteren kann die Recheneinrichtung dazu ausgebildet sein, Steuerbefehle zum Steuern des unbemannten Luftfahrzeugs 14 drahtlos zu übermitteln. Dazu können mittels der Anzeigeeinrichtung 22, die vorzugsweise als berührungsempfindlicher Bildschirm ausgebildet ist, Eingaben zur Anpassung einer Flugbahn und/oder von Positionen des unbemannten Luftfahrzeugs 14 durchgeführt werden. Hierbei kann vorgesehen sein, dass ein digitales Fahrzeugmodell 24 auf der Anzeigeeinrichtung angezeigt wird, das durch Berührungshandlungen verschoben und/oder gedreht werden kann.
  • Durch Drehung des digitalen Fahrzeugmodells 24 kann beispielsweise ein Steuerbefehl an das unbemannte Luftfahrzeug 14 übermittelt werden, sodass die Sensoreinrichtung 16 das Kraftfahrzeug 12 aus der gleichen Richtung aufnimmt, in die das digitale Fahrzeugmodell 24 gedreht wurde. Schwenkt man beispielsweise das digitale Fahrzeugmodell 24 derart, dass man die Heckseite sieht, dann kann ein Punkt auf der Flugbahn, insbesondere der elliptischen Flugbahn, festgelegt werden, den das unbemannte Luftfahrzeug 14 anfliegt. Des Weiteren kann ein Fokus beziehungsweise eine Zoom-Funktion bereitgestellt werden, sodass das unbemannte Luftfahrzeug 14 näher an das Kraftfahrzeug 12 heranfliegt und/oder ein Fokus der Sensoreinrichtung 16 verstellt wird, um einen Bereich zu vergrößern oder zu verkleinern.
  • Durch die hinterlegten Fahrzeugabmessungen beziehungsweise die hinterlegte Kontur des Kraftfahrzeugs 12, die in einem Drohnensteuermodell hinterlegt sein können, kann das unbemannte Luftfahrzeug 14 nach einem erstmaligen Aufsteigen das Kraftfahrzeug 12 erfassen, insbesondere mittels Objekterkennung, und die entsprechenden Positionen beziehungsweise Sichtpunkte anfliegen. Zur Vereinfachung einer Steuerung kann die Drohne beispielsweise nur entlang einer Achse einer Kreisbahn koordiniert werden. Auch kann vorgesehen sein, dass das unbemannte Luftfahrzeug 14 nicht beliebige Punkte auf der Flugbahn ansteuert, sondern zwischen festgelegten Punkten wechselt.
  • Befindet sich das Kraftfahrzeug 12 in Bewegung, kann das unbemannte Luftfahrzeug 14 ein Live-Bild von der Fahrzeugumgebung liefern, die sich vor beziehungsweise hinter dem Kraftfahrzeug 12 befindet. Während des Live-Bilds kann ein Benutzer vorzugsweise auch ein Herein- oder Herauszoomen, zum Beispiel durch Spreizen von Fingern auf der berührungsempfindlichen Anzeigeeinrichtung 22 oder einem Touchpad (nicht gezeigt) und/oder einem Schieberegler, durchführen. Auch kann eine Position des unbemannten Luftfahrzeugs 14 durch Verschieben des digitalen Fahrzeugmodells 24 zu einer Wunschposition verändert werden. Zum Beispiel kann bei dem Verschieben das digitale Fahrzeugmodell 24 angezeigt werden, welches wieder durch das Live-Bild ersetzt wird, sobald das unbemannte Luftfahrzeug 14 die gewünschte Position erreicht hat. Das unbemannte Luftfahrzeug 14 kann dann in dieser Position verbleiben. Auch können beispielsweise mehrere vorgegebene Positionen angewählt werden, die durch das unbemannte Luftfahrzeug 14 angeflogen werden sollen.
  • Bei einem Stillstand des Kraftfahrzeugs 12 kann das Kraftfahrzeug 12 oder das digitale Fahrzeugmodell 24 mit seiner Umgebung aus der Perspektive des unbemannten Luftfahrzeugs 14 auf der Anzeigeeinrichtung 22 dargestellt werden. Solange sich das Kraftfahrzeug 12 nicht bewegt, kann das Bild frei geschwenkt werden und man erhält das gespeicherte Bild in der gewünschten Perspektive auf der Anzeigeeinrichtung 22. Hierbei kann das unbemannte Luftfahrzeug 14 in der bisherigen Position verbleiben, da keine neuen Bilddaten ermittelt werden müssen. Vorzugsweise können jedoch nach einer vorgegebenen Zeit die gespeicherten Bilddaten aktualisiert werden, indem das unbemannte Luftfahrzeug 14 das Kraftfahrzeug 12 erneut umkreist und ein 360°-Panoramabild erstellt. Auch kann, falls eine Position genauer betrachtet werden möchte, durch eine Berührungshandlung auf der berührungsempfindlichen Anzeigeeinrichtung 22 ein Zoom verändert werden, zum Beispiel durch Spreizen von Fingern auf der berührungsempfindlichen Anzeigeeinrichtung 22. Alternativ oder zusätzlich kann ein Live-Bild angefordert werden, wobei das unbemannte Luftfahrzeug 14 in die entsprechende Position bewegt wird, aus der das Live-Bild erfasst wird. Vorzugsweise kann diese Position auch eingefroren werden, falls sie auch während einer Weiterfahrt erhalten bleiben soll.
  • Da man im Gelände normalerweise nicht alleine fährt, sondern in einem Konvoi, kann auch vorgesehen sein, dass das unbemannte Luftfahrzeug 14 gemeinsam zwischen allen Kraftfahrzeugen des Konvois verwendet werden kann. Hierbei kann das unbemannte Luftfahrzeug 14 zur allgemeinen Nutzung freigeschaltet werden. Vorzugsweise können dem unbemannten Luftfahrzeug 14 die Fahrzeugabmessungen aller Fahrzeugmodelle vorliegen, um eine Flugbahn anzupassen, oder die Fahrzeugabmessungen können durch das unbemannte Luftfahrzeug 14, zum Beispiel durch eine künstliche Intelligenz, selbst angelernt werden. Hierfür kann das entsprechende Fahrzeug umflogen werden und ein Modell des Fahrzeugs kann an eine Benutzerschnittstelle, zum Beispiel ein Mobiltelefon, mit entsprechender Applikation, zum Anlernen gesendet werden. Das Fahrzeugmodell kann dann beispielsweise als Referenz in der Recheneinrichtung 20 des Kraftfahrzeugs 12 hinterlegt werden und/oder in einer Software des unbemannten Luftfahrzeugs 14.
  • Neben der berührungsempfindlichen Anzeigeeinrichtung 22 können auch weitere Bildschirme, die für eine Bildübertragung und/oder Benutzereingabe ausgebildet sind, verwendet werden, zum Beispiel von Drittgeräten, insbesondere von Smartphones, Tablets oder Laptops. Aufnahmen, die von dem unbemannten Luftfahrzeug 14 während des Flugs erzeugt wurden, können vorzugsweise abgespeichert und weiterverwendet werden.
  • Die Flugbahnen um das Kraftfahrzeug 12 können sich neben den vorgegebenen Fahrzeugabmessungen auch nach weiteren Eingaben richten, beispielsweise können Achsen der Flugbahn, insbesondere der elliptischen Flugbahn, waagerecht liegen, anstatt sich mit dem Kraftfahrzeug bei einer entsprechenden aktuellen Steigung und Neigung auszurichten. Auch kann ein Sichtfeld 18 der Sensoreinrichtung editierbar sein. Vorzugsweise kann auch vorgesehen sein, dass mittels der Sensoreinrichtung 16 eine Objekterkennung durchgeführt werden kann, sodass beispielsweise Objekte in der Nähe zum Fahrzeug erkannt werden können.
  • Insgesamt zeigen die Beispiele, wie durch die Erfindung eine erweiterte Umfeldsicht durch eine Drohne bereitgestellt werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102011106170 A1 [0003]

Claims (9)

  1. Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug (12), wobei mittels einer an einem beweglichen unbemannten Luftfahrzeug (14) angeordneten Sensoreinrichtung (16) eine Fahrzeugumgebung erfasst wird, wobei eine Flugbahn des unbemannten Luftfahrzeugs (16) relativ zum Kraftfahrzeug (12) und eine Ausrichtung (18) der Sensoreinrichtung (16) auf die Fahrzeugumgebung in Abhängigkeit von einem Betriebsmodus des Kraftfahrzeugs (12) vorgegeben wird, und wobei die erfasste Fahrzeugumgebung auf einer Anzeigeeinrichtung (22) dargestellt wird.
  2. Verfahren nach Anspruch 1, wobei das unbemannte Luftfahrzeug (14) das Kraftfahrzeug (12) umkreist und durch die Sensoreinrichtung (16) ein 360°-Panoramabild der Fahrzeugumgebung erfasst wird, falls als Betriebsmodus ein Stillstand des Kraftfahrzeugs (12) festgestellt wird.
  3. Verfahren nach Anspruch 2, wobei Einzelaufnahmen der Fahrzeugumgebung erfasst werden, die durch eine Recheneinrichtung (20) zu dem 360°-Panoramabild fusioniert werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das unbemannte Luftfahrzeug (14) an eine Position (P1) vor das Kraftfahrzeug (12) zum Erfassen der Fahrzeugumgebung fliegt, falls als Betriebsmodus eine Fahrt in Vorwärtsrichtung festgestellt wird, und das unbemannte Luftfahrzeug (14) an eine Position (P2) hinter das Kraftfahrzeug (12) zum Erfassen der Fahrzeugumgebung fliegt, falls als Betriebsmodus eine Fahrt in Rückwärtsrichtung festgestellt wird.
  5. Verfahren nach Anspruch 4, wobei das unbemannte Luftfahrzeug (14) während einer Fahrt des Kraftfahrzeugs (12) eine Position in Abhängigkeit von einer Lenkrichtung anpasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Flugbahn des unbemannten Luftfahrzeugs (14) relativ zum Kraftfahrzeug (12) anhand vorgegebener Fahrzeugabmessungen festgelegt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzeigeeinrichtung (22) berührungsempfindlich ausgebildet ist und zusätzlich ein digitales Fahrzeugmodell (24) auf der Anzeigeeinrichtung (22) angezeigt wird, wobei eine Position des unbemannten Luftfahrzeugs (14) durch verschieben und/oder drehen des digitalen Fahrzeugmodells (24) auf der Anzeigeeinrichtung (22) angepasst wird.
  8. Verfahren nach Anspruch 7, wobei ein Fokus der Sensoreinrichtung (16) durch eine Berührungshandlung auf der berührungsempfindlichen Anzeigeeinrichtung (22) angepasst wird.
  9. System (10) mit einem Kraftfahrzeug (12) und einem beweglichen unbemannten Luftfahrzeug (14), wobei das unbemannte Luftfahrzeug (14) eine Sensoreinrichtung (16) zum Erfassen einer Fahrzeugumgebung aufweist, wobei das Kraftfahrzeug (12) eine Recheneinrichtung (20) umfasst, durch die ein Betriebsmodus des Kraftfahrzeugs (12) feststellbar ist, wobei eine Flugbahn des unbemannten Luftfahrzeugs (14) und eine Ausrichtung (18) der Sensoreinrichtung (16) auf die Fahrzeugumgebung in Abhängigkeit von dem festgestellten Betriebsmodus vorgegeben ist, und wobei das Kraftfahrzeug (12) ferner eine Anzeigeeinrichtung (22) zum Darstellen der erfassten Fahrzeugumgebung aufweist.
DE102023004121.1A 2023-10-12 2023-10-12 Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug Granted DE102023004121A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023004121.1A DE102023004121A1 (de) 2023-10-12 2023-10-12 Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023004121.1A DE102023004121A1 (de) 2023-10-12 2023-10-12 Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug

Publications (1)

Publication Number Publication Date
DE102023004121A1 true DE102023004121A1 (de) 2023-12-21

Family

ID=88975039

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023004121.1A Granted DE102023004121A1 (de) 2023-10-12 2023-10-12 Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug

Country Status (1)

Country Link
DE (1) DE102023004121A1 (de)

Similar Documents

Publication Publication Date Title
EP3024700B1 (de) Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE60124345T2 (de) Bildzusammensetzungssystem und -verfahren
DE102010034139A1 (de) Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102008028303A1 (de) Anzeigesystem und Programm
DE112016002268T5 (de) Bildverarbeitungsvorrichtung, elektronisches spiegelsystem und bildverarbeitungsverfahren
DE102011087901A1 (de) Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
EP3891038A1 (de) Verfahren zum unterstützen eines benutzers beim fernsteuern eines kraftfahrzeugs, computerprogrammprodukt, fernsteuereinrichtung und fahrerassistenzsystem für ein kraftfahrzeug
EP3844946A1 (de) Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung
DE102015007491A1 (de) Verfahren zum Betrieb eines Fahrerinformationssystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102015217489B4 (de) Eingabeverfahren und Vorrichtung in einem Kraftfahrzeug zum Auswählen eines Zieles einer automatisierten Fahrt
DE102021103021A1 (de) Verfahren und vorrichtung für ein automatisches anhängerrückwärtsfahrsystem in einem kraftfahrzeug
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102023004121A1 (de) Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug
EP1936583B1 (de) Flughafenverkehrsinformations-Anzeigesystem
DE102022130104A1 (de) Fahrzeugkameradynamik
DE102019131390B3 (de) Verfahren zum Betreiben einer Kameraeinrichtung
DE102020134814A1 (de) Vorrichtung zum Überwachen von Umgebungen eines Fahrzeugs
DE102020130406A1 (de) Verfahren und steuervorrichtung zum steuern eines autonomen fahrzeugs
DE102018127634A1 (de) Verfahren zum Bereitstellen eines Panoramabilds mit mehreren Kameras eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
DE102015216907A1 (de) Digitaler Rückspiegel
DE102014206928A1 (de) Beobachtung einer Umgebung eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R016 Response to examination communication
R018 Grant decision by examination section/examining division