DE102019101511A1 - Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen - Google Patents

Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen Download PDF

Info

Publication number
DE102019101511A1
DE102019101511A1 DE102019101511.1A DE102019101511A DE102019101511A1 DE 102019101511 A1 DE102019101511 A1 DE 102019101511A1 DE 102019101511 A DE102019101511 A DE 102019101511A DE 102019101511 A1 DE102019101511 A1 DE 102019101511A1
Authority
DE
Germany
Prior art keywords
vehicle
height
host vehicle
dimensional representation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019101511.1A
Other languages
English (en)
Inventor
David Michael Herman
David A. Herman
David Joseph Orris
Nunzio DeCia
Stephen Jay Orris jun.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102019101511A1 publication Critical patent/DE102019101511A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

Es ist ein Verfahren und eine Vorrichtung für die fahrzeugübergreifende Zusammenarbeit zur Selbsthöhenschätzung von Fahrzeugen offenbart. Ein beispielhaftes Fahrzeug beinhaltet ein fahrzeugübergreifendes Kommunikationsmodul und ein Karosseriesteuermodul. Das Karosseriesteuermodul überträgt eine Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul. Das Karosseriesteuermodul führt auch semantische Segmentierung an den Bildern durch, erzeugt ein zusammengesetztes Bild des Fahrzeugs auf Grundlage der segmentierten Bilder und erzeugt eine dreidimensionale Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes. Unter Verwendung der dreidimensionalen Darstellung bestimmt das Karosseriesteuermodul eine Höhe des Fahrzeugs und steuert das Fahrzeug auf Grundlage der Höhe, um Hindernisse zu meiden.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft im Allgemeinen Fahrzeug-zu-Fahrzeug-Kommunikation und insbesondere die fahrzeugübergreifende Zusammenarbeit zur Selbsthöhenschätzung von Fahrzeugen.
  • ALLGEMEINER STAND DER TECHNIK
  • Fahrzeuge durchqueren oft Strecken, die Höheneinschränkungen aufweisen, wie zum Beispiel Unterführungen, Tunnel und Parkstrukturen usw. Die Höhe eines Fahrzeugs kann jedoch dynamisch sein. Zum Beispiel kann ein Bediener Objekte wie zum Beispiel ein Fahrrad oder einen Gepäckträger an dem Fahrzeug anbringen oder einen Anhänger an dem Fahrzeug anbringen. Bei derartigen Szenarien kann der Bediener vergessen, dass das Fahrzeug höher als normalerweise ist (oder kennt unter Umständen die Höhe des Fahrzeugs von vornherein nicht). Fahrzeuge und stationäre Infrastrukturobjekte beinhalten zunehmend Kameras und andere Sensoren (wie etwa LiDAR usw.) und sind dazu in der Lage, durch fahrzeugübergreifende Kommunikation mit Fahrzeugen zu kommunizieren. Dieses fahrzeugübergreifende Kommunikationsnetzwerk wird mitunter als Fahrzeug-zu-Fahrzeug-(vehicle-to-vehicle - V2V-)Kommunikation und Fahrzeug-zu-Infrastruktur-(V2I-) Kommunikation bezeichnet (mitunter übergreifend als V2X-Kommunikation bezeichnet).
  • KURZDARSTELLUNG
  • Die beigefügten Ansprüche definieren diese Anmeldung. Die vorliegende Offenbarung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Ansprüche verwendet werden. Andere Umsetzungen werden in Übereinstimmung mit den hier beschriebenen Techniken in Betracht gezogen, wie dem Durchschnittsfachmann bei der Durchsicht der folgenden Zeichnungen und detaillierten Beschreibung ersichtlich wird, und es ist beabsichtigt, dass diese Umsetzungen innerhalb des Schutzumfangs dieser Anmeldung liegen.
  • Es sind beispielhafte Ausführungsformen für eine fahrzeugübergreifende Zusammenarbeit zur Selbsthöhenschätzung von Fahrzeugen offenbart. Ein beispielhaftes Fahrzeug beinhaltet ein fahrzeugübergreifendes Kommunikationsmodul und ein Karosseriesteuermodul. Das Karosseriesteuermodul überträgt eine Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul. Das Karosseriesteuermodul führt auch semantische Segmentierung an den Bildern durch, erzeugt ein zusammengesetztes Bild des Fahrzeugs auf Grundlage der segmentierten Bilder und erzeugt eine dreidimensionale Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes. Unter Verwendung der dreidimensionalen Darstellung bestimmt das Karosseriesteuermodul eine Höhe des Fahrzeugs und steuert das Fahrzeug auf Grundlage der Höhe, um Hindernisse zu meiden.
  • Ein beispielhaftes Verfahren beinhaltet das Übertragen einer Anforderung von Bildern über ein fahrzeugübergreifendes Kommunikationsmodul. Das beispielhafte Verfahren beinhaltet auch das Durchführen von semantischer Segmentierung an den als Reaktion auf die übertragene Anforderung empfangenen Bildern, Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder und Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes. Zusätzlich beinhaltet das beispielhafte Verfahren das Verwenden der dreidimensionalen Darstellung, Bestimmen einer Höhe des Fahrzeugs und autonome Steuern des Fahrzeugs, um Infrastruktur zu meiden, die niedrigere Freiraumanforderungen als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
  • Figurenliste
  • Zum besseren Verständnis der Erfindung kann auf Ausführungsformen Bezug genommen werden, die in den folgenden Zeichnungen gezeigt sind. Die Komponenten in den Zeichnungen sind nicht zwingend maßstabsgetreu und zugehörige Elemente können weggelassen sein oder in einigen Fällen können Proportionen vergrößert dargestellt sein, um so die hier beschriebenen neuartigen Merkmale hervorzuheben und deutlich zu veranschaulichen. Darüber hinaus können Systemkomponenten verschiedenartig angeordnet sein, wie im Fach bekannt. Ferner sind in den Zeichnungen entsprechende Teile in den verschiedenen Ansichten durch gleiche Bezugszeichen gekennzeichnet.
    • 1 veranschaulicht ein Fahrzeug, das gemäß den Lehren dieser Offenbarung betrieben wird.
    • 2 veranschaulicht eine virtuelle Kamera, die eine Höhe des Fahrzeugs aus 1 schätzt.
    • 3 ist ein Blockdiagramm elektronischer Komponenten des Fahrzeugs aus 1.
    • 4 ist ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Höhe des Fahrzeugs unter Verwendung von über fahrzeugübergreifende Kommunikation empfangenen Bildern, das durch die elektronischen Komponenten aus 3 umgesetzt werden kann.
  • DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
  • Wenngleich die Erfindung in verschiedenen Formen ausgeführt werden kann, sind in den Zeichnungen einige beispielhafte und nicht einschränkende Ausführungsformen gezeigt und nachfolgend beschrieben, wobei es sich versteht, dass die vorliegende Offenbarung als Veranschaulichung der Erfindung anzusehen ist und damit nicht beabsichtigt wird, die Erfindung auf die konkreten dargestellten Ausführungsformen zu beschränken.
  • Um Strecken zu planen, verwendet ein Fahrzeug Informationen in Bezug auf Höheneinschränkungen entlang der Strecke und Höheninformationen in Bezug auf das Fahrzeug. Ein Fahrzeug erfasst bevorstehende Strukturen mit Höheneinschränkungen unter Anwendung von Techniken wie zum Beispiel Bild-/Sensoranalyse von Kameras und/oder Reichweitenerfassungssensoren (z. B. Radar, LiDAR, Ultraschallsensoren usw.), Koordinaten von (einer) geographischen Datenbank(en) und einem globalen Positionierungssystem (GPS) und/oder durch Empfangen von Höheninformationen über bevorstehende Strukturen über fahrzeugübergreifende Kommunikation usw. Das Bestimmen einer Höhe des Fahrzeugs ist ebenfalls wichtig. Jedoch basieren Techniken zum Bestimmen der Höhe des Fahrzeugs oft darauf, dass der Fahrer relevante Informationen liefert. Der Fahrer kann über falsche Informationen verfügen oder kann vergessen, dass sich die Höhe des Fahrzeugs durch eine Handlung geändert hat. Zum Beispiel kann der Fahrer vergessen, nach dem Anbringen eines Gepäckträgers auf dem Fahrzeug Informationen in das Fahrzeug einzugeben.
  • Fahrzeuge und Infrastrukturobjekte (z. B. Ampeln, Brücken, Polizeiüberwachungseinheiten, Laternenpfähle usw.) beinhalten zunehmend fahrzeugübergreifende Kommunikationsmodule, die eine Kommunikation zwischen Fahrzeugen, Infrastruktur und Fußgängern erleichtern. Diese Fahrzeuge und Infrastrukturobjekte beinhalten und/oder weisen zunehmend Hilfsleistungen durch Drittanbieter für Kameras (z. B. Farbkameras, monochrome Kameras, Laufzeitkameras, Stereokameras, monokulare Kameras usw.) und andere Sensoren (z. B. LiDAR usw.) auf, die zum Aufnehmen von Bildern von nahegelegenen Objekten und Fahrzeugen zur Verfügung stehen.
  • Wie nachfolgend erörtert, überträgt von Zeit zu Zeit (z. B. periodisch, als Reaktion auf ein Ereignis usw.) ein Fahrzeug (manchmal als ein „Host-Fahrzeug“ bezeichnet) eine Anforderung von Bildern und Sensordaten (z. B. Radardaten, LiDAR-Daten, Ultraschallsensordaten usw.) von anderen Fahrzeugen (manchmal als „Zielfahrzeuge“ bezeichnet) und/oder Infrastrukturmodulen mit ermöglichter fahrzeugübergreifender Kommunikation (manchmal als „straßenseitige Einheiten“ bezeichnet) in der Nähe unter Verwendung eines fahrzeugübergreifenden Kommunikationsmoduls (manchmal als ein „Fahrzeug-an-Fahrzeug-(V2V-)Modul oder ein „Modul für dedizierte Nahbereichskommunikation (dedicated short range communication - DSRC“ bezeichnet). Die Anforderung beinhaltet Informationen, die den Zielfahrzeugen das Lokalisieren und/oder Identifizieren des Host-Fahrzeugs vereinfacht, sodass das Zielfahrzeug ein oder mehrere Bilder des Host-Fahrzeugs erfassen kann. Zum Beispiel kann die Anforderung die Position, die Fahrtrichtung, die Geschwindigkeit, die Farbe und/oder das Modell des Host-Fahrzeugs usw. beinhalten. Als ein anderes Beispiel kann die Anforderung ein Bild oder einen Satz an Merkmalspunkten von einem oder mehreren Abschnitten des Fahrzeugs beinhalten, um die Zielfahrzeuge zu vereinfachen. Das Host-Fahrzeug empfängt die Bilder und die Sensordaten von den Zielfahrzeugen. Während die Bilder empfangen werden, führt das Host-Fahrzeug semantische Segmentierung durch, um unterschiedliche Objekte (z. B. das Host-Fahrzeug) und/oder Teile von Objekten (z. B. Objekte, die an dem Host-Fahrzeug angebracht sind) in den Bildern zu identifizieren und erzeugt progressiv ein zusammengesetztes Bild des Fahrzeugs unter Anwendung eines Vorgangs des dreidimensionalen Motiv-Stitchings wie etwa einer Struktur-aus-Bewegung-Technik und/oder Sensorfusion. Unter Verwendung der Segmentierungsinformationen, des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher gespeichert ist, erzeugt das Fahrzeug eine dreidimensionale Punktwolke des Fahrzeugs und eines beliebigen Objekts, das an dem Fahrzeug angebracht ist. Sensorfusion kombiniert Sensordaten (z. B. dreidimensionale Sensordaten wie zum Beispiel von Radar, LiDAR, Ultraschallsensoren usw.), die von den Zielfahrzeugen empfangen werden, um die dreidimensionale Struktur des Host-Fahrzeugs weiter zu definieren. Unter Verwendung einer virtuellen Kamera zum Beobachten der Punktwolke schätzt das Fahrzeug die Höhe des Fahrzeugs auf Grundlage des Beobachtungswinkels und des simulierten Standortes der virtuellen Kamera. In einigen Beispielen basiert der Vorgang des Schätzens der Höhe des Fahrzeugs auf Beobachtungen mehrerer virtueller Kameras. Zusätzlich können in einigen Beispielen andere Abmessungen des Fahrzeugs mit anderen simulierten Standorten von virtuellen Kameras geschätzt werden.
  • Das Fahrzeug überwacht den Bereich um das Fahrzeug herum auf Infrastruktur, die einen niedrigeren Freiraum als die geschätzte Höhe des Fahrzeugs aufweist. Das Hindernis kann sich in der unmittelbaren Nähe des Fahrzeugs befinden oder kann sich entlang der aktuell geplanten Strecke des Fahrzeugs befinden. Wenn das Fahrzeug ein Problem erfasst, agiert es, um das Problem zu verbessern. In einigen Beispielen stellt das Fahrzeug dem Fahrzeugführer eine Warnung bereit. Alternativ oder zusätzlich berechnet das Fahrzeug in einigen Beispielen die Strecke des Fahrzeugs neu. In einigen Beispielen agiert das Fahrzeug autonom, um zu verhindern, dass das Fahrzeug auf die Infrastruktur trifft, die den niedrigeren Freiraum als die geschätzte Höhe des Fahrzeugs aufweist.
  • 1 veranschaulicht ein Host-Fahrzeug 100, das gemäß dieser Offenbarung betrieben wird. Bei dem Host-Fahrzeug 100 kann es sich um ein standardmäßiges benzinbetriebenes Fahrzeug, ein Hybridfahrzeug, ein Elektrofahrzeug, ein Brennstoffzellenfahrzeug und/oder einen Fahrzeugtyp mit beliebiger anderer Antriebsart handeln. Das Host-Fahrzeug 100 kann eine beliebige Art von Kraftfahrzeug wie etwa ein Auto, ein Truck, ein Sattelschlepper oder ein Motorrad usw. sein. Zusätzlich schleppt das Host-Fahrzeug 100 in einigen Beispielen einen Anhänger (der, wie nachstehend erörtert, als ein Teil des Host-Fahrzeugs 100 behandelt werden kann), der zum Beispiel andere Objekte wie etwa Boote, Pferde, Rasenausrüstung usw. beinhalten kann. Das Host-Fahrzeug 100 beinhaltet Teile, die mit Mobilität in Verbindung stehen, wie etwa einen Antriebsstrang mit einem Verbrennungsmotor, ein Getriebe, eine Aufhängung, eine Antriebswelle und/oder Räder usw. Das Host-Fahrzeug 100 kann nichtautonom, halbautonom (z. B. werden einige routinemäßige Fahrfunktionen durch das Host-Fahrzeug 100 gesteuert) oder autonom (z. B. werden Fahrfunktionen ohne direkte Fahrereingabe durch das Host-Fahrzeug 100 gesteuert) sein. Das Fahrzeug kann während der Bildaufnahme stationär sein oder sich in Bewegung befinden. In dem veranschaulichten Beispiel beinhaltet das Host-Fahrzeug 100 ein fahrzeugübergreifendes Kommunikationsmodul (inter-vehicle communication module - IVCM) 102, ein bordeigenes Kommunikationsmodul (on-board communication module - OBCM) 104 und ein Karosseriesteuermodul (body control module - BCM) 106.
  • Das fahrzeugübergreifende Kommunikationsmodul 102 beinhaltet (eine) Antenne(n), (ein) Radio(s) und Software, um Nachrichten zu übertragen und Kommunikation zwischen dem Host-Fahrzeug 100 und Zielfahrzeugen 108, straßenseitigen Einheiten 110 und mobilvorrichtungsbasierten Modulen (nicht gezeigt) herzustellen. Weitere Informationen über das fahrzeugübergreifende Kommunikationsnetzwerk und darüber, wie das Netzwerk mit Hardware und Software von Fahrzeugen kommunizieren kann, sind verfügbar im System Requirements Specification (SyRS) Report des US-Verkehrsministeriums vom Juni 2011 (verfügbar unter http://www.its.dot.gov/meetings/pdf/CoreSystem_SE_SyRS_RevA%20(2011-06-13).pdf), der hiermit durch Bezugnahme in seiner Gesamtheit gemeinsam mit allen Unterlagen aufgenommen ist, die auf den Seiten 11 bis 14 des SyRS-Reports aufgeführt sind. Die fahrzeugübergreifenden Kommunikationssysteme können an Fahrzeugen und am Straßenrand an Infrastruktur installiert sein. Die fahrzeugübergreifenden Kommunikationssysteme, die in Infrastruktur (z. B. Ampeln, Straßenbeleuchtung, kommunale Kameras usw.) eingebaut sind, sind als „straßenseitige(s)“ System oder Einheit bekannt. Fahrzeugübergreifende Kommunikation kann mit anderen Technologien kombiniert werden, wie etwa dem globalen Positionierungssystem (Global Position System - GPS), Visual Light Communications (VLC), Mobilfunkkommunikation und Nahbereichsradar, die vereinfachen, dass die Fahrzeuge ihre Position, Geschwindigkeit, Richtung, relative Position zu anderen Objekten kommunizieren und Informationen mit anderen Fahrzeugen oder externen Computersystemen austauschen. Fahrzeugübergreifende Kommunikationssysteme können in andere Systeme wie etwa Mobiltelefone integriert sein.
  • In einigen Beispielen setzt das fahrzeugübergreifende Kommunikationsmodul 102 das Protokoll für dezidierte Nahbereichskommunikation (Dedicated Short Range Communication - DSRC) um. Gegenwärtig wird das DSRC-Netzwerk durch die Abkürzung oder Bezeichnung DSRC identifiziert. Mitunter werden jedoch andere Bezeichnungen verwendet, die sich üblicherweise auf ein Fahrzeugkonnektivitätsprogramm oder dergleichen beziehen. Die meisten dieser Systeme sind entweder reine DSRC oder eine Variante des WLAN-Standards IEEE 802.11. Jedoch sollen neben dem reinen DSRC-System auch dedizierte drahtlose Kommunikationssysteme zwischen Autos und einem straßenseitigen Infrastruktursystem abgedeckt sein, die mit GPS integriert sind und auf einem IEEE-802.11-Protokoll für drahtlose lokale Netzwerke (wie etwa 802.11p usw.) basieren.
  • Das bordeigene Kommunikationsmodul 104 beinhaltet drahtgebundene oder drahtlose Netzwerkschnittstellen, um eine Kommunikation mit externen Netzwerken zu ermöglichen. Das bordeigene Kommunikationsmodul 104 beinhaltet Hardware (z. B. Prozessoren, Arbeitsspeicher, Datenspeicher, Antenne usw.) und Software, um die drahtgebundenen oder drahtlosen Netzwerkschnittstellen zu steuern. In dem veranschaulichten Beispiel beinhaltet das bordeigene Kommunikationsmodul 104 eine oder mehrere Kommunikationssteuerungen für standardbasierte Netzwerke (z. B. das Global System for Mobile Communications (GSM), Universal Mobile Telecommunications System (UMTS), Long Term Evolution (LTE), Code Division Multiple Access (CDMA), WiMAX (IEEE 802.16m); ein drahtloses lokales Netzwerk (einschließlich IEEE 802.11 a/b/g/n/ac oder andere) und Wireless Gigabit (IEEE 802.11ad) usw.). In manchen Beispielen beinhaltet das bordeigene Kommunikationsmodul 104 eine drahtgebundene oder drahtlose Schnittstelle (z. B. einen Hilfsanschluss, einen Universal-Serial-Bus-(USB-)Anschluss, einen Bluetooth®-Drahtlosknoten usw.), um kommunikativ mit einer mobilen Vorrichtung (z. B. einem Smartphone, einer Smartwatch, einem Tablet usw.) verbunden zu sein. In derartigen Beispielen kann das Host-Fahrzeug 100 über die gekoppelte mobile Vorrichtung mit dem externen Netzwerk kommunizieren. Das externe Netzwerk kann/die externen Netzwerke können ein öffentliches Netzwerk, wie etwa das Internet; ein privates Netzwerk, wie etwa ein Intranet; oder Kombinationen davon sein und kann/können eine Vielfalt von Netzwerkprotokollen nutzen, die derzeit zur Verfügung stehen oder später entwickelt werden, einschließlich unter anderem TCP/IP-basierten Netzwerkprotokollen. In einigen Beispielen kommuniziert das Host-Fahrzeug 100 über das bordeigene Kommunikationsmodul 104 mit einem externen Server, um Informationen in Bezug auf Höheneinschränkungen von Infrastruktur nahe eines aktuellen Standortes des Host-Fahrzeugs 100 und/oder entlang einer aktuellen Strecke des Host-Fahrzeugs 100 zu empfangen.
  • Das Karosseriesteuermodul 106 steuert verschiedene Teilsysteme des Host-Fahrzeugs 100. Zum Beispiel kann das Karosseriesteuermodul 106 elektrische Fensterheber, eine Zentralverriegelung, eine Wegfahrsperre und/oder elektrisch verstellbare Außenspiegel usw. steuern. Das Karosseriesteuermodul 106 beinhaltet Schaltungen, um zum Beispiel Relais anzusteuern (z. B. zum Steuern von Scheibenwischerflüssigkeit usw.), Gleichstrom-(DC-)Bürstenmotoren anzusteuern (z. B. zum Steuern von elektrisch verstellbaren Sitzen, Zentralverriegelung, elektrischen Fensterhebern, Scheibenwischern usw.), Schrittmotoren anzusteuern und/oder LEDs anzusteuern usw. In dem veranschaulichten Beispiel beinhaltet das Karosseriesteuermodul 106 einen Höhendetektor 112. Alternativ kann der Höhendetektor 112 in einigen Beispielen in ein anderes Fahrzeugmodul integriert sein, wie zum Beispiel eine Infotainment-Haupteinheit oder eine Autonomieeinheit, die autonome Funktionen des Fahrzeugs steuert.
  • Der Höhendetektor 112 schätzt die Höhe des Host-Fahrzeugs 100 und eines beliebigen angebrachten Objekts unter Verwendung von Bildern und/oder Daten, die von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 110 empfangen werden. Von Zeit zu Zeit bestimmt der Höhendetektor 112 (a) eine raumbezogene Ausrichtung des Host-Fahrzeugs 100, die verwendet wird, um zu vereinfachen, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 den relativen Standort des Host-Fahrzeugs 100 verglichen mit ihrem Standort bestimmen und (b) überträgt eine Anforderungsnachricht unter Verwendung des fahrzeugübergreifenden Kommunikationsmoduls 102. In einigen Beispielen sendet der Höhendetektor 112 die Anforderung periodisch (z.B. stündlich, täglich usw.) oder als Reaktion auf ein Ereignis (z. B. jeden Schlüsselzyklus, Eintritt in einen dicht bevölkerten Bereich usw.). Alternativ oder zusätzlich sendet der Höhendetektor 112 die Anforderungsnachricht in einigen Beispielen als Reaktion auf das Erfassen von Änderungen des Status des Host-Fahrzeugs 100. Zum Beispiel kann der Höhendetektor 112 eine Änderung des Gesamtbruttogewichts, Änderungen in der Fahrzeugdynamik und/oder Anschluss an einen Anhänger 116 erfassen.
  • Die Anforderungsnachricht fordert, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 in der Nähe Bilder und/oder Sensordaten des Host-Fahrzeugs 100 mit ihren Kameras 114 (z. B. Farbkameras, monochromen Kameras, Laufzeitkameras, Stereokameras, monokularen Kameras usw.) und/oder ihren Reichweitenerfassungssensoren (z. B. Radar, LiDAR, Ultraschallsensoren usw.) erfassen. Die Anforderungsnachricht beinhaltet Informationen in Bezug auf die raumbezogene Ausrichtung des Host-Fahrzeugs 100. Die Informationen über die raumbezogene Ausrichtung beinhalten den Standort (z. B. Koordinaten des globalen Positionierungssystems (GPS) usw.), die Ausrichtung (z. B. die Ausrichtung, in die das Vordere des Host-Fahrzeugs 100 zeigt usw.) und/oder Eigenschaften (z. B. Farbe, Marke, Modell usw.), die vereinfachen, dass die Zielfahrzeuge 108 und/oder die straßenseitigen Einheiten das Host-Fahrzeug 100 lokalisieren und identifizieren. Zum Beispiel können die Informationen über die raumbezogene Ausrichtung für das Host-Fahrzeug 100 GPS-Koordinaten, eine Fahrtrichtung und eine Fahrzeugfarbe beinhalten. In einigen Beispielen beinhalten die Informationen über die raumbezogene Ausrichtung auch Informationen über Objekte in der Nähe des Host-Fahrzeugs 100, die als Orientierungspunkte dienen können, um weiter zu vereinfachen, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 das Host-Fahrzeug 100 lokalisieren. In einigen derartigen Beispielen werden die Objekte über Radar und/oder LiDAR durch den Höhendetektor 112 erfasst. Alternativ oder zusätzlich verwendet der Höhendetektor 112 in einigen Beispielen die GPS-Koordinaten des Host-Fahrzeugs 100, um Navigationsdaten (z. B. Karten usw.) zu analysieren, um zu bestimmen, welche Objekte sich in der Nähe des Host-Fahrzeugs 100 befinden.
  • Um die Höhe zu schätzen, führt der Höhendetektor 112 semantische Segmentierung an den empfangenen Bildern durch, erzeugt ein zusammengesetztes Bild unter Verwendung der empfangenen Bilder und erzeugt eine dreidimensionale Darstellung des Host-Fahrzeugs 100 unter Verwendung der semantischen Segmentierung, des zusammengesetzten Bildes und eines Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist.
  • Semantische Segmentierung ist eine Bildklassifizierungstechnik, die verschiedenen Bestandteilen Pixel eines Bildes zuweist. Zum Beispiel kann der Höhendetektor 112 Abschnitte eines Bildes identifizieren, die mit dem Host-Fahrzeug 100, dem Anhänger 116, einem Gepäckträger, Fahrrädern, anderen Fahrzeugen, Fußgängern, Lackwerk usw. verbunden sind. Um semantische Segmentierung durchzuführen, verwendet der Höhendetektor 112 Techniken wie zum Beispiel neuronale Faltungsnetzwerke (z. B. vollständige Faltungsnetzwerke (fully convolutional networks - FCN), erweiterte Faltungen, Encoder-Decoder-Faltungen, tiefe neuronale Faltungsnetzwerke mit vollständig verbundenen bedingten Zufallsfeldern usw.). Beispielhafte Techniken zum Durchführen von semantischer Segmentierung sind beschrieben von (a) Zhao et al. in „Pyramid Scene Parsing Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); (b) Long et al. in „Fully Convolutional Networks for Semantic Segmentation“, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); (c) Badrinarayanan et al. in „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation“, IEEE Transactions on Pattern Analysis and Machine Intelligence, Band 39, Nr. 12, Jan. 2017, S. 2481-2495; (d) Yu et al. in „Multi-Scale Context Aggregation by Dilated Convolutions,“ 2015; (e) Chen et al. in „DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs“, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017; Lin et al. in „RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); und (f) Peng, Chao, et al. „Large Kernel Matters - Improve Semantic Segmentation by Global Convolutional Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), die hier durch Bezugnahme in ihrer Gesamtheit aufgenommen sind.
  • Der Höhendetektor 112 verwendet Struktur aus Bewegung, um ein zweidimensionales oder dreidimensionales zusammengesetztes Bild des Host-Fahrzeugs 100 unter Verwendung der empfangenen Bilder zu bilden. In einigen Beispielen verwendet der Höhendetektor 112 die Ergebnisse der semantischen Segmentierung der empfangenen Bilder, um Objekte in den Bildern zu entfernen, die sich nicht auf das Host-Fahrzeug 100 beziehen und/oder sich im Laufe der Zeit ändern. Unter Verwendung einer Struktur-aus-Bewegung-Technik werden Merkmalspunkte 118 des Host-Fahrzeugs 100 in den empfangenen Bildern identifiziert. Der Höhendetektor 112 verwendet das Positionieren der Merkmalspunkte und ein dreidimensionales Modell des Host-Fahrzeugs 100, um mindestens Teile der Bilder zusammenzufügen, um das zusammengesetzte Bild des Host-Fahrzeugs 100 zu erzeugen. Beispielhafte Struktur-aus-Bewegung-Techniken sind beschrieben in Crandall, David J., et al. „SfM with MRFs: Discrete-continuous optimization for large-scale structure from motion“, IEEE transactions on pattern analysis and machine intelligence 35.12 (2013): 2841-2853, das hier durch Bezugnahme in ihrer Gesamtheit aufgenommen ist.
  • Unter Verwendung des zusammengesetzten Bildes, von Reichweitenerfassungssensordaten von den Zielfahrzeugen 108, eines Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist, erfasst der Höhendetektor 112 ein dimensionales Modell des Host-Fahrzeugs 100, das den aktuellen Zustand des Host-Fahrzeugs 100 und von Objekten (z. B. Fahrrädern, Gepäckträgern, Anhängern usw.), die an dem Host-Fahrzeug 100 angebracht sind, darstellt. Der Höhendetektor 112 erzeugt eine dreidimensionale Punktwolke des Host-Fahrzeugs 100, indem äußere Pixel unter Anwendung einer statistischen Analysetechnik, wie zum Beispiel K Nachbarabstände, von dem dreidimensionalen Modell entfernt werden. Da an dem Host-Fahrzeug 100 andere Objekte angebracht sein können, verwendet der Höhendetektor 112 in einigen Beispielen die Informationen über die semantische Segmentierung, um die Punktwolke für das Host-Fahrzeug 100 und eine Punktwolke für das/die andere(n) Objekt(e) zu erzeugen. In einigen derartigen Beispielen sind die Proportionen der Punktwolke auf Grundlage des Modells des Host-Fahrzeugs 100 in Speicher kalibriert und ist/sind die Punktwolke(n) für das/die andere(n) Objekt(e) skaliert, sodass sie der Kalibrierung entspricht/entsprechen. In einigen Beispielen wandelt der Höhendetektor 112 die Punktwolke(n) in ein Gittermodell um. Das Modell des Host-Fahrzeugs 100, das in Speicher gespeichert ist, kann auch verwendet werden, um Informationen in der Punktwolke zu ergänzen, die von dem zusammengesetzten Bild nicht verfügbar sind, weil zum Beispiel die Kameras 114 der Zielfahrzeuge 108 und/oder der straßenseitigen Einheiten 110 gegebenenfalls nicht dazu in der Lage sind, bestimmte Winkel des Host-Fahrzeugs 100 zu erfassen.
  • Wie in 2 veranschaulicht, legt der Höhendetektor 112 eine oder mehrere virtuelle Kameras 202 fest, die (eine) Ansicht(en) des/der dreidimensionalen zusammengesetzten Bildes/Punktwolke/Gittermodells 204 in einem Abstand und Beobachtungswinkel (θO) von dem Host-Fahrzeug 100 darstellt/darstellen. In einigen Beispielen basiert der Abstand und Beobachtungswinkel (θO) auf dem dreidimensionalen Modell des Host-Fahrzeugs 100 in Bezug auf die Merkmalspunkte 118 in den empfangenen Bildern. Der oberste Merkmalspunkt 118 gibt das höchste erfassbare Merkmal von den empfangenen Bildern an. Wenn mehr Bilder mit Perspektiven aus unterschiedlichen Höhen und unterschiedlichen Winkeln empfangen werden, kann sich der oberste Merkmalspunkt 118 ändern. Eine derartige Änderung bewirkt, dass der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 neu berechnet. Somit kann der Höhendetektor 112 die geschätzte Höhe des Host-Fahrzeugs 100 ständig aktualisieren, wenn mehr Bilder verfügbar werden. Der Höhendetektor 112 wählt den Beobachtungswinkel (θO) als den Blickwinkel aus, in dem die Perspektive 208 der virtuellen Kamera den oberen Rand 210 des Host-Fahrzeugs 100 in Bezug auf die Bodenebene der Straße freigibt. Um die Höhe des Host-Fahrzeugs 100 zu bestimmen, berechnet der Höhendetektor 112 einen Sinus des Beobachtungswinkels (θO) über dem Host-Fahrzeug 100 relativ zu der Bodenebene der Straße multipliziert mit einer Fahrzeuglänge in der Perspektive der virtuellen Kamera. In einigen Beispielen verwendet der Höhendetektor 112 mehrere Positionen der virtuellen Kamera, um die Höhe des Host-Fahrzeugs 100 zu bestimmen. In einigen Beispielen erfasst der Höhendetektor 112 die Länge und/oder Breite des Host-Fahrzeugs 100 durch Verwenden eines Blickwinkels und von Merkmalspunkten in Verbindung mit Seitenrändern des Host-Fahrzeugs 100. Einige Oberflächen, wie zum Beispiel die Oberfläche 212, können aufgrund der Umgebung um das Host-Fahrzeug 100 herum und/oder dessen, wie das Host-Fahrzeug 100 aktuell geparkt ist, nicht belegt werden. Zum Beispiel kann mit dem an dem Host-Fahrzeug 100 angebrachten Objekt der Höhendetektor 112 gegebenenfalls nicht dazu in der Lage sein, einen Abschnitt der Punktwolke zu konstruieren, um die fehlende Oberfläche 212 darzustellen. In einigen Beispielen stellt der Höhendetektor 112 einen Alarm bereit, dass die Höhenschätzung gegebenenfalls nicht vollständig ist, da ein Abschnitt des angebrachten Objekts in der Punktwolke nicht modelliert werden kann (z. B. kann eine größere Oberfläche auf der fehlenden Oberfläche vorhanden sein). Alternativ oder zusätzlich kann der Höhendetektor 112 in einigen Beispielen die Form der fehlenden Oberfläche 212 auf Grundlage der Punktwolke extrapolieren.
  • Der Höhendetektor 112 speichert die geschätzte Höhe in Speicher und agiert autonom, um potentielle Höhenfreiraumprobleme bei der aktuellen Strecke des Host-Fahrzeugs 100 zu verbessern. In einigen Beispielen stellt der Höhendetektor 112 eine visuelle, akustische und/oder haptische Warnung an den Fahrzeugführer des Host-Fahrzeugs 100 bereit. In einigen Beispielen weist der Höhendetektor 112 ein Navigationssystem an, die Strecke des Host-Fahrzeugs 100 zu ändern. In einigen Beispielen steuert der Höhendetektor 112 die Bewegungsfunktionen (z. B. Lenken, Beschleunigen usw.) des Host-Fahrzeugs 100, um zu verhindern, dass das Host-Fahrzeug 100 einen Bereich durchquert, in dem das Host-Fahrzeug 100 größer als die Höheneinschränkungen der Infrastruktur ist. Alternativ oder zusätzlich stellt in einigen Beispielen der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 durch (a) eine aktive Aufhängung, die Druck von Erschütterungen und/oder Streben einstellt, um die Höhe des Host-Fahrzeugs 100 zu ändern und/oder (b) ein aktives Reifendrucksystem, das eine autonome Reduzierung von Reifendruck (z. B. durch ein elektronisch gesteuertes Ventil) vereinfacht, ein, um die Höhe des Host-Fahrzeugs 100 zu reduzieren.
  • 3 ist ein Blockdiagramm elektronischer Komponenten 300 des Host-Fahrzeugs 100 aus 1. In dem veranschaulichten Beispiel beinhalten die elektronischen Komponenten 300 das fahrzeugübergreifende Kommunikationsmodul 102, das bordeigene Kommunikationsmodul 104, das Karosseriesteuermodul 106 und einen Fahrzeugdatenbus 302.
  • In dem veranschaulichten Beispiel beinhaltet das Karosseriesteuermodul 106 einen Prozessor oder eine Steuerung 304 und einen Speicher 306. In dem veranschaulichten Beispiel ist das Karosseriesteuermodul 106 so strukturiert, dass es den Höhendetektor 112 beinhaltet. Alternativ kann in einigen Beispielen der Höhendetektor 112 in eine andere elektronische Steuereinheit (electronic control unit - ECU) mit eigenem Prozessor und Speicher (wie etwa eine Infotainment-Haupteinheit usw.) eingebaut sein. Bei dem Prozessor oder der Steuerung 304 kann es sich um eine beliebige geeignete Verarbeitungsvorrichtung oder Reihe von Verarbeitungsvorrichtungen handeln, wie etwa unter anderem: einen Mikroprozessor, eine mikrocontrollerbasierte Plattform, eine geeignete integrierte Schaltung, einen oder mehrere feldprogrammierbare Gate-Arrays (field programmable gate array - FPGAs) und/oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (application-specific integrated circuit - ASICs). Bei dem Speicher 306 kann es sich um flüchtigen Speicher (z. B. RAM, der nichtflüchtigen RAM, magnetischen RAM, ferroelektrischen RAM und beliebige andere geeignete Formen beinhalten kann), nichtflüchtigen Speicher (z. B. Plattenspeicher, FLASH-Speicher, EPROMs, EEPROMs, memristorbasierten nichtflüchtigen Festkörperspeicher usw.), unveränderbaren Speicher (z. B. EPROMs), Festwertspeicher und/oder Speichervorrichtungen mit hoher Kapazität (z. B. Festplatten, Festkörperlaufwerke etc.) handeln. In einigen Beispielen beinhaltet der Speicher 306 mehrere Speicherarten, insbesondere flüchtigen Speicher und nichtflüchtigen Speicher.
  • Bei dem Speicher 306 handelt es sich um computerlesbare Medien, auf denen ein oder mehrere Sätze von Anweisungen, wie etwa die Software zum Ausführen der Verfahren der vorliegenden Offenbarung, eingebettet sein können. Die Anweisungen können eines oder mehrere der Verfahren oder eine Logik, wie hier beschrieben, verkörpern. In einer bestimmten Ausführungsform können sich die Anweisungen während der Ausführung der Anweisungen vollständig oder mindestens teilweise innerhalb eines beliebigen oder mehreren des Speichers 306, des computerlesbaren Mediums und/oder innerhalb des Prozessors 304 befinden.
  • Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ sind so zu verstehen, dass sie ein einzelnes Medium oder mehrere Medien beinhalten, wie etwa eine zentralisierte oder verteilte Datenbank und/oder damit assoziierte Zwischenspeicher und Server, auf denen ein oder mehrere Sätze von Anweisungen gespeichert sind. Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ beinhalten zudem ein beliebiges physisches Medium, das zum Speichern, Verschlüsseln oder Tragen eines Satzes von Anweisungen zur Ausführung durch einen Prozessor in der Lage ist oder das ein System dazu veranlasst, ein beliebiges oder mehrere der hier offenbarten Verfahren oder Vorgänge durchzuführen. Im hier verwendeten Sinne ist der Ausdruck „physisches computerlesbares Medium“ ausdrücklich so definiert, dass er jede beliebige Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte beinhaltet und das Verbreiten von Signalen ausschließt.
  • Der Fahrzeugdatenbus 302 koppelt das fahrzeugübergreifende Kommunikationsmodul 102, das bordeigene Kommunikationsmodul 104 und das Karosseriesteuermodul 106 kommunikativ. In einigen Beispielen beinhaltet der Fahrzeugdatenbus 302 einen oder mehrere Datenbusse. Der Fahrzeugdatenbus 302 kann gemäß einem Controller-Area-Network-(CAN-)Bus-Protokoll laut der Definition der International Standards Organization (ISO) 11898-1, einem Media-Oriented-Systems-Transport-(MOST-)Bus-Protokoll, einem CAN-Flexible-Data-(CAN-FD-)Bus-Protokoll (ISO 11898-7) und/oder einem K-Leitungs-Bus-Protokoll (ISO 9141 und ISO 14230-1) und/oder einem Ethernet™-Bus-Protokoll IEEE 802.3 (ab 2002) usw. umgesetzt sein.
  • 4 ist ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Höhe des Host-Fahrzeugs 100 unter Verwendung von über fahrzeugübergreifende Kommunikation empfangenen Bildern, das durch die elektronischen Komponenten 300 aus 3 umgesetzt werden kann. Das Verfahren beginnt, wenn ein Ereignis (z. B. zeitbasiertes Ereignis, eine Änderung eines Status des Host-Fahrzeugs 100 usw.) auslöst, dass das Host-Fahrzeug 100 die Höhe des Host-Fahrzeugs 100 bestimmt. Anfangs bestimmt der Höhendetektor 112 bei Block 402 den raumbezogenen Zustand des Host-Fahrzeugs 100. Zum Beispiel kann der Höhendetektor 112 die GPS-Koordinaten des Host-Fahrzeugs 100, die Ausrichtung des Host-Fahrzeugs 100 bestimmen. Zusätzlich beinhalten die Informationen, die in dem raumbezogenen Zustand des Host-Fahrzeugs 100 enthalten sind, auch andere Informationen, um das Lokalisieren des Host-Fahrzeugs 100 zu vereinfachen, wie zum Beispiel die Farbe des Host-Fahrzeugs 100 oder die Kennzeichennummer des Host-Fahrzeugs 100 usw. Bei Block 404 überträgt der Höhendetektor 112 eine Anforderung an Zielfahrzeuge 108 und/oder straßenseitige Einheiten 110, Bilder des Host-Fahrzeugs 100 zu erfassen. Die Anforderung beinhaltet die Informationen in Bezug auf den raumbezogenen Zustand des Host-Fahrzeugs 100 und andere Informationen, um das Lokalisieren des Host-Fahrzeugs 100 zu vereinfachen, um Bilder des Host-Fahrzeugs 100 zu erfassen.
  • Bei Block 406 führt der Höhendetektor 112 semantische Segmentierung an den Bildern von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 110 durch, um Pixel, die dem Host-Fahrzeug 100 und verbundenen Objekten (z. B. Anhänger, Gepäckträger, Fahrräder usw.) entsprechen, innerhalb der Bilder zu identifizieren. Wenn der Höhendetektor 112 Bilder empfängt, identifiziert der Höhendetektor 112 das Host-Fahrzeug 100 in den Bildern, sodass der Höhendetektor 112 über Darstellungen des Host-Fahrzeugs aus unterschiedlichen Winkeln und Abständen verfügt. Bei Block 408 konstruiert der Höhendetektor 112 ein dreidimensionales zusammengesetztes Bild des Host-Fahrzeugs 100 unter Verwendung von Struktur-aus-Bewegung-Techniken. Bei Block 410 bestimmt der Höhendetektor 112, ob eine ausreichende Anzahl an Bildern empfangen worden ist, um ein zusammengesetztes Bild zu konstruieren, das verwendet werden kann, um die Höhe des Host-Fahrzeugs 100 zu bestimmen. Zum Beispiel kann der Höhendetektor 112 bestimmen, welcher Prozentsatz des Host-Fahrzeugs 100 in dem zusammengesetzten Bild neu erstellt wird oder kann bestimmen, ob das zusammengesetzte Bild einen Abschnitt des Host-Fahrzeugs 100 beinhaltet, der eine Ansicht der Höhe des Host-Fahrzeugs 100 bereitstellt. Wenn eine ausreichende Anzahl an Bildern empfangen worden ist, wird das Verfahren bei Block 412 fortgesetzt. Ansonsten, wenn keine ausreichende Anzahl an Bildern empfangen worden ist, kehrt das Verfahren zu Block 406 zurück.
  • Bei Block 412 konstruiert der Höhendetektor 112 eine dreidimensionale Darstellung des Host-Fahrzeugs 100 unter Verwendung des zusammengesetzten Bildes, von Reichweitenerfassungssensordaten von dem/den Zielfahrzeug(en) 108 und/oder eines dreidimensionalen Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist (z. B. dem Speicher 306 aus der vorstehenden 3). Um die Darstellung zu erzeugen, filtert und/oder skaliert der Höhendetektor 112 die Bestandteile (z. B. das Host-Fahrzeug 100 und die daran befestigten Objekte). In einigen Beispielen ist die dreidimensionale Darstellung eine Punktwolke oder ein Gittermodell. In einigen Beispielen führt der Höhendetektor 112 Sensorfusion durch, um die Punktwolke oder das Gittermodell zu erzeugen. In derartigen Beispielen werden die dreidimensionalen Daten von den Sensordaten, die von den Zielfahrzeugen 108 empfangen werden, verwendet, um die Punktwolke zu konstruieren und/oder zu filtern. In einigen Beispielen werden die dreidimensionalen Sensordaten mit der Punktwolke, die unter Verwendung der Bilder erzeugt wird, unter Anwendung einer Technik eines willkürlichen Konsensmodells (random consensus model - RANSAC) kombiniert. Bei Block 414 unterscheidet der Höhendetektor 112 das Host-Fahrzeug 100 von den befestigten Objekten in der dreidimensionalen Darstellung. Bei Block 416 bestimmt der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 auf Grundlage der dreidimensionalen Darstellung. Bei Block 418 bestimmt der Höhendetektor 112, ob es entlang der aktuellen Strecke des Host-Fahrzeugs 100 ein Hindernis gibt, das eine Höhenbegrenzung aufweist, die niedriger als die bei Block 416 bestimmte Höhe ist. Zum Beispiel kann der Höhendetektor 112 Navigationsdaten analysieren und/oder Übertragungen über das fahrzeugübergreifende Kommunikationsmodul 102 von straßenseitigen Einheiten 110 empfangen, die die Freiraumhöhen von Infrastruktur in der Nähe des Host-Fahrzeugs 100 angeben. Wenn es ein derartiges Hindernis gibt, wird das Verfahren bei Block 420 fortgesetzt. Andernfalls, wenn es kein derartiges Hindernis gibt, wird das Verfahren bei Block 422 fortgesetzt.
  • Bei Block 420 führt der Höhendetektor 112 eine oder mehrere Handlungen durch, um auf das bevorstehende Hindernis zu reagieren. In einigen Beispielen stellt der Höhendetektor 112 einen visuellen, akustischen und/oder haptischen Alarm an den Fahrzeugführer des Host-Fahrzeugs 100 bereit. In einigen Beispielen weist der Höhendetektor 112 das Navigationssystem autonom an, die aktuelle Strecke des Host-Fahrzeugs 100 zu ändern, um das Hindernis zu meiden. In einigen Beispielen steuert der Höhendetektor 112 autonom eine oder mehrere der Bewegungsfunktionen des Host-Fahrzeugs 100, um zu verhindern, dass das Host-Fahrzeug 100 auf das Hindernis trifft. Bei Block 422 bestimmt der Höhendetektor 112, ob sich der Zustand des Host-Fahrzeugs 100 geändert hat. Zum Beispiel kann sich der Zustand des Host-Fahrzeugs 100 in einem Schlüsselzyklus ändern. Als ein anderes Beispiel kann sich der Zustand des Host-Fahrzeugs 100 ändern, wenn der Anhänger 116 verbunden ist und/oder wenn Sensoren des Host-Fahrzeugs 100 Anzeichen erfassen, dass sich die Höhe des Host-Fahrzeugs 100 geändert haben kann. Wenn sich der Zustand des Host-Fahrzeugs 100 geändert hat, kehrt das Verfahren zu Block 402 zurück. Andernfalls, wenn sich der Zustand des Host-Fahrzeugs 100 nicht geändert hat, kehrt das Verfahren zu Block 418 zurück.
  • Das Ablaufdiagramm aus 4 stellt maschinenlesbare Anweisungen dar, die in einem Speicher (wie etwa dem Speicher 306 aus 3) gespeichert sind, welche ein oder mehrere Programme umfassen, das/die bei der Ausführung durch einen Prozessor (wie etwa den Prozessor 304 aus 3) das Host-Fahrzeug 100 veranlassen, den beispielhaften Höhendetektor 112 aus 1 und 3 umzusetzen. Obwohl das/die beispielhafte/n Programm(e) in Bezug auf das in 4 veranschaulichte Ablaufschema beschrieben ist/sind, können ferner alternativ dazu viele andere Verfahren zum Umsetzen des beispielhaften Höhendetektors 112 verwendet werden. Beispielsweise kann die Reihenfolge der Ausführung der Blöcke geändert werden und/oder einige der beschriebenen Blöcke können verändert, beseitigt oder kombiniert werden.
  • In dieser Anmeldung soll die Verwendung der Disjunktion die Konjunktion beinhalten. Die Verwendung von bestimmten oder unbestimmten Artikeln soll keine Kardinalität anzeigen. Insbesondere soll ein Verweis auf „das“ Objekt oder „ein“ Objekt auch eines aus einer möglichen Vielzahl derartiger Objekte bezeichnen. Außerdem kann die Konjunktion „oder“ dazu verwendet werden, Merkmale wiederzugeben, die gleichzeitig vorhanden sind, anstelle sich gegenseitig ausschließender Alternativen. Anders ausgedrückt ist die Konjunktion „oder“ so aufzufassen, dass sie „und/oder“ beinhaltet. Im hier verwendeten Sinne beziehen sich die Begriffe „Modul“ und „Einheit“ auf Hardware mit Schaltkreisen zum Bereitstellen von Kommunikations-, Steuer- und/oder Überwachungsfunktionen, oftmals in Verbindung mit Sensoren. „Module“ und „Einheiten“ können zudem Firmware einschließen, welche auf dem Schaltkreis ausgeführt wird. Die Ausdrücke „beinhaltet“, „beinhaltend“ und „beinhalten“ sind einschließend und weisen jeweils den gleichen Umfang auf wie „umfasst“, „umfassend“ bzw. „umfassen“.
  • Die vorstehend beschriebenen Ausführungsformen und insbesondere etwaige „bevorzugte“ Ausführungsformen sind mögliche Beispiele für Umsetzungen und lediglich zum eindeutigen Verständnis der Grundsätze der Erfindung dargelegt. Es können viele Variationen und Modifikationen an der bzw. den vorstehend beschriebenen Ausführungsform(en) vorgenommen werden, ohne wesentlich von Geist und Grundsätzen der hier beschriebenen Techniken abzuweichen. In dieser Schrift sollen sämtliche Modifikationen im Schutzumfang dieser Offenbarung beinhaltet und durch die folgenden Ansprüche geschützt sein.
  • Gemäß der vorliegenden Erfindung ist ein Fahrzeug bereitgestellt, aufweisend ein fahrzeugübergreifendes Kommunikationsmodul; und ein Karosseriesteuermodul für Folgendes: Übertragen einer Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul; Durchführen von semantischer Segmentation an den Bildern; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage der zusammengesetzten Bilder; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; Steuern des Fahrzeugs, um Hindernisse zu meiden, auf Grundlage der Höhe.
  • Gemäß einer Ausführungsform beinhaltet die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
  • Gemäß einer Ausführungsform beinhalten die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs.
  • Gemäß einer Ausführungsform ist die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist.
  • Gemäß einer Ausführungsform führt das Karosseriesteuermodul zum Bestimmen der Höhe des Fahrzeugs Folgendes durch: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
  • Gemäß einer Ausführungsform ist die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
  • Gemäß einer Ausführungsform sind die Hindernisse Infrastruktur, die eine niedrigere Freiraumanforderung als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
  • Gemäß einer Ausführungsform weist das Karosseriesteuermodul ein Navigationssystem an, eine Strecke des Fahrzeugs zu ändern, um die Hindernisse zu meiden.
  • Gemäß einer Ausführungsform steuert das Karosseriesteuermodul autonom Bewegungsfunktionen des Fahrzeugs, um zu verhindern, dass das Fahrzeug auf die Hindernisse trifft, um die Hindernisse zu meiden.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren das Übertragen, über ein fahrzeugübergreifendes Kommunikationsmodul, einer Anforderung von Bildern; Durchführen von semantischer Segmentierung an den als Reaktion auf die übertragene Anforderung empfangenen Bildern mit einem Prozessor eines Fahrzeugs; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage der zusammengesetzten Bilder; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; autonomes Steuern des Fahrzeugs, um Infrastruktur zu meiden, die niedrigere Freiraumanforderungen als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
  • Gemäß einer Ausführungsform beinhaltet die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
  • Gemäß einer Ausführungsform beinhalten die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs.
  • Gemäß einer Ausführungsform ist die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist.
  • Gemäß einer Ausführungsform beinhaltet das Bestimmen der Höhe des Fahrzeugs Folgendes: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
  • Gemäß einer Ausführungsform ist die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
  • Gemäß einer Ausführungsform ist die Erfindung ferner dadurch gekennzeichnet, dass als Reaktion auf das Erfassen der Infrastruktur, die die niedrigere Freiraumanforderung als die Höhe des Fahrzeugs entlang der aktuellen Strecke des Fahrzeugs aufweist, die Höhe des Fahrzeugs unter Verwendung von zumindest einem von einem aktiven Aufhängungssystem oder einem aktiven Reifendrucksystem gesenkt wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • (ISO) 11898-1 [0029]
    • ISO 11898-7 [0029]
    • ISO 9141 [0029]
    • ISO 14230-1 [0029]

Claims (15)

  1. Fahrzeug, umfassend: ein fahrzeugübergreifendes Kommunikationsmodul; und ein Karosseriesteuermodul für Folgendes: Übertragen einer Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul; Durchführen von semantischer Segmentation an den Bildern; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; Steuern des Fahrzeugs, um Hindernisse zu vermeiden, auf Grundlage der Höhe.
  2. Fahrzeug nach Anspruch 1, wobei die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug beinhaltet, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
  3. Fahrzeug nach Anspruch 2, wobei die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs beinhalten.
  4. Fahrzeug nach Anspruch 1 oder 2, wobei die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs ist, das in Speicher des Fahrzeugs gespeichert ist.
  5. Fahrzeug nach Anspruch 4, wobei das Karosseriesteuermodul zum Bestimmen der Höhe des Fahrzeugs Folgendes durchführt: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
  6. Fahrzeug nach Anspruch 1 oder 2, wobei die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke ist, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs ist, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
  7. Fahrzeug nach Anspruch 1 oder 2, wobei die Hindernisse Infrastruktur sind, die eine niedrigere Freiraumanforderung als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
  8. Fahrzeug nach Anspruch 1 oder 2, wobei das Karosseriesteuermodul ein Navigationssystem anweist, eine Strecke des Fahrzeugs zu ändern, um die Hindernisse zu meiden.
  9. Fahrzeug nach Anspruch 1 oder 2, wobei das Karosseriesteuermodul autonom Bewegungsfunktionen des Fahrzeugs steuert, um zu verhindern, dass das Fahrzeug auf die Hindernisse trifft, um die Hindernisse zu meiden.
  10. Verfahren, umfassend: Übertragen, über ein fahrzeugübergreifendes Kommunikationsmodul, einer Anforderung von Bildern; Durchführen von semantischer Segmentierung an den empfangenen Bildern mit einem Prozessor eines Fahrzeugs als Reaktion auf die übertragene Anforderung; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage der zusammengesetzten Bilder; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; autonomes Steuern des Fahrzeugs, um Infrastruktur zu meiden, die niedrigere Freiraumanforderungen als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
  11. Verfahren nach Anspruch 10, wobei die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug beinhaltet, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
  12. Verfahren nach Anspruch 11, wobei die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs beinhalten.
  13. Verfahren nach Anspruch 10, wobei die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs ist, das in Speicher des Fahrzeugs gespeichert ist.
  14. Verfahren nach Anspruch 13, wobei das Bestimmen der Höhe des Fahrzeugs Folgendes beinhaltet: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
  15. Verfahren nach Anspruch 10, wobei die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke ist, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs ist, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
DE102019101511.1A 2018-01-24 2019-01-22 Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen Pending DE102019101511A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/879,151 US10745005B2 (en) 2018-01-24 2018-01-24 Inter-vehicle cooperation for vehicle self height estimation
US15/879,151 2018-01-24

Publications (1)

Publication Number Publication Date
DE102019101511A1 true DE102019101511A1 (de) 2019-07-25

Family

ID=67144957

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019101511.1A Pending DE102019101511A1 (de) 2018-01-24 2019-01-22 Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen

Country Status (3)

Country Link
US (1) US10745005B2 (de)
CN (1) CN110085055A (de)
DE (1) DE102019101511A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021207757A1 (de) 2021-07-20 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Einpark-Hilfssystem

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
US10723362B2 (en) * 2018-06-05 2020-07-28 Denso International America, Inc. Driver assistance system operating based on autonomous statuses of host and local vehicles while in a multi-level autonomous environment
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
JP7100536B2 (ja) * 2018-08-21 2022-07-13 本田技研工業株式会社 制御装置及びプログラム
JP7176496B2 (ja) * 2019-09-17 2022-11-22 トヨタ自動車株式会社 車両撮影システム
US11657532B2 (en) * 2019-12-11 2023-05-23 Nvidia Corporation Surface profile estimation and bump detection for autonomous machine applications
JP2021103481A (ja) * 2019-12-25 2021-07-15 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
US11919447B2 (en) * 2020-04-24 2024-03-05 Barton Edward Viers Automotive carrier overhead height detection system
CN111652060B (zh) * 2020-04-27 2024-04-19 宁波吉利汽车研究开发有限公司 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质
CN114170787B (zh) * 2020-09-11 2023-01-17 北京聚利科技有限公司 车辆检测方法、装置及系统
WO2024085797A1 (en) * 2022-10-17 2024-04-25 Scania Cv Ab Method and control arrangement for vehicle height estimation

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617490A (en) 1994-06-27 1997-04-01 Sanyo Electric Co., Ltd. Camera system with neural network compensator for measuring 3-D position
US5717390A (en) 1995-03-20 1998-02-10 Hasselbring; Richard E. Doppler-radar based automatic vehicle-classification system
JP3463612B2 (ja) 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US20020130953A1 (en) 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
US20030212567A1 (en) 2002-05-07 2003-11-13 Hitachi Ltd. Witness information service with image capturing and sharing
FR2853121B1 (fr) 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4214841B2 (ja) 2003-06-11 2009-01-28 株式会社デンソー 周囲状況認識システム
JP2005209079A (ja) 2004-01-26 2005-08-04 Fujitsu Ten Ltd 車両走行支援装置
JP4546342B2 (ja) 2005-07-07 2010-09-15 パナソニック株式会社 送信装置および送信方法
US7586489B2 (en) 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
US7999861B2 (en) 2008-03-14 2011-08-16 Omron Corporation Image processing apparatus for generating composite image with luminance range optimized for a designated area
US8228380B2 (en) 2008-03-15 2012-07-24 International Business Machines Corporation Informing a driver or an owner of a vehicle of visible problems detected by outside video sources
DE102009031319A1 (de) 2009-06-30 2011-01-05 Siemens Aktiengesellschaft Verfahren und System zur Bestimmung einer Fahrzeugklasse
US10247575B2 (en) 2009-07-10 2019-04-02 Tomtom Telematics B.V. Accelerometer system and method
US10580088B2 (en) 2010-03-03 2020-03-03 The Western Union Company Vehicle travel monitoring and payment systems and methods
SI2450865T1 (sl) 2010-11-04 2013-05-31 Kapsch Trafficcom Ag Mobilne nadzorne naprave in postopki za vozila
US8473196B2 (en) 2011-02-11 2013-06-25 GM Global Technology Operations LLC Use of self and neighboring vehicle GPS/GNSS data to estimate current and approaching sky visibility changes
US20130103305A1 (en) 2011-10-19 2013-04-25 Robert Bosch Gmbh System for the navigation of oversized vehicles
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
JP6062041B2 (ja) 2012-05-07 2017-01-18 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
US9117371B2 (en) 2012-06-22 2015-08-25 Harman International Industries, Inc. Mobile autonomous surveillance
US9558667B2 (en) 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
US9311544B2 (en) 2012-08-24 2016-04-12 Jeffrey T Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
EP2757346B1 (de) 2013-01-21 2016-03-30 Kapsch TrafficCom AG Verfahren zum Messen eines Höhenprofils eines auf einer Straße passierenden Fahrzeugs
KR102087073B1 (ko) 2013-04-29 2020-03-10 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
TWI552897B (zh) 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
GB201312038D0 (en) 2013-07-04 2013-08-21 Jaguar Land Rover Ltd Trailer parameter identification system
US9784887B1 (en) 2013-08-12 2017-10-10 Physical Optics Corporation Meteorological sensing systems and methods
JP2015041969A (ja) 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
TWI545523B (zh) 2013-08-30 2016-08-11 國立中央大學 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置
US20150134675A1 (en) 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Context association
DE102014002540B4 (de) 2014-02-22 2018-08-30 Audi Ag Sicherheitseinrichtung für ein Kraftfahrzeug und zugehöriges Betriebsverfahren
US20170011378A1 (en) 2014-03-20 2017-01-12 Nec Corporation Pos terminal device, pos system, image processing method, and non-transitory computer readable medium storing program
US9440627B2 (en) 2014-05-28 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for calculating trailer brake control parameters
KR101592740B1 (ko) 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
EP3026880B1 (de) 2014-11-25 2018-09-12 Application Solutions (Electronics and Vision) Ltd. Schadenserkennungs-Unterstützungssystem
WO2016093553A1 (ko) 2014-12-12 2016-06-16 서울대학교 산학협력단 이벤트 데이터를 수집하는 시스템, 이벤트 데이터를 수집하는 방법, 이벤트 데이터를 수집하는 서비스 서버 및 카메라
US9928544B1 (en) 2015-03-10 2018-03-27 Amazon Technologies, Inc. Vehicle component installation preview image generation
US9595184B2 (en) 2015-06-16 2017-03-14 Muath Khalid ALMANSOUR System, method, and apparatus for incident reporting
US9477894B1 (en) 2015-09-04 2016-10-25 Ford Global Technologies, Llc System and method for measuring object height for overhead clearance detection
JP2017068640A (ja) 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
KR101760312B1 (ko) 2015-11-30 2017-07-31 (주) 알티솔루션 도로교통안전 서비스를 위한 화물 적재상태 검지 시스템
US9424725B1 (en) 2016-01-04 2016-08-23 International Business Machines Corporation School perimeter security system
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10360458B2 (en) 2016-04-13 2019-07-23 GM Global Technology Operations LLC Method of calculating dimensions of a towed vehicle
US10412536B2 (en) 2016-06-23 2019-09-10 Minutepros.Com Corp. Providing secure service provider reverse auctions using certification identifiers, symmetric encryption keys and encrypted uniform resource locators
US10227032B2 (en) 2016-07-01 2019-03-12 Ford Global Technologies, Llc Vehicle headlamp alignment system and method
DE102016212181A1 (de) 2016-07-05 2018-01-11 Volkswagen Aktiengesellschaft Verfahren zur Bestimmung von Längen- und/oder Größenverhältnissen eines Anhängers
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
CN106683139B (zh) 2017-02-20 2023-09-26 南京航空航天大学 基于遗传算法的鱼眼相机标定系统及其图像畸变矫正方法
US10195994B2 (en) 2017-04-07 2019-02-05 GM Global Technology Operations LLC Vehicle side mirror automation
US10282166B2 (en) 2017-05-03 2019-05-07 The Reverie Group, Llc Enhanced control, customization, and/or security of a sound controlled device such as a voice controlled assistance device
CN107226087B (zh) 2017-05-26 2019-03-26 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法
US11676296B2 (en) * 2017-08-11 2023-06-13 Sri International Augmenting reality using semantic segmentation
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
(ISO) 11898-1
ISO 11898-7
ISO 14230-1
ISO 9141

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021207757A1 (de) 2021-07-20 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Einpark-Hilfssystem

Also Published As

Publication number Publication date
US10745005B2 (en) 2020-08-18
US20190225210A1 (en) 2019-07-25
CN110085055A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
DE102019101511A1 (de) Fahrzeugübergreifende zusammenarbeit zur selbsthöhenschätzung von fahrzeugen
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102018132981B4 (de) Autonomes fahrsystem, computerimplementiertes verfahren und autonomes fahrzeug zur ampelzustandsbewertung
DE102018122459B4 (de) Fahrzeugsystem, entferntes fahrzeugassistenzsystem und comuterimplementiertes verfahren zum bereitstellen von fernunterstützung
DE102019104482A1 (de) Massen-abtastende punktwolkenkarte
DE102017201852B4 (de) Parkassistenzsystem für ein Fahrzeug und ein Verfahren zu dessen Nutzung
DE102018129066B4 (de) Systeme und verfahren für ungeschütztes linksabbiegen in situationen mit hohem verkehrsaufkommen in autonomen fahrzeugen
DE102018116107A1 (de) Kalibrierungsverfahren für den betrieb von autonomen fahrzeugen
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102018116108A1 (de) Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018129074A1 (de) Systeme und verfahren zum umfahren von hindernissen in autonomen fahrzeugen
DE102018110153A1 (de) Systeme und verfahren zur hindernisvermeidung und wegplanung in autonomen fahrzeugen
DE102019133536A1 (de) Verfahren und Vorrichtung zum Ermöglichen der sequentiellen Bodenansichts-Bildprojektionssynthese und der komplizierten Szenenrekonstruktion an Kartenanomalie-Hotspots
DE102018132509A1 (de) Ein Fahrzeug und ein Verfahren zur fahrzeugübergreifenden Zusammenarbeit zur Erfassung von physischer äußerlicher Beschädigung
DE102018105693A1 (de) Strassenbau-Erfassungssysteme und -Verfahren
DE102018113007A1 (de) Trajektorienplaner zum autonomen fahren mittels bézier-kurven
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102018121124A1 (de) Verfahren und Systeme zum Erzeugen von Echtzeit-Karteninformationen
DE102018131477A1 (de) Künstliches neuronales netz zum klassifizieren und lokalisieren von fahrspurmerkmalen
DE102017123180A1 (de) Rückwertige Hinderniserkennung und Abstandsschätzung
DE102018112115A1 (de) Verfahren und Systeme zum Ermitteln der Geschwindigkeit von sich bewegenden Objekten
DE102018114600A1 (de) Systeme und verfahren zum reagieren auf einsatzfahrzeuge in einem autonomen fahrzeug
DE102017112788A1 (de) Systeme und Verfahren zur Erfassung von toten Winkeln

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE