DE102022123822A1 - Intelligente fahrzeugsysteme und steuerungslogik für die erweiterung der umgebungssicht durch erkennung von objektmodellen - Google Patents

Intelligente fahrzeugsysteme und steuerungslogik für die erweiterung der umgebungssicht durch erkennung von objektmodellen Download PDF

Info

Publication number
DE102022123822A1
DE102022123822A1 DE102022123822.9A DE102022123822A DE102022123822A1 DE 102022123822 A1 DE102022123822 A1 DE 102022123822A1 DE 102022123822 A DE102022123822 A DE 102022123822A DE 102022123822 A1 DE102022123822 A1 DE 102022123822A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
image
orientation
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022123822.9A
Other languages
English (en)
Inventor
Michael Slutsky
Albert Shalumov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102022123822A1 publication Critical patent/DE102022123822A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorgestellt werden intelligente Fahrzeugsysteme mit vernetzten, am Fahrzeug angebrachten Kameras mit Kamerasicht-Erweiterungsfähigkeiten, Verfahren zur Herstellung/Benutzung solcher Systeme und mit solchen Systemen ausgestattete Fahrzeuge. Ein Verfahren zum Betreiben eines Kraftfahrzeugs umfasst eine Systemsteuerung, die von einem Netzwerk von am Fahrzeug montierten Kameras Kamerabilddaten empfängt, die ein Zielobjekt aus der Perspektive einer oder mehrerer Kameras enthalten. Das Steuergerät analysiert das Kamerabild, um Merkmale des Zielobjekts zu identifizieren und diese Merkmale einem entsprechenden Modellsammlungssatz zuzuordnen, der dem Typ des Zielobjekts zugeordnet ist. Der Controller identifiziert dann ein 3D-Objektmodell, das dem Modellsammlungssatz zugeordnet ist, der mit dem Typ des Zielobjekts assoziiert ist. Ein neues „virtuelles“ Bild wird erzeugt, indem das Zielobjekt durch das 3D-Objektmodell ersetzt wird, das in einer neuen Ausrichtung positioniert wird. Der Controller befiehlt einem residenten Fahrzeugsystem, einen Steuerungsvorgang unter Verwendung des neuen Bildes auszuführen.

Description

  • EINFÜHRUNG
  • Die vorliegende Offenbarung bezieht sich allgemein auf Steuersysteme für Kraftfahrzeuge. Genauer gesagt, beziehen sich Aspekte dieser Offenbarung auf fortschrittliche Fahrsysteme mit Bildsegmentierung, Tiefeninferenz und Objekterkennung.
  • Aktuelle Serienfahrzeuge, wie z. B. moderne Automobile, können mit einem Netzwerk von elektronischen Geräten an Bord ausgestattet sein, die automatisiertes Fahren ermöglichen, um den Aufwand für den Fahrer zu minimieren. Im Automobilbereich ist eine der bekanntesten automatisierten Fahrfunktionen der Tempomat. Der Tempomat ermöglicht es dem Fahrer, eine bestimmte Geschwindigkeit einzustellen, die dann vom bordeigenen Computersystem gehalten wird, ohne dass der Fahrer das Gas- oder Bremspedal betätigen muss. Die adaptive Geschwindigkeitsregelung (ACC) der nächsten Generation ist eine automatisierte Fahrfunktion, die die Fahrzeuggeschwindigkeit regelt und gleichzeitig den Abstand zwischen dem Basisfahrzeug und einem vorausfahrenden „Zielfahrzeug“ steuert. Eine andere Art des automatisierten Fahrens ist das Kollisionsvermeidungssystem (Collision Avoidance System, CAS), das eine drohende Kollision erkennt und den Fahrer warnt, während es gleichzeitig vorbeugende Maßnahmen ergreift, z. B. durch Lenken oder Bremsen ohne Zutun des Fahrers. Intelligente Parkassistenzsysteme (IPAS), Systeme zur Fahrspurüberwachung und automatischen Lenkung („Auto Steer“), elektronische Stabilitätskontrolle (ESC) und andere fortschrittliche Fahrerassistenzsysteme (ADAS) sind ebenfalls in vielen modernen Automobilen vorhanden.
  • Da sich die Verarbeitungs-, Kommunikations- und Sensorfähigkeiten von Fahrzeugen weiter verbessern, werden die Hersteller weiterhin automatisierte Fahrfunktionen anbieten, mit dem Ziel, vollständig autonome „selbstfahrende“ Fahrzeuge zu produzieren, die in der Lage sind, zwischen heterogenen Fahrzeugtypen sowohl in städtischen als auch in ländlichen Szenarien zu operieren. Die Erstausrüster (OEM) bewegen sich auf „sprechende“ Fahrzeuge von Fahrzeug zu Fahrzeug (V2V) und von Fahrzeug zu Infrastruktur (V2I) mit höherer Fahrautomatisierung zu, die intelligente Steuersysteme einsetzen, um Fahrzeugrouting mit Lenkung, Spurwechsel, Szenarienplanung usw. zu ermöglichen. Automatisierte Wegplanungssysteme nutzen Fahrzeugzustands- und -dynamiksensoren, Geolokalisierungsinformationen, Karten- und Straßenzustandsdaten sowie Algorithmen zur Wegvorhersage, um eine Routenableitung mit automatischer Vorhersage der Fahrspurmitte und des Fahrspurwechsels zu ermöglichen. Computergestützte Umleitungsmethoden bieten alternative Routenvorhersagen, die z. B. auf der Grundlage von Echtzeitdaten und virtuellen Fahrzeugdaten aktualisiert werden können.
  • Viele Kraftfahrzeuge sind heute mit bordeigenen Navigationssystemen ausgestattet, die einen GPS-Sender-Empfänger (Global Positioning System) in Zusammenarbeit mit Navigationssoftware und Geolocation-Mapping-Diensten nutzen, um Straßentopographie, Verkehrsdaten und Geschwindigkeitsbegrenzungen in Verbindung mit dem Echtzeit-Standort des Fahrzeugs zu erhalten. Autonomes Fahren und fortschrittliche Fahrerassistenzsysteme sind häufig in der Lage, automatisierte Fahrmanöver auf der Grundlage der vom bordeigenen Navigationssystem erhaltenen Fahrbahninformationen anzupassen. ADAS, die auf einem Ad-hoc-Netz basieren, können beispielsweise GPS- und Kartendaten in Verbindung mit einem Multi-Hop-Geocast-V2V- und V2I-Datenaustausch nutzen, um automatisierte Fahrzeugmanöver und die Steuerung des Antriebsstrangs zu erleichtern. Während des unterstützten und nicht unterstützten Fahrzeugbetriebs kann das residente Navigationssystem eine empfohlene Reiseroute auf der Grundlage einer geschätzten kürzesten Reisezeit oder einer geschätzten kürzesten Reisedistanz zwischen einem Routenausgangspunkt und einem Routenziel für eine bestimmte Reise ermitteln. Diese empfohlene Reiseroute kann dann als Kartenausschnitt oder als Abbiegeanweisung auf einer geocodierten und mit Anmerkungen versehenen Karte angezeigt werden, wobei die Ausgabe von Sprachbefehlen über das bordeigene Audiosystem möglich ist.
  • Automatisierte und autonome Fahrzeugsysteme können eine Reihe von Sensorkomponenten einsetzen, um die Erkennung und Entfernungsmessung von Zielobjekten zu ermöglichen. Beispielsweise erkennen Radarsysteme das Vorhandensein, die Entfernung und/oder die Geschwindigkeit eines Zielobjekts, indem sie Impulse hochfrequenter elektromagnetischer Wellen aussenden, die von dem Objekt zu einem geeigneten Funkempfänger zurückreflektiert werden. Als weitere Option kann ein Fahrzeug ein Laserdetektions- und -entfernungsmesssystem (LADAR) einsetzen, das gepulste Laserstrahlen aussendet und erfasst, um präzise Entfernungsmessungen durchzuführen. Ein Synonym für - und oft als Oberbegriff für - LADAR-basierte Detektion ist die LIDAR-Technologie (Light Detection and Ranging), die Entfernungen zu stationären oder sich bewegenden Zielen mit verschiedenen Formen von Lichtenergie bestimmt, einschließlich unsichtbarer, infraroter Lichtspektren und Nahinfrarot-Laserlichtspektren. Eine am Fahrzeug montierte Sensorikfarm mit verschiedenen Digitalkameras, Ultraschallsensoren usw. liefert ebenfalls Zieldaten in Echtzeit. In der Vergangenheit waren diese Systeme zur Erkennung von Objekten und zur Entfernungsmessung aufgrund des engen Sichtfelds im Nahbereich des Fahrzeugs und der systemimmanenten Beschränkungen durch die Gesamtzahl der Sensoren und die verfügbaren Einbauorte in ihrer Genauigkeit und Anwendung begrenzt.
  • BESCHREIBUNG
  • Vorgestellt werden intelligente Fahrzeugsysteme mit vernetzten Fahrzeugkameras und zugehöriger Steuerlogik zur Erweiterung der Kamerasicht durch Objekterkennung und Modellsubstitution, Verfahren zur Herstellung und Verwendung solcher Systeme und mit solchen Systemen ausgestattete Kraftfahrzeuge. Als Beispiel werden Systeme und Verfahren vorgestellt, die Natural Surround Vision (NSV) Techniken verwenden, um erkannte Objekte in Umgebungskameraansichten durch 3D-Modelle zu ersetzen, die aus einer Modellsammlungsdatenbank auf der Grundlage von Objekterkennung, Bildsegmentierung und Tiefeninferenz abgerufen werden. Eine solche Objektklassifizierung und -ersetzung kann insbesondere in Szenarien nützlich sein, in denen Teile eines Objekts für das vorhandene Kamerasystem verschleiert oder nicht sichtbar sind, so dass die Darstellung des Objekts aus einem gewünschten Blickwinkel nur teilweise möglich ist. Für die Modellerfassung identifiziert die Computer-Vision-Technologie erkennbare Objekte (z. B. Fahrzeuge, Fußgänger, Fahrräder, Laternenpfähle usw.) und fasst sie für spätere Zwecke zu entsprechenden Objektsätzen zusammen. Durch Bildsegmentierung wird ein zweidimensionales (2D) Kamerabild in einzelne Segmente unterteilt; das Bild wird dann segmentweise ausgewertet, um jedes Pixel einer entsprechenden Klasse zuzuordnen. Darüber hinaus wird durch Tiefeninferenz die 3D-Struktur in einem 2D-Bild abgeleitet, indem jedem Bildpixel ein Bereich (Tiefe) zugewiesen wird. Mithilfe eines künstlichen neuronalen Netzes (NN) analysiert die Objekterkennung das von der Kamera erzeugte 2D-Bild, um Merkmale aus dem Bild zu klassifizieren und die Merkmale eines Zielobjekts mit einem entsprechenden Modellsammlungssatz zu verknüpfen. Das Zielobjekt wird entfernt und durch ein 3D-Objektmodell ersetzt, das diesem Satz entspricht, z. B. in einem neuen „virtuellen“ Bild.
  • Zu den Vorteilen, die zumindest einige der vorgestellten Konzepte mit sich bringen, gehören Zielerfassungssysteme, die Zielobjekte in zweidimensionalen (2D) Kamerabildern genauer erkennen und klassifizieren, um z. B. ein umfassenderes Situationsbewusstsein zu schaffen und somit intuitivere Reaktionen von Fahrer und Fahrzeug zu ermöglichen. Zu den weiteren Vorteilen gehört die Bereitstellung virtueller Kameraerkennungsfähigkeiten zur Ableitung virtueller Perspektiven aus zusätzlichen Blickwinkeln (z. B. aus der Vogelperspektive oder aus der Verfolger- oder Dashcam-Perspektive) unter Verwendung realer Bilder, die von einem stationären Kameranetz aufgenommen wurden. Zu den weiteren Vorteilen gehören Fahrzeugsysteme, die in der Lage sind, aus den von physischen Kameras erfassten Daten virtuelle Ansichten mit verbesserter Qualität der virtuellen Szene zu erzeugen, wobei die 3D-Struktur der erfassten Szene erhalten bleibt und Änderungen der Perspektive der virtuellen Szene in Echtzeit möglich sind.
  • Aspekte dieser Offenbarung beziehen sich auf Systemsteuerungslogik, intelligente Steuerungstechniken und computerlesbare Medien (CRM) zur Herstellung und/oder zum Betrieb eines der offenbarten Fahrzeugsensornetzwerke. In einem Beispiel wird ein Verfahren zur Steuerung des Betriebs eines Kraftfahrzeugs mit einer Sensoranordnung vorgestellt, die ein Netzwerk von Kameras umfasst, die an diskreten Stellen des Fahrzeugs angebracht sind. Dieses repräsentative Verfahren umfasst in beliebiger Reihenfolge und in beliebiger Kombination mit beliebigen der oben und unten offenbarten Optionen und Merkmale: Empfangen von Kameradaten, z.B. über eine oder mehrere ortsfeste oder entfernte Systemsteuerungen von der Sensoranordnung, die ein oder mehrere Kamerabilder mit einem Zielobjekt aus einer oder mehreren Kameraperspektiven einer oder mehrerer der Kameras anzeigen; Analysieren, z.B., über die Systemsteuerung unter Verwendung eines Objekterkennungsmoduls, des Kamerabildes, um Merkmale des Zielobjekts zu identifizieren und die Merkmale einem entsprechenden Modellsammlungssatz zuzuordnen, der aus mehreren vordefinierten Modellsammlungssätzen ausgewählt wird, die mit einem Typ des Zielobjekts verbunden sind; Abrufen, z.B., über die Steuereinheit aus einer residenten oder ferngespeicherten Objektbibliothek ein dreidimensionales (3D) Objektmodell, das universell für den entsprechenden Modellsammlungssatz ist, der dem Typ des Zielobjekts zugeordnet ist; Erzeugen eines oder mehrerer neuer Bilder (z.B. virtueller Bilder) durch Ersetzen des Zielobjekts durch das 3D-Objektmodell, das in einer bestimmten Ausrichtung positioniert ist; und Übertragen, z.B. über die Systemsteuereinheit, eines oder mehrerer Befehlssignale an ein oder mehrere residente Fahrzeugsysteme, um eine oder mehrere Steueroperationen unter Verwendung des neuen Bildes/der neuen Bilder auszuführen.
  • Ebenfalls vorgestellt werden nicht-transitorische CRM, die Befehle speichern, die von einem oder mehreren Prozessoren einer Systemsteuerung eines Kraftfahrzeugs ausgeführt werden können, das eine Sensoranordnung mit einem Netzwerk von Kameras enthält, die an diskreten Stellen an der Fahrzeugkarosserie angebracht sind. Diese Anweisungen, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, veranlassen das Steuergerät, Operationen durchzuführen, einschließlich: Empfangen von Kameradaten von der Sensoranordnung, die ein Kamerabild mit einem Zielobjekt aus einer Kameraperspektive einer der Kameras anzeigen; Analysieren des Kamerabildes, um Merkmale des Zielobjekts zu identifizieren und die Merkmale einem entsprechenden von mehreren Modellsammlungssätzen zuzuordnen, die einem Typ des Zielobjekts zugeordnet sind; Bestimmen eines 3D-Objektmodells für den entsprechenden Modellsammlungssatz, der dem Typ des Zielobjekts zugeordnet ist; Erzeugen eines neuen Bildes durch Ersetzen des Zielobjekts durch das 3D-Objektmodell, das in einer bestimmten Ausrichtung positioniert ist; und Übertragen eines Befehlssignals an ein residentes Fahrzeugsystem, um eine Steueroperation unter Verwendung des neuen Bildes auszuführen (z.g., Anzeige des neuen Bildes als virtuelles Bild).
  • Weitere Aspekte dieser Offenbarung beziehen sich auf Kraftfahrzeuge, die mit intelligenten Steuerungssystemen ausgestattet sind, die vernetzte Fahrzeugkameras mit Kamera-Sicht-Erweiterungsfunktionen verwenden. Wie hierin verwendet, können die Begriffe „Fahrzeug“ und „Kraftfahrzeug“ austauschbar und synonym verwendet werden, um jede relevante Fahrzeugplattform einzuschließen, wie z. B. Personenkraftwagen (ICE, HEV, FEV, Brennstoffzelle, voll- und teilautonome Fahrzeuge usw.), Nutzfahrzeuge, Industriefahrzeuge, Raupenfahrzeuge, Gelände- und All-Terrain-Fahrzeuge (ATV), Motorräder, landwirtschaftliche Geräte, Wasserfahrzeuge, Flugzeuge usw. Ein Kraftfahrzeug besteht beispielsweise aus einer Fahrzeugkarosserie mit mehreren Rädern, einem Fahrgastraum und anderen Standardausrüstungen. Eine Antriebsmaschine, z. B. ein elektrischer Fahrmotor und/oder eine Verbrennungsmotorbaugruppe, treibt eines oder mehrere der Räder an, um das Fahrzeug anzutreiben. An der Fahrzeugkarosserie ist auch eine Sensoranordnung angebracht, die ein Netzwerk von Kameras umfasst, die an verschiedenen Stellen der Fahrzeugkarosserie angebracht sind (z. B. an der Vorder- und Rückseite sowie an der Backbord- und Steuerbordseite).
  • Um die Diskussion des obigen Beispiels fortzusetzen, enthält das Fahrzeug auch ein oder mehrere stationäre oder entfernte elektronische Systemsteuergeräte, die mit der Sensoranordnung kommunizieren, um Kameradaten zu empfangen, die ein oder mehrere Kamerabilder mit einem Zielobjekt aus der Perspektive einer oder mehrerer Kameras anzeigen. Mithilfe eines Objekterkennungsmoduls analysieren die Steuergeräte das Kamerabild, um Merkmale des Zielobjekts zu identifizieren und diese Merkmale einem entsprechenden Modellsammlungssatz zuzuordnen, der mit dieser Art von Zielobjekt verbunden ist. Die Steuereinheit(en) greifen dann auf eine gespeicherte Objektbibliothek zu, um ein 3D-Objektmodell abzurufen, das dem vordefinierten Modellsammlungssatz entspricht, der dem Zielobjekttyp zugeordnet ist. Ein neues Bild, z. B. ein virtuelles Bild der Verfolgungsansicht eines Fahrzeugs, wird dann erzeugt, indem das Zielobjekt durch das 3D-Objektmodell ersetzt wird, das in einer neuen Ausrichtung positioniert ist, die sich von der Kameraausrichtung unterscheidet. Anschließend können ein oder mehrere Befehlssignale an ein oder mehrere fahrzeugeigene Systeme übertragen werden, um eine oder mehrere Steuerungsoperationen unter Verwendung des/der neuen Bildes/Bilder durchzuführen.
  • Bei jedem der vorgestellten Fahrzeuge, Systeme und Verfahren kann die Systemsteuerung ein Bildsegmentierungsmodul implementieren, um das Kamerabild in mehrere unterschiedliche Segmente zu unterteilen. Die Segmente werden dann ausgewertet, um die darin enthaltenen Pixel in entsprechende vordefinierte Klassen einzuteilen. In diesem Fall kann das Bildsegmentierungsmodul in der Lage sein, einen Computer-Vision-Algorithmus auszuführen, der jedes einzelne Segment analysiert, um die Pixel in dem Segment zu identifizieren, die mindestens ein vordefiniertes Attribut gemeinsam haben. Das Segmentierungsmodul ordnet dann einen Begrenzungsrahmen zu, um die Pixel abzugrenzen, die ein oder mehrere vordefinierte Attribute mit dem Zielobjekt gemeinsam haben. Bei allen offenbarten Fahrzeugen, Systemen und Verfahren kann die Systemsteuerung eine Tiefeninferenz implementieren, um für jedes Bildpixel einen entsprechenden Tiefenstrahl im 3D-Raum abzuleiten. In diesem Fall kann das Tiefeninferenzmodul so betrieben werden, dass es Kameradaten empfängt, die auf überlappende Kamerabilder hinweisen, die das Zielobjekt aus mehreren Kameraperspektiven von mehreren Kameras enthalten. Das Tiefeninferenzmodul verarbeitet diese Kameradaten dann über ein neuronales Netzwerk, das so trainiert wurde, dass es Tiefendaten und semantische Segmentierungsdaten unter Verwendung einer Verlustfunktion ausgibt, die mehrere Verlustterme kombiniert, darunter einen Verlustterm für die semantische Segmentierung und einen Verlustterm für das Panorama. Der Verlustterm „Panorama“ liefert ein Ähnlichkeitsmaß für überlappende Bereiche der Kameradaten, die jeweils einer Region mit überlappenden Sichtfeldern der Kameras entsprechen.
  • Für jedes der offenbarten Fahrzeuge, Systeme und Verfahren kann die Systemsteuerung ein epipolares Reprojektionsmodul implementieren, um ein virtuelles Bild des Zielobjekts aus einer alternativen Perspektive einer virtuellen Kamera (z. B. als neues Bild) zu erzeugen. In diesem Fall kann das Modul für die epipolare Reprojektion eine Echtzeitausrichtung der Kamera(s), die das Kamerabild bzw. die Kamerabilder aufgenommen haben, und eine gewünschte Ausrichtung der virtuellen Kamera zur Darstellung des Zielobjekts aus der alternativen Perspektive im virtuellen Bild bestimmen. Das Reprojektionsmodul definiert dann eine epipolare Geometrie zwischen der Echtzeitausrichtung der physischen Kamera und der gewünschten Ausrichtung der virtuellen Kamera. Das virtuelle Bild wird auf der Grundlage einer berechneten epipolaren Beziehung zwischen der Echtzeitausrichtung der Kamera und der gewünschten Ausrichtung der virtuellen Kamera erzeugt.
  • Für jedes der offenbarten Fahrzeuge, Systeme und Verfahren kann die Systemsteuerung so programmiert werden, dass sie ein Modul zur Bestimmung der Objektorientierung implementiert, um die Orientierung des Zielobjekts im 3D-Raum relativ zu einer vordefinierten Ursprungsachse des Sensorarrays zu schätzen. In diesem Fall wird die Ausrichtung des 3D-Objektmodells innerhalb des neuen Bildes anhand der geschätzten Ausrichtung des Zielobjekts im 3D-Raum bestimmt. Als weitere Option kann die Systemsteuerung mit einem Eingabegerät des Fahrzeuginsassen kommunizieren, um Avatar-Nutzungsprotokolle mit einem Regelsatz zu empfangen, der definiert, wie und/oder wann das Zielobjekt durch das 3D-Objektmodell ersetzt wird. Die Erzeugung des neuen Bildes/der neuen Bilder kann weiterhin auf den Avatar-Nutzungsprotokollen basieren. Die Systemsteuerung kann auch die Größe, den Ort und/oder die Ausrichtung des Zielobjekts ableiten und unter Verwendung der abgeleiteten Eigenschaften des Zielobjekts Rendering-Parameter für das 3D-Objektmodell berechnen. Diese Rendering-Parameter können eine 2D-Projektion des 3D-Objektmodells in einem oder mehreren der neuen Bilder beinhalten.
  • Bei allen offenbarten Fahrzeugen, Systemen und Verfahren kann das Fahrzeugsystem ein Modul für virtuelle Bilder enthalten, das virtuelle Bilder und Aufforderungen für den Fahrer auf der Grundlage dieser virtuellen Bilder anzeigt. In diesem Fall umfasst der Steuervorgang die gleichzeitige Anzeige eines virtuellen Bildes aus einer Dashcam-Ansicht des nachfolgenden Fahrzeugs und eine Aufforderung an den Fahrer des Fahrzeugs, auf der Grundlage dieses virtuellen Bildes eine Fahrmaßnahme zu ergreifen. Optional kann das fahrzeuginterne System ein Advanced Driver Assistance System-Steuermodul enthalten, das die Steuerung des Kraftfahrzeugs automatisiert. Eine weitere Möglichkeit ist, dass das Fahrzeugsystem ein Fahrzeugnavigationssystem mit einem bordeigenen Anzeigegerät umfasst. In diesem Fall kann der Steuerungsvorgang beinhalten, dass das Anzeigegerät das neue Bild mit dem 3D-Objektmodell anzeigt, z. B. als integrierte Augmented-Reality-(AR-) Verfolgungsansicht.
  • Die obige Zusammenfassung soll nicht jede Ausführungsform oder jeden Aspekt der vorliegenden Offenbarung darstellen. Vielmehr stellt die vorstehende Zusammenfassung lediglich eine beispielhafte Darstellung einiger der hier dargelegten neuen Konzepte und Merkmale dar. Die obigen Merkmale und Vorteile sowie andere Merkmale und damit verbundene Vorteile dieser Offenbarung werden aus der folgenden detaillierten Beschreibung der abgebildeten Beispiele und repräsentativen Modi zur Ausführung der vorliegenden Offenbarung in Verbindung mit den beigefügten Figuren und den beigefügten Ansprüchen leicht ersichtlich. Darüber hinaus schließt diese Offenbarung ausdrücklich alle Kombinationen und Unterkombinationen der oben und unten dargestellten Elemente und Merkmale ein.
  • Figurenliste
    • 1 ist eine schematische Darstellung eines repräsentativen intelligenten Kraftfahrzeugs mit einem Netzwerk von fahrzeuginternen Steuergeräten, Sensorvorrichtungen und Kommunikationsvorrichtungen zur Durchführung der Erweiterung der Umgebungsansicht unter Verwendung von erkennbaren Objektmodellen in Übereinstimmung mit Aspekten der vorliegenden Offenbarung.
    • 2 ist ein Flussdiagramm, das ein repräsentatives Objekterkennungs- und Modellersetzungsprotokoll für den Betrieb eines Fahrzeugsensorarrays mit vernetzten Kameras veranschaulicht, das gespeicherten Anweisungen entsprechen kann, die von einem residenten oder entfernten Steuergerät, einer Steuerlogikschaltung, einer programmierbaren Steuereinheit oder einer anderen integrierten Schaltung (IC) oder einem Netzwerk von Geräten in Übereinstimmung mit Aspekten der offenbarten Konzepte ausführbar sind.
  • Die vorliegende Offenbarung ist für verschiedene Modifikationen und alternative Formen zugänglich, und einige repräsentative Ausführungsformen sind beispielhaft in den Zeichnungen dargestellt und werden hier im Detail beschrieben. Es sollte jedoch verstanden werden, dass die neuen Aspekte dieser Offenbarung nicht auf die besonderen Formen beschränkt sind, die in den oben aufgezählten Zeichnungen dargestellt sind. Vielmehr soll die Offenbarung alle Modifikationen, Äquivalente, Kombinationen, Unterkombinationen, Permutationen, Gruppierungen und Alternativen abdecken, die in den Anwendungsbereich dieser Offenbarung fallen, wie sie zum Beispiel von den beigefügten Ansprüchen umfasst werden.
  • DETAILLIERTE BESCHREIBUNG
  • Diese Offenbarung kann in vielen verschiedenen Formen verwirklicht werden. Repräsentative Ausführungsformen der Offenbarung sind in den Zeichnungen dargestellt und werden hier im Detail beschrieben, wobei davon ausgegangen wird, dass diese Ausführungsformen als Beispiel für die offenbarten Prinzipien dienen und keine Einschränkungen der allgemeinen Aspekte der Offenbarung darstellen. Insofern sollten Elemente und Beschränkungen, die z. B. in den Abschnitten „Zusammenfassung“, „Einleitung“ und „Detaillierte Beschreibung“ beschrieben, aber nicht ausdrücklich in den Ansprüchen dargelegt sind, nicht in die Ansprüche aufgenommen werden, weder einzeln noch insgesamt, weder durch Implikation noch durch Schlussfolgerung noch auf andere Weise.
  • Für die Zwecke der vorliegenden detaillierten Beschreibung gilt, sofern nicht ausdrücklich ausgeschlossen: Der Singular schließt den Plural ein und umgekehrt; die Wörter „und“ und „oder“ gelten sowohl im Konjunktiv als auch im Disjunktiv; die Wörter „jeder“ und „alle“ bedeuten „jeder und alle“; und die Wörter „einschließlich“, „enthaltend“, „umfassend“, „mit“ und dergleichen bedeuten jeweils „einschließlich ohne Einschränkung“. Darüber hinaus können Wörter der Annäherung wie „ungefähr“, „fast“, „im Wesentlichen“, „im Allgemeinen“, „ungefähr“ und dergleichen hier im Sinne von „bei, nahe oder fast bei“ oder „innerhalb von 0-5 % von“ oder „innerhalb akzeptabler Herstellungstoleranzen“ oder einer beliebigen logischen Kombination davon verwendet werden.
  • Schließlich können sich richtungsbezogene Adjektive und Adverbien wie „vorn“, „hinten“, „innen“, „außen“, „steuerbord“, „backbord“, „vertikal“, „horizontal“, „nach oben“, „nach unten“, „vorne“, „hinten“, „links“, „rechts“ usw. auf ein Kraftfahrzeug beziehen, z. B. auf die Vorwärtsfahrtrichtung eines Kraftfahrzeugs, wenn das Fahrzeug auf einer horizontalen Fahrfläche betrieben wird.
  • Unter Bezugnahme auf die Zeichnungen, in denen sich gleiche Referenznummern auf gleiche Merkmale in den verschiedenen Ansichten beziehen, ist in 1 ein repräsentatives Automobil dargestellt, das allgemein mit 10 bezeichnet und hier zu Diskussionszwecken als Limousine mit Elektroantrieb dargestellt wird. Das dargestellte Automobil 10 - hier auch kurz als „Kraftfahrzeug“ oder „Fahrzeug“ bezeichnet - ist lediglich eine beispielhafte Anwendung, mit der neue Aspekte dieser Offenbarung praktiziert werden können. In gleicher Weise sollte die Einbindung der vorliegenden Konzepte in einen vollelektrischen Fahrzeug-Antriebsstrang als eine nicht-begrenzende Umsetzung der offenbarten Merkmale verstanden werden. Es versteht sich von selbst, dass Aspekte und Merkmale dieser Offenbarung auch auf andere Antriebsstrang-Architekturen angewandt werden können, dass sie für jeden logisch relevanten Fahrzeugtyp implementiert werden können und dass sie für verschiedene Navigations- und automatisierte Fahrzeugfunktionen genutzt werden können. Darüber hinaus werden hier nur ausgewählte Komponenten der Kraftfahrzeuge und Fahrzeugsteuerungssysteme gezeigt und näher beschrieben. Nichtsdestotrotz können die im Folgenden beschriebenen Fahrzeuge und Fahrzeugsysteme zahlreiche zusätzliche und alternative Merkmale und andere verfügbare periphere Komponenten enthalten, um die verschiedenen Methoden und Funktionen dieser Offenbarung auszuführen.
  • Das repräsentative Fahrzeug 10 von 1 ist ursprünglich mit einer Fahrzeugtelekommunikations- und -informationseinheit („Telematik“) 14 ausgestattet, die drahtlos, z. B. über Mobilfunkmasten, Basisstationen, mobile Vermittlungsstellen, Satellitendienste usw., mit einem entfernten oder „Off-Board“-Cloud-Computing-Hostdienst 24 (z. B. OnStar(W) kommuniziert. Einige der anderen Fahrzeug-Hardwarekomponenten 16, die in 1 allgemein dargestellt sind, umfassen als nicht einschränkende Beispiele ein elektronisches Videoanzeigegerät 18, ein Mikrofon 28, Audio-Lautsprecher 30 und verschiedene Benutzereingabesteuerungen 32 (z. B. Tasten, Knöpfe, Pedale, Schalter, Touchpads, Joysticks, Touchscreens usw.). Diese Hardwarekomponenten 16 fungieren zum Teil als Mensch-Maschine-Schnittstelle (HMI), um dem Benutzer die Kommunikation mit der Telematikeinheit 14 und anderen Systemkomponenten im Fahrzeug 10 zu ermöglichen. Das Mikrofon 28 bietet einem Fahrzeuginsassen die Möglichkeit, verbale oder andere akustische Befehle einzugeben; das Fahrzeug 10 kann mit einer integrierten Sprachverarbeitungseinheit ausgestattet sein, die Audiofilter-, -bearbeitungs- und -analysemodule verwendet. Umgekehrt liefern die Lautsprecher 30 eine akustische Ausgabe an einen Fahrzeuginsassen und können entweder ein eigenständiger Lautsprecher sein, der für die Verwendung mit der Telematikeinheit 14 bestimmt ist, oder sie können Teil eines Audiosystems 22 sein. Das Audiosystem 22 ist operativ mit einer Netzwerkverbindungsschnittstelle 34 und einem Audiobus 20 verbunden, um analoge Informationen zu empfangen und sie über eine oder mehrere Lautsprecherkomponenten als Ton wiederzugeben.
  • Mit der Telematikeinheit 14 kommunikativ gekoppelt ist eine Netzwerkverbindungsschnittstelle 34, zu deren geeigneten Beispielen Twisted-Pair-/Glasfaser-Ethernet-Switches, parallele/serielle Kommunikationsbusse, LAN-Schnittstellen (Local Area Network), CAN-Schnittstellen (Controller Area Network), MOST-Schnittstellen (Media-Oriented System Transfer), LIN-Schnittstellen (Local Interconnection Network) und dergleichen gehören. Andere geeignete Kommunikationsschnittstellen können solche sein, die den ISO-, SAE- und/oder IEEE-Normen und -Spezifikationen entsprechen. Die Netzwerkverbindungsschnittstelle 34 ermöglicht es der Fahrzeughardware 16, Signale untereinander und mit verschiedenen Systemen und Subsystemen sowohl innerhalb der Fahrzeugkarosserie 12 als auch außerhalb der Fahrzeugkarosserie 12 zu senden und zu empfangen. Auf diese Weise kann das Fahrzeug 10 verschiedene Fahrzeugfunktionen ausführen, wie z. B. die Modulation der Antriebsstrangleistung, die Steuerung des Fahrzeuggetriebes, die selektive Aktivierung der Reibungs- und regenerativen Bremssysteme, die Steuerung der Fahrzeuglenkung, die Regelung der Ladung und Entladung der Fahrzeugbatteriemodule und andere automatisierte Fahrfunktionen. Die Telematikeinheit 14 empfängt und sendet beispielsweise Signale und Daten an/von einem Antriebsstrang-Steuermodul (PCM) 52, einem ADAS-Modul (Advanced Driver Assistance System) 54, einem elektronischen Batteriesteuermodul (EBCM) 56, einem Lenkungssteuermodul (SCM) 58, einem Bremssystem-Steuermodul (BSCM) 60 und verschiedenen anderen Steuergeräten des Fahrzeugs, wie z. B. einem Getriebesteuermodul (TCM), einem Motorsteuermodul (ECM), einem Sensorsystem-Schnittstellenmodul (SSIM), usw.
  • Unter weiterer Bezugnahme auf 1 ist die Telematikeinheit 14 ein fahrzeuginternes Rechengerät, das sowohl einzeln als auch über seine Kommunikation mit anderen vernetzten Geräten eine Mischung von Diensten bereitstellt. Diese Telematikeinheit 14 besteht im Allgemeinen aus einem oder mehreren Prozessoren 40, von denen jeder als diskreter Mikroprozessor, als anwendungsspezifischer integrierter Schaltkreis (ASIC) oder als spezielles Steuermodul ausgeführt sein kann. Das Fahrzeug 10 kann eine zentrale Fahrzeugsteuerung über eine zentrale Verarbeitungseinheit (CPU) 36 bieten, die mit einer Echtzeituhr (RTC) 42 und einem oder mehreren elektronischen Speichergeräten 38 verbunden ist, die jeweils die Form einer CD-ROM, einer Magnetplatte, eines IC-Geräts, eines Flash-Speichers, eines Halbleiterspeichers (z. B. verschiedene Arten von RAM oder ROM) usw. haben können.
  • Fahrzeugkommunikationsfähigkeiten mit großer Reichweite zu entfernten, vernetzten Geräten außerhalb des Fahrzeugs können über einen oder mehrere oder alle Chipsätze/Komponenten für Mobilfunk, Chipsätze/Komponenten für Navigation und Ortung (z. B. GPS-Sender/Empfänger) oder ein drahtloses Modem bereitgestellt werden, die alle zusammen unter 44 dargestellt sind. Die drahtlose Verbindung im Nahbereich kann über ein drahtloses Kurzstrecken-Kommunikationsgerät 46 (z. B. eine Bluetooth®-Einheit oder einen NFC-Sender/Empfänger), eine DSRC-Komponente (dedicated short-range communications) 48 und/oder eine Doppelantenne 50 hergestellt werden. Es versteht sich von selbst, dass das Fahrzeug 10 ohne eine oder mehrere der oben aufgeführten Komponenten implementiert werden kann oder optional zusätzliche Komponenten und Funktionen enthalten kann, wie für eine bestimmte Endanwendung gewünscht. Die verschiedenen oben beschriebenen Kommunikationsvorrichtungen können so konfiguriert sein, dass sie Daten als Teil einer periodischen Übertragung in einem Fahrzeug-zu-Fahrzeug (V2V)-Kommunikationssystem oder einem Fahrzeug-zu-Alles (V2X)-Kommunikationssystem austauschen, z.B. Fahrzeug-zu-Infrastruktur (V2I), Fahrzeug-zu-Fußgänger (V2P), Fahrzeug-zu-Gerät (V2D), usw.
  • Die CPU 36 empfängt Sensordaten von einer oder mehreren Erfassungsvorrichtungen, die z. B. Fotodetektion, Radar, Laser, Ultraschall, Optik, Infrarot oder andere geeignete Technologien, einschließlich Kurzstreckenkommunikationstechnologien (z. B. DSRC) oder Ultra-Wide-Band (UWB)-Funktechnologien, verwenden, um einen automatisierten Fahrbetrieb oder einen Fahrzeugnavigationsdienst auszuführen. Gemäß dem gezeigten Beispiel kann das Fahrzeug 10 mit einer oder mehreren Digitalkameras 62, einem oder mehreren Entfernungssensoren 64, einem oder mehreren Fahrzeuggeschwindigkeitssensoren 66, einem oder mehreren Fahrzeugdynamiksensoren 68 und der erforderlichen Filter-, Klassifizierungs-, Fusions- und Analysehardware und -software zur Verarbeitung von Sensorrohdaten ausgestattet sein. Die Art, Platzierung, Anzahl und Interoperabilität der verteilten Anordnung von Fahrzeugsensoren kann einzeln oder gemeinsam an eine bestimmte Fahrzeugplattform angepasst werden, um ein gewünschtes Niveau des autonomen Fahrzeugbetriebs zu erreichen.
  • Die digitale(n) Kamera(s) 62 kann/können einen CMOS-Sensor (Complementary Metal Oxide Semiconductor) oder einen anderen geeigneten optischen Sensor verwenden, um Bilder zu erzeugen, die ein Sichtfeld des Fahrzeugs 10 anzeigen, und kann/können für eine kontinuierliche Bilderzeugung konfiguriert werden, z. B. für mindestens etwa 35+ Bilder pro Sekunde. Zum Vergleich: Der/die Entfernungssensor(en) 64 kann/können reflektierte Funk-, Infrarot-, Licht- oder andere elektromagnetische Signale (z. B. Kurzstreckenradar, Langstreckenradar, induktive EM-Sensorik, Light Detection and Ranging (LIDAR) usw.) aussenden und erfassen, um z. B. das Vorhandensein, die geometrischen Abmessungen und/oder die Nähe eines Zielobjekts zu erkennen. Der/die Fahrzeuggeschwindigkeitssensor(en) 66 kann/können verschiedene Formen annehmen, einschließlich Raddrehzahlsensoren, die die Raddrehzahlen messen, die dann zur Bestimmung der Fahrzeuggeschwindigkeit in Echtzeit verwendet werden. Darüber hinaus kann es sich bei dem/den Fahrzeugdynamiksensor(en) 68 um einen ein- oder dreiachsigen Beschleunigungssensor, einen Drehratensensor, einen Neigungssensor usw. zur Erfassung von Längs- und Querbeschleunigung, Gier-, Roll- und/oder Nickraten oder anderen dynamikbezogenen Parametern handeln. Anhand der Daten von den Sensorvorrichtungen 62, 64, 66, 68 identifiziert die CPU 36 die Fahrbedingungen in der Umgebung, bestimmt die Fahrbahneigenschaften und die Oberflächenbeschaffenheit, identifiziert Zielobjekte innerhalb eines Erfassungsbereichs des Fahrzeugs, bestimmt Attribute des Zielobjekts, wie Größe, relative Position, Ausrichtung, Abstand, Annäherungswinkel, relative Geschwindigkeit usw., und führt auf der Grundlage dieser ausgeführten Operationen automatische Steuermanöver aus.
  • Diese Sensoren können über das gesamte Kraftfahrzeug 10 verteilt sein, und zwar in funktionsfähigen, ungehinderten Positionen in Bezug auf die Sicht nach vorn oder nach hinten oder auf der Backbord- oder Steuerbordseite des Fahrzeugs. Jeder Sensor erzeugt elektrische Signale, die ein Merkmal oder einen Zustand des Basisfahrzeugs oder eines oder mehrerer Zielobjekte anzeigen, im Allgemeinen als Schätzwert mit einer entsprechenden Standardabweichung. Die Betriebscharakteristiken dieser Sensoren sind im Allgemeinen komplementär, aber einige sind bei der Schätzung bestimmter Parameter zuverlässiger als andere. Die meisten Sensoren haben unterschiedliche Reichweiten und Erfassungsbereiche und sind in der Lage, verschiedene Parameter innerhalb ihres Arbeitsbereichs zu erfassen. Ein radargestützter Sensor kann beispielsweise die Reichweite, die Entfernungsrate und die Azimutposition eines Objekts schätzen, ist aber nicht unbedingt zuverlässig bei der Schätzung der Ausdehnung eines erkannten Objekts. Kameras mit optischer Verarbeitung hingegen können die Form und die Azimutposition eines Objekts besser einschätzen, sind aber weniger effizient bei der Schätzung von Reichweite und Entfernungsrate eines Zielobjekts. Ein LIDAR-Sensor mit Abtastung kann bei der Schätzung von Entfernung und Azimutposition effizient und genau arbeiten, ist aber möglicherweise nicht in der Lage, die Entfernungsrate genau zu schätzen, und kann daher bei der Erfassung/Erkennung neuer Objekte nicht genau sein. Ultraschallsensoren hingegen können zwar die Reichweite abschätzen, sind aber im Allgemeinen nicht in der Lage, die Entfernungsrate und die Azimutposition genau zu bestimmen. Außerdem kann die Leistung vieler Sensortechnologien durch unterschiedliche Umgebungsbedingungen beeinflusst werden. Folglich weisen die Sensoren im Allgemeinen parametrische Abweichungen auf, deren Überschneidungen Möglichkeiten für eine Sensorfusion bieten.
  • Um das elektrisch angetriebene Fahrzeug 10 anzutreiben, ist ein elektrifizierter Antriebsstrang in der Lage, ein Zugmoment zu erzeugen und an ein oder mehrere Räder 26 des Fahrzeugs zu übertragen. Der Antriebsstrang wird in 1 im Allgemeinen durch ein wiederaufladbares Energiespeichersystem (RESS) dargestellt, das in Form eines am Fahrgestell montierten Traktionsbatteriepakets 70 ausgeführt sein kann, das mit einem elektrischen Fahrmotor 78 verbunden ist. Das Traktionsbatteriepaket 70 besteht im Allgemeinen aus einem oder mehreren Batteriemodulen 72, die jeweils einen Stapel von Batteriezellen 74 aufweisen, wie z. B. Lithium-Ionen-, Lithium-Polymer- oder Nickel-Metallhydrid-Batteriezellen des Beutel-, Dosen- oder prismatischen Typs. Eine oder mehrere elektrische Maschinen, wie z. B. Fahrmotor-/Generatoreinheiten (M) 78, beziehen elektrische Energie aus dem Batteriesatz 70 des RESS und liefern optional elektrische Energie an diesen. Ein spezielles Wechselrichtermodul (PIM) 80 verbindet den Batteriesatz 70 elektrisch mit der/den Motor-/Generatoreinheit(en) 78 und moduliert die Übertragung des elektrischen Stroms zwischen diesen Einheiten. Die vorgestellten Konzepte sind in ähnlicher Weise auf HEV- und ICEbasierte Antriebsstrangarchitekturen anwendbar.
  • Der Batteriesatz 70 kann so konfiguriert werden, dass die Funktionen für die Modulverwaltung, die Zellenerfassung und die Kommunikation von Modul zu Modul oder von Modul zu Host direkt in jedes Batteriemodul 72 integriert sind und drahtlos über eine drahtlos arbeitende Zellenüberwachungseinheit (CMU) 76 erfolgen. Bei der CMLJ 76 kann es sich um eine Mikrocontroller-basierte, auf einer Leiterplatte (PCB) montierte Sensoranordnung handeln. Jede CMU 76 kann über einen GPS-Transceiver und RF-Fähigkeiten verfügen und kann auf oder in einem Batteriemodulgehäuse untergebracht sein. Die Batteriemodulzellen 74, die CMU 76, das Gehäuse, die Kühlmittelleitungen, die Stromschienen usw. bilden zusammen die Zellmodulbaugruppe.
  • Unter Bezugnahme auf das Flussdiagramm in 2 wird ein verbessertes Verfahren oder eine verbesserte Steuerstrategie für die Zielerfassung, Objekterkennung und 3D-Modellersetzung zur Erweiterung der Umgebungsansicht eines Host-Fahrzeugs, wie z. B. des Fahrzeugs 10 in 1, in Übereinstimmung mit den Aspekten der vorliegenden Offenbarung allgemein unter 100 beschrieben. Einige oder alle der in 2 dargestellten und nachstehend näher beschriebenen Vorgänge können für einen Algorithmus repräsentativ sein, der prozessorausführbaren Anweisungen entspricht, die beispielsweise in einem Haupt-, Hilfs- oder Fernspeicher (z. B, (z. B. Speichervorrichtung 38 von 1) gespeichert sind und z. B. von einem elektronischen Controller, einer Verarbeitungseinheit, einer Logikschaltung oder einem anderen Modul oder Gerät oder einem Netzwerk von Modulen/Geräten (z. B. CPU 36 und/oder Cloud-Computing-Dienst 24 von 1) ausgeführt werden, um eine oder alle der oben und unten beschriebenen Funktionen, die mit den offenbarten Konzepten verbunden sind, durchzuführen. Es sollte anerkannt werden, dass die Reihenfolge der Ausführung der dargestellten Operationsblöcke geändert werden kann, zusätzliche Operationsblöcke hinzugefügt werden können und einige der beschriebenen Operationen modifiziert, kombiniert oder eliminiert werden können.
  • Das Verfahren 100 von 2 beginnt am Startterminalblock 101 mit im Speicher abgelegten, prozessorausführbaren Anweisungen für ein programmierbares Steuergerät oder Steuermodul oder einen ähnlich geeigneten Prozessor zum Aufruf einer Initialisierungsprozedur für eine Kamerablick-Erweiterung durch ein universelles Objektmodell-Protokoll. Diese Routine kann in Echtzeit, nahezu in Echtzeit, kontinuierlich, systematisch, sporadisch und/oder in regelmäßigen Abständen ausgeführt werden, beispielsweise alle 10 oder 100 Millisekunden während des normalen und laufenden Betriebs des Kraftfahrzeugs 10. Als weitere Option kann der Terminalblock 101 als Reaktion auf eine Benutzerbefehlseingabe, eine Eingabeaufforderung durch ein residentes Fahrzeugsteuergerät oder ein Broadcast-Eingabesignal initialisiert werden, das von einem zentralisierten Fahrzeugdienstsystem „außerhalb des Fahrzeugs“ (z. B. Host-Cloud computing service 24) empfangen wird. Nach Abschluss der in 2 dargestellten Steuervorgänge kann das Verfahren 100 zur Endklemme 121 weitergehen und vorübergehend beendet werden, oder es kann optional zur Endklemme 101 zurückkehren und in einer Dauerschleife laufen.
  • Das Verfahren 100 geht vom Anschlussblock 101 zum Sensordaten-Eingabeblock 103 über, um Bilddaten von einem oder mehreren verfügbaren Fahrzeugsensoren zu erfassen. Das Fahrzeug 10 von 1 kann beispielsweise ursprünglich mit einer Frontkamera 102, die in der Nähe eines vorderen Endes der Fahrzeugkarosserie (z. B. an einer vorderen Kühlergrillabdeckung) angebracht ist, einer Heckkamera 104, die in der Nähe eines hinteren Endes der Fahrzeugkarosserie (z. B, an einer Heckklappe oder einem Kofferraumdeckel), und fahrer- und beifahrerseitige Kameras 106 bzw. 108, die jeweils in der Nähe einer entsprechenden seitlichen Seite der Fahrzeugkarosserie angebracht sind (z. B. an Steuerbord- und Backbordrückspiegeln). Gemäß dem gezeigten Beispiel erfasst die Frontkamera 102 nach vorne gerichtete Echtzeitansichten des Fahrzeugs (z. B. ein nach außen gerichtetes Sichtfeld vor der vorderen Stoßfängerbaugruppe), und die Rückkamera 104 erfasst nach hinten gerichtete Echtzeitansichten des Fahrzeugs (z. B. ein nach außen gerichtetes Sichtfeld hinter der hinteren Stoßfängerbaugruppe). In gleicher Weise erfasst die linke Seitenkamera 106 in Echtzeit Ansichten von der Backbordseite des Fahrzeugs (z. B. ein nach außen gerichtetes Sichtfeld quer zu einer fahrerseitigen Türbaugruppe), und die rechte Seitenkamera 108 erfasst in Echtzeit Ansichten von der Steuerbordseite des Fahrzeugs (z. B. ein nach außen gerichtetes Sichtfeld quer zu einer beifahrerseitigen Türbaugruppe). Jede Kamera erzeugt und gibt Signale aus, die ihre jeweilige Ansicht anzeigen. Diese Signale können direkt von den Kameras oder von einem Speichergerät abgerufen werden, das für den Empfang, die Sortierung und die Speicherung solcher Daten zuständig ist.
  • Nach der Aggregation, Filterung und Vorverarbeitung der empfangenen Bilddaten aus dem Sensordatenblock 103 leitet das Verfahren 100 ein Natural Surround Vision (NSV)-Protokoll ein, indem es einen vordefinierten Tiefen- und Segmentierungsprozess (Block 105) und einen vordefinierten Epipolar Reprojection-Prozess (Block 107) ausführt. Die Tiefeninferenz kann allgemein als ein Prozess bezeichnet werden, durch den die 3D-Struktur eines 2D-Bildes abgeleitet werden kann, indem jedem Bildpixel ein entsprechender Bereich (Tiefe) zugewiesen wird. Bei einer fahrzeugkalibrierten Kamera kann jedes Pixel über Richtungsinformationen verfügen, wobei eine Pixelposition in einem Bild einem Richtungsstrahl im 3D-Raum entspricht, z. B. definiert durch Pixelkoordinaten und kameraeigene Parameter. Durch Hinzufügen der Entfernung entlang dieses Strahls, die von einem speziell trainierten neuronalen Netz (z. B. unter Verwendung von Deep Learning Monocular Depth Estimation) abgeleitet werden kann, wird eine 3D-Position des Pixels im 3D-Raum ermittelt. In 2 kann ein 2D-Kamerabild 118, das von einer im Fahrzeug montierten Kamera 102, 104, 106, 108 ausgegeben wird, in ein computergestütztes Graustufenbild 118a umgewandelt werden, in dem ein Wert der Pixel, die mit einem bestimmten Ziel verbunden sind, einem einzigen Grauton zugeordnet wird, der eine durchschnittliche Lichtmenge dieser Pixel darstellt. Auf diese Weise wird die Abgrenzung der Pixeltiefe eines Zielobjekts von der eines anderen erleichtert. Zumindest in einigen Fällen wird das „Graustufenbild“ dem Fahrer nicht angezeigt und ist auch sonst für die Fahrzeuginsassen nicht sichtbar. Darüber hinaus kann jedem Pixel innerhalb eines bestimmten Bildsegments eine Nummer einer Klasse zugeordnet werden, in die es segmentiert ist.
  • Die Bildsegmentierung kann als ein Computer-Vision-Algorithmus bezeichnet werden, der ein 2D-Bild in diskrete Segmente unterteilt und die Segmente des zerlegten Bildes auswertet, um jedes verwandte Pixel mit ähnlichen Attributen in eine entsprechende Klasse zu gruppieren (z. B. werden alle Pixel eines Fahrradfahrers in eine Klasse gruppiert). Während der Segmentauswertung kann die Objekterkennung einen Begrenzungsrahmen (Bounding Box) erstellen, der jeder Klasse im Bild entspricht. In 2 kann ein 2D-Kamerabild 118, das von einer im Fahrzeug montierten Kamera 102, 104, 106, 108 ausgegeben wird, in ein computererweitertes Graustufenbild 118b umgewandelt werden, in dem allen Pixeln, die einem bestimmten Ziel zugeordnet sind, ein einziger Grauton zugewiesen wird. Dies erleichtert die Abgrenzung eines Zielobjekts von anderen im selben Bild enthaltenen Zielobjekten.
  • Für die Tiefeninferenz kann eine dichte Tiefenkarte aus Bilddaten geschätzt werden, die von den im Fahrzeug montierten Kameras 102, 104, 106 und/oder 108 eingegeben werden. Die dichte Tiefenkarte kann teilweise durch die Verarbeitung eines oder mehrerer Kamerabilder unter Verwendung eines tiefen neuronalen Netzes (DNN) geschätzt werden, das beispielsweise eine Encoder-Decoder-Architektur umfassen kann, die zur Erzeugung von Tiefendaten und semantischen Segmentierungsdaten programmiert ist. Das DNN kann auf der Grundlage einer Verlustfunktion trainiert werden, die Verlustterme wie Tiefenverlust, Tiefenglättungsverlust, semantischer Segmentierungsverlust und Panoramaverlust kombiniert. In diesem Beispiel ist die Verlustfunktion eine einzelne Multitasking-Lernverlustfunktion. Die von dem trainierten DNN ausgegebenen Tiefendaten können in einer Vielzahl von Fahrzeuganwendungen verwendet werden, z. B. zum Verbinden oder Zusammenfügen von Fahrzeugkamerabildern, zum Schätzen des Abstands zwischen dem Host und den erkannten Objekten, zur dichten Tiefenvorhersage, zum Ändern perspektivischer Ansichten und zum Erzeugen von Umgebungsansichten.
  • Die Bilddaten der Umgebungskameras des Fahrzeugs, bei denen es sich um hochauflösende Kameras mit großem Objektiv handeln kann (z. B. 180° + bei 1080p+ und 60/30fps+ Auflösung), können vom DNN verarbeitet werden, um die Konsistenz der Tiefenschätzung zu erzwingen. Ein PanoramaVerlustterm kann die Reprojektion der Bilder der Umgebungskameras auf einen gemeinsamen Blickpunkt als Teil der Verlustfunktion verwenden. Insbesondere kann ein Ähnlichkeitsmaß verwendet werden, das überlappende Bildfelder von benachbarten Kameras der Umgebung vergleicht. Das DNN verwendet Multi-Task-Lernen, um sowohl die Tiefen- als auch die semantische Segmentierung zu erlernen. Im Rahmen der Bewertung des Panoramaverlustterms können vordefinierte extrinsische und intrinsische Kameraparameter sowie die abgeleitete Tiefe verwendet werden, um eine 3D-Punktwolke zu erzeugen. Diese 3D-Punktwolke wird dann auf eine gemeinsame Ebene projiziert, um ein Panoramabild zu erhalten. Die Verlustbedingungen für das Panoramabild bewerten die Ähnlichkeit der sich überlappenden Regionen des Panoramabildes als Teil der Verlustfunktion. Die Verlustfunktion kann die Disparität, die Glättung, die semantische Segmentierung und den Panoramaverlust in einer einzigen Verlustfunktion kombinieren. Weitere Informationen zur Tiefenschätzung und Bildsegmentierung finden sich beispielsweise in der US-Patentanmeldung Nr. 17/198,954 von Albert Shalumov et al. mit dem Titel „Systems and Methods for Depth Estimation in a Vehicle“ (Systeme und Verfahren zur Tiefenschätzung in einem Fahrzeug), auf die hier in vollem Umfang und für alle Zwecke Bezug genommen wird.
  • Unter Verwendung der vom Sensordatenblock 103 ausgegebenen Bilddaten und der vom vordefinierten Prozessblock 105 ausgegebenen Bildtiefen- und Segmentierungsdaten kann der vordefinierte Prozessblock 107 für die epipolare Reprojektion die epipolare Geometrie verwenden, um die Projektion von 3D-Punkten im Raum zu 2D-Bildern zuzuordnen, um entsprechende Punkte in Multiview-Kamerabildern in Beziehung zu setzen. In einem nicht einschränkenden Beispiel kann ein Modul zur epipolaren Reprojektion die von einer oder mehreren physischen Kameras 102, 104, 106, 108 aufgenommenen Bilder und die den Pixeln in diesen aufgenommenen Bildern zugewiesenen Tiefeninformationen unter Verwendung eines gemeinsam angeordneten Tiefensensors verarbeiten. Die physische Ausrichtung jeder Kamera, die ein Bild aufgenommen hat, wird ermittelt; die epipolare Geometrie wird zwischen der physischen Kamera und der virtuellen Kamera festgelegt. Die Erzeugung des von der virtuellen Kamera ausgegebenen virtuellen Bildes kann die Neuabtastung der Pixeltiefeninformationen des aufgenommenen Bildes in epipolaren Koordinaten, die Identifizierung von Zielpixeln auf einer bestimmten epipolaren Linie der physischen Kamera, die Ableitung einer Disparitätskarte für eine epipolare Ausgangslinie der virtuellen Kamera und die Erzeugung des Ausgangsbildes auf der Grundlage einer oder mehrerer dieser epipolaren Ausgangslinien umfassen. Eine Systemsteuerung kann Orientierungsdaten für die physische(n) Kamera(s) und/oder den/die Tiefensensor(en) von einem Pose-Messsensor oder einem Pose-Schätzmodul erhalten. Zusätzliche Informationen über die Verwendung der epipolaren Reprojektion zur Erzeugung virtueller Kameraansichten finden sich beispielsweise in der US-Patentanmeldung Nr. 17/189,877 von Michael Slutsky et al. mit dem Titel „Using Epipolar Reprojection for Virtual View Perspective Change“, die durch Bezugnahme in vollem Umfang und für alle Zwecke in dieses Dokument aufgenommen wird.
  • Im Anzeigeblock 109 für virtuelle Bilddaten werden ein oder mehrere virtuelle Bilder aus einer oder mehreren alternativen Perspektiven einer oder mehrerer virtueller Kameras aus den epipolaren Reprojektionsdaten erzeugt, die im vordefinierten Prozessblock 107 ausgegeben wurden. So zeigt beispielsweise ein erstes virtuelles Bild 116a aus einer Verfolgerperspektive in der dritten Person (z. B. so, als würde man ein Host-Fahrzeug 110 von einem direkt hinter dem Host-Fahrzeug 110 befindlichen Folgefahrzeug aus betrachten) ein Zielobjekt 112, das durch einen Begrenzungskasten 114 abgegrenzt ist und an ein fahrerseitiges Kotflügelblech des Host-Fahrzeugs 110 angrenzt. Ein zweites virtuelles Bild 116b aus der gleichen virtuellen Perspektive kann erstellt werden, um das Zielobjekt 112 außerhalb des Begrenzungsrahmens 114 zu zeigen. Eines oder beide dieser Bilder 116a, 116b können einem Insassen eines Host-Fahrzeugs präsentiert werden (z. B. auf dem Videoanzeigegerät 18 oder der Telematikeinheit 14 von 1).
  • Vor, gleichzeitig mit oder nach der Ausführung des NSV-Protokolls leitet das Verfahren 100 ein Protokoll zur Erweiterung der Umgebungsansicht ein, indem es einen vordefinierten Prozessblock 111 zur Objektklassifizierung und Orientierungsableitung ausführt. Unter Verwendung des/der erfassten BildesBilder 118 der Umgebungsansicht des Host-Fahrzeugs identifiziert ein Objektklassifizierungsmodul ein oder mehrere Zielobjekte (z. B. einen Fußgänger 112) innerhalb des Bildes und ordnet dann jedes Ziel einer entsprechenden Klasse aus einem Sortiment vordefinierter Klassen zu (z. B. motorisierte Fahrzeuge, gehende Fußgänger, Radfahrer und andere Fußgänger auf Rädern, Laternenpfähle und andere Beschilderungen, Haustiere und andere Tiere usw.). Als nicht einschränkendes Beispiel analysiert ein KI-NN mehrere 2D-Bilder, die von einer einzelnen Fahrzeugkamera oder mehreren Fahrzeugkameras erzeugt wurden, um potenzielle Ziele zu lokalisieren, Merkmale innerhalb des Bildes/der Bilder für jedes potenzielle Ziel abzugrenzen und diese Merkmale dann systematisch mit entsprechenden Modellsammlungssätzen zu verknüpfen, um jedes potenzielle Ziel entsprechend zu charakterisieren. Obwohl sie beispielsweise als 2D-Bild dargestellt werden, sind fast alle Objekte innerhalb eines aufgenommenen Bildes von Natur aus dreidimensional.
  • Während der Objektklassifizierung im vordefinierten Prozessblock 111 leitet ein Orientierungsinferenzmodul eine entsprechende Orientierung für jedes der Zielobjekte im 3D-Raum relativ zum Host-Fahrzeug ab. Im Allgemeinen kann es nicht ausreichen, ein potenzielles Zielobjekt nur zu erkennen, ohne es der entsprechenden Objektklasse zuzuordnen. Um ein Zielobjekt ordnungsgemäß durch ein computergeneriertes 3D-Objektmodell zu ersetzen, wird das Ziel, wie weiter unten beschrieben, im Raum ausgerichtet, z. B. relativ zu einer vordefinierten Ursprungsachse der Fahrzeugsensoranordnung. Als nicht einschränkendes Beispiel klassifiziert ein neuronales Faltungsnetzwerk einen Blickwinkel des Fahrzeugs innerhalb des Bildes (z. B. vorne, hinten, Backbord, Steuerbord), indem es Begrenzungsrahmen um Zielfahrzeuge in der Nähe des Host-Fahrzeugs erzeugt und eine Fahrtrichtung für jedes Zielfahrzeug relativ zum Host-Fahrzeug ableitet. Unter Verwendung des relativen Blickwinkels des Host-Fahrzeugs und eines großen Zieldatensatzes kann das Orientierungserkennungsmodul die Ausrichtung dieser Zielfahrzeuge relativ zum Host-Fahrzeug ermitteln. Position, Größe und Ausrichtung des Zielobjekts können auch mit Hilfe eines einzigen monokularen Bildes und einer inversen perspektivischen Abbildung geschätzt werden, um die Entfernungen zu bestimmten Teilen des Bildes zu ermitteln. Insbesondere werden die Nick- und Rollbewegungen der Kamera(s) mit Hilfe einer Trägheitsausgleichseinheit ausgeglichen; ein korrigiertes Kamerabild wird dann mit Hilfe der inversen perspektivischen Abbildung projiziert (z. B. durch eine Vogelperspektive). Ein Faltungs-NN erfasst gleichzeitig Positions-, Größen- und Orientierungsdaten des Fahrzeugs. Ein vorhergesagter Orientierungsrahmen aus der Vogelperspektive wird durch eine inverse Projektionsmatrix umgewandelt. Durch diesen Prozess kann das projizierte Bild aus der Vogelperspektive so ausgerichtet werden, dass es parallel und linear zu einer x-y-Ebene eines universellen Koordinatensystems verläuft, anhand dessen die Ausrichtung des Zielobjekts beurteilt werden kann.
  • Sobald das Zielobjekt im vordefinierten Prozessblock 111 klassifiziert ist, ruft das Verfahren 100 prozessorausführbare Anweisungen des vordefinierten Prozessblocks 113 „Objektabruf“ auf, um ein computergeneriertes 3D-Objektmodell abzurufen, das universell zu dem Modellsammlungssatz gehört, der dem klassifizierten Typ des Zielobjekts zugeordnet ist. Beispielsweise kann das Fahrzeugsensorsystem ein 3D-Objektmodell aus einer gespeicherten 3D-Objektbibliothek „abrufen“, indem es einen „Schlüssel“ für das 3D-Objektmodell angibt; eine geeignete Datenbankverwaltungssystem (DBMS)-Routine holt dann das diesem Schlüssel zugeordnete 3D-Objekt aus der Modellsammlungsdatenbank ab. Häufig anzutreffende und wiedererkennbare Objekte wie Fahrzeuge, Fußgänger, Fahrräder, Laternenpfähle usw. werden zu entsprechenden Objektsätzen zusammengefasst, die anschließend aus der Modellsammlungsdatenbank abgerufen werden. Jedem Objektsatz innerhalb der Sammlung kann dann ein „universelles“ 3D-Objektmodell zugewiesen werden, das ein Zielobjekt aus einem Kamerabild in einem virtuellen (AR-)Bild ersetzt. So können beispielsweise alle Zielfahrzeuge, die über entsprechende Fahrzeugmerkmale (z. B. Räder, Fenster, Rückspiegel usw.) verfügen und in einen bestimmten Größenbereich für Limousinenfahrzeuge (z. B. ca. 13-16 Fuß Länge) passen, einem entsprechenden Objektsatz „Limousinenfahrzeug“ zugeordnet und durch ein 3D-Modell eines einfachen Limousinenfahrzeugs ersetzt werden. Ebenso können alle Fußgänger, die entsprechende menschliche Merkmale aufweisen (z. B. Kopf, Füße, Arme, Rumpf, Beine usw.) und in den Größenbereich eines „großen Erwachsenen“ passen (z. B. über 1,50 m), einem entsprechenden Objektsatz „großer Erwachsener“ zugeordnet und durch ein 3D-Modell eines einfachen großen erwachsenen Menschen 112a ersetzt werden.
  • Im Nutzungsprotokoll-Eingabe-/Ausgabedatenblock 117 kann ein Benutzer oder Insasse des Host-Fahrzeugs eines der oben beschriebenen Eingabegeräte (z. B. die Benutzereingabesteuerungen 32 des Fahrzeugs 10 von 1) oder ein persönliches Computergerät (z. B. Smartphone, Laptop, Tablet-Computer usw.) verwenden, um ein Avatar-Nutzungsprotokoll zu definieren. Ein benutzerdefiniertes Avatar-Nutzungsprotokoll kann einen oder mehrere Regelsätze enthalten, die festlegen, wie ein Zielobjekt, wenn überhaupt, durch ein 3D-Objektmodell ersetzt wird. Im Allgemeinen kann ein Treiber in die Lage versetzt werden, einen benutzerdefinierten Satz von Regeln einzugeben, die bestimmen, wie und wann Zielobjekte in einer umgebenden Kameraansicht durch ein computergrafisches Bild ersetzt werden, einschließlich des „Look and Feel“ dieses Ersatzbildes. In diesem Zusammenhang kann der Fahrer das 3D-Objektmodell, das einem bestimmten Sammlungssatz zugewiesen wird, oder die Merkmale dieses 3D-Objektmodells auswählen. In diesem Zusammenhang kann der Fahrer die Möglichkeit haben, die Zielobjekt-Ersetzungsfunktion zu deaktivieren, ihre Verwendung auf bestimmte Objekte zu beschränken, ihre Verwendungsdauer zu begrenzen, ihre Verwendung auf bestimmte Fahrbedingungen zu beschränken, ihre Verwendung auf bestimmte Fahreinstellungen zu beschränken usw.
  • Das Verfahren 100 geht vom Prozessblock 113 zum vordefinierten Prozessblock 115 „Rendering-Parameter“ über, um Rendering-Parameter für das 3D-Objektmodell zu berechnen, das das Zielobjekt im virtuellen Bild der virtuellen Kameraansicht ersetzen wird. Gemäß dem dargestellten Beispiel ermittelt ein Objektrenderingmodul eine geschätzte Größe des zu ersetzenden Zielobjekts 112, eine geschätzte Position des Zielobjekts 112 innerhalb der Umgebungsansicht des Host-Fahrzeugs und eine geschätzte Orientierung des Zielobjekts 112 relativ zum Host-Fahrzeug 110. Unter Verwendung der geschätzten Größe, Position und Ausrichtung des Zielobjekts rendert eine Computergrafikroutine eine 2D-Projektion des 3D-Objektmodells 112a mit entsprechender Größe, Position und Ausrichtung auf dem Bild und legt das 3D-Objektmodell 112a an der richtigen Stelle auf dem virtuellen Bild ab.
  • Im Anzeigeblock 119 für virtuelle Bilddaten wird aus den vom vordefinierten Prozessblock 107 ausgegebenen epipolaren Reprojektionsdaten und den vom vordefinierten Prozessblock 117 ausgegebenen Rendering-Parameterdaten ein virtuelles Bild aus einer alternativen Perspektive einer virtuellen Kamera erzeugt. Beispielsweise zeigt ein drittes virtuelles Bild 116c aus einer „Dashcam“-Perspektive der dritten Person ein 3D-Objektmodell 112a, das in das virtuelle Bild neben dem fahrerseitigen Kotflügel des Host-Fahrzeugs 110 eingefügt wurde. Als weitere Option kann ein ADC-Modul, das den Betrieb des Kraftfahrzeugs per Computer steuert, ein Fahrzeugmanöver auf der Grundlage eines virtuellen Bildes steuern, das das 3D-Objektmodell enthält. Optional kann ein ASAS-Modul, das den Betrieb des Kraftfahrzeugs computergesteuert regelt, ein Fahrzeugmanöver unter Verwendung des virtuellen Bildes ausführen. An dieser Stelle kann das Verfahren 100 zum Anschlussblock 121 weitergehen und vorübergehend beendet werden.
  • Aspekte dieser Offenbarung können in einigen Ausführungsformen durch ein computerausführbares Programm von Anweisungen, wie z. B. Programmmodulen, implementiert werden, die allgemein als Softwareanwendungen oder Anwendungsprogramme bezeichnet werden und von einem beliebigen Steuergerät oder den hier beschriebenen Steuerungsvarianten ausgeführt werden. Software kann, in nicht einschränkenden Beispielen, Routinen, Programme, Objekte, Komponenten und Datenstrukturen umfassen, die bestimmte Aufgaben ausführen oder bestimmte Datentypen implementieren. Die Software kann eine Schnittstelle bilden, die es dem Computer ermöglicht, entsprechend einer Eingabequelle zu reagieren. Die Software kann auch mit anderen Codesegmenten zusammenarbeiten, um als Reaktion auf empfangene Daten in Verbindung mit der Quelle der empfangenen Daten eine Vielzahl von Aufgaben auszulösen. Die Software kann auf einer Vielzahl von Speichermedien wie CD-ROM, Magnetplatte und Halbleiterspeicher (z. B. verschiedene Arten von RAM oder ROM) gespeichert werden.
  • Darüber hinaus können Aspekte der vorliegenden Offenbarung mit einer Vielzahl von Computersystem- und Computernetzkonfigurationen praktiziert werden, einschließlich Multiprozessorsystemen, mikroprozessorbasierter oder programmierbarer Unterhaltungselektronik, Minicomputern, Großrechnern und dergleichen. Darüber hinaus können Aspekte der vorliegenden Offenbarung in verteilten Computerumgebungen angewandt werden, in denen Aufgaben von stationären und entfernten Verarbeitungsgeräten ausgeführt werden, die über ein Kommunikationsnetz verbunden sind. In einer Umgebung mit verteilter Datenverarbeitung können sich Programmmodule sowohl in lokalen als auch in entfernten Computerspeichermedien, einschließlich Speichergeräten, befinden. Aspekte der vorliegenden Offenbarung können daher in Verbindung mit verschiedener Hardware, Software oder einer Kombination davon in einem Computersystem oder einem anderen Verarbeitungssystem implementiert werden.
  • Jedes der hier beschriebenen Verfahren kann maschinenlesbare Anweisungen zur Ausführung durch (a) einen Prozessor, (b) einen Controller und/oder (c) ein anderes geeignetes Verarbeitungsgerät enthalten: (a) einem Prozessor, (b) einem Steuergerät und/oder (c) jeder anderen geeigneten Verarbeitungsvorrichtung. Jeder hier offenbarte Algorithmus, jede Software, Steuerlogik, jedes Protokoll oder Verfahren kann als Software verkörpert sein, die auf einem greifbaren Medium gespeichert ist, wie z. B. einem Flash-Speicher, einem Solid-State-Drive-Speicher (SSD), einem Festplattenspeicher (HDD), einer CD-ROM, einer Digital Versatile Disk (DVD) oder anderen Speichergeräten. Der gesamte Algorithmus, die Steuerlogik, das Protokoll oder das Verfahren und/oder Teile davon können alternativ von einem anderen Gerät als einem Controller ausgeführt werden und/oder in Firmware oder dedizierter Hardware in einer verfügbaren Art und Weise verkörpert sein (z. B. implementiert durch eine anwendungsspezifische integrierte Schaltung (ASIC), ein programmierbares Logikgerät (PLD), ein feldprogrammierbares Logikgerät (FPLD), diskrete Logik usw.). Obwohl spezifische Algorithmen unter Bezugnahme auf die hier dargestellten Flussdiagramme und/oder Arbeitsablaufdiagramme beschrieben werden können, können alternativ auch viele andere Methoden zur Implementierung der beispielhaften maschinenlesbaren Anweisungen verwendet werden.
  • Aspekte der vorliegenden Offenbarung wurden ausführlich unter Bezugnahme auf die abgebildeten Ausführungsformen beschrieben; der Fachmann wird jedoch erkennen, dass viele Modifikationen daran vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Die vorliegende Offenbarung ist nicht auf die genaue Konstruktion und die hierin offenbarten Zusammensetzungen beschränkt; alle Modifikationen, Änderungen und Variationen, die aus den vorstehenden Beschreibungen ersichtlich sind, liegen im Rahmen der Offenbarung, wie sie durch die beigefügten Ansprüche definiert ist. Darüber hinaus schließen die vorliegenden Konzepte ausdrücklich alle Kombinationen und Unterkombinationen der vorangehenden Elemente und Merkmale ein.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 17/198954 [0037]
    • US 17189877 [0038]

Claims (10)

  1. Ein Verfahren zur Steuerung des Betriebs eines Kraftfahrzeugs mit einer Sensoranordnung, die ein Netzwerk von Kameras umfasst, die an diskreten Stellen des Kraftfahrzeugs angebracht sind, wobei das Verfahren umfasst: Empfangen von Kameradaten, die ein Kamerabild mit einem Zielobjekt aus einer Kameraperspektive einer der Kameras anzeigen, über eine elektronische Systemsteuerung von der Sensoranordnung; Analysieren des Kamerabildes über die Systemsteuerung unter Verwendung eines Objekterkennungsmoduls, um Merkmale des Zielobjekts zu identifizieren und die Merkmale einem entsprechenden von mehreren Modellsammlungssätzen zuzuordnen, die mit einem Typ des Zielobjekts verbunden sind; Abrufen eines 3D-Objektmodells, das universell für den entsprechenden Modellsammlungssatz ist, der mit dem Typ des Zielobjekts assoziiert ist, über den Controller aus einer im Speicher gespeicherten Objektbibliothek; und Erzeugen eines neuen virtuellen Bildes von einem gewählten Standpunkt aus unter Verwendung von Kameradaten von mindestens einer Fahrzeugkamera und Ersetzen des Zielobjekts in dem virtuellen Bild durch das 3D-Objektmodell, das in einer bestimmten Ausrichtung positioniert ist.
  2. Verfahren nach Anspruch 1, das ferner umfasst: Aufteilung des Kamerabildes in eine Vielzahl von unterschiedlichen Segmenten über die Systemsteuerung unter Verwendung eines Bildsegmentierungsmoduls; und Auswertung der Segmente, um die darin enthaltenen Pixel in entsprechende Klassen mehrerer vordefinierter Klassen einzuteilen.
  3. Verfahren nach Anspruch 2, wobei das Bildsegmentierungsmodul einen Computer-Vision-Algorithmus ausführen kann, der jedes der verschiedenen Segmente einzeln analysiert, um die Pixel in dem Segment zu identifizieren, die ein vordefiniertes Attribut teilen.
  4. Verfahren nach Anspruch 2, das ferner umfasst, dass über die Systemsteuerung unter Verwendung eines Tiefeninferenzmoduls eine jeweilige dichte Tiefe für jedes der Pixel abgeleitet wird, die den physischen Kamerabildern entspricht.
  5. Verfahren nach Anspruch 4, wobei das Tiefeninferenzmodul so betrieben werden kann, zum: Empfangen zusätzlicher Kameradaten, die auf überlappende Kamerabilder mit dem Zielobjekt aus mehreren Kameraperspektiven von mehreren der Kameras hinweisen; und Verarbeiten der zusätzlichen Kameradaten durch ein neuronales Netzwerk, das trainiert wurde, um Tiefendaten und semantische Segmentierungsdaten unter Verwendung einer Verlustfunktion auszugeben, die mehrere Verlustterme kombiniert, einschließlich eines semantischen Segmentierungsverlustterms und eines Panoramaverlustterms, wobei der Panoramaverlustterm ein Ähnlichkeitsmaß für überlappende Bereiche der Kameradaten enthält, die jeweils einem Bereich überlappender Sichtfelder der mehreren Kameras entsprechen.
  6. Verfahren nach Anspruch 4 umfasst ferner die Erzeugung eines virtuellen Bildes aus einer alternativen Perspektive einer virtuellen Kamera durch die Systemsteuerung unter Verwendung eines epipolaren Reprojektionsmoduls, wobei das neue Bild das virtuelle Bild ist.
  7. Verfahren nach Anspruch 6, wobei das epipolare Reprojektionsmodul betrieben werden kann, zum: Erhalten einer Echtzeitausrichtung der Kamera bei der Aufnahme des Kamerabildes; Empfangen einer gewünschten Ausrichtung der virtuellen Kamera zur Darstellung des Zielobjekts aus der alternativen Perspektive im virtuellen Bild; und Definieren einer epipolaren Geometrie zwischen der Echtzeitausrichtung der Kamera und der gewünschten Ausrichtung der virtuellen Kamera, wobei das virtuelle Bild auf der Grundlage einer berechneten epipolaren Beziehung zwischen der Echtzeitausrichtung der Kamera und der gewünschten Ausrichtung der virtuellen Kamera erzeugt wird.
  8. Verfahren nach Anspruch 1, das ferner umfasst: Schätzen einer Orientierung des Zielobjekts im 3D-Raum relativ zu einer vordefinierten Ursprungsachse des Sensorarrays über die Systemsteuerung unter Verwendung eines Objektorientierungs-Inferenzmoduls; und Bestimmung der eindeutigen Ausrichtung des 3D-Objektmodells innerhalb des neuen Bildes unter Verwendung der geschätzten Ausrichtung des Zielobjekts im 3D-Raum.
  9. Verfahren nach Anspruch 1, das ferner das Empfangen von Avatar-Nutzungsprotokollen mit einem Regelsatz, der definiert, wie und/oder wann das Zielobjekt durch das 3D-Objektmodell ersetzt wird, über die Systemsteuerung von einem Insasseneingabegerät des Kraftfahrzeugs umfasst, wobei das Erzeugen des neuen Bildes ferner auf den Avatar-Nutzungsprotokollen basiert.
  10. Verfahren nach Anspruch 1, das ferner umfasst: Bestimmen von Größe, Ort und Ausrichtung des Zielobjekts; und Berechnen von Rendering-Parametern für das 3D-Objektmodell unter Verwendung der Größe, des Ortes und der Ausrichtung des Zielobjekts, wobei die Rendering-Parameter eine 2D-Projektion des 3D-Objektmodells in dem neuen Bild umfassen, wobei das Erzeugen des neuen Bildes ferner auf den berechneten Rendering-Parametern basiert.
DE102022123822.9A 2021-11-17 2022-09-16 Intelligente fahrzeugsysteme und steuerungslogik für die erweiterung der umgebungssicht durch erkennung von objektmodellen Pending DE102022123822A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/528,715 2021-11-17
US17/528,715 US11691566B2 (en) 2021-11-17 2021-11-17 Intelligent vehicle systems and control logic for surround view augmentation with object model recognition

Publications (1)

Publication Number Publication Date
DE102022123822A1 true DE102022123822A1 (de) 2023-05-17

Family

ID=86144346

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022123822.9A Pending DE102022123822A1 (de) 2021-11-17 2022-09-16 Intelligente fahrzeugsysteme und steuerungslogik für die erweiterung der umgebungssicht durch erkennung von objektmodellen

Country Status (3)

Country Link
US (1) US11691566B2 (de)
CN (1) CN116137655A (de)
DE (1) DE102022123822A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240095997A1 (en) * 2022-09-21 2024-03-21 Qualcomm Incorporated Systems and methods of image reprojection
CN117097878B (zh) * 2023-10-16 2024-07-09 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991551B2 (en) * 2008-11-06 2011-08-02 Ford Global Technologies, Llc System and method for determining a collision status of a nearby vehicle
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
US9626766B2 (en) * 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
US9530218B2 (en) * 2014-04-04 2016-12-27 Hrl Laboratories, Llc Method for classification and segmentation and forming 3D models from images
US10977865B2 (en) * 2015-08-04 2021-04-13 Seyed-Nima Yasrebi Augmented reality in vehicle platforms
US20210237716A1 (en) 2020-02-03 2021-08-05 GM Global Technology Operations LLC Intelligent vehicles, control logic, and advanced park assist systems with camera-based automated vehicle alignment
US11225153B2 (en) 2020-02-03 2022-01-18 GM Global Technology Operations LLC Intelligent vehicles with advanced vehicle camera systems for underbody hazard and foreign object detection

Also Published As

Publication number Publication date
CN116137655A (zh) 2023-05-19
US11691566B2 (en) 2023-07-04
US20230150429A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
DE102018121597B4 (de) Boden-referenzbestimmung für den betrieb von autonomen fahrzeugen
DE102019104482B4 (de) Verfahren und computerimplementiertes System zum Steuern eines autonomen Fahrzeugs
DE102018109366B4 (de) Verfahren zur lichtsignalanlagenerfassung
DE102019108645B4 (de) Verfahren und vorrichtung zur erzeugung von situationswahrnehmungsgrafiken unter verwendung von kameras von verschiedenen fahrzeugen
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE112019006484T5 (de) Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102019112038A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE102019111402A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
DE102019111390A1 (de) Automatisierte antriebssysteme und steuerlogik mit sensorfusion zur intelligenten fahrzeugsteuerung
DE102018116107A1 (de) Kalibrierungsverfahren für den betrieb von autonomen fahrzeugen
DE112017001322T5 (de) Signalverarbeitungsvorrichtung und Signalverarbeitungsverfahren
DE102022123822A1 (de) Intelligente fahrzeugsysteme und steuerungslogik für die erweiterung der umgebungssicht durch erkennung von objektmodellen
DE102018105140A1 (de) Objektverfolgung
DE102021100551A1 (de) Intelligente fahrzeuge mit fahrzeugkamerasystemen zur unterbaugefahr- und fremdobjektkennung
DE102018107754A1 (de) Objektverfolgung
DE102019133703A1 (de) Verfahren und systeme zur herstellung und lokalisierung für ein fahrzeug
DE102018117429A1 (de) Klassifizierungsverfahren und -systeme
DE102018129063A1 (de) Systeme und verfahren zur freiraum-inferenz zum brechen von geclusterten objekten in fahrzeugwahrnehmungssystemen
DE112017005385T5 (de) Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren
DE102020103030A1 (de) Adaptives sensorsystem für fahrzeuge und verfahren zum betreiben desselben
DE112021001882T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102018114328A1 (de) Systeme und Verfahren zur externen Warnung durch ein autonomes Fahrzeug
DE102022126313A1 (de) Verfahren und Systeme zur Ausrichtung einer Kamera zum Boden

Legal Events

Date Code Title Description
R012 Request for examination validly filed