DE102019115676A1 - Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene - Google Patents

Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene Download PDF

Info

Publication number
DE102019115676A1
DE102019115676A1 DE102019115676.9A DE102019115676A DE102019115676A1 DE 102019115676 A1 DE102019115676 A1 DE 102019115676A1 DE 102019115676 A DE102019115676 A DE 102019115676A DE 102019115676 A1 DE102019115676 A1 DE 102019115676A1
Authority
DE
Germany
Prior art keywords
vehicle
data
level
cloud
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019115676.9A
Other languages
English (en)
Other versions
DE102019115676B4 (de
Inventor
Fan Bai
Mohannad Murad
Douglas C. Martin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102019115676A1 publication Critical patent/DE102019115676A1/de
Application granted granted Critical
Publication of DE102019115676B4 publication Critical patent/DE102019115676B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren und System zum Sammeln von Fahrzeug-Videodaten, Verarbeiten der Fahrzeug-Videodaten und Bereitstellen der verarbeiteten Daten an eine Cloud-Ebene, die die Szene rekonstruiert, die das Fahrzeug antrifft. Durch Rekonstruieren der angetroffenen Szene in der Cloud-Ebene können eine Vielfalt von Befehlen für dieses Fahrzeug oder andere Fahrzeuge in der Nähe erzeugt werden, wo die Befehle die Zustände ansprechen, die von den Fahrzeugen erfahren werden. Dies kann insbesondere für autonome oder teilautonome Fahrzeuge nützlich sein. Wenn die rekonstruierte Szene nicht ausreichend genau oder detailliert ist, können ein oder mehrere Datenextraktionsparameter so eingestellt werden, dass zusätzliche Daten an die Cloud-Ebene bereitgestellt werden; wenn die Szene hinreichend genau ist, dann können die Datenextraktionsparameter so eingestellt werden, dass weniger Daten an die Cloud-Ebene bereitgestellt werden, womit unnötige Mobilfunkdatengebühren reduziert werden.

Description

  • TECHNISCHES GEBIET
  • Ausführungsbeispiele beziehen sich auf das Sammeln von Daten in einem Fahrzeug und die Verarbeitung der Daten in einer Cloud-basierten Einrichtung und, insbesondere, auf ein System und ein Verfahren, welche die Erfassung und Verarbeitung von Daten, zum Beispiel Fahrzeug-Videodaten, in einer effizienteren Weise ermöglichen.
  • EINLEITUNG
  • Moderne Fahrzeuge sammeln, verarbeiten und speichern eine immer größer werdende Datenmenge. Dies gilt insbesondere im Zusammenhang mit autonomen oder teilautonomen Fahrzeugen, da die Cloud-basierten Systeme zur Steuerung und Koordination dieser Fahrzeuge eine übermäßige Menge von Daten zur Durchführung ihrer zahlreichen Aufgaben erfordern, von denen viele schnell und mit geringer Latenz durchgeführt werden müssen.
  • Eine Herausforderung bei solchen Systemen betrifft die Verwaltung des Austauschs solcher großer Datenmengen, und dies in zügiger und kostengünstiger Art und Weise. Wenn zum Beispiel eine Flotte von autonomen oder teilautonomen Fahrzeugen etablierte drahtlose Systeme zum Austausch solcher Daten verwendet, dann fallen wahrscheinlich Mobilfunkdatengebühren auf der Grundlage der Datenmenge an. Diese Mobilfunkdatengebühren können recht erheblich werden, insbesondere, wenn die Menge der ausgetauschten Daten pro Fahrzeug groß ist und über eine gesamte Flotte von solchen Fahrzeugen multipliziert wird.
  • Das hier offenbarte Verfahren und System wurden entworfen, um diese Probleme anzugehen.
  • KURZDARSTELLUNG
  • Gemäß einem Aspekt wird ein Verfahren zur Rekonstruktion einer Fahrzeug-Szene mit einem Cloud-basierten System bereitgestellt, wobei das Cloud-basierte System eine Fahrzeug-Ebene, eine Fog-Ebene und eine Cloud-Ebene umfasst, wobei das Verfahren die folgenden Schritte umfasst: Erfassen der Fahrzeug-Videodaten mit einer oder mehreren Fahrzeugkamera(s); Verarbeitung der Fahrzeug-Videodaten mit einer oder mehreren Datenextraktionstechnik(en), die Datenextraktionstechnik(en) erfolgen gemäß einem oder mehreren der Datenextraktionsparameter; Senden der verarbeiteten Videodaten an die Fog-Ebene und/oder die Cloud-Ebene; Senden der Indexdaten an die Fog-Ebene und/oder die Cloud-Ebene; Rekonstruktion der Fahrzeug-Szene in der Cloud-Ebene unter Verwendung der verarbeiteten Videodaten und der Indexdaten; Auswerten der rekonstruierten Fahrzeug-Szene in der Cloud-Ebene, um zu ermitteln, ob mehr oder weniger Daten aus der Fahrzeug-Ebene benötigt werden; und Durchführung von Einstellungen an dem/den Datenextraktionsparameter(n), der/die von Fahrzeug-Ebene verwendet wird/werden, wobei die Einstellungen auf der Ermittlung basieren, ob mehr oder weniger Daten von der Fahrzeug-Ebene benötigt werden.
  • Gemäß verschiedenen Ausführungsformen kann dieses Verfahren ferner eine der folgenden Merkmale oder jede technisch umsetzbare Kombination einiger oder aller dieser Merkmale einschließen:
    • • mindestens eine Datenextraktionstechnik, die gewählt ist aus einer Liste bestehend aus: einer Zeitbereichs-Downsampling-Technik, einer Pixelbereichs-Downsampling-Technik oder einer Merkmalbereichs-Downsampling-Technik;
    • • die Datenextraktionstechnik ist eine Zeitbereichs-Downsampling-Technik und der Datenextraktionsparameter ist eine zeitbasierte Abtastrate, und wobei das Verfahren die Fahrzeug-Videodaten reduziert, die über ein drahtloses Trägersystem durch Verwendung der zeitbasierten Abtastrate an die Cloud-Ebene übertragen werden, um die Anzahl der individuellen Videobilder zu reduzieren;
    • • die Datenextraktionstechnik ist eine Pixelbereichs-Downsampling-Technik und der Datenextraktionsparameter schließt mindestens einen Parameter ein, der gewählt ist aus einer Liste bestehend aus: Bildauflösung, Bildfarbtiefe, Bildsichtfeld (FOV, field-of-view), Bildkompression oder Bildtyp, und wobei das Verfahren die Fahrzeug-Videodaten reduziert, die über ein drahtloses Trägersystem unter Verwendung mindestens eines Parameters an die Cloud-Ebene übertragen werden, um die Informationsmenge pro einzelnem Videobild zu reduzieren;
    • • die Extraktionstechnik ist eine Merkmalbereichs-Downsampling-Technik und der Datenextraktionsparameter schließt mindestens einen Parameter ein, der gewählt ist aus einer Liste bestehend aus: einer Anzahl von Objekten oder Merkmalen, einer Anzahl von Objekt oder Merkmal-Datenpunkte, eine Abtastrate von Objekten oder Merkmalen oder eine Technik zur Umwandlung oder Projektion von Originaldaten in eine orthogonale Zeitreihe, und wobei das Verfahren die Fahrzeug-Videodaten reduziert, die über eine drahtlose Trägersystem unter Verwendung des mindestens einen Parameters an die Cloud-Ebene übertragen werden, um nur bestimmte Objekte oder Merkmale innerhalb der einzelnen Videobilder zu verfolgen;
    • • das Senden der verarbeiteten Videodaten umfasst ferner das Senden der verarbeiteten Videodaten von der Fahrzeug-Ebene an die Fog-Ebene über eine drahtlose Trägersystem, und Senden der verarbeiteten Videodaten von der Fog-Ebene an die Cloud-Ebene;
    • • das Senden des verarbeiteten Videodaten-Schritts umfasst ferner das Zwischenspeichern zumindest einiger der verarbeiteten Videodaten auf der Fog-Ebene;
    • • das Senden des Indexdaten-Schritts umfasst ferner das Senden der Indexdaten von der Fahrzeug-Ebene an die Fog-Ebene und/oder die Cloud-Ebene über ein drahtloses Trägersystem;
    • • Isolieren der verarbeiteten Videodaten aus den Indexdaten, sodass eine Datenebene getrennt von einer Steuerebene aufrechterhalten wird;
    • • das Senden des Indexdaten-Schritts umfasst ferner das Senden mindestens eines Teils der Indexdaten, die gewählt sind aus einer Liste bestehend aus: Kontextdaten, Inhalts- oder Etikettendaten, Suchdaten, Abrufdaten, Indexbefehlen oder Steuerbefehlen;
    • • der Rekonstruktionsschritt umfasst ferner das Suchen und Abrufen verarbeiteter Videodaten von der Fog-Ebene und Indexdaten von der Cloud-Ebene, die zuvor gespeichert wurden, um die Fahrzeug-Szene in der Cloud-Ebene zu rekonstruieren, wobei die zuvor gespeicherten Daten, basierend auf einem Standort der Fahrzeug-Szene, der rekonstruiert wird, abgerufen werden;
    • • die gespeicherten Daten werden von einer Vielzahl von Fahrzeugen bereitgestellt, die zuvor durch den Standort der rekonstruierten Fahrzeug-Szene fuhren;
    • • der Beurteilungsschritt umfasst ferner das Bewerten der rekonstruierten Fahrzeug-Szene durch Erzeugen einer Vertrauensniveau-Bewertung, die das Vertrauen des Systems in die Genauigkeit oder Vollständigkeit der rekonstruierten Fahrzeugszene darstellt;
    • • der Beurteilungsschritt umfasst ferner das Vergleichen der Vertrauensniveau-Bewertung mit einem Vertrauensschwellenwert, wenn die Vertrauensniveau-Bewertung höher als der Vertrauensschwellenwert ist, dann werden die Datenextraktionsparameter so eingestellt, dass weniger verarbeitete Videodaten und/oder Indexdaten von der Fahrzeug-Ebene bereitgestellt werden, und wenn die Vertrauensniveau-Bewertung nicht höher als der Vertrauensschwellenwert ist, dann werden die Datenextraktionsparameter so eingestellt, dass mehr verarbeitete Videodaten und/oder Indexdaten durch die Fahrzeug-Ebene bereitgestellt werden;
    • • der Schritt der Einstellungsdurchführung umfasst ferner das Anpassen mindestens eines Datenextraktionsparameters, der gewählt ist aus einer Liste bestehend aus: einer zeitbasierten Abtastrate, einer Bildauflösung, einer Bildfarbtiefe oder einem Bildsichtfeld (FOV), sodass mehr oder weniger Daten von der Fahrzeug-Ebene benötigt werden;
    • • der Erfassungsschritt umfasst ferner das Sammeln von Fahrzeug-Videodaten mit einer oder mehreren Fahrzeugkamera(s), die sich auf einem ersten Fahrzeug der Fahrzeug-Ebene befindet/befinden, wohingegen der Schritt der Einstellungsdurchführung ferner das Durchführen von Einstellungen an Datenextraktionsparameter(n) umfasst, die von einem zweiten Fahrzeug der Fahrzeug-Ebene verwendet werden, wobei das zweite Fahrzeug nach dem ersten Fahrzeug auf die Fahrzeug-Szene trifft; und
    • • Erzeugen eines oder mehrerer Befehle für ein autonomes oder teilautonomes Fahrzeug basierend auf dem Ergebnis der Fahrzeug-Szene-Rekonstruktion.
  • Nach einem weiteren Aspekt wird ein Cloud-basiertes System zur Rekonstruktion einer Fahrzeug-Szene bereitgestellt, umfassend: eine Fahrzeug-Ebene mit einer Vielzahl von autonomen oder teilautonomen Fahrzeugen, jedes der Fahrzeuge schließt eine oder mehrere Fahrzeugkamera(s) ein; eine Fog-Ebene mit Hardware und verbunden mit der Fahrzeug-Ebene über ein drahtloses Trägersystem; und eine Cloud-Ebene mit Hardware und verbunden mit der Fahrzeug-Ebene über das drahtlose Trägersystem und verbunden mit der Fog-Ebene; die Fahrzeug-Ebenen-Hardware ist konfiguriert zum: Sammeln der Fahrzeug-Videodaten mit der/den Fahrzeug-Fahrzeugkamera(s), Verarbeiten der Fahrzeug-Videodaten mit einer oder mehreren Datenextraktionstechnik(en), die gemäß einem oder mehreren der Datenextraktionsparameter durchgeführt werden, Senden der verarbeiteten Videodaten an die Fog-Ebene und/oder die Cloud-Ebene und Senden der Indexdaten an die Fog-Ebene und/oder die Cloud-Ebene; die Cloud-Ebenen-Hardware ist konfiguriert zum: Rekonstruieren der Fahrzeug-Szene unter Verwendung des verarbeiteten Videodaten und Indexdaten, Auswerten der rekonstruierten Fahrzeug-Szene, um zu ermitteln, ob mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden, und Durchführen von Einstellungen an dem/den Datenextraktionsparameter(n), die von der Fahrzeug-Ebene verwendet werden; wobei die Einstellungen auf der Ermittlung basieren, dass mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden.
  • Figurenliste
  • Eine oder mehrere Ausführungsbeispiele werden im Folgenden in Verbindung mit den beigefügten Zeichnungen beschrieben, in denen gleiche Bezeichnungen gleiche Elemente bezeichnen, und wobei:
    • 1 ein schematisches Blockdiagramm einer Ausführungsform eines Systems ist, das eine Fahrzeug-Ebene, eine Fog-Ebene und eine Cloud-Ebene einschließt, und die Fahrzeug-Ebene schließt ein schematisches Blockdiagramm von Fahrzeug-Hardware, die verwendet werden kann, ein;
    • 2A und 2B Flussdiagramme sind, die eine Ausführungsform eines Verfahrens zum Rekonstruieren einer Fahrzeug-Szene in einer Cloud-Ebene darstellen, wobei das Verfahren in Verbindung mit dem System von 1 verwendet werden kann;
    • 3 ein schematisches Blockdiagramm einer ersten Ausführungsform eines Datenextraktionsschritts ist, der mit dem Verfahren in 2 verwendet werden kann, wobei die erste Ausführungsform eine Kombination von unterschiedlichen Downsampling-Techniken verwendet; und
    • 4 ein schematisches Blockdiagramm einer zweiten Ausführungsform eines Datenextraktionsschritts ist, der mit dem Verfahren in 2 verwendet werden kann, wobei die zweite Ausführungsform eine kompressive Sampling-Technik verwendet.
  • DETAILLIERTE BESCHREIBUNG DER VERANSCHAULICHTEN AUSFÜHRUNGSFORM(EN)
  • Die hierin offenbarten Verfahren und System sammeln Daten in einem Fahrzeug (z. B. durch eine oder mehrere Kameras erfasste Fahrzeug-Videodaten), verarbeiten die gesammelten Daten gemäß einer oder mehreren Datenextraktionstechnik(en) und stellen die verarbeiteten Daten einer Cloud-Ebene bereit, die das Szenario oder die Szene, die das Fahrzeug angetroffen hat, rekonstruiert. Durch Rekonstruktion des angetroffenen Szenarios auf der Cloud-Ebene können das Verfahren und das System dann eine Vielzahl von Befehlen für dieses Fahrzeug oder andere Fahrzeuge in der Nähe erzeugen, die die von den Fahrzeugen erfahrenen Bedingungen ansprechen. Dies kann insbesondere im Kontext autonomer oder teilautonomer Fahrzeuge nützlich sein. Wenn die rekonstruierten Szenen nicht ausreichend genau oder detailliert sind, können das Verfahren und das System einen oder mehrere Datenextraktionsparameter so einstellen, dass zusätzliche Daten an die Cloud-Ebene geliefert werden; wenn die rekonstruierten Szenen hinreichend genau sind, jedoch zu hohe Mobilfunkdatengebühren verursachen, können das Verfahren und System dann den/die Datenextraktionsparameter so einstellen, dass der Cloud-Ebene weniger Daten geliefert werden und die resultierenden Mobilfunkdatengebühren reduziert werden. Das vorliegende Verfahren und System sind dafür ausgelegt, die vorstehend erwähnten Aufgaben in einer zweckmäßigen, kostengünstigen und flexiblen Weise auszuführen.
  • Wenden wir uns nun 1 zu, in der ein schematisches Blockdiagramm eines Beispiels eines Cloud-basierten Systems 10 zum Steuern einer Flotte von autonomen oder teilautonomen Fahrzeugen gezeigt wird, wobei das System in der Lage ist das vorliegende Verfahren auszuführen. Wie hierin verwendet, bedeutet der Ausdruck „autonome oder teilautonome Fahrzeuge“ im weiteren Sinne ein beliebiges Fahrzeug, das in der Lage ist, eine fahrbezogene Tätigkeit oder Funktion automatisch durchzuführen, ohne dass eine Anforderung des Fahrers vorliegt, und schließt Aktionen, die innerhalb der Stufen 1-5 des internationalen Klassifikationssystems der Society of Automotive Engineers (SAE) liegen, ein. Das System 10 kann eine Fahrzeug-Ebene 20, eine Fog-Ebene 22 und eine Cloud-Ebene 24 einschließen und verwendet ein drahtloses Trägersystem 26, um zu kommunizieren. Es sollte beachtet werden, dass, während das System 10 gemäß einer Dreiebenen-Kommunikationsnetzarchitektur (d. h. Fahrzeug-Fog-Cloud-Ebenen) dargestellt wird, dies lediglich ein schematisches Beispiel der Systemarchitektur ist und stattdessen andere Architekturen verwendet werden können.
  • Die Fahrzeug-Ebene 20 schließt ein oder mehrere autonome oder teilautonome Fahrzeuge 30, 30' ein (z. B. könnte die Fahrzeug-Ebene eine Flotte von solchen Fahrzeugen umfassen), von denen jedes mit der erforderlichen Hardware und Software ausgestattet ist, um Daten mit anderen Komponenten des Systems 10 zu sammeln, zu verarbeiten und auszutauschen. Gemäß einem nicht einschränkenden Beispiel ist Fahrzeug 30 ein autonomes oder teilautonomes Fahrzeug und schließt die Fahrzeug-Hardware 32 mit einer oder mehreren Fahrzeugkamera(s) 40, einem oder mehreren Fahrzeugsensor(en) 42, 44, ein Fahrzeug-Datenverarbeitungsmodul 46, ein Kommunikationsmodul 48, ein autonomes Fahrzeug-Fahrmodul 50, andere elektronische Fahrzeug-Module 52 sowie beliebige andere geeignete Kombination von Systemen, Modulen, Vorrichtungen, Komponenten, Hardware, Software usw. ein, die benötigt werden, um autonome oder teilautonome Fahrfunktionen durchzuführen. Die verschiedenen Komponenten der Fahrzeug-Hardware 32 können durch ein Fahrzeugkommunikationsnetz 56 (z. B. einen drahtgebundenen Fahrzeugkommunikationsbus, ein drahtloses Fahrzeugkommunikationsnetz oder ein anderes geeignetes Kommunikationsnetzwerk) verbunden sein.
  • Der Fachmann wird erkennen, dass das schematische Blockdiagramm der Fahrzeug-Hardware 32 einfach einige der relevanteren Hardwarekomponenten darstellen soll, die mit dem vorliegenden Verfahren verwendet werden, und es soll keine exakte oder erschöpfende Darstellung der Fahrzeug-Hardware darstellen, die üblicherweise in einem solchen Fahrzeug zu finden ist. Außerdem kann sich die Struktur oder Architektur der Fahrzeug-Hardware 32 im Wesentlichen von der in 1 veranschaulichten unterscheiden (z. B. können Kamera 40 und/oder Sensoren 42, 44 direkt mit dem Fahrzeug-Kommunikationsnetzwerk 56 und/oder irgendeiner Kombination von Modulen 46-52 verbunden sein; oder Kamera 40, Sensoren 42, 44 und/oder Module 46-52 können gemäß einer anderen Anordnung miteinander kombiniert oder integriert sein, im Gegensatz zu allen separaten eigenständigen Komponenten, um einige Möglichkeiten zu nennen). Daher wird aufgrund der zahllosen Anzahl von möglichen Anordnungen und aus Gründen der Kürze und Klarheit die Fahrzeug-Hardware 32 in Verbindung mit der veranschaulichten Ausführungsform von 1 beschrieben, es sollte aber beachtet werden, dass das vorliegende System und Verfahren nicht darauf beschränkt sind.
  • Fahrzeugkamera(s) 40 sind an Fahrzeug-30 angebracht und können jedes geeignete System einschließen, das in der Branche bekannt oder verwendet wird. Obwohl die folgenden Beispiele die Fahrzeug-Fahrzeugkamera 40 im Zusammenhang mit einer Video- oder Standbild-Kamera beschreiben, die entsprechende Bilder erzeugt, kann Fahrzeugkamera 40 Radar-basierte, Lidar-basierte, Ultraschall-basierte und/oder andere Arten von bildgebenden Systemen zusätzlich oder anstelle der herkömmlichen Kameras einschließen. Somit ist Fahrzeugkamera 40 nicht auf irgendeine besondere Art von Fahrzeug-Sichtsystem beschränkt, solange es in der Lage ist, Bilder, Darstellungen und/oder andere Informationen in Bezug auf die Umgebung des Fahrzeugs zu sammeln. Gemäß einem nicht einschränkenden Beispiel schließt Fahrzeug 30 eine Sammlung von CMOS-Kameras oder Bildsensoren 40 ein, die im Fahrzeug verteilt sind, einschließlich einer Anzahl von nach vorne gerichteten CMOS-Kameras, die digitale Bilder liefern, die anschließend miteinander zu einer 2D- oder 3D-Darstellung der Straße und der Umgebung vor dem Fahrzeug und/oder seitlich des Fahrzeugs verknüpft werden können. Die Fahrzeugkamera 40 kann Fahrzeug-Videodaten an eine oder mehrere Komponenten der Fahrzeug-Hardware 32 bereitstellen, einschließlich des Fahrzeugdatenverarbeitungsmoduls 46. Je nach konkreter Anwendung kann die Fahrzeugkamera 40 Folgendes sein: eine Standbildkamera, eine Videokamera, eine Radareinheit, ein Lidar und/oder eine andere Art von Bild erzeugender Vorrichtung; eine Schwarzweiß- und/oder eine Farbkamera; eine Vorder-, Rückfahr- Seiten- und/oder eine 360° abdeckende Kamera; Teil eines Mono- und/oder Stereosystems; eine analoge und/oder digitale Kamera; eine Kamera für den Nah-, Mittel- und/oder Fernbereich; und eine Weitwinkel- und/oder Teleobjektiv- (Öffnungswinkel) Kamera, um einige Möglichkeiten zu nennen. In einem Beispiel gibt die Fahrzeugkamera 40 unbearbeitete Fahrzeug-Videodaten (d. h. mit wenig oder gar keiner Vor-Verarbeitung) aus, wohingegen in anderen Beispielen die Fahrzeugkamera 40 Bildverarbeitungs-Ressourcen einschließt und Vor-Verarbeitung der erfassten Bilder durchführt, bevor sie sie als Fahrzeug-Videodaten ausgibt.
  • Fahrzeugsensor(en), 42, 44 sind am Fahrzeug 30 montiert und können jeden geeigneten Sensortyp einschließen, der in der Branche bekannt ist oder verwendet wird. Obwohl die folgenden Beispiele den Fahrzeugsensor 42 im Kontext eines Fahrzeugdynamiksensors und Fahrzeugsensor 44 im Kontext eines Umgebungssensors beschreiben, versteht es sich, dass dies nur Beispiele sind. Somit sind Fahrzeugsensoren 42, 44 nicht auf irgendeine besondere Art von Sensor beschränkt, solange er in der Lage ist, Fahrzeug-Sensordaten bereitzustellen, die in irgendeiner Weise entsprechenden Fahrzeugs-Videodaten von Fahrzeugkamera 40 erklären, ergänzen und/oder verbessern. Gemäß einem nicht einschränkenden Beispiel misst der Fahrzeugsensor 42 den Standort, die Geschwindigkeit oder Beschleunigung, die Stabilität (z. B. Radschlupf, Traktionsverlust) und/oder einen anderen Betriebsparameter des Fahrzeugs 30. Beispielsweise kann der Fahrzeugsensor 42 Fahrzeugsensordaten in Form von Fahrzeugstandort-Informationen (z. B. GPS-Koordinaten) zur gleichen Zeit ausgeben, zu der die Fahrzeugkamera 40 Fahrzeug-Videodaten ausgibt, sodass Bilder von der Fahrzeugkamera zu diesem Zeitpunkt mit dem bestimmten Standort des Fahrzeugs korreliert werden können. Fahrzeugsensor 44, auf der anderen Seite, können Außen- oder Umgebungsbedingungen messen (z. B. Temperatur, Niederschlag, Nacht-/Tag-Bedingungen, usw.), Straßenbedingungen (z. B. die Art der Fahrbahnoberfläche, eine Biegung oder Kurve in der Straße, eine Straßengabelung, Höchstgeschwindigkeit usw.), Verkehrsbedingungen usw. Zum Beispiel kann Fahrzeugsensor 44 die Außentemperatur erfassen und/oder eine Eisfläche auf der Straße zur gleichen Zeit erfassen, wie die Fahrzeug-Fahrzeugkamera 40 Fahrzeug-Videodaten erfasst, sodass die unterschiedlichen Bilder des Videos mit den entsprechenden Bedingungen korreliert oder verbunden werden können, die durch das Fahrzeug zu diesem Zeitpunkt erfahren wurden. Durch gleichzeitiges Erfassen von Fahrzeugsensordaten zusammen mit den Fahrzeug-Videodaten ist das System 10 besser in der Lage, die von dem Fahrzeug erfahrene Szene und Zustände genau zu rekonstruieren, wie erläutert wird.
  • Das Fahrzeug-Datenverarbeitungsmodul 46, das Fahrzeug-Kommunikationsmodul 48, das autonome Fahrzeugfahrmodul 50 sowie die anderen Fahrzeug-Elektronikmodule 52 können beliebige geeignete Komponenten einschließen und gemäß beliebigen geeigneten Konfigurationen, die in der Branche bekannt sind oder verwendet werden, angeordnet sein. Da die speziellen Architekturen der Module 46-52 nicht kritisch sind und da diese Module gemäß so vieler verschiedener Ausführungsformen bereitgestellt werden können, kann die folgende Beschreibung der Komponenten des Moduls 46 für jedes der Module 46-52 gelten, außer wo dies anders angegeben wird. Beispielsweise kann jedes der Module 46-52 eine oder mehrere Vorrichtung(en) 60, Speichervorrichtung(en) 62, I/O-Vorrichtung(en) einschließen, sowie beliebige andere Hardware und/oder Software, die in der Regel auf solchen Modulen zu finden sind. Die Verarbeitungsvorrichtung 60 kann eine beliebige Art von Vorrichtung zum Verarbeiten von elektronischen Anweisungen sein, einschließlich Mikroprozessoren, Mikrosteuerungen, Host-Prozessoren, Steuerungen, Fahrzeug-Kommunikationsprozessoren, eine allgemeine Verarbeitungseinheit (GPU, General Processing Unit), Beschleuniger, Field Programmable Gated Arrays (FPGA) und anwendungsspezifische integrierte Schaltungen (ASIC, Application Specific Integrated Circuits), um einige Möglichkeiten zu nennen. Es kann ein fest dedizierter Prozessor nur zur Verwendung für das Modul 46 sein oder kann mit anderen Systemen, Modulen, Vorrichtungen, Komponenten usw. gemeinsam genutzt werden. Die Verarbeitungsvorrichtung 60 kann verschiedene Arten von elektronischen Anweisungen ausführen, wie etwa Software- und/oder Firmware-Programme, die in der Speichervorrichtung 62 gespeichert werden, die dem Modul 46 die Ausführung verschiedener Funktionen ermöglichen. Die Speichervorrichtung 62 kann ein nicht transitorisches computerlesbares Medium sein; diese schließen verschiedene Arten von Arbeitsspeicher (RAM, Random-Access Memory) ein, einschließlich verschiedener Arten von dynamischem RAM (DRAM) und statischem RAM (SRAM)), Nur-Lese-Speicher (ROM, Read-Only Memory), Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Laufwerke wie etwa Solid-State-Hybrid-Laufwerke (SSHDs)), Festplattenlaufwerke (HDDs, Hard Disk Drives), magnetischer oder optischer Laufwerke oder anderer geeigneter Computermedien, die Informationen elektronisch speichern. In einem Beispiel führt die Verarbeitungsvorrichtung 60 Programme aus oder verarbeitet Daten, und die Speichervorrichtung 62 speichert Programme oder andere Daten, um dabei zu helfen, zumindest einen Teil des vorliegenden Verfahrens auszuführen oder zu unterstützen.
  • Das Fahrzeug-Datenverarbeitungsmodul 46 empfängt Fahrzeug-Videodaten und Fahrzeugsensordaten jeweils von der Fahrzeugkamera 40 und den Fahrzeugsensoren 42, 44 und ist ausgelegt, solche Daten zu verarbeiten, zu komprimieren und/oder anderweitig vorzubereiten, bevor sie an die Fog- und Cloud-Ebenen 22, 24 des Systems über das drahtlose Trägersystem 26 gesendet werden. Fahrzeug-Datenverarbeitungsmodul 46 ist direkt oder indirekt mit der Fahrzeugkamera 40 und den Fahrzeugsensoren 42, 44 sowie jeder Kombination der anderen Module 48-52 (z. B. über das Kommunikationsnetz 56) verbunden. Es ist für das Fahrzeug-Datenverarbeitungsmodul 46 möglich, in der Fahrzeugkamera und/oder den Sensoren 40-44 integriert oder mit Ihnen kombiniert zu werden, sodass sie Teil eines einzigen verpackte Moduls oder einer Einheit sind, oder es ist für das Modul 46 möglich, mit einem beliebigen der Module 48-52 kombiniert zu werden.
  • Das Fahrzeug-Kommunikationsmodul 48 stellt dem Fahrzeug drahtlose Kommunikationsfähigkeiten im Nahbereich und/oder Fernbereich bereit, sodass das Fahrzeug Daten mit den Fog- und/oder Cloud-Ebenen 22, 24 des Systems kommunizieren und austauschen kann. Zum Beispiel kann das Fahrzeug-Kommunikationsmodul 48 eine drahtlose Schaltung im Nahbereich einschließen, die eine drahtlose Kommunikation im Nahbereich mit einer beliebigen Anzahl von Vorrichtungen in der Nähe (z. B. Bluetooth™-, anderen IEEE 802.15-Kommunikationen, Wi-Fi™, anderen IEEE 802.11-Kommunikationen, Kommunikation von Fahrzeug zu Fahrzeug usw.) ermöglicht, sowie einen Mobiltelefonchipsatz und/oder eine Fahrzeug-Telematikeinheit, die eine drahtlose Kommunikation im Fernbereich mit den verschiedenen Ebenen 22, 24 (z. B. Mobil-, Telematik-Kommunikation usw.) ermöglicht. Gemäß einem nicht einschränkenden Beispiel schließt das Fahrzeug-Kommunikationsmodul 48 die oben erwähnten Verarbeitungen und Speichervorrichtungen 60, 62, eine drahtlose Schaltung im Nahbereich, eine drahtlose Schaltung im Fernbereich in Form eines Mobiltelefonchipsatzes und eine oder mehrere Antenne(n) 64 ein. Fahrzeug-Kommunikationsmodul 48 ist direkt oder indirekt mit der Fahrzeugkamera 40 und den Fahrzeugsensoren 42, 44 sowie jeder Kombination der anderen Module 46, 50, 52 (z. B. über das Kommunikationsnetz 56) verbunden. Es ist für das Modul 48 möglich, in jedem der Module 46, 50, 52 integriert oder mit ihnen kombiniert zu werden.
  • Das autonome Fahrzeugfahrmodul 50 stattet das Fahrzeug mit autonomen und/oder teilautonomen Fahrfähigkeiten aus und kann, abhängig von der besonderen Ausführungsform, ein einzelnes Modul oder eine einzelne Einheit oder eine Kombination von Modulen oder Einheiten sein. Beispielsweise kann das Modul 50 die folgenden Submodule (unabhängig davon, ob sie Hardware, Software oder beides sind) einschließen: ein Wahrnehmungs-Submodul, ein Lokalisierungs-Submodul und/oder ein Navigations-Submodul. Die spezielle Anordnung, Konfiguration und/oder Architektur des autonomen Fahrzeug-Fahrmoduls 50 ist nicht wichtig, solange das Modul dabei hilft, dem Fahrzeug zu ermöglichen, autonome und/oder teilautonome Fahrfunktionen auszuführen. Das autonome Fahrzeugfahrmodul 50 ist direkt oder indirekt mit der Fahrzeugkamera 40 und den Fahrzeugsensoren 42, 44 sowie jeder Kombination der anderen Module 46, 48, 52 (z. B. über das Kommunikationsnetz 56) verbunden. Es ist für das Modul 50 möglich, in jedem der Module 46, 48, 52 integriert oder mit ihnen kombiniert zu werden.
  • Die elektronischen Fahrzeugmodule 52 können beliebige andere geeignete Module einschließen, die erforderlich sind, um dabei zu helfen, das vorliegende Verfahren zu implementieren. Beispielsweise kann das Modul 52 jede Kombination von einem Antriebsstrang-Steuermodul (PCM, Powertrain Control Module), einem Motorsteuermodul (ECM, Engine Control Module), einem Getriebesteuermodul (TCM, Transmission Control Module), einem Karosseriesteuermodul (BCM, Body Control Module), einem Traktionssteuer- oder Stabilitätssteuermodul, einem Geschwindigkeitsregelungsmodul, einem Lenksteuermodul, einem Bremssteuermodul, einem Infotainmentmodul usw. einschließen. Wie die vorhergehenden Module, kann Fahrzeugsteuermodul 52 direkt oder indirekt mit der Fahrzeugkamera 40 und den Fahrzeugsensoren 42, 44 sowie jeder Kombination der anderen Module 46-50 (z. B. über das Kommunikationsnetz 56) verbunden sein. Es ist für das Modul 52 möglich, in jedem der Module 46-50 integriert oder mit ihnen kombiniert zu werden.
  • Die Fog-Ebene 22 ist Teil des Systems 10 und kann eine beliebige geeignete Kombination von Hardware, Firmware, Software usw. einschließen, die benötigt wird, um mit dem Fahrzeug und den Cloud-Ebenen 20, 24 zu kommunizieren und das hierin beschriebene Verfahren auszuführen. Beispielsweise kann die Fog-Ebene 22 verschiedene Kombinationen von Servern, Routern, Schaltern, Verarbeitungseinheiten (z. B. zentrale Verarbeitungseinheiten (CPUs, Central Processing Units)), Schaltungen (z. B. anwendungsspezifische integrierte Schaltungen (ASICs)), Datenspeichervorrichtungen 80-84 usw. einschließen, die benötigt werden, um verschiedene Edge-Computing und andere für das vorliegende Verfahren erforderliche Aufgaben auszuführen. Die Fog-Ebene wird auch als die „mobile Edge-Computing- (MEC) Ebene“ bezeichnet, und diese Begriffe können austauschbar überall in der vorliegenden Anmeldung verwendet werden. In einer Ausführungsform schließt die Fog-Ebene 22 Hardware, die einen Pfad mit hoher Geschwindigkeit und niedriger Latenz für eine Datenebene ermöglicht, die zwischen der Ebene 20 und der Cloud-Ebene 24 aufgebaut wird, sowie Hardware zum Speichern der Videodaten und/oder Indexdaten aus der Fahrzeug-Ebene 20 ein, sodass auf diese Daten durch die Cloud-Ebene 24 zugegriffen werden kann und sie abgerufen werden können.
  • Die Cloud-Ebene 24 ist Teil des Systems 10 und kann eine beliebige geeignete Kombination von Hardware, Firmware, Software usw. einschließen, die benötigt wird, um mit dem Fahrzeug und den Cloud-Ebenen 20, 22 zu kommunizieren und das hierin beschriebene Verfahren auszuführen. Die Cloud-Ebene 24 kann verschiedene Kombinationen von Servern, Routern, Schaltern, Verarbeitungseinheiten (z.B. zentrale Verarbeitungseinheiten (CPUs), Schaltungen (z. B. anwendungsspezifische integrierte Schaltungen (ASICs)), Datenspeichervorrichtungen 90 usw. einschließen, die benötigt werden, um andere Aufgaben in Verbindung mit der Rekonstruktion der Fahrzeug-Szene sowie andere Aufgaben autonomer Fahrzeuge auszuführen. In einer Ausführungsform schließt die Cloud-Ebene 24 Hardware ein, die einen Pfad für sowohl eine Datenebene als auch eine in der Fahrzeug-Ebene 20 und/oder der Fog-Ebene 22 eingerichtete Steuerebene ermöglicht, sowie Hardware, die zum Rekonstruieren verschiedener Fahrzeug-Szenen benötigt wird, wie nachstehend beschrieben wird. Aufgrund des weit verbreiteten Wissens auf dem Gebiet von sowohl Fog- als auch von Cloud-Ebenen-Architekturen und weil das vorliegende Verfahren und System nicht auf eine bestimmte Architektur oder Anordnung beschränkt sein soll und mit einem weiten Spektrum solcher Architekturen verwendet werden kann, wurden zusätzliche detaillierte Beschreibungen der Fog- und Cloud-Ebenen 22, 24 weggelassen.
  • Das drahtlose Trägersystem 26 wird durch das System 10 verwendet, um Daten und andere Informationen zu kommunizieren und kann eine beliebige geeignete Kombination von Hardware, Firmware, Software usw. einschließen, die benötigt wird, um mobile Kommunikationen und/oder andere drahtlose Kommunikationen zwischen den Fahrzeug-, Fog- und Cloud-Ebenen 20, 22, 24 auszuführen. Das Mobilfunknetz oder das drahtlose Trägersystem 26 ist vorzugsweise ein Mobiltelefonsystem, das eine Anzahl von Mobilfunk-Basisstationen BS (nur eine wird gezeigt), eine oder mehrere Mobilvermittlungsstellen (MSCs, Mobile Switching Centers) sowie irgendwelche anderen Netzwerkkomponenten einschließt, die erforderlich sind, um das Netzwerk 26 mit einem Landnetzwerk zu verbinden. Das drahtlose Trägersystem 26 kann jede geeignete Kommunikationstechnik implementieren, einschließlich zum Beispiel analoge Technologien wie etwa AMPS oder digitale Technologien wie etwa CDMA, W-CDMA oder OFDMA (z. B. 3G, 4G, 5G usw.) oder GSM/GPRS. Wie der Fachmann erkennen wird, sind verschiedene Mobilfunkmast-/Basisstation-/MSC-Anordnungen möglich und könnten mit dem drahtlosen Trägersystem 26 verwendet werden. Beispielsweise könnten die Basisstation und der Mobilfunkmast gemeinsam an derselben Stelle angeordnet sein, oder sie könnten entfernt voneinander angeordnet sein, jede Basisstation könnte für einen einzelnen Mobilfunkmast verantwortlich sein, oder eine einzelne Basisstation könnte verschiedene Mobilfunkmasten bedienen, und verschiedene Basisstationen könnten mit einer einzelnen MSC gekoppelt sein, um nur einige der möglichen Anordnungen zu nennen. Ein oder mehrere Segmente des drahtlosen Trägersystems 26 könnten implementiert werden durch die Verwendung eines standardisierten drahtgebundenen Netzes, einer Faser oder anderer optischer Netzwerke, eines Kabelnetzes, Stromleitungen, anderer drahtloser Netzwerke, wie etwa drahtlose lokale Netzwerke (WLANs, Wireless Local Area Networks), oder Netzwerke zur Bereitstellung drahtlosen Breitbandzugangs (BWA, Broadband Wireless Access), einiger anderer drahtloser Kommunikationen im Nahbereich (z. B. jedes der IEEE 802.11-Protokolle, WiMAX, ZigBee™, Wi-Fi direct, Bluetooth oder Nahfeldkommunikation (NFC)). Aufgrund des weit verbreiteten Wissens auf dem Gebiet von drahtlosen Trägersystemen, und weil das vorliegende Verfahren und System nicht auf irgendein spezielles System beschränkt sein soll und mit einem weiten Spektrum solcher Systeme verwendet werden kann, wurden zusätzliche detaillierte Beschreibungen des drahtlosen Trägersystems 26 weggelassen.
  • Wenden wir uns nun dem Flussdiagramm von 2 zu, wo ein Beispiel für das vorliegende Verfahren 200 gezeigt wird, bei dem das Verfahren Daten an einem Fahrzeug 30 (z. B. Fahrzeug-Videodaten, die von der Fahrzeugkamera 40 erfasst wurden) sammelt, verschiedene Datenextraktionstechniken und -parameter verwendet, um die Menge an Daten zu reduzieren, und die verarbeiteten Daten an eine Fog- und/oder Cloud-Ebene 22, 24 bereitstellt, wobei die Szenarien und Bedingungen, die von dem Fahrzeug angetroffen werden, rekonstruiert werden können. Durch die Rekonstruktion der angetroffenen Szene auf der Fog- und/oder Cloud-Ebene 22, 24 kann das Verfahren verschiedene Befehle für die Fahrzeuge 30 oder anderen Fahrzeugen 30' in der nahen Umgebung erzeugen, die ausgelegt sind, um die aktuellen Bedingungen anzugehen. Wenn zusätzliche Daten oder Informationen für die genaue und vollständige Rekonstruktion der Szene durch die Cloud-Ebene 24 benötigt werden, kann das Verfahren dann den/die Datenextraktionsparameter nach Bedarf anpassen; wenn von der Cloud-Ebene 24 weniger Daten gefordert werden, dann kann das Verfahren den/die Datenextraktionsparameter anpassen, sodass weniger Daten bereitgestellt werden und niedrigere Mobilfunkdatengebühren verursacht werden.
  • Die folgende Beschreibung des Verfahrens 200 wird in Zusammenhang mit einem Beispiel bereitgestellt, wobei die Fahrzeuge 30, 30' voneinander entfernt sind (z. B. 1 Meile entfernt), aber in die gleiche Richtung entlang der gleichen Strecke der Straße fahren, auf der sich eine Eisfläche befindet. Das Verfahren 200 verwendet Informationen von dem/den Fahrzeug(en) 30, 30', um diese Szene (d. h. das Straßensegment mit der Eisfläche) in der Cloud-Ebene 24 zu rekonstruieren und geeignete autonome Befehle für nachfolgendes Fahrzeug 30' sowie andere Fahrzeuge, die sich in der Nähe befinden können, zu erzeugen, sodass sie in der Lage sind, die Eisfläche erfolgreich zu passieren. Die Eisflächen-Szene ist jedoch nur ein mögliches Beispiel, das nur zum Zwecke der Veranschaulichung ausgewählt wurde. Das vorliegende Verfahren und System sind in keiner Weise auf dieses Beispiel beschränkt, da sie verwendet werden könnten, um zahlreiche andere Szenarien, Szenen und/oder Bedingungen zu rekonstruieren, einschließlich, aber nicht beschränkt auf: unterschiedliche Arten von Straßenoberflächen (z. B. Pflaster, Kies, Feldwege usw.), unterschiedliche Straßenbedingungen (z. B. trocken, nass, vereist, überflutet usw.), unterschiedliche Straßenkonstruktionsereignisse (z. B. Fahrbahn- oder Straßensperrungen, Fahrbahnverschiebungen, Umleitungen usw.), unterschiedliche Straßenobjektszenarien (Schlaglöcher, verschmutzte Straßen, Pannenfahrzeuge am Straßenrand usw.), um nur einige zu nennen. Das vorliegende Verfahren und System können verwendet werden, um jedes Szenario, jede Szene, Umgebung und/oder Bedingung zu rekonstruieren, wobei eine solche Rekonstruktion nützlich sein kann zum Erzeugen von Alarmen, Warnungen, Befehlen und/oder anderweitigen Steuern oder Verwalten von einem oder mehreren Fahrzeugen, wie etwa den autonomen oder teilautonomen Fahrzeugen 30, 30'.
  • Beginnend mit Schritt 210 sammelt und liefert das Verfahren und Fahrzeug-Videodaten. Beispielsweise kann Schritt 210 eine oder mehrere Fahrzeugkamera(s) 40, die an dem Fahrzeug angebracht ist/sind, verwenden, um unbearbeitete oder umfangreiche Fahrzeug-Videodaten zu sammeln und solche Daten an das Fahrzeug-Datenverarbeitungsmodul 46 bereitzustellen. Die Fahrzeug-Videodaten können eine unbearbeitete Videosequenz einschließen, die zahlreiche einzelne Bilder oder Rahmen enthält, oder sie können gemäß einem anderen Videoformat bereitgestellt werden. Sobald die Fahrzeug-Videodaten gesammelt und an das Modul 46 geliefert werden, kann das Verfahren zu Schritt 214 weitergehen.
  • In Schritt 214 verringert das Verfahren die Menge der Fahrzeug-Videodaten unter Verwendung von verschiedenen Datenextraktionstechniken. Der Fachmann wird erkennen, dass wenn das Verfahren die gesamte unbearbeitete Videosequenz von Kamera 40 über das drahtlose Trägersystem 26 senden würde, die sich ergebenden Mobilfunkdatengebühren erheblich wären, insbesondere, wenn dies für eine gesamte Flotte von Fahrzeugen vervielfacht wird. Somit reduziert Schritt 214 präventiv die Datenmenge, die über das drahtlose Trägersystem 26 gesendet wird, indem eine oder mehrere Datenextraktionstechnik(en) verwendet werden, die auf der Fahrzeug-Ebene 20 und/oder der Fog-Ebene 22 durchgeführt werden können, bevor solche Daten an die Cloud-Ebene 24 gesendet werden. 3 zeigt ein erstes Beispiel einer Datenextraktionstechnik 240 und 4 zeigt ein zweites Beispiel einer Datenextraktionstechnik 242. Diese Beispiele, die getrennt oder zusammen verwendet werden können, verringern die Fahrzeug-Videodaten durch Extrahieren von bestimmten Informationen, die als wichtig erachtet werden, und können sich auf eine beliebige Anzahl von Datenextraktionstechniken und/oder -parameter beziehen, um dies zu tun.
  • Wenden wir uns nun 3 zu, wo ein erstes Beispiel einer Datenextraktionstechnik 240 gezeigt wird, die eine Kombination verschiedener Downsampling-Techniken 250-254 verwendet, um die Menge oder Größe der unbearbeiteten Videosequenz 260 zu reduzieren und dadurch die Menge an Daten zu reduzieren, die über das drahtlose Trägersystem oder das Mobilfunknetz 26 an die Cloud-Ebene 24 gesendet werden. Beginnend mit der Zeitbereichs-Downsampling-Technik 250, verwendet das Verfahren einen Datenextraktionsparameter in Form einer zeitbasierten Abtastrate zur Abtastung der einzelnen Videobilder 262 aus der unbearbeiteten Videosequenz. In dem Fall, dass die unbearbeiteten Videosequenz 260 bereits ein zeitdiskretes Signal ist (d. h. es ist bereits digital, wie in 3 veranschaulicht ist), reduziert Technik 250 die mit der unbearbeiteten Videosequenz 260 verbundene Informationsmenge durch Verringern der zeitbasierten Abtastrate, sodass weniger einzelne Videobilder oder Bilder 262 pro Zeiteinheit abgetastet werden. Wenn hypothetisch die unbearbeitete Videosequenz als ein kontinuierliches Zeitsignal bereitgestellt wird (d. h. sie ist analog), dann kann das Verfahren das Signal erst digitalisieren, bevor es eine zeitliche Abtastrate anwendet, die durch das Verfahren festgelegt und/oder eingestellt werden kann. In jedem Fall verwendet Technik 250 eine zeitbasierte Abtastrate, die kleiner ist als eine entsprechende Abtastrate, die durch die Fahrzeugkamera(s) 40 verwendet wird, sodass die Informationsmenge im Zusammenhang mit dem Video reduziert wird. Der Fachmann wird erkennen, dass eine Vielzahl von geeigneten Zeitbereichs-Downsampling-Techniken mit 250 verwendet werden könnten und dass das Verfahren nicht auf irgendeine bestimmte beschränkt ist.
  • In Bezug auf die Pixelbereichs-Downsampling-Technik 252 reduziert das Verfahren die Menge an Informationen oder Daten in jedem der einzelnen Videobilder 264 durch Einstellen einer Kombination der folgenden Datenextraktionsparameter: Bildauflösung, Bildfarbtiefe, Bildsichtfeld (FOV) und/oder Bildkompression oder -typ (z. B. JPEG, H.26x-Familie usw.). Die spezifische Kombination von Datenextraktionsparametern, die von der Technik 252 verwendet werden, sollte zu weniger Daten pro Einzelbild 264 (d. h. einer kleineren Bildgröße) als die der entsprechenden Bilder der unbearbeiteten Videosequenz 260 führen, die von der/den Fahrzeugkamera(s) 40 gesammelt werden. In einem Beispiel verringert die Pixelbereichs-Downsampling-Technik 252 die Bildgröße von einem oder mehreren der einzelnen Videobilder 264 durch Verringerung der Auflösung und/oder der Farbtiefe des Bildes sowie durch Herausschneiden von Abschnitten des Bildes, die als unnötig erachtet werden (d. h. Reduzierung des FOV). Der Fachmann wird erkennen, dass es zahlreiche Wege gibt, die oben erwähnten Bildparameter zu erhöhen, zu verringern und/oder anderweitig anzupassen, und dass alle derartigen Wege durch Technik 252 verwendet werden können.
  • Die Merkmalbereichs-Downsampling-Technik 254 reduziert die Menge der Informationen oder Daten in Verbindung mit jedem der einzelnen Videobilder oder Bilder 266 durch Identifizierung bestimmter Aspekte von jedem Bild, die als wichtig erachtet werden, und Verwerfen andere Bildinformationen. Beispielsweise kann Technik 254 geeigneten optischen Fluss oder tiefe Deep-Learning-Verfahren zur Erzeugung einer Zeitreihe für eine Objektliste verwenden (z. B. eine Zeitreihe mit verschiedenen Datenpunkten, die ein oder mehrere Objekte in dem Bild verfolgen). Gemäß einem anderen Beispiel kann die Technik 254 geeignete lokale Merkmalsdetektoren wie etwa SIFT, FAST, ORB usw. verwenden, um eine Zeitserie für einen Merkmalspunkt zu erzeugen (z. B. eine Zeitserie mit verschiedenen Datenpunkten, die Ecken, Kanten oder andere identifizierbare Merkmale eines Objekts in dem Bild verfolgen). In noch einem anderen Beispiel kann die Technik 254 eine Art Deep-Learning-Mechanismus verwenden, um eine Zeitserie für die Bildsegmentierung zu erzeugen (z. B. eine Zeitserie mit verschiedenen Datenpunkten, die einem maskierten Bild entsprechen, wo unnötige Hintergrundinformation entfernt wurde). Der Durchschnittsfachmann wird erkennen, dass es zahlreiche Wege und Verfahren zum Ausführen der oben erwähnten Merkmalbereichs-Downsampling-Technik 254 gibt und dass jeder derartige Weg verwendet werden kann.
  • Downsampling-Techniken 250-254 können getrennt oder zusammen verwendet werden, sie können nacheinander oder gleichzeitig verwendet werden, oder sie können gemäß einer anderen Anordnung verwendet werden. Gemäß einem Beispiel reduziert die Zeitbereichs-Downsampling-Technik 250 die Menge der über das drahtlose Trägersystem 26 übertragenen Daten durch Reduzieren der Anzahl der einzelnen Videobilder 262, Pixelbereichs-Downsampling-Technik 252 reduziert die Menge der übertragenen Daten durch Verringern der Menge von Informationen pro einzelnem Videobild 264, wohingegen Merkmalbereichs-Downsampling-Technik 254 die Menge der Daten durch eine Verringerung der Menge von Informationen durch Verfolgung von nur bestimmten Objekten oder Merkmalen innerhalb der einzelnen Videobilder 266 reduziert. Die oben erwähnten Downsampling-Techniken sind Beispiele für verschiedene Datenextraktionstechniken, von denen jede vollständig oder teilweise durch das Fahrzeug-Datenverarbeitungsmodul 46 ausgeführt werden kann und durch einen oder mehrere Datenextraktionsparameter bestimmt wird. Für Technik 250 ist die zeitbasierte Abtastrate ein nicht einschränkendes Beispiel eines Datenextraktionsparameters; für Technik 252 sind Bildauflösung, Bildfarbtiefe, Bildsichtfeld (FOV), Bildkompression und Bildtyp nicht einschränkende Beispiele von Datenextraktionsparametern, und für Technik 254 sind die Anzahl von Objekten oder Merkmalen, die Anzahl der Objekt- oder Merkmalsdatenpunkte, die Abtastrate für Objekte oder Merkmale und die Techniken, die zur Erzeugung der Zeitreihe verwendet werden, nicht einschränkende Beispiele der Datenextraktionsparameter. In gewissem Sinne ist das System 10 ein geschlossenes System auf Cloud-Basis, das Daten in einer Fahrzeug-Ebene 20 sammelt, Szenen oder Zustände, die von der Fahrzeug-Ebene angetroffen werden, zurück in einer Cloud-Ebene 24 rekonstruiert und bestimmt, ob die rekonstruierten Szenen ausreichend genau oder detailliert sind, um bestimmte Fahrzeugfunktionen auszuführen, wie etwa ein oder mehrere autonome oder teilautonome Fahrzeuge zu steuern. Wenn die rekonstruierten Szenen nicht ausreichend genau sind, kann das Verfahren Einstellungen an einem oder mehreren Datenextraktionsparameter(n) vornehmen (Regelung), sodass zusätzliche Daten aggressiver auf der Fahrzeug-Ebene 20 gesammelt werden können, selbst wenn dies die Mobilfunkdatengebühren erhöht. Wenn die rekonstruierten Szenen ausreichend genau sind, kann das Verfahren Einstellungen an einem oder mehreren Datenextraktionsparameter(n) vornehmen (Regelung), sodass weniger Daten von der Fahrzeug-Ebene 20 gesendet werden, was Mobilfunkdatengebühren reduziert. Auf diese Weise wiegt das Verfahren die Notwendigkeit für adäquate Datenmengen für eine genaue Szenario- oder Szenenrekonstruktion an der Cloud-Ebene 24 gegen die Kosten ab, die mit dem Bereitstellen solcher Daten für die Cloud-Ebene verbunden sind.
  • Wenden wir uns nun 4 zu, wo ein zweites Beispiel einer Datenextraktionstechnik 242 gezeigt wird, die einen Videokompressions-Abtastmechanismus verwendet, um die Menge an Daten zu reduzieren, die mit der unbearbeiteten Videosequenz 260 verbunden sind, und dadurch die Datenmenge reduziert, die über das drahtlose Trägersystem 26 an die Cloud-Ebene 24 gesendet wird. Datenextraktionstechnik 242 ist eine Art von Signalverarbeitungstechnik, die ausgelegt ist, die unbearbeitete Videosequenz 260 auf der Cloud-Ebene 24 zu rekonstruieren, dies jedoch in einer effizienten und genauen Weise. Der Fachmann wird erkennen, dass es zwei Bedingungen gibt, die erfüllt werden müssen, damit die Videokompressions-Abtasttechnik anwendbar ist: Spärlichkeit und Inkohärenz. Spärlichkeit, im Gegensatz zu Dichte, bezieht sich auf die Anzahl der Elemente in einer Satz von Daten, die Null betragen. In dem vorliegenden Beispiel muss die unbearbeitete Videosequenz 260 ein „spärliches“ Signal ϕ einschließen, wobei die meisten der Elemente oder Daten Null sind; damit könnte die kompressive Abtastung die Größe der Videodaten effektiv reduzieren, während die Integrität der Videobildsequenz bewahrt wird. Inkohärenz ist das Gegenteil von Kohärenz, was die Beziehung zwischen den Signalen betrifft, und bezieht sich auf das Ausmaß, in dem ein Signal von einem anderen ableitbar ist. In dem vorliegenden Beispiel müssen das spärliche Signal ϕ und die Zerlegungsbasis φ des Signals y inkohärent sein. Wenn diese Bedingungen erfüllt sind, sind die komprimierten abgetasteten Daten oder die Ausgabe des kompressiven Abtastschrittes 280 in einer abstrakten Weise y=ϕx, wobei das Signal y ebenfalls ein spärliches Signal ist, aber ausreichend groß ist, um die Entropie des Signals x zu enthalten, und das Signal x ist ein spärliches Signal. Dieser kompressive Abtastmechanismus könnte effektiv die Menge an Videobildsequenzdaten verringern, während er die Informationsentropie bewahrt, die in der Videosequenz enthalten ist. Dementsprechend ist die Datenextraktionstechnik 242 (d. h. Videokompressionsabtastung) für Szenarien mit spärlicher Abtastung innerhalb eines Netzwerkes vorzuziehen.
  • Sobald die Datenextraktion oder Merkmalsextraktion durchgeführt worden ist, geht das Verfahren zu Schritt 216 über, wo die verarbeiteten Videodaten von der Fahrzeug-Ebene 20 an die Fog-Ebene 22 und/oder Cloud-Ebene 24 gesendet werden. Das Verfahren isoliert vorzugsweise die verarbeiteten Videodaten, welche Teil einer Datenebene sind, von Indexdaten, die Teil einer Steuerebene sind. Zum Beispiel kann Schritt 216 die verarbeiteten Videodaten von der Fahrzeug-Ebene 20 über das drahtlose Trägersystem 26 an die Fog-Ebene 22 senden, und von der Fog-Ebene an die Cloud-Ebene 24; wohingegen, Indexdaten direkt von der Fahrzeug-Ebene 20 über das drahtlose Trägersystem an die Cloud-Ebene 24 gesendet werden können. Es sollte beachtet werden, dass jede geeignete Kombination von Datenverarbeitung, Netzwerkverarbeitung, Datenreduktion und/oder anderen Techniken auf der Fahrzeug-Ebene 20 und/oder der Fog-Ebene 22 ausgeführt werden kann, bevor die verarbeiteten Videodaten oder Indexdaten zu der Cloud-Ebene 24 gesendet werden (es ist nicht erforderlich, dass die gesamte Signalverarbeitung im Fahrzeug stattfindet). In einem Beispiel stellt/stellen die Fahrzeugkamera(s) 40 Fahrzeug-Videodaten für das Fahrzeug-Datenverarbeitungsmodul 46 bereit, das die Videodaten verarbeitet und verarbeitete Videodaten an das Fahrzeug-Kommunikationsmodul 48 bereitstellt, das die verarbeiteten Videodaten durch das drahtlose Trägersystem 26 an die Fog-Ebene 22 drahtlos sendet, und die Fog-Ebene 22 wiederum speichert einige der verarbeiteten Videodaten (z. B. in Datenspeicher 80-84) und/oder sendet die verarbeiteten Videodaten auf die Cloud-Ebene 24.
  • Der Schritt 216 hält die verarbeiteten Videodaten sowie andere Arten von Informationen, die zu der Datenebene gehören, vorzugsweise isoliert oder getrennt von Informationen, die zu der Steuerebene gehören. Dies ermöglicht es dem Verfahren, die Cache-Verwaltung, die die Datenebene einbezieht, und die Indexverwaltung, die die Steuerebene einbezieht, separat zu steuern, wie Fachleute verstehen werden. Zum Beispiel kann Schritt 216 die verarbeiteten Videodaten (sowie andere Informationen, die für die Datenebene bestimmt sind) von der Fahrzeug-Ebene 20 über das drahtlose Trägersystem 26 an die Fog- Ebene 22 drahtlos senden, wobei zu diesem Zeitpunkt die verarbeiteten Videodaten von der Fog- Ebene auf die Cloud-Ebene 24 weitergeleitet und/oder in der Fog- Ebene zwischengespeicherten werden können. Der Fachmann wird erkennen, dass die Datenebene, manchmal als die Weiterleitungsebene bezeichnet, in der Regel einen Pfad mit höherer Geschwindigkeit durch eine Vorrichtung oder eine Reihe von Vorrichtungen (z. B. Router, Switches usw.) darstellt, wohingegen die Steuerebene in der Regel eine niedrigere Geschwindigkeit oder langsameren Pfad durch solche Vorrichtungen verkörpert. Aus diesem Grund kann Schritt 216 die verarbeiteten Videodaten entlang der Datenebene in Paketen senden, die die Vorrichtungen der Fog-Ebene 22 auf ihrem Weg zur Cloud-Ebene 24 durchlaufen (im Gegensatz zu ihrer Versendung in Paketen, die an die Vorrichtungen der Fog-Ebene zur Entscheidungsfindung geleitet werden). Es ist auch möglich, dass einige der verarbeiteten Videodatenpakete in der Fog-Ebene 22 zwischengespeichert oder gespeichert werden, um anschließend abgerufen zu werden. Der Fachmann wird erkennen, dass in diesem Fall auch andere Varianten oder Optimierungen angewendet werden könnten.
  • In Schritt 218 werden Indexdaten von der Fahrzeug-Ebene 20 über das drahtlose Trägersystem 26 an die Fog- Ebene 22 und/oder die Cloud-Ebene 24 gesendet. Einige nicht einschränkende Beispiele von möglichen Arten der Indexdaten schließen folgende ein: Kontextdaten (z. B. zeitliche Informationen, räumliche Informationen, Fahhrkontextinformationen usw.), Inhalts- oder Etikettendaten (z. B. semantische Informationen, Objektinformationen usw.), andere Arten von Daten in Verbindung mit dem oder den entsprechenden Fahrzeugs Videodaten sowie verschiedene Arten von Such-, Abruf-, Index- und/oder Steuerbefehlen. In einigen Beispielen helfen die Indexdaten, die verschiedene Typen von Metadaten einschließen, dabei, einen Zusammenhang mit den entsprechenden erfassten Fahrzeug-Videodaten zu erklären oder bereitzustellen. Wenn beispielsweise die Fahrzeugkamera 40 Fahrzeug-Videodaten erfasst, während das Fahrzeug 30 sich mit einer bestimmten Geschwindigkeit, in einer bestimmten Richtung an einem bestimmten GPS-Standort bewegt, während bestimmte dynamische Fahrzeugsysteme eingeschaltet sind (z. B. während die Traktionssteuerung „an“ ist), können die vorstehenden Teile an Informationen durch die Fahrzeugsensoren 42, 44 bereitgestellt werden und Indexdaten darstellen, die den entsprechenden Fahrzeug-Videodaten zugeordnet sind, um so einen besseren Kontext für das Video bereitzugestellen. Der Fachmann wird erkennen, dass die Steuerebene in der Regel einen Pfad mit niedrigerer Geschwindigkeit als die Datenebene darstellt, weil verschiedene Vorrichtungen in der Steuerebene oft Informationen verarbeiten müssen, anstatt sie lediglich weiterzuleiten. Es ist für den Schritt 218 möglich, drahtlos Indexdaten aus der Fahrzeug-Ebene 20 an die Fog- Ebene 22 zur Verarbeitung dort zu senden oder drahtlos Indexdaten von der Fahrzeug-Ebene an die Cloud-Ebene 24 zur Verarbeitung dort zu senden oder drahtlos Indexdaten an die Fog- Ebene zu senden, bevor sie auf die Cloud-Ebene weitergesendet werden. Obwohl Schritt 218 schematisch in 2 als nach Schritt 216 auftretend gezeigt wird, versteht sich, dass diese Schritte gleichzeitig oder in einer beliebigen geeigneten Reihenfolge durchgeführt werden können und nicht auf die gezeigte spezifische Sequenz beschränkt sind. In einem Beispiel stellen der/die Fahrzeugsensor(en) 42, 44 und/oder das/die Fahrzeugmodul(e) 50, 52 Indexdaten dem Fahrzeug-Datenverarbeitungsmodul 46 bereit, das die Indexdaten dem Fahrzeug-Kommunikationsmodul 48 bereitstellt, das wiederum die Indexdaten über das drahtlose Trägersystem 26 an die Fog-Ebene 22 und/oder die Cloud-Ebene 24 drahtlos sendet. Die Synchronisation zwischen Indexdaten und Datenextraktionsinhalt könnte auf der Fog-Ebene 22 und/oder der Cloud-Ebene 24 durchgeführt werden.
  • Schritte 210-218 können beliebig oft wiederholt werden, bevor eine Situation auftritt, in der das System und das Verfahren ein Szenario oder eine Szene in der Cloud-Ebene 24 rekonstruieren müssen. Man nehme das vorhergehende Beispiel, in dem die Fahrzeuge 30, 30' sich in die gleiche Richtung entlang der gleichen Strecke der Straße bewegen, auf der sich eine Eisfläche befindet, die Fahrzeuge 30, 30' aber etwa eine Meile entfernt voneinander sind. In diesem Szenario stellt das erste Fahrzeug 30 verarbeitete Videodaten und Indexdaten an die Fog- und/oder Cloud-Ebenen 22, 24 bereit, wenn es auf die Eisfläche trifft, wobei zu diesem Zeitpunkt die von dem Fahrzeug 30 bereitgestellten Daten (z. B. Indexdaten von den Sensoren 42, 44) das System 10 informieren, dass es eine Eisfläche auf der Straße gibt. Genauer gesagt kann das Verfahren den ungefähren Standort der Eisfläche, sowie andere Eigenschaften wie etwa die Größe, Ernsthaftigkeit usw. der Eisfläche von einem solchen Sensormesswerte bestimmen. Das Verfahren kann bestimmen, dass die Rekonstruktion das Eisflächen-Szenario auf der Cloud-Ebene 24 vorteilhaft wäre für nachfolgende Fahrzeuge, wie etwa Fahrzeug 30', sodass Abhilfeanweisungen, die dabei helfen, Auswirkungen der Eisfläche zu vermeiden oder zu verringern, bereitgestellt werden können (dies kann insbesondere dann der Fall sein, wenn das Fahrzeug 30' ein autonomes oder teilautonomes Fahrzeug ist); wenn dem so ist, geht das Verfahren zu Schritt 230 weiter.
  • Bei Schritt 230 verwendet das Verfahren verarbeitete Videodaten und/oder Indexdaten, die vorher bereitgestellt wurden, um eine bestimmte Szene oder einen Satz von Bedingungen in der Cloud-Ebene 24 zu rekonstruieren. Dies kann in einer beliebigen Anzahl von verschiedenen Weisen durchgeführt werden, und kann auf verarbeiteten Videodaten von einem einzigen Fahrzeug oder auf Video von mehreren Fahrzeugen basieren, die jeweils durch den fraglichen Standort gefahren sind. Gemäß einer Ausführungsform rekonstruiert der Schritt 230 die Szene eines bestimmten Standorts oder Kontexts durch Abrufen verarbeiteter Videodaten und/oder Indexdaten, die zu diesem Standort gehören, aus dem Datenspeicher 80-84 in der Fog-Ebene 22 und/oder dem Datenspeicher 90 in der Cloud-Ebene 24. In dem Fall, dass der Rekonstruktionsprozess die verarbeiteten Videodaten und/oder Indexdaten von mehreren Fahrzeugen, die bereits durch den fraglichen Standort gefahren sind, nutzt, kann Schritt 230 im Datenspeicher 80-84, 90 verarbeitete Videodaten durchsuchen und abfragen (z. B. Videoarchive nach neuen Videodaten von anderen Fahrzeugen durchsuchen, die dem gleichen Standort entsprechen) und dann die betreffenden Videodaten in Verbindung mit entsprechenden Indexdaten zusammenfügen oder anderweitig kombinieren, sodass eine genaue Darstellung der Szene wieder zusammengestellt wird. Es ist möglich, dass verarbeitete Videodaten von einem Fahrzeug ein Merkmal oder einen Aspekt der Szene aufgenommen haben können, die im Videomaterial von einem anderen Fahrzeug fehlte, sodass das Kombinieren mehrerer Quellen eines derartigen Videos ein kompletteres und umfassenderes Bild der fraglichen Szene ergeben kann.
  • Im Beispiel der Eisfläche können die verarbeiteten Videodaten und/oder Indexdaten von dem Fahrzeug 30 sowie die aus den vorherigen Fahrzeugen, die in den Zeichnungen nicht gezeigt sind, aus dem Datenspeicher 80-84, 90 abgerufen werden, sodass die Bedingungen an der Eisflächen so gut wie möglich in die Cloud-Ebene 24 aus der Ferne rekonstruiert werden. Solche Bedingungen können Details einschließen wie: die GPS-Koordinaten, an denen die Eisfläche erfasst wurde, den Standort innerhalb der Fahrbahn, an der die Eisfläche erfasst wurde (z. B. die Eisfläche befindet sich auf der linken Hälfte der Fahrbahn), die seitliche oder longitudinale Abmessung der Eisfläche (wenn sich z. B. die Eisfläche in Längsrichtung über eine wesentliche Strecke innerhalb der Fahrspur erstreckt), den Einfluss, den die Eisfläche auf die Traktionssteuerungssysteme der bisherigen Fahrzeugen hatte usw. Diese und andere Details können aus den Videodaten selbst erkennbar sein (z. B. durch Nutzung der Reflektivität des Eises bei der Bildanalyse), oder sie können aus den entsprechenden Indexdaten oder vielleicht aus einer anderen Quelle gesammelt werden. Auf jeden Fall kann die rekonstruierte Szene das Verfahren und das System dabei unterstützen, Befehle zu erzeugen, sodass das nachlaufende Fahrzeug 30' die Auswirkung der Eisfläche vermeiden oder minimieren kann, wie erklärt werden wird. In einem möglichen Beispiel verwendet die Cloud-Ebene 24 einen globale Video-Indexer und eine Such-/Abruf-Schnittstelle, um mit der Datenspeicherung in der Fog- und/oder Cloud-Ebene zusammenzuwirken, um einen Rekonstruktionprozess der Szene auszuführen, andere Ausführungsformen sind aber auch möglich.
  • Als Nächstes wertet das Verfahren die rekonstruierte Fahrzeug-Szene aus, um zu bestimmen, ob mehr oder weniger Daten, die sich auf die Szene beziehen, benötigt werden, Schritt 232. Gemäß einem Beispiel wertet das Verfahren die rekonstruierte Fahrzeug-Szene durch Erzeugen einer Vertrauensniveau-Bewertung aus, die repräsentativ dafür ist, wie sicher oder gewiss das Verfahren bezüglich der Genauigkeit oder Vollständigkeit der rekonstruierten Fahrzeug-Szene ist. Der Fachmann wird erkennen, dass eine aus einer Anzahl von unterschiedlichen Techniken verwendet werden kann, um eine Vertrauensniveau-Bewertung zu berechnen oder anderweitig zu erzeugen. Dies schließt zum Beispiel die Verwendung des folgenden iterativen Algorithmus oder Protokolls ein: X ( i ) = x ( i − 1 ) + ϕ T ( y − ϕ x ( i − 1 ) ) ,
    Figure DE102019115676A1_0001
    wobei x(i) und x(i-1) die Daten in den ursprünglichen Datendarstellungsformaten darstellen, ϕT den Projektions-/Umrechnungsfaktor darstellt, der das ursprüngliche Datendarstellungsformat in die neu gebildeten Datendarstellungsformate übersetzt, y-ϕx(i-1) die neu gebildeten Datendarstellungsformate darstellt. Verschiedene Techniken können verwendet werden, um eine Vertrauensniveau-Bewertung zu erzeugen, von denen jede hier verwendet werden kann.
  • Anschließend vergleicht Schritt 234 die Vertrauensniveau-Bewertung mit einem Vertrauensschwellenwert. Wenn die Vertrauensniveau-Bewertung nicht größer als der Vertrauensschwellenwert (d. h. gleich oder kleiner als) ist, geht das Verfahren dann weiter zu Schritt 240, wo das Verfahren einen oder mehrere Datenextraktionsparameter so einstellt, dass Genauigkeit oder Details für diese Szene oder den Standort erhöht werden. Wenn in dem oben beschriebenen Beispiel des Eisflächen-Szenarios der Schritt 240 bestimmt, dass es nicht ausreichend Details oder Auflösung in den verarbeiteten Videodaten für den Standort gibt, der zu der Eisfläche gehört (d. h. die Vertrauensniveau-Bewertung ist kleiner als der Vertrauensschwellenwert), dann kann Schritt 240 einen oder mehrere Datenextraktionsparameter einstellen, sodass zusätzliche Informationen durch das folgende Fahrzeug 30' gesammelt werden können. In einem Fall kann Schritt 240 eine oder mehrere der folgenden Datenextraktionsparameter erhöhen: die zeitbasierte Abtastrate, die Bildauflösung, die Bildfarbtiefe, das Bildsichtfeld (FOV), Änderung der Bildkompression oder des Bildtyps (z. B. JPEG, H.26x-Familie usw.) und/oder die Änderung der Merkmalsdomänen-Downsampling-Parameter, um einige Möglichkeiten zu nennen, sodass weitere Details oder Informationen in Bezug auf die Eisfläche durch die Cloud-Ebene 24 ausfindig gemacht und zum Nutzen des nächsten Fahrzeugs 30' verwendet werden können. In Schritt 250 sendet die Cloud-Ebene 24 den/die angepassten Datenextraktionparameter an die Fog-Ebene 22 und/oder die Fahrzeug-Ebene 20, sodass die Änderungen implementiert werden können. Wie vorher eingeräumt, kann das Einstellen oder Modifizieren der Datenextraktionsparameter in dieser Weise zu erhöhten Mobilfunkdatengebühren für Videoübertragungen, die mit diesem bestimmten Standort verbunden sind, führen, aber das Verfahren wird dies als eine sinnvolle Ausgabe erachten.
  • Wenn auf der anderen Seite die Vertrauensniveau-Bewertung höher ist als der Vertrauensschwellenwert, geht das Verfahren dann zu Schritt 242 weiter, wo das Verfahren einen oder mehrere Datenxtraktionsparameter einstellt, sodass die Genauigkeit oder die Details für diese Szene oder diesen Standort reduziert wird. Dies spiegelt im Allgemeinen eine Situation wieder, in der das System und das Verfahren nicht erfordern, dass alle Videodaten gesammelt und übertragen werden, und in dem Bemühen, unnötige Mobilfunkdatengebühren zu reduzieren, reduziert oder verringert das Verfahren die Genauigkeit oder die Details der gesammelten Information. Wiederum bezieht Schritt 250 ein, dass die Cloud-Ebene 24 den/die angepassten Datenextraktionsparameter an die Fog-Ebene 22 und/oder die Fahrzeug-Ebene 20 sendet, sodass die entsprechenden Änderungen implementiert werden können.
  • Nach dem Empfangen des/der angepassten Datenextraktionsparameter in der Fahrzeug-Ebene 20 implementiert der Schritt 254 die Änderungen, sodass eines oder mehrere der Fahrzeuge Daten gemäß den modifizierten Parametern sammeln und/oder reduzieren. Um zu dem Beispiel mit der Eisfläche zurückzukehren, unter der Annahme, dass das Verfahren in den Schritten 234, 240 bestimmt hat, dass zusätzliche Informationen aus den verarbeiteten Videodaten benötigt wurden (d. h. das Video lieferte nicht den Grad an Details oder Kontrast, der für eine vollständige Analyse der Eisfläche benötigt wird), könnte Schritt 254 Datenextraktionsparameter-Änderungen an das folgende Fahrzeugs 30' senden, sodass, wenn das Fahrzeug auf die Eisfläche trifft, es Videodaten mit einem höheren Grad an Genauigkeit für eine verbesserte Rekonstruktion der Szene beim nächsten Mal liefert, auch wenn dies zusätzliche Mobilfunkgebühren verursacht, Es sollte beachtet werden, dass die Anweisungen in den Schritten 240, 250, die die Genauigkeit der verarbeiteten Videodaten erhöhen oder verbessern, auf den Bereich, der das Eisfeld umgibt (z. B. den Standort oder Kontext des Eisfeldes, die Fahrtrichtung usw.) beschränkt sein können, sodass die zusätzlichen Mobilfunkgebühren nur für diesen kleinen oder gezielten geographischen Bereich und nicht für alle Bereiche anfallen.
  • Schritt 270, der ein optionaler Schritt ist, erzeugt einen oder mehrere Befehle für ein autonomes oder teilautonomes Fahrzeug, basierend auf dem Ergebnis der Rekonstruktion der Fahrzeug-Szene. Wiederum Bezug nehmend auf das Beispiel der Eisfläche, wenn das Verfahren bestimmt, dass Fahrzeug 30 eine Eisfläche an einem bestimmten GPS-Standort angetroffen hat, und die Eisfläche nur auf der linken Seite der Fahrbahn besteht, kann Schritt 270 dann autonome Fahrbefehle an das Fahrzeug 30' erzeugen und senden, die es anweisen, sich allmählich auf die rechte Seite der Fahrbahn zu bewegen, wenn es sich dem Standort der Eisfläche nähert. Dies setzt natürlich voraus, dass es keine Hindernisse oder andere Probleme gibt, die das Fahrzeug 30' daran hindern würden, dieses autonome Fahrmanöver durchzuführen. Der Fachmann wird erkennen, dass das Lenk-, Brems- und/oder Beschleunigungs-Befehle nur einige der potenziellen Fahrbefehle sind, die dem autonomen oder teilautonomen Fahrzeug 30' als Reaktion auf die Rekonstruktion der Szene bereitgestellt werden könnten. Zahlreiche andere existieren sicherlich ebenfalls.
  • Es versteht sich, dass die vorstehende Beschreibung keine Definition der Erfindung ist, sondern eine Beschreibung einer oder mehrerer Ausführungsbeispiele der Erfindung ist. Die Erfindung ist nicht auf die spezielle(n) hier offenbarte Ausführungsform(en) beschränkt, sondern wird lediglich durch die nachstehenden Ansprüche definiert. Ferner beziehen sich die in der vorstehenden Beschreibung enthaltenen Aussagen auf bestimmte Ausführungsformen und sollen nicht als Einschränkungen des Schutzumfangs der Erfindung oder der Definition von in den Ansprüchen verwendeten Begriffen ausgelegt werden, außer wenn ein Begriff oder eine Phrase oben ausdrücklich definiert ist. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Modifikationen der offenbarten Ausführungsform(en) werden für den Fachmann offensichtlich werden. Beispielsweise ist die spezifische Kombination und Reihenfolge der Schritte nur eine Möglichkeit, da das vorliegende Verfahren eine Kombination von Schritten einschließen kann, die weniger, mehr oder andere Schritte als die hier gezeigten aufweist. Alle derartigen anderen Ausführungsformen, Änderungen und Modifikationen sollen in den Schutzumfang der beigefügten Ansprüche fallen.
  • Wie in dieser Beschreibung und den Ansprüchen verwendet, sollen die Begriffe „zum Beispiel“, „z.B.“, „beispielsweise“, „wie etwa“, und „wie“, und die Verben „umfassen“, „aufweisen“, „einschließen“ und ihre anderen Verbformen, wenn sie in Verbindung mit einer Auflistung von einer oder mehreren Komponenten oder anderen Elementen verwendet werden, jeweils offen auszulegen sein, sodass die Auflistung nicht als andere, weitere Komponenten oder Elemente ausschließend betrachtet werden soll. Andere Begriffe sollen unter Verwendung ihrer weitesten vernünftigen Bedeutung ausgelegt werden, wenn sie nicht in einem Kontext verwendet werden, der eine andere Interpretation erfordert. Außerdem ist der Ausdruck, „und/oder“ als ein einschließendes „oder“ auszulegen. Als ein Beispiel schließt der Ausdruck „A, B und/oder C“ Folgendes ein: ,,A“; „B“; „C“; „A und B“; „A und C“; „B und C“; und „A, B und C.“

Claims (15)

  1. Verfahren zur Rekonstruktion einer Fahrzeug-Szene mit einem Cloud-basierten System, das Cloud-basierte System schließt eine Fahrzeug-Ebene, eine Fog-Ebene und eine Cloud-Ebene ein, das Verfahren umfassend die Schritte: Sammeln der Fahrzeug-Videodaten mit einer oder mehreren Fahrzeugkamera(s); Verarbeiten der Fahrzeug-Videodaten unter Verwendung einer oder mehrerer Datenextraktionstechnik(en), wobei die Datenextraktionstechnik(en) gemäß einem oder mehreren Datenextraktionsparameter(n) ausgeführt werden; Senden der verarbeiteten Videodaten an die Fog-Ebene und/oder die Cloud-Ebene; Senden von Indexdaten an die Fog-Ebene und/oder die Cloud-Ebene; Rekonstruieren der Fahrzeugszene in der Cloud-Ebene unter Verwendung der verarbeiteten Videodaten und der Indexdaten; Auswerten der rekonstruierten Fahrzeug-Szene in der Cloud-Ebene, um zu bestimmen, ob mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden; und Durchführen von Einstellungen an dem/den Extraktionsparameter(n), der/die von der Fahrzeug-Ebene verwendet werden, wobei die Einstellungen auf der Bestimmung basieren, ob mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden.
  2. Verfahren nach Anspruch 1, wobei die Datenextraktionstechnik(en) mindestens eine Technik einschließen, die aus einer Liste gewählt wird, bestehend aus: einer Zeitbereichs-Downsampling-Technik, einer Pixelbereich-Downsampling-Technik oder einer Merkmalbereichs-Downsampling-Technik.
  3. Verfahren nach Anspruch 2, wobei die Datenextraktionstechnik die Zeitbereichs-Downsampling-Technik ist und der Datenextraktionsparameter eine zeitbasierte Abtastrate ist und wobei das Verfahren die auf die Cloud-Ebene über ein drahtloses Trägersystem übertragenen Fahrzeug-Videodaten unter Verwendung der zeitbasierten Abtastrate reduziert, um die Anzahl von individuellen Videobildern zu reduzieren.
  4. Verfahren nach Anspruch 2, wobei die Datenextraktionstechnik die Pixelbereichs-Downsampling-Technik ist und der Datenextraktionsparameter mindestens einen Parameter einschließt, der gewählt ist aus einer Liste bestehend aus: Bildauflösung, Bildfarbtiefe, Bildsichtfeld (FOV), Bildkompression oder Bildtyp, und wobei das Verfahren die Fahrzeug-Videodaten reduziert, die über ein drahtloses Trägersystem unter Verwendung mindestens eines Parameters an die Cloud-Ebene übertragen werden, um die Informationsmenge pro einzelnem Videobild zu reduzieren.
  5. Verfahren nach Anspruch 2, wobei die Datenextraktionstechnik die Merkmalbereichs-Downsampling-Technik ist und der Datenextraktionsparameter mindestens einen Parameter einschließt, der gewählt ist aus einer Liste bestehend aus: einer Anzahl von Objekten oder Merkmalen, einer Anzahl von Objekt- oder Merkmal-Datenpunkten, eine Abtastrate von Objekten oder Merkmalen, oder eine Technik zur Umwandlung oder Projektion von Originaldaten in eine orthogonale Zeitreihe, und wobei das Verfahren die Fahrzeug-Videodaten reduziert, die über eine drahtlose Trägersystem unter Verwendung des mindestens einen Parameters an die Cloud-Ebene übertragen werden, um nur bestimmte Objekte oder Merkmale innerhalb der einzelnen Videobilder zu verfolgen.
  6. Verfahren nach Anspruch 1, das ferner folgenden Schritt umfasst: Isolieren der verarbeiteten Videodaten von den Indexdaten, sodass eine Datenebene getrennt von einer Steuerebene beibehalten wird.
  7. Verfahren nach Anspruch 1, wobei der Schritt des Sendens der Indexdaten ferner das Senden von mindestens einem Teil von Indexdaten umfasst, die aus einer Liste gewählt sind bestehend aus Kontextdaten, Inhalts- oder Tag-Daten, Suchdaten, Abrufdaten, Indexbefehlen oder Steuerbefehlen.
  8. Verfahren nach Anspruch 1, wobei der Rekonstruktionsschritt ferner das Suchen und Abrufen verarbeiteter Videodaten aus der Fog-Ebene und von Indexdaten aus der Cloud-Ebene umfasst, die zuvor gespeichert wurden, um die Fahrzeug-Szene in der Cloud-Ebene zu rekonstruieren, wobei die vorher gespeicherten Daten basierend auf einem Standort der Fahrzeug-Szene, die rekonstruiert wird, abgerufen werden.
  9. Verfahren nach Anspruch 8, wobei die zuvor gespeicherten Daten von einer Vielzahl von Fahrzeugen bereitgestellt wurden, die zuvor durch den Standort der rekonstruierten Fahrzeug-Szene gefahren sind.
  10. Verfahren nach Anspruch 1, wobei der Bewertungsschritt ferner das Bewerten der rekonstruierten Fahrzeug-Szene durch Erzeugen einer Vertrauensniveau-Bewertung umfasst, die das Vertrauen des Systems in die Genauigkeit oder Vollständigkeit der rekonstruierten Fahrzeug-Szene darstellt.
  11. Verfahren nach Anspruch 10, wobei der Bewertungsschritt ferner das Vergleichen der Vertrauensniveau-Bewertung mit einem Vertrauensschwellenwert umfasst, wenn die Vertrauensniveau-Bewertung höher als der Vertrauensschwellenwert ist, dann werden die Datenextraktionsparameter so eingestellt, dass weniger verarbeitete Videodaten und/oder Indexdaten von der Fahrzeug-Ebene bereitgestellt werden, und wenn die Vertrauensniveau-Bewertung nicht höher als der Vertrauensschwellenwert ist, dann werden die Datenextraktionsparameter so eingestellt, dass mehr verarbeitete Videodaten und/oder Indexdaten durch die Fahrzeug-Ebene bereitgestellt werden.
  12. Verfahren nach Anspruch 11, wobei das Durchführen von Einstellungen ferner das Einstellen von mindestens einem Datenextraktionsparameter umfasst, der gewählt ist aus einer Liste bestehend aus: einer zeitbasierten Abtastrate, einer Bildauflösung, einer Bildfarbtiefe oder einem Bildsichtfeld (FOV), sodass mehr oder weniger Daten von der Fahrzeug-Ebene benötigt werden.
  13. Verfahren nach Anspruch 1, wobei der Schritt des Sammelns ferner das Sammeln von Fahrzeug-Videodaten mit einer oder mehreren an einem ersten Fahrzeug der Fahrzeug-Ebene angeordneten Fahrzeugkamera(s) umfasst, während der Schritt des Durchführens von Einstellungen ferner das Durchführen von Einstellungen an Datenextraktionsparameter(n) umfasst, die von einem zweiten Fahrzeug der Fahrzeug-Ebene verwendet werden, wobei das zweite Fahrzeug nach dem ersten Fahrzeug auf die Fahrzeug-Szene trifft.
  14. Verfahren nach Anspruch 1, das ferner folgenden Schritt umfasst: Erzeugen eines oder mehrerer Befehle für ein autonomes oder teilautonomes Fahrzeug basierend auf dem Ergebnis der Fahrzeug-Szene-Rekonstruktion.
  15. Cloud-basiertes System zur Rekonstruktion einer Fahrzeug-Szene, umfassend: eine Fahrzeug-Ebene mit einer Vielzahl von autonomen oder teilautonomen Fahrzeugen, jedes der Fahrzeuge schließt eine oder mehrere Fahrzeugkamera(s) ein; eine Fog-Ebene mit Hardware, die über ein drahtloses Trägersystem mit der Fahrzeug-Ebene verbunden ist; und eine Cloud-Ebene mit Hardware, die über das drahtlose Trägersystem mit der Fahrzeug-Ebene verbunden ist und mit der Fog-Ebene verbunden ist; die Fahrzeug-Ebenen-Hardware ist konfiguriert um: Fahrzeug-Videodaten mit der/den Fahrzeugkamera(s) zu sammeln, die Fahrzeug-Videodaten unter Verwendung einer oder mehrerer Datenextraktionstechnik(en) zu verarbeiten, die gemäß einem oder mehreren Datenextraktionsparameter(n) ausgeführt werden, die verarbeiteten Videodaten an die Fog-Ebene und/oder die Cloud-Ebene zu senden und Indexdaten an die Fog-Ebene und/oder die Cloud-Ebene zu senden; die Cloud-Ebenen-Hardware ist konfiguriert um: die Fahrzeug-Szene unter Verwendung der verarbeiteten Videodaten und Indexdaten zu rekonstruieren, die rekonstruierte Fahrzeug-Szene zu bewerten, um zu bestimmen, ob mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden, und Einstellungen an dem/den Datenextraktionparameter(n) durchzuführen, die von der Fahrzeug-Ebene verwendet werden; wobei die Einstellungen auf der Bestimmung basieren, dass mehr Daten, weniger Daten oder andere Daten von der Fahrzeug-Ebene benötigt werden.
DE102019115676.9A 2018-10-30 2019-06-10 Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene Active DE102019115676B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/175,343 US10757363B2 (en) 2018-10-30 2018-10-30 Method and system for reconstructing a vehicle scene at a cloud layer
US16/175,343 2018-10-30

Publications (2)

Publication Number Publication Date
DE102019115676A1 true DE102019115676A1 (de) 2020-04-30
DE102019115676B4 DE102019115676B4 (de) 2022-12-08

Family

ID=70326025

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019115676.9A Active DE102019115676B4 (de) 2018-10-30 2019-06-10 Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene

Country Status (3)

Country Link
US (1) US10757363B2 (de)
CN (1) CN111127329B (de)
DE (1) DE102019115676B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752538A (zh) * 2020-06-23 2020-10-09 华人运通(上海)云计算科技有限公司 车端场景的生成方法、装置、云端、车端和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510178B2 (en) * 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
US11664115B2 (en) * 2019-11-28 2023-05-30 Braid Health Inc. Volumetric imaging technique for medical imaging processing system
KR20210136496A (ko) 2020-05-08 2021-11-17 현대자동차주식회사 빅데이터를 이용한 배터리 수명 예측 시스템
KR20210142875A (ko) 2020-05-19 2021-11-26 현대자동차주식회사 빅데이터를 이용한 차량 파워 제어 시스템
KR20210144171A (ko) * 2020-05-21 2021-11-30 현대자동차주식회사 분산 클라우딩을 이용한 차량 제어 시스템
US11676392B2 (en) * 2020-06-03 2023-06-13 Waymo Llc Localization using surfel data
US11405462B1 (en) 2021-07-15 2022-08-02 Argo AI, LLC Systems, methods, and computer program products for testing of cloud and onboard autonomous vehicle systems
CN113947893A (zh) * 2021-09-03 2022-01-18 网络通信与安全紫金山实验室 一种自动驾驶车辆行车场景还原方法及系统
US11804129B2 (en) * 2021-10-06 2023-10-31 Ford Global Technologies, Llc Systems and methods to detect stalking of an individual who is traveling in a connected vehicle
WO2024035350A1 (fr) * 2022-08-11 2024-02-15 Société Générale Informatique Et Service Geiser Système d'analyse automatique et en temps différé d'image d'un flux vidéo notamment issue de vidéosurveillance

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19828320A1 (de) 1998-06-25 1999-12-30 Bosch Gmbh Robert Bildübertragungsverfahren und -vorrichtung
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
US8576069B2 (en) 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
DE102010030068A1 (de) 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
CN101908231B (zh) * 2010-07-27 2012-05-30 清华大学 处理含有主平面场景的三维点云重建方法和系统
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
CN104463842A (zh) * 2014-10-23 2015-03-25 燕山大学 一种基于运动视觉的车祸过程重现方法
KR102457029B1 (ko) * 2016-09-20 2022-10-24 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10140690B2 (en) * 2017-02-03 2018-11-27 Harman International Industries, Incorporated System and method for image presentation by a vehicle driver assist module
DE102017201789B4 (de) 2017-02-06 2021-03-18 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
US10593189B2 (en) * 2018-07-17 2020-03-17 Denso International America, Inc. Automatic traffic incident detection and reporting system
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752538A (zh) * 2020-06-23 2020-10-09 华人运通(上海)云计算科技有限公司 车端场景的生成方法、装置、云端、车端和存储介质
CN111752538B (zh) * 2020-06-23 2024-03-15 华人运通(上海)云计算科技有限公司 车端场景的生成方法、装置、云端、车端和存储介质

Also Published As

Publication number Publication date
CN111127329A (zh) 2020-05-08
CN111127329B (zh) 2023-11-28
DE102019115676B4 (de) 2022-12-08
US10757363B2 (en) 2020-08-25
US20200137351A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
DE102019115676B4 (de) Verfahren und system zur rekonstruktion einer fahrzeug-szene in einer cloud-ebene
DE102018102027A1 (de) Effizientes situationsbewusstsein durch ereigniserzeugung und episodischen speicherabruf für autonome antriebssysteme
DE102020106176A1 (de) Lokalisierungssysteme und -verfahren
DE102019202252A1 (de) Robuste simultane lokalisierung und kartierung durch entfernung dynamischer verkehrsteilnehmer
DE102018105293A1 (de) Verfahren und vorrichtung zur vernetzten szenendarstellung und -erweiterung in fahrzeugumgebungen in autonomen fahrsystemen
DE102018101505A1 (de) Effizientes situationsbewusstsein von wahrnehmungsströmen in autonomen fahrsystemen
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102017123180A1 (de) Rückwertige Hinderniserkennung und Abstandsschätzung
DE102014112601A1 (de) Fahrzeugumgebungerkennungsvorrichtung
DE102018121008B4 (de) System zum fahren eines autonomen fahrzeugs sowie damit ausgestattetes fahrzeugs
DE102019133703A1 (de) Verfahren und systeme zur herstellung und lokalisierung für ein fahrzeug
DE102019214628A1 (de) Validierung von Umfelderfassung mittels Satelitenbildern und SAR-Radardaten
DE102018205879A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102013201545A1 (de) Erstellen eines Umfeldmodells für ein Fahrzeug
DE112016005947B4 (de) Fahrzeugbestimmungsvorrichtung, Fahrzeugbestimmungsverfahren und Fahrzeugbestimmungsprogramm
DE102018119882A1 (de) Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden
DE102010020298B4 (de) Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
DE102020102725A1 (de) Verfahren und vorrichtung für eine kontextabhängige, aus der crowd-source stammende, spärliche, hochauflösende karte
WO2019180149A1 (de) System zur erzeugung von konfidenzwerten im backend
DE112018004108T5 (de) Bildsammelsystem, bildsammelverfahren, bildsammelvorrichtung, aufzeichnungsmedium und fahrzeugkommunikationsvorrichtung
DE112021000482T5 (de) Erkennung von fremdkörpern in einem fahrzeugweg
DE102021114724A1 (de) Verbesserter fahrzeugbetrieb
DE112022001403T5 (de) Lichtinterferenzdetektion während der fahrzeugnavigation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: LK GLOBAL PATENTANWAELTE PARTGMBB, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final