DE102021129569A1 - Aufmerksamkeitsgesteuertes System für adaptives Streaming von Fahrzeugsensordaten zum Edge-Computing und zu Cloud-basierten Netzvorrichtungen - Google Patents

Aufmerksamkeitsgesteuertes System für adaptives Streaming von Fahrzeugsensordaten zum Edge-Computing und zu Cloud-basierten Netzvorrichtungen Download PDF

Info

Publication number
DE102021129569A1
DE102021129569A1 DE102021129569.6A DE102021129569A DE102021129569A1 DE 102021129569 A1 DE102021129569 A1 DE 102021129569A1 DE 102021129569 A DE102021129569 A DE 102021129569A DE 102021129569 A1 DE102021129569 A1 DE 102021129569A1
Authority
DE
Germany
Prior art keywords
module
streaming
vehicle
attention
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021129569.6A
Other languages
English (en)
Inventor
Bo Yu
Sycamore Zhang
Shuqing Zeng
Kamran Ali
Vivek Vijaya Kumar
Donald K. Grimm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102021129569A1 publication Critical patent/DE102021129569A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein aufmerksamkeitsgesteuertes Streaming-System enthält ein Modul für adaptives Streaming und einen Transceiver. Das Modul für adaptives Streaming enthält Filter, ein Kompressionsmodul, ein aufmerksamkeitsgesteuertes Strategiemodul und ein Fusionsmodul. Die Filter filtern von Sensoren eines Fahrzeugs empfangene Sensordaten. Das Kompressionsmodul komprimiert die gefilterten Sensordaten, um komprimierte Daten zu erzeugen. Das aufmerksamkeitsgesteuerte Strategiemodul erzeugt auf der Grundlage eines Zustands des Fahrzeugs und eines Zustands einer Umgebung des Fahrzeugs Vorwärtskopplungsinformationen, um ein interessierendes Gebiet anzupassen. Das Fusionsmodul erzeugt eine adaptive Streaming-Strategie, um Operationen jedes der Filter adaptiv anzupassen. Der Transceiver streamt die komprimierten Daten zu einer Edge-Computing-Vorrichtung und/oder zu einer Cloud-gestützten Netzvorrichtung und empfängt in Ansprechen darauf Rückkopplungsinformationen und Pipelineüberwachungsinformationen. Das Fusionsmodul erzeugt auf der Grundlage der Vorwärtskopplungsinformationen, der Rückkopplungsinformationen und der Pipelineüberwachungsinformationen die adaptive Streaming-Strategie.

Description

  • EINLEITUNG
  • Die in diesem Abschnitt gegebenen Informationen dienen der allgemeinen Darstellung des Kontexts der Offenbarung. Arbeit der hier genannten Erfinder in dem Umfang, in dem sie in diesem Abschnitt beschrieben ist, sowie Aspekte der Beschreibung, die nicht auf andere Weise als Stand der Technik zum Zeitpunkt der Einreichung berechtigen können, sind weder explizit noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
  • Die vorliegende Offenbarung betrifft das Edge-Computing und die Cloud-basierte Verarbeitung von Fahrzeugsensordaten.
  • Ein Trägerfahrzeug kann verschiedene Sensoren wie etwa Kameras, Radarsensoren, Lidarsensoren, Geschwindigkeitssensoren, Gierratensensoren usw. enthalten, um Objekte und Umgebungsbedingungen zu detektieren. Ein Trägerfahrzeug bezieht sich auf ein Fahrzeug, an dem sich Sensoren befinden und bei dem die Verarbeitung wenigstens einiger der Sensordaten stattfindet. Um die Sensordaten zu empfangen, zu verarbeiten und zu analysieren ist erhebliche Verarbeitungsleistung notwendig. Um die Verarbeitungsleistung und die Verarbeitungszeit zu verringern, die bei dem Fahrzeug notwendig sind, können Sensordaten, die in Echtzeit betriebsnotwendig sind, zu einer Edge-Computing-Vorrichtung oder zu einer Cloud-gestützten Netzvorrichtung ausgeladen werden. Dies erfolgt, um reichliche Betriebsmittel (Computer- und Speicherbetriebsmittel) bei der Edge-Computing-Vorrichtung und/oder bei der Cloud-basierten Netzvorrichtung zu nutzen. Die Ergebnisse der verarbeiteten und analysierten Daten können daraufhin an das Fahrzeug zurückgesendet werden. In Echtzeit betriebsnotwendige Sensordaten können sich auf Daten beziehen, die z. B. einem detektierten entgegenkommenden Objekt (oder Fahrzeug) zugeordnet sind und die schnell verarbeitet werden müssen, um eine Kollision zu vermeiden.
  • Ein Cloud-basiertes Netz kann Computer- und Speicherdienste von einem zentralisierten Ort bereitstellen. Zum Beispiel ermöglicht das Edge-Computing unter Verwendung eines Breitbandmobilfunknetzes der fünften Generation (5G), dass die Sensordatenverarbeitung an den Rand eines Netzes des Trägerfahrzeugs geschoben wird. Die Sensordaten können in Mikrorechenzentren verarbeitet werden, die bei Mobilfunktürmen und/oder bei regionalen Stationen, die dem Trägerfahrzeug näher als eine Cloud-basierte Netzvorrichtung sein können, eingesetzt sind.
  • Außerdem können bestimmte Fahrzeugfunktionen von einem Fahrzeug zu einer Cloud-gestützten Netzvorrichtung und/oder zu einer Edge-Computing-Vorrichtung (als eine ferne Verarbeitungsvorrichtung bezeichnet) ausgeladen werden. Dies kann das Streaming der Sensordaten zu der fernen Verarbeitungsvorrichtung und das Verarbeiten der Sensordaten in Übereinstimmung mit den Fahrzeugfunktionen enthalten. Die Fahrzeugfunktionen können die Objektdetektion, die Objektnachführung und die Position und Kartierung des Trägerfahrzeugs und umgebender Objekte enthalten. Die ferne Verarbeitungsvorrichtung kann diese Funktionen auf der Grundlage der empfangenen Sensordaten ausführen und die Ergebnisse der Analysen können zurück für das Trägerfahrzeug bereitgestellt werden. Daraufhin können auf der Grundlage der Ergebnisse Fahrzeugbordfunktionen ausgeführt werden, um Bordoperationen zu erweitern und die Fahrzeugleistung und die Insassenerfahrung zu verbessern. Als einige Beispiele können die Bordfunktionen die Kollisionsvermeidung, das autonome Fahren, die Fahrerunterstützung, die Navigation, die Situationsberichterstattung usw. enthalten.
  • Es wird ein aufmerksamkeitsgesteuertes Streaming-System geschaffen und dieses enthält ein Modul für adaptives Streaming und einen Transceiver. Das Modul für adaptives Streaming enthält Filter, ein Kompressionsmodul, ein aufmerksamkeitsgesteuertes Strategiemodul und ein Fusionsmodul. Die Filter sind dafür konfiguriert, von Sensoren eines Fahrzeugs empfangene Sensordaten zu filtern. Das Kompressionsmodul ist dafür konfiguriert, die gefilterten Sensordaten zu komprimieren, um komprimierte Daten zu erzeugen. Das aufmerksamkeitsgesteuerte Strategiemodul ist dafür konfiguriert, auf der Grundlage eines Zustands des Fahrzeugs und eines Zustands einer Umgebung des Fahrzeugs Vorwärtskopplungsinformationen zu erzeugen, um ein interessierendes Gebiet anzupassen. Das Fusionsmodul ist dafür konfiguriert, eine adaptive Streaming-Strategie zu erzeugen, um Operationen jedes der Filter adaptiv anzupassen. Der Transceiver ist dafür konfiguriert, die komprimierten Daten zu einer Edge-Computing-Vorrichtung und/oder zu einer Cloud-gestützten Netzvorrichtung zu streamen und in Ansprechen darauf Rückkopplungsinformationen und Pipelineüberwachungsinformationen zu empfangen. Das Fusionsmodul ist dafür konfiguriert, auf der Grundlage der Vorwärtskopplungsinformationen, der Rückkopplungsinformationen und der Pipelineüberwachungsinformationen die adaptive Streaming-Strategie zu erzeugen.
  • Gemäß anderen Merkmalen enthalten die Filter: ein Zeitbereichsfilter, das dafür konfiguriert ist, die Sensordaten mit einer eingestellten Frequenz neu abzutasten; ein Raumbereichsfilter, das dafür konfiguriert ist, ein oder mehrere geografische Gebiete außerhalb des Fahrzeugs auszuwählen; und ein Filter für verlustbehaftete Kompression, das dafür konfiguriert ist, ein verlustbehaftetes Kompressionsverfahren und/oder eine Rate der verlustbehafteten Kompression des Kompressionsmoduls auszuwählen.
  • Gemäß anderen Merkmalen ist das Raumbereichsfilter konfiguriert zum: Auswählen einer oder mehrerer Bildauflösungen jeweils für das ausgewählte eine oder die ausgewählten mehreren geografischen Gebiete; Anwenden eines oder mehrerer Zeitbereichsverfahren jeweils auf das ausgewählte eine oder die ausgewählten mehreren geografischen Gebiete; und Anpassen einer oder mehrerer verschiedener Verlustkompressionsraten für das eine oder die mehreren Gebiete.
  • Gemäß anderen Merkmalen sind die Vorwärtskopplungsinformationen eine erste Streaming-Strategie für das Streaming von Daten zu der Edge-Computing-Vorrichtung und/oder zu der Cloud-gestützten Netzvorrichtung; und sind die Rückkopplungsinformationen eine zweite Streaming-Strategie für das Streaming von Daten zu der Edge-Computing-Vorrichtung und/oder zu der Cloud-gestützten Netzvorrichtung.
  • Gemäß anderen Merkmalen werden die Vorwärtskopplungsinformationen innerhalb des Fahrzeugs erzeugt und enthalten sie für das interessierende Gebiet eine Anforderung für Daten mit höherer Auflösung.
  • Gemäß anderen Merkmalen enthalten die Vorwärtskopplungsinformationen eine Streaming-Strategie, die auf der Grundlage von innerhalb des Fahrzeugs erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet zum Fokussieren der Überwachung angibt. Gemäß anderen Merkmalen sind die Filter dafür konfiguriert, eine Abtastrate eines oder mehrerer der Sensoren für das geografische Gebiet auf der Grundlage der Streaming-Strategie in den Vorwärtskopplungsinformationen anzupassen.
  • Gemäß anderen Merkmalen werden die Rückkopplungsinformationen innerhalb der Edge-Computing-Vorrichtung und/oder der Cloud-gestützten Netzvorrichtung erzeugt und enthalten sie eine Anforderung für Daten mit höherer Auflösung für ein angegebenes geografisches Gebiet.
  • Gemäß anderen Merkmalen enthalten die Rückkopplungsinformationen eine Streaming-Strategie, die auf der Grundlage von innerhalb der Edge-Computing-Vorrichtung und/oder der Cloud-gestützten Netzvorrichtung erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet zum Fokussieren der Überwachung angibt. Die Filter sind dafür konfiguriert, eine Abtastrate eines oder mehrerer der Sensoren für das geografische Gebiet auf der Grundlage der in den Rückkopplungsinformationen enthaltenen Streaming-Strategie anzupassen.
  • Gemäß anderen Merkmalen geben die Pipelineüberwachungsinformationen eine Anpassung einer Streaming-Rate der komprimierten Daten auf der Grundlage einer Stauung bei der Edge-Computing-Vorrichtung und/oder bei der Cloud-gestützten Netzvorrichtung an.
  • Gemäß anderen Merkmalen ist das aufmerksamkeitsgesteuerte Strategiemodul dafür konfiguriert, die Vorwärtskopplungsinformationen auf der Grundlage des Folgenden zu erzeugen: einer probabilistischen Darstellung eines Zustands eines Objekts; eines Vertrauensniveaus des Zustands des Objekts; und einer Liste von Objekten, von denen erwartet wird, dass sie in Zukunft beobachtet werden, und von Ereignissen, von denen erwartet wird, dass sie in Zukunft auftreten.
  • Gemäß anderen Merkmalen ist das aufmerksamkeitsgesteuerte Strategiemodul dafür konfiguriert, die Vorwärtskopplungsinformationen auf der Grundlage von wenigstens einem der Folgenden zu erzeugen: Differenzen zwischen verschiedenen Sensoren; aktuellen und bevorstehenden Umgebungsbedingungen, die durch das Fahrzeug aktuell erfahren werden oder erfahren werden sollen; Statusinformationen von einem Nachbarfahrzeug; oder Kartennachführungs- und Trajektorienplanungsinformationen.
  • Gemäß anderen Merkmalen ist das aufmerksamkeitsgesteuerte Strategiemodul dafür konfiguriert, die Vorwärtskopplungsinformationen zu erzeugen, die ein oder mehrere Aufmerksamkeitsgebiete für Aufgaben, die ausgeführt werden, enthalten.
  • Gemäß anderen Merkmalen wird ein Fahrzeugsystem geschaffen und enthält es: das aufmerksamkeitsgesteuerte Streaming-System; und die Sensoren.
  • Gemäß anderen Merkmalen wird ein aufmerksamkeitsgesteuertes Strategieverfahren geschaffen und enthält es: Filtern von Sensordaten, die von Sensoren bei einem Fahrzeug empfangen werden, über Filter; Komprimieren der gefilterten Sensordaten, um komprimierte Daten zu erzeugen; Erzeugen von Vorwärtskopplungsinformationen auf der Grundlage eines Zustands des Fahrzeugs und eines Zustands einer Umgebung des Fahrzeugs; Erzeugen einer Strategie für adaptives Streaming, um Operationen jedes der Filter adaptiv anzupassen; und Streaming der komprimierten Daten von dem Fahrzeug zu einer Edge-Computing-Vorrichtung und/oder zu einer Cloud-gestützten Netzvorrichtung und in Ansprechen auf das Empfangen von Rückkopplungsinformationen und Pipelineüberwachungsinformationen von der Edge-Computing-Vorrichtung oder von der Cloud-gestützten Netzvorrichtung. Die Strategie des adaptiven Streamings wird auf der Grundlage der Vorwärtskopplungsinformationen, der Rückkopplungsinformationen und der Pipelineüberwachungsinformationen erzeugt.
  • Gemäß anderen Merkmalen enthält das Filtern der Sensordaten: Neuabtasten der Sensordaten mit einer eingestellten Frequenz; Auswählen eines oder mehrerer geografischer Gebiete außerhalb des Fahrzeugs; und Auswählen eines verlustbehafteten Kompressionsverfahrens und/oder einer Rate der verlustbehafteten Kompression zum Komprimieren der Sensordaten.
  • Gemäß anderen Merkmalen sind die Vorwärtskopplungsinformationen eine erste Streaming-Strategie für das Streaming von Daten an die Edge-Computing-Vorrichtung und/oder an die Cloud-gestützte Netzvorrichtung; und sind die Rückkopplungsinformationen eine zweite Streaming-Strategie für das Streaming von Daten zu der Edge-Computing-Vorrichtung und/oder zu der Cloud-gestützten Netzvorrichtung.
  • Gemäß anderen Merkmalen enthalten die Vorwärtskopplungsinformationen und/oder die Rückkopplungsinformationen eine Anforderung für Daten mit höherer Auflösung für ein angegebenes geografisches Gebiet.
  • Gemäß anderen Merkmalen enthalten die Vorwärtskopplungsinformationen eine Streaming-Strategie, die auf der Grundlage von innerhalb des Fahrzeugs erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet für die Fokusüberwachung angibt. Die Filterung enthält das Anpassen einer Abtastrate eines oder mehrerer der Sensoren für das geografische Gebiet auf der Grundlage der Streaming-Strategie in den Vorwärtskopplungsinformationen.
  • Gemäß anderen Merkmalen enthalten die Rückkopplungsinformationen eine Streaming-Strategie, die auf der Grundlage von innerhalb des Fahrzeugs erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet für die Fokusüberwachung angibt. Die Filterung enthält das Anpassen einer Abtastrate eines oder mehrerer der Sensoren für das geografische Gebiet auf der Grundlage der Streaming-Strategie in den Rückkopplungsinformationen.
  • Gemäß anderen Merkmalen enthält die adaptive Streaming-Strategie das Erhöhen der Auflösung für ein erstes interessierendes Gebiet und das Verringern der Auflösung für ein zweites interessierendes Gebiet.
  • Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der ausführlichen Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur zu Veranschaulichungszwecken bestimmt und sollen den Schutzumfang der Offenbarung nicht einschränken.
  • Figurenliste
  • Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:
    • 1 ein Funktionsblockdiagramm und eine Ansicht eines Beispiels eines aufmerksamkeitsgesteuerten Streaming-Systems, das Fahrzeuge mit Modulen für adaptives Streaming enthält, gemäß der vorliegenden Offenbarung;
    • 2 einen Funktionsblockschaltplan eines Beispiels eines Fahrzeugs, das ein Fahrzeugsystem enthält, das ein Modul für adaptives Streaming gemäß der vorliegenden Offenbarung enthält;
    • 3 einen Funktionsblockschaltplan eines Abschnitts des aufmerksamkeitsgesteuerten Streaming-Systems aus 1;
    • 4 einen Funktionsblockschaltplan eines Abschnitts des aufmerksamkeitsgesteuerten Streaming-Systems aus 3, das ein Beispiel eines aufmerksamkeitsgesteuerten Strategiemoduls gemäß der vorliegenden Offenbarung enthält;
    • 5 einen ersten Abschnitt eines adaptiven Streaming-Verfahrens, das durch ein Fahrzeug implementiert wird, gemäß der vorliegenden Offenbarung; und
    • 6 einen zweiten Abschnitt des adaptiven Streaming-Verfahrens, das durch eine Edge-Computing-Vorrichtung oder durch einen Cloud-gestützte Netzvorrichtung implementiert wird, gemäß der vorliegenden Offenbarung.
  • In den Zeichnungen können Bezugszeichen mehrfach verwendet sein, um ähnliche und/oder gleiche Elemente zu identifizieren.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Von einem Fahrzeug können eine erhebliche Menge von Sensordaten zu einer Edge-Computing-Vorrichtung oder zu einer Cloud-gestützten Netzvorrichtung gestreamt werden. Dies kann eine erhebliche Menge an Bandbreite, Zeit und Kosten erfordern. Beim Übertragen der Sensordaten können bestimmte Faktoren angepasst werden. Die Faktoren enthalten: die Frequenz der übertragenen Daten (als der Zeitbereich bezeichnet); das interessierende Gebiet und die Auflösung; und die Rate der verlustbehafteten Kompression (oder Videokompressionsrate) der Sensordaten. Bei der Anpassung dieser Faktoren sind Abwägungen zu beachten. Zum Beispiel gibt es Abwägungen zwischen (i) der Bandbreitennutzung und (ii) der Leistung von Seiten des Edge-Computing/der Cloud und der Leistung des autonomen Fahrzeugs. Allgemein ist umso mehr Bandbreite erforderlich, sind die Übertragungslatenzzeiten umso höher und sind die Verarbeitungslatenzzeiten umso höher und sind die Ergebnisse der Verarbeitung umso besser, je höher die Auflösung der erhobenen Sensordaten ist und je mehr Sensordaten für die Verarbeitung ausgeladen werden. Je besser die Verarbeitungsergebnisse sind, desto besser ist die Leistung der auf das autonome Fahrzeug bezogenen Funktionen wie etwa Objekt-/Kollisionsvermeidung und Navigationsfunktionen.
  • Die hier dargestellten Beispiele enthalten ein aufmerksamkeitsgesteuertes Streaming-System, das adaptive Streaming-Module enthält, die das adaptive Sensordaten-Streaming zu Edge-Computing- und Cloud-gestützten Netzvorrichtungen unterstützen. Das adaptive Daten-Streaming beruht auf der Wahrnehmungsaufmerksamkeit. Die Wahrnehmungsaufmerksamkeit bezieht sich auf die Fokussierung auf bestimmte Bereiche (oder geografische Gebiete) einer Umgebung, die von Bedeutung sind. Fahrzeugfunktionen können aus dem Fahrzeug zu Edge-Computing- und Cloud-gestützten Netzvorrichtungen ausgelagert werden, um einen zunehmenden Bedarf an Computerbetriebsmitteln eines autonomen Fahrzeugs zu erfüllen, ohne die Fahrzeugbordhardwarekosten zu erhöhen. Edge-Computing- und Cloud-gestützte Betriebsmittel können durch mehrere Fahrzeuge gemeinsam genutzt werden. Dies senkt die Betriebskosten pro Fahrzeug pro Stunde, die der Verwendung der Edge-Computing- und Cloud-gestützten Betriebsmittel zugeordnet sind. Die Beispiele enthalten das Ausführen von Operationen zum Lösen des Abwägungsproblems zwischen (i) Wahrnehmungsleistung, die sich allgemein mit erhöhter Auflösung der Daten verbessert, und (ii) Bandbreitenanforderungen, die mit erhöhter Auflösung zunehmen. Die Beispiele enthalten die Fokussierung der Gebietsüberwachung auf ein oder mehrere interessierende Gebiete von verringerter Größe. Eine Verringerung der Größe eines überwachten Gesamtgebiets und/oder der Anzahl von Gebieten ermöglicht eine erhöhte Auflösung für das eine bzw. die mehreren überwachten Gebiete, während keine zusätzliche Menge an Daten erhoben wird, die zusätzliche Bandbreite für das Streaming von Bord des Fahrzeugs erfordern kann. Die Gesamtmenge erhobener Daten kann verringert werden, was Bandbreiteeinsparungen schafft, während gleichzeitig die Fahrzeugwahrnehmungsleistung aufrechterhalten oder verbessert wird.
  • 1 zeigt ein aufmerksamkeitsgesteuertes Streaming-System 100, das Fahrzeuge 102, Edge-Computing-Vorrichtungen 104, ein Cloud-gestütztes Netz 106, Infrastrukturvorrichtungen 108 und persönliche Mobilfunknetzvorrichtungen 110 enthält. Die Fahrzeuge 102 können jeweils Transceiver 120, Steuermodule 122 und Sensoren 124 enthalten. Die Steuermodule 122 enthalten Module 126 für adaptives Streaming, die Abtastraten, Streaming-Frequenzen, interessierende Gebiete (Fokussierungsgebiete), Auflösungen, Raten der verlustbehafteten Kompression, verlustbehaftete Kompressionsverfahren und/oder andere Streaming-Parameter und/oder Aspekte von Sensordaten, die von den Fahrzeugen 102 an die Edge-Computing-Vorrichtungen 104 und/oder an die Cloud-gestützten Netzvorrichtungen 128 des Cloud-gestützten Netzes 106 gesendet werden, adaptiv anpassen.
  • Die Edge-Computing-Vorrichtungen 104 und die Cloud-gestützten Netzvorrichtungen 128 können jeweils aufmerksamkeitsgesteuerte Strategiemodule enthalten. Es sind die aufmerksamkeitsgesteuerten Strategiemodule 130, 132 gezeigt. Obwohl dies in 1 nicht gezeigt ist, können die Steuermodule 122 der Fahrzeuge 102 außerdem aufmerksamkeitsgesteuerte Strategiemodule enthalten, für die Beispiele in 3 gezeigt sind. Jedes der aufmerksamkeitsgesteuerten Strategiemodule führt Überzeugungs-, Vorstellungs- und Aufgabenrelevanzoperationen [engl.: „belief, envision and task relevance operations“] aus, um Rückkopplungsinformationen für die Module 126 für adaptives Streaming bereitzustellen. Die Aufmerksamkeit eines Fahrzeugsystems kann auf ein oder mehrere geografische Gebiete außerhalb des entsprechenden Fahrzeugs fokussiert werden. Ein Gebiet kann sich auf einen mehrdimensionalen Raum beziehen, für den ein Wahrnehmungsmodul des autonomen Fahrzeugs, das einen Wahrnehmungsalgorithmus implementiert, bestimmt, dass er von Interesse ist. Als ein Beispiel kann ein Wahrnehmungsalgorithmus, der durch ein Wahrnehmungsmodul ausgeführt wird (für das ein Beispiel in 4 gezeigt ist), bestimmen, dass ein bestimmtes Objekt in einem bestimmten Gebiet von Interesse ist. Eines der aufmerksamkeitsgesteuerten Strategiemodule kann daraufhin im Ergebnis für das bestimmte interessierende Gebiet eine erhöhte Auflösung anfordern, z. B., um das Objekt besser zu überwachen. Dies kann die Überwachung eines Orts des Objekts, einer Trajektorie (oder eines Wegs) des Objekts, einer Geschwindigkeit des Objekts usw. enthalten. Die aufmerksamkeitsgesteuerten Strategiemodulen führen die Überzeugungs-, Vorstellungs- und Aufgaben-relevanten Operationen aus, um Streaming-Strategieprofile zu erzeugen. Die Streaming-Strategieprofile werden als Rückkopplungsinformationen an die Module 126 für adaptives Streaming gesendet. Die Module 126 für adaptives Streaming passen daraufhin Streaming-Parameter auf der Grundlage der Rückkopplungsinformationen an.
  • Die Streaming-Strategieprofile können jeweils zeitliche Informationen, räumliche Informationen und Informationen über die verlustbehaftete Kompression enthalten. Ein Zeitbereich bezieht sich auf eine Abtastfrequenz der Sensordaten und auf deren Anpassung. Eine Abtastfrequenz kann in Abhängigkeit von einem Grad des Interesses an den entsprechenden Sensordaten und/oder an dem interessierenden Gebiet verringert oder erhöht werden. Sensordaten können für mehrere Gebiete erhoben werden, wobei jedes Gebiet einen anderen Grad des Interesses und eine andere entsprechende Abtastrate aufweisen kann. Die Abtastraten können Neuabtastraten sein. Die Abtastraten können sich auf Kameraeinzelbilder pro Sekunde, auf Punkte des globalen Positionsbestimmungssystems pro Sekunde, auf eine Abtastrate eines analogen Signals usw. beziehen.
  • Ein Raumbereich bezieht sich auf mehrdimensionale Sensordaten und bezieht sich auf interessierende Gebiete, die Dimensionen und Orte der Gebiete enthalten. Jedem Gebiet kann (i) eine Neuabtastungsauflösung (z. B. eine niedrigere oder höhere Bildauflösung in Bezug auf eine Standardauflösung), (ii) ein Zeitbereichsverfahren (das für verschiedene Gebiete verschieden sein kann) und (iii) eine Rate der verlustbehafteten Kompression (die für verschiedene Gebiete verschieden sein kann) zugewiesen sein.
  • Ein Bereich verlustbehafteter Kompression bezieht sich auf Raten der verlustbehafteten Kompression, bei denen Sensordaten vor dem Streaming zu einer fernen Vorrichtung komprimiert werden, und auf ein verlustbehaftetes Kompressionsverfahren. Einige beispielhafte verlustbehaftete Kompressionsverfahren sind (i) die Videokompressionsverfahren (oder Bildkompressionsverfahren) H264 (auch als fortgeschrittenes Videocodierungsverfahren bezeichnet) und H265 (auch als hocheffizientes Videocodierungsverfahren bezeichnet); und (ii) die Audiokompressionsverfahren Advanced Audio Coding (AAC) und Moving Pictures Expert Group (MPEG), Schicht III, (MP3). Gemäß einigen Ausführungsformen werden die genannten zeitlichen, räumlichen und verlustbehafteten Kompressionsverfahren kombiniert, um von den Fahrzeugen 102 zu den Edge-Computing-Vorrichtungen 104 und/oder zu den Cloud-gestützten Netzvorrichtungen 128 gesendete Streaming-Sensordaten zu filtern und zu komprimieren.
  • Die Edge-Computing-Vorrichtungen 104 können regionale Mobilfunkturmvorrichtungen, Basisstationsvorrichtungen, Netzvorrichtungen auf Stadtebene, Mikro-Rechenzentrumvorrichtungen usw. enthalten. Die Edge-Computing-Vorrichtungen 104 beziehen sich nicht auf Vorrichtungen innerhalb der Fahrzeuge 102. Die Cloud-gestützten Netzvorrichtungen 128 können Teil eines verteilten Netzes sein, das Server, Speichervorrichtungen mit gespeicherten Datenbanken usw. enthält.
  • Die Fahrzeuge 102 können über Fahrzeug-zu-Infrastruktur-Kommunikationsübertragungsstrecken (V21-Kommunikationsübertragungsstrecken) wie etwa Longterm-Evolution-Übertragungsstrecken (LTE-Übertragungsstrecken) oder Übertragungsstrecken der 5. Generation (5G-Übertragungsstrecken) mit Infrastrukturvorrichtungen 108 kommunizieren. Die Fahrzeuge 102 können über Fahrzeug-zu-Netz-Kommunikationsübertragungsstrecken (V2N-Übertragungsstrecken) wie etwa LTE- und 5G-Übertragungsstrecken mit den Edge-Computing-Vorrichtungen 104 kommunizieren. Die Fahrzeuge 102 können über Fahrzeug-zu-Person-Kommunikationsübertragungsstrecken (V2P-Kommunikationsübertragungsstrecken) wie etwa LTE- und 5G-Übertragungsstrecken mit den persönlichen Mobilfunknetzvorrichtungen 110 kommunizieren.
  • 2 zeigt ein Beispiel eines der Fahrzeuge 102 aus 1. Das Fahrzeug 102 enthält ein Fahrzeugsystem 200, das das Steuermodul 122 und die Sensoren 124 enthält. Das Fahrzeug 102 kann ein teil- oder vollautonomes Fahrzeug oder ein anderer Typ eines Fahrzeugs sein. Das Steuermodul 122 kann das Modul 126 für adaptives Streaming, ein Fahrzeug-zu-Infrastruktur-Modul (V2l-Modul) 202, ein Wahrnehmungsmodul 205, ein Trajektorienmodul 206 und andere Module 208 enthalten. Das V21-Modul 202 kann Daten von Straßeninfrastrukturrichtungen, die sich außerhalb des Fahrzeugs befinden, erheben. Die Infrastrukturvorrichtungen können Lichtsignale, Verkehrszeichen, an Gebäuden und/oder an Straßenstrukturen montierte Vorrichtungen usw. enthalten. Das Steuermodul 122 und/oder das Modul 126 für adaptives Streaming können ein neuronales Netz und adaptives Lernen implementieren, um die Anpassungen der Streaming-Parameter zu verbessern. Das Wahrnehmungsmodul 205 kann auf der Grundlage von aktuell beobachteten Zuständen des Fahrzeugs 102 und der entsprechenden Umgebung bevorstehende interessierende Gebiete und/oder Ereignisse identifizieren. Das Wahrnehmungsmodul 205 kann Wahrnehmungsalgorithmen ausführen, um vorherzusagen, was innerhalb der nächsten vorgegebenen Zeitdauer auftreten wird. Das Wahrnehmungsmodul 205 kann z. B. Orte von Objekten relativ zu dem Fahrzeug 102, einen Ort des Fahrzeugs 102, Änderungen von Umgebungsbedingungen, Änderungen von Straßenbedingungen, Änderungen des Verkehrsflusses usw. vorhersagen. Das Trajektorienmodul 206 kann die Trajektorien des Fahrzeugs 102 und/oder anderer Fahrzeuge in der Nähe bestimmen. Die anderen Module 208 können Fahrzeugbordfunktionsmodule wie etwa die in 3 gezeigten enthalten.
  • Der Speicher 204 kann Streaming-Strategien 210, Parameter 212, Daten 214 und Algorithmen 216 (z. B. aufmerksamkeitsgesteuerte Strategiealgorithmen, Wahrnehmungsalgorithmen usw.) speichern. Die Sensoren 124 können sich überall in dem Fahrzeug 102 befinden und Kameras 220, Infrarotsensoren (IR-Sensoren) 222, Radarsensoren 224, Lidarsensoren 226 und/oder andere Sensoren 228 enthalten. Die anderen Sensoren 228 können Gierratensensoren, Beschleunigungsmesser, Sensoren des globalen Positionsbestimmungssystems (GPS) usw. enthalten. Das Steuermodul 122 und die Sensoren 124 können in direkter Kommunikation miteinander stehen, können über einen Controller-Area-Network-Bus (CAN-Bus) 230 und/oder über einen Ethernet-Switch 232 miteinander kommunizieren. In dem gezeigten Beispiel sind die Sensoren 124 über den Ethernet-Switch 232 mit dem Steuermodul 122 verbunden, ebenfalls oder alternativ können sie aber direkt mit dem Steuermodul 122 und/oder mit dem CAN-Bus 230 verbunden sein.
  • Ferner kann das Fahrzeug 102 ein Fahrwerkssteuermodul 240, Drehmomentquellen wie etwa einen oder mehrere Elektromotoren 242 und eine oder mehrere Kraftmaschinen (wobei eine Kraftmaschine 244 gezeigt ist) enthalten. Das Fahrwerkssteuermodul 240 kann über die Drehmomentquellen die Verteilung des Ausgangsdrehmoments auf Achsen des Fahrzeugs 102 steuern. Das Fahrwerkssteuermodul 240 kann den Betrieb eines Vortriebssystems 246 steuern, das den einen bzw. die mehreren Elektromotoren 242 und die eine bzw. die mehreren Kraftmaschinen 244 enthält. Die Kraftmaschine 244 kann einen Startermotor 250, ein Kraftstoffsystem 252, ein Zündungssystem 254 und ein Drosselklappensystem 256 enthalten.
  • Ferner kann das Fahrzeug 102 ein Karosseriesteuermodul (BCM) 260, ein Telematikmodul 262, ein Bremssystem 263, ein Navigationssystem 264, ein Infotainmentsystem 266, ein Klimatisierungssystem 270, andere Aktuatoren 272, andere Vorrichtungen 274 und andere Fahrzeugsysteme und Fahrzeugmodule 276 enthalten. Das Navigationssystem 264 kann ein GPS 278 enthalten. Die anderen Aktuatoren 272 können Lenkungsaktuatoren und/oder andere Aktuatoren enthalten. Das Steuermodul, die Systeme und Module 122, 240, 260, 262, 264, 266, 270, 276 können über den CAN-Bus 230 miteinander kommunizieren. Es kann eine Leistungsquelle 280 enthalten sein und das BCM 260 und andere Systeme, Module, Controller, Speicher, Vorrichtungen und/oder Komponenten mit Leistung versorgen. Die Leistungsquelle 280 kann eine oder mehrere Batterien und/oder andere Leistungsquellen enthalten. Das Steuermodul 122 und/oder das BCM 260 können auf der Grundlage detektierter Objekte, von Orten der detektierten Objekte und/oder anderer zugehöriger Parameter Gegenmaßnahmen und/oder autonome Operationen ausführen. Diese können das Steuern der genannten Drehmomentquellen und Aktuatoren sowie das Bereitstellen von Bildern, Angaben und/oder Anweisungen über das Infotainmentsystem 266 enthalten.
  • Das Telematikmodul 262 kann Transceiver 282 und ein Telematiksteuermodul 284 enthalten, die zum Kommunizieren mit anderen Fahrzeugen, Netzen, Edge-Computing-Vorrichtungen und/oder Cloud-gestützten Vorrichtungen verwendet werden können. Die Transceiver 282 können den Transceiver 120 aus 1 enthalten. Das BCM 260 kann die Module und Systeme 262, 263, 264, 266, 270, 276 und andere Aktuatoren, Vorrichtungen und Systeme (z. B. die Aktuatoren 272 und die Vorrichtungen 274) steuern. Diese Steuerung kann auf Daten von den Sensoren 124 beruhen.
  • 3 zeigt einen Abschnitt 300 des aufmerksamkeitsgesteuerten Streaming-Systems 100 aus 1. Der Abschnitt 300 enthält einen Fahrzeugabschnitt 302, der auf einer linken Seite einer Strichlinie 304 gezeigt ist, und einen Edge-Computing/Cloud-gestützten Abschnitt 306, der auf einer rechten Seite der Strichlinie 304 gezeigt ist. Obwohl dies in 3 nicht gezeigt ist, können die Abschnitte 302 und 306 jeweilige Transceiver enthalten. Zum Beispiel kann der Abschnitt 302 die Transceiver 282 aus 2 enthalten. Der Fahrzeugabschnitt 302 enthält die Sensoren 124, das Modul 126 für adaptives Streaming, den Speicher 204 und die Fahrzeugbordfunktionsmodule 310. Der Edge-Computing/Cloud-gestützte Abschnitt 306 enthält ein Sensor-Streaming-Modul 312 und ein Fahrzeugüberwachungsmodul 314. Zwischen den Abschnitten 302, 306 kann eine Kommunikationsschnittstelle 316 vorhanden sein.
  • Das Modul 126 für adaptives Streaming kann Filter 320, ein Kompressionsmodul 322, ein Streaming-Strategie-Modul 324 und ein aufmerksamkeitsgesteuertes Strategiemodul 326, das ähnlich wie die anderen hier offenbarten aufmerksamkeitsgesteuerten Strategiemodule arbeitet, enthalten. Die Filter 320 enthalten zeitliche Filter 330, räumliche Filter 332 und Filter 334 für verlustbehaftete Raten. Die zeitlichen Filter 330 tasten die Sensordaten wie oben beschrieben mit einer eingestellten Frequenz ab. Die räumlichen Filter 332 wählen interessierende Gebiete, die Abtastauflösung pro überwachtes Gebiet aus, wenden auf die entsprechenden überwachten Gebiete Zeitbereichsverfahren an und/oder wenden auf die überwachten Gebiete verschiedene Raten für die verlustbehaftete Kompression an. Die räumlichen Filter 332 können die Auflösungsgrade für jedes interessierende Gebiet erhöhen oder verringern. Gemäß einer Ausführungsform gehen die räumlichen Filter 332 zwischen der dreidimensionalen Erhebung und Filterung (3D-Erhebung und 3D-Filterung) und der zweidimensionalen Erhebung und Filterung (2D-Erhebung und 2D-Filterung) von Sensordaten über. Die Filter 334 für verlustbehaftete Rate passen für die überwachten Gebiete Raten der verlustbehafteten Kompression der erhobenen Sensordaten an und/oder wählen für die überwachten Gebiete verlustbehaftete Kompressionsverfahren aus. Die genannten Parameter der Filter 330, 332, 334 werden durch das Streaming-Strategie-Modul 324 eingestellt. Das Kompressionsmodul 322 komprimiert durch die Filter 320 ausgegebene resultierende gefilterte Daten vor der Übertragung an das Sensor-Streaming-Modul 312.
  • Das Streaming-Strategie-Modul 324 enthält eine Vorwärtskopplungskanalschnittstelle 340, eine Rückkopplungskanalschnittstelle 342, eine Pipelinekanalschnittstelle 344 und ein Strategiefusionsmodul 346. Die Vorwärtskopplungskanalschnittstelle 340 empfängt von dem aufmerksamkeitsgesteuerten Strategiemodul 326 eine erste Streaming-Strategie. Das aufmerksamkeitsgesteuerte Strategiemodul 130 berechnet kurze Daten und Vorstellungsdaten und sagt für ein oder mehrere interessierende Gebiete eine Notwendigkeit von Qualitätssensordaten (Sensordaten mit einem höheren und/oder vorgegebenen minimalen Auflösungsgrad) vorher. Zum Beispiel kann das Trägerfahrzeug eine Fahrtrichtungsänderung auf eine neue (oder andere) Straße vornehmen. Daraufhin kann das aufmerksamkeitsgesteuerte Strategiemodul 130 vorhersagen, dass neue (oder kommende) Fahrzeuge aus einer bestimmten Richtung beobachtet werden. Daraufhin kann das aufmerksamkeitsgesteuerte Strategiemodul 130 den Aufmerksamkeitsbereich berechnen, für den die Auflösung erhöht werden soll. Wenn Daten von Sensoren (z. B. Lidarsensoren und/oder Kameras) zu inkonsistenten Wahrnehmungsergebnissen führen, kann das aufmerksamkeitsgesteuerte Strategiemodul 130 in einem Versuch, konsistente Ergebnisse bereitzustellen, die einem oder mehreren der Sensoren zugeordnete Auflösung erhöhen. Als ein Beispiel können die Lidarsensoren eine Reflexion detektieren, die die Anwesenheit eines Objekts angibt, während Computersehsensoren ein Objekt nicht detektieren. Somit kann es zwischen den Lidar- und den Computersehsensoren einen Konflikt geben. Das aufmerksamkeitsgesteuerte Strategiemodul 130 kann in einem Versuch, die Inkonsistenz zu korrigieren, für einen oder mehrere Sensoren eine neue Abtastrate berechnen, um Sensordaten mit höherer Auflösung bereitzustellen. Falls die Inkonsistenz nicht korrigiert wird, können konservative Maßnahmen wie etwa das Verringern der Trägerfahrzeuggeschwindigkeit, das Anhalten des Trägerfahrzeugs und/oder das Ausführen anderer Operationen ergriffen werden.
  • Das aufmerksamkeitsgesteuerte Strategiemodul 326 arbeitet lokal und auf ähnliche Weise wie das aufmerksamkeitsgesteuerte Strategiemodul 130. Als ein Beispiel kann das aufmerksamkeitsgesteuerte Strategiemodul 326 auf der Grundlage der lokalen Detektion des Fahrens auf einer Fernverkehrsstraße die Aufmerksamkeit auf ein Gebiet vor dem Trägerfahrzeug lenken und ein Heranzoomen und eine höhere Auflösung für das Gebiet anfordern. Die erhobenen Sensordaten mit der höheren Auflösung für das Gebiet können daraufhin zur Verarbeitung an die Edge-Computing- oder an die Cloud-gestützte Netzvorrichtung gesendet werden. Daraufhin kann das aufmerksamkeitsgesteuerte Strategiemodul 130 die Aufmerksamkeit des adaptiven Streaming-Moduls 126 auf der Grundlage von Ergebnissen der verarbeiteten Daten anpassen.
  • Als ein weiteres Beispiel kann das Trägerfahrzeug Daten mit niedriger Auflösung an die Edge-Computing-Vorrichtung oder an die Cloud-basierte Netzvorrichtung senden. Ein Fahrzeugfunktionsmodul bei der Edge-Computing-Vorrichtung oder bei der Cloud-gestützten Netzvorrichtung bestimmt, dass es innerhalb von 100 Metern des Trägerfahrzeugs ein anderes Fahrzeug gibt. Das Fahrzeugfunktionsmodul stellt hinsichtlich der Detektion des anderen Fahrzeugs ein Vertrauensniveau bereit, wobei das Vertrauensniveau wegen niedriger Auflösung der Daten und der Größe des Bilds des anderen Fahrzeugs niedrig ist. Daraufhin fordert das aufmerksamkeitsgesteuerte Strategiemodul 130 für ein Gebiet, das das andere Fahrzeug enthält, Daten mit höherer Auflösung an. Daraufhin passt das Streaming-Strategie-Modul 324 die Auflösung der räumlichen Filter 332 an, um zurück für die Edge-Computing-Vorrichtung oder für die Cloud-gestützte Netzvorrichtung Daten mit höherer Auflösung bereitzustellen, um das andere Fahrzeug besser zu überwachen und/oder um zu bestimmen, dass das andere Fahrzeug (oder Objekt) nicht bedenklich ist.
  • Die Rückkopplungskanalschnittstelle 342 empfängt von dem aufmerksamkeitsgesteuerten Strategiemodul 130 eine zweite Streaming-Strategie. Eine Edge-Computing-Vorrichtung und/oder eine Cloud-gestützte Netzvorrichtung können Wahrnehmungsalgorithmen ausführen, aufmerksamkeitsgesteuerte Strategien erzeugen und die Rückkopplung an das Trägerfahrzeug und genauer an die Vorwärtskopplungskanalschnittstelle 340 senden. Die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung können Objekte und/oder Ereignisse vorzeitig detektieren und eine Rückkopplung bereitstellen, um die Vorbereitung auf ein Ereignis zu ermöglichen und/oder um Auflösungen der für ein oder mehrere Gebiete erhobenen Daten anzupassen. Dies kann für ein oder mehrere Gebiete eine Verringerung der Auflösung, eine Erhöhung der Auflösung und/oder eine Kombination beider enthalten.
  • Als ein Beispiel können die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung in einer Entfernung von 100 Metern von dem Trägerfahrzeug ein kleines Objekt detektieren und bestimmen, dass ein Detektionsvertrauensniveau für dieses Objekt niedrig ist. Die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung können an das Trägerfahrzeug Rückkopplungsinformationen senden, um Daten mit höherer Auflösung anzufordern. Als ein anderes Beispiel können die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung durch Crowdsourcing Umgebungsdaten von mehreren Fahrzeugen erhalten und Detektieren, dass eine Straße wenigstens teilweise von Schnee bedeckt ist. Daraufhin können die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung Rückkopplungsinformationen an das Trägerfahrzeug senden, um Daten mit höherer Auflösung anzufordern, bevor das Trägerfahrzeug in einen Bereich mit Schnee eintritt.
  • Als ein weiteres Beispiel können die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung durch Crowdsourcing Straßenverkehrsdaten für mehrere Fahrzeuge erhalten und eine bestimmte Verkehrsstoßwelle in einer Fernverkehrsstraßenkrümmung (Sichtverdeckung für das Trägerfahrzeug) detektieren. Daraufhin können die Edge-Computing-Vorrichtung und/oder die Cloud-gestützte Netzvorrichtung Rückkopplungsinformationen an das Fahrzeug senden, um Daten mit höherer Auflösung anzufordern, bevor das Trägerfahrzeug in die Krümmung auf der Fernverkehrsstraße eintritt.
  • Die Pipelinekanalschnittstelle 344 empfängt von der Kommunikationsschnittstelle 316 ein Stauungssignal. Das Stauungssignal kann angeben: eine Stauung bei dem Sensor-Streaming-Modul 312; eine andere Streaming-Strategie; und/oder Streaming-Parameter. Die Stauung kann eine Folge dessen sein, dass (i) die Menge empfangener Daten größer als die Menge von dem Sensor-Streaming-Modul 312 an das Fahrzeugüberwachungsmodul 314 weitergeleiteter ist und/oder (ii) dass die Übertragungsrate, mit der die Daten empfangen werden, höher als die Übertragungsrate, mit der die Daten von dem Sensor-Streaming-Modul 312 an das Fahrzeugüberwachungsmodul 314 weitergeleitet werden, ist. Die Stauung bei dem Fahrzeugüberwachungsmodul 314 kann eine Stauung bei dem Sensor-Streaming-Modul 312 veranlassen.
  • Das Strategiefusionsmodul 346 bestimmt auf der Grundlage der ersten und der zweiten Streaming-Strategie und des Stauungssignals eine kollektive (oder adaptive) Streaming-Strategie. Im Ergebnis setzt das Strategiefusionsmodul 346 drei Betriebsmittel wirksam ein, um die Aufmerksamkeit der Filter 320 auf bestimmte interessierende Gebiete zu lenken. Die Stauung kann z. B. auftreten, wenn sich das Trägerfahrzeug zu einem LTE-Versorgungsbereich bewegt, wo Signale schwach sind und/oder eine Kommunikationsübertragungsstrecke zwischen dem Trägerfahrzeug und der Edge-Computing- oder der Cloud-gestützten Netzvorrichtung langsam ist. Auf der Seite der Edge-Computing- oder der Cloud-gestützten Netzvorrichtung kann die Stauung ebenfalls oder alternativ auftreten, wenn sich der Verarbeitungsdurchsatz der Fahrzeugfunktionen verlangsamt.
  • Das Strategiefusionsmodul 346 kann die von den Kanalschnittstellen 340, 342, 344 empfangenen Streaming-Strategien und Streaming-Parameter entscheiden. Gemäß einer Ausführungsform arbeitet das Strategiefusionsmodul 346 auf der Grundlage einer Hierarchie. Das Strategiefusionsmodul 346 kann priorisieren, welche Streaming-Strategie und/oder Streaming-Parameter für bestimmte Situationen zu verwenden sind. Wenn eine durch die Edge-Computing- oder Cloud-gestützte Netzvorrichtung bereitgestellte Streaming-Strategie mit der durch das aufmerksamkeitsgesteuerte Strategiemodul 326 lokal bestimmten Streaming-Strategie in Konflikt steht, kann das Strategiefusionsmodul 346 die konservativste Strategie auswählen oder die zwei oder mehr Strategien kombinieren, um eine resultierende Strategie zur Verwendung bei den Filtern 320 bereitzustellen. Das Strategiefusionsmodul 346 kann eine Strategie auswählen, die die Stauung bei der Edge-Computing-Vorrichtung und/oder bei der Cloud-gestützten Netzvorrichtung verringert und/oder beseitigt.
  • Die der Übertragung von Signalen zwischen dem Trägerfahrzeug und der Edge-Computing-Vorrichtung und/oder der Cloud-gestützten Netzvorrichtung zugeordnete Pipeline enthält serielle Komponenten (oder Elemente). Einige Beispiele der Komponenten (oder Elemente) sind Kanäle der 4. Generation (4G-Kanäle) und/oder der fünften Generation (5G-Kanäle), Videocodierungs- und Videodecodierungsvorrichtungen und Anwendungen, die in der Edge-Computing-Vorrichtung und/oder in der Cloud-gestützten Netzvorrichtung gespeichert sind. Die Pipelinekanalschnittstelle 344 überwacht Stauungspegel bei den genannten Komponenten (oder Elementen) und anderswo und passt die Sensor-Streaming-Rate komprimierter Sensordaten, die an das Sensor-Streaming-Modul 312 aus 3 gesendet werden, an. Die Sensor-Streaming-Rate wird angepasst, um eine Stauung und angesammelte Ende-zu-Ende-Latenzzeiten zu vermeiden.
  • Der Speicher 204 speichert Zustände 348 (i) des Trägerfahrzeugs, die den Sensoren 124 und den Modulen 126, 310 zugeordnet sind, und (ii) der Umgebung des Trägerfahrzeugs (als der „Welt“-Zustand bezeichnet). Diese Zustandsinformationen werden für das aufmerksamkeitsgesteuerte Strategiemodul 326 bereitgestellt.
  • Die Fahrzeugbordfunktionsmodule 310 können ein V21-Modul 202, ein Wahrnehmungsmodul 205, ein Trajektorienmodul 206, ein Aktuatorsteuermodul 350 und/oder andere Fahrzeugfunktionsmodule enthalten. Die Fahrzeugbordfunktionsmodule 310 können irgendwelche Fahrzeugfunktionsmodule enthalten, die die Sensordatenverarbeitung aufrufen. Die Fahrzeugbordfunktionsmodule 310 können Operationen auf der Grundlage eines Zustandssignals 352 ausführen, das einen Zustand des Trägerfahrzeugs und den Weltzustand, wie sie durch das Fahrzeugüberwachungsmodul 314 bestimmt werden, angibt. Das Aktuatorsteuermodul 350 kann das Bremssystem 263 und/oder die anderen Aktuatoren 272 aus 2 steuern. Das Aktuatorsteuermodul 350 kann z. B. auf der Grundlage von Ergebnissen des Analysierens der überwachten Daten von den Sensoren, der Zustände des Trägerfahrzeugs, des Weltzustands und anderer erhobener Informationen und/oder Daten Motoren, Lenkung, Bremsung, Beschleunigung und Verzögerung des Fahrzeugs steuern. Das Steuermodul 122 aus 2 kann auf der Grundlage der Ergebnisse des Analysierens der überwachten Daten von den Sensoren, der Zustände des Trägerfahrzeugs, des Weltzustands und/oder anderer erhobener Informationen und/oder Daten andere Fahrerassistenzoperationen steuern, wie etwa Warnanzeigen und/oder vorgeschlagene Betriebsanweisungen anzeigen.
  • Das Sensor-Streaming-Modul 312 und das Fahrzeugüberwachungsmodul 314 aus 3 können in irgendeiner der Edge-Computing-Vorrichtungen 104 und/oder der Cloud-gestützten Netzvorrichtungen 128 aus 1 implementiert werden. Das Sensor-Streaming-Modul 312 kann ein Dekompressionsmodul 360 und ein Pipelineüberwachungssystem 362 enthalten. Das Dekompressionsmodul 360 dekomprimiert komprimierte Daten, die von dem Kompressionsmodul 322 empfangen werden. Das Pipelineüberwachungsmodul 362 überwacht, ob es bei dem Sensor-Streaming-Modul 312 eine Stauung gibt, und gibt für ein anderes Pipelineüberwachungsmodul 364 des Fahrzeugüberwachungsmoduls 314 an, ob es eine Stauung gibt. Das Pipelineüberwachungsmodul 364 bestimmt, ob es bei dem Fahrzeugüberwachungsmodul 314 eine Stauung gibt, und gibt für ein anderes Pipelineüberwachungsmodul 370 und/oder direkt für die Pipelinekanalschnittstelle 344 an, ob es bei dem Sensor-Streaming-Modul 312 und/oder bei dem Fahrzeugüberwachungsmodul 314 eine Stauung gibt. Das Pipelineüberwachungsmodul 370 kann Teil der Kommunikationsschnittstelle 316 sein und kann eine Station, ein Knoten oder eine andere Netzvorrichtung, die sich zwischen dem Pipelineüberwachungsmodul 364 und der Pipelinekanalschnittstelle 344 befindet, sein. Das Pipelineüberwachungsmodul 370 kann die von dem Pipelineüberwachungsmodul 364 empfangenen Stauungsinformationen an die Pipelinekanalschnittstelle 344 weiterleiten.
  • Ferner kann das Fahrzeugüberwachungsmodul 314 Fahrzeugfunktionsmodule 372 und einen Speicher 374 enthalten. Die Fahrzeugfunktionsmodule 372 können ein Wahrnehmungsmodul 376, ein Objektdetektionsmodul 378, ein Nachführungsmodul 380, ein Positionsbestimmungs- und Kartierungsmodul 382, ein Trajektorienplanungsmodul 384, ein Fahrzeug-zu-Netz-Modul (V2N-Modul) 386 und/oder andere Fahrzeugfunktionsmodule enthalten. Die Fahrzeugfunktionsmodule 372 können irgendwelche Fahrzeugfunktionsmodule enthalten, die die Sensordatenverarbeitung aufrufen. Das Wahrnehmungsmodul 376 kann ähnlich dem Wahrnehmungsmodul 205 aus 2 auf der Grundlage aktuell beobachteter Zustände des Trägerfahrzeugs und der entsprechenden Umgebung bevorstehende interessierende Gebiete und/oder Ereignisse identifizieren. Das Objektdetektionsmodul 378 detektiert Objekte innerhalb einer eingestellten Entfernung des Trägerfahrzeugs. Das Nachführungsmodul 380 kann die Umgebungsbedingungen und/oder Orte der detektierten Objekte relativ zu dem Trägerfahrzeug nachführen. Das Positionsbestimmungs- und Kartierungsmodul 382 kann Orte des Trägerfahrzeugs und der Objekte relativ zu einer geografischen Karte eines Bereichs, in dem sich das Trägerfahrzeug befindet, kartieren. Das Trajektorienplanungsmodul 384 kann Trajektorien des Trägerfahrzeugs und der Objekte überwachen, aktualisieren und vorhersagen. Das V2N-Modul 386 kann Daten von anderen Vorrichtungen in der Nähe und/oder die sich dem Trägerfahrzeug annähern erheben. Die erhobenen Daten können Statusinformationen der Objekte und/oder anderer Vorrichtungen enthalten.
  • Der Speicher 374 speichert Zustände 388 des Trägerfahrzeugs, der Objekte und der Umgebung (auch als ein „Welt“-Zustand bezeichnet), wie sie durch die Fahrzeugfunktionsmodule 372 bestimmt werden. Die Zustände 388 werden für das aufmerksamkeitsgesteuerte Strategiemodul 130 bereitgestellt, das auf der Grundlage der Zustände 388 die zweite Streaming-Strategie erzeugt.
  • In 3 beziehen sich die Strichlinien zwischen Modulen auf Steuerflusssignale. Die durchgezogenen Linien zwischen Modulen können sich auf Datenflusssignale beziehen.
  • Als ein Beispiel kann das Modul 126 für adaptives Streaming aus 3 Kameraeinzelbilder von einer oder mehreren Kameras empfangen. Das Kompressionsmodul 322 kann gefilterte Daten, die von dem adaptiven Streaming-Modul 126 empfangen werden, komprimieren und die Daten an das Sensor-Streaming-Modul 312 senden. Das Dekompressionsmodul 360 kann die Daten decodieren. Daraufhin kann das Objektdetektionsmodul 378 Objekte innerhalb einer vorgegebenen Entfernung von dem Trägerfahrzeug des adaptiven Streaming-Moduls 126 detektieren und entsprechende Vertrauensniveaus erzeugen, die den detektierten Objekten zugeordnet sind, und diese Informationen als Rückkopplungsinformationen für das Modul 126 für adaptives Streaming bereitstellen. Daraufhin kann das Modul 126 für adaptives Streaming die Auflösung für fokussierte Gebiete der detektierten Objekte anpassen. Die Auflösung anderer überwachter Gebiete kann verringert werden. Dies ermöglicht, dass die Bandbreite, die für die Übertragung von Sensordaten notwendig ist, nicht erhöht wird, während die Auflösung für ausgewählte interessierende Gebiete erhöht wird. Wegen der erhöhten Auflösung für die Gebiete, in denen sich die Objekte erfinden, können die Vertrauensniveaus für die detektierten Objekte dieselben bleiben oder erhöht werden.
  • 4 zeigt einen Abschnitt 400 des aufmerksamkeitsgesteuerten Streaming-Systems aus 3. Der Abschnitt 400 enthält ein Beispiel eines aufmerksamkeitsgesteuerten Strategiemoduls 402, eines ersten Speichers 404, eines zweiten Speichers 406, eines V2I-Moduls 408 und eines Wahrnehmungsmoduls 410. Das aufmerksamkeitsgesteuerte Strategiemodul 402 kann ähnlich wie irgendeines der hier offenbarten aufmerksamkeitsgesteuerten Strategiemodule arbeiten und/oder es ersetzen. Das aufmerksamkeitsgesteuerte Strategiemodul 402 kann ein Überzeugungsmodul 420, ein Vorstellungsmodul 422 und ein Aufgabenrelevanzmodul 424 enthalten. Das Überzeugungsmodul 20 kann ein Zustandsvertrauensmodul 430 und ein Sensordisparitätsmodul 432 enthalten. Das Vorstellungsmodul 422 enthält das Kartennachführungsmodul 434, das Umgebungsnachführungsmodul 436, ein Situationserkenntnismodul 438 und ein Trajektorienplanungsmodul 440. Das Aufgabenrelevanzmodul 424 enthält ein Szenenanalysemodul 442.
  • Das aufmerksamkeitsgesteuerte Strategiemodul 402 erzeugt auf der Grundlage von Ausgaben der Module 420, 422 und 424 ein Streaming-Strategie-Signal 460, das ein Streaming-Strategie-Profil (oder einfach eine „Streaming-Strategie“) enthalten kann. Das Streaming-Strategie-Signal 460 kann als (i) Vorwärtskopplungsinformationen, falls das aufmerksamkeitsgesteuerte Strategiemodul 402 als Teil eines Fahrzeugs implementiert ist, oder (ii) Rückkopplungsinformationen, falls das aufmerksamkeitsgesteuerte Strategiemodul 402 als Teil einer Edge-Computing-Vorrichtung oder einer Cloud-gestützten Netzvorrichtung implementiert ist, bereitgestellt werden.
  • Der erste Speicher 404 kann eine Kartendatenbank 450 und eine externe Datenbank 452 enthalten. Die Kartendatenbank 450 kann Straßentopologieinformationen, Kreuzungsinformationen, Verkehrsregeln usw. enthalten. Die externe Datenbank 452 kann Wetterinformationen (z. B., ob es schneit, regnet, neblig ist, sonnig ist, bewölkt ist usw.), Straßenoberflächenbedingungen, Verkehrsstauungsinformationen usw. enthalten. Der zweite Speicher 406 speichert Zustände 470 des Trägerfahrzeugs und der Umgebung des Trägerfahrzeugs (oder den „Welt“-Zustand). Das V21-Modul 408 und das Wahrnehmungsmodul 410 können Zustände des Trägerfahrzeugs und/oder der Umgebung angeben.
  • Die Module 420, 422, 424 können auf der Grundlage der in den Speichern 404, 406 gespeicherten Informationen arbeiten. Das Überzeugungsmodul 420 kann eine probabilistische Darstellung eines Objektzustands (x, y, z, Geschwindigkeit, Fahrtrichtung usw.) bestimmen. Dies enthält die Angabe, ob die Objekte bereits detektiert worden sind und/oder ob die Ereignisse bereits beobachtet worden sind. Das Zustandsvertrauensmodul 430 kann Vertrauensniveaus der detektierten und/oder vorhergesagten Objekte und Ereignisse bestimmen. Es können Varianz- und Kovarianzwerte der beobachteten Zustände und/oder der vorhergesagten Zustände berechnet werden. Das Sensordisparitätsmodul 432 kann Differenzen und/oder Konflikte zwischen von verschiedenen Sensoren erhobenen Daten, z. B., wenn ein erster Sensor einen anderen Zustand eines Objekts als ein zweiter Sensor angibt, bestimmen.
  • Das Vorstellungsmodul 422 listet Objekte und Ereignisse auf, von denen erwartet wird, dass sie in einem mehrdimensionalen Raum vorhanden sind und/oder auftreten. Die Ereignisse können Ereignisse sein, von denen erwartet wird, dass sie in naher Zukunft geschehen und/oder beobachtet werden. Das Kartennachführungsmodul 434 führt den Ort des Trägerfahrzeugs auf einer Karte nach. Zum Beispiel wird die Aufmerksamkeit den Fahrtrichtungen der kommenden Fahrzeuge gegeben, falls sich das Trägerfahrzeug bei einer Kreuzung befindet. Das Umgebungsnachführungsmodul 436 führt die Umgebungsbedingungen von externen Datenbanken wie etwa Wetter, Lichtbedingungen, Verkehrsstauung usw. nach. Zum Beispiel kann ein Grundaufmerksamkeitsgrad erhöht werden, um innerhalb einer vorgegebenen Zeitdauer mehr Daten zu übertragen, falls es dunkel ist (z. B. nachts) und/oder falls es schneit oder regnet.
  • Das Situationserkenntnismodul 438 kann Fahrzeugsituationserkenntnisinformationen von Nachbarfahrzeugen über Fahrzeug-zu-Fahrzeug-Kommunikationen (V2V-Kommunikationen), V21- und V2N-Kommunikationen empfangen. Zum Beispiel kann das Trägerfahrzeug das Aufmerksamkeitsgebiet auf der Grundlage von Situationserkenntnisinformationen vorhersagen. Das Trajektorienplanungsmodul 440 plant für ein Steuermodul des Trägerfahrzeugs die kurzzeitige Trajektorie des Trägerfahrzeugs.
  • Das Szeneanalysemodul 442 des Aufgabenrelevanzmoduls 424 führt eine aufgabengesteuerte Szeneanalyse aus, die das Analysieren einer Szene und das Identifizieren von Aufmerksamkeitsgebieten, die für die aktuellen Aufgaben relevant sind, enthält. Das Szeneanalysemodul 442 kann z. B. bestimmen, dass ein interessierendes Gebiet Lichtsignale der Kreuzung enthält, wenn sich das Trägerfahrzeug einer Kreuzung annähert. Ein anderes interessierendes Gebiet kann einen Bereich enthalten, in dem sich Fahrzeuge der Kreuzung aus einer Richtung senkrecht zu einer Fahrtrichtung des Trägerfahrzeugs annähern. Als ein anderes Beispiel kann das Szeneanalysemodul 442 detektieren, wenn das Trägerfahrzeug die Fahrspuren wechselt. Dann werden im Gegensatz zu einer aktuellen Fahrspur des Trägerfahrzeugs ein oder mehr Gebiete, die wenigstens Abschnitte der Nachbarfahrspuren enthalten, zu den interessierenden Gebieten (oder Aufmerksamkeitsgebieten).
  • 5 zeigt einen ersten Abschnitt des adaptiven Streamingverfahrens, das durch ein Fahrzeug (z. B. durch eines der Fahrzeuge 102 aus 1 und 2) implementiert wird. Obwohl die folgenden Operationen aus 5-6 hauptsächlich in Bezug auf die Beispiele aus 1-4 beschrieben sind, sind die Operationen auf andere Ausführungsformen der vorliegenden Offenbarung anwendbar. Die Operationen des Verfahrens können iterativ ausgeführt werden. Das Verfahren kann bei 500 beginnen. Bei 502 können die Sensoren 124 Sensordaten erzeugen. Bei 504 können die Filter 320 die Sensordaten in Übereinstimmung mit einer Filterungsstrategie auf der Grundlage eines Standards oder wenigstens eines Mehrfachkanals filtern, um gefilterte Daten bereitzustellen. Bei 506 komprimiert das Kompressionsmodul 322 die gefilterten Daten.
  • Bei 508 senden die Transceiver 282 aus 2 die komprimierten Daten an eine Edge-Computing-Vorrichtung oder an eine Cloud-gestützte Netzvorrichtung, die das Dekompressionsmodul 360 aus 3 enthält.
  • Bei 510 empfängt die Rückkopplungskanalschnittstelle 342 in Ansprechen auf das Senden der komprimierten Daten fern bestimmte Zustände des Trägerfahrzeugs und wird über das durch den Speicher 374 erzeugte Signal 352 die Umgebung (oder der Weltzustand) empfangen. Die Zustandsinformationen können Orte und Trajektorien des Trägerfahrzeugs und nahegelegener Objekte sowie Straßen- und Wetterbedingungen enthalten. Diese Informationen können von dem aufmerksamkeitsgesteuerten Strategiemodul empfangen werden.
  • Bei 512 führen die Fahrzeugortfunktionsmodule 310 Fahrzeugfunktionen aus, um den Zustand des Fahrzeugs und den Zustand der Umgebung des Trägerfahrzeugs für den Speicher 204 bereitzustellen. Diese Funktionen werden auf der Grundlage der bei 510 von dem Speicher 374 empfangenen Zustandsinformationen ausgeführt. Bei 514 speichert der Speicher 204 die Zustände des Trägerfahrzeugs und der Umgebung und stellt sie für das aufmerksamkeitsgesteuerte Strategiemodul 326 bereit.
  • Die folgenden Operationen 516, 518 und 520 können gleichzeitig ausgeführt werden. Bei 516 führt das aufmerksamkeitsgesteuerte Strategiemodul 326 auf der Grundlage der empfangenen Zustände des Trägerfahrzeugs und der Umgebung Überzeugungs-, Vorstellungs- und Aufgabenrelevanzoperationen aus. Bei 516A bestimmt das erste Überzeugungsmodul eine probabilistische Darstellung der Zustände eines oder mehrerer Objekte. Bei 516B bestimmt das erste Überzeugungsmodul Vertrauensniveaus des einen oder der mehreren beobachteten Zustände.
  • Bei 518 bestimmt das erste Überzeugungsmodul Disparitäten zwischen Sensoren, die verschiedene Zustände derselben einen oder mehreren Objekte, verschiedenen Straßenbedingungen für dieselbe Straße und/oder verschiedenen Wetterbedingungen für dasselbe Wetter angeben. Das erste Vorstellungsmodul erzeugt eine Liste von Objekten und/oder Ereignissen für einen mehrdimensionalen Raum, von denen erwartet wird, dass sie in Zukunft detektiert und/oder beobachtet werden. Bei 518A führt das erste Vorstellungsmodul Fahrzeugorte auf einer Karte nach. Bei 518B führt das erste Vorstellungsmodul Umgebungsbedingungen nach. Bei 518C erhebt das erste Vorstellungsmodul Statusinformationen von anderen Fahrzeugen, um Situationserkenntnisinformationen bereitzustellen. Die Situationserkenntnisinformationen können Objektinformationen, Straßenbedingungen und Wetterbedingungen enthalten. Außerdem können die Situationserkenntnisinformationen Entfernungen zwischen den Objekten und dem Trägerfahrzeug, Änderungsraten der Entfernungen, Angaben, ob die Entfernungen zunehmen oder abnehmen, usw. enthalten. Bei 518D sagt das erste Vorstellungsmodul auf der Grundlage der Situationserkenntnisinformationen ein zu überwachendes Aufmerksamkeitsgebiet vorher. Bei 518E plant das erste Vorstellungsmodul eine kurzzeitige Trajektorie des Trägerfahrzeugs.
  • Bei 520 analysiert das erste Aufgabenrelevanzmodul die aktuelle Szene des einen oder der mehreren überwachten Gebiete und identifiziert es ein oder mehrere Aufmerksamkeitsgebiete. Die Aufmerksamkeitsgebiete können Abschnitte der aktuell überwachten einen oder mehreren Gebiete oder anderer Gebiete sein.
  • Bei 522 bestimmt das erste aufmerksamkeitsgesteuerte Strategiemodul auf der Grundlage der Vertrauensniveaus, der Sensordisparitäten, der Situationserkenntnisinformationen, der kurzzeitigen Trajektorie des Trägerfahrzeugs und des einen oder der mehreren Aufmerksamkeitsgebiete bei dem Trägerfahrzeug eine lokale aufmerksamkeitsgesteuerte Strategie. Die lokale aufmerksamkeitsgesteuerte Strategie enthält zeitliche Werte, räumliche Werte und/oder Verlustratenwerte für die Filter 320.
  • Bei 524 kann die Pipelinekanalschnittstelle 344 einen Streaming-Strategie-Anpassungswert und/oder andere zeitliche Werte, räumliche Werte und/oder Verlustratenwerte für die Filter 320 empfangen. Der Streaming-Strategie-Anpassungswert kann bereitgestellt werden, um eine bei einem der Module 312, 314 auftretende Stauung zu mildern.
  • Bei 526 kann das erste aufmerksamkeitsgesteuerte Strategiemodul bei der Rückkopplungskanalschnittstelle eine ferne aufmerksamkeitsgesteuerte Strategie von der Edge-Computing-Vorrichtung oder von der Cloud-gestützten Netzvorrichtung als Rückkopplungsinformationen empfangen. Die ferne aufmerksamkeitsgesteuerte Strategie wird bei der Edge-Computing-Vorrichtung oder bei der Cloud-gestützten Netzvorrichtung auf der Grundlage der von dem Fahrzeug zu der Edge-Computing-Vorrichtung oder zu der Cloud-gestützten Netzvorrichtung gestreamten Daten fern von dem Fahrzeug bestimmt.
  • Bei 528 bestimmt das Strategiefusionsmodul 346 eine auf dem Mehrfachkanal beruhende Filterungsstrategie, die für die Filter 320 bereitgestellt wird. Diese enthält zeitliche Filterparameter, räumliche Filterparameter und Verlustratenfilterparameter, um das Streaming der Daten zu der Edge-Computing-Vorrichtung oder zu der Cloud-gestützten Netzvorrichtung adaptiv anzupassen.
  • Bei 530 kann das Modul 126 für adaptives Streaming bestimmen, ob zusätzliche Sensordaten zu filtern sind. Falls ja, kann die Operation 504 ausgeführt werden, andernfalls kann das Verfahren bei 532 enden.
  • 6 zeigt einen zweiten Abschnitt des adaptiven Streaming-Verfahrens, das durch eine Edge-Computing- oder durch eine Cloud-gestützte Netzvorrichtung (eine der Vorrichtungen 104, 128 aus 1) implementiert wird. Der zweite Abschnitt kann bei 600 beginnen. Bei 602 empfängt das Dekompressionsmodul 360 von dem Kompressionsmodul 322 die komprimierten Daten. Bei 604 dekomprimiert das Dekompressionsmodul 360 die komprimierten Daten und leitet es die dekomprimierten Sensordaten an das Fahrzeugüberwachungsmodul 314 weiter.
  • Bei 606 führen die Fahrzeugfunktionsmodule 372 Fahrzeugfunktionen aus, um einen Zustand des Trägerfahrzeugs und einen Zustand der Umgebung des Trägerfahrzeugs bereitzustellen. Bei 608 werden die Zustände in dem Speicher 374 gespeichert. Bei 610 stellen der Speicher 374 und/oder das Fahrzeugüberwachungsmodul 314 die Zustände wie oben beschrieben für die Fahrzeugbordfunktionsmodule 310 bereit.
  • Die folgenden Operationen 612, 614, 616 können gleichzeitig ausgeführt werden. Bei 612 führt das aufmerksamkeitsgesteuerte Strategiemodul 130 auf der Grundlage der Zustände des Trägerfahrzeugs und der Umgebung Überzeugungs-, Vorstellungs- und Aufgabenrelevanzoperationen aus. Bei 612A bestimmt ein zweites Überzeugungsmodul eine probabilistische Darstellung der Zustände eines oder mehrerer Objekte. Bei 612B bestimmt das zweite Überzeugungsmodul Vertrauensniveaus des einen oder der mehreren beobachteten Zustände.
  • Bei 614 bestimmt das zweite Überzeugungsmodul Disparitäten zwischen Sensoren, die verschiedene Zustände derselben einen oder mehreren Objekte, verschiedene Straßenbedingungen für dieselbe Straße und/oder verschiedene Wetterbedingungen für dasselbe Wetter angeben. Das zweite Vorstellungsmodul erzeugt eine Liste von Objekten und/oder Ereignissen für einen mehrdimensionalen Raum, von denen erwartet wird, dass sie in Zukunft detektiert und/oder beobachtet werden. Bei 614A führt das zweite Vorstellungsmodul Fahrzeugorte auf einer Karte nach. Bei 614B führt das zweite Vorstellungsmodul Umgebungsbedingungen nach. Bei 614C erhebt das zweite Vorstellungsmodul von anderen Fahrzeugen Statusinformationen, um Situationserkenntnisinformationen bereitzustellen. Die Situationserkenntnisinformationen können Objektinformationen, Straßenbedingungen und Wetterbedingungen enthalten. Außerdem können die Situationserkenntnisinformationen Entfernungen zwischen den Objekten und dem Trägerfahrzeug, Änderungsraten der Entfernungen, Angaben, ob die Entfernungen zunehmen oder abnehmen, usw. enthalten. Bei 614D sagt das zweite Vorstellungsmodul auf der Grundlage der Situationserkenntnisinformationen ein Aufmerksamkeitsgebiet zum Überwachen vorher. Bei 614E plant das zweite Vorstellungsmodul eine kurzzeitige Trajektorie des Trägerfahrzeugs.
  • Bei 616 analysiert das zweite Aufgabenrelevanzmodul die aktuelle Szene des einen oder der mehreren überwachten Gebiete und identifiziert es ein oder mehrere Aufmerksamkeitsgebiete. Die Aufmerksamkeitsgebiete können Teile der aktuell überwachten einen oder mehreren Gebiete oder andere Gebiete sein.
  • Bei 618 bestimmt das aufmerksamkeitsgesteuerte Strategiemodul 130 auf der Grundlage der Vertrauensniveaus, der Sensordisparitäten, der Situationserkenntnisinformationen, der kurzzeitigen Trajektorie des Trägerfahrzeugs und des einen oder der mehreren Aufmerksamkeitsgebiete, die bei 614, 616, 618 bestimmt werden, die ferne aufmerksamkeitsgesteuerte Strategie. Die lokale aufmerksamkeitsgesteuerte Strategie enthält zeitliche Werte, räumliche Werte und/oder Verlustratenwerte für die Filter 320.
  • Bei 620 kann das aufmerksamkeitsgesteuerte Strategiemodul 130 die ferne aufmerksamkeitsgesteuerte Strategie an die Rückkopplungskanalschnittstelle 342 des Trägerfahrzeugs senden.
  • Bei 622 überwacht das Pipelineüberwachungsmodul 362 Stauungspegel bei dem Sensor-Streaming-Modul 312 und erzeugt es einen ersten Streaming-Raten-Anpassungswert. Bei 624 überwacht das Pipelineüberwachungsmodul 364 Stauungspegel bei dem Fahrzeugüberwachungsmodul 314 und/oder bei den Fahrzeugfunktionsmodulen 372 und erzeugt es einen zweiten Streaming-Raten-Anpassungswert, der auf dem ersten Streaming-Raten-Anpassungswert beruhen kann. Bei 626 kann das Pipelineüberwachungsmodul 364 den zweiten Streaming-Raten-Anpassungswert über die Kommunikationsschnittstelle 316 und/oder über das Pipelineüberwachungsmodul 370 an die Pipelinekanalschnittstelle 344 senden.
  • Bei 630 kann das Sensor-Streaming-Modul 212 bestimmen, ob zusätzliche Streaming-Daten empfangen worden sind. Falls Ja, kann die Operation 604 ausgeführt werden, andernfalls kann das Verfahren bei 632 enden.
  • Es ist hier eine Architektur offenbart, die aufmerksamkeitsgesteuerte Strategien verwendet, um Sensordaten auf der Grundlage eines Szeneverständnisses und aufgabengesteuerte Strategien zu priorisieren, während die Sensordaten für Edge-Computing- und Cloud-gestützte Netzvorrichtungen in Echtzeit gestreamt werden. Das Modul 126 für adaptives Streaming aus 3 kann eine Verlustfunktion bestimmen, die auf der Grundlage (i) einer Dienstqualitätsbestimmung (QoS-Bestimmung) für gestreamte Daten von Bordsensoren zu Netzvorrichtungen außerhalb des Fahrzeugs und (ii) der Wahrnehmungsleistung erzeugt wird. Das Modul 126 für adaptives Streaming kann Operationen der Filter 320 wie oben beschrieben auf der Grundlage der Verlustfunktion anpassen. Auf der Grundlage von Wahrnehmungsaufmerksamkeitsoperationen können Sätze von Strategien erzeugt und implementiert werden, um Sensor-Streaming-Datenraten anzupassen. Die Abwägung zwischen Bandbreitennutzung und Funktionsleistung von Seiten des Edge-Computing/der Cloud wird ausgeglichen, ohne Wahrnehmungsleistung (z. B. eine Objektdetektionsrate) zu opfern. Dies verbessert die Cloud-gestützte Verarbeitung von Sensordaten für betriebsnotwendige Echtzeitanwendungen und überwindet die Nachteile, die der herkömmlichen Cloud-gestützten Verarbeitung zugeordnet sind. Verarbeitungsfähigkeiten von Edge-Computing- und Cloud-gestützten Netzvorrichtungen werden in Echtzeit wirksam eingesetzt, um lokale Fahrzeugoperationen zu verbessern.
  • Die Beispiele enthalten die selektive Aufmerksamkeit als eine Eingabe für adaptive Echtzeit-Sensordaten-Streaming-Strategien. Zur Ableitung von Aufmerksamkeitsstrategien werden drei unabhängige Quellen verwendet. Die Quellen enthalten Überzeugungs-, Vorstellungs- und Aufgabenrelevanzquellen. Gemäß einer Ausführungsform wird eine aufgabenorientierte Strategie verwendet und werden bestimmte Gebiete für hochwertige Bilder ausgewählt, während Daten von anderen Gebieten und/oder Sensoren teilweise vernachlässigt und/oder ignoriert werden. Das teilweise Vernachlässigen der anderen Gebiete kann das Erheben von Bildern mit verringerter Bildqualität für die anderen Gebiete und/oder das Verwenden von weniger Betriebsmitteln (Verarbeitungsleistung, Verarbeitungszeit, Speicher usw.) zum Verarbeiten von Daten für die anderen Gebiete enthalten.
  • Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen in keiner Weise einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Obwohl diese Offenbarung bestimmte Beispiele enthält, soll der wahre Schutzumfang der Offenbarung somit nicht darauf beschränkt sein, da andere Änderungen bei einem Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche hervorgehen. Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen miteinander bleiben im Schutzumfang dieser Offenbarung.
  • Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf“, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind. Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
  • In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
  • In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
  • Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
  • Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chipplättchen, mehrere Prozessorschaltungen auf einem einzelnen Chipplättchen, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil von oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
  • Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagespeichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
  • Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
  • Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
  • Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims (10)

  1. Aufmerksamkeitsgesteuertes Streaming-System, das umfasst: ein Modul für adaptives Streaming, das umfasst: mehrere Filter, die dafür konfiguriert sind, von mehreren Sensoren eines Fahrzeugs empfangene Sensordaten zu filtern, ein Kompressionsmodul, das dafür konfiguriert ist, die gefilterten Sensordaten zu komprimieren, um komprimierte Daten zu erzeugen, ein aufmerksamkeitsgesteuertes Strategiemodul, das dafür konfiguriert ist, auf der Grundlage eines Zustands des Fahrzeugs und eines Zustands einer Umgebung des Fahrzeugs Vorwärtskopplungsinformationen zu erzeugen, um ein interessierendes Gebiet anzupassen, und ein Fusionsmodul, das dafür konfiguriert ist, eine adaptive Streaming-Strategie zu erzeugen, um Operationen jedes der mehreren Filter adaptiv anzupassen; und einen Transceiver, der dafür konfiguriert ist, die komprimierten Daten zu einer Edge-Computing-Vorrichtung und/oder zu einer Cloud-gestützten Netzvorrichtung zu streamen und in Ansprechen darauf Rückkopplungsinformationen und Pipelineüberwachungsinformationen zu empfangen, wobei das Fusionsmodul dafür konfiguriert ist, auf der Grundlage der Vorwärtskopplungsinformationen, der Rückkopplungsinformationen und der Pipelineüberwachungsinformationen die adaptive Streaming-Strategie zu erzeugen.
  2. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei die mehreren Filter umfassen: ein Zeitbereichsfilter, das dafür konfiguriert ist, die Sensordaten mit einer eingestellten Frequenz neu abzutasten; ein Raumbereichsfilter, das dafür konfiguriert ist, ein oder mehrere geografische Gebiete außerhalb des Fahrzeugs auszuwählen; und ein Filter für verlustbehaftete Kompression, das dafür konfiguriert ist, ein verlustbehaftetes Kompressionsverfahren und/oder eine Rate der verlustbehafteten Kompression des Kompressionsmoduls auszuwählen.
  3. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei: die Vorwärtskopplungsinformationen eine erste Streaming-Strategie für das Streaming von Daten zu der Edge-Computing-Vorrichtung und/oder zu der Cloud-gestützten Netzvorrichtung sind; und die Rückkopplungsinformationen eine zweite Streaming-Strategie für das Streaming von Daten zu der Edge-Computing-Vorrichtung und/oder zu der Cloud-gestützten Netzvorrichtung sind.
  4. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei die Vorwärtskopplungsinformationen innerhalb des Fahrzeugs erzeugt werden und für das interessierende Gebiet eine Anforderung für Daten mit höherer Auflösung enthalten.
  5. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei: die Vorwärtskopplungsinformationen eine Streaming-Strategie enthalten, die auf der Grundlage von innerhalb des Fahrzeugs erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet zum Fokussieren der Überwachung angibt; und die mehreren Filter dafür konfiguriert sind, eine Abtastrate eines oder mehrerer der mehreren Sensoren für das geografische Gebiet auf der Grundlage der Streaming-Strategie in den Vorwärtskopplungsinformationen anzupassen.
  6. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei die Rückkopplungsinformationen innerhalb der Edge-Computing-Vorrichtung und/oder der Cloud-gestützten Netzvorrichtung erzeugt werden und eine Anforderung für Daten mit höherer Auflösung für ein angegebenes geografisches Gebiet enthalten.
  7. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei: die Rückkopplungsinformationen eine Streaming-Strategie enthalten, die auf der Grundlage von innerhalb der Edge-Computing-Vorrichtung und/oder der Cloud-gestützten Netzvorrichtung erzeugten Vorhersageinformationen erzeugt wird und ein geografisches Gebiet zum Fokussieren der Überwachung angibt; und die mehreren Filter dafür konfiguriert sind, eine Abtastrate eines oder mehrerer der mehreren Sensoren für das geografische Gebiet auf der Grundlage der in den Rückkopplungsinformationen enthaltenen Streaming-Strategie anzupassen.
  8. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei die Pipelineüberwachungsinformationen eine Anpassung einer Streaming-Rate der komprimierten Daten auf der Grundlage einer Stauung bei der Edge-Computing-Vorrichtung und/oder bei der Cloud-gestützten Netzvorrichtung angeben.
  9. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei das aufmerksamkeitsgesteuerte Strategiemodul dafür konfiguriert ist, die Vorwärtskopplungsinformationen auf der Grundlage des Folgenden zu erzeugen: einer probabilistischen Darstellung eines Zustands eines Objekts; eines Vertrauensniveaus des Zustands des Objekts; und einer Liste von Objekten, von denen erwartet wird, dass sie in Zukunft beobachtet werden, und von Ereignissen, von denen erwartet wird, dass sie in Zukunft auftreten.
  10. Aufmerksamkeitsgesteuertes Streaming-System nach Anspruch 1, wobei das aufmerksamkeitsgesteuerte Strategiemodul dafür konfiguriert ist, die Vorwärtskopplungsinformationen auf der Grundlage von wenigstens einem der Folgenden zu erzeugen: Differenzen zwischen verschiedenen Sensoren; aktuellen und bevorstehenden Umgebungsbedingungen, die durch das Fahrzeug aktuell erfahren werden oder erfahren werden sollen; Statusinformationen von einem Nachbarfahrzeug; oder Kartennachführungs- und Trajektorienplanungsinformationen.
DE102021129569.6A 2021-02-10 2021-11-12 Aufmerksamkeitsgesteuertes System für adaptives Streaming von Fahrzeugsensordaten zum Edge-Computing und zu Cloud-basierten Netzvorrichtungen Pending DE102021129569A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110182693.0 2021-02-10
CN202110182693.0A CN114913501A (zh) 2021-02-10 2021-02-10 注意力驱动的串流系统

Publications (1)

Publication Number Publication Date
DE102021129569A1 true DE102021129569A1 (de) 2022-08-11

Family

ID=82493520

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021129569.6A Pending DE102021129569A1 (de) 2021-02-10 2021-11-12 Aufmerksamkeitsgesteuertes System für adaptives Streaming von Fahrzeugsensordaten zum Edge-Computing und zu Cloud-basierten Netzvorrichtungen

Country Status (3)

Country Link
US (1) US20220253635A1 (de)
CN (1) CN114913501A (de)
DE (1) DE102021129569A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN117061570B (zh) * 2023-10-11 2024-01-09 北京华科海讯科技股份有限公司 一种基于多传感器的目标识别态势感知系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287653B2 (en) * 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
KR20210134638A (ko) * 2019-03-29 2021-11-10 인텔 코포레이션 자율 차량 시스템

Also Published As

Publication number Publication date
US20220253635A1 (en) 2022-08-11
CN114913501A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
DE102017126877B4 (de) Kraftfahrzeug
DE102018116108B4 (de) Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen sowie fahrzeug mit einer steuerung zur ausführung des verfahrens
DE102018105293A1 (de) Verfahren und vorrichtung zur vernetzten szenendarstellung und -erweiterung in fahrzeugumgebungen in autonomen fahrsystemen
DE102018119469A1 (de) System und verfahren zur verbesserten hinderniserkennung unter verwendung eines v2x-kommunikationssystems
DE102018102027A1 (de) Effizientes situationsbewusstsein durch ereigniserzeugung und episodischen speicherabruf für autonome antriebssysteme
EP2979261B1 (de) Backend für fahrerassistenzsysteme
DE102018101505A1 (de) Effizientes situationsbewusstsein von wahrnehmungsströmen in autonomen fahrsystemen
DE102021101758A1 (de) Ampeldetektionssystem für ein fahrzeug
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102018106353A1 (de) Vorübergehende datenzuordnungen zum betreiben von autonomen fahrzeugen
DE102021129569A1 (de) Aufmerksamkeitsgesteuertes System für adaptives Streaming von Fahrzeugsensordaten zum Edge-Computing und zu Cloud-basierten Netzvorrichtungen
DE102012214390A1 (de) Verfahren und Vorrichtungen für ein Steuersystem von Fahrzeug zu Cloud zu Fahrzeug
DE102016003969B4 (de) Verfahren zum Erfassen von Umgebungsdaten mittels mehrerer Kraftfahrzeuge
EP2766891A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems und verfahren zum bearbeiten von fahrzeugumfelddaten
WO2019048009A1 (de) Offboard trajektorien für schwierige situationen
DE102015205266A1 (de) Fahrzeugscheinwerfersystem
DE102020124693A1 (de) Adaptive Prognosesysteme und Prognoseverfahren für Fahrzeuge
DE102018107854A1 (de) Modulierte Infrarotbeleuchtung
DE102018121009A1 (de) System und verfahren zur abstandsregelung für ein autonomes fahrzeug
DE102020128155A1 (de) Bedingte bewegungsvorhersagen
DE102012207864A1 (de) Verfahren zum Reduzieren einer Staugefahr
EP3948464A1 (de) Verfahren und vorrichtung zum steuern eines fahrzeuges durch einen teleoperator
DE112022001546T5 (de) Systeme und Verfahren zur Erzeugung von Objekterkennungs-Labels unter Verwendung fovealer Bildvergrößerung für autonomes Fahren
DE102021133739A1 (de) Steuern eines autonomen fahrzeugs unter verwendung einer näheregel
DE102015218970A1 (de) Verfahren und System zum Vergleich von Eigenschaften eines Verkehrsteilnehmers

Legal Events

Date Code Title Description
R012 Request for examination validly filed