DE102021111881A1

DE102021111881A1 - Ratenadaptives kodierungs-dekodierungsschema für priorisierte segmentierte daten

Info

Publication number: DE102021111881A1
Application number: DE102021111881.6A
Authority: DE
Inventors: Joseph Kampeas; Ronit Bustin; Eran Kishon
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-12-22
Filing date: 2021-05-06
Publication date: 2022-06-23
Also published as: CN114666006A; US20220201333A1; US11438627B2

Abstract

Verfahren in einem ratenadaptiven System, umfassend: Kategorisieren einer Vielzahl von Datenclustern in einem segmentierten Bild durch einen Kodierer in eine von einer Vielzahl von Kategorien, die einer unterschiedlichen vorbestimmten Kennzeichnung mit einer vorbestimmten Prioritätsstufe entsprechen; Vektorisieren der Daten durch den Kodierer, um einen Spärlichkeitsvektor xifür ihre entsprechende Kennzeichnung zu erzeugen; Kodieren einer Vielzahl der Spärlichkeitsvektoren xidurch den Kodierer durch Multiplikation einer MessmatrixAi(t) mit dem Spärlichkeitsvektor xi, um einen Satz kodierter Informationen yizu erzeugen; Übertragen, durch den Kodierer, der Vielzahl von Sätzen der kodierten Informationen yiin einer priorisierten Reihenfolge an den Dekodierer; Dekodieren der Vielzahl von Sätzen der kodierten Informationen yidurch den Dekodierer, um die Vielzahl der Spärlichkeitsvektoren xizu bestimmen, basierend auf dem Bestimmen der Messmatrix Ai(t); und Vereinigen der Vielzahl der Spärlichkeitsvektoren xizu einem einzelnen Bildframe.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich allgemein auf Wahrnehmungssysteme und -verfahren und insbesondere auf Systeme und Verfahren zur gemeinsamen Nutzung segmentierter Bilder.
Die gemeinsame Nutzung von Sensoren (Sensor-Sharing) für Fahrzeuge kann erhebliche Vorteile haben. Allerdings kann es bei der gemeinsamen Nutzung von Sensoren viele Schwierigkeiten geben. Die massiven Datenmengen, die von einem Fahrzeug erzeugt werden, können nicht wahllos geteilt werden, z. B. aufgrund der Kosten für die Datenübertragung und der hohen potenziellen Latenzzeit der Kommunikation, die die Daten irrelevant machen kann. Standard-Komprimierungsverfahren nutzen die spärliche Natur segmentierter Eingaben, die in Bildern vorkommen können, nicht aus, können keine hohen Komprimierungsraten erreichen und sind schwer in Echtzeit anzupassen, um den Kanaldurchsatz zu optimieren.
Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die die spärliche Natur einer segmentierten Eingabe ausnutzen können, um eine gemeinsame Nutzung von Sensoren zu ermöglichen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen und dem Hintergrund der Erfindung betrachtet werden.
BESCHREIBUNG
Es werden Systeme und Verfahren zur Bereitstellung einer ratenadaptiven gemeinsamen Wahrnehmung offenbart. In einer Ausführungsform wird ein ratenadaptives System zum Ermöglichen der gemeinsamen Nutzung der Wahrnehmung einer Szene offenbart. Das System enthält einen prioritätsbasierten Kodierer an einem Betrachtungssystem und einen prioritätsbasierten Dekodierer an einem entfernten System. Der prioritätsbasierte Kodierer enthält eine Steuerung, die konfiguriert zum: Aufteilen einer Vielzahl von Datenclustern in einem empfangenen segmentierten Bild der Szene in eine von einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen, wobei jeder Kennzeichnung eine vorbestimmte Prioritätsstufe zugewiesen ist; Vektorisieren der Daten für eine Vielzahl der Kennzeichnungen (z.B. Konvertieren der aufgeteilten Daten in einen Vektor für jede Kennzeichnung, wobei jeder Vektor eine separate Matrix umfasst, in der die der Kennzeichnung entsprechenden Pixel markiert sind und der Rest der Pixel nicht markiert ist), um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung hat; Kodieren einer Vielzahl der Spärlichkeitsvektoren x_i durch Multiplizieren einer Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen; und Übertragen der Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze der kodierten Informationen y_i mit höherer Prioritätsstufe vor Sätzen der kodierten Informationen y_i mit niedrigerer Prioritätsstufe übertragen werden. Der prioritätsbasierte Dekodierer enthält eine Steuerung, die konfiguriert ist, um: die Vielzahl von Sätzen kodierter Informationen y_i zu empfangen; die Vielzahl von Sätzen kodierter Informationen y_i zu dekodieren, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf der Bestimmung der Messmatrix A_i(t) zu bestimmen; und die Vielzahl der Spärlichkeitsvektoren x̂_i zu einem vereinigten Vektor zu vereinigen; wobei der vereinigte Vektor in ein angenähertes Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.
In einer Ausführungsform ist der prioritätsbasierte Kodierer ferner so konfiguriert, dass er die Vielzahl der Spärlichkeitsvektoren x_i in einer priorisierten Reihenfolge kodiert, wobei Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe vor Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe kodiert werden.
In einer Ausführungsform ist die Messmatrix A_i(t) so konfiguriert, dass Daten, die den Spärlichkeitsvektoren x_i mit höherer Priorität entsprechen, mit höherer Auflösung kodiert werden können als Daten, die den Spärlichkeitsvektoren x_i mit niedrigerer Priorität entsprechen.
In einer Ausführungsform ist der prioritätsbasierte Dekodierer ferner so konfiguriert, dass er die mehreren Sätze kodierter Informationen y_i dekodiert, um die mehreren Spärlichkeitsvektoren x̂_i in einer priorisierten Reihenfolge zu bestimmen, wobei Sätze kodierter Informationen y_i höherer Prioritätsstufe vor Sätzen kodierter Informationen y_i niedrigerer Prioritätsstufe dekodiert werden.
In einer Ausführungsform ist der prioritätsbasierte Dekodierer ferner so konfiguriert, dass er die mehreren Sätze kodierter Informationen y_i dekodiert, um die mehreren Spärlichkeitsvektoren x̂_i basierend auf y_i = A_i(t) x_i so zu bestimmen, dass ||x_i|| minimal ist.
In einer Ausführungsform wird die Messmatrix A_i(t) beim prioritätsbasierten Kodierer und beim prioritätsbasierten Dekodierer auf der Grundlage einer gemeinsamen Saat (Seed) bestimmt, die sowohl am prioritätsbasierten Kodierer als auch am prioritätsbasierten Dekodierer bekannt ist.
In einer Ausführungsform werden Dimensionen der Messmatrix A_i(t) im prioritätsbasierten Kodierer auf der Grundlage von Rückmeldungen bestimmt, die der prioritätsbasierte Dekodierer an den prioritätsbasierten Kodierer liefert.
In einer Ausführungsform ist der priorisierte Kodierer so konfiguriert, dass er Dimensionen der Messmatrix A_i(t) basierend auf einer Schätzung der Spärlichkeitsstufe s einer Kennzeichnung gemäß der Anzahl der mit der Kennzeichnung segmentierten Pixel bestimmt.
In einer Ausführungsform ist der priorisierte Dekodierer so konfiguriert, dass er Dimensionen der Messmatrix A_i(t) basierend auf einer Schätzung der Spärlichkeitsstufe s einer Kennzeichnung gemäß der Anzahl der mit der Kennzeichnung segmentierten Pixel bestimmt.
In einer Ausführungsform sind sowohl der priorisierte Kodierer als auch der priorisierte Dekodierer ferner so konfiguriert, dass sie Dimensionen der Messmatrix A_i(t) bestimmen, die im nächsten Frame verwendet werden sollen, basierend auf der Spärlichkeit jeder Kennzeichnung im aktuellen Frame (oder dem letzten Paar von Frames) und in Abhängigkeit davon, dass die Summe der Raten kleiner oder gleich einer Beschränkung ist.
In einer Ausführungsform wird das segmentierte Bild der Szene von einem Kamerabild, einem RADAR-Tiefenbild, einem LiDAR-Tiefenbild oder einem Schallbild abgeleitet; das Betrachtungssystem umfasst ein autonomes oder halbautonom fahrendes Fahrzeug; und das entfernte System umfasst ein Cloud-basiertes, ein Edge-Cloud-basiertes Rechensystem, eine Infrastruktur oder ein anderes Fahrzeug.
In einer anderen Ausführungsform wird ein Verfahren in einem ratenadaptiven System bereitgestellt, das einen prioritätsbasierten Kodierer in einem Betrachtungssystem und einen prioritätsbasierten Dekodierer in einem entfernten System enthält, um eine gemeinsame Wahrnehmung einer Szene zu ermöglichen. Das Verfahren umfasst das Aufteilen einer Vielzahl von Datenclustern in einem empfangenen segmentierten Bild der Szene durch den prioritätsbasierten Kodierer gemäß einer aus einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen, wobei jeder Kennzeichnung eine vorbestimmte Prioritätsstufe zugewiesen wird; das Vektorisieren der Daten für eine Vielzahl der Kennzeichnungen durch den prioritätsbasierten Kodierer (z.B. Konvertieren der aufgeteilten Daten in einen Vektor für jede Kennzeichnung, wobei jeder Vektor eine separate Matrix umfasst, in der die der Kennzeichnung entsprechenden Pixel markiert sind und der Rest der Pixel nicht markiert ist), um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung aufweist; das Kodieren, durch den prioritätsbasierten Kodierer, einer Vielzahl der Spärlichkeitsvektoren x_i durch Multiplizieren einer Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen; das Übertragen, durch den prioritätsbasierten Kodierer an den prioritätsbasierten Dekodierer, der Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze höherer Prioritätsstufe der kodierten Informationen y_i vor Sätzen niedrigerer Prioritätsstufe der kodierten Informationen y_i übertragen werden; das Dekodieren der Vielzahl von Sätzen der kodierten Informationen y_i durch den prioritätsbasierten Dekodierer, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf dem Bestimmen der Messmatrix A_i(t) zu bestimmen; das Vereinigen der Vielzahl der Spärlichkeitsvektoren x̂_i zu einem vereinigten Vektor, wobei der vereinigte Vektor in ein angenähertes Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.
In einer Ausführungsform beinhaltet das Kodieren der Vielzahl der Spärlichkeitsvektoren x_i das Kodieren der Vielzahl der Spärlichkeitsvektoren x_i in einer priorisierten Reihenfolge, wobei die Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe vor den Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe kodiert werden.
In einer Ausführungsform ist die Messmatrix A_i(t) so konfiguriert, dass Daten, die den Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe entsprechen, mit höherer Auflösung kodiert werden können als Daten, die den Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe entsprechen.
In einer Ausführungsform beinhaltet das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze kodierter Informationen y_i höherer Prioritätsstufe vor Sätzen kodierter Informationen y_i niedrigerer Prioritätsstufe dekodiert werden.
In einer Ausführungsform umfasst das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf y_i = A_i(t) x_i zu bestimmen, so dass ||x_i|| minimal ist.
In einer Ausführungsform umfasst das Verfahren ferner das Bestimmen der Messmatrix A_i(t) am prioritätsbasierten Kodierer und am prioritätsbasierten Dekodierer auf der Grundlage einer gemeinsamen Saat, die sowohl am prioritätsbasierten Kodierer als auch am prioritätsbasierten Dekodierer bekannt ist.
In einer Ausführungsform umfasst das Verfahren ferner das Bestimmen von Dimensionen der Messmatrix A_i(t) am prioritätsbasierten Kodierer und am prioritätsbasierten Dekodierer auf der Grundlage von Rückmeldungen, die der prioritätsbasierte Dekodierer an den prioritätsbasierten Kodierer liefert.
In einer Ausführungsform umfasst das Verfahren ferner das Bestimmen von Dimensionen der Messmatrix A_i(t), die für den nächsten Frame beim prioritätsbasierten Kodierer und beim prioritätsbasierten Dekodierer zu verwenden ist, basierend auf einer Schätzung der Spärlichkeitsstufe s einer Kennzeichnung gemäß der Anzahl von Pixeln, die mit der Kennzeichnung im aktuellen Frame (oder den letzten paar Frames) segmentiert sind.
In einer Ausführungsform umfasst das Verfahren ferner das Bestimmen von Dimensionen der Messmatrix A_i(t), die im nächsten Frame verwendet werden sollen, basierend auf der ermittelten Spärlichkeit für jede Kennzeichnung im aktuellen Frame (oder dem letzten Paar von Frames) und in Abhängigkeit davon, dass die Summe der Raten kleiner oder gleich einer Beschränkung ist.
In einer Ausführungsform wird das segmentierte Bild der Szene von einem Kamerabild, einem RADAR-Tiefenbild, einem LiDAR-Tiefenbild oder einem Schallbild abgeleitet; das Betrachtungssystem umfasst ein autonomes oder halbautonom fahrendes Fahrzeug; und das entfernte System umfasst ein Cloud-basiertes Rechensystem, ein Edge-Cloud-basiertes Rechensystem, eine Infrastruktur oder ein anderes Fahrzeug.
In einer anderen Ausführungsform wird ein ratenadaptives System zum Ermöglichen einer gemeinsamen Wahrnehmung einer Szene bereitgestellt. Das ratenadaptive System enthält ein Fahrzeug mit einer Bildgebungsvorrichtung, die so konfiguriert ist, dass sie ein Bild der Szene aufnimmt, eine Steuerung, die durch einen Fahrzeugsegmentierungsalgorithmus so konfiguriert wird, dass sie ein segmentiertes Bild der Szene aus dem Bild der Szene erzeugt, und einen prioritätsbasierten Kodierer, der eine Steuerung enthält, sie so konfiguriert ist, dass sie: eine Vielzahl von Datenclustern in dem segmentierten Bild der Szene gemäß einer aus einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen aufteilt, wobei jeder Kennzeichnung eine vorbestimmte Prioritätsstufe zugewiesen ist; die Daten für eine Vielzahl der Kennzeichnungen vektorisiert (z.B. Konvertieren der aufgeteilten Daten in einen Vektor für jede Kennzeichnung, wobei jeder Vektor eine separate Matrix umfasst, in der die der Kennzeichnung entsprechenden Pixel markiert sind und der Rest der Pixel nicht markiert ist), um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung hat; eine Vielzahl der Spärlichkeitsvektoren x_i durch Multiplizieren einer Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i kodiert, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen; und die Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge überträgt, wobei Sätze der kodierten Informationen y_i mit höherer Prioritätsstufe vor Sätzen der kodierten Informationen y_i mit niedrigerer Prioritätsstufe übertragen werden. Das ratenadaptive System enthält ferner einen prioritätsbasierten Dekodierer in einem entfernten System, der eine Steuerung enthält, die so konfiguriert ist, dass sie: die Vielzahl von Sätzen kodierter Informationen y_i empfängt; die Vielzahl von Sätzen kodierter Informationen y_i dekodiert, um die Vielzahl der Spärlichkeitsvektoren x̂_i auf der Grundlage der Bestimmung der Messmatrix A_i(t) zu bestimmen; und die Vielzahl der Spärlichkeitsvektoren x̂_i zu einem vereinigten Vektor vereinigt, wobei der vereinigte Vektor in ein angenähertes Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.
Figurenliste
Aspekte der vorliegenden Offenbarung werden am besten aus der folgenden detaillierten Beschreibung verstanden, wenn sie zusammen mit den beigefügten Figuren gelesen werden, wobei gleiche Ziffern gleiche Elemente bezeichnen, und

1 ist ein Blockdiagramm, das ein Beispiel für ein ratenadaptives Kodierungs/Dekodierungssystem darstellt, gemäß einigen Ausführungsformen;
2 ist ein Blockdiagramm eines Beispielfahrzeugs, das einen prioritätsbasierten Kodierer und/oder einen prioritätsbasierten Dekodierer implementieren kann, gemäß einigen Ausführungsformen;
3 ist ein Prozessablaufdiagramm, das einen Beispielprozess in einem prioritätsbasierten Kodierer darstellt, gemäß einigen Ausführungsformen;
4 ist ein Prozessablaufdiagramm, das einen weiteren Beispielprozess in einem prioritätsbasierten Kodierer darstellt, gemäß einigen Ausführungsformen;
5 ist ein Prozessablaufdiagramm, das einen Beispielprozess in einem prioritätsbasierten Dekodierer darstellt, gemäß einigen Ausführungsformen;
6 ist ein Prozessablaufdiagramm, das einen Beispielprozess für eine gemeinsame Wahrnehmung darstellt, gemäß einigen Ausführungsformen; und
7 ist ein Prozessablaufdiagramm, das einen Beispielprozess in einem ratenadaptiven System darstellt, das einen prioritätsbasierten Kodierer an einem Betrachtungssystem und einen prioritätsbasierten Dekodierer an einem entfernten System umfasst, um die gemeinsame Wahrnehmung einer Szene zu ermöglichen, gemäß einigen Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht keine Absicht, an eine ausdrückliche oder stillschweigende Theorie gebunden zu sein, die in dem vorangegangenen technischen Gebiet, dem Hintergrund, der Beschreibung oder der folgenden detaillierten Beschreibung dargestellt ist.
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden können, die so konfiguriert sind, dass sie die angegebenen Funktionen ausführen. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder ähnliches, die eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus wird der Fachmann verstehen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können, und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken in Bezug auf Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung, mobile Kommunikation, Fahrzeug-zu-Fahrzeug-Kommunikation und andere funktionale Aspekte der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen hier enthaltenen Figuren dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Um die gemeinsame Nutzung der Wahrnehmung zu ermöglichen, entweder in der Cloud oder in einem anderen Fahrzeug, ist eine Komprimierung mit hohen Raten erforderlich. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken nutzen den niedrigen Rang segmentierter Daten und machen sich die komprimierte Abtastung zunutze, um hohe Kompressionsraten für Bilddaten zu erreichen. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können die Weitergabe von Segmentierungsbildern nahezu in Echtzeit ermöglichen, z. B. an benachbarte Fahrzeuge, Cloud-basierte Geräte, Edge-Cloud-Geräte, Infrastruktur usw. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken ermöglichen eine Kodierung und Dekodierung mit geringer Komplexität in einem adaptiven Raten-/Prioritätsschema. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können es ermöglichen, dass Pixel mit höherer Priorität mit höherer Auflösung (weniger Verzerrung) kodiert werden und dass Pixel mit höherer Priorität zuerst dekodiert werden.
Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können die Parameter für die komprimierte Abtastung adaptiv einstellen, um den erforderlichen Genauigkeitsstufen zu entsprechen. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können einen gemeinsamen Saat-Wert für den Kodierer und den Dekodierer verwenden. Die genauen Anforderungen für die Saat können im Voraus festgelegt werden oder alternativ als Rückmeldung vom Dekodierer an den Kodierer übertragen werden.
Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können die Auflösung von Segmenten mit höherer Priorität (z. B. gemäß dem Objekttyp) unter Berücksichtigung einer allgemeinen Ratenbeschränkung ermöglichen oder erhöhen. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können auch eine priorisierte Kodierung und Übertragung ermöglichen, bei der Segmente mit höherer Priorität kodiert und mit geringerer Latenz übertragen werden. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können auch eine priorisierte Decodierung ermöglichen, bei der Segmente mit höherer Priorität mit geringerer Latenz dekodiert werden. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können eine Kodierungstechnik bereitstellen, die effizient ist und minimale Rechenressourcen und Verarbeitungszeit verbraucht. Die beschriebenen Systeme, Verfahren, Vorrichtungen und Techniken können u. a. auf Kamerabilder, RADAR/LiDAR-Tiefenbilder und Tonbilder angewendet werden.
1 ist ein Blockdiagramm, das ein beispielhaftes ratenadaptives Kodier-/Dekodiersystem 100 zeigt, das die Nutzung einer gemeinsamen Wahrnehmung eines Bildes (z. B. Kamerabild, RADAR/LiDAR-Tiefenbild oder Schallbild) einer wahrgenommenen Szene von einem Betrachtungssystem, wie z. B. einem ersten Fahrzeug oder einem infrastrukturbasierten System (z. B. Ampel oder Beschilderung), mit einer Ansicht der Szene an ein entferntes System, wie z. B. ein cloudbasiertes System, ein infrastrukturbasiertes System, ein anderes Fahrzeug oder ein Edge-Cloud-basiertes System, ermöglichen kann. Das beispielhafte ratenadaptive Kodierungs-/Dekodiersystem 100 umfasst einen prioritätsbasierten Kodierer 102 am Betrachtungssystem und einen prioritätsbasierten Dekodierer 104 am entfernten System.
In diesem Beispiel wird ein Bild 106 der wahrgenommenen Szene vom Betrachtungssystem als ein Bild mit ursprünglicher Segmentierung bereitgestellt. Das Bild 106 enthält drei Pixelcluster, die die Position von drei Fahrzeugen 108 identifizieren, und einen Pixelcluster, der einen Radfahrer 110 identifiziert. Das Bild 106 wird vom prioritätsbasierten Kodierer 102 empfangen, der das Bild als kodiertes Bild 112 mit einer hohen Kompressionsrate kodiert. Das kodierte Bild 112 wird (z. B. über bekannte drahtlose Techniken) an den prioritätsbasierten Dekodierer 104 übertragen. Der prioritätsbasierte Dekodierer 104 dekodiert das Bild 112 als vollständig segmentiertes Bild 114, das auf dem entfernten System als Bild 116 mit dekodierter Segmentierung gespeichert werden kann. Der prioritätsbasierte Kodierer 102 kann das Bild 106 unter Verwendung eines vorbestimmten Saat-Wertes kodieren, der dem prioritätsbasierten Dekodierer 104 bekannt ist. Alternativ kann der prioritätsbasierte Kodierer 102 das Bild 106 unter Verwendung eines Saat-Wertes kodieren, der aus einer optionalen Rückmeldung 118 abgeleitet wird, die vom prioritätsbasierten Dekodierer 104 bereitgestellt wird. In beiden Fällen kann der prioritätsbasierte Dekodierer 104 das kodierte Bild 112 auf der Grundlage desselben Saat-Wertes dekodieren, der während der Kodierung des Bildes 106 durch den prioritätsbasierten Kodierer 102 verwendet wurde.
2 ist ein Blockdiagramm eines Beispielfahrzeugs 200, das einen prioritätsbasierten Kodierer 102 und/oder einen prioritätsbasierten Dekodierer 104 implementieren kann. Das Fahrzeug 200 umfasst im Allgemeinen ein Fahrgestell 12, einen Aufbau 14, Vorderräder 16 und Hinterräder 18. Der Aufbau 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen Komponenten des Fahrzeugs 200. Der Aufbau 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke des Aufbaus 14 drehbar mit dem Fahrgestell 12 gekoppelt. Das Fahrzeug 200 ist in der gezeigten Ausführungsform als PKW dargestellt, es können aber auch andere Fahrzeugtypen, wie z. B. Motorräder, LKWs, Geländefahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Wasserfahrzeuge, Luftfahrzeuge usw. verwendet werden. Das Fahrzeug 200 kann manuell, autonom und/oder teilautonom gefahren werden.
Das Fahrzeug 200 umfasst ferner ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36, das so konfiguriert ist, dass es drahtlos Informationen zu und von anderen Einheiten 48 (z. B. anderes Fahrzeug, Infrastruktur, Edge-Cloud-basiertes System, Cloud-basiertes System) übermittelt.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung bei der automatischen Steuerung des Fahrzeugs 200. Die Datenspeichervorrichtung 32 kann Teil der Steuerung 34, getrennt von der Steuerung 34 oder Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und ein computerlesbares Speichergerät oder -medium 46. In verschiedenen Ausführungsformen implementiert die Steuerung 34 einen prioritätsbasierten Kodierer 102 und/oder einen prioritätsbasierten Dekodierer 104. Obwohl in 2 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 200 eine beliebige Anzahl von Steuerungen 34 umfassen, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Merkmale des Fahrzeugs 200 automatisch zu steuern.
Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine zentrale Prozessoreinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein anwendungsspezifischer integrierter Schaltkreis (ASIC), ein feldprogrammierbares Gate-Array (FPGA), ein Hilfsprozessor unter mehreren der Steuerung zugeordneten Prozessoren, ein halbleiterbasierter Mikroprozessor (in Form eines Mikrochips oder Chipsatzes), eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Anweisungen.
Das computerlesbare Speichergerät oder -medium 46 kann flüchtige und nichtflüchtige Speicher enthalten, z. B. Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zum Speichern verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor ausgeschaltet ist. Die computerlesbare(n) Speichervorrichtung(en) kann/können unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen implementiert werden, wie z. B. PROMs (programmierbarer Festwertspeicher), EPROMs (elektrischer PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder jede andere elektrische, magnetische, optische oder kombinierte Speichervorrichtung, die in der Lage ist, Daten zu speichern, von denen einige ausführbare Programmieranweisungen darstellen, die von der Steuerung verwendet werden. Die Programmieranweisungen können ein oder mehrere separate Programme enthalten, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen umfasst.
3 ist ein Prozessablaufdiagramm, das einen Beispielprozess 300 in einem prioritätsbasierten Kodierer darstellt. Der Kodierer kann durch eine Steuerung implementiert werden, die durch Programmieranweisungen konfiguriert ist, die auf nicht-transitorischen computerlesbaren Medien kodiert sind, die konfigurierbar sind, um einen oder mehrere Prozessoren in der Steuerung zu veranlassen, den Beispielprozess 300 auszuführen. Die Betriebsreihenfolge innerhalb des Prozesses 300 ist nicht auf die sequentielle Ausführung wie in 3 dargestellt beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie anwendbar und gemäß der vorliegenden Offenbarung.
Der Beispielprozess 300 umfasst das Aufteilen (oder Kategorisieren) von Pixelclustern in einem empfangenen segmentierten Bild 301 gemäß den auf die Pixelcluster angewendeten Kennzeichnungen (Operation 302). Da das segmentierte Bild 301 spärliche Daten enthält (z. B. jedes Pixelcluster), kann sich der Kodierer auf die spärlichen Daten konzentrieren. In diesem Beispiel gibt es drei Kennzeichnungen, eine Fußgänger-Kennzeichnung (303), der eine Priorität der Stufe 1 zugewiesen ist, eine Radfahrer-Kennzeichnung (305), der eine Priorität der Stufe 2 zugewiesen ist, und eine Fahrzeug-Kennzeichnung (307), der eine Prioritätsstufe von 3 zugewiesen ist. Das segmentierte Bild wird entsprechend den Kennzeichnungen aufgeteilt.
Der Beispielprozess 300 umfasst die Vektorisierung (Operationen 304, 306, 308). Die spärlichen Daten werden in Form eines Frames des segmentierten Bildes 301 empfangen. Der Datenframe wird auf der Basis von Kennzeichnungen aufgeteilt (Operation 302) und die aufgeteilten Daten werden in Vektoren umgewandelt (z. B. vektorisiert), einen Vektor für jede Kennzeichnung. In einem Beispiel beinhaltet die Vektorisierung (z. B. die Umwandlung der aufgeteilten Daten in Vektoren) die Bereitstellung einer separaten Matrix (z. B. eine Null-Eins-Matrix) für jede Kennzeichnung, in der einige der Pixel markiert sind (mit dem Wert Eins) und der Rest der Pixel nicht markiert ist (die Pixel haben den Wert Null). Jede dieser Matrizen ist vektorisiert, da jede Matrix mit einer einzigen Kennzeichnung verknüpft ist und die einzigen Pixel, die markiert sind, die Pixel sind, die der zugehörigen Kennzeichnung für die Matrix entsprechen.
Im dargestellten Beispiel werden die Daten aus der Aufteilung, die mit „Fußgänger“ gekennzeichnet sind, in einen ersten Spärlichkeitsvektor x_i (309) vektorisiert (Operation 304), die Daten aus der Aufteilung, die mit „Radfahrer“ gekennzeichnet sind, werden in einen zweiten Spärlichkeitsvektor x₂ (311) vektorisiert (Operation 306) und die Daten aus der Aufteilung, die mit „Fahrzeuge“ gekennzeichnet sind, werden in einen dritten Spärlichkeitsvektor x₃ (313) vektorisiert (Operation 308). Die Vektorisierungsoperationen (Operationen 304, 306, 308) können parallel oder sequentiell (z. B. auf einer priorisierten Basis) basierend auf den Rechenkapazitäten des priorisierten Kodierers durchgeführt werden.
Der Beispielprozess 300 umfasst das Erzeugen von zu übertragenden kodierten Informationen (Operationen 310, 312, 314). Die zu übertragenden kodierten Informationen umfassen einen Satz kodierter Informationen y_i für jeden Spärlichkeitsvektor x_i. Jeder Satz kodierter Informationen y_i wird durch Multiplikation einer Messmatrix A_i(t) mit einem Spärlichkeitsvektor x_i erzeugt. Die Messmatrix A_i(t) ist entsprechend der geschätzten Spärlichkeitsstufe der jeweiligen Kennzeichnung und dem geforderten Genauigkeitsniveau konfigurierbar. Ein Spärlichkeitsvektor mit höherer Priorität erfordert möglicherweise ein höheres Genauigkeitsniveau, was sich in den Dimensionen der entsprechenden Messmatrix manifestiert. In diesem Beispiel wird ein erster Satz kodierter Informationen y₁ (321) für den ersten Spärlichkeitsvektor x₁ (309) erzeugt (Operation 310), indem eine erste Messmatrix A₁(t) (315) mit dem ersten Spärlichkeitsvektor x₁ multipliziert wird (z. B. y₁ = A_i(t) x₁), ein zweiter Satz kodierter Informationen y₂ (323) für den zweiten Spärlichkeitsvektor x₂ (311) wird erzeugt (Operation 312) durch Multiplikation einer zweiten Messmatrix A₂(t) (317) mit dem zweiten Spärlichkeitsvektor x₂ (z.B. y₂ = A₂(t) x₂), und ein dritter Satz kodierter Information y₃ (325) für den dritten Spärlichkeitsvektor x₃ (313) wird erzeugt (Operation 314) durch Multiplikation einer dritten Messmatrix A₃(t) (319) mit dem dritten Spärlichkeitsvektor x₃ (z.B. y₃ = A₃(t) x₃). Die drei Sätze kodierter Informationen (y₁, y₂, y₃) können parallel oder sequentiell (z. B. auf einer priorisierten Basis) basierend auf den Rechenkapazitäten des priorisierten Kodierers erzeugt werden. Die drei Sätze kodierter Informationen (y₁, y₂, y₃) können in Prioritätsreihenfolge (z. B. über bekannte drahtlose Techniken) an einen prioritätsbasierten Dekodierer an einem entfernten Ort zur Dekodierung, Rekonstruktion und Speicherung eines Bildes einer Szene übertragen werden, die dem segmentierten Bild 301 entspricht.
Der Kodierungsprozess, der die kodierten Informationen (y₁, y₂, y₃) erzeugt, kann auf einer priorisierten Basis durchgeführt werden, wobei die Informationen mit höherer Priorität (z. B. Informationen y₁ mit Priorität 1) basierend auf den Rechen- und/oder Übertragungsfähigkeiten am priorisierten Kodierer zuerst kodiert und/oder übertragen werden können, die Informationen mit nächst höherer Priorität (z. B. Informationen y₂ mit Priorität 2) kann basierend auf den Rechen- und/oder Übertragungskapazitäten des priorisierten Kodierers als nächstes kodiert und/oder übertragen werden, und die Information dritthöherer Priorität (z. B. Informationen y₃ mit Priorität 3) kann basierend auf den Rechen- und/oder Übertragungskapazitäten des priorisierten Kodierers als drittes kodiert und/oder übertragen werden. Dies kann sicherstellen, dass die Informationen höherer Priorität mit der geringstmöglichen Latenz am priorisierten Dekodierer empfangen werden, wenn Rechen- und/oder Übertragungsbeschränkungen bestehen.
4 ist ein Prozessablaufdiagramm, das einen Beispielprozess 400 in einem prioritätsbasierten Kodierer darstellt. Der Kodierer kann durch eine Steuerung implementiert werden, die durch Programmieranweisungen konfiguriert ist, die auf nicht-transitorischen computerlesbaren Medien kodiert sind, die konfigurierbar sind, um einen oder mehrere Prozessoren in der Steuerung zu veranlassen, den Beispielprozess 400 auszuführen. Die Betriebsreihenfolge innerhalb des Prozesses 400 ist nicht auf die sequentielle Ausführung wie in 4 dargestellt beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie anwendbar ist und gemäß der vorliegenden Offenbarung.
Der Beispielprozess 400 umfasst die Aufteilung (oder Kategorisierung) von Pixelclustern in einem Datenframe aus einem empfangenen segmentierten Bild 401 in Schichten (von spärlichen Datenvektoren x_i) gemäß den auf die Pixelcluster angewendeten Kennzeichnungen (Operation 402). In diesem Beispiel gibt es drei Kennzeichnungen, eine Fußgänger-Kennzeichnung (403), der eine Priorität der Stufe 1 zugewiesen ist, eine Radfahrer-Kennzeichnung (405), der eine Priorität der Stufe 2 zugewiesen ist, und eine Fahrzeug-Kennzeichnung (407), der eine Prioritätsstufe von 3 zugewiesen ist. Die spärlichen Daten werden basierend auf der Kennzeichnung in eine der drei Schichten aufgeteilt.
Die Aufteilungsoperationen umfassen in diesem Beispiel die Vektorisierung. Die spärlichen Daten werden in Form eines Frames des segmentierten Bildes 401 empfangen. Der Datenframe wird basierend auf Kennzeichnungen aufgeteilt und die aufgeteilten Daten werden in Vektoren umgewandelt (z. B. vektorisiert), einen Vektor für jede Kennzeichnung. In diesem Beispiel werden die Daten aus der Aufteilung, die mit „Fußgänger“ gekennzeichnet sind, in einen ersten Spärlichkeitsvektor x_i, die Daten aus der Aufteilung, die mit „Radfahrer“ gekennzeichnet sind, in einen zweiten Spärlichkeitsvektor x₂ und die Daten aus der Aufteilung, die mit „Fahrzeuge“ gekennzeichnet sind, in einen dritten Spärlichkeitsvektor x₃ vektorisiert. Die Vektorisierungsoperationen können parallel oder sequentiell (z. B. auf einer priorisierten Basis) basierend auf den Rechenkapazitäten des priorisierten Kodierers durchgeführt werden.
Der Beispielprozess 400 umfasst die schichtweise Kodierung des Datenframes, um die zu übertragenden kodierten Informationen zu erzeugen (Operationen 404, 406, 408). Die zu übertragenden kodierten Informationen umfassen einen Satz kodierter Informationen y_i für jeden Spärlichkeitsvektor x_i. Jeder Satz kodierter Informationen y_i wird durch Multiplikation einer Messmatrix A_i(t) mit einem Spärlichkeitsvektor x_i erzeugt. Die Messmatrix A_i(t) ist gemäß dem geschätzten Spärlichkeitsstufe der jeweiligen Kennzeichnung und dem geforderten Genauigkeitsniveau konfigurierbar. Ein Spärlichkeitsvektor mit höherer Priorität erfordert möglicherweise ein höheres Genauigkeitsniveau, was sich in den Dimensionen der entsprechenden Messmatrix manifestiert. In diesem Beispiel wird ein erster Satz kodierter Informationen y₁ (409) für den ersten Spärlichkeitsvektor x₁ erzeugt (Operation 404), indem eine erste Messmatrix A_i(t) (415) mit dem ersten Spärlichkeitsvektor x₁ multipliziert wird (z. B. y₁ = A_i(t) x₁), ein zweiter Satz kodierter Informationen y₂ (411) für den zweiten Spärlichkeitsvektor x₂ wird erzeugt (Operation 406) durch Multiplizieren einer zweiten Messmatrix A2(t) (417) mit dem zweiten Spärlichkeitsvektor x₂ (z.B., y₂ = A₂(t) x₂), und ein dritter Satz kodierter Information y₃ (413) für den dritten Spärlichkeitsvektor x₃ wird erzeugt (Operation 408) durch Multiplikation einer dritten Messmatrix A₃(t) (419) mit dem dritten Spärlichkeitsvektor x₃ (z.B. y₃ =A₃(t) x₃). Die drei Sätze kodierter Informationen (y₁, y₂, y₃) können parallel oder sequentiell (z. B. auf einer priorisierten Basis) basierend auf den Rechenkapazitäten des priorisierten Kodierers erzeugt werden.
Der Kodierungsprozess, der die kodierten Informationen (y₁, y₂, y₃) erzeugt, kann auf einer priorisierten Basis durchgeführt werden, wobei die Informationen mit höherer Priorität (z. B. Informationen y₁ mit Priorität 1) zuerst kodiert werden, die Informationen mit nächster höherer Priorität (z. B. Informationen y₂ mit Priorität 2) als nächstes kodiert werden und die Informationen mit dritthöherer Priorität (z. B. Informationen y₃ mit Priorität 3) als drittes kodiert werden. Dadurch kann sichergestellt werden, dass die Informationen mit höherer Priorität immer zuerst kodiert werden, wenn Rechenbeschränkungen bestehen.
Die drei Sätze kodierter Informationen (y₁, y₂, y₃) werden nach Priorität sortiert und (z. B. über bekannte drahtlose Techniken) an einen prioritätsbasierten Dekodierer (Operation 410) an einem entfernten Ort zur Dekodierung, Rekonstruktion und Speicherung eines Bildes einer Szene entsprechend dem segmentierten Bild 401 übertragen.
Die Übertragung der kodierten Informationen (y₁, y₂, y₃) kann auf einer priorisierten Basis erfolgen, wobei die Informationen mit höherer Priorität (z. B. Informationen y₁ mit Priorität 1) zuerst übertragen werden, die Informationen mit nächster höherer Priorität (z. B. Informationen y₂ mit Priorität 2) als nächstes und die Informationen mit dritthöherer Priorität (z. B. Informationen y₃ mit Priorität 3) als drittes übertragen werden. Dadurch kann sichergestellt werden, dass die Informationen höherer Priorität mit der geringstmöglichen Latenz am priorisierten Dekodierer empfangen werden.
Der Beispielprozess 400 umfasst auch Operationen zur Erzeugung der Messmatrizen A_i(t) (Operationen 411). Für den Anfangsframe (z. B. zum Zeitpunkt t=0) wird eine Zufallsmatrix Ao mit m Zeilen (z. B. eine gemeinsame Saat) für jede Kennzeichnung erzeugt (Operation 412). Diese Zufallsmatrix Ao wird zur Kodierung jedes Frames durch y_i = A₀(t) x_i verwendet. Der priorisierte Kodierer und der priorisierte Dekodierer können dieselbe Saat verwenden, um diese Zufallsmatrix Ao zu erzeugen. Dadurch wird sichergestellt, dass der priorisierte Dekodierer die kodierten Informationen dekodieren kann, um die kodierten Daten zu rekonstruieren. Es muss nicht für jede Kennzeichnung die gleiche Zufallsmatrix Ao verwendet werden, und es sind auch nicht für jede Kennzeichnung Matrizen mit den gleichen Dimensionen erforderlich. Das Vorverständnis kann genutzt werden, um die Anfangsdimensionen für jede Kennzeichnung zu bestimmen, die nicht gleich sind. Mit voreingestellten Parametern und einer gemeinsamen Saat können an beiden Enden (Kodierer und Dekodierer) zufällig die gleichen Messmatrizen für jede Kennzeichnung erzeugt werden.
Für jeden Frame umfasst der Prozess 400 das Dekodieren des zuvor erzeugten Frames durch Finden von x̂₁ basierend auf y₁ = A_i(t) x₁, so dass ||x₁|| minimal ist (Operation 414), x₂ basierend auf y₂ = A₂(t) x₂, so dass ||x₂|| minimal ist (Operation 416), und x₃ basierend auf y₃ = A₃(t) x₃, so dass ||x₃|| minimal ist (Operation 418). Die Operationen 414, 416, 418 können parallel oder sequentiell durchgeführt werden (z. B. auf einer priorisierten Basis), basierend auf den Rechenkapazitäten des priorisierten Kodierers.
Basierend auf den Dekodieroperationen (414, 416, 418) beinhaltet der Prozess 400 die Bestimmung der Anzahl von Zeilen, die jeder Kennzeichnung im nächsten Frame zugeordnet sind, unter der Bedingung, dass die Summe der Raten kleiner oder gleich einer Beschränkung ist (Summe der Raten ≤ Einschränkung) (Operation 420). Dies führt zur Erzeugung der nächsten Messmatrix A_t= [A_i(t) | A₂(t) | A₃(t)] (421), die für die Kodierung des nächsten Datenframes verwendet wird. Diese Messmatrizen werden basierend auf einer gemeinsamen Saat zufällig ausgewählt. Die geschätzte Spärlichkeit wird bestimmt, indem die Spärlichkeit jeder Kennzeichnung im vorherigen Frame untersucht wird und zusammen mit der Genauigkeit (und Priorität) verwendet wird, um die Anzahl der Zeilen jeder Messmatrix für jede Kennzeichnung zu bestimmen. Die Operationen 411 bieten wiederholbare Operationen, die von einem priorisierten Dekodierer zum Dekodieren und Rekonstruieren der kodierten Informationen verwendet werden können.
5 ist ein Prozessablaufdiagramm, das einen Beispielprozess 500 in einem prioritätsbasierten Dekodierer darstellt. Der Dekodierer kann durch eine Steuerung implementiert werden, die durch Programmieranweisungen konfiguriert ist, die auf nicht-transitorischen computerlesbaren Medien kodiert sind, die so konfiguriert werden können, dass sie einen oder mehrere Prozessoren in der Steuerung veranlassen, den Beispielprozess 500 auszuführen. Die Reihenfolge des Betriebs innerhalb des Prozesses 500 ist nicht auf die sequentielle Ausführung wie in 5 dargestellt beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie anwendbar ist und gemäß vorliegenden Offenbarung.
Der Beispielprozess 500 umfasst für den Anfangsframe (z. B. zum Zeitpunkt t=0) das Erzeugen einer Zufallsmessmatrix Ao mit m Zeilen (z. B. einer gemeinsamen Saat) für jede Kennzeichnung (Operation 502). Diese Zufallsmatrix Ao wird verwendet, um jede Kategorie von gekennzeichneten Daten zu dekodieren. Der priorisierte Kodierer und der priorisierte Dekodierer verwenden die gleiche Saat, um die gleiche Messmatrix Ao zu erzeugen. Dadurch wird sichergestellt, dass der priorisierte Dekodierer die verschlüsselten Informationen dekodieren kann, um die verschlüsselten Daten zu rekonstruieren. Es ist nicht erforderlich, für jede Kennzeichnung dieselbe Zufallsmatrix Ao zu verwenden und auch nicht, für jede Kennzeichnung Matrizen mit denselben Dimensionen zu verwenden. Das Vorverständnis kann genutzt werden, um die Anfangsdimensionen für jede Kennzeichnung zu bestimmen, die nicht gleich sind. Mit voreingestellten Parametern und einer gemeinsamen Saat können an beiden Enden (Kodierer und Dekodierer) zufällig die gleichen Messmatrizen für jede Kennzeichnung erzeugt werden.
Der Beispielprozess 500 umfasst den Empfang einer Vielzahl von Sätzen (501a, 501b, 501c) kodierter Informationen (y₁, y₂, y₃) und die Dekodierung der kodierten Informationen (y₁, y₂, y₃), um jeden Spärlichkeitsdatenvektor x̂_i basierend auf y_i = A_i(t) x_i zu bestimmen, so dass ||x_i||₁ minimal ist (Operation 504). In diesem Beispiel beinhaltet dies die Bestimmung des ersten Spärlichkeitsdatenvektors x̂₁ basierend auf y₁ = A_i(t) x₁, so dass ||x₁|| minimal ist, die Bestimmung des zweiten Spärlichkeitsdatenvektor x̂₂ basierend auf y₂ = A₂(t) x₂, so dass ||x₂|| minimal ist, und die Bestimmung des dritten Spärlichkeitsdatenvektor x̂₃ basierend auf y₃ = A₃(t) x₃, so dass ||x₃|| minimal ist. Die Dekodierung der kodierten Information y₁, um den Spärlichkeitsdatenvektor x̂₁ zu finden, kann parallel oder sequentiell (z.B. auf einer priorisierten Basis) mit der Dekodierung der kodierten Information y₂, um den Spärlichkeitsdatenvektor x̂₂ zu finden, und/oder parallel oder sequentiell (z.B. auf einer priorisierten Basis) mit der Dekodierung der kodierten Information y₃, um den Spärlichkeitsdatenvektor x̂₃ zu finden, im Hinblick auf die Rechenkapazitäten des priorisierten Kodierers und/oder den Zeitpunkt, zu dem die kodierte Information am Dekodierer empfangen wird, durchgeführt werden.
Der Beispielprozess 500 umfasst das Vereinigen der Schichten (z. B. des ersten Spärlichkeitsdatenvektor x̂₁, des zweiten Spärlichkeitsdatenvektor x̂₂ und des dritten Spärlichkeitsdatenvektor x̂₃) zu einem einzigen Bild (z. B. vereinigter Vektor) (Operation 506). Der vereinigte Vektor kann in ein angenähertes Bild der Szene 508 umgeformt werden, das eine angenäherte Bildsegmentierung umfasst.
Die Dekodieroperationen 504 sind abhängig von einer Bestimmung der Messmatrizen A_i, die im priorisierten Dekodierer durchgeführt wird. Für jede Kennzeichnung beinhaltet der Beispielprozess 500 eine Schätzung der Spärlichkeitsstufe s gemäß der Anzahl der mit der Kennzeichnung segmentierten Pixel (Operationen 510, 512, 514). Die Schätzung basiert auf dem dekodierten Bild. So beinhaltet der Beispielprozess 500 in diesem Beispiel für die Kennzeichnung 1 (509) die Schätzung der Spärlichkeitsstufe s gemäß der Anzahl der Pixel, die mit der Fußgänger-Kennzeichnung segmentiert sind (Operation 510), für die Kennzeichnung 2 (511) beinhaltet der Beispielprozess 500 die Schätzung der Spärlichkeitsstufe s gemäß der Anzahl der Pixel, die mit der Radfahrer-Kennzeichnung segmentiert sind (Operation 512), und für die Kennzeichnung 3 (513) beinhaltet der Beispielprozess 500 die Schätzung der Spärlichkeitsstufe s gemäß der Anzahl der Pixel, die mit der Fahrzeug-Kennzeichnung segmentiert sind (Operation 514).
Der Beispielprozess 500 umfasst die Bestimmung der Anzahl der Zeilen, die jeder Kennzeichnung im nächsten Frame zugewiesen werden, unter der Voraussetzung, dass die Summe der Raten kleiner oder gleich einer Beschränkung ist (Summe der Raten ≤ Beschränkung) (Operation 516). Dies führt zur Erzeugung der nächsten Messmatrix A_t = [A_i(t) | A₂(t) | A₃(t)] (517), die zur Kodierung des nächsten Datenframes verwendet wird. Nachdem die Anzahl der Zeilen bestimmt ist, werden die Matrizen mit einer gemeinsamen Saat zufällig erzeugt, so dass sie an beiden Enden übereinstimmen. Die Operationen 510, 512, 514, 516 bieten wiederholbare Operationen, die es dem priorisierten Dekodierer ermöglichen, die kodierten Informationen zu dekodieren und zu rekonstruieren, wobei dieselben Matrizen verwendet werden, die im priorisierten Kodierer zum Kodieren der kodierten Informationen verwendet wurden.
6 ist ein Prozessablaufdiagramm, in dem ein Beispielprozess 600 für eine gemeinsame Wahrnehmung dargestellt ist. Der Beispielprozess umfasst das Erfassen eines Bildes 602 einer Szene durch eine Bildgebungsausrüstung 604 eines Fahrzeugs 606. Das Bild 602 kann Kamerabilder, RADAR/LiDAR-Tiefenbilder, Schallbilder oder andere umfassen.
Der Beispielprozess 600 umfasst die Anwendung eines Segmentierungsalgorithmus (Operation 608) auf das Anfangsbild 602, um ein Segmentierungsergebnis 610 zu erzeugen. Der Beispielprozess 600 umfasst die Anwendung eines Kodierers 612 auf das Segmentierungsergebnis 610, um eine kodierte Segmentierung 614 zu erzeugen. Der Kodierer 612 kann so konfiguriert sein, dass er einen Kodierungsprozess wie den in den 3 und/oder 4 dargestellten anwendet, um die kodierte Segmentierung 614 zu erzeugen.
Der Beispielprozess 600 umfasst die Übertragung der kodierten Segmentierung 614 über eine drahtlose Verbindung 616 zu einem Dekodierer 618 an einem entfernten Standort, z. B. einem Cloud-basierten Server 620. Der Dekodierer 618 kann so konfiguriert sein, dass er einen Dekodierungsprozess, wie in 5 dargestellt, anwendet, um eine dekodierte Segmentierung 622 zu erzeugen.
7 ist ein Prozessablaufdiagramm, das einen Beispielprozess 700 in einem ratenadaptiven System darstellt, das einen prioritätsbasierten Kodierer an einem Betrachtungssystem und einen prioritätsbasierten Dekodierer an einem entfernten System umfasst, um eine gemeinsame Wahrnehmung einer Szene zu ermöglichen. Die Betriebsreihenfolge innerhalb des Prozesses 700 ist nicht auf die in 7 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen ausgeführt werden, wie anwendbar und gemäß der vorliegenden Offenbarung.
Der Beispielprozess 700 umfasst die Aufteilung einer Vielzahl von Datenclustern in einem empfangenen segmentierten Bild der Szene durch den prioritätsbasierten Kodierer in eine aus einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen, wobei jeder Kennzeichnung eine vorbestimmte Prioritätsstufe zugewiesen wird (Operation 702).
Der Beispielprozess 700 umfasst die Vektorisierung der Daten für eine Vielzahl der Kennzeichnungen durch den prioritätsbasierten Kodierer, um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung hat (Operation 704). In diesem Beispiel umfasst das Vektorisieren das Umwandeln der aufgeteilten Daten in einen Vektor für jede Kennzeichnung, wobei jeder Vektor eine separate Matrix umfasst, in der die der Kennzeichnung entsprechenden Pixel markiert sind und der Rest der Pixel nicht markiert ist.
Der Beispielprozess 700 umfasst das Kodieren einer Vielzahl der Spärlichkeitsvektoren x_i durch den prioritätsbasierten Kodierer, indem eine Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i multipliziert wird, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen (Operation 706). Das Kodieren der Vielzahl der Spärlichkeitsvektoren x_i kann das Kodieren der Vielzahl der Spärlichkeitsvektoren x_i in einer priorisierten Reihenfolge umfassen, wobei Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe vor Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe kodiert werden. Die Messmatrix A_i(t) kann so konfiguriert sein, dass Daten, die den Spärlichkeitsvektoren x_i der höheren Prioritätsstufe entsprechen, mit einer höheren Auflösung kodiert werden können als Daten, die den Spärlichkeitsvektoren x_i der niedrigeren Prioritätsstufe entsprechen.
Der Beispielprozess 700 umfasst das Übertragen, durch den prioritätsbasierten Kodierer an den prioritätsbasierten Dekodierer, der Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze der höheren Prioritätsstufe der kodierten Informationen y_i vor Sätzen der niedrigeren Prioritätsstufe der kodierten Informationen y_i übertragen werden (Operation 708).
Der Beispielprozess 700 umfasst das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i durch den prioritätsbasierten Dekodierer, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf der Bestimmung der Messmatrix A_i(t) zu bestimmen (Operation 710). Das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i kann das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i in einer priorisierten Reihenfolge umfassen, wobei Sätze kodierter Informationen y_i mit höherer Prioritätsstufe vor Sätzen kodierter Informationen y_i mit niedrigerer Prioritätsstufe dekodiert werden. Das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i kann das Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i umfassen, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf y_i =Ai(t) x_i zu bestimmen, so dass ||x_i|| minimal ist. Die Messmatrix A_i(t) am prioritätsbasierten Kodierer und am prioritätsbasierten Dekodierer kann basierend auf einer gemeinsamen Saat bestimmt werden, die sowohl am prioritätsbasierten Kodierer als auch am prioritätsbasierten Dekodierer bekannt ist. Die Dimensionen der Messmatrix A_i(t) am prioritätsbasierten Kodierer und am prioritätsbasierten Dekodierer können auf der Grundlage von Rückmeldungen bestimmt werden, die der prioritätsbasierte Dekodierer an den prioritätsbasierten Kodierer liefert. Die Dimensionen der Messmatrix A_i(t) können auf der Grundlage einer Schätzung der Spärlichkeitsstufe s einer Kennzeichnung gemäß der Anzahl der mit der Kennzeichnung segmentierten Pixel in dem/den vorherigen Frame(s) bestimmt werden. Angesichts der Spärlichkeit, der erforderlichen Genauigkeit (Priorität) und der Summenratenbeschränkung (die Summenrate muss kleiner oder gleich einer Beschränkung sein) kann die Anzahl der Zeilen jeder Messmatrix an beiden Enden deterministisch bestimmt werden. Die Messmatrizen können dann auf der Grundlage derselben Saat zufällig erzeugt werden, so dass an beiden Enden dieselben Messmatrizen vorliegen.
Der Beispielprozess 700 umfasst das Vereinigen der Vielzahl der Spärlichkeitsvektoren x̂_i zu einem einzigen Bildframe (z. B. vereinigter Vektor) (Operation 712), wobei der vereinigte Vektor zu einem angenäherten Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.
Das Vorstehende erläutert Merkmale mehrerer Ausführungsformen, damit der Fachmann die Aspekte der vorliegenden Offenbarung besser verstehen kann. Der Fachmann sollte sich darüber im Klaren sein, dass er die vorliegende Offenbarung ohne Weiteres als Grundlage für die Entwicklung oder Modifizierung anderer Verfahren und Strukturen verwenden kann, um die gleichen Zwecke zu erfüllen und/oder die gleichen Vorteile der hier vorgestellten Ausführungsformen zu erzielen. Fachleute sollten auch erkennen, dass solche äquivalenten Konstruktionen nicht vom Kern und Umfang der vorliegenden Offenbarung abweichen, und dass sie verschiedene Änderungen, Ersetzungen und Modifikationen hierin vornehmen können, ohne vom Kern und Umfang der vorliegenden Offenbarung abzuweichen.

Claims

Ratenadaptives System zum Ermöglichen einer gemeinsamen Wahrnehmung einer Szene, wobei das System umfasst: einen prioritätsbasierten Kodierer an einem Betrachtungssystem, das eine Steuerung umfasst, die konfiguriert ist zur: Aufteilung einer Vielzahl von Datenclustern in einem empfangenen segmentierten Bild der Szene gemäß einer aus einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen, wobei jeder Kennzeichnung eine vorbestimmte Prioritätsstufe zugewiesen wird; Vektorisierung der Daten für eine Vielzahl der Kennzeichnungen, um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung hat; Kodierung einer Vielzahl der Spärlichkeitsvektoren x_i durch Multiplizieren einer Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen; und Übertragung der Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze höherer Prioritätsstufen der kodierten Informationen y_i vor Sätzen niedrigerer Prioritätsstufen der kodierten Informationen y_i übertragen werden; und einen prioritätsbasierten Dekodierer an einem entfernten System, das eine Steuerung umfasst, die konfiguriert zum: Empfang der Vielzahl von Sätzen kodierter Informationen y_i, Dekodieren der Vielzahl von Sätzen kodierter Informationen y_i, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf einer Bestimmung der Messmatrix A_i(t) zu bestimmen; und Vereinigen der Vielzahl der Spärlichkeitsvektoren x̂_i zu einem vereinigten Vektor; wobei der vereinigte Vektor in ein angenähertes Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.
Ratenadaptives System nach Anspruch 1, wobei der prioritätsbasierte Kodierer ferner so konfiguriert ist, dass er die Vielzahl der Spärlichkeitsvektoren x_i in einer priorisierten Reihenfolge kodiert, wobei Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe vor Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe kodiert werden.
Ratenadaptives System nach Anspruch 1, wobei die Messmatrix A_i(t) so konfiguriert ist, dass Daten, die den Spärlichkeitsvektoren x_i mit höherer Prioritätsstufe entsprechen, mit höherer Auflösung kodiert werden können als Daten, die den Spärlichkeitsvektoren x_i mit niedrigerer Prioritätsstufe entsprechen.
Ratenadaptives System nach Anspruch 1, wobei der prioritätsbasierte Dekodierer ferner so konfiguriert ist, dass er die Vielzahl von Sätzen kodierter Informationen y_i dekodiert, um die Vielzahl von Spärlichkeitsvektoren x̂_i in einer priorisierten Reihenfolge zu bestimmen, wobei Sätze kodierter Informationen y_i mit höherer Prioritätsstufe vor Sätzen kodierter Informationen y_i mit niedrigerer Prioritätsstufe dekodiert werden.
Ratenadaptives System nach Anspruch 1, wobei der prioritätsbasierte Dekodierer ferner konfiguriert ist, die Vielzahl von Sätzen kodierter Information y_i zu dekodieren, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf y_i = A_i(t) x_i zu bestimmen, so dass ||x_i|| minimal ist.
Ratenadaptives System nach Anspruch 1, wobei die Messmatrix A_i(t) am prioritätsbasierten Kodierer und am prioritätsbasierten Dekodierer bestimmt wird, basierend auf einer gemeinsamen Saat, die sowohl am prioritätsbasierten Kodierer als auch am prioritätsbasierten Dekodierer bekannt ist.
Ratenadaptives System nach Anspruch 1, wobei die Dimensionen der Messmatrix A_i(t) am prioritätsbasierten Kodierer basierend auf Rückmeldungen bestimmt werden, die der prioritätsbasierte Dekodierer an den prioritätsbasierten Kodierer liefert.
Ratenadaptives System nach Anspruch 1, wobei sowohl der priorisierte Kodierer als auch der priorisierte Dekodierer so konfiguriert sind, dass sie Dimensionen der Messmatrix A_i(t) basierend auf einer Schätzung der Spärlichkeitsstufe s einer Kennzeichnung gemäß der Anzahl der mit der Kennzeichnung segmentierten Pixel bestimmen.
Ratenadaptives System nach Anspruch 8, wobei sowohl der priorisierte Kodierer als auch der priorisierte Dekodierer ferner so konfiguriert sind, dass sie Dimensionen der Messmatrix A_i(t) bestimmen, die im nächsten Frame verwendet werden sollen, basierend auf der Spärlichkeit jeder Kennzeichnung im aktuellen Frame und in Abhängigkeit davon, dass die Summe der Raten kleiner oder gleich einer Beschränkung ist.
Verfahren in einem ratenadaptiven System, das einen prioritätsbasierten Kodierer an einem Betrachtungssystem und einen prioritätsbasierten Dekodierer an einem entfernten System umfasst, um eine gemeinsame Wahrnehmung einer Szene zu ermöglichen, wobei das Verfahren umfasst: Aufteilen einer Vielzahl von Datenclustern in einem empfangenen segmentierten Bild der Szene durch den prioritätsbasierten Kodierer gemäß einer aus einer Vielzahl von verschiedenen vorbestimmten Kennzeichnungen, wobei jeder Kennzeichnung einer vorbestimmten Prioritätsstufe zugeordnet ist; Vektorisieren, durch den prioritätsbasierten Kodierer, der Daten für eine Vielzahl der Kennzeichnungen, um einen Spärlichkeitsvektor x_i für seine entsprechende Kennzeichnung zu erzeugen, der die Prioritätsstufe seiner entsprechenden Kennzeichnung hat; Kodieren einer Vielzahl der Spärlichkeitsvektoren x_i durch den prioritätsbasierten Kodierer durch Multiplizieren einer Messmatrix A_i(t) mit dem Spärlichkeitsvektor x_i, um einen Satz kodierter Informationen y_i für die entsprechende Kennzeichnung zu erzeugen, die die Prioritätsstufe ihrer entsprechenden Kennzeichnung haben, um eine Vielzahl von Sätzen der kodierten Informationen y_i zu erzeugen; Übertragen, durch den prioritätsbasierten Kodierer an den prioritätsbasierten Dekodierer, der Vielzahl von Sätzen der kodierten Informationen y_i in einer priorisierten Reihenfolge, wobei Sätze höherer Prioritätsstufen der kodierten Informationen y_i vor Sätzen niedrigerer Prioritätsstufen der kodierten Informationen y_i übertragen werden; Dekodieren, durch den prioritätsbasierten Dekodierer, der Vielzahl von Sätzen kodierter Informationen y,, um die Vielzahl der Spärlichkeitsvektoren x̂_i basierend auf einer Bestimmung der Messmatrix A_i(t) zu bestimmen; Vereinigen der Vielzahl der Spärlichkeitsvektoren x̂_i zu einem vereinigten Vektor, wobei der vereinigte Vektor zu einem angenäherten Bild der Szene umgeformt werden kann, das eine angenäherte Bildsegmentierung umfasst.