DE102021115206A1

DE102021115206A1 - Verfahren, Kodierungseinrichtung und Kraftfahrzeug zum Enkodieren mehrerer Videoströme in einen Gesamtvideostrom mittels eines einzigen Enkoders

Info

Publication number: DE102021115206A1
Application number: DE102021115206.2A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-06-11
Filing date: 2021-06-11
Publication date: 2022-12-15

Abstract

Die Erfindung betrifft ein Verfahren zum Enkodieren mehrerer Videoströme in einen Gesamtvideostrom mittels eines einzigen Enkoders (38), eine entsprechend eingerichtete Kodierungseinrichtung (10) und ein damit ausgestattetes Kraftfahrzeug (42). In dem Verfahren werden aus erfassten Kodierungsparametern (22) für die Videoströme und den Gesamtvideostrom mittels eines Bitratenmodells (14) Bitraten für die Videoströme abgeschätzt, die sich bei Verwendung der Kodierungsparameter (22) ergeben würden. Mittels eines Filtermodells (14) werden für die Videoströme Filterparameter (28) eines Tiefpassfilters (20) bestimmt, die bei dessen Anwendung auf die Videoströme und Anwendung eines Gesamtkodierungsparameters (40) für den Gesamtvideostrom voraussichtlich für den Videoströmen entsprechende Teile (34) des Gesamtvideostroms die basierend auf den Kodierungsparametern (22) für die ungefilterten Videoströme abgeschätzten Bitraten reproduzieren. Der Tiefpassfilter (20) wird dann mit den bestimmten Filterparametern (28) auf die Videoströme angewendet. Aus den so gefilterten Videoströmen (34) wird der Gesamtvideostrom zusammengesetzt und mittels des Enkoders (38) unter Anwendung des Gesamtkodierungsparameters (40) enkodiert.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Kodierungseinrichtung zum gemeinsamen Enkodieren mehrerer Videoströme in einen Gesamtvideostrom. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.
Mit der Verfügbarkeit kleiner und kostengünstiger Kameras finden diese mehr und mehr Verbreitung in einer Vielzahl technischer Vorrichtungen und Systeme, beispielsweise Mobiltelefonen oder automatisierten Kraftfahrzeugen. Dabei werden oftmals auch jeweils mehrere Kameras eingesetzt. Eine Übertragung entsprechender Videodaten kann jedoch eine Herausforderung darstellen, beispielsweise aufgrund des zu handhabenden Datenvolumens, aufgrund begrenzter oder schwankender Bandbreite und Qualität von Datenverbindungen, beispielsweise in einem Mobilfunknetz, sowie aufgrund von je nach Anwendungsfall eventuell gegebenen Anforderungen hinsichtlich einer Qualität, einer Latenz, einer Unterbrechungsfreiheit und/oder dergleichen mehr. Die Verwendung mehrerer individueller Hardwareenkoder kann zwar aus technischer Sicht eine Lösung darstellen, ist in der Praxis jedoch oftmals zu aufwendig, beispielsweise hinsichtlich benötigter Hardwareressourcen und damit verbundener Kosten.
In der US 2016 / 0 219 248 A1 ist ein Verfahren zum Steuern einer Videokommunikation beschrieben. Darin werden ein erster Videostrom eines ersten Geräts und ein zweiter Videostrom eines zweiten Geräts empfangen. Der erste Videostrom wird dann analysiert, um einen mit dem ersten Gerät assoziierten Ansichtparameter zu bestimmen. Basierend auf diesem Ansichtparameter wird der zweite Videostrom modifiziert. Der zweite Videostrom wird dann an das erste Gerät gesendet. Damit kann beispielsweise Videotelefonie realisiert werden, die robuster gegenüber den Problemen kabelloser Datenverbindungen ist.
Aufgabe der vorliegenden Erfindung ist es, besonders effizient eine zuverlässige Übertragung von Inhalten mehrerer Videoströme zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.
Das erfindungsgemäße Verfahren dient zum gemeinsamen, also zusammengefassten oder kombinierten Enkodieren mehrere Videoströme in einen Gesamtvideostrom mittels eines einzigen Enkoders. Inhalte der einzelnen Videoströme können dabei also zusammengefasst in dem Gesamtvideostrom verarbeitet oder gehandhabt, beispielsweise gesendet werden.
In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden Kodierungsparameter für die einzelnen Videoströme und wenigstens ein Gesamtkodierungsparameter für den Gesamtvideostrom erfasst. Derartige Parameter können beispielsweise durch eine entsprechende automatische oder von einem Nutzer oder Anwender vorgenommene Einstellung, eine entsprechende Anforderung, eine von einem Nutzer vorgegebene oder automatisch bestimmte Wichtigkeit der einzelnen Videoströme in einer jeweiligen Situation, durch eine zum Senden des Gesamtvideostroms verfügbare Bandbreite einer Datenverbindung und/oder dergleichen mehr vorgegeben sein. Ebenso können beispielsweise die insgesamt verfügbare Bandbreite bestimmt oder erfasst und darauf basierend die Parameter bestimmt oder festgelegt werden. Die Parameter, also die Kodierungsparameter und der Gesamtkodierungsparameter, können beispielsweise einen Quantisierungsparameter, eine Zielbitrate, eine zeitliche Auflösung, also eine Frame- oder Bildrate, eine räumliche Auflösung und/oder dergleichen mehr umfassen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die Kodierungsparameter für die einzelnen Videoströme als Input einem vorgegebenen Bitratenmodell bereitgestellt. Mittels dieses Bitratenmodells wird aus oder basierend auf den Kodierungsparametern für die einzelnen Videoströme jeweils eine sich bei der Verwendung der zugehörigen Kodierungsparameter für den jeweiligen Videostrom ergebende Bitrate abgeschätzt. Es handelt sich dabei um ein Abschätzen, da das entsprechende Enkodieren der Videoströme hier nicht tatsächlich durchgeführt wird. Zudem kann für das Abschätzen insbesondere weniger Rechenaufwand als für das tatsächliche Enkodieren aufgebracht werden. Zum Abschätzen oder Bestimmen der Bitrate kann das Bitratenmodell beispielsweise vorgegebene Annahmen, Erfahrungswerte und/oder dergleichen mehr verwenden bzw. enthalten.
Die sich bei Verwendung der Kodierungsparameter ergebenden individuellen Bitraten der einzelnen Videoströme können als Referenz- oder Zielgrößen betrachtet werden, mit denen die einzelnen Videoströme bzw. deren Inhalte gesendet oder übertragen werden sollen. Diese sich ergebenden Bitraten können diejenigen Bitraten sein, die sich bei einem separaten oder individuellen Enkodieren der einzelnen Videoströme mittels jeweiliger videostromspezifischer Enkoder, also bei Verwendung eines voll ausgebauten Multi-View oder Multistreamsystems mit mehreren Enkodern und ohne Filterung der Videoströme ergeben würden.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels eines vorgegebenen Filtermodells für die einzelnen Videoströme jeweilige Filterparameter eines vorgegebenen räumlichen Tiefpassfilters bestimmt, die bei Anwendung des damit parametrierten Tiefpassfilters auf die einzelnen Videoströme und Anwendung des Gesamtkodierungsparameters zum Enkodieren des daraus zusammengesetzten Gesamtvideostroms - anstelle des jeweiligen entsprechenden Kodierungsparameters der einzelnen Videoströme - voraussichtlich, also abgeschätzt bzw. gemäß dem Filtermodell für den einzelnen Videoströmen entsprechende Teile des Gesamtvideostroms jeweils zumindest im Wesentlichen die basierend auf den Kodierungsparametern für die einzelnen, ungefilterten Videoströme abgeschätzte Bitrate reproduzieren.
Die Beschränkung auf die Verwendung eines einzigen Enkoders zum gemeinsamen Enkodieren der Inhalte aller Videoströme in dem Gesamtvideostrom würde ohne weitere Maßnahmen durch die einheitliche Anwendung des Gesamtkodierungsparameters auf alle diese Inhalte zu Abweichungen von den Referenz- oder Zielbitrate führen. Dies kann -je nach Wahl des Gesamtkodierungsparameters - zu unerwünschten Qualitätseinbußen zumindest eines Teils der Inhalte der einzelnen Videoströme und/oder zu einem Überschreiten eines gegebenen Bandbreiten- oder Gesamtdatenratenlimits führen. Die Filterparameter werden hier derart bestimmt, dass sie bzw. die Anwendung des entsprechend parametrierten Tiefpassfilters diesem Effekt entgegenwirken bzw. diesen Effekt ausgleichen können.
Dass die Referenz- oder Zielbitraten dabei zumindest im Wesentlichen, also nicht notwendigerweise immer exakt, reproduziert werden, kann beispielsweise bedeuten, dass die Referenz- oder Zielbitraten jeweils reproduziert werden, soweit dies unter gegebenen Einschränkungen oder Bedingungen möglich. Derartige Einschränkungen oder Bedingungen können beispielsweise durch Vorgaben bezüglich eines Formats oder Seitenverhältnisses der Videoströme, für einen oder mehrere Parameter oder Eigenschaften, beispielsweise Werte der Kodierungsparameter, der Bitrate für den einzelnen Videoströmen entsprechende Teile des Gesamtvideostroms oder dergleichen, vorgegebene Minimal- oder Maximalwerte, notwendigerweise ungerade und ganzzahlige Werte einer Filterkerngröße und/oder dergleichen mehr gegeben sein.
In einem weiteren Verfahrensschritt wird der mit den jeweils bestimmten Filterparametern parametrierte Tiefpassfilter auf die Videoströme bzw. deren jeweils aktuellen Frame oder deren jeweils aktuelle Bildergruppe (englisch: Group of Pictures, GoP) angewendet. Dies kann im Rahmen einer Vorverarbeitung (englisch: preprocessing) der Videoströme durchgeführt werden, also insbesondere vor dem Enkodieren des Gesamtvideostroms. Der Tiefpassfilter kann hier insbesondere als Dämpfungs- oder Reduzierungsfilter fungieren. Durch die Anwendung des Tiefpassfilters auf die Videoströme können Bestandteile der Videoströme mit den größten räumlichen Frequenzen bzw. die größten Frequenzen eines den jeweiligen Videostrom repräsentierenden Signals ganz oder teilweise herausgefiltert werden. Dadurch kann eine Bitrate oder ein Datenvolumen der Videoströme derart reduziert werden, dass sie insgesamt trotz Anwendung des Gesamtkodierungsparameters anstelle des entsprechenden, auf den jeweiligen einzelnen Videostrom abgestimmten Kodierungsparameters zumindest im Wesentlichen mit der gleichen Bitrate enkodiert werden können wie dies bei Anwendung eines individuellen Quantisierungsparameters bzw. bei Verwendung individueller Enkoder für die einzelnen Videoströme der Fall bzw. in der jeweiligen Anwendung beabsichtigt wäre.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird aus den so gefilterten Videoströmen bzw. jeweils aus deren aktuellen Frames der Videoströme der Gesamtvideostrom bzw. ein jeweils aktueller Superframe des Gesamtvideostroms zusammengesetzt und mittels des einzigen Enkoders unter Anwendung des Gesamtkodierungsparameters enkodiert. Der so enkodierte Gesamtvideostrom kann dann beispielsweise über eine entsprechende, insbesondere kabellose Datenverbindung, beispielsweise eine Mobilfunk- oder WLAN-Verbindung oder dergleichen, gesendet werden. Je nach Anwendungsfall kann der so enkodierte Gesamtvideostrom beispielsweise an eine Servereinrichtung, einen Teleoperator oder dergleichen gesendet werden.
In dem erfindungsgemäßen Verfahren können die Videoströme vor dem Enkodieren vorverarbeitet werden, wobei die Videoströme hinsichtlich ihrer Qualität bedarfsgerecht angepasst werden können, um trotz der Verwendung nur eines einzigen Enkoders eine bedarfs- oder situationsgerechte, besonders zuverlässige Übertragung der Inhalte aller Videoströme zu ermöglichen. Dabei können insbesondere relative Qualitätsunterschiede zwischen den einzelnen Videoströmen zumindest im Wesentlichen erhalten bleiben bzw. eine verfügbare Bandbreite bedarfsgerecht auf die einzelnen Videoströme bzw. entsprechende Bestandteile des Gesamtvideostroms aufgeteilt werden, indem die Filterparameter individuell für die einzelnen Videoströme bestimmt oder festgelegt werden. Durch die vorliegende Erfindung kann somit zuverlässig eine robuste Übertragung der Inhalte mehrerer Videoströme beispielsweise auch bei schwankender verfügbarer Gesamtbandbreite bzw. Datenverbindungsqualität erreicht werden. Es kann also beispielsweise eine flüssige Videodarstellung auf Empfängerseite ohne Latenzspitzen oder durch Puffern (englisch: buffering) verursachte Aussetzer ermöglicht werden. Dies wiederum ermöglicht die besonders aufwandsarme und kostengünstige Verwendung lediglich eines einzigen Enkoders auch für sicherheitskritische Anwendungen und für Anwendungen, die eine Echtzeitübertragung von Videodaten aus mehreren Quellen erfordern.
Eine solche Anwendung kann beispielsweise eine Fernsteuerung eines Kraftfahrzeugs durch einen Teleoperator sein. Dabei können die mehreren Videoströme unterschiedliche Bereiche einer Umgebung des Kraftfahrzeugs, also unterschiedliche Blickwinkel von dem Kraftfahrzeug aus darstellen und so dem Teleoperator eine besonders gute Übersicht und Einschätzung einer jeweiligen Verkehrssituation, in der sich das Kraftfahrzeug befindet, ermöglichen.
Im Gegensatz zur einfachen Anwendung des einzigen Enkoders ohne Vorverarbeitung der einzelnen Videoströme kann durch die hier erfindungsgemäß vorgesehenen Modelle eine Performanz, beispielsweise hinsichtlich einer benötigten Gesamtbandbreite für den Gesamtvideostrom und einer Enkodierungsfehlerrate, erreicht werden, die wesentlich näher an der mit einem Multi-Enkoder-Verfahren erreichbaren Performanz liegt.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird als der Tiefpassfilter ein Gauß-Filter angewendet, wobei als dessen Filterparameter die Filterkerngröße und die Standardabweichung bestimmt werden. Solche Gauß-Filter können besonders einfach zu implementieren und besonders aufwandsarm anwendbar sein. Zudem kann durch einen Gauß-Filter ein Bildrauschen vermindert werden. Für die Filterkerngröße können diskrete, ganzzahlige ungerade positive Werte verwendet werden bzw. als mögliche Werte vorgegeben sein. Das Filtermodell kann jeweils für bestimmte Filterparameter eine Bitratenreduktion der einzelnen Videoströme durch Anwenden des entsprechend parametrierten Tiefpassfilters abschätzen. Vorliegend kann also durch das Filtermodell basierend auf der Filterkerngröße und der Standardabweichung eine Anpassung der Videoströme unter der durch den Gesamtkodierungsparameter repräsentierten Randbedingung an die Referenz- oder Zielbitraten erreicht werden. Dazu kann das Filtermodell beispielsweise ein entsprechendes Optimierungs- oder Minimierungsproblem lösen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird der Enkoder im CQP-Modus-Modus (CQP: Constant Quantization Parameter), also mit konstantem Quantisierungsparameter betrieben. Dabei wird der Quantisierungsparameter als der Gesamtkodierungsparameter für den Gesamtvideostrom verwendet wird. Gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis kann der Quantisierungsparameter im CQP-Modus des Enkoders direkt verwendet werden, um die Qualität bzw. die resultierende Bitrate zu steuern. Durch den konstanten oder fest vorgegebenen Quantisierungsparameter für den Gesamtvideostrom kann eine darauf basierende Modifizierung der Bitrate des enkodierten Gesamtvideostroms durch eine entsprechende eigene Bitratensteuerung des Enkoders vermieden werden. Da ein derartiger Einfluss des Enkoders somit also nicht berücksichtigt werden muss, kann die Anpassung oder Vorverarbeitung der einzelnen Videoströme durch das Bitratenmodell, das Filtermodell und die Anwendung des Tiefpassfilters besonders robust und zuverlässig durchgeführt werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung umfassen die Kodierungsparameter für die einzelnen Videoströme einen jeweiligen Quantisierungsparameter. Der kleinste dieser Quantisierungsparameter aller Videoströme wird dann als Quantisierungsparameter, also als der Gesamtkodierungsparameter, für den Gesamtvideostrom verwendet oder gesetzt. Die Verwendung des kleinsten Quantisierungsparameters der Videoströme als Quantisierungsparameter für den Gesamtvideostrom kann auf besonders einfache Weise sicherstellen, dass nicht unnötig oder ungewollt eine Qualität in einem oder mehreren, jeweils einem der Videoströme entsprechenden Teilen des Gesamtvideostroms reduziert wird. Dadurch gegebenenfalls notwendige Anpassungen der Videoströme bzw. deren Bitrate oder Qualität bei Verwendung ihrer ursprünglich vorgesehenen größeren Quantisierungsparameter können stattdessen durch die entsprechend angepassten Filterparameter erreicht werden. Basierend auf den Quantisierungsparametern der einzelnen Videoströme können deren voraussichtliche enkodierte Bitraten zuverlässig und robust abgeschätzt werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird als das Bitratenmodell ein analytisches Modell verwendet, das wenigstens einen die Bitrate beeinflussenden Einflussfaktor berücksichtigt und die jeweilige Bitrate als Produkt aus einer Maximalbitrate und einem reduzierenden Korrekturfaktor je berücksichtigtem Einflussfaktor bestimmt. Die Maximalbitrate kann beispielsweise durch einen jeweils verfügbare Datenverbindung bzw. deren Bandbreite oder als Anwendereinstellung vorgegeben sein. Insbesondere kann in dem Bitratenmodell wenigstens ein vorgegebener konstanter Einflussfaktor und wenigstens ein inhaltsabhängiger Einflussfaktor berücksichtigt werden. Konstante Einflussfaktoren können beispielsweise abhängig sein von einem vorgesehenen Enkoderalgorithmus, einem Zielformat oder dergleichen. Inhaltsabhängige Einflussfaktoren können beispielsweise eine jeweilige Szenenkomplexität, ein Kontrastverhältnis und/oder dergleichen mehr der einzelnen Videoströme sein oder berücksichtigen. Als Einflussfaktor kann ebenso eine Größe oder Struktur der Bildergruppen der Videoströme berücksichtigt werden. Ein derartiges analytisches Modell zum Abschätzen der Bitrate kann in jeder Situation voraussagbare und nachvollziehbare Ergebnisse liefern und somit eine besonders zuverlässige Anwendung der vorliegenden Erfindung ermöglichen. Zudem kann durch die Berücksichtigung verschiedener Einflussfaktoren durch einen jeweiligen Korrekturfaktor das Bitratenmodell hier besonders einfach um weitere Einflussfaktoren erweitert bzw. besonders einfach und flexibel an unterschiedliche Bedürfnisse oder Anwendungen angepasst werden.
In einer möglichen Weiterbildung der vorliegenden Erfindung werden als Einflussfaktoren eine jeweilige Framegröße und ein Einfluss des Tiefpassfilters berücksichtigt. Mit anderen Worten umfasst das Bitratenmodell hier also Korrekturfaktoren für die Größe oder Auflösung der einzelnen Videoströme sowie die bitratenreduzierende Wirkung des Tiefpassfilters. So kann eine kleinere Größe oder Auflösung eines Videostroms, beispielsweise im Vergleich zu einem vorgegebenen Referenzwert, sowie eine stärkere Filterwirkung des Tiefpassfilters aufgrund entsprechend aggressiver gesetzter Filterparameter durch einen jeweils entsprechend größeren Korrekturfaktor in dem Bitratenmodell berücksichtigt werden. Dadurch kann die Bitrate besonders genau abgeschätzt werden. Eine bessere oder genauere Abschätzung der Bitrate ermöglicht wiederum eine größere Annäherung an eine optimale Performanz bzw. eine optimale Lösung für die Vorverarbeitung der einzelnen Videoströme, beispielsweise hinsichtlich der Qualität, der benötigten Gesamtbitrate oder Bandbreite für den Gesamtvideostrom, einer Fehlerrate oder dergleichen mehr.
In einer anderen möglichen Ausgestaltung der vorliegenden Erfindung wird als das Bitratenmodell ein entsprechend trainiertes Maschinenlernmodell verwendet. Ein solches Maschinenlernmodell kann beispielsweise ein, insbesondere tiefes, künstliches neuronales Netz, wie beispielsweise ein mehrlagiges Perzeptron oder dergleichen, sein oder umfassen. Das Maschinenlernmodell kann anhand vorgegebener Trainingsdaten darauf trainiert sein, aus vorgegebenen Kodierungsparametern eine nach einer entsprechenden Enkodierung resultierende Bitrate von Videos oder Videoströmen vorherzusagen. Die Trainingsdaten können also beispielsweise entsprechende Paare aus Kodierungsparametern und resultierenden Bitraten umfassen. Die Verwendung eines Maschinenlernmodells zum Abschätzen der Bitraten kann eine besonders genaue Abschätzung oder Vorhersage der Bitraten ermöglichen, da Maschinenlernmodelle automatisch auch nicht-offensichtliche Einflüsse oder Zusammenhänge berücksichtigen können, die gegebenenfalls nur schwierig manuell zu modellieren wären. Es hat sich gezeigt, dass durch die Verwendung eines entsprechend trainierten Maschinenlernmodells die abgeschätzten Bitraten in dem Gesamtvideostrom bei besonders geringer Fehlerrate besonders genau reproduziert werden können, also eine besonders gute Performanz erreicht werden kann.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird als Teil der Kodierungsparameter eine jeweilige Bildrate, auch als Framerate bezeichnet, die auch als zeitliche Auflösung des jeweiligen Videostroms aufgefasst werden kann, und/oder eine jeweilige räumliche Auflösung der einzelnen Videoströme erfasst. Vor dem Enkodieren des Gesamtvideostroms, insbesondere vor dem Zusammensetzen des Gesamtvideostroms bzw. eines jeweiligen Superframe für den Gesamtvideostrom, also beispielsweise im Rahmen oder als Teil der genannten Vorverarbeitung, wird auf die einzelnen Videoströme bzw. deren jeweils aktuellen Frame oder deren jeweils aktuelle Bildergruppe jeweils auch ein temporaler Filter zum Anpassen der Bildrate und/oder ein räumlicher Filter zum Anpassen der Auflösung angewendet. Der temporale Filter und/oder der räumliche Filter werden hier also zusätzlich zu dem als Qualitätsfilter fungierenden räumlichen Tiefpassfilter angewendet. Dadurch ergeben sich in Form der Bildrate und/oder der Auflösung der einzelnen Videoströme zusätzliche Parameter, mittels welcher eine individuelle Steuerung oder Anpassung der Bitraten der einzelnen Videoströme bzw. entsprechender Teile oder Segmente des Gesamtvideostroms ermöglicht wird. Dadurch kann gegebenenfalls eine noch genauere Anpassung an die jeweilige Referenz- oder Zielbitrate erreicht werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Kodierungseinrichtung zum gemeinsamen Enkodieren mehrerer Videoströme in einen Gesamtvideostrom. Die Kodierungseinrichtung weist eine Erfassungseinrichtung zum Erfassen, also beispielsweise zum Einlesen, der mehreren Videoströme, diesen zugeordneten Kodierungsparametern und wenigstens eines Gesamtkodierungsparameters für den Gesamtvideostrom auf. Bei dieser Erfassungseinrichtung kann es sich beispielsweise um ein entsprechendes Programmodul, wenigstens eine Software- und/oder Hardwareschnittstelle und/oder dergleichen handeln. Die Kodierungseinrichtung weist weiter ein Bitratenmodell zum Abschätzen einer jeweiligen Bitrate der Videoströme bei Verwendung der zugeordneten Kodierungsparameter, ein Tiefpassfiltermodul zum Filtern der Videoströme bzw. deren jeweils aktueller Frames, insbesondere zum Reduzieren von deren Datenmenge oder Qualität, ein Filtermodell zum Bestimmen von Filterparametern für das Tiefpassfiltermodul, einen Superframegenerator zum Zusammensetzen des Gesamtvideostroms bzw. eines jeweiligen Superframes für den Gesamtvideostrom aus den einzelnen Videoströmen oder deren aktuellen Frames und einen gemeinsamen Enkoder zum Enkodieren des derart zusammengesetzten Gesamtvideostroms auf. Die Kodierungseinrichtung ist dabei zum, insbesondere automatischen oder teilautomatischen, Ausführen wenigstens einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann die erfindungsgemäße Kodierungseinrichtung beispielsweise eine entsprechende Datenverarbeitungseinrichtung, eine Hardwareschaltung, einen Prozessor, einen Datenspeicher, ein darauf gespeichertes, durch den Prozessor ausführbares Betriebsprogramm, das die Abläufe oder Verfahrensschritte des erfindungsgemäßen Verfahrens codiert oder implementiert und/oder dergleichen mehr umfassen. In dem Datenspeicher kann ebenso beispielsweise das Bitratenmodell und das Filtermodell hinterlegt sein. Die Kodierungseinrichtung kann beispielsweise je Videostrom ein Vorverarbeitungsmodul aufweisen, das ein jeweiliges Filtermodell und Bitratenmodell und ein jeweiliges Filtermodul zum Anwenden zumindest des Tiefpassfilters umfassen kann. Diese Vorverarbeitungsmodule können dann individuell auf die jeweiligen Videoströme abgestimmt sein. Dadurch, dass mehrere Vorverarbeitungsmodule, insbesondere je ein Vorverarbeitungsmodul pro Videostrom, vorgesehen ist, kann eine parallele Verarbeitung oder Vorverarbeitung der Videoströme ermöglicht werden. Dies erlaubt eine besonders latenz- oder verzögerungsarme Verarbeitung der Videoströme. Die erfindungsgemäße Kodierungseinrichtung kann zudem eine Ausgabeschnittstelle oder eine Sendeeinrichtung zum Ausgeben des enkodierten Gesamtvideostroms aufweisen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das mehrere Kameras und eine erfindungsgemäße Kodierungseinrichtung aufweist. Die Kameras können dabei jeweils einen der Videoströme an die Kodierungseinrichtung bereitstellen oder übertragen. Das Kraftfahrzeug kann auch eine Sendeeinrichtung aufweisen, beispielweise als Teil der Kodierungseinrichtung oder als damit verbundene separate Einrichtung, um den enkodierten Gesamtvideostrom auszusenden, beispielsweise über eine Mobilfunk- oder WLAN-Datenverbindung oder dergleichen. Der enkodierte Gesamtvideostrom kann beispielsweise an eine Teleoperator- oder Fernsteuereinrichtung, einen Cloudserver oder ein Backend oder dergleichen gesendet werden. Dementsprechend kann das Kraftfahrzeug dann auch für einen Teleoperator- oder Fernsteuerbetrieb eingerichtet sein.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine schematische Darstellung einer Kodierungseinrichtung zum gemeinsamen Kodieren mehrerer Videoströme; und
2 eine schematische Darstellung eines Kraftfahrzeugs mit mehreren Kameras und einer Kodierungseinrichtung.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Im Kraftfahrzeugbereich ermöglicht die Verfügbarkeit relativ kleiner und kostengünstiger Kameras eine Vermittlung von Rundumansichten als Live-Repräsentation einer jeweiligen Szene oder Situation, in der sich das jeweilige Fahrzeug befindet, an eine entfernte Stelle, beispielsweise einen Teleoperator oder eine Fernsteuereinrichtung. In der Praxis gibt es jedoch Limitierungen hinsichtlich Kosten, Größe und Leistungsfähigkeit entsprechender fahrzeugseitige Kamera- und Datenverarbeitungssysteme. Oftmals sind derartige Systeme beispielsweise auf einen einzigen Hardwareenkoder limitiert, obwohl mehrere Ansichten oder Videoströme von mehreren Kameras gleichzeitig übertragen werden sollen. Gerade im Fahrzeugbereich spielen dabei die Sicherheit, die Zuverlässigkeit und eine möglichst geringe Verzögerung eine wichtige Rolle. Demgegenüber stehen Herausforderungen und Probleme durch mobile bzw. kabellose Datennetzwerke mit begrenzter und unvorhersehbar fluktuierender Übertragungsrate, wie sie in weiten Bereichen anzutreffen sind. In derartigen Anwendungsfällen kann eine präzise Steuerung einer Daten- oder Bitrate von entscheidender Bedeutung sein, um eine Netzüberlastung und zusätzliche Verzögerungen durch größere Pufferspeicher oder dergleichen zu vermeiden. In bisherigen Anwendungen zum Streamen, also zum Übertragen mehrerer Videoströme kann jedem Videostrom ein eigener Videoenkoder zugeordnet sein, der eine individuelle Bitratensteuerung für den jeweiligen Videostrom durchführt. Während alle zu übertragenden Videoströme zusammen dabei eine verfügbare Bandbreite einer jeweiligen Datenverbindung nicht überschreiten dürfen, kann es sinnvoll sein, individuelle Videoströme unterschiedlich zu enkodieren, beispielsweise basierend auf ihrer Wichtigkeit in einer jeweiligen aktuellen Situation, jeweiligen Verkehrsbedingungen und/oder dergleichen mehr. Aufgrund der angesprochenen Limitationen, insbesondere fahrzeugseitig verfügbarer Enkodierhardware, kann eine Kombination der Videoströme in einen einzigen Gesamtvideostrom erforderlich sein, der dann mittels eines einzigen Videoenkoders enkodiert wird. Dazu können zumindest im Wesentlichen gleichzeitig aufgenommene einzelne Bilder oder Frames der einzelnen Videoströme in einen jeweiligen Superframe für den Gesamtvideostrom zusammengefasst werden. Dieser Superframe bzw. der Gesamtvideostrom kann dann mittels eines einzigen Videoenkoders enkodiert und an einen jeweiligen Empfänger gesendet werden. Dort kann der Superframe bzw. der Gesamtvideostrom dekodiert und wieder in die einzelnen Videoströme zerlegt werden. Dies stellt zwar eine Möglichkeit dar, mehrere Videoströme mit mittels limitierter Enkodierhardware zu übertragen, ermöglicht bisher jedoch keine individuelle Anpassung oder Einstellung einer Bitrate oder Qualität der einzelnen Videoströme bzw. entsprechender Teil des Gesamtvideostroms. Dies kann zu den angesprochenen Überlastungs- und Verzögerungsproblemen führen.
Diesen Problemen wird vorliegend durch eine ausschnittweise und schematisch in 1 dargestellte Kodierungseinrichtung 10 zum Enkodieren eines Gesamtvideostroms, in dem mehrere einzelne Videoströmen zusammengefasst sind, begegnet. Die Kodierungseinrichtung 10 umfasst ein Vorverarbeitungsmodul 12 zum Vorverarbeiten eines ersten Videostroms. Dieses Vorverarbeitungsmodul 12 umfasst ein Filterratenmodell 14, das seinerseits beispielsweise ein Bitratenmodell und ein Filtermodell umfassen kann. Zusätzlich umfasst das Vorverarbeitungsmodul 12 hier einen zeitlichen Filter 16, einen räumlichen Filter 18 und einen Qualitätsfilter 20.
Als Input können dem Filterratenmodell 14 Kodierungsparameter 22 bereitgestellt werden. Diesen können hier Videostromkodierungsparameter, die eine vorgesehene Enkodierung des jeweiligen Videostroms beschreiben oder charakterisieren, und wenigstens einen Gesamtkodierungsparameter 40, der eine vorgesehene Enkodierung eines aus mehreren Videoströmen zusammengesetzten Gesamtvideostroms beschreibt oder charakterisiert, umfassen. Die Kodierungsparameter 22 können einen jeweiligen Quantisierungsparameter q_p,i für den i-ten Videostrom, dessen Bildrate f_i und dessen Auflösung r_i sowie einen durch den Gesamtkodierungsparameter 40 angegebenen Gesamtquantisierungsparameter q_p,SFV für den Gesamtvideostrom bzw. dessen aktuellen Superframe 36 umfassen. Unter der Prämisse, dass der Quantisierungsparameter q_p,SFV als der Gesamtkodierungsparameter 40 für den Gesamtvideostrom und damit auch einheitlich für sämtliche Teile oder Segmente des Gesamtvideostroms, die jeweils einem der Videoströme entsprechen, verwendet wird, kann das Filterratenmodell 14 aus den Kodierungsparametern 22 in einer Vorverarbeitung des jeweiligen Videostroms zu verwendende Filterparameter ausgeben. Diese Filterparameter können eine Bildrate 24 für den zeitlichen Filter 16, eine Auflösung 26 für den räumlichen Filter 18 und Qualitätsfilterparameter 28 für den Qualitätsfilter 20 umfassen.
Der Qualitätsfilter 20 sowie - gegebenenfalls optional - der zeitliche Filter 16 und/oder der räumliche Filter 18 wird dann durch das Vorverarbeitungsmodul 12 auf den ersten Videostrom angewendet. Dies kann parallel für sämtliche Videoströme durch weitere Vorverarbeitungsmodule 30, die hier nur schematisch angedeutet sind, aber dem Vorverarbeitungsmodul 12 funktional entsprechen können, parallel durchgeführt werden. Die Vorverarbeitungsmodule 12, 30 liefern als Output dann gefilterte Teilbilder 34, aus denen durch ein Kombiniermodul 32 der jeweils aktuelle Superframe 36 für den Gesamtvideostrom zusammengesetzt wird.
Dieser Superframe 36 wird dann durch einen einzigen Enkoder 38 unter Anwendung des Gesamtkodierungsparameters 40 enkodiert. Der so enkodierte Superframe 36 bzw. der Gesamtvideostrom kann dann durch die Kodierungseinrichtung 10 ausgegeben werden.
2 zeigt eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs 42, das mehrere Umgebungskameras 44 sowie die Kodierungseinrichtung 10 aufweist. Die Umgebungskameras 44 können - beispielsweise über ein Bordnetz des Kraftfahrzeugs 42 - jeweils einen der Videoströme an die Kodierungseinrichtung 10 bereitstellen. Die Kodierungseinrichtung 10 kann diese Videoströme über eine Eingangsschnittstelle 46 erfassen und mittels eines Prozessors 48 und eines Datenspeichers 50 zu dem enkodierten Gesamtvideostrom verarbeiten. Dieser kann dann über eine Ausgangsschnittstelle 52 der Kodierungseinrichtung 10 ausgegeben werden, beispielsweise an einen fahrzeugexternen Empfänger gesendet oder zum Senden an einen fahrzeugexternen Empfänger an eine separate Sendeeinrichtung des Kraftfahrzeugs 42 übertragen werden.
Nachfolgend soll das durch die Kodierungseinrichtung 10 durchgeführte Verfahren unter Bezugnahme auf die Figuren näher erläutert werden.
Da vorliegend nur ein einziger Enkoder 38 zur Verfügung steht, muss für diesen ein einziger Satz von Enkodierparametern, hier durch den Gesamtkodierungsparameter 40 repräsentiert, festgelegt bzw. verwendet werden. Um dennoch eine individuelle Anpassung oder Einstellung der Bitrate oder Qualität der einzelnen Videoströme bzw. der diesen entsprechenden Teilbilder 34 zu ermöglichen, werden die einzelnen Videoströme bzw. deren jeweils aktuelle Frames durch die Vorverarbeitungsmodule 12, 30 vorverarbeitet, bevor sie zu dem Superframe 36 bzw. zu dem Gesamtvideostrom kombiniert werden. Durch dieses Vorverarbeiten kann die von dem Enkoder 38 verlangte Bitrate des Gesamtvideostroms bzw. die entsprechende Videoqualität nach dem Dekodieren für jedes individuelle Segment, also jedes Teilbild 34 des Superframes 36 bzw. für jeden einzelnen Videostrom gesteuert oder eingestellt werden.
Das hier beschriebene Verfahren soll es ermöglichen, letztlich den gleichen Effekt oder die gleiche Qualität mittels des einzelnen Enkoders 38 zu erreichen, wie dies bisher lediglich bei Verwendung individueller Videoenkoder für jeden der Videoströme möglich war. Dazu schätzt das Filterratenmodell 14 aus den Kodierungsparametern 22 die dafür benötigten Filterparameter. Während der zeitliche Filter 16 und der räumliche Filter 18 direkt die vorgegebenen bzw. erfassten Kodierungsparameter 22 verwenden können, stellt die Bestimmung der Qualitätsfilterparameter 28 eine Herausforderung dar. Es wird hier ein Ansatz vorgeschlagen, um die Qualitätsfilterparameter 28 derart abzuschätzen, dass der Effekt von Kodierparametern, wie sie herkömmlich durch einen MDA-Modell (MDA: multi-dimension adaptation) erzeugt würden, reproduziert wird.
Der Enkoder 38 wird hier im CQP-Modus betrieben, um Veränderungen der enkodierten Bitrate, also der Bitrate des enkodierten Gesamtvideostroms, durch eine Bitratensteuerung des Enkoders 38 zu vermeiden. Durch die hier vorgeschlagene Vorverarbeitung der einzelnen Videoströme wird eine individuelle Einstellung oder Anpassung der Bitrate bzw. der Qualität der einzelnen Teilbilder 34 des jeweiligen Superframes 36 vor dessen Enkodierung ermöglicht. Dies bedeutet, dass bei N verschiedenen Videoströmen die entsprechend N Teilbilder 34 effektiv beispielsweise bei oder mit unterschiedlichen zeitlichen, räumlichen und/oder qualitativen Leveln enkodiert werden können, obwohl lediglich der einzelne Enkoder 38 verwendet wird. Im CQP-Modus des Enkoders 38 kann der Quantisierungsparameter q_p direkt zum Steuern der Qualität bzw. der resultierenden Bitrate R(q_p) verwendet werden, was bei N Videoströmen in N Quantisierungsparametern q_p,1, ..., q_p,N resultiert. Die Limitierung auf den einzelnen Enkoder 38 erfordert die Verwendung des Gesamtquantisierungsparameter q_p,SFV für den aus den Teilbildern 34 zusammengesetzten Superframe 36. Der Gesamtquantisierungsparameter q_p,SFV wird hier festgelegt als Minimum der individuellen Quantisierungsparameter q_p,1, der einzelnen Videoströme: $q_{p,SFV} = min (q_{p,1}, \dots, q_{p,N})$
Die resultierende Bitrate R_i(q_p,i) eines individuellen enkodierten Frames des i-ten Videostroms sollte dann gleich der resultierenden Bitrate R_SF,i(q_p,SFV) des entsprechenden i-ten Teilbildes 34 des enkodierten Superframes 36 sein. Falls keine Vorverarbeitung angewendet wird, ist dies nur unter der Bedingung q_p,i = q_p,SFV möglich. Um diese Bedingung für alle Fälle mit q_p,i>q_p,SFV zu erfüllen, wird hier der Qualitätsfilter 20 zum Reduzieren der Bitrate bzw. der Qualität entsprechender Videoströme angewendet. Der Qualitätsfilter 20 kann hier beispielsweise einen gauß‘schen Tiefpassfilter umfassen. Als die Qualitätsfilterparameter 28 können dann dessen Filterkerngröße k und Standardabweichung σ bestimmt werden. Damit kann eine Bitratengleichheitsbedingung für alle individuellen Teilbilder 34, die hier mit dem Index i ∈ 1, ..., N durchgezählt werden, unter der Bedingung q_p,SFV ≤ q_p,1, formuliert werden als: $R_{i} (q_{p,i}) = R_{SF,i} (q_{,SFV}, k, σ)$
Die Filterkerngröße k kann nur diskrete, also ganzzeilige und ungerade Werte k ∈ 1, 3, 5, ... annehmen, wobei ein Wert von k = 1 einem Nichtfiltern entspricht. Dies kann dazu führen, dass die genannte Bitratengleichheitsbedingung nicht exakt erfüllt werden kann. Das Filterratenmodell 14 ist hier jedoch dazu eingerichtet, die Bitratengleichheitsbedingung so gut wie möglich zu erfüllen, also eine Differenz zwischen deren linker Seite und deren rechter Seite zu minimieren.
Dazu wird mittels des Bitratenmodells für den jeweiligen Videostrom eine Bitrate als Referenz- oder Zielbitrate abgeschätzt, die sich basierend auf dem jeweiligen, als Teil der Kodierungsparameter 22 für den jeweiligen Videostrom gegebenen Quantisierungsparameters q_p,i ergeben würde, wenn der jeweilige Videostrom unter Anwendung der videostromspezifischen Kodierungsparameter 22 und ohne weitere Filterung oder Vorverarbeitung individuell enkodiert würde.
Mittels des Filtermodells wird eine Reduzierung oder Dämpfung der Bitrate durch die Anwendung des Qualitätsfilters 20 basierend auf der Filterkerngröße k und der Standardabweichung σ abgeschätzt. Dies kann beispielsweise für verschiedene Werte oder Kombinationen der Filterkerngröße k und der Standardabweichung σ durchgeführt werden, um eine optimale Kombination von Werten der Filterkerngröße k und der Standardabweichung σ zu finden, die zu einer möglichst guten Erfüllung der oben angegebenen Bitratengleichheitsbedingung führen.
In praktischen Anwendungen werden oftmals eingebettete Systeme (englisch: embedded Systems) verwendet, um den Enkoder 38 zu implementieren. Für derartige Systeme bzw. derart implementierte oder realisierte Enkoder 38 besteht oftmals nur eingeschränkter Zugriff bzw. eine eingeschränkte Anpassbarkeit. Daher kann ein Bitratenmodell verwendet werden, das unabhängig von einem verwendeten Videocodec funktioniert. Beispielsweise kann dazu ein analytisches Bitratenmodell verwendet werden, das den jeweiligen Quantisierungsparameter und durch verschiedene Einflussfaktoren erzeugte Reduzierungen der Bitrate durch entsprechende Korrekturfaktoren berücksichtigt. Als Einflussfaktoren können vorgegebene bzw. konstante Parameter, inhaltsabhängige Parameter, eine Konfiguration einer jeweiligen Bildergruppe, eine Bild- oder Framegröße, der Qualitätsfilter 20 und/oder dergleichen mehr berücksichtigt werden. Ebenso kann das Bitratenmodell ein Maschinenlernmodell sein oder umfassen, das die Bitrate anhand des gleichen Inputs abschätzen oder vorhersagen kann.
Insgesamt zeigen die beschriebenen Beispiele wie eine Filterparameterabschätzung im Rahmen einer Vorverarbeitung für ein adaptives Multi-View live-Videostreaming unter Verwendung eines einzigen Videoenkoders realisiert werden kann.
Bezugszeichenliste

10: Kodierungseinrichtung
12: Vorverarbeitungsmodul
14: Filterratenmodell
16: zeitlicher Filter
18: räumlicher Filter
20: Qualitätsfilter
22: Kodierungsparameter
24: Bildrate
26: Auflösung
28: Qualitätsfilterparameter
30: weitere Vorverarbeitungsmodule
32: Kombiniermodul
34: Teilbilder
36: Superframe
38: Enkoder
40: Gesamtkodierungsparameter
42: Kraftfahrzeug
44: Umgebungskamera
46: Eingangsschnittstelle
48: Prozessor
50: Datenspeicher
52: Ausgangsschnittstelle

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20160219248 A1 [0003]

Claims

Verfahren zum gemeinsamen Enkodieren mehrerer Videoströme in einen Gesamtvideostrom mittels eines einzigen Enkoders (38), in dem - Kodierungsparameter (22) für die einzelnen Videoströme und wenigstens ein Gesamtkodierungsparameter (40) für den Gesamtvideostrom erfasst werden, - die Kodierungsparameter (22) für die einzelnen Videoströme als Input einem vorgegebenen Bitratenmodell (14) bereitgestellt werden und daraus mittels des Bitratenmodells (14) für die einzelnen Videoströme jeweils eine sich bei Verwendung der Kodierungsparameter (22) ergebende Bitrate abgeschätzt wird, - mittels eines vorgegebenen Filtermodells (14) für die einzelnen Videoströme jeweilige Filterparameter (28) eines vorgegebenen räumlichen Tiefpassfilters (20) bestimmt werden, die bei Anwendung des damit parametrierten Tiefpassfilters (20) auf die einzelnen Videoströme und Anwendung des Gesamtkodierungsparameters (40) zum Enkodieren des daraus zusammengesetzten Gesamtvideostroms anstelle des jeweiligen entsprechenden Kodierungsparameters (22) der einzelnen Videoströme voraussichtlich für den einzelnen Videoströmen entsprechende Teile (34) des Gesamtvideostroms jeweils zumindest im Wesentlichen die basierend auf den Kodierungsparametern (22) für die einzelnen ungefilterten Videoströme abgeschätzte Bitrate reproduzieren, - der Tiefpassfilter (20) mit den jeweils bestimmten Filterparametern (28) auf die Videoströme angewendet wird, - aus den so gefilterten Videoströmen (34) der Gesamtvideostrom zusammengesetzt und mittels des Enkoders (38) unter Anwendung des Gesamtkodierungsparameters (40) enkodiert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als der Tiefpassfilter (20) ein Gauß-Filter (20) angewendet wird und als dessen Filterparameter (28) die Filterkerngröße und die Standardabweichung bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Enkoder (38) im CQP-Modus betrieben wird und der Quantisierungsparameter als der Gesamtkodierungsparameter (40) für den Gesamtvideostrom verwendet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Kodierungsparameter (22) für die einzelnen Videoströme einen jeweiligen Quantisierungsparameter umfassen und der kleinste dieser Quantisierungsparameter aller Videoströme als Quantisierungsparameter für den Gesamtvideostrom verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das Bitratenmodell (14) ein analytisches Modell verwendet wird, das wenigstens einen die Bitrate beeinflussenden Einflussfaktor, insbesondere wenigstens einen vorgegebenen konstanten Einflussfaktor und wenigstens einen inhaltsabhängigen Einflussfaktor, berücksichtigt und die jeweilige Bitrate als Produkt aus einer Maximalbitrate und einem reduzierenden Korrekturfaktor je berücksichtigtem Einflussfaktor bestimmt.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Einflussfaktoren eine jeweilige Framegröße und ein Einfluss des Tiefpassfilters (20) berücksichtigt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als das Bitratenmodell (14) ein entsprechend trainiertes Maschinenlernmodell verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Teil der Kodierungsparameter (22) eine jeweilige Bildrate und/oder eine jeweilige Auflösung der einzelnen Videoströme erfasst wird und vor dem Enkodieren des Gesamtvideostroms auf die einzelnen Videoströme jeweils auch ein temporaler Filter (16) zum Anpassen der Bildrate (24) und/oder ein räumlicher Filter (18) zum Anpassen der Auflösung (26) angewendet wird.
Kodierungseinrichtung (10) zum gemeinsamen Enkodieren mehrere Videoströme in einen Gesamtvideostrom, aufweisend eine Erfassungseinrichtung (46) zum Erfassen der mehreren Videoströme, zugeordneten Kodierungsparametern (22) und wenigstens eines Gesamtkodierungsparameters (40) für den Gesamtvideostrom, ein Bitratenmodell (14) zum Abschätzen einer jeweiligen Bitrate der Videoströme, ein Tiefpassfiltermodul (20) zum Filtern der Videoströme ein Filtermodell (14) zum Bestimmen von Filterparametern (28) für das Tiefpassfiltermodul (20), einen Superframegenerator (32) zum Zusammensetzen des Gesamtvideostroms aus den einzelnen gefilterten Videoströmen (34) und einen gemeinsamen Enkoder (38) zum Enkodieren des Gesamtvideostroms, wobei die Kodierungseinrichtung (10) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Kraftfahrzeug (42), aufweisend mehrere Kameras (44) und eine Kodierungseinrichtung (10) nach Anspruch 9 zum Verarbeiten von den Kameras (44) gelieferter Videoströme.