-
Stand der Technik
-
Für eine Übertragung von Videodaten können allgemein Komprimierungsverfahren verwendet werden, um die Datengröße der Videos zu verringern. Dadurch können eine Wirtschaftlichkeit für eine Übertragung und Speicherung der Videos verbessert werden. Abhängig vom Verwendungszweck können unterschiedliche Anforderungen an die Komprimierungsverfahren gestellt werden. Während Videos für beispielsweise Unterhaltungszwecke visuell ansprechend aussehen sollen, haben Überwachungsvideos die Anforderung, dass wesentliche Informationen erkennbar und unverfälscht bleiben müssen.
-
Insbesondere ist bei einer videobasierten Fahrzeuginnenraumüberwachung, beispielsweise durch Mobilitätsanbieter wie Car-Sharing, Taxi- oder Busunternehmen, eine Übertragung der Videodaten über das Mobilfunknetz sowie eine Größe eines Datenspeichers, der auf einem Gerät zur Speicherung der Videodaten zur Verfügung stehen muss, ein wirtschaftlich bedeutender Faktor.
-
Die bekannten Verfahren im Bereich der Videokodierung können in zwei Gruppen aufgeilt werden. Dabei betrifft die erste Gruppe allgemeine Komprimierungsverfahren, die nicht anwendungsspezifisch ausgeführt sind und zum Beispiel auch zur Kodierung von Video-Filmen eingesetzt werden. Beispiele dafür sind die MPEG-Kodierung oder die Kodierungsverfahren H.264 und H.265.
-
Mittels der Differenzkodierung wird dabei genutzt, dass ein Bildbereich aus benachbarten Bildbereichen abgeleitet werden kann. Dadurch können beispielsweise homogene Bildbereiche mit einer geringeren Datenmenge kodiert werden. Mittels einer Bewegungskorrektur kann eine zeitliche Komponente der Bilder berücksichtigt werden, wobei dafür die Veränderung von Bildbereichen über die Zeit kodiert bzw. komprimiert werden. Dadurch kann die Datenmenge insbesondere für statische Bildbereiche reduziert werden.
-
Die zweite Gruppe betrifft anwendungsorientierte Komprimierungsverfahren für Videos, beispielsweise im Bereich von Monitoring- bzw. Überwachungssystemen. Diese Verfahren nutzen zusätzlich anwendungsspezifische Eigenschaften, wie zum Beispiel, dass nur gewisse Bereiche im Bild relevante Informationen für die Überwachung liefern. Beispielsweise sind im Bereich von Verkehrsüberwachungssystemen insbesondere bewegte Verkehrsteilnehmer von Interesse, der statische Hintergrund ist für diese Aufgaben weitgehend irrelevant. Eine Detektion relevanter Bereiche basiert bei diesen Verfahren auf einer Identifikation von bewegten Objekten bzw. einer Detektion von Veränderungen gegenüber dem Hintergrund oder einer manuellen Vorgabe von statischen Bildbereichen.
-
Offenbarung der Erfindung
-
Insbesondere für das Übertragen und Speichern solcher Videodateien, beispielsweise in eine Cloud, ist eine Erhöhung der Komprimierung bzw. Reduzierung der Datengröße wirtschaftlich gefordert, ohne dass dabei eine notwendige Qualität in Bereichen relevanter Informationen unzulässig verringert werden soll. Dabei kann auch berücksichtigt werden, dass bei bestimmten Anwendungen Bereiche der Videos aus datenschutzrechtlichen Gründen unkenntlich gemacht werden sollen.
-
Eine entsprechende Komprimierung von Videodaten kann allgemein zur Überwachung bzw. für ein Monitoring einer Umgebung verwendet werden und insbesondere in Bezug auf eine Fahrzeuginnenraumüberwachung kann es für Anwendungen im Bereich Car Sharing, Ruftaxis (engl. Ride Hailing) oder für Taxiunternehmen verwendet werden, um beispielsweise strafbare Handlungen zu vermeiden oder diese automatisch oder manuell zu identifizieren.
-
Zur Fahrzeuginnenraumüberwachung sind gewisse Bereiche von geringem Interesse, wie zum Beispiel ein Fensterbereich bzw. ein Fahrzeugaußenraum.
-
Gemäß Aspekten der Erfindung wird ein Verfahren zum Generieren eines Überwachungs-Bildes, ein Verfahren zum Trainieren eines lernbasierten semantischen Segmentierungsverfahrens, ein Verfahren zum Bereitstellen eines Steuersignals, eine Überwachungs-Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Gemäß einem Aspekt wird ein Verfahren zum Generieren eines Überwachungs-Bilde mit den folgenden Schritten vorgeschlagen:
- In einem Schritt wird eine Bildersequenz der zu überwachenden Umgebung mittels eines bildgebenden Systems bereitgestellt. In einem weiteren Schritt werden zumindest ein Überwachungsbereich und zumindest ein Peripherie-Bereich von zumindest einem Bild der Bildersequenz mittels eines lernbasierten semantischen Segmentierungsverfahrens bestimmt. In einem weiteren Schritt wird der Überwachungsbereich des zumindest einen Bildes der Bildersequenz mit einer erster Komprimierungs-Qualität komprimiert. In einem weiteren Schritt wird der Peripherie-Bereich des zumindest einen Bildes der Bildersequenz mit einer zweiten Komprimierungs-Qualität komprimiert, um das komprimierte Überwachungs-Bild zu generieren, wobei die zweite Komprimierungs-Qualität geringer ist als die erste Komprimierungs-Qualität.
-
Mit diesem Verfahren zum Generieren eines Überwachungs-Bildes können irrelevante Bereiche eines Bildes der Bildersequenz mit einer wesentlich geringeren Qualität und benötigter Datenrate zur Übertragung komprimiert werden, wohingegen die Qualität der relevanten Bereiche weiterhin mit hoher Qualität komprimiert werden können. Die Bereiche, welche mit einer geringeren Qualität komprimiert werden, können mit einer Maske auf das Bild abgebildet werden, um die entsprechende Komprimierung mit der ersten und/oder zweiten Komprimierungs-Qualität durchzuführen. Diese Bereiche für die Überwachung bzw. der Peripherie werden somit vorteilhafterweise dynamisch dem Inhalt der jeweiligen Bildern der Bildersequenz angepasst.
Bei diesem Verfahren wird beispielsweise ein Bild-Bereich vor Fenstern bzw. einem Fahrzeugaußenbereich, vor dem sich aber im Innenraum Passagiere befinden, im Gegensatz zu statischen Masken anderer Verfahren zur Komprimierung, weiterhin mit höherer Qualität komprimiert.
Alternativ zur pixelweisen Ausgabe können die Überwachungsbereiche und/oder Peripheriebereiche, in Form eines Polygonzuges oder anderer geometrischer Formen bestimmt und definiert werden.
-
Das Verfahren kann typischerweise auf einem eingebetteten System eines bildgebenden Systems, wie beispielsweise einer Kamera, durchgeführt werden, kann aber auch mit einem Cloud-Service realisiert werden. In letzterem Fall können die Bilder zur Cloud geschickt werden, die Berechnung der Bereiche wird in der Cloud durchgeführt und anschließend die Beschreibung der Überwachungs- und/oder Peripherie-Bereiche an das eingebettete System übertragen. Typischerweise würden in diesem Fall die Bereiche nur sehr selten neu berechnet, um den Datenverkehr zur Cloud gering zu halten.
-
Die Anwendung des Verfahrens für eine Fahrzeuginnenraumüberwachung und Maskierung der Fenster-/Fahrzeugaußenraumbereiche zeigt das Potenzial die Datenrate abhängig von der Kamera, Kameraverbauposition und aufgenommenen Szenen um 20-50% zu reduzieren. Aufgrund der Bildbewegung im Fensterbereich durch die Fahrzeugeigenbewegung sind diese besonders datenintensiv bei der Komprimierung. Bewegungen im Fahrzeug durch beispielsweise Personen, aber auch durch Veränderungen der Licht/Schattenverhältnisse, sind weiterhin mit hoher Qualität zu kodieren.
-
Die Definition des Peripherie-Bereichs als Fensterbereich ist beispielhaft zu verstehen. Darüber hinaus kann bei einer Verwendung des Verfahrens für eine Fahrzeuginnenraumüberwachung das Verfahren verwendet werden, um z.B. zusätzlich den sichtbaren Bereich der Sitze dem Peripherie-Bereich zuzuordnen.
-
Die Komprimierung des Überwachungsbereiches und des Peripherie-Bereiches mit unterschiedlichen Komprimierungsqualitäten kann mit Komprimierungsverfahren erfolgen, welche die Komprimierung von Bereichen mit unterschiedlichen Qualitäten unterstützt.
-
Darüber hinaus kann das hier vorgeschlagene Verfahren mit jedem beliebigen Kodierungsverfahren zur Komprimierung, wie z.B. MPEG, H.264, H.265, verwendet werden und muss nicht auf proprietäre Kodierungsverfahren zurückgreifen. Die Datenreduktion wird erreicht, indem das Videobild so vorverarbeitet wird, dass sich beispielsweise die Eigenschaften der Differenzkodierung und Bewegungskorrektur dieser Verfahren zu Nutze gemacht wird. Beispielsweise kann der Peripherie-Bereich im Bild vorher Tiefpass-gefiltert werden.
-
Zur Bestimmung des Überwachungsbereiches und Peripherie-Bereiches können lernbasierte semantische Segmentierungsverfahren mittels eines trainierten neuronalen Faltungs-Netzwerks realisiert werden, die ggf. in Kombination mit vollständig verbundenen neuronalen Netzen, ggf. unter Nutzung von klassischen Regularisierungs- und Stabilisierungsschichten wie Batch-Normalisierung und Trainings-Drop-Outs, unter Nutzung verschiedener Aktivierungsfunktionen wie Sigmoid und ReLu, etc. strukturiert sind. Darüber hinaus können klassische Ansätze wie Support-Vector-Machines, Boosting, Entscheidungsbäume, sowie Random-Forrests auch für eine Realisierung eines lernbasierten semantischen Segmentierungsverfahrens und somit für das beschriebene Verfahren verwendet werden. Eine solche semantische Segmentierung kann mit einer hohen Genauigkeit eine pixelweise Klassifikation von Bildinhalten in semantische Klassen bestimmen, die dann dem Überwachungsbereich und/oder dem Peripherie-Bereich zugeordnet werden können.
-
Bei neuronalen Netzen kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.
-
Die Architektur eines solchen künstlichen neuronalen Netzes kann ein neuronales Netz sein, das ggf. mit weiteren, anders aufgebauten Schichten erweitert ist. Grundsätzlich weisen solche neuronalen Netze mindestens drei Schichten von Neuronen auf: eine Eingabe-Schicht, eine Zwischen-Schicht (hidden layer) und eine Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt.
-
Dabei sind in feed-forward Netzen keine Verbindungen zu vorherigen Schichten realisiert. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sein können. Ein tiefes neuronales Netz kann viele solcher Zwischen-Schichten aufweisen.
-
Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.
Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test-Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt, bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.
Die Definition des Überwachungsbereichs und Peripherie-Bereichs kann mittels gelabelter Referenzbildern bzw. Ground-Truth Labels der Trainingsdaten vorgegeben werden, wodurch eine flexible Definition der anwendungsspezifisch relevanten bzw. nicht-relevanten Bereiche ermöglicht wird. Das neuronale Netzwerk kann dahingehend trainiert werden, das der Überwachungsbereich und Peripherie-Bereiche für beliebige Bilder, insbesondere für Bilder des selben Anwendungsbereiches, bestimmt werden.
-
Das optische Bild wird in digitaler Form dem trainierten neuronalen Netzwerk als Eingangssignal bereitgestellt.
-
Insbesondere können einzelne Bilder ohne eine Aufteilung in einen Überwachungs- und einen Peripherie-Bereich und die entsprechende Komprimierung gespeichert und/oder übertragen werden.
-
Ein bildgebendes System kann ein Kamera-System und/oder ein Videosystem und/oder eine Wärmebildkamera und/oder ein System zur Entfernungsbestimmung sein. Diese Systeme können alternativ oder zusätzlich verwendet werden, um für ein Überwachungs-Bild einen Überwachungsbereich und/oder einen Peripherie-Bereich zu bestimmen. Beispielsweise kann mit einem System zur Entfernungsbestimmung ein Fahrzeug-Außenraum leicht bestimmt werden, wobei große Entfernungen bzw. Abstände einen Fahrzeugaußenraum implizieren. Beispielsweise kann eine Wärmebildkamera aufgrund einer Temperaturbestimmung Lebewesen identifizieren. Das Verfahren zum Generieren eines Überwachungs-Bildes kann für die Bestimmung des Überwachungsbereichs und/oder Peripherie-Bereichs einen optischen Fluss von Bildern eines Kamera- und/oder Videosystems bestimmen, wobei die Flussvektoren für den Fahrzeugaußenraum der Epipolargeometrie der Fahrzeugeigenbewegung entsprechen.
-
Insbesondere kann das Bestimmen des Überwachungsbereichs und/oder des Peripherie-Bereichs durch ein Level Set-Verfahren unterstützt werden, in dem segmentierte Bereiche über die Zeit verfolgt werden.
-
Das hier beschriebene Verfahren zur Generierung von Überwachungs-Bildern kann neben der Anwendung zur Überwachung von Fahrzeuginnenräumen auch für Überwachungskameras oder Dashcams verwendet werden, so wie für jegliche Anwendungen die Videodaten in eine Cloud senden, beispielsweise für eine Anwendung im Bereich Internet of Things (loT) und/oder Building Technologies (BT).
-
Mit anderen Worten werden bei diesem Verfahren lernbasierte Verfahren zur Segmentierung eingesetzt, um Masken für die Bestimmung eines Überwachungsbereichs und/oder eines Peripherie-Bereichs zu schätzen. Die Definition der Masken wird mittels gelabelter Referenzbilder bzw. Ground-Truth Labels der Trainingsdaten vorgegeben, welches eine flexible Definition anwendungsspezifisch relevanter bzw. nicht-relevanter Bereiche ermöglicht. Die Masken haben typischerweise eine semantische Bedeutung, wie z.B. ein Fenster oder einen Fahrzeugaußenraum. Dieses lernbasierte Verfahren ist außerdem in der Lage eine hohe Robustheit gegenüber Änderungen der Bildintensitäten, wie z.B. Änderung der Lichtverhältnisse, bei gleichbleibendem Bildinhalt zu erreichen.
Dieses lernbasierte Verfahren kann generalisiert werden, indem ungesehene Szenen derselben Domäne in Bezug auf die Bereiche bestimmt werden können, auch wenn die exakte Szene nicht Teil der Trainingsdaten ist. Beispielsweise kann das Verfahren in verschiedenen und unbekannten Fahrzeuginnenräumen zur Bestimmung der Masken, für zum Beispiel ein Fenster und/oder einen Fahrzeugaußenraum, eingesetzt werden, ohne das eine zusätzliche Kalibrierung für das neue Fahrzeug notwendig ist. Das lernbasierte Verfahren kann laufend neue Masken berechnen und sich
Änderungen des Bildinhalts anpassen. Damit kann zum Beispiel berücksichtigt werden, dass sich ein Passagier, dessen Verhalten überwacht werden soll, in einen Bildbereich bewegt, in dem ein Fenster angeordnet ist, wobei das Fenster sonst einem Peripherie-Bereich zugeordnet würde.
Dabei werden nur die Bereiche die semantisch dem Peripherie-Bereich zugeordnet werden, mit geringerer Datenrate und Qualität komprimiert. Relevante Bildinhalte des Überwachungsbereichs werden mit gleichbleibend hoher Qualität komprimiert.
-
Gemäß einem Aspekt wird vorgeschlagen, dass mittels des lernbasierten semantischen Segmentierungsverfahrens zumindest ein Verdeckungs-Bereich bestimmt wird und das Überwachungs-Bild generiert wird, indem Pixel-Werte in dem zumindest einen bestimmten Verdeckung-Bereich des Überwachungs-Bildes mit vordefinierten Pixelwerten belegt werden.
Mit einem solchen Verdeckungs-Bereich können Bereiche des Bildes der Bildersequenz unkenntlich gemacht werden, um beispielsweise anonymisierte Daten bzw. Bilder bereitzustellen oder Datenschutzauflagen zu erfüllen. Aus datenschutzrechtlichen Gründen kann es notwendig sein, gegebenenfalls Personen und Nummernschilder unkenntlich zu machen. Während Personen im Innenraum eines Fahrzeugs ein Einverständnis zur Aufzeichnung möglichweise gegeben haben, beispielsweise durch Zustimmung zu AGBs, kann dieses beispielsweise für Personen im Außenraum nicht sichergestellt werden.
Alternativ oder zusätzlich können die Verdeckungs-Bereiche durch Schwärzen und/oder Blurren unkenntlich gemacht werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass mittels des Überwachungsbereichs und/oder Peripherie-Bereichs eines jeweiligen Bildes eine Maske für das jeweilige Bild generiert wird (S3), und das Überwachungs-Bild basierend auf einer gemittelten Mehrzahl von Masken einer entsprechenden Mehrzahl von jeweiligen Bildern der Bildersequenz generiert wird.
Insbesondere kann aus einer solchen Mehrzahl von Masken eine gefilterte und/oder geglättete Maske für das Bild der Bildersequenz generiert werden. Sowohl durch das Mitteln über die Mehrzahl von Masken als auch das Filtern und/oder Glätten der Maske kann eine Erhöhung einer Datenrate verhindert werden, die auf eine zeitlich hochfrequente Änderung der Maskenränder zurückzuführen ist. Insbesondere kann eine jeweilige Maske an ihrem Rand stärker geglättet werden, um hochfrequente Änderungen an den Maskenrändern zu verringern.
-
Alternativ oder zusätzlich kann der Rand einer Maske, beispielsweise durch ein Alpha-Blending, fließend in den unmaskierten Teil des Bildes überführt werden, um am Übergang hochfrequente Änderungen zu unterdrücken und damit den Aufwand für die Komprimierung zu verringern
-
Alternativ oder zusätzlich kann die semantische Segmentierung des Bildes mit anderen Verfahren kombiniert werden, in dem beispielsweise ein Personenklassifikator, zum Beispiel in Form von Boundingboxen und/oder Personenmasken und/oder Personen-Keypoints verwendet werden, um bei der semantischen Segmentierung auszuschließen, dass Personen, die in dem jeweiligen Bild abgebildet sind, durch eine Maskierung dem Peripherie-Bereich zugeordnet werden.
-
Alternativ oder zusätzlich kann die semantische Segmentierung plausibilisiert werden, indem beispielsweise sehr kleine Maskensegmente ignoriert werden oder es können Modellannahmen in die semantische Segmentierung bzw. in die Festlegung eines Überwachungsbereiches und/oder Peripherie-Bereiches integriert werden. Mittels solcher Modellannahmen können beispielsweise vorher festgelegte Bereiche des Bildes grundsätzlich als Überwachungsbereich und/oder Peripherie-Bereich definiert werden.
-
Die bestimmten Überwachungsbereiche und/oder Peripherie-Bereiche können nachverarbeitet werden, indem beispielsweise die Kante der entsprechenden Bereiche für eine Maskierung Kanten im Bild angenähert wird, um die Bestimmung der entsprechenden Bereiche zu verbessern.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das lernbasierte semantische Segmentierungsverfahren basierend auf einem trainierten neuronalen Faltungsnetzwerk und/oder einem aggregated Channel Feature-Verfahren und/oder einem AdaBoost-Verfahren durchgeführt wird. Während ein neuronales Faltungsnetzwerk sowohl die Merkmalsextraktion und Klassifikation umfasst, kann das Faltungsnetzwerk oder Teile des Faltungsnetzwerks durch andere Verfahren ersetzt werden. Beispielsweise liefern das aggregated Channel Feature-Verfahren Merkmalsvektoren, welche unter anderem Gradienten und Farbkanäle in benachbarten Bildbereichen repräsentieren können. Die Wahl der Berechnung der Merkmalsvektoren kann anstelle von einem lernbasierten Verfahren auch vorgegeben werden. Eine Klassifikationsentscheidung basierend auf einem gegebenen Merkmalsvektor kann beispielsweise mit dem AdaBoost-Verfahren erfolgen und erlernt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die zu überwachende Umgebung ein Fahrzeuginnenraum ist.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das Überwachungs-Bild mittels des komprimierten Überwachungsbereichs und des komprimierten Peripherie-Bereichs gebildet wird. Dadurch kann das Verfahren zum Generieren des Überwachungs-Bildes mit anwendungsspezifischen Komprimierungsverfahren komprimiert werden. Diese Komprimierungsverfahren unterstützen die Komprimierung definierter Bereiche mit unterschiedlicher Qualität. Die entsprechenden Bereiche für die Überwachung bzw. Peripherie werden dadurch ohne Anwendung einer zusätzlichen Maskierung bestimmt. Dies kann als ein Klassifikationsproblem mit einem Zweiklassenproblem mit einem relevanten Überwachungsbereich bzw. einem nicht-relevanten Peripherie-Bereich, formuliert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der Peripherie-Bereich des zumindest einen Bildes der Bildersequenz mit der zweiten Komprimierungs-Qualität komprimiert wird, indem der zumindest eine Peripherie-Bereich weichgezeichnet und/oder mit vordefinierten Pixelwerten für Bild-Pixel des Peripherie-Bereichs belegt wird, bevor der Peripherie-Bereich mit einem Komprimierungs-Verfahren mit der ersten Komprimierungs-Qualität komprimiert wird.
-
Dadurch wird sowohl der Überwachungsbereich als auch der Peripherie-Bereich mit einem einzigen Komprimierungs-Verfahren, das eine erste Komprimierungs-Qualität erzeugt, komprimiert, wodurch das Verfahren vereinfacht wird. Durch Schwärzung und/oder Blurren von Bildbereichen wird die benötigte Datenrate zur Komprimierung bei Verwendung von allgemeinen Kodierungsverfahren reduziert. Dieses ist in den Eigenschaften der Differenzkodierung und Bewegungskorrektur begründet. Das Verfahren besitzt dadurch keine Einschränkung des zu verwendenden Kodierungs-bzw. Komprimierungsverfahrens, der Grad der Reduzierung kann allerdings variieren.
Ein starkes Blurren anstelle eines Schwärzens von Bildbereichen hat den Vorteil, dass durch das Blurren der Peripherie-Bereiche das so komprimierte Überwachungs-Bild deutlich kleiner komprimiert wird, aber gleichzeitig durch die dennoch sichtbare Information im geblurrten bzw. weichgezeichneten Bildbereich das Maskieren zu einer höheren Akzeptanz bei einem Betrachter führt.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der Peripherie-Bereich des zumindest einen Bildes der Bildersequenz mit der zweiten Komprimierungs-Qualität komprimiert wird, indem der zumindest eine Peripherie-Bereich mit einem vordefinierten Bildinhalt ersetzt wird. Dabei kann der vordefinierte Bildinhalt aus dem Original-Bild der Bildersequenz abgeleitet werden und/oder der entsprechende Bildbereich kann mit einer einheitlichen Farbe, die den Pixeln des Überwachungs-Bildes zugeordnet wird, belegt werden. Beispielsweise kann ein Fensterbereich des Bildes, der als Peripherie-Bereich bestimmt wurde mit demselben Bereich aus einem anderen Bild des Videos belegt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass mittels des lernbasierten semantischen Segmentierungsverfahrens zumindest zwei Bereiche in zumindest einem Bild der Bildersequenz bestimmt werden, welchen jeweils verschiedene Komprimierungs-Qualitäten und/oder Komprimierungs-Eigenschaften und/oder Eigenschaften der Bildbearbeitung zugeordnet werden. Damit können mehr als zwei Bereichen abgestufte Qualitätsstufen, wie z.B. geringe Qualität, ggf. geschwärzt, mittlere Qualität, zum Beispiel geblurrt und hohe Qualität zugeordnet werden und/oder den Bereichen verschiedene Eigenschaften zur Komprimierung zuordnet werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass von einer Vielzahl von Bildern der Bildersequenz zumindest ein Überwachungsbereich und zumindest ein Peripherie-Bereich mittels des lernbasierten semantischen Segmentierungsverfahrens bestimmt werden. Diese Vielzahl kann dadurch bestimmt werden, dass regelmäßig von Bildern der Bildersequenz zumindest ein Überwachungsbereich und zumindest ein Peripherie-
-
Bereich mittels des lernbasierten semantischen Segmentierungsverfahrens bestimmt werden. Insbesondere können von jedem Bild der Bildersequenz zumindest ein Überwachungsbereich und ein Peripherie-Bereich mittels des lernbasierten semantischen Segmentierungsverfahrens bestimmt werden. Darüber hinaus kann zumindest ein Überwachungsbereich und zumindest ein Peripherie-Bereich mittels des lernbasierten semantischen Segmentierungsverfahrens abhängig von einem bestimmten Bildinhalt des Bildes der Bildersequenz und/oder einem anderen detektierten Ereignis bestimmt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass Bildbereiche der jeweiligen Bilder mittels des lernbasierten semantischen Segmentierungsverfahrens in eine Vielzahl von Objekt-Klassen segmentiert werden und der Überwachungsbereich und/oder der Peripherie-Bereich bestimmt wird, indem die Bildbereiche basierend auf einer ersten Gruppe von Objekt-Klassen dem zumindest einen Überwachungsbereich zugeordnet werden, und Bildbereiche basierend auf einer zweiten Gruppe von Objekt-Klassen dem zumindest einen Peripherie-Bereich zugeordnet werden. Dabei kann die semantische Segmentierung also mehreren Klassen, wie beispielsweise Fenstern, Sitzen, Personen, Gegenständen, entsprechen. Eine Logik kann mit den Klassen die Überwachungsbereiche und/oder Peripherie-Bereiche definieren.
-
Basierend auf einer ersten und/oder zweiten Gruppe von Objekt-Klassen kann auch eine inverse Zuordnung zu dem Überwachungsbereich und/oder Peripherie-Bereich erfolgen. D. h. wenn die Objekt-Klasse dem Überwachungsbereich zuzuordnen wäre, kann dadurch der Peripherie-Bereich bestimmt werden und entsprechend kann für Objekt-Klassen des Peripherie-Bereichs ein Überwachungsbereich bestimmt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass zusätzlich oder alternativ zum lernbasierten semantische Segmentierungsverfahren weitere Eingangsdaten von zumindest einer Wärmebildkamera und/oder aus Entfernungsmessungen und/oder weitere bildbasierte Größen, wie ein optischer Bildfluss, bereitgestellt werden und diese weiteren Eingangsdaten mittels eines lernbasierten oder modelbasierten Verfahrens den Peripherie- und/oder Überwachungsbereich bestimmen.
-
Es wird ein Verfahren zum Trainieren eines lernbasierten semantischen Segmentierungsverfahrens entsprechend einem der vorhergehend beschriebenen Verfahren zum Bestimmen zumindest eines Überwachungsbereichs und zumindest eines Peripherie-Bereichs von zumindest einem Bild einer Bildersequenz vorgeschlagen. Das Verfahren zum Trainieren weist eine Vielzahl von Trainings-Zyklen auf, für die eine Vielzahl von entsprechenden Referenz-Bildern einer zu überwachenden Umgebung, die mit einem bildgebenden Systems generiert werden, bereitgestellt werden. Dabei wird einem jeweiligen Trainings-Zyklus ein jeweiliges Referenz-Bild zugeordnet und jeder Trainings-Zyklus weist die folgenden Schritte auf: In einem Schritt wird das jeweilige Referenz-Bild bereitgestellt, wobei in dem jeweiligen Referenz-Bild zumindest ein Überwachungsbereich und zumindest ein Peripherie-Bereich gelabelt ist. In einem weiteren Schritt wird das lernbasierte semantische Segmentierungsverfahren adaptiert, um bei dem Bestimmen zumindest eines Überwachungsbereichs und zumindest eines Peripherie-Bereichs des jeweiligen Referenz-Bildes mit dem lernbasierten semantischen Segmentierungsverfahren eine Abweichung von dem jeweiligen gelabelten Referenz-Bild, beispielsweise mittels eines Cross-Entropy Loss, zu minimieren.
Mit diesem Verfahren zum Trainieren eines lernbasierten semantischen Segmentierungsverfahrens kann ein trainiertes semantisches Segmentierungsverfahren bereitgestellt werden, das in den oben beschriebenen Verfahren zum Generieren eines Überwachungs-Bildes eingesetzt werden kann.
-
Mit diesen Verfahren zum Training eines lernbasierte semantischen Segmentierungsverfahrens können die schon oben beschriebenen Strukturen, auf dem das lernbasierte semantischen Segmentierungsverfahren beruht, wie beispielsweise ein neuronales Faltungs-Netzwerk oder Support-Vector-Machines, Boosting, Entscheidungsbäume, sowie Random-Forrests trainiert werden. Dabei kann das Adaptieren des lernbasierten semantischen Segmentierungsverfahrens in Form eines Adaptieres von Parametern des semantischen Segmentierungsverfahrens erfolgen, wie beispielsweise durch Anpassung der Parameter eines neuronalen Faltungs-Netzwerkes.
-
Referenz-Bilder sind Bilder, die insbesondere speziell für das Anlernen eines maschinellen Lern-Systems, wie einer Struktur für ein lernbasierte semantisches Segmentierungsverfahren, aufgenommen und beispielsweise manuell selektiert und annotiert wurden oder synthetisch generiert wurden und bei denen die Mehrzahl der Bereiche in Bezug auf die Klassifikation der Bereiche gelabelt sind. Beispielsweise kann ein solches Labeln der Bereiche manuell entsprechend in einen Überwachungsbereich und einen Peripherie-Bereich erfolgen.
-
Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem Überwachungs-Bild, das entsprechend einem der oben beschriebenen Verfahren generiert wurde, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem Überwachungs-Bild, ein Warnsignal zur Warnung, bzw. Intervention, eines Fahrzeuginsassen bereitgestellt wird; und/oder basierend auf dem Überwachungs-Bild, ein Notsignal zur Alarmierung eines privaten und/oder öffentlichen Sicherheitsdienstes und/oder Rettungsdienstes bereitgestellt wird; und/oder basierend auf dem Überwachung-Bild ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird, um das Fahrzeug in einen sicheren Zustand/ Stillstand zu bringen.
-
Mit dem Notsignal kann beispielsweise die Polizei und/oder ein Krankenwagen oder der Feuerwehr alarmiert werden.
-
Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einem Überwachungs-Bild, das entsprechend einem der oben beschriebenen Verfahren generiert wurde, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass das Überwachungs-Bild für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals und/oder Notsignals. Die Bestimmung des Signals kann beispielsweise durch weitere Verfahren und/oder Personen, wie z.B. ein Operator in einer Überwachungszentrale, zur Analyse des Szeneninhalts geschehen.
-
Es wird eine Überwachungs-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Überwachungs-Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.
-
Es wird eine Verwendung eines der oben beschriebenen Verfahren zur Überwachung einer zu überwachenden Umgebung vorgeschlagen, wobei die Umgebung mittels eines bildgebenden Systems erfasst wird.
-
Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 3 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 ein Daten-Flussdiagramm für das Verfahren zum Generieren eines Überwachung-Bildes;
- 2 Beispielbilder aus dem Verfahren zum Generieren des Überwachungs-Bildes; und
- 3 ein Schema für ein Training eines semantischen Segmentierungsverfahrens.
-
Die 1 skizziert schematisch das Verfahren zum Generieren und Übertragen bzw. Speichern eines Überwachungs-Bildes. In einem ersten Schritt wird ein Bild einer Bildsequenz der zu überwachenden Umgebung mittels eines bildgebenden Systems bereitgestellt S1. In einem zweiten Schritt wird in zumindest einem Bild der Bildsequenz mittels eines lernbasierten semantischen Segmentierungsverfahrens ein Überwachungsbereich und ein Peripherie-Bereich bestimmt S2. In einem weiteren Schritt S3 wird eine Maske generiert, mit der in einem weiteren Schritt S4 das zumindest eine Bild so maskiert werden kann, dass der Peripherie-Bereich mit einer zweiten Komprimierungs-Qualität komprimiert werden kann und der Überwachungsbereich mit einer ersten Komprimierungs-Qualität komprimiert werden kann. Dazu kann der Peripherie-Bereich entweder mit einer geringeren Komprimierungs-Qualität komprimiert werden und/oder der Peripherie-Bereich kann durch Weichzeichnung oder Belegung mit vordefinierten Pixelwerten in einem nachfolgenden Schritt S5, bei dem eine einheitliche Komprimierung für den Überwachungsbereich und den Peripherie-Bereich angewendet wird, mit einer geringeren Komprimierungs-Qualität komprimiert werden als der Überwachungsbereich. Anschließend kann in einem Schritt S6 das generierte Überwachungs-Bild gespeichert und/oder übertragen werden. Mit einem optionalen Schritt S 41 können zumindest Teile eines Bildes der Bildersequenz für die Maskierung des Bildes verwendet werden, indem Teile des Überwachungsbereichs und/oder des Peripherie-Bereichs mit Teilen bzw. Bereichen des Bildes belegt werden. Die beschriebene Bestimmung des Überwachungsbereich und/oder Peripherie-Bereichs wird fortlaufend wiederholt, um sich dynamisch Änderungen des Bildinhalts anzupassen. Basierend auf den geschätzten Bereichen werden die anwendungsspezifischen nicht-relevanten Bereiche geschwärzt und/oder geblurrt. Dies reduziert die benötigte Datenrate zur Komprimierung der Videos aufgrund der Kodierungseigenschaften „Differenzkodierung“ und „Bewegungskorrektur“. Die reduzierte Datenrate führt zu geringeren Kosten beispielsweise bei der Videoübertragung oder Videospeicherung. Dabei ist eine Häufigkeit der Berechnung der Überwachungsbereiche und/oder Peripherie-Bereiche parametrisierbar. Die Berechnung kann für jedes Bild durchgeführt werden oder für eine Untermenge, wie z.B. bei jedem x-ten Bild. Im zweiten Fall würde die vorher bestimmten Bereiche weiter für die Komprimierung verwendet werden, bis eine neue Bestimmung vorgenommen wurde. Im zweiten Fall können Verfahren zur Verfolgung von Bereichen/ Segmenten, wie z.B. basierend auf optischem Fluss oder Level-Set Verfahren, ergänzend eingesetzt werden.
-
Die 2 zeigt schematisch Beispielbilder aus dem Verfahren zum Generieren des Überwachungs-Bildes. Das Bild 210 steht für ein Beispielbild einer Bildersequenz aus einem Fahrzeuginnenraum in dem der Fahrzeuginnenraum, Personen und Fenster des Fahrzeugs abgebildet werden. Das Bild 220 skizziert mit der schraffierten Fläche des Fensters des Fahrzeugs einen Peripherie-Bereich. Und das Bild 230 skizziert eine Maske, die auf das Bild der Bildersequenz abgebildet werden kann, um einen schwarz gekennzeichneten Überwachungsbereich 231 und einen weiß gekennzeichneten Peripherie-Bereich 232 zu definieren. Das Bild 240 skizziert das resultierende Überwachungs-Bild, in dem der Peripherie-Bereich maskiert wurde, sodass der Bereich der Fenster mit einem einheitlichen Pixel Wert (z. B. schwarz) belegt wurde.
-
Die 3 skizziert schematisch ein Verfahren 300 zum Trainieren eines lernbasierten semantischen Segmentierungsverfahrens bei dem ein Referenzbild 310, das mit Ground-Truth Werten 320 gelabelt ist, dem Eingang einer Struktur 350 für ein lernbasiertes semantisch Segmentierungsverfahren bereitgestellt wird und einen Überwachungsbereich bzw. ein Peripherie-Bereich 330 bestimmt. In jedem Trainings-Zyklus werden die Ground-Truth Werte 320 mit dem bestimmten Überwachungsbereich bzw. ein Peripherie-Bereich 330 verglichen S7 und das lernbasierte semantische Segmentierungsverfahren adaptiert S8, um eine Abweichung von dem jeweiligen gelebten Referenz-Bild bzw. den Ground-Truth Werten S1 320 zu minimieren.
