DE102019132755A1

DE102019132755A1 - Integritätsüberwachung eines Videodatenstroms

Info

Publication number: DE102019132755A1
Application number: DE102019132755.5A
Authority: DE
Inventors: Senthil Kumar Yogamani; Ciaran Hughes; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2021-06-10

Abstract

Ein computerimplementiertes Verfahren zur Integritätsüberwachung eines Videodatenstroms (3) beinhaltet das Benutzen einer Recheneinheit (2) für die folgenden Schritte: Vergleichen von ersten Metadaten eines ersten Einzelbildes (6) mit entsprechenden zweiten Metadaten des zweiten Einzelbildes (7), Bestimmen einer Abweichung basierend auf einem Ergebnis des Vergleichs und Vergleichen der Abweichung mit einem vordefinierten Grenzwert und Erzeugen eines Integritätssignals abhängig von einem Ergebnis des Vergleichs der Abweichung mit dem Grenzwert.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Integritätsüberwachung eines Videodatenstroms, ein Verfahren zum Erzeugen eines Videodatenstroms, ein Videoverarbeitungssystem, ein Computerprogramm und ein computerlesbares Speichermedium.
Falls eine potentiell bösartige Entität ein System replizieren will, können typischerweise Rückentwicklungsverfahren verwendet werden, wobei das System zerlegt und repliziert wird. Im Fall einer zunehmenden Komplexität der Softwaresysteme sind jedoch Rückentwicklungsmethoden durch ihren hohen Aufwand begrenzt.
Mit dem Aufkommen von äußerst leistungsstarken und leicht zugänglichen Maschinenlernverfahren ist es möglich, dass diese Entitäten das Softwaresystem unter Verwendung von Imitationslernverfahren nachahmen. Imitationslernverfahren sind Methoden, durch die ein Training für Maschinenlernen und/oder tiefes Lernen durch Kopieren der Ergebnisse eines anderen Softwaresystems durchgeführt wird.
Dies ist beispielsweise im Zusammenhang mit Kraftfahrzeuganwendungen, insbesondere für teilweise oder vollständig autonome Fahrzeuge, problematisch. In solchen Systemen werden typischerweise große Mengen von Sensoreingabedaten komplexen Software-Algorithmen zugeführt, die Ausgabedaten, beispielsweise zum Steuern des Fahrzeugs oder Bereitstellen von Informationen oder einer Unterstützung für einen Fahrer des Fahrzeugs, erzeugen. In diesem Zusammenhang spielen Videoverarbeitungssysteme, die beispielsweise die Eingabedaten von einer oder mehreren Kraftfahrzeugkameras, die in oder an dem Fahrzeug montiert sind, verarbeiten, eine wesentliche Rolle.
Um das Imitationslernen in einem solchen Fall durchzuführen, könnte die bösartige Entität Videodatenströme von einer oder mehreren Kameras sammeln, sie in das Softwaresystem einspeisen, das beispielsweise in einer elektronischen Steuereinheit, ECU, des Fahrzeugs implementiert werden kann, und die Ausgabedaten aufzeichnen und/oder Reaktionen des Fahrzeugs aufzeichnen. Die Videodatenstrom-Eingabe und die Ausgabedaten bilden eine Basis, um ein neuronales Netz oder andere Maschinenlern-Algorithmen zu trainieren, die, insbesondere nach mehreren Iterationen, zumindest teilweise die Ergebnisse des ursprünglichen Systems kopieren können.
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept für die Videoverarbeitung bereitzustellen, das es ermöglicht, eine Situation zu identifizieren, in der ein Videoverarbeitungssystem einem Imitationslernprozess unterzogen wird.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche gelöst. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das verbesserte Konzept basiert auf der Idee, den Videodatenstrom zu analysieren und Strukturen, insbesondere Diskontinuitäten, in Metadaten des Videodatenstroms zu identifizieren, die darauf hinweisen, dass der Videodatenstrom mit einer entsprechenden Wahrscheinlichkeit nicht einem regulären Betrieb entspricht, sondern Imitationslernen durchgeführt wird.
Gemäß dem verbesserten Konzept wird ein computerimplementiertes Verfahren zur Integritätsüberwachung eines Videodatenstroms bereitgestellt. Das Verfahren beinhaltet das Benutzen einer Recheneinheit, um erste Metadaten eines ersten Einzelbildes einer Vielzahl aufeinanderfolgender Einzelbilder des Videodatenstroms mit entsprechenden zweiten Metadaten eines zweiten Einzelbildes der Vielzahl aufeinanderfolgender Einzelbilder zu vergleichen. Die Recheneinheit wird benutzt, um eine Abweichung, insbesondere eine Abweichung zwischen den ersten Metadaten und den zweiten Metadaten, basierend auf dem Ergebnis des Vergleichs der ersten Metadaten mit den zweiten Metadaten zu bestimmen. Die Recheneinheit wird benutzt, um die Abweichung mit einem vordefinierten Grenzwert zu vergleichen. Die Recheneinheit wird benutzt, um ein Integritätssignal abhängig von einem Ergebnis des Vergleichs der Abweichung mit dem Grenzwert zu erzeugen.
Gemäß dem Verfahren wird die Integrität des Videodatenstroms überwacht. Die Integrität des Videodatenstroms kann als Grad der Übereinstimmung oder Konformität der Eigenschaften des Videodatenstroms mit jeweiligen Eigenschaften eines erwarteten Videodatenstroms, mit anderen Worten mit Eigenschaften eines Videodatenstroms, „wie er sein sollte“, gemäß dem scheinbaren Ursprung des Videodatenstroms, verstanden werden.
Insbesondere kann die Integrität des Videodatenstroms als gegeben betrachtet werden, wenn der scheinbare Ursprung oder die scheinbare Quelle oder Beschaffenheit des Videodatenstroms seinem tatsächlichen Ursprung oder seiner tatsächlichen Quelle oder Beschaffenheit entspricht. Die Integrität kann als nicht gegeben betrachtet werden, wenn die scheinbare Quelle oder der scheinbare Ursprung oder die scheinbare Beschaffenheit des Videodatenstroms signifikant von der tatsächlichen Quelle oder dem tatsächlichen Ursprung oder der tatsächlichen Beschaffenheit abweicht.
Hier und im Folgenden kann ein Videodatenstrom als Vielzahl von Einzelbildern oder einzelnen Bildern in einer definierten chronologischen Abfolge verstanden werden.
Ein Einzelbild des Videodatenstroms, das auch als einzelnes Bild des Videodatenstroms bezeichnet werden kann, kann als Datensatz mit Bilddaten und einem zugehörigen vollständigen Satz von Metadaten verstanden werden.
Die Bilddaten, die auch als Pixeldaten bezeichnet werden können, entsprechen einem Bild einer Umgebung der Kamera, die die jeweiligen Bilddaten aufgenommen hat. Die Bilddaten können beispielsweise als Rasterbild gegeben sein oder verstanden werden.
Der vollständige Satz von Metadaten eines Einzelbildes beinhaltet einen oder mehrere verschiedene Typen von Metadaten des jeweiligen Einzelbildes. Dabei bezieht sich der Begriff „Metadaten“ auf Daten, die die Bilddaten oder das Einzelbild selbst betreffen. Die Metadaten können die Form von verschiedenen Parametern, Größen oder Eigenschaften annehmen.
Insbesondere umfasst ein vollständiger Satz von Metadaten des ersten Einzelbildes die ersten Metadaten und der vollständige Satz von Metadaten des zweiten Einzelbildes umfasst die zweiten Metadaten.
Die ersten und die zweiten Metadaten entsprechen einander. Mit anderen Worten, die ersten und die zweiten Metadaten betreffen denselben Aspekt, denselben Parameter, dieselbe Eigenschaft oder dieselbe Größe ihres jeweiligen Einzelbildes.
Die ersten und die zweiten Metadaten können beispielsweise eine Einzelbildidentifikationsnummer des jeweiligen Einzelbildes, einen auf die Verstärkung bezogenen Wert, einen auf die Belichtungszeit bezogenen Wert, einen auf die Größe bezogenen Wert und/oder einen auf den Aufnahmeort bezogenen Wert der jeweiligen Bilddaten beinhalten.
Das zweite Einzelbild kann beispielsweise auf das erste Einzelbild folgen, insbesondere unmittelbar auf das erste Einzelbild folgen. Mit anderen Worten, das erste und das zweite Einzelbild können aufeinanderfolgende Einzelbilder sein. Dabei ist das erste Einzelbild nicht notwendigerweise chronologisch gesehen ein initiales Einzelbild der Vielzahl der aufeinanderfolgenden Einzelbilder.
Die Abweichung kann als Differenz der Zahlenwerte der ersten und der zweiten Metadaten oder als Funktion von einer oder mehreren solchen Differenzen von Werten verstanden werden.
Der Grenzwert kann beispielsweise als Maximalwert, insbesondere maximaler erwarteter oder maximaler zulässiger Wert, für die Abweichung verstanden werden, falls die Videodatenstromintegrität gegeben ist.
Der Grenzwert kann beispielsweise auf einer Speichereinheit, insbesondere der Recheneinheit, gespeichert sein.
Das Integritätssignal kann beispielsweise ein Maß oder einen Grad der Integrität des Videodatenstroms angeben. Das Integritätssignal kann beispielsweise einem von zwei Werten, nämlich einem ersten Wert, der einer gegebenen Integrität des Videodatenstroms entspricht, und einem zweiten Wert, der einer fehlenden Integrität des Videodatenstroms entspricht, entsprechen. Mit anderen Worten, der erste Wert kann als Ok-Wert verstanden werden und der zweite Wert kann als Nicht-Ok-Wert verstanden werden.
Alternativ kann das Integritätssignal einem Wert für das Maß oder den Grad der Integrität des Videodatenstroms entsprechen, der beispielsweise eine Wahrscheinlichkeit oder Möglichkeit abschätzt, dass der Videodatenstrom Integrität aufweist.
Das Verfahren gemäß dem verbesserten Konzept stellt ein effektives Maß bereit, um zu identifizieren, ob der Videodatenstrom einen Hinweis enthält, dass eine Entität versucht, einen Betrieb oder Softwareinhalt der Recheneinheit mittels Imitationslernens zu replizieren.
Bei einer solchen Methode würde die Entität Live- oder aufgezeichnete Videoclips als Videodatenströme in die Recheneinheit streamen und Ausgabedaten der Recheneinheit benutzen, um das Imitationssystem zu trainieren. Dies kann auf Ende-zu-Ende Ebene erfolgen. Wenn beispielsweise die Recheneinheit dazu ausgelegt ist, Ausgabedaten zum Steuern eines autonomen Fahrzeugs basierend auf Videostromdaten zu erzeugen, kann das Imitationslernen auf den Videodatenstrom-Eingabedaten einerseits und resultierenden Steuersignalen für das Fahrzeug, wie beispielsweise Lenksteuersignalen oder Bremssteuersignalen und so weiter, des Fahrzeugs basieren.
Da die Entität oder das initiale Imitationssystem vermutlich wenig Informationen hinsichtlich des Inhalts der Recheneinheit hat, sind sehr große Mengen an Trainingsdaten erforderlich, um das ganze System zu replizieren, insbesondere wenn das Imitationslernen nicht auf einer Komponentenebene, sondern auf Ende-zu-Ende Ebene durchgeführt wird. Daher würden sehr wahrscheinlich die gemeinsamen Videodaten einer Vielzahl von Kameras einer Vielzahl von Fahrzeugen für das Trainieren des Imitationssystems benutzt werden. Wenn nur eine kleine Menge an Daten aufgezeichnet und für das Imitationslernen benutzt werden würde, würde das replizierte System wahrscheinlich überangepasst werden und wäre daher nicht nutzbar.
Daher basiert das verbesserte Konzept auf einer Arbeitshypothese, dass im Fall des Imitationslernens der Videodatenstrom aus einer Anzahl von nicht in Zusammenhang stehenden oder inkohärenten Videoclips besteht, die zusammengesetzt werden, um den Videodatenstrom zu bilden. Ein solcher Videodatenstrom kann beispielsweise als synthetischer, künstlicher oder gefälschter Videodatenstrom bezeichnet werden.
Die Erfinder haben erkannt, dass ein solcher synthetischer Videodatenstrom im Allgemeinen Diskontinuitäten zwischen den individuellen Einzelbildern der Videodatenströme, insbesondere hinsichtlich der Metadaten, aufweisen würde. Daher kann die Abweichung zwischen den ersten Metadaten und den zweiten Metadaten als Maß für die Integrität beziehungsweise für die fehlende Integrität benutzt werden. Insbesondere definiert der Grenzwert einen Grad der Abweichung, der für einen regulären oder integren Videodatenstrom erwartet werden könnte. Wenn beispielsweise die Abweichung größer ist als der Grenzwert, kann eine hohe Wahrscheinlichkeit bestehen, dass der Videodatenstrom synthetisch ist.
Daher ermöglicht das verbesserte Konzept und insbesondere das Verfahren gemäß dem verbesserten Konzept einen effektiven Schutz von geistigem Eigentum, das von der Recheneinheit enthalten ist, insbesondere durch ein Softwaresystem der Recheneinheit dargestellt ist.
Gemäß mehreren Implementierungen des Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept entspricht das Integritätssignal dem ersten Wert, wenn die Abweichung kleiner als oder gleich dem Grenzwert ist, und entspricht ansonsten dem zweiten Wert.
Gemäß mehreren Implementierungen stellt das Integritätssignal einen Wert dar, der von einer Differenz zwischen dem Grenzwert und der Abweichung abhängt, insbesondere zur Differenz zwischen dem Grenzwert und der Abweichung proportional ist.
Gemäß mehreren Implementierungen beinhaltet das Verfahren das Empfangen des Videodatenstroms durch die Recheneinheit, insbesondere über eine Schnittstelle der Recheneinheit, beispielsweise von einer Kamera, einer Speichervorrichtung oder einem anderen elektronischen Gerät.
Gemäß mehreren Implementierungen wird die Recheneinheit benutzt, um Ausgabedaten abhängig von dem Videodatenstrom, insbesondere abhängig von dem ersten und dem zweiten Einzelbild, und abhängig von dem Integritätssignal zu erzeugen. Die Ausgabedaten können beispielsweise eines oder mehrere Ausgabesignale, Steuersignale oder andere Informationen beinhalten, die durch die Recheneinheit oder durch eine weitere Recheneinheit, beispielsweise des Fahrzeugs, benutzt werden können, um eine Funktion basierend auf dem Videodatenstrom, beispielsweise zum Steuern des Fahrzeugs, zu implementieren. Die tatsächliche Form oder der tatsächliche Typ der Ausgabedaten hängt jedoch von dem konkreten Anwendungsfall der Recheneinheit ab.
Die Recheneinheit und/oder die weitere Recheneinheit können beispielsweise von einem elektronischen Fahrzeugführungssystem eines Fahrzeugs beinhaltet sein.
Die Erzeugung der Ausgabedaten abhängig von dem Videodatenstrom entspricht einem normalen oder beabsichtigten Betrieb der Recheneinheit. Insbesondere kann die Recheneinheit nicht in erster Linie zum Durchführen der Integritätsüberwachung des Videodatenstroms, sondern zur Verarbeitung des Videodatenstroms, um die Ausgabedaten zu erzeugen, bestimmt sein. Die Recheneinheit kann beispielsweise als Kamera-ECU des Fahrzeugs implementiert sein.
Gemäß mehreren Implementierungen wird, um die Ausgabedaten zu erzeugen, die Recheneinheit benutzt, um den Videodatenstrom, insbesondere das erste und das zweite Einzelbild, beispielsweise unter Verwendung eines oder mehrerer Algorithmen zum maschinelles Sehen, wie beispielsweise eines Objektdetektions- oder Segmentierungs-Algorithmus, zu verarbeiten. Der Algorithmus zum maschinellen Sehen kann beispielsweise auf einem künstlichen neuronalen Netz, beispielsweise einem faltenden neuronalen Netz, CNN, basieren.
Gemäß mehreren Implementierungen wird die Recheneinheit abhängig von dem Integritätssignal in einem normalen Betriebsmodus oder in einem Fehlermodus betrieben. Wenn die Recheneinheit in dem normalen Betriebsmodus betrieben wird, wird die Recheneinheit benutzt, um die Ausgabedaten abhängig von dem Videodatenstrom zu erzeugen. Wenn die Recheneinheit in dem Fehlermodus betrieben wird, wird die Recheneinheit benutzt, um das Erzeugen der Ausgabedaten abhängig von dem Videodatenstrom zu stoppen und/oder ein Fehlerausgabesignal zu erzeugen.
Mit anderen Worten, die Recheneinheit setzt den normalen Betrieb fort, solange kein ausreichender Hinweis besteht, dass Imitationslernen angewendet wird. Wenn solche Hinweise bestehen, die zu einem jeweiligen Wert des Integritätssignals führen, kann der normale Betrieb gestoppt werden und/oder ein Benutzer oder ein anderes System kann dementsprechend informiert werden. In dieser Weise können bösartige Versuche, den Inhalt der Recheneinheit durch Imitationslernen zu replizieren, vereitelt werden.
Das Fehlerausgabesignal kann beispielsweise einer externen Vorrichtung, insbesondere über eine Ausgabeschnittstelle der Recheneinheit, bereitgestellt werden.
Gemäß mehreren Implementierungen enthalten die ersten Metadaten eine erste Einzelbildidentifikationsnummer des ersten Einzelbildes und die zweiten Metadaten enthalten eine zweite Einzelbildidentifikationsnummer des zweiten Einzelbildes.
Die Einzelbildidentifikationsnummer entspricht einer Markierung, beispielsweise einem Zahlenwert, insbesondere einer ganzen Zahl, die aufeinanderfolgende Einzelbilder markiert, um eine Identifikation der individuellen Einzelbilder des Videodatenstroms zu ermöglichen. Die Einzelbildidentifikationsnummer, die auch als Einzelbild-ID bezeichnet werden kann, steigt, insbesondere gemäß der chronologischen Abfolge der Einzelbilder, insbesondere gemäß den jeweiligen Aufnahmezeitpunkten der zugehörigen Bilddaten der jeweiligen Einzelbilder, an. Insbesondere können sich Einzelbild-IDs von aufeinanderfolgenden Einzelbildern um einen konstanten Inkrementwert, beispielsweise um 1, unterscheiden.
Der Grenzwert ist beispielsweise gleich dem oder größer als der Inkrementwert.
Folglich bildet die Einzelbild-ID ein zuverlässiges und besonders einfaches Mittel, um auf einen Hinweis auf die Integrität oder fehlende Integrität des Videodatenstroms zu prüfen. Dies liegt insbesondere an der Tatsache, dass im Fall eines regulären Videodatenstroms die Einzelbildidentifikationsnummer sich in einer vorhersagbaren und definierten Weise für aufeinanderfolgende Einzelbilder ändert.
Ein Videodatenstrom, der als ein höchstes oder maximales Integritätsniveau aufweisend betrachtet wird, insbesondere ein Videodatenstrom, der durch eine Kamera erzeugt wird, die zu demselben Videoverarbeitungssystem wie die Recheneinheit gehört, steigt während des Videodatenstroms auch über Energiezyklen des Videodatenstroms oder mehrerer Videodatenströme streng an. Mit anderen Worten, die Einzelbild-ID ist während eines signifikanten Teils der Lebensdauer oder der gesamten Betriebszeit der Kamera beziehungsweise der Recheneinheit ungeachtet des Aus- und/oder Einschaltens der Kamera und/oder der Recheneinheit beständig.
Der aktuelle Wert der Einzelbild-ID wird insbesondere im Fall eines Ausschaltens der Recheneinheit oder der Kamera nicht gelöscht oder zurückgesetzt. Dies kann insbesondere durch Speichern der Einzelbild-ID auf eine nichtflüchtige Speichereinheit der Kamera, der Recheneinheit oder einer externen nichtflüchtigen Speichereinheit erreicht werden.
Durch Definieren eines integren Videodatenstroms als eine streng ansteigende Einzelbild-ID aufweisend kann ein hohes Sicherheitsniveau durch das Verfahren gemäß dem verbesserten Konzept erreicht werden.
Da nicht in jedem Fall vermieden werden kann, dass individuelle Einzelbilder der Videodatenströme durch die Recheneinheit nicht korrekt verarbeitet werden, kann es vorteilhaft sein, den Grenzwert größer als das Inkrement zwischen den Einzelbild-IDs von aufeinanderfolgenden Einzelbildern zu definieren.
Gemäß mehreren Implementierungen ist der Grenzwert beispielsweise gleich oder kleiner als das 100-fache des Inkrements zwischen aufeinanderfolgenden Einzelbildern, insbesondere gleich oder kleiner als das 10-fache des Inkrements, beispielsweise gleich oder kleiner als das 5-fache des Inkrements.
Der exakte Wert des Grenzwerts hängt von der tatsächlichen Implementierung der Kamera des Videoverarbeitungssystems und der Recheneinheit ab, hängt insbesondere von der erwarteten oder angemessenen Größenordnung von Diskontinuitäten zwischen aufeinanderfolgenden Einzelbildern in einem integren Videodatenstrom ab. Solche Diskontinuitäten können beispielsweise in einem normalen Betrieb des Videoverarbeitungssystems auftreten.
Gemäß mehreren Implementierungen des Verfahrens wird die Recheneinheit benutzt, um weitere erste Metadaten des ersten Einzelbildes mit entsprechenden weiteren zweiten Metadaten des zweiten Einzelbildes zu vergleichen. Die Recheneinheit wird benutzt, um eine weitere Abweichung, insbesondere zwischen den weiteren ersten Metadaten und den weiteren zweiten Metadaten, basierend auf einem Ergebnis des Vergleichs der weiteren ersten Metadaten mit den weiteren zweiten Metadaten zu bestimmen. Die Recheneinheit wird benutzt, um die weitere Abweichung mit einem vordefinierten weiteren Grenzwert zu vergleichen und das Integritätssignal abhängig von einem Ergebnis des Vergleichs der weiteren Abweichung mit dem weiteren Grenzwert zu erzeugen.
Die weiteren ersten und weiteren zweiten Metadaten betreffen insbesondere einen anderen Aspekt der Bilddaten oder des Einzelbildes als die ersten und die zweiten Metadaten. Die weiteren ersten Metadaten betreffen jedoch denselben Aspekt die wie weiteren zweiten Metadaten. Die Erläuterungen hinsichtlich der ersten und der zweiten Metadaten können analog auf die ersten und die zweiten weiteren Metadaten übertragen werden.
Durch Berücksichtigen von verschiedenen Aspekten und verschiedenen entsprechenden Typen von Metadaten kann die Zuverlässigkeit der Integritätsüberwachung verbessert werden, insbesondere kann die Wahrscheinlichkeit für sowohl falsch-positive als auch falsch-negative Feststellungen verringert werden.
Gemäß mehreren Implementierungen enthalten die weiteren ersten Metadaten eine Größe betreffend eine Belichtungszeit des ersten Einzelbildes, eine Verstärkung des ersten Einzelbildes, eine Größe des ersten Einzelbildes oder einen Aufnahmeort des ersten Einzelbildes. Die Belichtungszeit, die Verstärkung, die Größe und/oder der Aufnahmeort des ersten Einzelbildes können auch als jeweilige Größen des Bilddatensatzes des ersten Einzelbildes verstanden werden.
Insbesondere enthalten die weiteren zweiten Metadaten die entsprechende Größe des zweiten Einzelbildes beziehungsweise der Bilddaten des zweiten Einzelbildes.
Hinsichtlich der Einzelbildidentifikationsnummer ändern sich die Größen gewöhnlich nicht signifikant zwischen aufeinanderfolgenden Einzelbildern, vorausgesetzt es ist ein regulärer Videodatenstrom. Daher können Diskontinuitäten in diesen Größen zwischen dem ersten und dem zweiten Einzelbild auch als Hinweis darauf, dass Imitationslernen angewendet wird, oder auf einen synthetischen Videodatenstrom interpretiert werden.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, ein Maß für eine Ähnlichkeit, insbesondere eine visuelle Ähnlichkeit, des ersten Einzelbildes und des zweiten Einzelbildes basierend auf ersten Bilddaten des ersten Einzelbildes und auf zweiten Bilddaten des zweiten Einzelbildes zu bestimmen und das Integritätssignal oder ein weiteres Integritätssignal abhängig von dem Maß für die Ähnlichkeit zu erzeugen.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, die Ausgabedaten abhängig von dem weiteren Integritätssignal zu erzeugen.
Gemäß dem verbesserten Konzept wird auch ein Verfahren zum Erzeugen eines Videodatenstroms bereitgestellt. Das Verfahren beinhaltet das Benutzen einer Kamera, um während jedes einer ersten Vielzahl von aufeinanderfolgenden Zeiträumen und während jedes einer zweiten Vielzahl von aufeinanderfolgenden Zeiträumen einen Bilddatensatz zu erzeugen, der eine Umgebung der Kamera abbildet, wobei die erste und die zweite Vielzahl von Zeiträumen verschiedenen aufeinanderfolgenden Energiezyklen der Kamera entsprechen. Das Verfahren beinhaltet ferner das Erzeugen entsprechender Metadaten für jeden der Bilddatensätze, insbesondere der ersten und der zweiten Vielzahl von Zeiträumen, beispielsweise unter Verwendung einer Verarbeitungseinheit der Kamera, wobei die Metadaten eine zugehörige Einzelbildidentifikationsnummer enthalten, wobei die Einzelbildidentifikationsnummern der Metadaten der Bilddatensätze für alle Bilddatensätze der ersten Vielzahl von Zeiträumen und der zweiten Vielzahl von Zeiträumen streng ansteigend sind. Das Verfahren beinhaltet das Kombinieren jedes Bilddatensatzes mit den entsprechenden Metadaten, um ein jeweiliges Einzelbild des Videodatenstroms, beispielsweise unter Verwendung der Verarbeitungseinheit der Kamera, zu erzeugen.
Die zum Erzeugen des Bilddatensatzes benutzte Kamera und die Recheneinheit, die mit Bezug auf das Verfahren zur Integritätsüberwachung beschrieben sind, können insbesondere von demselben Videoverarbeitungssystem enthalten sein.
Insbesondere beschreibt das Verfahren zum Erzeugen des Videodatenstroms gemäß dem verbesserten Konzept ein Verfahren zum Erzeugen eines Videodatenstroms mit einer gegebenen oder mit einer ausreichenden Integrität, der, insbesondere unter Verwendung eines Überwachungsverfahrens gemäß dem verbesserten Konzept, von synthetischen Videodatenströmen unterschieden werden kann.
Insbesondere ist der durch das Verfahren gemäß dem verbesserten Konzept erzeugte Videodatenstrom für Implementierungen des Verfahrens zur Integritätsüberwachung geeignet, bei denen die ersten und die zweiten Metadaten eine Einzelbildidentifikationsnummer enthalten.
Ein Energiezyklus der Kamera kann beispielsweise als durchgängige Ein-Zeit der Kamera, gefolgt von einer durchgehenden Aus-Zeit der Kamera, oder umgekehrt verstanden werden. Insbesondere wird die Kamera mindestens einmal während der zwei aufeinanderfolgenden Energiezyklen jeweils aus- und eingeschaltet.
Die erste Vielzahl von Zeiträumen liegt beispielsweise innerhalb eines ersten Ein-Zeitraums eines ersten Energiezyklus der zwei aufeinanderfolgenden Energiezyklen und die zweite Vielzahl von Zeiträumen liegt innerhalb eines zweiten Ein-Zeitraums eines zweiten Energiezyklus der aufeinanderfolgenden Energiezyklen. Die Kamera wird beispielsweise zwischen den ersten und den zweiten Zeiträumen ausgeschaltet.
Dass die Einzelbild-IDs für alle Bilddatensätze der ersten Vielzahl und der zweiten Vielzahl von Zeiträumen streng ansteigend sind, impliziert insbesondere, dass die Einzelbild-IDs über aufeinanderfolgende Energiezyklen hinweg ansteigen. Mit anderen Worten, die Einzelbild-IDs aller Bilddatensätze, die der zweiten Vielzahl von Zeiträumen entsprechen, sind größer als die Einzelbild-IDs aller Bilddatensätze, die der ersten Vielzahl von Zeiträumen entsprechen.
Dass die Einzelbild-IDs streng ansteigend sind, kann beispielsweise implizieren, dass jedes Einzelbild oder jeder Bilddatensatz exakt die Einzelbild-ID eines vorherigen Einzelbildes plus das vordefinierte Inkrement aufweist.
Insbesondere werden die Einzelbild-IDs zwischen zwei Energiezyklen oder am Beginn oder Ende eines Energiezyklus nicht zurückgesetzt. Insbesondere wird die Einzelbild-ID nicht zurückgesetzt, wenn die Kamera ausgeschaltet wird oder wenn sie eingeschaltet wird.
Während eines Zeitraums der ersten oder der zweiten Vielzahl von Zeiträumen wird ein entsprechender Bilddatensatz durch die Kamera aufgenommen. Folglich ist eine Dauer der Zeiträume mindestens so lang wie eine Belichtungszeit oder eine maximale Belichtungszeit für das Aufnehmen der Bilder.
Gemäß dem Verfahren zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept wird eine beständig ansteigende Einzelbild-ID bereitgestellt, die das Überwachen oder Identifizieren der Integrität des Videodatenstroms ermöglicht.
Da die Einzelbild-IDs streng ansteigend sind, insbesondere über Energiezyklen, können signifikante Abweichungen in der Einzelbild-ID zwischen aufeinanderfolgenden Einzelbildern auf Imitationslernen hinweisen, können insbesondere angeben, dass der Videodatenstrom nicht durch das Verfahren gemäß dem verbesserten Konzept erzeugt wird. Der gemäß dem verbesserten Konzept erzeugte Videodatenstrom kann daher als Referenztyp eines integren Videodatenstroms betrachtet werden.
Gemäß mehreren Implementierungen des Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept wird wenigstens eine finale Einzelbildidentifikationsnummer jedes der Energiezyklen, beispielsweise unter Verwendung der Verarbeitungseinheit der Kamera, auf eine nichtflüchtige Speichereinheit, insbesondere der Kamera oder außerhalb der Kamera, die beispielsweise von der Recheneinheit des Videoverarbeitungssystems enthalten ist, gespeichert.
Die nichtflüchtige Speichereinheit kann beispielsweise als EPROM, EEPROM, NVRAM, Flash-Speicher, Halbleiterlaufwerk, Festplattenlaufwerk oder anderweitig implementiert werden.
Die finale Einzelbildidentifikationsnummer entspricht insbesondere einer Einzelbild-ID eines finalen Einzelbildes des jeweiligen Energiezyklus.
Am Beginn eines Energiezyklus wird die gespeicherte finale Einzelbild-ID des vorherigen Energiezyklus ausgelesen, insbesondere durch die Verarbeitungseinheit der Kamera, und eine initiale Einzelbild-ID des aktuellen Energiezyklus wird durch die gespeicherte finale Einzelbild-ID plus das Inkrement gegeben.
In dieser Weise kann die Beständigkeit der Einzelbild-ID über aufeinanderfolgende Energiezyklen verwirklicht werden.
Im Prinzip reicht es aus, die finale Einzelbild-ID jedes Energiezyklus zu speichern. Da es jedoch schwierig sein kann, ein Ende eines Energiezyklus zuverlässig vorherzusagen, kann das kontinuierliche Speichern der Einzelbild-ID über den ganzen vollständigen Energiezyklus vorteilhaft sein.
Gemäß mehreren Implementierungen werden alle Einzelbildidentifikationsnummern, insbesondere von jedem der Energiezyklen, auf die nichtflüchtige Speichereinheit gespeichert.
Die kontinuierlich gespeicherten Einzelbild-IDs können auch kontinuierlich überschrieben werden, um Speicher zu sparen.
Gemäß mehreren Implementierungen des Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept werden die Einzelbild-IDs, insbesondere alle Einzelbild-IDs, mit einer Wortgröße von mindestens 32 Bits, vorzugsweise von mindestens 64 Bits, erzeugt.
In Abhängigkeit von der Einzelbildrate können 32-Bit-Einzelbild-IDs mehrere Jahre, beispielsweise 1 bis 10 Jahre, kontinuierliche Betriebe der Kamera ohne eine Wiederholung der Einzelbild-IDs ermöglichen. In vielen Anwendungen reicht dies aus.
Implementierungen unter Verwendung einer Wortgröße von 64 Bits oder mehr ermöglichen jedoch eine kontinuierliche Betriebszeit ohne Wiederholung von Einzelbild-IDs, die um einen Faktor von 2³² im Vergleich zu einer Wortgröße von 32 Bits, das heißt einen Faktor von etwa 4,3 Milliarden, erhöht ist. In dieser Weise kann eine Wiederholung von Einzelbild-IDs praktisch ausgeschlossen werden.
Gemäß mehreren Implementierungen unterscheiden sich die Einzelbildidentifikationsnummern aller Paare aufeinanderfolgender Bilddatensätze oder von entsprechenden aufeinanderfolgenden Zeiträumen um das vordefinierte konstante Inkrement.
Die Einzelbild-IDs können beispielsweise durch positive ganze Zahlen gegeben sein und das Inkrement kann beispielsweise 1 oder eine andere positive ganze Zahl sein.
Gemäß mehreren Implementierungen des Verfahrens zum Erzeugen eines Videodatenstroms werden die Metadaten, insbesondere alle Metadaten, verschlüsselt, beispielsweise durch die Verarbeitungseinheit der Kamera.
Die Metadaten können beispielsweise vor, während oder nach einer Kombination mit dem jeweiligen Bilddatensatz verschlüsselt werden.
Insbesondere werden nur die Metadaten, aber nicht der jeweilige Bilddatensatz verschlüsselt, insbesondere wird nicht das ganze Einzelbild verschlüsselt. Daher können Rechenressourcen eingespart werden.
Das Verschlüsseln der Metadaten kann insbesondere erfolgreiche Angriffe durch Löschen oder Überschreiben der Metadaten eines Videodatenstroms, um die Integritätsüberwachung zu umgehen, verhindern.
Gemäß mehreren Implementierungen liegen die Bilddatensätze der Einzelbilder, insbesondere aller Einzelbilder, in unverschlüsselter Form vor.
Gemäß mehreren Implementierungen des Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept wird der Videodatenstrom unter Verwendung eines Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept erzeugt.
In diesem Fall ist die Abweichung kleiner als der Grenzwert, daher wird das Integritätssignal erzeugt, um die Integrität des Videodatenstroms anzuzeigen oder zu bestätigen.
Insbesondere wird die Recheneinheit benutzt, um die verschlüsselten Metadaten zu entschlüsseln.
Weitere Implementierungen des Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept folgen direkt aus den verschiedenen Implementierungen des Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept und umgekehrt.
Gemäß dem verbesserten Konzept wird auch ein Videoverarbeitungssystem, das eine Recheneinheit aufweist, bereitgestellt. Die Recheneinheit ist dazu eingerichtet, einen von einer Kamera, insbesondere einer Kamera des Videoverarbeitungssystems, erzeugten Videodatenstrom zu erhalten. Die Recheneinheit ist dazu eingerichtet, erste Metadaten eines ersten Einzelbildes einer Vielzahl aufeinanderfolgender Einzelbilder der Videodatenströme mit entsprechenden zweiten Metadaten eines zweiten Einzelbildes der Vielzahl von Zeiteinzelbildern zu vergleichen. Die Recheneinheit ist dazu eingerichtet, eine Abweichung basierend auf einem Ergebnis des Vergleichs der ersten Metadaten mit den zweiten Metadaten zu bestimmen und die Abweichung mit einem vordefinierten Grenzwert zu vergleichen. Die Recheneinheit ist ferner dazu eingerichtet, ein Integritätssignal abhängig von einem Ergebnis des Vergleichs der Abweichung mit dem Grenzwert zu erzeugen.
Gemäß mehreren Implementierungen des Videoverarbeitungssystems weist das Videoverarbeitungssystem die Kamera auf und die Kamera ist dazu eingerichtet, den Videodatenstrom zu erzeugen, insbesondere den Videodatenstrom gemäß einem Verfahren zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept zu erzeugen.
Das Videoverarbeitungssystem gemäß dem verbesserten Konzept, insbesondere die Recheneinheit, ist dazu eingerichtet, ein Verfahren zur Integritätsüberwachung gemäß dem verbesserten Konzept auszuführen. Insbesondere führt das Videoverarbeitungssystem ein Verfahren zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept aus und/oder führt ein Verfahren zur Integritätsüberwachung gemäß dem verbesserten Konzept aus.
Gemäß mehreren Implementierungen des Videoverarbeitungssystems weist das Videoverarbeitungssystem eine elektronische Steuereinheit, ECU, für ein Fahrzeug auf, wobei die ECU die Recheneinheit aufweist oder die Recheneinheit zu der ECU identisch ist.
Die ECU kann beispielsweise als Kamera-ECU des Fahrzeugs implementiert sein.
Gemäß mehreren Implementierungen des Videoverarbeitungssystems ist die Kamera in oder an dem Fahrzeug montierbar und ist insbesondere als Kraftfahrzeugkamera implementiert.
Gemäß mehreren Implementierungen ist die Recheneinheit dazu eingerichtet, abhängig von dem Integritätssignal Ausgabedaten durch Verarbeiten des Videodatenstroms zu erzeugen.
Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem mit einem Videoverarbeitungssystem gemäß dem verbesserten Konzept bereitgestellt.
Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollständig automatisch oder vollständig autonom, und insbesondere ohne dass ein manueller Eingriff oder eine Steuerung durch einen Fahrer oder einen Benutzer des Fahrzeugs erforderlich ist, zu führen. Das Fahrzeug führt erforderliche Lenkmanöver, Bremsmanöver und/oder Beschleunigungsmanöver und so weiter automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollständig automatischen oder vollständig autonomen Fahrmodus gemäß Stufe 5 der SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als Fahrerassistenzsystem, ADAS, implementiert sein, das einen Fahrer für das teilweise automatische oder teilweise autonome Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum vom Juni 2018.
Gemäß mehreren Implementierungen des Fahrzeugführungssystems ist das Fahrzeugführungssystem dazu eingerichtet, das Fahrzeug abhängig von den Ausgabedaten wenigstens teilweise automatisch zu steuern.
Gemäß mehreren Implementierungen ist das Fahrzeugführungssystem dazu eingerichtet, Benutzerinformationen abhängig von den Ausgabedaten zu erzeugen und insbesondere die Benutzerinformationen einem Benutzer oder Fahrer des Fahrzeugs bereitzustellen.
Gemäß dem verbesserten Konzept wird auch ein Fahrzeug, insbesondere ein Kraftfahrzeug, beispielsweise ein vollständig oder teilweise autonomes Fahrzeug, bereitgestellt. Das Fahrzeug weist ein Videoverarbeitungssystem und/oder ein elektronisches Fahrzeugführungssystem gemäß dem verbesserten Konzept auf.
Gemäß dem verbesserten Konzept wird ein Computerprogramm, das Befehle aufweist, bereitgestellt.
Gemäß mehreren Implementierungen des Computerprogramms veranlassen, wenn das Computerprogramm durch ein Computersystem ausgeführt wird, die Befehle das Computersystem dazu, ein Verfahren gemäß dem verbesserten Konzept, insbesondere ein Verfahren zur Integritätsüberwachung gemäß dem verbesserten Konzept, durchzuführen.
Gemäß mehreren Implementierungen des Computerprogramms veranlassen, wenn das Computerprogramm durch ein Videoverarbeitungssystem gemäß dem verbesserten Konzept, beispielsweise durch die Recheneinheit des Videoverarbeitungssystems, ausgeführt wird, die Befehle das Videoverarbeitungssystem dazu, ein Verfahren zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept durchzuführen, wobei das Videoverarbeitungssystem die Kamera aufweist.
Gemäß dem verbesserten Konzept wird ein computerlesbares Speichermedium, das ein Computerprogramm gemäß dem verbesserten Konzept speichert, bereitgestellt.
Gemäß dem verbesserten Konzept wird auch ein weiteres Verfahren zur Integritätsüberwachung eines Videodatenstroms bereitgestellt, wobei das weitere Verfahren das Benutzen einer Recheneinheit beinhaltet, um ein Maß für eine Ähnlichkeit, insbesondere eine visuelle Ähnlichkeit, eines ersten Einzelbildes einer Vielzahl von aufeinanderfolgenden Einzelbildern des Videodatenstroms und eines zweiten Einzelbildes der aufeinanderfolgenden Einzelbilder basierend auf ersten Bilddaten des ersten Einzelbildes und auf zweiten Bilddaten des zweiten Einzelbildes zu bestimmen, und ein weiteres Integritätssignal abhängig von dem Maß für die Ähnlichkeit zu erzeugen.
Insbesondere sind das erste und das zweite Einzelbild aufeinanderfolgend. Mit anderen Worten folgt das zweite Einzelbild innerhalb der Vielzahl von aufeinanderfolgenden Einzelbildern unmittelbar auf das zweite Einzelbild.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, Ausgabedaten abhängig von dem Videodatenstrom, insbesondere abhängig von dem ersten und dem zweiten Einzelbild, und abhängig von dem weiteren Integritätssignal zu erzeugen. Die Ausgabedaten können beispielsweise ein oder mehrere Ausgabesignale, Steuersignale oder andere Information enthalten, die von der Recheneinheit benutzt werden kann oder von einer weiteren Recheneinheit, beispielsweise des Fahrzeugs, um eine Funktion basierend auf dem Videodatenstrom, beispielsweise zum Steuern des Fahrzeugs, zu implementieren. Jedoch hängt die tatsächliche Form oder der Typ der Ausgabedaten von der spezifischen Nutzung der Recheneinheit im jeweiligen Fall ab.
Gemäß einigen Ausführungen wird die Recheneinheit abhängig von dem weiteren Integritätssignal in einem Normalbetriebsmodus oder in einem Fehlermodus betrieben. Wenn die Recheneinheit in einem Normalbetriebsmodus betrieben wird, wird die Recheneinheit benutzt, um die Ausgabedaten abhängig von dem Videodatenstrom zu erzeugen. Wenn die Recheneinheit in dem Fehlermodus betrieben wird, wird die Recheneinheit dazu benutzt, die Erzeugung der Ausgabedaten abhängig von dem Videodatenstrom zu stoppen und/oder um ein Fehlerausgabesignal zu erzeugen.
Gemäß einigen Ausführungen wird die Recheneinheit dazu benutzt, das Maß für die Ähnlichkeit des zweiten Einzelbildes und ein drittes Einzelbild der aufeinanderfolgenden Einzelbilder basierend auf den zweiten Bilddaten und auf dritten Bilddaten des dritten Einzelbildes zu bestimmen und das weitere Integritätssignal abhängig von dem Maß für die Ähnlichkeit des zweiten und des dritten Einzelbildes zu erzeugen.
Insbesondere sind das dritte und das zweite Einzelbild aufeinanderfolgend. Mit anderen Worten folgt das dritte Einzelbild unmittelbar auf das zweite Einzelbild innerhalb der Vielzahl von aufeinanderfolgenden Einzelbildern.
Weitere Ausführungen des weiteren Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept ergeben sich unmittelbar aus den Ausführungen des Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept und umgekehrt.
Insbesondere können alle Ausführungsformen des Verfahrens zur Integritätsüberwachung mit jeder Ausführungsform des weiteren Verfahrens zur Integritätsüberwachung kombiniert werden. In derartigen Kombinationen kann das weitere Integritätssignal identisch sein zu dem Integritätssignal und die Recheneinheit kann dazu benutzt werden, das Integritätssignal abhängig von dem Ergebnis des Vergleichs der Abweichung mit dem Schwellwert und abhängig von dem Maß für die Ähnlichkeit sein. Alternativ kann die Recheneinheit das Integritätssignal und das weitere Integritätssignal unabhängig voneinander erzeugen.
Weitere Ausführungen des Videoverarbeitungssystems gemäß dem verbesserten Konzept ergeben sich unmittelbar aus den verschiedenen Ausführungen des Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept, dem weiteren Verfahren zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept, dem Verfahren zur Integritätsüberwachung gemäß dem verbesserten Konzept und jeweils umgekehrt. Insbesondere kann das Videoverarbeitungssystem gemäß dem verbesserten Konzept dazu ausgebildet oder programmiert sein, ein Verfahren und/oder ein weiteres Verfahren zur Integritätsüberwachung gemäß dem verbesserten Konzept durchzuführen, oder das Videoverarbeitungssystem führt ein derartiges Verfahren durch.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.
In den Figuren zeigen

1 schematisch eine beispielhafte Implementierung eines Videoverarbeitungssystems gemäß dem verbesserten Konzept;
2 ein Ablaufdiagramm einer beispielhaften Implementierung eines Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept;
3 ein Ablaufdiagramm einer beispielhaften Ausführung eines weiteren Verfahrens zur Integritätsüberwachung gemäß dem verbesserten Konzept;
4 eine Kurve eines Maßes für visuelle Ähnlichkeit; und
5 eine Kurve eines Maßes für visuelle Ähnlichkeit.

In 1 ist eine beispielhafte Implementierung eines Videoverarbeitungssystems 1 gemäß dem verbesserten Konzept gezeigt.
Das Videoverarbeitungssystem 1 weist eine Recheneinheit 2 auf, die beispielsweise als ECU eines Fahrzeugs implementiert sein kann.
Die Recheneinheit ist mit einer Kamera 4 gekoppelt, die beispielsweise in oder an dem Fahrzeug montiert ist, wobei das Videoverarbeitungssystem 1 optional die Kamera 4 beinhalten kann.
Das Videoverarbeitungssystem 1 kann auch einer nichtflüchtigen Speichereinheit 8 aufweisen, der mit der Recheneinheit 2 gekoppelt ist und/oder mit der Kamera 4 gekoppelt ist.
1 gibt auch zwei aufeinanderfolgende Energiezyklen PC1, PC2 sowie einen Videodatenstrom 3 an, der durch die Kamera 4 erzeugt wird oder scheinbar durch die Kamera 4 erzeugt wird, wobei eine erste Vielzahl von Einzelbildern 3a während eines ersten Energiezyklus PC1 der Energiezyklen erzeugt worden sein kann und eine zweite Vielzahl von Einzelbildern 3b des Videodatenstroms 3 während eines zweiten Energiezyklus PC2 der aufeinanderfolgenden Energiezyklen PC1, PC2 erzeugt worden sein kann.
Im Folgenden wird die Funktion des Videoverarbeitungssystems 1 mit Bezug auf die in 2 bis 5 dargestellten Verfahren genauer erläutert.
In 2 ist ein Ablaufdiagramm einer beispielhaften Implementierung eines Verfahrens zur Integritätsüberwachung eines Videodatenstroms gemäß dem verbesserten Konzept gezeigt.
In Schritt S1 empfängt die Recheneinheit 2 ein erstes und ein zweites Einzelbild 6, 7 einer Vielzahl von aufeinanderfolgenden Einzelbildern 3a eines Videodatenstroms 3.
Die Recheneinheit 2 kann nicht per se dazwischen unterscheiden, ob ein Videodatenstrom 3 durch die Kamera 4, das heißt durch die Kamera des Videoverarbeitungssystems 1 selbst, insbesondere mittels eines Verfahrens zum Erzeugen eines Videodatenstroms gemäß dem verbesserten Konzept, erzeugt wurde, oder ob der Videodatenstrom 3 einem künstlich kompilierten Satz von inkohärenten oder nicht in Zusammenhang stehenden Videoclips entspricht, die darauf hinweisen, dass eine Entität versucht, Imitationslernen an der Recheneinheit 2 durchzuführen, unterscheiden.
In Schritt S2 vergleicht die Recheneinheit 2 eine Einzelbild-ID des ersten Einzelbildes 6 mit der Einzelbild-ID des zweiten Einzelbildes 7, wobei das erste und das zweite Einzelbild 6, 7 aufeinanderfolgende Einzelbilder sind, das heißt das zweite Einzelbild 7 dem ersten Einzelbild direkt innerhalb des Videodatenstroms 3 folgt.
Abhängig von dem Vergleich bestimmt die Recheneinheit 2 eine Abweichung zwischen den Einzelbild-IDs des ersten und des zweiten Einzelbildes 6, 7.
In Schritt S3 vergleicht die Recheneinheit 2 die Abweichung mit einem vordefinierten Grenzwert, der einer maximalen zu erwartenden Abweichung in Einzelbild-IDs von aufeinanderfolgenden Einzelbildern entspricht, falls der Videodatenstrom 3 authentisch oder integer ist.
Einzelbild-IDs von aufeinanderfolgenden Einzelbildern werden beispielsweise durch die Kamera 4 derart erzeugt, dass sie sich um exakt den Wert 1 unterscheiden. Im normalen Betrieb des Videoverarbeitungssystems 1 kann beispielsweise angenommen oder erwartet werden, dass eine kleine Anzahl von Einzelbildern durch die Recheneinheit 2 fallen gelassen oder nicht korrekt erkannt wird. Daher kann der Grenzwert beispielsweise in der Größenordnung von 5 liegen.
Wenn die Abweichung zwischen den Einzelbild-IDs des Einzelbildes 6, 7 gleich dem oder kleiner als der Grenzwert ist, fährt das Videoverarbeitungssystem 1, insbesondere die Recheneinheit 2, mit dem normalen Betrieb in Schritt S4 fort, erzeugt insbesondere eine Ausgabe abhängig von dem Videodatenstrom 3, insbesondere abhängig von den Einzelbildern 6, 7.
Wenn andererseits die Differenz der Einzelbild-IDs größer ist als der Grenzwert, kann die Recheneinheit 2 in Schritt S5 des Verfahrens in einen Fehlermodusbetrieb eintreten oder diesen einleiten.
Insbesondere kann während des Fehlermodus die Recheneinheit 2 die Erzeugung der Ausgabedaten basierend auf dem Videodatenstrom 3 stoppen.
Da die Differenz zwischen Einzelbild-IDs in diesem Fall signifikant ist, ist die Wahrscheinlichkeit, dass der Videodatenstrom 3 nicht einem Live-Videodatenstrom entspricht, der durch die Kamera 4 erzeugt wird, hoch. Stattdessen kann der empfangene Videodatenstrom 3 einem synthetischen Videodatenstrom oder mit anderen Worten einer Zusammenstellung nicht in Zusammenhang stehender oder inkohärenter Videoclips mit signifikanten Diskontinuitäten zwischen den Clips, insbesondere signifikanten Diskontinuitäten in den Einzelbild-IDs der Videoclips, entsprechen.
Daher kann die Recheneinheit 2 in diesem Fall eine fehlende Integrität des Videodatenstroms 3 identifizieren und dies kann darauf hinweisen, dass eine Entität versucht, Imitationslernen an der Recheneinheit 2 durchzuführen.
Um zuverlässig zwischen einem synthetischen Videodatenstrom und einem authentischen oder integren Videodatenstrom, der durch die Kamera 4 erzeugt wird, zu unterscheiden, kann die Kamera 4, insbesondere eine Verarbeitungseinheit (nicht gezeigt) der Kamera 4, die Einzelbild-ID jedes erzeugten Einzelbildes 5, 6, 7 kontinuierlich auf der Speichereinheit 8 speichern. Die Einzelbild-ID kann beispielsweise mit einer Wortgröße von 32 Bits oder 64 Bits gespeichert werden, um Wiederholungen von Einzelbild-IDs während der Lebensdauer der Kamera 4 theoretisch auszuschließen.
Wenn die Kamera 4 und/oder die Recheneinheit 2 am Ende des ersten Energiezyklus PC1 ausgeschaltet wird, gehen beispielsweise die Informationen hinsichtlich der finalen Einzelbild-ID der ersten Vielzahl 3a von Einzelbildern nicht verloren, da sie auf dem Speichereinheit 8 gespeichert sind. Daher kann die Kamera 4 die Speichereinheit 8 auslesen, wenn der zweite Energiezyklus PC2 gestartet wird, und mit den Einzelbild-IDs fortfahren, als ob keine Unterbrechung bestanden hätte, um eine beständige und konsistente, insbesondere streng ansteigende, Einzelbild-ID über den ganzen Videodatenstrom 3, insbesondere über die aufeinanderfolgenden Energiezyklen PC1, PC2, sicherzustellen.
In 3 ist ein Ablaufdiagramm einer beispielhaften Ausführung eines weiteren Verfahrens zur Integritätsüberwachung eines Videodatenstroms gemäß dem verbesserten Konzept gezeigt.
In Schritt S6 empfängt die Recheneinheit 2 ein erstes und ein zweites Einzelbild 6, 7 einer Vielzahl von aufeinanderfolgenden Einzelbildern 3a eines Videodatenstroms 3.
In Schritt S7 bestimmt die Recheneinheit 2 ein Maß für visuelle Ähnlichkeit des ersten Einzelbildes 6 und des zweiten Einzelbildes 6 basierend auf ersten Bilddaten des ersten Einzelbildes 6 und auf zweiten Bilddaten des zweiten Einzelbildes 7.
In Schritt S8 vergleicht die Recheneinheit 2 das Maß für visuelle Ähnlichkeit mit einem weiteren vorbestimmten Schwellwert.
Abhängig von dem Vergleich fährt das Videoverarbeitungssystem 1, insbesondere die Recheneinheit 2, mit Normalbetrieb in Schritt S9 fort oder kann in Schritt S10 des Verfahrens in den Fehlermodusbetrieb eintreten.
Das weitere Verfahren zur Integritätsüberwachung ermöglicht es, einen ausgeprägten Sprung oder Unterschied zwischen zwei Einzelbildern 6, 7 in dem Videodatenstrom 3 zu identifizieren. Wenn der Videodatenstrom 3 von einer Live-Kamera 4 kommt, dann ist ein fließender Wechsel der Einzelbildsequenzen zu erwarten und die visuelle Ähnlichkeit wird über einem vorbestimmten Schwellwert für eine Live-Videosequenz von der Kamera 4 bleiben.
Zusätzlich sollte sich eine passend gewählte Ähnlichkeitsquote auch gleichmäßig verändern. Beispielsweise wird der Übergang der Kamera 4 von einer hellen zu einer dunklen Szene nicht einen plötzlichen Wechsel zwischen zwei zeitlich nebeneinanderliegenden Einzelbildern in dem Videodatenstrom 3 auslösen. Vielmehr wird der Wechsel fließend und über mehrere Einzelbilder hinweg erfolgen.
Anstelle der Ähnlichkeit kann man auch die visuelle Unähnlichkeit berücksichtigen. Zur Veranschaulichung könnte man die Unähnlichkeit als dl/dt definieren, und es wird erwartet, dass dl/dt für einen authentischen Videodatenstrom kleiner ist als Td, wobei I die Bilddaten darstellt, dt eine Zeitdifferenz zwischen aufeinanderfolgenden Einzelbildern dar und Td eine maximal zu erwartende Unähnlichkeit.
Jedoch ist dl/dt nicht notwendigerweise ein tatsächliches Differential, sondern sollte derart verstanden werden, dass es eine von mehreren möglichen Unähnlichkeitsfunktionen zweier Einzelbilder zu verschiedenen nebeneinanderliegenden Zeitpunkten darstellt.
Außerdem sollte die strukturelle Unähnlichkeitsquote selbst, d²l/dt², kleiner sein als ein vorbestimmtes Ts.
Visuelle Unähnlichkeit, dargestellt als dl/dt, ist ein Mittel zum Messen, wie genau zwei Bilder übereinstimmen. Eine Herangehensweise besteht darin, die mittlere quadratische Abweichung zwischen zwei Bildern zu betrachten. Ein belastbarerer Schätzwert ergibt sich aus der Verwendung beispielsweise eines strukturellen Ähnlichkeitsindex SSIM. Letzterer ist ein vollständiges Maß, wobei das erste auszuwertende Einzelbild als ein Referenzbild klassifiziert würde, und das zweite Einzelbild als das mit dem ersten zu vergleichende. Des Weiteren schließen höher entwickelte Verfahren kontextbasierte visuelle Ähnlichkeit und visuelle und semantische Ähnlichkeit ein. Alle diese Ansätze können eine fließend übergehende Szene über mehrere Videoeinzelbilder von einem deutlichen Sprung im Inhalt der Szene unterscheiden.
Gemäß Ausführungsformen des weiteren Verfahrens zur Integritätsüberwachung wird jedes aufeinanderfolgende Paar Einzelbilder des empfangenen Videodatenstroms 3 gemäß einem visuellen Ähnlichkeitsalgorithmus wie oben beschrieben ausgewertet.
Wenn die Unähnlichkeitsquote größer als Ts ist, zeigt dies eine Diskontinuität im Videodatenstrom 3 an und kann darauf hindeuten, dass Imitationslernen erfolgt.
Dies kann auch über eine Abfolge von Einzelbildern hinweg verfolgt werden. Zum Beispiel zeigt 4 schematisch wie die Unähnlichkeitsquote über mehrere Einzelbilder für einen allmählichen Übergang zwischen, zum Beispiel, einer hellen und einer dunklen Szene oder einem allmählichen strukturellen Wechsel in der Szene aufgrund von Bewegung der Kamera 4 aussehen könnte. Es könnte dort ein allgemeiner Trend wachsenden visuellen Unterschieds 10 bestehen, beispielsweise abhängig von Bewegung und so weiter, jedoch ohne eine ausgeprägte Spitze, detektierbar durch d²l/dt² < Ts.
In Gegensatz dazu zeigt 5 eine Situation, in der eine deutlicher Änderung 9 aufgrund eines Wechsels des in die Recheneinheit 2 eingespielten Videoclips stattgefunden hat. An der Position der Änderung 9 besteht eine hohe Wahrscheinlichkeit künstlich kombinierter Videoclips mit relativ normaler Unähnlichkeit vor und nach dem Wechsel 9.
Die beiden unterschiedlichen Profile sich verändernder visueller Ähnlichkeit von 4 und 5 können detektiert werden und dazu benutzt werden, eine Aussage zu treffen, ob Imitationslernen wahrscheinlich stattfindet oder nicht.
Wie beschrieben, stellt das verbesserte Konzept Mittel bereit, um eine Replikation eines Softwaresystems der Recheneinheit zum Erzeugen von Ausgabedaten basierend auf einem Eingabevideodatenstrom mittels Imitationslernen zu identifizieren und folglich zu verhindern. Daher wird die IP-Sicherheit oder Informationssicherheit erhöht.

Claims

Computerimplementiertes Verfahren zur Integritätsüberwachung eines Videodatenstroms (3), das Verfahren beinhaltend das Benutzen einer Recheneinheit (2), um - erste Metadaten eines ersten Einzelbildes (6) einer Vielzahl aufeinanderfolgender Einzelbilder (3a) des Videodatenstroms (3) mit entsprechenden zweiten Metadaten eines zweiten Einzelbildes (7) der Vielzahl von Einzelbildern (3a) zu vergleichen; - eine Abweichung basierend auf einem Ergebnis des Vergleichs der ersten Metadaten mit den zweiten Metadaten zu bestimmen; - die Abweichung mit einem vordefinierten Grenzwert zu vergleichen; und - ein Integritätssignal abhängig von einem Ergebnis des Vergleichs der Abweichung mit dem Grenzwert zu erzeugen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Recheneinheit (2) benutzt wird, um abhängig von dem Videodatenstrom (3) und abhängig von dem Integritätssignal Ausgabedaten zu erzeugen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass - die Recheneinheit (2) abhängig von dem Integritätssignal in einem normalen Betriebsmodus oder in einem Fehlermodus betrieben wird; - die Recheneinheit (2) benutzt wird, um die Ausgabedaten abhängig von dem Videodatenstrom (3) zu erzeugen, wenn sie in dem normal Betriebsmodus betrieben wird; und - die Recheneinheit (2) benutzt wird, um das Erzeugen der Ausgabedaten abhängig von dem Videodatenstrom (3) zu stoppen und/oder ein Fehlerausgabesignal zu erzeugen, wenn sie in dem Fehlermodus betrieben wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass - die ersten Metadaten eine erste Einzelbildidentifikationsnummer des ersten Einzelbildes (6) enthält; und - die zweiten Metadaten eine zweite Einzelbildidentifikationsnummer des zweiten Einzelbildes (7) enthält.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Recheneinheit (2) benutzt wird, um - weitere erste Metadaten des ersten Einzelbildes (6) mit weiteren zweiten Metadaten des zweiten Einzelbildes (7) zu vergleichen; - basierend auf einem Ergebnis des Vergleichs der ersten weiteren Metadaten mit den zweiten weiteren Metadaten eine weitere Abweichung zu bestimmen; - die weitere Abweichung mit einem vordefinierten weiteren Grenzwert zu vergleichen; und - das Integritätssignal abhängig von einem Ergebnis des Vergleichs der weiteren Abweichung mit dem weiteren Grenzwert zu erzeugen.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die weiteren ersten Metadaten eine Größe betreffend eine Belichtungszeit des ersten Einzelbildes (6), eine Verstärkung des ersten Einzelbildes (6), eine Größe des ersten Einzelbildes (6) oder einen Aufnahmeort des ersten Einzelbildes (6) enthalten.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Recheneinheit (2) dazu benutzt wird, - ein Maß für eine Ähnlichkeit des ersten Einzelbildes (6) und des zweiten Einzelbildes (6) basierend auf ersten Bilddaten des ersten Einzelbildes (6) und auf zweiten Bilddaten des zweiten Einzelbildes (7) zu bestimmen; und - das Integritätssignal oder ein weiteres Integritätssignal abhängig von dem Maß für die Ähnlichkeit zu erzeugen.
Verfahren zum Erzeugen eines Videodatenstroms (3), das Verfahren enthaltend - Benutzen einer Kamera (4), um während jedes einer ersten Vielzahl aufeinanderfolgender Zeiträume und während jedes einer zweiten Vielzahl aufeinanderfolgender Zeiträume jeweils einen Bilddatensatz zu erzeugen, der eine Umgebung der Kamera (4) abbildet, wobei die erste Vielzahl von Zeiträumen und die zweite Vielzahl von Zeiträumen verschiedenen aufeinanderfolgenden Energiezyklen (PC1, PC2) der Kamera (4) entsprechen; - Erzeugen entsprechender Metadaten für jeden der Bilddatensätze, die Metadaten enthaltend eine zugehörige Einzelbildidentifikationsnummer, wobei die Einzelbildidentifikationsnummern für alle Bilddatensätze der ersten Vielzahl von Zeiträumen und der zweiten Vielzahl von Zeiträumen streng ansteigend sind; und - Kombinieren jedes Bilddatensatzes mit den entsprechenden Metadaten, um ein jeweiliges Einzelbild (5, 6, 7) des Videodatenstroms (3) zu erzeugen.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass wenigstens eine finale Einzelbildidentifikationsnummer jedes der Energiezyklen (PC1, PC2) auf eine nichtflüchtiges Speichereinheit (8) gespeichert wird.
Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass die Einzelbildidentifikationsnummern mit einer Wortgröße von mindestens 32 bit, vorzugsweise mindestens 64 bit, erzeugt werden.
Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Metadaten verschlüsselt werden.
Verfahren nach einem der Ansprüche 1 bis 7, wobei der Videodatenstrom unter Verwendung eines Verfahrens nach einem der Ansprüche 8 bis 11 erzeugt wird.
Videoverarbeitungssystem aufweisend eine Recheneinheit (2), dazu eingerichtet, - einen von einer Kamera (4) erzeugten Videodatenstrom (3) zu erhalten; - erste Metadaten eines ersten Einzelbildes (6) einer Vielzahl aufeinanderfolgender Einzelbilder (3a) des Videodatenstroms (3) mit entsprechenden zweiten Metadaten eines zweiten Einzelbildes (7) der Vielzahl von Einzelbildern (3a) zu vergleichen; - eine Abweichung basierend auf einem Ergebnis des Vergleichs der ersten Metadaten mit den zweiten Metadaten zu bestimmen; - die Abweichung mit einem vordefinierten Grenzwert zu vergleichen; und - ein Integritätssignal abhängig von einem Ergebnis des Vergleichs der Abweichung mit dem Grenzwert zu erzeugen.
Videoverarbeitungssystem nach Anspruch 13, dadurch gekennzeichnet, dass die Recheneinheit (2) dazu eingerichtet ist, abhängig von dem Integritätssignal Ausgabedaten durch Verarbeiten des Videodatenstroms (3) zu erzeugen.
Computerprogrammprodukt aufweisend Befehle, die - bei Ausführung durch ein Computersystem das Computersystem dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen; und/oder - bei Ausführung durch ein Videoverarbeitungssystem (1) gemäß einem der Ansprüche 13 oder 14 ausgeführt wird, wobei das Videoverarbeitungssystem (1) außerdem die Kamera (4) enthält, das Videoverarbeitungssystem (1) dazu veranlassen, ein Verfahren nach einem der Ansprüche 8 bis 12 durchzuführen