DE102018125091A1

DE102018125091A1 - Vorrichtung zur Bildrahmenerfassung, Erkennung eingefrorener Bildrahmen, Systeme zur Erkennung eingefrorener Bildrahmen, Verfahren und Fahrzeug

Info

Publication number: DE102018125091A1
Application number: DE102018125091.6A
Authority: DE
Inventors: Javier Julve; Jean-Sebastien SAMSON; Santiago Tonietti
Original assignee: Motherson Innovations Co Ltd
Current assignee: Motherson Innovations Co Ltd
Priority date: 2018-10-10
Filing date: 2018-10-10
Publication date: 2020-04-16
Also published as: CN111031201A; US11516460B2; US20200120332A1

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bildrahmenerfassung, eine Vorrichtung zur Erkennung mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, ein System zum Bereitstellen einer Erkennung eingefrorener Bildrahmen innerhalb mindestens eines Videostroms, jeweilige Verfahren und ein Fahrzeug.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bildrahmenerfassung, eine Vorrichtung zur Erkennung mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, ein System zum Bereitstellen einer Erkennung eingefrorener Bildrahmen innerhalb mindestens eines Videostroms, jeweilige Verfahren und ein Fahrzeug.
Bei fortschrittlichen Spiegelersatzsystemen ist es erforderlich, das System in einem bekannten Sicherheitsstatus zu betreiben. Im Hinblick auf die Sicherheit des Fahrzeugs und seiner Insassen ist ein als „eingefrorener Bildrahmen“ bezeichnetes Phänomen von besonderem Interesse, das als eine schwerwiegende Gefährdung katalogisiert ist. Ein eingefrorener Bildrahmen kann beispielsweise in Situationen auftreten, in denen Verzögerungen entlang der Signalkette von der Aufnahmeeinheit zur Anzeigeeinheit jeweils des Spiegelersatzsystems auftreten. Dies kann durch das Vorhandensein von Pufferspeichern entlang der Signalkette oder andere systemabhängige Latenzen geschehen. Um Gefahrensituationen in Verbindung mit veralteten Bildrahmeninformationen zu vermeiden, müssen eingefrorene Bildrahmen zuverlässig und ausfallsicher erkannt werden.
Hinsichtlich der Erkennung von normalem Videobetrieb sind derzeit verschiedene Systeme bekannt.
Das Dokument US 2017/0339375 A1 betrifft ein Rückblickvideosystem für ein Fahrzeug, das eine Anzeige und eine Rückblickkamera beinhaltet, die ein Rohvideosignal erzeugt. Ein Videomodifizierungsmodul empfängt das Rohvideosignal und erzeugt darauf basierend ein modifiziertes Videosignal. Ein Videoanalysemodul analysiert, ob das modifizierte Videosignal gültig oder ungültig ist. Ein Schalter gibt das modifizierte Videosignal an die Anzeige aus, wenn das Fahrzeug rückwärtsfährt und das modifizierte Videosignal gültig ist, und gibt das Rohvideosignal an die Anzeige aus, wenn das Fahrzeug rückwärtsfährt und das modifizierte Videosignal ungültig ist.
Das Dokument US 2016/0039341 A1 betrifft eine Fahrzeuganzeige, die ein Kameravideo mit einem Indikator anzeigt. Der Indikator ist auf der Anzeige statisch, während das Kameravideo auf der Anzeige eingefroren ist, wodurch ein Betrachter darüber informiert wird, dass das Kameravideo eingefroren ist, und der Indikator ist auf der Anzeige dynamisch, während das Kameravideo live auf der Anzeige ist.
Die bekannten Systeme haben den Nachteil, dass ihre Umsetzung schwierig und auch kostenaufwendig zu realisieren ist. Ferner ist es mit diesen Systemen recht schwierig, die Erkennung von eingefrorenen Bildrahmen effizient und zuverlässig zu automatisieren. Eine zuverlässige Anzeige und/oder Erkennung von eingefrorenen Bildrahmen ist jedoch von großer Bedeutung. Andernfalls können gefährliche Situationen auftreten, in denen beispielsweise ein Fahrer rückwärtsfährt, ohne zu erkennen, dass der Videostrom des Rücksichtkamerasystems aktuell eingefroren ist. Dann kann der Fahrer an Objekte anprallen oder - noch schlimmer - an Personen hinter dem Fahrzeug anprallen, da die Objekte oder Personen dem Fahrer aufgrund des Phänomens des eingefrorenen Bildrahmens nicht angezeigt werden.
Die Erfindung strebt daher an, Schemata bereitzustellen, die ein Bereitstellen zuverlässiger Informationen über den Betriebsstatus eines Videostroms, insbesondere bezogen auf das Auftreten von eingefrorenen Bildrahmen, ermöglichen. Gleichzeitig sollen die Umsetzung und der Betrieb der Schemata in einer kostengünstigen und vor allem zuverlässigen und sicheren Weise möglich sein.
Die Erfindung löst das Problem gemäß einem ersten Aspekt durch eine Vorrichtung zur Bildrahmenerfassung, wobei die Vorrichtung Folgendes umfasst: mindestens einen Bildsensor, der dazu ausgebildet ist, mindestens einen Bildrahmen eines optischen Gesamtsignals zu erfassen, das mindestens einen Bereich des Bildsensors beleuchtet, wobei das optische Gesamtsignal mindestens ein erstes optisches Signal und mindestens ein zweites optisches Signal umfasst; und mindestens einen Generator eines optischen Mustersignals, der dazu ausgebildet ist, mindestens das zweite optische Signal zu erzeugen.
In einer Ausführungsform umfasst, repräsentiert und/oder ist das erste optische Signal ein optisches Signal einer zu erfassenden Szene und/oder umfasst, repräsentiert und/oder ist das zweite optische Signal ein optisches Mustersignal.
In einer weiteren Ausführungsform umfasst das erste optische Signal und/oder das optische Signal der zu erfassenden Szene mindestens (a) von mindestens einem Objekt reflektiertes, emittiertes und/oder ausgehendes Licht, wobei insbesondere das Objekt in der Szene vorhanden ist, (b) in Richtung des Bildsensors reflektiertes Licht, (c) mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums.
In noch einer weiteren Ausführungsform (i) ist das zweite optische Signal und/oder das optische Mustersignal dynamisch und/oder verändert sich im Laufe der Zeit, (ii) umfasst, codiert, repräsentiert und/oder zeigt das zweite optische Signal und/oder das optische Mustersignal mindestens eine vordefinierte Information und/oder mindestens ein visuelles Muster an, (iii) umfasst das zweite optische Signal und/oder das optische Mustersignal mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums, und/oder (iv) verändert sich das zweite optische Signal und/oder das optische Mustersignal synchron mit der Bildrate des Bildsensors. Beispielsweise kann das zweite optische Signal und/oder das optische Muster mindestens einen Rollen-Donut umfassen und/oder repräsentieren.
In einer Ausführungsform umfasst der mindestens eine Bereich des Bildsensors mindestens einen ersten Bereich und/oder mindestens einen zweiten Bereich, wobei insbesondere der mindestens eine erste Bereich des Bildsensors durch das erste optische Signal beleuchtet wird, der mindestens eine zweite Bereich des Bildsensors durch das zweite optische Signal beleuchtet wird, der mindestens eine erste Bereich des Bildsensors dazu ausgebildet ist, mindestens Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums zu erfassen, und/oder der mindestens eine zweite Bereich des Bildsensors dazu ausgebildet ist, mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums zu erfassen.
In einer weiteren Ausführungsform sind der erste Bereich und der zweite Bereich so zueinander angeordnet, dass (i) der erste Bereich und der zweite Bereich einander teilweise und/oder vollständig überlappen, (ii) der erste Bereich mindestens teilweise innerhalb des zweiten Bereichs des Bildsensors liegt, wobei vorzugsweise der erste Bereich und der zweite Bereich eine, zwei, drei oder vier gemeinsame Kanten aufweisen, (iii) der zweite Bereich mindestens teilweise innerhalb des ersten Bereichs des Bildsensors liegt, vorzugsweise der erste Bereich und der zweite Bereich eine, zwei, drei oder vier gemeinsame Kanten aufweisen, (iv) der erste Bereich vollständig innerhalb des zweiten Bereichs des Bildsensors liegt, (v) der zweite Bereich vollständig innerhalb des ersten Bereichs liegt, (vi) der erste Bereich und der zweite Bereich mindestens eine gemeinsame Kante aufweisen, und/oder (vii) der zweite Bereich außerhalb des ersten Bereichs liegt, insbesondere vollständig.
In noch einer weiteren Ausführungsform wird mindestens ein erster optischer Pfad durch den Ausbreitungspfad definiert, den das erste optische Signal, insbesondere von der zu erfassenden Szene und/oder in Richtung des Bildsensors, nimmt, und/oder wird mindestens ein zweiter optischer Pfad durch den Ausbreitungspfad definiert, den das zweite optische Signal insbesondere von dem Generator eines optischen Mustersignals und/oder in Richtung des Bildsensors nimmt.
In einer Ausführungsform umfasst die Vorrichtung ferner mindestens ein erstes optisches System, das dazu ausgebildet ist, (i) das erste optische Signal auf den und/oder in Richtung des Bildsensors, insbesondere auf den und/oder in Richtung des ersten Bereichs, zu projizieren und/oder zu richten, und/oder (ii) den Bildsensor, insbesondere den ersten Bereich, mit dem ersten optischen Signal zu beleuchten.
In einer weiteren Ausführungsform ist das erste optische System in dem ersten optischen Pfad platziert und/oder ist zwischen der zu erfassenden Szene und dem Bildsensor platziert.
In noch einer weiteren Ausführungsform umfasst der Generator eines optischen Mustersignals mindestens eine Beleuchtungseinheit zur Erzeugung, Übertragung und/oder Emission des zweiten optischen Signals und/oder des optischen Mustersignals, wobei die Beleuchtungseinheit insbesondere Licht im sichtbaren, infraroten und/oder ultravioletten Lichtspektrum emittiert, mindestens einen Monitor, insbesondere im sichtbaren, infraroten und/oder ultravioletten Lichtspektrum arbeitend. Beispielsweise könnte die Beleuchtungseinheit eine LED oder ein Array von LEDs sein, wobei die LEDs Licht im gleichen Wellenlängenbereich oder in verschiedenen Wellenlängenbereichen emittieren können.
In einer Ausführungsform umfasst/umfassen die Vorrichtung und/oder der Generator eines optischen Mustersignals mindestens ein zweites optisches System, das insbesondere in dem zweiten optischen Pfad platziert ist, optisch zwischen dem Generator eines optischen Mustersignals und dem Bildsensor platziert ist und/oder innerhalb des Generators eines optischen Mustersignals platziert ist.
In einer weiteren Ausführungsform umfasst/umfassen das erste optische System und/oder das zweite optische System mindestens eine Linse und/oder mindestens eine Blende.
In noch einer weiteren Ausführungsform umfasst der Bildsensor ferner Mittel, die dazu ausgebildet sind, mindestens ein Videostromsignal von aufeinanderfolgenden erfassten Bildrahmen zu erzeugen.
In einer Ausführungsform umfasst die Vorrichtung ferner mindestens ein Spiegelelement, insbesondere platziert in dem ersten optischen Pfad, platziert in dem zweiten optischen Pfad, platziert optisch zwischen dem Generator eines optischen Mustersignals und dem Bildsensor, platziert optisch zwischen dem ersten optischen System und dem Bildsensor, platziert optisch zwischen der zu erfassenden Szene und dem ersten optischen System, platziert optisch zwischen dem Generator eines optischen Mustersignals und dem zweiten optischen System, platziert optisch zwischen dem zweiten optischen System und dem Bildsensor und/oder platziert optisch zwischen der zu erfassenden Szene und dem Bildsensor.
In noch einer weiteren Ausführungsform ist das Spiegelelement mindestens in bestimmten Bereichen als ein halbdurchlässiger Spiegel oder als ein Kaltlichtspiegel ausgebildet, die für einen speziellen Wellenlängenbereich durchlässig und für andere Spektralbereiche reflektierend sind, wobei insbesondere (i) das erste optische Signal und/oder das zweite optische Signal das Spiegelelement durch die teildurchlässige Seite des Spiegelelements passiert/passieren und/oder (ii) das erste optische Signal und/oder das zweite optische Signal an der reflektierenden Seite des Spiegelelements reflektiert wird/werden.
In einer Ausführungsform umfasst der erste optische Pfad mindestens einen ersten ersten optischen Pfad und mindestens einen zweiten ersten optischen Pfad, wobei sich insbesondere der erste erste optische Pfad zwischen dem ersten optischen System und/oder der zu erfassenden Szene einerseits und dem Spiegelelement andererseits erstreckt, und/oder sich der zweite erste optische Pfad zwischen dem Spiegelelement einerseits und dem Bildsensor andererseits erstreckt.
In einer weiteren Ausführungsform umfasst der zweite optische Pfad mindestens einen ersten zweiten optischen Pfad und mindestens einen zweiten zweiten optischen Pfad, wobei sich insbesondere der erste zweite optische Pfad zwischen dem Generator eines optischen Mustersignals und/oder dem zweiten optischen System einerseits und dem Spiegelelement andererseits erstreckt, und/oder sich der zweite zweite optische Pfad zwischen dem Spiegelelement und dem Bildsensor erstreckt.
In noch einer weiteren Ausführungsform erstrecken sich der erste erste optische Pfad, der zweite erste optische Pfad, der erste zweite optische Pfad und/oder der zweite zweite optische Pfad einerseits und der erste erste optische Pfad, der zweite erste optische Pfad, der erste zweite optische Pfad und/oder der zweite zweite optische Pfad andererseits senkrecht und/oder parallel zueinander, mindestens im Wesentlichen und/oder abschnittsweise.
In einer Ausführungsform erstrecken sich der erste erste optische Pfad und/oder der erste zweite optische Pfad einerseits und der zweite erste optische Pfad und/oder der zweite zweite optische Pfad andererseits entlang einer gemeinsamen Geraden, mindestens im Wesentlichen und/oder abschnittsweise.
In einer weiteren Ausführungsform ist der Generator eines optischen Mustersignals an dem Bildsensor angebracht und/oder so angeordnet, dass er den Bildsensor, insbesondere den zweiten Bereich, mit dem zweiten optischen Signal beleuchtet, vorzugsweise (i) direkt, wobei insbesondere (a) die Richtung des zweiten optischen Pfades durch ein oder mehrere optische Elemente, insbesondere durch Spiegelelemente und/oder das Spiegelelement, nicht verändert wird, und/oder (b) nicht ein oder mehrere optische Elemente, insbesondere Spiegelelemente und/oder das Spiegelelement, in dem zweiten optischen Pfad und/oder optisch zwischen dem Generator eines optischen Mustersignals und dem Bildsensor platziert ist/sind, und/oder (ii) indirekt, insbesondere über das Spiegelelement und/oder durch Reflektieren des zweiten optischen Signals an der reflektierenden Seite des Spiegelelements.
Die Erfindung löst das Problem gemäß einem zweiten Aspekt durch eine Vorrichtung zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von Bildrahmen, die aufeinanderfolgend durch eine Vorrichtung des ersten Aspekts der Erfindung erfasst wurden, wobei die Vorrichtung Folgendes umfasst: mindestens eine Empfangseinheit zum Empfangen des Videostroms; und mindestens eine Bildverarbeitungseinheit, umfassend: mindestens ein Extraktionselement, das dazu ausgebildet ist, mindestens einen ersten Bildrahmen aus dem Videostrom zu extrahieren, mindestens ein erstes Muster zu extrahieren, das innerhalb des mindestens einen ersten Bildrahmens gemischt ist, mindestens einen zweiten Bildrahmen aus dem Videostrom zu extrahieren und/oder mindestens ein zweites Muster zu extrahieren, das innerhalb des mindestens einen zweiten Bildrahmens gemischt ist; und mindestens ein Komparatorelement, das dazu ausgebildet ist, das aus dem ersten Bildrahmen extrahierte erste Muster mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster zu vergleichen, und zu identifizieren, ob ein eingefrorener Bildrahmen vorhanden ist, wobei ein eingefrorener Bildrahmen als vorhanden identifiziert wird, falls das erste Muster gleich dem zweiten Muster ist und/oder falls das erste Muster und/oder das zweite Muster nicht gleich einem erwarteten ersten Muster bzw. einem erwarteten zweiten Muster ist/sind.
In einer Ausführungsform wird es bevorzugt, dass der erste Bildrahmen ein aktueller Bildrahmen ist, der zweite Bildrahmen ein vorhergehender Bildrahmen ist, der zweite Bildrahmen zeitlich unmittelbar vor dem ersten Bildrahmen liegt und/oder der zweite Rahmen und der erste Rahmen zeitlich durch mindestens einen, vorzugsweise durch eine Mehrzahl von Zwischenbildrahmen voneinander getrennt sind und/oder dass aufgrund der Kenntnis der Musterdynamik das erwartete erste Muster und/oder das erwartete zweite Muster erwartet wird/werden.
In einer weiteren Ausführungsform umfasst die Vorrichtung ferner mindestens eine Benachrichtigungseinheit, die dazu ausgebildet ist, ein Benachrichtigungssignal auszugeben und/oder den Videostrom zu manipulieren, wenn das Komparatorelement erkennt, dass ein eingefrorener Bildrahmen vorhanden ist, wobei insbesondere das Manipulieren des Videostroms ein Mischen mindestens einer für den menschlichen Beobachter des Videostroms, vorzugsweise auf mindestens einer Anzeigevorrichtung, wahrnehmbaren Fahrerinformation innerhalb mindestens eines Rahmens des Videostroms umfasst, wobei das Benachrichtigungssignal und/oder die Fahrerinformation mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildrahmens umfasst, codiert, repräsentiert und/oder anzeigt.
In noch einer weiteren Ausführungsform kann bzw. können das erste Muster und/oder das zweite Muster mindestens in einer Instanz von Zeit durch ein optisches Signal, insbesondere das zweite optische Signal und/oder ein von einem Generator eines optischen Mustersignals, vorzugsweise dem Generator eines optischen Mustersignals, den die Vorrichtung des ersten Aspekts der Erfindung umfasst, erzeugtes optisches Signal repräsentiert werden.
Die Erfindung löst das Problem gemäß einem dritten Aspekt durch ein System zum Bereitstellen einer Erkennung von eingefrorenen Bildrahmen in mindestens einem Videostrom, wobei das System Folgendes umfasst: mindestens eine erste Vorrichtung, insbesondere umfassend mindestens eine Vorrichtung gemäß dem ersten Aspekt der Erfindung, zur Bildrahmenerfassung und Erzeugung des Videostroms von aufeinanderfolgenden erfassten Bildrahmen; mindestens eine zweite Vorrichtung, insbesondere umfassend mindestens eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung, zur Erkennung mindestens eines eingefrorenen Bildrahmens innerhalb des Videostroms; und/oder mindestens eine Anzeigevorrichtung zum Anzeigen des Videostroms.
Die Erfindung löst das Problem gemäß einem vierten Aspekt durch ein Verfahren zur Bildrahmenerfassung, insbesondere ausgeführt an einer Vorrichtung des ersten Aspekts der Erfindung, wobei das Verfahren die folgenden Schritte umfasst: Beleuchten mindestens eines ersten Bereichs eines Bildsensors mit einem ersten optischen Signal, wobei das erste optische Signal vorzugsweise ein optisches Signal einer zu erfassenden Szene umfasst, repräsentiert und/oder ist; Erzeugen, insbesondere mit einem Generator eines optischen Mustersignals, mindestens eines zweiten optischen Signals, wobei das zweite optische Signal vorzugsweise ein optisches Mustersignal umfasst, repräsentiert und/oder ist; Beleuchten mindestens eines zweiten Bereichs des Bildsensors mit dem zweiten optischen Signal; und Erfassen mindestens eines Rahmens des optischen Gesamtsignals, das mindestens einen Bereich des Bildsensors beleuchtet, wobei das optische Gesamtsignal mindestens das erste optische Signal und mindestens das zweite optische Signal umfasst, wobei der Bereich mindestens den ersten Bereich und mindestens den zweiten Bereich umfasst.
Die Erfindung löst das Problem gemäß einem fünften Aspekt durch ein Verfahren zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von durch eine Vorrichtung des ersten Aspekts der Erfindung aufeinanderfolgend erfassten Bildrahmen, ausgeführt auf einer Vorrichtung des zweiten Aspekts der Erfindung, und/oder der durch das Verfahren des vierten Aspekts der Erfindung erfassten Bildrahmen, wobei das Verfahren die folgenden Schritte umfasst: Empfangen des Videostroms; Extrahieren mindestens eines ersten Bildrahmens aus dem Videostrom, Extrahieren mindestens eines ersten Musters, das der mindestens eine erste Bildrahmen umfasst, Extrahieren mindestens eines zweiten Bildrahmens aus dem Videostrom und/oder Extrahieren mindestens eines zweiten Musters, das der mindestens eine zweite Bildrahmen umfasst; Vergleichen des aus dem ersten Bildrahmen extrahierten ersten Musters mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster, und Identifizieren, ob ein eingefrorener Bildrahmen vorhanden ist, wobei ein eingefrorener Bildrahmen als vorhanden identifiziert wird, falls das erste Muster gleich dem zweiten Muster ist und/oder falls das erste Muster und/oder das zweite Muster nicht gleich einem erwarteten ersten Muster bzw. einem erwarteten zweiten Muster ist/sind, und vorzugsweise Ausgeben eines Benachrichtigungssignals und/oder Manipulieren des Videostroms, wenn ein eingefrorener Bildrahmen als vorhanden identifiziert wird, wobei insbesondere das Manipulieren des Videostroms ein Mischen mindestens einer für den menschlichen Beobachter des Videostroms, vorzugsweise auf mindestens einer Anzeigevorrichtung, wahrnehmbaren Fahrerinformation innerhalb mindestens eines Rahmens des Videostroms umfasst, wobei das Benachrichtigungssignal und/oder die Fahrerinformation mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildrahmens umfasst, codiert, repräsentiert und/oder anzeigt.
Die Erfindung löst das Problem gemäß einem sechsten Aspekt durch ein Fahrzeug, das mindestens eine Vorrichtung gemäß dem ersten Aspekt der Erfindung zur Bildrahmenerfassung, mindestens eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung zur Erkennung mindestens eines eingefrorenen Bildrahmens innerhalb eines Videostroms und/oder mindestens ein System gemäß dem dritten Aspekt der Erfindung zur Bereitstellung einer Erkennung eingefrorener Bildrahmen innerhalb mindestens eines Videostroms umfasst.
Es wurde somit überraschenderweise festgestellt, dass durch Mischen eines ersten optischen Signals, z. B. des optischen Signals der zu erfassenden Szene, mit einem zweiten optischen Signal, z. B. dem optischen Mustersignal, das sich vorzugsweise im Laufe der Zeit ändert, und damit Ausbilden eines optischen Gesamtsignals und Beleuchten mindestens eines Bereichs eines Bildsensors mit diesem optischen Gesamtsignal, die von dem Bildsensor erfassten Bildrahmen inhärent ein Muster, insbesondere visuelles Muster, gemäß dem zweiten optischen Mustersignal umfassen.
Durch den angewendeten Mechanismus zum Mischen der beiden optischen Signale liegt das visuelle Muster von Anfang an im erfassten Bildrahmen vor. Verzögerungen, die nach der Erfassung der Bildrahmen in der nachfolgenden Übertragung und/oder Verarbeitung des Signals der nachfolgenden erfassten Bildrahmen auftreten, wirken sich daher in gleicher Weise auf das erfasste erste und zweite optische Signal aus. Somit stellt das zweite optische Signal, insbesondere in Form eines visuellen Musters, das die erfassten Bildrahmen umfassen, einen zuverlässigen Indikator für das Feststellen von eingefrorenen Bildrahmen dar. Insbesondere ist es nicht möglich, dass nur das erfasste erste optische Signal durch Verzögerungen im Videostrom beeinflusst wird. Somit besteht keine Gefahr, dass falsch positive (d. h., das Muster ändert sich nicht, obwohl der Videostrom ordnungsgemäß funktioniert) oder, noch schlimmer, falsch negative (d. h., das Muster ändert sich noch immer, obwohl sich der Videostrom im Status eines eingefrorenen Bildrahmens befindet). Gleichzeitig ist die Umsetzung der Erfindung auf einfache Weise möglich, während der Aufbau noch recht robust ist.
In dieser Hinsicht haben die Erfinder ferner festgestellt, dass die Realisierung des Mischmechanismus, d. h., das Mischen der beiden optischen Signale, auf vielfältige Weise erreicht werden kann. Vorteilhafterweise kann das zweite optische Signal direkt oder indirekt auf den Bildsensor projiziert werden, um diesen zu beleuchten. Die beste Wahl kann in Abhängigkeit von den Entwurfsanforderungen der Vorrichtung getroffen werden.
Eine Erkennung von eingefrorenen Bildrahmen kann sehr komfortabel und zuverlässig dadurch erfolgen, dass eine Person das visuelle Muster innerhalb des Videostroms auf einer Anzeige beobachten kann, auf welcher der Videostrom angezeigt wird. Sobald das Muster aufhört, sich zu ändern, weiß die Person, dass ein eingefrorener Bildrahmen vorhanden ist. Vorteilhafter hat sich gezeigt, dass eine automatisierte Erkennung von eingefrorenen Bildrahmen auch dann effizient und zuverlässig umgesetzt werden kann, wenn sich das zweite optische Signal, damit auch das in den erfassten Bildrahmen vorhandene visuelle Muster, synchron mit der Bildrate des Bildsensors ändert. Sind dann in zwei aufeinanderfolgenden, zur Darstellung auf der Anzeige empfangenen Rahmen die Muster identisch, liegt ein eingefrorener Bildrahmen vor. Ist das optische Signal alternativ oder zusätzlich auch vorab bekannt, ist es ferner möglich, die Muster eines oder mehrerer Rahmen des Videostroms mit den erwarteten Mustern zu vergleichen. Ein eingefrorener Bildrahmen kann dann identifiziert werden, falls die tatsächlichen Muster nicht den erwarteten entsprechen und entsprechende Warnungen können ausgegeben werden.
Die Erfindung ermöglicht es somit, auf kostengünstige und einfache Weise zuverlässige und effektive Schemata zur Erfassung von Bildrahmen, die ein Muster umfassen, sowie zur Erkennung von eingefrorenen Bildrahmen umzusetzen. Damit kann eine Gewissheit über den Ist-Zustand des Videostroms zum Zwecke der Verarbeitung und/oder Anzeige der Bildrahmen eingeführt werden. Dies wiederum ermöglicht zuverlässigere Algorithmen, um eingefrorene Bildrahmen zu erkennen, ohne eine übermäßige Komplexität einzuführen, weder in der Umsetzung noch in den Verarbeitungsalgorithmen.
Wie angemerkt, wenn sich das zweite optische Signal mit der Bildrate ändert, weist jeder erfasste Rahmen ein individuelles Muster auf, insbesondere innerhalb einer Periode des Musters. Die Bildrate ist die Rate, mit welcher der Bildsensor nachfolgende Bildrahmen erfasst.
Im Sinne der vorliegenden Erfindung ist ein erstes Element „optisch zwischen“ einem ersten zweiten Element und einem zweiten zweiten Element angeordnet, wenn sich ein optisches Signal über das erste Element entlang eines optischen Pfades von dem ersten zweiten Element zu dem zweiten zweiten Element ausbreitet. So kann ein erstes Element optisch zwischen zwei zweiten Elementen liegen, obwohl das erste Element in einem räumlichen Sinne nicht zwischen den beiden zweiten Elementen liegt, d. h., die drei Elemente nicht sandwichartig angeordnet sind.
Die folgenden Zeichnungen zeigen Aspekte der Erfindung zum besseren Verständnis der Erfindung in Verbindung mit einigen beispielhaften Darstellungen, wobei

die 1a, 1b eine schematische Darstellung einer Vorrichtung zur Bildrahmenerfassung gemäß einer ersten Ausführungsform des ersten Aspekts der Erfindung zeigen;
die 2a, 2b eine schematische Darstellung einer Vorrichtung zur Bildrahmenerfassung gemäß einer zweiten Ausführungsform des ersten Aspekts der Erfindung zeigen;
3 ein Blockdiagramm des Prinzips des Mischmechanismus gemäß einer Ausführungsform des ersten Aspekts der Erfindung zeigt;
4 eine schematische Darstellung einer Vorrichtung zum Erkennen eingefrorener Bildrahmen gemäß einer Ausführungsform des zweiten Aspekts der Erfindung zeigt;
5 ein Ablaufdiagramm der Bildsignalverarbeitung gemäß einer Ausführungsform des zweiten Aspekts der Erfindung zeigt;
6 eine schematische Darstellung eines Systems zum Bereitstellen einer Erkennung eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms gemäß einer Ausführungsform des dritten Aspekts der Erfindung zeigt;
7 ein Funktionsdiagramm eines Verfahrens gemäß einer Ausführungsform des vierten Aspekts der Erfindung zeigt; und
8 ein Funktionsdiagramm eines Verfahrens gemäß einer Ausführungsform des fünften Aspekts der Erfindung zeigt.

In 1a wird eine Vorrichtung 1 zur Bildrahmenerfassung gemäß einer ersten Ausführungsform des ersten Aspekts der Erfindung gezeigt. Die Vorrichtung 1 umfasst einen Bildsensor 3. In 1b wird der Bildsensor entlang der in 1a angegebenen Sichtlinie R1 gezeigt. Folglich beziehen sich gleiche Bezugszeichen in den 1a und 1b auf die gleichen Merkmale.
Der Bildsensor ist dazu ausgebildet, mindestens einen Bildrahmen eines optischen Gesamtsignals zu erfassen, das mindestens einen Bereich des Bildsensors beleuchtet. Dieser Bereich umfasst einen ersten Bereich 5 und einen zweiten Bereich 7. Wie insbesondere 1b entnommen werden kann, sind der erste Bereich und der zweite Bereich relativ zueinander so angeordnet, dass sich der erste und der zweite Bereich an einer einzelnen Ecke der jeweiligen Bereiche treffen. Das optische Gesamtsignal umfasst ein erstes optisches Signal, das den ersten Bereich 5 des Bildsensors 3 beleuchtet, und ein zweites optisches Signal, das den zweiten Bereich 7 des Bildsensors 3 beleuchtet.
Das erste optische Signal repräsentiert ein optisches Signal einer zu erfassenden Szene. In den 1a umfasst die zu erfassende Szene ein Objekt 9. Das erste optische Signal (das in diesem Fall dem optischen Signal der zu erfassenden Szene entspricht) umfasst also mindestens aus Licht, das von dem in der Szene vorhandenen Objekt 9 in Richtung des Bildsensors 3 reflektiert und/oder emittiert wird. Zur Veranschaulichung des ersten optischen Signals, das sich insofern symmetrisch zur optischen Achse 15 in Richtung des Bildsensor 3 ausbreitet, sind in 1a Randstrahlen 11, 13 dargestellt, die vom Objekt 9 ausgehen. Die Vorrichtung 1 weist ferner ein erstes optisches System 17 auf, das dazu ausgebildet ist, das erste optische Signal auf den ersten Bereich 5 zu projizieren, um den ersten Bereich 5 des Bildsensors 3 mit dem ersten optischen Signal zu beleuchten.
Das zweite optische Signal stellt ein optisches Mustersignal dar, das von einem Generator eines optischen Mustersignals 19 erzeugt wird, den die Vorrichtung 1 umfasst. Das zweite optische Signal (das in diesem Fall dem optischen Mustersignal entspricht) umfasst mindestens teilweise Licht des sichtbaren Licht-, Infrarot- oder Ultraviolettspektrums und repräsentiert ein sich im Laufe der Zeit vordefiniert änderndes optisches Muster. Wenn also zu einer Instanz von Zeit das Muster bekannt ist, ist es auch für alle anderen Instanzen von Zeit bekannt. Insbesondere ändert sich das Muster synchron mit der Bildrate des Bildsensors 3.
Zur Veranschaulichung des zweiten optischen Signals, das sich insofern entlang einer zweiten optischen Achse 25 in Richtung des Bildsensors 3 ausbreitet, sind in 1a zwei Randstrahlen 21, 23 dargestellt, die vom Generator eines optischen Mustersignals 19 ausgehen. Die Vorrichtung 1 umfasst ferner ein Spiegelelement 27, das in der zweiten optischen Achse 25 optisch zwischen dem Generator eines optischen Mustersignals 19 und dem Bildsensor 3 platziert ist. Die zweite optische Achse 25 umfasst einen ersten zweiten optischen Pfad 29 und einen zweiten zweiten optischen Pfad 31. Der erste zweite optische Pfad 29 erstreckt sich zwischen dem Generator eines optischen Mustersignals einerseits und dem Spiegelelement 27 andererseits. Der zweite zweite optische Pfad 31 erstreckt sich zwischen dem Spiegelelement 27 und dem Bildsensor 3. Das Spiegelelement 27 reflektiert das zweite optische Signal um 90° und in Richtung des Bildsensors 3, wo es den zweiten Bereich 7 beleuchtet und gleichzeitig das erste optische Signal durch ihn hindurch in Richtung des Bildsensors 3 überträgt. Folglich erstrecken sich der erste zweite optische Pfad 29 und der zweite zweite optische Pfad 31 senkrecht zueinander, und der erste optische Pfad 15 und der zweite zweite optische Pfad 31 erstrecken sich parallel zueinander.
Wie ferner in 1a gezeigt, ist das Spiegelelement 27 ebenfalls zwischen dem ersten optischen System 17 und dem Bildsensor 3 platziert. Da das Spiegelelement 27 hier als ein halbdurchlässiger Spiegel oder ein wellenlängenabhängiger Kaltlichtspiegel gestaltet ist, der für einen Spektralbereich durchlässig und für andere Spektralbereiche reflektierend ist, durchläuft das erste optische Signal das Spiegelelement 27 durch die teildurchlässige Seite des Spiegelelements 27, und das zweite optische Signal wird vom Spiegelelement über die reflektierende Seite reflektiert. Mit anderen Worten, der erste optische Pfad ist im Gegensatz zum zweiten optischen Pfad eine Gerade.
Durch den beschriebenen Aufbau der Vorrichtung 1 umfasst der vom Bildsensor 3 erfasste Bildrahmen sowohl die zu erfassende Szene (erstes optisches Signal) als auch das visuelle Muster (zweites optisches Signal). Das Muster wird von dem Generator eines optischen Mustersignals 19 erzeugt und ändert sich nach einer bestimmten, also bekannten Sequenz (z. B. einem Rollen-Donut) synchron mit der Bildrate. Wie nachfolgend beschrieben wird, kann ein eingefrorener Bildrahmen in einem Videostrom, der nachfolgende erfasste Bildrahmen umfasst, anhand des Musters leicht identifiziert werden.
Der Fachmann erkennt selbstverständlich, dass es auch möglich wäre, den Aufbau der Vorrichtung 1 neu anzuordnen und damit den Verlauf des ersten und zweiten optischen Pfades zu vertauschen. Das heißt, das erste optische Signal wird von dem Spiegelelement 27 reflektiert und das zweite optische Signal wird entlang einer Geraden durch das Spiegelelement 27 übertragen.
Die Vorrichtung der 1a, 1b basiert insofern auf einem optischen Überlappungsmechani smus.
In der 2a wird eine Vorrichtung 1' zur Bildrahmenerfassung gemäß einer zweiten Ausführungsform des ersten Aspekts der Erfindung gezeigt. Elemente der zweiten Ausführungsform der Vorrichtung 1', die denen der ersten Ausführungsform der Vorrichtung 1 funktionell weitestgehend entsprechen, sind mit den gleichen, jedoch gestrichenen Bezugszeichen versehen. In 2b ist der Bildsensor 3' entlang einer in 2a angegebenen Sichtlinie R1' dargestellt. Da die Funktionalität der zweiten Ausführungsform der Vorrichtung 1' weitgehend der ersten Ausführungsform entspricht, wird im Folgenden nur auf Unterschiede zwischen der ersten und der zweiten Ausführungsform eingegangen. Die Erläuterungen zur 1a und 1b gelten auch für die zweite Ausführungsform und die 2a und 2b.
Während in der Vorrichtung 1 der Generator eines optischen Mustersignals 19 so angeordnet ist, dass er den zweiten Bereich 7 des Bildsensors 3 indirekt über das Spiegelelement 27 mit dem zweiten optischen Signal beleuchtet, ist der Generator eines optischen Mustersignals 19' in der Vorrichtung 1' so angeordnet, dass er den zweiten Bereich 7' des Bildsensors 3' mit dem zweiten optischen Signal direkt beleuchtet. Damit wird die Richtung des zweiten optischen Pfades nicht durch einen oder mehrere Spiegel nicht verändert. Mit anderen Worten, der Generator eines optischen Mustersignals 19' ist am Bildsensor 3' angebracht und projiziert das zweite optische Signal direkt auf den zweiten Bereich 7' und beleuchtet diesen somit. Folglich erstrecken sich die erste optische Achse 15' und die zweite optische Achse 25' parallel zueinander.
Die Vorrichtung der 2a, 2b basiert insofern auf einem direkten Überlappungsmechanismus.
3 zeigt ein Blockdiagramm des Prinzips des Mischmechanismus gemäß einer Ausführungsform des ersten Aspekts der Erfindung innerhalb einer Vorrichtung gemäß dem ersten Aspekte der Erfindung, wie die Vorrichtung 1 oder 1'. Die Vorrichtung kann insbesondere eine Kamera sein. Ein erstes optisches Signal, das eine zu erfassende Szene ist und in 3 mit S(n) bezeichnet ist, und ein zweites optisches Signal, das ein bekanntes (insbesondere visuelles) Muster ist und in 3 mit P(n) bezeichnet ist, werden summiert (oder, anders ausgedrückt, gemischt), um ein Gesamtsignal zu bilden, das in 3 mit I(n) =S(n) + P(n) bezeichnet ist. Dieses Gesamtsignal I(n) wird wiederum von einem Bildsensor, insbesondere dem Bildsensor 3 oder dem Bildsensor 3', erfasst. Die Art und Weise der Addition oder Mischung des ersten und zweiten optischen Signals kann variieren und jeder geeignete Mechanismus kann angewendet werden. Zum Beispiel könnte der optische Überlappungsmechanismus, wie oben in Bezug auf die 1a und 1b erörtert, oder der direkte Überlappungsmechanismus, wie oben in Bezug auf die 2a und 2b erörtert, angewendet werden.
Da das erste optische Signal in Form des optischen Mustersignals von Anfang an in dem erfassten Bildrahmen vorliegt, werden die gleichen Verzögerungen, die das erfasste erste optische Signal (d. h. die zu erfassende Szene) erfährt, auch von dem erfassten zweiten optischen Signal in gleicher Weise erfahren. Somit kann durch den Aufbau der Vorrichtung 1 bzw. 1' ein Ausfall der Übertragung des Videostroms, z. B. durch Puffer oder andere Verzögerungsquellen, durch Beobachtung und/oder Auswertung des optischen Musters im empfangenen Videostromsignal leicht erkannt werden. Dies kann beispielsweise aufgrund der Wahrnehmung des Fahrers beim Betrachten des Videostroms auf einer Anzeige oder dergleichen erfolgen. Der Fahrer kann dann selbst entscheiden, dass der Bildrahmen eingefroren ist, wenn er erkennt, dass sich das Muster, beispielsweise ein Rollen-Donut, nicht ändert. Damit dies funktioniert, muss das Muster natürlich innerhalb des aktiven Bereiches des Bildsensors 3, 3', d. h., innerhalb des Bereichs, der dem Fahrer angezeigt wird, überlappt werden. Dies kann beispielsweise auch auf der Basis von Bildverarbeitung wie z. B. eines SW-Algorithmus erfolgen. In diesem Fall könnte das Muster auch außerhalb des aktiven Bereichs des Bildsensors 3, 3', d. h., außerhalb des Bereichs, der dem Fahrer angezeigt wird, überlappen. Eine solche Automatisierung des Erkennens eingefrorener Bilder wird nachfolgend unter Bezugnahme auf 4 näher beschrieben.
4 zeigt eine schematische Darstellung einer Vorrichtung 101 zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von Bildrahmen, die von einer Vorrichtung gemäß dem ersten Aspekt der Erfindung, wie der Vorrichtung 1 oder 1', nacheinander erfasst werden, gemäß einer Ausführungsform des zweiten Aspekts der Erfindung.
Die Vorrichtung 101 umfasst eine Empfangseinheit 103 zum Empfangen des Videostroms.
Die Vorrichtung 101 umfasst ferner eine Bildverarbeitungseinheit 105. Die Bildverarbeitungseinheit 105 wiederum umfasst ein Extraktionselement (in 4 nicht separat gezeigt), das dazu ausgebildet ist, ein erstes Muster zu extrahieren, das in einem ersten Bildrahmen des Videostroms gemischt ist, und um ein zweites Muster zu extrahieren, das in einem zweiten Bildrahmen des Videostroms gemischt ist. Die Bildverarbeitungseinheit 105 umfasst ferner ein Komparatorelement (in 4 nicht separat gezeigt), das dazu ausgebildet ist, das aus dem ersten Bildrahmen extrahierte erste Muster mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster zu vergleichen und zu identifizieren, ob ein eingefrorener Bildrahmen vorhanden ist, wobei identifiziert wird, dass ein eingefrorener Bildrahmen vorhanden ist, falls das erste Muster gleich dem zweiten Muster ist. Die Bildverarbeitungseinheit 105 kann als „Ein-Chip-System“ (System on a Chip, SoC) realisiert sein und/oder einen Bildsignalprozessor (Image Signal Processor, ISP) umfassen.
5 zeigt ein Ablaufdiagramm 111 einer Bildsignalverarbeitung, die insbesondere von der Bildverarbeitungseinheit 105 ausgeführt werden kann. In einem Schritt 113 wird durch das Extraktionselement ein erstes Muster P(n) extrahiert, das in einen ersten Bildrahmen des Videostroms gemischt ist. In einem Schritt 115 wird entschieden, ob das aus dem ersten Bildrahmen extrahierte erste Muster P(n) gleich dem aus dem zweiten Bildrahmen extrahierten zweiten Muster P(n-1) ist. Der zweite Bildrahmen ist ein zeitlich unmittelbar vor dem ersten Bildrahmen liegender Bildrahmen. Sind das erste und das zweite Muster gleich, identifiziert das Komparatorelement in einem Schritt 117, dass ein eingefrorener Bildrahmen vorliegt. Dies könnte weitere Aktionen auslösen. Alternativ und/oder zusätzlich wird das nächste Muster extrahiert und mit dem vorherigen verglichen („Nein“-Zweig in 5).
Die in 4 dargestellte Vorrichtung 101 umfasst ferner eine Benachrichtigungseinheit 107, die dazu ausgebildet ist, ein Benachrichtigungssignal auszugeben, wenn das Komparatorelement identifiziert, dass ein eingefrorenes Bild vorhanden ist, wobei das Benachrichtigungssignal mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildes umfasst, codiert, repräsentiert und/oder anzeigt.
6 ist eine schematische Darstellung eines Systems 121 zum Bereitstellen einer Erkennung eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms gemäß einer Ausführungsform des dritten Aspekts der Erfindung.
Das System 121 umfasst eine erste Vorrichtung 123, insbesondere eine Vorrichtung gemäß dem ersten Aspekt der Erfindung, wie Vorrichtung 1 oder 1', zur Bildrahmenerfassung und Erzeugung des Videostroms von aufeinanderfolgenden erfassten Bildrahmen. Das System 121 umfasst ferner eine zweite Vorrichtung 125, insbesondere eine Vorrichtung gemäß dem zweiten Aspekt der Erfindung, wie die Vorrichtung 101, zum Erkennen von eingefrorenen Bildrahmen innerhalb des Videostroms. Das System 121 umfasst ferner eine Anzeigevorrichtung 127 zum Anzeigen des Videostroms, insbesondere für einen Fahrer. Auf der Anzeigevorrichtung 127 kann entweder eine zu erfassende Szene S(n) alleine angezeigt werden oder die zu erfassende Szene S(n) gemischt mit einem Muster P(n), d. h., das Bild eines optischen Gesamtsignals I(n) = S(n) + P(n), kann angezeigt werden. Zur Veranschaulichung zeigt 6 auch ein Ablaufdiagramm zum Erkennen eingefrorener Bildrahmen wie das oben in Bezug auf 5 erörterte. Die Schritte des Ablaufdiagramms werden von der zweiten Vorrichtung 125 ausgeführt. Es wird jedoch auf die vorstehenden Ausführungen zu 5 verwiesen, die auch hier sinngemäß gelten. Ferner umfasst das System 121 auch mindestens ein Verbindungsmittel 129 zum Übertragen des Videostroms von der ersten Vorrichtung 123 zu der zweiten Vorrichtung 125 und/oder der Anzeigevorrichtung 127. Das Verbindungsmittel 129 kann mindestens ein Kabel und/oder mindestens eine drahtlose Schnittstelle umfassen. Da Verzögerungen des Videostromsignals das erfasste optische Gesamtsignal beeinflussen, ist das Muster P(n) eine zuverlässige Referenz für die Erkennung eingefrorener Bildrahmen.
7 zeigt ein Funktionsdiagramm eines Verfahrens 200 zur Bildrahmenerfassung, insbesondere ausgeführt auf einer Vorrichtung gemäß dem ersten Aspekt der Erfindung, wie der Vorrichtung 1 oder 1', gemäß einer Ausführungsform des vierten Aspekts der Erfindung.
In einem Schritt 201 wird mindestens ein erster Bereich, insbesondere der erste Bereich 5 bzw. 5', eines Bildsensors, insbesondere des Bildsensors 3 bzw. 3', mit einem ersten optischen Signal beleuchtet, wobei das erste optische Signal ein optisches Signal einer zu erfassenden Szene, insbesondere des Objekts 9', umfasst, repräsentiert und/oder ist.
In einem Schritt 203 wird mindestens ein zweites optisches Signal erzeugt, wobei das zweite optische Signal ein optisches Mustersignal umfasst, repräsentiert und/oder ist.
In einem Schritt 205 wird mindestens ein zweiter Bereich, insbesondere der zweite Bereich 7 bzw. 7' des Bildsensors, mit dem zweiten optischen Signal beleuchtet.
In einem Schritt 207 wird mindestens ein Rahmen des optischen Gesamtsignals, das mindestens einen Bereich des Bildsensors beleuchtet, erfasst, wobei das optische Gesamtsignal mindestens das erste optische Signal und mindestens das zweite optische Signal umfasst, wobei der Bereich mindestens den ersten Bereich und mindestens den zweiten Bereich umfasst.
8 zeigt ein Funktionsdiagramm eines Verfahrens 300 zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von durch eine Vorrichtung gemäß dem ersten Aspekt der Erfindung, wie der Vorrichtung 1 oder 1', aufeinanderfolgend erfassten Bildrahmen, ausgeführt auf der Vorrichtung gemäß dem zweiten Aspekt der Erfindung, wie der Vorrichtung 101, und/oder der Bildrahmen, die von dem Verfahren gemäß dem vierten Aspekt der Erfindung, wie dem Verfahren 200, gemäß einer Ausführungsform des fünften Aspekts der Erfindung erfasst wurden.
In einem Schritt 301 wird der Videostrom empfangen.
In einem Schritt 303 werden mindestens ein erstes Muster, das mindestens ein erster Bildrahmen umfasst, und mindestens ein zweites Muster, das mindestens ein zweiter Bildrahmen umfasst, extrahiert.
In einem Schritt 305 wird das aus dem ersten Bildrahmen extrahierte erste Muster mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster verglichen, und es wird identifiziert, ob ein eingefrorener Bildrahmen vorhanden ist, wobei ein eingefrorener Bildrahmen erkannt wird, falls das erste Muster gleich dem zweiten Muster ist.
In einem Schritt 307 wird ein Benachrichtigungssignal ausgegeben, wenn das Komparatorelement identifiziert, dass ein eingefrorener Bildrahmen vorhanden ist, wobei das Benachrichtigungssignal mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildrahmens umfasst, codiert, repräsentiert und/oder anzeigt.
Die in den Ansprüchen, der Beschreibung und den Zeichnungen offenbarten Merkmale können für verschiedene Ausführungsformen der beanspruchten Erfindung sowohl einzeln als auch in beliebiger Kombination miteinander wesentlich sein.
Bezugszeichenliste

1, 1': Vorrichtung
3, 3': Bildsensor
5, 5': Bereich
7, 7': Bereich
9,9': Objekt
11, 11': Lichtstrahl
13, 13': Lichtstrahl
15, 15': Optische Achse
17, 17': Optisches System
19, 19': Generator eines optischen Mustersignals
21, 21': Lichtstrahl
23, 23': Lichtstrahl
25, 25': Optische Achse
27: Spiegelelement
29: Optischer Pfad
31: Optischer Pfad
33, 33': Brennpunkt
101: Vorrichtung
103: Empfangseinheit
105: Bildverarbeitungseinheit
107: Benachrichtigungseinheit
111: Ablaufdiagramm
113: Schritt
115: Schritt
117: Schritt
121: System
123: Vorrichtung
125: Vorrichtung
127: Vorrichtung
129: Verbindungsmittel
200: Funktionsdiagramm
201: Schritt
203: Schritt
205: Schritt
207: Schritt
300: Funktionsdiagramm
301: Schritt
303: Schritt
305: Schritt
307: Schritt
R1, R1': Sichtlinie

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017/0339375 A1 [0004]
US 2016/0039341 A1 [0005]

Claims

Vorrichtung (1, 1') zur Bildrahmenerfassung, wobei die Vorrichtung (1, 1') Folgendes umfasst: mindestens einen Bildsensor (3, 3'), der dazu ausgebildet ist, mindestens einen Bildrahmen eines optischen Gesamtsignals zu erfassen, das mindestens einen Bereich des Bildsensors (3, 3') beleuchtet, wobei das optische Gesamtsignal mindestens ein erstes optisches Signal und mindestens ein zweites optisches Signal umfasst; und mindestens einen Generator eines optischen Mustersignals (19, 19'), der dazu ausgebildet ist, mindestens das zweite optische Signal zu erzeugen.
Vorrichtung (1, 1') nach Anspruch 1, dadurch gekennzeichnet, dass, das erste optische Signal ein optisches Signal einer zu erfassenden Szene umfasst, repräsentiert und/oder ist, und/oder das zweite optische Signal ein optisches Mustersignal umfasst, repräsentiert und/oder ist.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das erste optische Signal und/oder das optische Signal der zu erfassenden Szene mindestens Folgendes umfasst: (a) von mindestens einem Objekt (9, 9') reflektiertes, emittiertes und/oder ausgehendes Licht, wobei insbesondere das Objekt (9, 9') in der Szene vorhanden ist, (b) in Richtung des Bildsensors (3, 3') reflektiertes Licht, (c) mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das zweite optische Signal und/oder das optische Mustersignal (i) dynamisch ist und/oder sich im Laufe der Zeit verändert, (ii) mindestens eine vordefinierte Information und/oder mindestens ein visuelles Muster umfasst, codiert, repräsentiert und/oder anzeigt, (iii) mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums umfasst, und/oder (iv) sich synchron mit der Bildrate des Bildsensors (3, 3') verändert.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Bereich des Bildsensors (3, 3') mindestens einen ersten Bereich (5, 5') und/oder mindestens einen zweiten Bereich (7, 7') umfasst, wobei insbesondere der mindestens eine erste Bereich (5, 5') des Bildsensors (3, 3') durch das erste optische Signal beleuchtet wird, der mindestens eine zweite Bereich (7, 7') des Bildsensors (3, 3') durch das zweite optische Signal beleuchtet wird, der mindestens eine erste Bereich (5, 5') des Bildsensors (3, 3') dazu ausgebildet ist, mindestens Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums zu erfassen, und/oder der mindestens eine zweite Bereich (7, 7') des Bildsensors (3, 3') dazu ausgebildet ist, mindestens teilweise Licht des sichtbaren, infraroten und/oder ultravioletten Lichtspektrums zu erfassen.
Vorrichtung (1, 1') nach Anspruch 5, dadurch gekennzeichnet, dass der erste Bereich (5, 5') und der zweite Bereich (7, 7') so zueinander angeordnet sind, dass (i) der erste Bereich (5, 5') und der zweite Bereich (7, 7') einander teilweise und/oder vollständig überlappen, (ii) der erste Bereich (5, 5') mindestens teilweise innerhalb des zweiten Bereichs (7, 7') des Bildsensors (3, 3') liegt, wobei vorzugsweise der erste Bereich (5, 5') und der zweite Bereich (7, 7') eine, zwei, drei oder vier gemeinsame Kanten aufweisen, (iii) der zweite Bereich (7, 7') mindestens teilweise innerhalb des ersten Bereichs (5, 5') des Bildsensors (3, 3') liegt, vorzugsweise der erste Bereich (5, 5') und der zweite Bereich (7, 7') eine, zwei, drei oder vier gemeinsame Kanten aufweisen, (iv) der erste Bereich (5, 5') vollständig innerhalb des zweiten Bereichs (7, 7') des Bildsensors (3, 3') liegt, (v) der zweite Bereich (7, 7') vollständig innerhalb des ersten Bereichs (5, 5') liegt, (vi) der erste Bereich (5, 5') und der zweite Bereich (7, 7') mindestens eine gemeinsame Kante aufweisen, und/oder (vii) der zweite Bereich (7, 7') außerhalb des ersten Bereichs (5, 5') liegt, insbesondere vollständig.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein erster optischer Pfad (15, 15') durch den Ausbreitungspfad definiert wird, den das erste optische Signal, insbesondere von der zu erfassenden Szene und/oder in Richtung des Bildsensors (3, 3'), nimmt, und/oder mindestens ein zweiter optischer Pfad (25, 25') durch den Ausbreitungspfad definiert wird, den das zweite optische Signal, insbesondere von dem Generator eines optischen Mustersignals (19, 19') und/oder in Richtung des Bildsensors (3, 3'), nimmt.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1, 1') ferner mindestens ein erstes optisches System (17, 17') umfasst, das dazu ausgebildet ist, (i) das erste optische Signal auf den und/oder in Richtung des Bildsensors (3, 3'), insbesondere auf den und/oder in Richtung des ersten Bereichs (5, 5'), zu projizieren und/oder zu richten, und/oder (ii) den Bildsensor (3, 3'), insbesondere den ersten Bereich (5, 5'), mit dem ersten optischen Signal zu beleuchten.
Vorrichtung (1, 1') nach Anspruch 8, dadurch gekennzeichnet, dass das erste optische System (17, 17') in dem ersten optischen Pfad (15, 15') platziert und/oder zwischen der zu erfassenden Szene und dem Bildsensor (3, 3') platziert ist.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Generator eines optischen Mustersignals (19, 19') mindestens eine Beleuchtungseinheit zur Erzeugung, Übertragung und/oder Emission des zweiten optischen Signals und/oder des optischen Mustersignals umfasst, wobei die Beleuchtungseinheit insbesondere Licht im sichtbaren, infraroten und/oder ultravioletten Lichtspektrum emittiert, mindestens einen Monitor, insbesondere im sichtbaren, infraroten und/oder ultravioletten Lichtspektrum arbeitend.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1, 1') und/oder der Generator eines optischen Mustersignals (19, 19') mindestens ein zweites optisches System umfasst/umfassen, das insbesondere in dem zweiten optischen Pfad (25, 25') platziert ist, optisch zwischen dem Generator eines optischen Mustersignals (19, 19') und dem Bildsensor (3, 3') platziert ist und/oder innerhalb des Generators eines optischen Mustersignals (19, 19') platziert ist.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das erste optische System (17, 17') und/oder das zweite optische System mindestens eine Linse und/oder mindestens eine Blende umfasst/umfassen.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Bildsensor (3, 3') ferner Mittel umfasst, die dazu ausgebildet sind, mindestens ein Videostromsignal von aufeinanderfolgenden erfassten Bildrahmen zu erzeugen.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1, 1') ferner mindestens ein Spiegelelement (27) umfasst, insbesondere platziert in dem ersten optischen Pfad (15, 15'), platziert in dem zweiten optischen Pfad (25, 25'), platziert optisch zwischen dem Generator eines optischen Mustersignals (19, 19') und dem Bildsensor (3, 3'), platziert optisch zwischen dem ersten optischen System (17, 17') und dem Bildsensor (3, 3'), platziert optisch zwischen der zu erfassenden Szene und dem ersten optischen System (17, 17'), platziert optisch zwischen dem Generator eines optischen Mustersignals (19, 19') und dem zweiten optischen System, platziert optisch zwischen dem zweiten optischen System und dem Bildsensor (3, 3') und/oder platziert optisch zwischen der zu erfassenden Szene und dem Bildsensor (3, 3').
Vorrichtung (1, 1') nach Anspruch 14, dadurch gekennzeichnet, dass sich das Spiegelelement (27) durch mindestens einen Brennpunkt (33, 33') des ersten und/oder zweiten optischen Systems erstreckt, wobei sich insbesondere der mindestens eine Brennpunkt (33, 33') optisch und/oder räumlich zwischen dem ersten und/oder zweiten optischen System einerseits und dem Bildsensor (3, 3') andererseits befindet.
Vorrichtung (1, 1') nach einem der Ansprüche 14 bis 15, dadurch gekennzeichnet, dass das Spiegelelement (27) mindestens in bestimmten Bereichen als ein halbdurchlässiger Spiegel oder als ein Kaltlichtspiegel ausgebildet ist, insbesondere (i) das erste optische Signal und/oder das zweite optische Signal das Spiegelelement (27) durch die teildurchlässige Seite des Spiegelelements (27) passiert/passieren und/oder (ii) das erste optische Signal und/oder das zweite optische Signal an der reflektierenden Seite des Spiegelelements reflektiert wird/werden.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der erste optische Pfad (15, 15') mindestens einen ersten ersten optischen Pfad und mindestens einen zweiten ersten optischen Pfad umfasst, wobei sich insbesondere der erste erste optische Pfad zwischen dem ersten optischen System (17, 17') und/oder der zu erfassenden Szene einerseits und dem Spiegelelement (27) andererseits erstreckt, und/oder sich der zweite erste optische Pfad zwischen dem Spiegelelement (27) einerseits und dem Bildsensor (3, 3') andererseits erstreckt.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der zweite optische Pfad (25, 25') mindestens einen ersten zweiten optischen Pfad (29) und mindestens einen zweiten zweiten optischen Pfad (31) umfasst, wobei sich insbesondere der erste zweite optische Pfad (29) zwischen dem Generator eines optischen Mustersignals (19, 19') und/oder dem zweiten optischen System einerseits und dem Spiegelelement (27) andererseits erstreckt, und/oder sich der zweite zweite optische Pfad (31) zwischen dem Spiegelelement (27) und dem Bildsensor (3, 3') erstreckt.
Vorrichtung (1, 1') nach einem der Ansprüche 17 bis 18, dadurch gekennzeichnet, dass sich der erste erste optische Pfad, der zweite erste optische Pfad, der erste zweite optische Pfad (29) und/oder der zweite zweite optische Pfad (31) einerseits und der erste erste optische Pfad, der zweite erste optische Pfad, der erste zweite optische Pfad (29) und/oder der zweite zweite optische Pfad (31) andererseits senkrecht und/oder parallel zueinander erstrecken, mindestens im Wesentlichen und/oder abschnittsweise.
Vorrichtung (1, 1') nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass sich der erste erste optische Pfad und/oder der erste zweite optische Pfad (29) einerseits und der zweite erste optische Pfad und/oder der zweite zweite optische Pfad (31) andererseits entlang einer gemeinsamen Geraden erstrecken, mindestens im Wesentlichen und/oder abschnittsweise.
Vorrichtung (1, 1') nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Generator eines optischen Mustersignals (19, 19') an dem Bildsensor (3, 3') angebracht und/oder so angeordnet ist, dass er den Bildsensor (3, 3'), insbesondere den zweiten Bereich (7, 7'), mit dem zweiten optischen Signal beleuchtet, vorzugsweise (i) direkt, wobei insbesondere (a) die Richtung des zweiten optischen Pfades (25, 25') durch ein oder mehrere optische Elemente, insbesondere durch Spiegelelemente und/oder das Spiegelelement (27), nicht verändert wird, und/oder (b) nicht ein oder mehrere optische Elemente, insbesondere Spiegelelemente und/oder das Spiegelelement (27), in dem zweiten optischen Pfad (25, 25') und/oder optisch zwischen dem Generator eines optischen Mustersignals (19, 19') und dem Bildsensor (3, 3') platziert ist/sind, und/oder (ii) indirekt, insbesondere über das Spiegelelement (27) und/oder durch Reflektieren des zweiten optischen Signals an der reflektierenden Seite des Spiegelelements (27).
Vorrichtung (101) zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von Bildrahmen, die aufeinanderfolgend von einer Vorrichtung (1, 1') nach einem der Ansprüche 1 bis 21 erfasst wurden, wobei die Vorrichtung (101) Folgendes umfasst: mindestens eine Empfangseinheit (103) zum Empfangen des Videostroms; und mindestens eine Bildverarbeitungseinheit (105), umfassend: mindestens ein Extraktionselement, das dazu ausgebildet ist, mindestens einen ersten Bildrahmen aus dem Videostrom zu extrahieren, mindestens ein erstes Muster zu extrahieren, das innerhalb des mindestens einen ersten Bildrahmens gemischt ist, mindestens einen zweiten Bildrahmen aus dem Videostrom zu extrahieren und/oder mindestens ein zweites Muster zu extrahieren, das innerhalb des mindestens einen zweiten Bildrahmens gemischt ist; und mindestens ein Komparatorelement, das dazu ausgebildet ist, das aus dem ersten Bildrahmen extrahierte erste Muster mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster zu vergleichen und zu identifizieren, ob ein eingefrorener Bildrahmen vorhanden ist, wobei ein eingefrorener Bildrahmen als vorhanden identifiziert wird, falls das erste Muster gleich dem zweiten Muster ist und/oder falls das erste Muster und/oder das zweite Muster nicht gleich einem erwarteten ersten Muster bzw. einem erwarteten zweiten Muster ist/sind.
Vorrichtung (101) nach Anspruch 22, dadurch gekennzeichnet, dass der erste Bildrahmen ein aktueller Bildrahmen ist, der zweite Bildrahmen ein vorhergehender Bildrahmen ist, der zweite Bildrahmen zeitlich unmittelbar vor dem ersten Bildrahmen liegt und/oder der zweite Rahmen und der erste Rahmen zeitlich durch mindestens einen, vorzugsweise durch eine Mehrzahl von Zwischenbildrahmen voneinander getrennt sind und/oder dass aufgrund der Kenntnis der Musterdynamik das erwartete erste Muster und/oder das erwartete zweite Muster erwartet wird/werden.
Vorrichtung (101) nach einem der Ansprüche 22 bis 23, dadurch gekennzeichnet, dass die Vorrichtung ferner mindestens eine Benachrichtigungseinheit (107) umfasst, die dazu ausgebildet ist, ein Benachrichtigungssignal auszugeben und/oder den Videostrom zu manipulieren, wenn das Komparatorelement erkennt, dass ein eingefrorener Bildrahmen vorhanden ist, wobei insbesondere das Manipulieren des Videostroms ein Mischen mindestens einer für den menschlichen Beobachter des Videostroms, vorzugsweise auf mindestens einer Anzeigevorrichtung, wahrnehmbaren Fahrerinformation innerhalb mindestens eines Rahmens des Videostroms umfasst, wobei das Benachrichtigungssignal und/oder die Fahrerinformation mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildrahmens umfasst, codiert, repräsentiert und/oder anzeigt.
Vorrichtung (1, 1') nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, dass das erste Muster und/oder das zweite Muster mindestens in einer Instanz von Zeit durch ein optisches Signal, insbesondere das zweite optische Signal und/oder ein von einem Generator eines optischen Mustersignals (19, 19'), vorzugsweise dem Generator eines optischen Mustersignals (19, 19'), den die Vorrichtung nach einem der Ansprüche 1 bis 21 umfasst, erzeugtes optisches Signal, repräsentiert werden kann bzw. können.
System (121) zum Bereitstellen einer Erkennung von eingefrorenen Bildrahmen in mindestens einem Videostrom, wobei das System (121) Folgendes umfasst: mindestens eine erste Vorrichtung (123), insbesondere umfassend mindestens eine Vorrichtung (1, 1') nach einem der Ansprüche 1 bis 21, zur Bildrahmenerfassung und Erzeugung des Videostroms von aufeinanderfolgenden erfassten Bildrahmen, mindestens eine zweite Vorrichtung (125), insbesondere umfassend mindestens eine Vorrichtung (101) nach einem der Ansprüche 22 bis 25, zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb des Videostroms; und/oder mindestens eine Anzeigevorrichtung zum Anzeigen des Videostroms.
Verfahren (200) zur Bildrahmenerfassung, insbesondere ausgeführt an einer Vorrichtung nach einem der Ansprüche 1 bis 21, wobei das Verfahren (200) die folgenden Schritte umfasst: Beleuchten mindestens eines ersten Bereichs (5, 5') eines Bildsensors (3, 3') mit einem ersten optischen Signal, wobei das erste optische Signal vorzugsweise ein optisches Signal einer zu erfassenden Szene umfasst, repräsentiert und/oder ist; (201) Erzeugen, insbesondere mit einem Generator eines optischen Mustersignals (19, 19'), mindestens eines zweiten optischen Signals, wobei das zweite optische Signal vorzugsweise ein optisches Mustersignal umfasst, repräsentiert und/oder ist; (203) Beleuchten mindestens eines zweiten Bereichs (7, 7') des Bildsensors (3, 3') mit dem zweiten optischen Signal; (205) und Erfassen mindestens eines Rahmens des optischen Gesamtsignals, das mindestens einen Bereich des Bildsensors (3, 3') beleuchtet, wobei das optische Gesamtsignal mindestens das erste optische Signal und mindestens das zweite optische Signal umfasst, wobei der Bereich mindestens den ersten Bereich (5, 5') und mindestens den zweiten Bereich (7, 7') umfasst. (207)
Verfahren (300) zum Erkennen mindestens eines eingefrorenen Bildrahmens innerhalb mindestens eines Videostroms, insbesondere eines Videostroms von durch eine Vorrichtung (1, 1') nach einem der Ansprüche 1 bis 21 aufeinanderfolgend erfassten Bildrahmen, ausgeführt auf einer Vorrichtung (101) nach einem der Ansprüche 22 bis 25, und/oder der durch das Verfahren nach Anspruch 27 erfassten Bildrahmen, wobei das Verfahren (300) die folgenden Schritte umfasst: Empfangen des Videostroms; (301) Extrahieren mindestens eines ersten Bildrahmens aus dem Videostrom, Extrahieren mindestens eines ersten Musters, das der mindestens eine erste Bildrahmen umfasst, Extrahieren mindestens eines zweiten Bildrahmens aus dem Videostrom, und/oder Extrahieren mindestens eines zweiten Musters, das der mindestens eine zweite Bildrahmen umfasst; (303) Vergleichen des aus dem ersten Bildrahmen extrahierten ersten Musters mit dem aus dem zweiten Bildrahmen extrahierten zweiten Muster, und Identifizieren, ob ein eingefrorener Bildrahmen vorhanden ist, wobei ein eingefrorener Bildrahmen als vorhanden identifiziert wird, falls das erste Muster gleich dem zweiten Muster ist und/oder falls das erste Muster und/oder das zweite Muster nicht gleich einem erwarteten ersten Muster bzw. einem erwarteten zweiten Muster ist/sind; (305) und vorzugsweise Ausgeben eines Benachrichtigungssignals und/oder Manipulieren des Videostroms, wenn ein eingefrorener Bildrahmen als vorhanden identifiziert wird, wobei insbesondere das Manipulieren des Videostroms ein Mischen mindestens einer für den menschlichen Beobachter des Videostroms, vorzugsweise auf mindestens einer Anzeigevorrichtung, wahrnehmbaren Fahrerinformation innerhalb mindestens eines Rahmens des Videostroms umfasst, wobei das Benachrichtigungssignal und/oder die Fahrerinformation mindestens eine Information bezüglich der Erkennung eines eingefrorenen Bildrahmens umfasst, codiert, repräsentiert und/oder anzeigt. (307)
Fahrzeug, umfassend mindestens eine Vorrichtung nach einem der Ansprüche 1 bis 21 zur Bildrahmenerfassung, mindestens eine Vorrichtung nach einem der Ansprüche 22 bis 25 zur Erkennung mindestens eines eingefrorenen Bildrahmens innerhalb eines Videostroms und/oder mindestens ein System nach Anspruch 26 zur Bereitstellung einer Erkennung eingefrorener Bildrahmen innerhalb mindestens eines Videostroms.