DE102015121148A1

DE102015121148A1 - Reduzieren der Übertragungszeit von Bildern

Info

Publication number: DE102015121148A1
Application number: DE102015121148.3A
Authority: DE
Inventors: Eckehard Steinbach; Christoph Bachhuber; Burak Cizmeci
Original assignee: Technische Universitaet Muenchen
Current assignee: Technische Universitaet Muenchen
Priority date: 2015-12-04
Filing date: 2015-12-04
Publication date: 2017-06-08
Also published as: WO2017093205A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm zum Reduzieren einer Übertragungszeit von Bildern, welche in besonders vorteilhafter Weise auf die technischen Merkmale der bestehenden Komponenten Rücksicht nehmen und verhindern, dass ein Bildverarbeitungssystem aufgrund einer zu großen Anzahl an zu verarbeitenden Bildern überlastet wird. Ferner werden kurze Übertragungszeiten und Reaktionszeiten gewährleistet.

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm zum Reduzieren einer Übertragungszeit von Bildern, welche in besonders vorteilhafter Weise auf die technischen Merkmale der bestehenden Komponenten Rücksicht nehmen und verhindern, dass ein Bildverarbeitungssystem aufgrund einer zu großen Anzahl an zu verarbeitenden Bildern überlastet wird. Ferner werden kurze Übertragungszeiten und Reaktionszeiten gewährleistet.
Die US 7,095,786 B1 zeigt ein Verfahren, welches einen Bildstrom erzeugt, in dem einzelne Bilder aussortiert werden, also ein sogenanntes Frame Skipping.
WO 2010/014759 A2 zeigt ein Auslassen eines Bildes innerhalb eines Bildstroms, also ein sogenanntes Frame Skipping, was empfängerseitig nach der Übertragung erfolgt.
Bekannte Verfahren sind oftmals nicht in der Lage Bilder in Echtzeit darzustellen. Ein Nachteil bekannter Verfahren ist es, dass Möglichkeiten fehlen auch bestehende Hardware-Systeme, ausgerüstet mit einer Hochfrequenzkamera, unter Berücksichtigung ihrer Kapazitätsbeschränkung hinsichtlich Rechenkapazität und maximaler Übertragungsbandbreite in die Lage zu versetzen, möglichst zeitnah vor der Kamera stattfindende Ereignisse darzustellen.
Bei Rückfahrkameras ist es wichtig für Hersteller, Verzögerungen von unter 30 ms zu erreichen, um ein reibungsloses Funktionieren der Kamera gemäß Sicherheitsanforderungen und ein gutes Gefühl für den Fahrer zu gewährleisten. Derzeit wird zu diesem Zweck noch vermehrt auf analoge Kameras zurückgegriffen, da bei digitalen Übertragungen derart kurze Verzögerungen nicht gewährleistet werden können. Beispielsweise bei LKWs, die die Rückfahrkamera zum Ankoppeln ihrer Anhänger benötigen, stellt dies noch keine zufriedenstellende Lösung dar.
Die Anwendung der Erfindung ist unter anderem hinsichtlich der neuen Mobilfunkgenerationen 4G und 5G gegeben. Durch die deutliche Vergrößerung der zur Übertragung zur Verfügung stehenden Bandbreiten wird es zukünftig immer wichtiger, neben Codierungsverfahren zum bandbreitenoptimierten Übertragen auch die periphere Hardware wie Encoder und Decoder als Flaschenhals der Datenübertragung zu berücksichtigen. Speziell im Zuge des Zeitalters der Industrie 4.0 werden Echtzeit-Überwachungsmechanismen immer wichtiger. Eine kostengünstige, verzögerungsfreie, optische Überwachungsmöglichkeit ist in vielen Bereichen produzierender Industrie von Interesse. Dabei muss aber unterschieden werden zwischen Einsatzbereichen, bei denen der bestmögliche Zeitpunkt der Überwachung durch äußere Umstände, z. B. Fließbandbewegung, Ausführungen von Robotern, bereits vorgegeben ist, und weniger klar definierten Überwachungsumgebungen. Die erfindungsgemäße Technologie ist vor allem in letzterem Fall, insbesondere bei hochdynamischen, nicht vorherbestimmbaren Prozessen, vorteilhaft.
Es ist somit eine Aufgabe der vorliegenden Erfindung Ereignisse, also Bilder, mit signifikantem Informationsgehalt, mit möglichst geringer Verzögerung bei einem Empfänger darzustellen. Es ist ferner eine Aufgabe der vorliegenden Erfindung eine entsprechend ausgestaltete Vorrichtung und ein Computerprogramm bereitzustellen.
Diese Aufgabe wird durch ein Verfahren, eine Vorrichtung sowie ein Computerprogramm mit den Merkmalen der unabhängigen Ansprüche gelöst. In den davon abhängenden Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung angegeben.
Erfindungsgemäß wird ein Verfahren zum Reduzieren einer Übertragungszeit von Bildern vorgeschlagen, mit den Schritten eines Bereitstellens von sich im Wesentlichen unterscheidenden Bildern aus einer Vielzahl von erfassten Bildern an eine Bildverarbeitungseinheit und eines Verwerfen eines ersten bereitgestellten Bildes und Bearbeiten eines zweiten bereitgestellten Bildes durch die Bildverarbeitungseinheit, falls ein Unterschied zwischen dem ersten bereitgestellten Bild und dem zweiten bereitgestellten Bild einen bereitgestellten, also berechneten oder ausgelesenen, Schwellwert übersteigt. Gemäß einem Aspekt der vorliegenden Erfindung erfolgt dies jedoch nur, falls der erste Frame kein Event enthält. Falls ein Keyframe bzw. Eventframe vorhanden ist, wird der später ankommende Frame verworfen.
Die Bilder können als ein Bildstrom bereitgestellt werden oder als ein Video mit fortlaufenden Rahmen, auch frames, genannt. Ein Reduzieren einer Übertragungszeit stellt auf herkömmliche Verfahren ab, welche Bilder beispielsweise über ein Netzwerk bereitstellen. Folglich wird ein Verfahren zum Reduzieren einer Übertragungszeit vorgestellt, welches auch als Verfahren zum im Wesentlichen Echtzeitübertragen von Bildern bezeichnet werden kann.
Ein Unterschied zwischen zwei oder mehreren Bildern kann als Informationsgehalt bezeichnet werden. Der Unterschied kann beispielsweise an unterschiedlichen Pixeln oder Regionen innerhalb eines Bildes bzgl. eines weiteren Bildes gemessen werden. Hierbei wird entschieden, ob Bilder gleich oder unterschiedlich sind. Es können auch Bilder als im Wesentlichen unterschiedlich bezeichnet werden, welche sich bis zu einem bestimmten Schwellwert ähnlich sind. Ferner ist es möglich Bilder als nicht unterschiedlich zu bezeichnen, welche sich jedoch tatsächlich in geringem Maße unterscheiden, derart, dass ein Informationsgehalt ermittelt wird und erst wenn ein bestimmter Grad an Abweichung zwischen zwei oder mehreren Bildern vorliegt, diese tatsächlich auch als unterschiedlich behandelt werden.
Ein Bereitstellen von unterschiedlichen Bildern umfasst somit auch ein Berechnen eines Ähnlichkeitsgrades zwischen zwei oder mehreren Bildern, wobei ein Schwellwert herangezogen wird, welcher den genauen Grad der Abweichung bestimmt, wann zwei oder mehrere Bilder als unterschiedlich gelten.
Das Bereitstellen von Bildern kann beispielsweise unter Verwendung einer Kamera bzw. einer Hochgeschwindigkeitskamera erfolgen. Somit ist es erfindungsgemäß möglich das Verfahren mittels eines Bauteils einer Kamera, eines Encoderbausteins oder in der Bildverarbeitungseinrichtung durchzuführen. Ferner ist es möglich die Arbeitsschritte auf einzelne Komponenten zu verteilen. Vorteilhaft ist es, einen Baustein vorzusehen, welcher zwischen eine Kamera und einer Kodiereinrichtung geschaltet ist. Dieser kann gleiche bzw. ähnliche Bilder verwerfen und nur unterschiedliche Bilder bereitstellen.
Ein weiteres Verwerfen der Bilder erfolgt dann in der Bildverarbeitungseinrichtung.
Erfindungsgemäß ist es auch möglich die verwendeten Komponenten als Software, Hardware oder virtualisierte Hardware bereitzustellen. Insbesondere eignen sich Computer implementierte Komponenten zur Durchführung der Verfahrensschritte.
Erfindungsgemäß werden die Rohdaten der Bilder der Hochfrequenzkamera (etwa 1000 Bilder/Sekunde) auf auftretende Veränderungen untersucht. Wenn diese Veränderungen nicht eintreten, werden sich wiederholende Bilderrohdaten nicht oder nur etwa 50 Mal pro Sekunde an den Encoder weitergeleitet, um die Encoderauslastung niedrig zu halten und eine grundsätzliche Versorgung mit Bildern zu erhalten. Sobald ein sich veränderndes Bild erkannt wird, wird dieses mit Priorität vom Encoder bearbeitet und versendet, das zuvor ggf. unvollständig kodierte Bild wird zur Optimierung der Übertragungszeit aus dem Pufferspeicher gelöscht, außer falls der vorherige Frame schon signifikante Informationen enthält, also ein Keyframe ist, um unnötige Verzögerungen zu vermeiden. Auf diese Weise wird sichergestellt, dass das Bild mit neuen Informationen umgehend zum Empfänger gelangen kann.
Die Erfindung beschreibt ein Verfahren zur Codierung eines Videos mit dem Ziel, stattfindende Ereignisse mit möglichst geringer Verzögerung beim Empfänger darzustellen. Der Empfänger ist in diesem Fall entweder ein Monitor zur Betrachtung durch einen Menschen oder eine bildverarbeitende „Machine-Vision” Einheit, die aus den Bildern konkrete Handlungsempfehlungen ableitet.
Mögliche Anwendungsgebiete für die erfindungsgemäße Technologie sind Wachstumsmärkte wie das autonome Fahren und auch Drohnentechnologie. In beiden Fällen kann, sofern ausreichend kurze Übertragungszeiten gewährleistet werden können, Hardware virtuell zentralisiert werden. Dies ermöglicht das Einsparen deutlichen Gewichts bei Drohnen in Form von Prozessoren oder Akkus, die zwar die Auswertung der Daten beispielsweise zur Navigation benötigt, ihre Steuerungsimpulse aber auch von außerhalb kriegen kann, so dass durch das Einsparen von Gewicht und Stromverbrauch längere Flugzeiten ermöglicht werden können.
Ein zentrales Auswerten von Daten bei autonomen Fahrzeugen hat neben der Möglichkeit, leistungsstarke zentrale Rechner zu nutzen, auch den Vorteil, die Berechnung für eine Vielzahl von autonomen Fahrzeugen zu koordinieren und aufeinander abzustimmen.
In der vorliegenden Erfindung wird vorgeschlagen wie ein Ereignis, das sich durch eine signifikante Änderung eines Bildinhaltes einer erfassten Bildfolge definieren lässt, schneller von einer Bilderfassungseinheit über eine Übertragungsstrecke an einen Empfänger transportieren lässt. Der Empfänger ist insbesondere ein Bildschirm, kann aber auch ein Rechner sein, der die Bildinformation automatisiert auswertet. Die Erfindung verkürzt die Signallaufzeit des Ereignisses über die Übertragungsstrecke ohne dadurch die Bandbreite zu erhöhen.
Die Bildinformationen werden in Paketen, den sogenannten Frames übertragen. Ein Bild entsteht, indem innerhalb eines Frame Zyklus ein Belichtungszeitpunkt und eine Belichtungsdauer gewählt werden und die so belichtete Bildaufnahmeeinheit zur Übertragung in einen Frame ausgelesen wird.
Die Aufgabe wird dadurch gelöst, dass die Frame Rate der Bilderfassungseinheit erhöht wird, so dass neue Bildinformationen in kürzerer zeitlicher Abfolge von der Bilderfassungseinheit bereitgestellt werden. Damit die Bandbreite nicht automatisch mit erhöht wird, werden nur so genannte Key Frames weiter übertragen – alle anderen Frames werden ignoriert. In diesem Fall ist ein Key Frame dadurch definiert, dass er einen signifikanten Anteil neuer Information gegenüber dem letzten übertragenen Key Frame erhält. Für den Sonderfall, dass auf Grund eines Ereignisses zu viele Key Frames in zu kurzer Zeit übertragen werden müssen, werden neu erzeugte Key Frames ignoriert bis das Bandbreitenlimit wieder eingehalten werden kann. Innerhalb des Bandbreitenlimits wird während dieser Zeit immer nur der aktuellste Key Frame übertragen.
Für den Fall, dass sich die aufgenommene Szene nur langsam oder gar nicht verändert könnte die übertragene Key-Frame Rate theoretisch unter eine z. B. zur Bilddarstellung benötigte Mindestfrequenz fu fallen. Für diesen Fall ist optional im Verfahren vorgesehen, aktuelle Frames der Kamera zu senden, um fu nicht zu unterschreiten, auch wenn diese Frames keine signifikante Information aufweisen. Für den Fall, dass der Empfänger ein Bildschirm ist, ist eine konkrete Anwendung der vorliegenden Erfindung ein Videokonferenz-System oder ein Teleoperationssystem.
Für den Fall, dass der Empfänger eine Recheneinheit ist sehen wir eine konkrete Anwendung in der automatisierten visuellen Prozess- und Qualitätskontrolle. Hier sind allerdings bereits Kameras mit onboard FPGA Bildvorverarbeitungseinheiten bekannt, die neben trivialen Bildkorrekturen (Black Pixel, Flat Field, etc.) auch hochkomplexe Datenkompressionen oder Vorauswertungen durchführen können. Ferner findet die Überwachung industrieller Prozesse nur äußerst selten mit freilaufenden Systemen statt. Üblicherweise wird die Bilderfassung mit dem Produktionsprozess über von den Maschinen bereitgestellte Triggersignale synchronisiert. Über die Synchronisierung wird nicht nur die Frame Auswahl sondern meist auch der Belichtungszeitpunkt für einen Frame geregelt. Ein weiteres Anwendungsbeispiel der vorliegenden Erfindung ist visual servoing.
Ferner kann das vorgeschlagene Verfahren im Bereich der Robot-Vision oder der Videoüberwachung eingesetzt werden, beispielsweise in Form eines elektronischen Rückspiegels, der Bilder einer Rückfahrkamera empfängt. Besonders für Lastwagen, bei denen Anhänger an/abgekoppelt ist man gezwungen mit bandbreitenbegrenzten Funkübertragungsstrecken zu arbeiten und den Empfang der relevanten Bildinformationen zu jeder Zeit sicherzustellen.
Gemäß einem Aspekt der vorliegenden Erfindung erfolgt ein Bereitstellen gleicher Bilder mit niedrigerer Rate als das Bereitstellen unterschiedlicher Bilder. Dies hat den Vorteil, dass auf auftretende Bildveränderungen schneller reagiert werden kann und falls Bilder mit einer neuen Information, also Bilder die sich von vorherig übermittelten Bildern stark unterscheiden, eintreffen diese in schnellerer Abfolge bereitgestellt werden können. Somit erfolgt ein Bereitstellen von gleichen bzw. ähnlichen Bildern mit niedriger Bildbereitstellungsrate und ein Bereitstellen von unterschiedlichen Bildern mit einer hohen Bildbereitstellungsrate. Somit entsteht weniger technischer Aufwand bei Bildern mit wenig neuem Informationsgehalt und die Signifikanz der übertragenen Daten wird insbesondere bei bandbreitenbegrenzten Übertragungsstrecken gesteigert.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst das Bereitstellen von sich unterscheidenden Bildern ein Berechnen eines Unterschieds zwischen zwei Bildern. Dies hat den Vorteil, dass anhand von zwei oder mehreren Bildern eine Metrik bereitgestellt werden kann, welche beschreibt, ob sich zwei oder mehrere Bilder ähnlich sind, sich unterscheiden, sich im Wesentlichen unterscheiden oder gleich sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das Berechnen eines Unterschieds zwischen zwei oder mehreren Bildern mittels einer Mittleren Absoluten Differenz, einer Strukturellen Ähnlichkeit und/oder eines Bitvergleichs. Dies hat den Vorteil, dass bereits vorhandene Ansätze erfindungsgemäß Verwendung finden können und Methoden zur genauen Bestimmung eines Unterschieds zwischen mindestens zwei Bildern bereitgestellt werden. Ferner ermöglichen diese vorgesehenen Ansätze einen Unterschiedswert zu berechnen, welcher angibt, zu welchem Grad sich mindestens zwei Bilder ähnlich sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird der bereitgestellte Schwellwert in Abhängigkeit eines berechneten Unterschieds zwischen mindestens zwei Bildern dynamisch berechnet. Dies hat den Vorteil, dass es nicht nur möglich ist, vorab einen Schwellwert bereitzustellen, sondern es kann auch der Schwellwert während des Ausführen des vorgeschlagenen Verfahrens eingesetzt werden um beispielsweise eine gewünschte Bildbereitstellungsrate einzuhalten. Somit ist es erfindungsgemäß möglich, den Schwellwert derart zu variieren, dass immer eine bestimmte Anzahl von Bildern bereitgestellt bzw. verworfen werden. Somit lässt sich während eines Ausführen des erfindungsgemäßen Verfahrens der Schwellwert anpassen, was es ermöglicht Bilder zur Laufzeit unterschiedlich bzgl. ihrer Ähnlichkeit bzw. ihres Unterschieds zu bewerten.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden zum Einhalten einer vorbestimmten Bildbereitstellungsrate im Wesentlichen gleiche Bilder und unterschiedliche Bilder bereitgestellt. Dies hat den Vorteil, dass nicht nur unterschiedliche Bilder bereitgestellt werden, sondern falls beispielsweise ein Ausgabegerät mit einer bestimmten Bildbereitstellungsrate angesprochen werden muss, diese Bildbereitstellungsrate auch mittels ähnlicher Bilder aufrechterhalten werden kann.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das Bereitstellen von Bildern und das Verarbeiten von Bildern unter Berücksichtigung einer Hardwareinformation. Dies hat den Vorteil, dass die beteiligten Systemkomponenten derart berücksichtigt werden können, dass diese die bereitgestellten Bilder auch verarbeiten können und nicht überlastet werden. Somit werden wiederum Verzögerungen vermieden und Pufferspeicher kann eingespart werden. Auch ist es möglich die Anzahl der bereitgestellten Bilder in Abhängigkeit der verfügbaren Hardwareressourcen bereitzustellen und/oder zu verwerfen. So kann entschieden werden, ob bestimmte Bilder als unterschiedlich oder gleich gelten sollen. Stehen Hardwareressourcen ausreichend zur Verfügung, so können mehrere Bilder anhand ihres Ähnlichkeitsgrades bereitgestellt werden; stehen hingegen weniger Hardwarekapazitäten zur Verfügung so sollen auch weniger Bilder bereitgestellt werden. Somit können auch analog mehr oder weniger Bilder verworfen oder bearbeitet werden und somit die Hardware und insbesondere die Kapazität der Übertragungsstrecke optimal ausgelastet werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist die Hardwareinformation eine Rechenkapazität, eine Speicherkapazität und/oder eine Bandbreite auf. Dies hat den Vorteil, dass die Ressourcenplanung anhand mehrerer Hardwareinformationen ganzheitlich durchgeführt werden kann. Auch ist es erfindungsgemäß möglich einzelne Hardwareinformationen gezielt zu priorisieren, derart, dass beispielsweise insbesondere die Prozessorauslastung berücksichtigt werden kann.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst das Verwerfen des bereitgestellten Bildes ein Löschen eines Pufferspeichers. Dies hat den Vorteil, dass falls ein Bild in Bearbeitung ist, also beispielsweise kodiert wird, es bei einem Eintreffen eines weiteren Bildes in der Bildverarbeitungseinheit mit großem Informationsgehalt, also großem Unterschied zu dem gerade kodierten Bild, das Kodieren des ersten Bildes abgebrochen werden kann, und das Bild mit großem Informationsgehalt sofort bearbeitet werden kann. Für den Fall, dass das Bild welches gerade bearbeitet wird, ein Keyframe ist, wird der neu eintreffende Frame verworfen.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden im Wesentlichen unterschiedliche Bilder mit einer Bildbereitstellungsrate von über 50 Hz bereitgestellt. Dies hat den Vorteil, dass Bilder bzw. Bildströme gemäß herkömmlicher Bildbereitstellungsraten erzeugt werden können, welche jedoch erfindungsgemäß schneller auf Veränderungen in aufgezeichneten Bildern reagieren können. So wird durch ein Verwerfen von Bildern zugunsten von Bildern mit höherem Informationsgehalt die Reaktionszeit auf Ereignisse verkürzt. Der Fachmann erkennt hierbei, dass auch weitere herkömmliche Frequenzen, beispielsweise über 60 Hz möglich sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden im Wesentlichen gleiche Bilder mit einer Bildbereitstellungsrate von 50 Hz bereitgestellt. Dies hat den Vorteil, dass gleiche bzw. ähnliche Bilder mit einer niedrigeren Frequenz dargestellt werden können als unterschiedliche Bilder.
Der Fachmann erkennt hierbei, dass auch weitere herkömmliche Frequenzen, beispielsweise 60 Hz möglich sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung führt die Bildverarbeitungseinheit Bildkodierungsschritte aus. Dies hat den Vorteil, dass die Bildverarbeitungseinheit als Software, Hardware, virtualisierte Hardware oder eine Kombination hieraus bereitgestellt werden kann. Auch können herkömmliche Encoder erfindungsgemäß angepasst werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung liegt die Bildquelle als eine Hochfrequenzkamera vor. Dies hat den Vorteil, dass mit dem erfindungsgemäßen Verfahren auf die technischen Gegebenheiten der Systemkomponenten Rücksicht genommen wird und die Vorteile eines Aussortieren von Bildern mittels des Bereitstellens einer Auswahl von Bildern und des Verwerfen von Bildern besonders zum Tragen kommen.
Die Aufgabe wird ferner gelöst durch eine Vorrichtung zur Reduzierung einer Übertragungszeit von Bildern, aufweisend eine Bereitstellungseinheit eingerichtet zum Bereitstellen von sich im Wesentlichen unterscheidenden Bildern aus einer Vielzahl von erfassten Bildern an eine Bildverarbeitungseinheit, welche eingerichtet ist zum Verwerfen eines ersten bereitgestellten Bildes und Bearbeiten eines zweiten bereitgestellten Bildes durch die Bildverarbeitungseinheit, falls ein Unterschied zwischen dem ersten bereitgestellten Bild und dem zweiten bereitgestellten Bild einen bereitgestellten Schwellwert übersteigt. Dies geschieht, falls das erste Bild nicht bereits signifikante Information enthält. In diesem Fall wird das später eintreffende Bild verworfen.
Insbesondere kann die Vorrichtung die Verfahrensschritte wie sie bereits angeführt wurden ausführen. Ferner kann die erfindungsgemäße Vorrichtung verwendet werden, um ein bestehendes System besonders vorteilhaft auszugestalten.
Die Aufgabe wird ferner gelöst durch ein Computerprogramm mit Steuerbefehlen, welche ein Ausführen des beschriebenen Verfahrens veranlassen. Die Steuerbefehle können auf einem Datenträger gespeichert werden, welcher in eine bestehende Vorrichtung integriert sein kann, oder aber über ein Netzwerk bereitgestellt werden.
Folglich wird ein Verfahren, eine Vorrichtung und ein Computerprogramm vorgeschlagen, welche in besonders vorteilhafter Weise auf die Merkmale der bestehenden Komponenten Rücksicht nehmen und verhindern, dass ein Bildverarbeitungssystem aufgrund einer zu großen Anzahl an zu verarbeitenden Bildern überlastet wird. Ferner werden kurze Übertragungszeiten und Reaktionszeiten gewährleistet.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von erfindungsgemäßen Ausführungsbeispielen sowie weiteren Ausführungsalternativen in Zusammenhang mit den Zeichnungen, die zeigen:
1A: ein Anwendungsbeispiel eines Verfahrens zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung;
1B: eine Tabelle mit Verarbeitungszeiten als ein Anwendungsbeispiel eines Verfahrens zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung;
2: eine Vorrichtung zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung;
3: eine Vorrichtung zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung;
4: ein System zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung; und
5: ein Verfahren zum Reduzieren von Übertragungszeiten gemäß einem Aspekt der vorliegenden Erfindung.
1A zeigt ein Anwendungsbeispiel mit erfindungsgemäßen Blöcken bzw. Einrichtungen zum Ausführen eines Verfahrens zum Reduzieren von Übertragungszeiten. Die vorliegende Erfindung betrifft ein System zur Erfassung, Kodierung, Übertragung, Dekodierung und Anzeige eines Video-Streams. Ein Vorteil der Erfindung ist eine wesentlich verringerte Ende-zu-Ende Verzögerung im Vergleich zu bestehenden Systemen. Herkömmliche Systeme erreichen eine mittlere End-to-End (E2E) Verzögerung von 50 bis 100 Millisekunden.
Eine Ende-zu-Ende Verzögerung ist die Zeit zwischen dem Auftreten eines Ereignisses im Sichtfeld der Kamera und der Zeit des erstmaligen Anzeigen auf einem Bildschirm oder dem Empfänger an den das Signal geschickt wird. Ein solches System kann für eine hochdynamische Fernsteuerung verwendet werden, bei der nur eine sehr geringe Verzögerung von 20 bis 30 ms eine enge Steuerung ermöglicht. Alternativ kann das Signal durch einen Computer-Vision-Prozessor verarbeitet werden, welcher Algorithmen zur Ermittlung von Informationen, wie eine Position oder eine Geschwindigkeit von Objekten, durchführt. Diese Informationen können verwendet werden, um beispielsweise Produktionsprozesse automatisch zu steuern. Für derartige Verfahren ist die Verzögerungsgrenze noch niedriger, abhängig von der jeweiligen Anwendung. Da herkömmliche Systeme diese Grenzen nicht erfüllen, sind ein verbessertes Verfahren und eine verbesserte Vorrichtung notwendig.
Ein Video-Streaming-System, welches über ein Netzwerk verteilt ist, ist in 1A gezeigt. Die Blöcke zeigen Hardware- Einheiten und/oder Software-Einheiten, die an dem Verfahren beteiligt sind. Bezüglich der einzelnen Blöcke ist die entsprechende Verarbeitungszeit t dargestellt. Die Ende-zu-Ende Verzögerung T der gesamten Verarbeitungskette ist die Summe T = t_CFR + t_CP + t_PS + t_Enc + 2t_Buf + t_Pac + t_Tra + t_Pro + t_Dep + t_Dec + t_DP + t_DR + t_DPR (1) der einzelnen Verarbeitungszeiten. Die Kameraaktualisierungsrate tCFR und die Display-Aktualisierungsrate tDR sind die beiden größten Summanden der Gesamtverzögerung T, deren Minimierung mitsamt einer Optimierung der anschließenden Verarbeitungsschritte besonders vorteilhaft ist. Ferner kann tDPR mittels einer Erhöhung der Bildschirmbildfrequenz minimiert werden. tCFR kann durch Erhöhen der Frame Rate und entsprechende Anpassung der maximalen Belichtungszeit reduziert werden.
Die Bezeichnungen der einzelnen Blöcke bzw. Komponenten ist der 1B in der linken Spalte zu entnehmen. In der rechten Seite sind typische Werte eingetragen, wie sie in performanten Systemen entstehen.
Es wird die Verwendung einer Hochgeschwindigkeitskamera ermöglicht, ohne dass andere Parameter des Systems zu ändern sind, wie die Verarbeitungsgeschwindigkeit des Encoders oder die Kanalrate des Netzwerks. Herkömmlich würde die erhöhte Ausgangsinformationsrate der Kamera zum Beispiel eine Überlastung des Netzwerkkanals verursachen. Zur Steuerung der Ausgabeinformationsrate, so dass kein beteiligter Block bzw. Komponente überfordert ist, wird erfindungsgemäß ein Durchführen einer Auswahl der Rahmen unmittelbar nach dem Aufnahmeprozess veranlasst. Die Entscheidung, ob ein Rahmen übersprungen oder zur weiteren Verarbeitung verwendet werden soll, erfolgt beispielsweise auf Grundlage der folgenden Kriterien:

• Inhalt
• Subjektive Kriterien
• Begrenzte Hardware-Kapazitäten

Inhalt: je höher die Menge an neuen Informationen in einem Rahmen im Vergleich zum letzten nicht-übersprungenen Rahmen ist, desto wahrscheinlicher wird ein Rahmen für die Verarbeitung ausgewählt. Der Informationsgehalt kann unter anderem in Abhängigkeit der mittleren absoluten Differenz (MAD) oder dem strukturellen Ähnlichkeits-Index (SSIM) quantisiert werden oder durch Analysieren der Bits eines kodierten Rahmens, also eines Bildes. Weitere Kennzahlen zur Änderungserkennung können ebenfalls verwendet werden. Auf diese Weise wird sichergestellt, dass ein neues Ereignis, das den Bildinhalt drastisch ändert, eine minimale Verzögerung durchlauft.
Dieser Prozess ist in 2 gezeigt, wobei unterschiedliche Rahmen, also Bilder, den Buchstaben A, B, C oder D aufweisen. Von den drei ähnlichen Bildern mit dem Buchstaben A muss nur der erste übertragen werden und die folgenden zwei müssen nicht an den Encoder bereitgestellt werden. Der nächste Rahmen der zum Encoder übertragen wird, ist der erste Rahmen, der mit B gekennzeichnet ist. Dieser hat einen signifikanten Unterschied zu den vorhergehenden Rahmen, zum Beispiel in Bezug auf die MAD. Die Wahl eines Rahmens kann zum Beispiel einfach durch Schwellenwerte bzgl. des MAD-Werts durchgeführt werden. Es ist klar ersichtlich, dass die Rate in der die Rahmen aus der erfindungsgemäßen Vorrichtung gelangen niedriger ist als die eingehende Rate. Der Betrag des Unterschieds, also der relative Informationsgehalt, ist abhängig von dem Bildinhalt und der Schwellenwertauswahl. Somit kann bestimmt werden, ob zwei Bilder unterschiedlich sind oder nicht, was von der Auswahl des Schwellenwerts abhängt.
Subjektive Kriterien: Eine stark schwankende Bildrate verringert die subjektive Qualität eines Videos. Die Rahmen sind derart zu wählen, dass die subjektive Bewertung des resultierenden Videostroms so hoch wie möglich ist, bei gleichzeitiger Einhaltung anderer Einschränkungen wie Verzögerung und Kanalrate. Dies kann in einer Implementierung beispielsweise durch den Einsatz einer unteren Bildwiederholungsfrequenz fu gelöst werden. Falls sich Bilder nicht signifikant unterscheiden, werden trotzdem alle 1/fu Sekunden ähnliche Bilder von der Kamera ausgewählt und weiter verarbeitet.
Begrenzte Hardware-Kapazitäten: jeder Block der Kette hat eine konstante oder variierende Durchsatzrate in Frames pro Sekunde. Die Rate der ausgewählten und bereitgestellten Frames darf die Geschwindigkeit des langsamsten Blocks nicht überschreiten. Andernfalls müssen Frames in Abhängigkeit des Schwellwerts von diesen Blöcken gelöscht werden. Darüber hinaus besteht Vorrang in allen Blöcken für Bilder mit hohem Informationsgehalt. Das bedeutet, dass beispielsweise wenn der Codierer belegt ist, ein Frame mit bekanntem Inhalt und verworfen wird, zugunsten eines Rahmens mit neuer Information, der dann bearbeitet wird. Dies gilt analog für den Encoder-Puffer, der alle vorherigen Pakete verwirft, wenn ein neuer Frame mit hohem relativem Informationsgehalt eintrifft.
Der Nutzen der vorliegenden Erfindung gegenüber herkömmlichen Verfahren ist vor allem die reduzierte Verzögerung für plötzliche Ereignisse, die nicht durch eine einfache Änderung der Frame-Rate nach dem Detektieren erreicht werden kann sowie Änderungen in der Szene eines Videos. Weiterhin ist keine zusätzliche Kanalrate erforderlich, um Ereignisse mit einer niedrigen Latenzzeit bei einer gegebenen Bildqualität zu übertragen. Eine schematische Darstellung des erfindungsgemäßen Verfahrens ist in 3 gezeigt, mit den folgenden Verfahrensschritten bzw. mit den folgenden Einheiten der erfindungsgemäßen Vorrichtung:
Cam_events erzeugt Frames mit einer exponentiell verteilten Zwischenankunftszeit. Es werden Testbilder mit unterschiedlichen Frameraten erzeugt. Die verwendeten Frameraten werden so gewählt, dass sich insgesamt eine exponentielle Häufigkeitsverteilung ergibt. Da diese Quelle Frames aufgrund der aufgetretenen Ereignisse ordnet, die sich zur Zeit ihres Auftretens ähneln, wird auf den nächsten Zeitpunkt aufgerundet, zu dem die Kamera Bilder bereitstellt. Die Größe eines Rahmens in Bytes wird von einer Videospur ausgelesen, wobei in der Simulation jedem Frame gleich seine encodierte Größe zugeordnet wird. Die Größe der rohen Frames ist konstant. Dieser Block simuliert also die Ausgabe von Frames mit signifikant neuer Information aus dem Frame Selektor aus 1A.
Cam_base produziert Rahmen mit einer festen Zwischenankunftszeit δ, um einen grundlegenden Video-Stream zu erhalten. Tritt ein Ereignis zum Zeitpunkt t in dem Cam_events Block auf, wird der nächste Grundrahmen aus Cam_base auf den Zeitpunkt t + δ. geschoben, wobei δ = 1/fu gilt. Die Größe eines Rahmens in Bytes wird wiederum von einer Videospur ausgelesen. Damit simuliert dieser Block die Frames, welche nicht aufgrund ihres signifikant neuen Inhaltes, sondern zur Vermeidung der Unterschreitung von fu vom Frame Selector ausgewählt werden. Zusammen simulieren Cam_events und Cam_base die Ausgabe der Frame Selection aus 1A.
Background_traffic erstellt Pakete, welche den Kanal zwischen EncBuf und DecBuf belegen, mit einer Paketgröße, welche von einer Trace-Datei bezogen wird, wodurch eine wechselnde Auslastung des Übertragungskanals simuliert werden soll.
CamBuf und DisBuf stellen die Elektronik für die Kodierung und Dekodierung bereit und tragen grundsätzlich zu einer konstanten Verzögerung bei. Sie sind in der Lage Daten zu puffern, falls die Eingangsrate höher ist als die Verarbeitungsrate. Im Fall von Datenpufferung erhöht sich die Verzögerung entsprechend.
EncBuf stellt eine Warteschlange für die Frames vor einer Übertragung über den Kanal bereit. Jeder eingehende Rahmen wird in Pakete mit einer Größe von höchstens gleich der maximalen Übertragungseinheit (MTU) geteilt. Der Block kann, wie alle anderen, Vorrang erhalten: wenn ein Rahmen, die ein bekanntes Ereignis enthält einem Block bereitgestellt wird, werden alle anderen Frames verdrängt bzw. verworfen und die wichtigen Rahmen werden sofort bedient. Wenn ein Rahmen mit einem Ereignis bereits verarbeitet wird wenn ein anderer Frame ankommt, wird der neu ankommende Rahmen verworfen. Dies ist notwendig, um mit einem gehäuften Auftreten von Ereignissen fertig zu werden. Eine zu schnelle Abfolge von Frames würde jedes neue Ereignis des vorherigen Bildes mit dem vorherigen Ereignis verdrängen. Stattdessen wird die höchste Priorität an Rahmen am Anfang eines gehäuften Auftretens zugewiesen.
Dis entspricht der Anzeige und liefert die Senke für die Rahmen. Wie eine echte Anzeige, wird dieser Block mit einer festen Rate aktualisiert, z. B. mit einer Rate gleich dem Inversen der Periode 1/δ. In diesem Fall entspricht die Rate der Anzeige der unteren Bildwiederholfrequenz fu. Es sind aber auch Implementierungen mit einer Anzeigefrequenz ungleich 1/δ denkbar und sinnvoll einsetzbar.
Um die Verzögerung durch den innerhalb eines Rahmens gewählten Belichtungszeitpunkt des Kamerasensors zu simulieren, wird eine innerhalb der Frames gleich verteilte Verzögerung mit den entsprechenden Grenzen für die End-zu-End-Verzögerung hinzugefügt. Ein Ereignis kann jederzeit während der Belichtung, die maximal eine Rahmenperiode dauert, auftreten. Dies bedeutet, dass die Verzögerung minimal Null annähert, wenn das Ereignis kurz vor Ende der Belichtung eintritt und fast sofort aus dem Sensor ausgelesen wird. Das andere Extrem ist, dass die zusätzliche Verzögerung der Rahmenperiode der Kamera entspricht, wenn ein Ereignis zu Beginn der Exposition stattfindet.
Auf diese Weise wird ein Verfahren bzw. eine Vorrichtung bereitgestellt, welche ein Verkürzen einer Übertragungszeit von Bildern, verglichen mit herkömmlichen Ansätzen, bewirken. Die beschriebenen Blöcke dienen als Einheiten, welche als physische Einheiten, als Software, als virtualisierte Einheiten oder einer Kombination daraus bereitgestellt werden können. Der Aufbau wie er gemäß einem Aspekt der vorliegenden Erfindung in 3 beschrieben ist, ist beispielhaft, wobei sich auch einzelne Einheiten zusammenfassen lassen oder in anderer Reihenfolge anzuordnen sind.
Somit wird ein Verfahren zur Reduzierung der Übertragungszeit zwischen einem Sender und einem Empfänger vorgeschlagen, in einer Bild oder Video Übertragungsstrecke unter Beibehaltung einer Bandbreitenlimitierung, z. B. eine Hardware Limitierung z. B. durch eine maximale Encoder/Decoder Bandbreite oder eine maximale Datenbus Bandbreite, umfassend die folgenden Verfahrensschritte.
Bereitstellen einer Übertragungsstrecke bestehend aus einer Bilderfassungseinheit als Sender, einem Encoder, einem Datenbus (eine TCP/IP Verbindung, einer Coax oder Zweidraht Leitung, etc.), einem Decoder und einem Empfänger, wobei der Empfänger insbesondere ein Bildschirm oder insbesondere eine Recheneinheit zur Weiterverarbeitung der Empfangenen Daten sein kann.
Erhöhen der Frame Rate der Bilderfassungseinheit auf einen Wert fn oberhalb der 50 Hz Videonorm Durchführung einer verlustbehafteten Datenkomprimierung durch Frame Skipping über die Selektion von Key-Frames, wobei nur die Key Frames vom Sender an den Encoder und weiter an den Empfänger über die Übertragungsstrecke übertragen werden, d. h. die Selektion findet vor dem Encoder statt, wobei die Key Frames dadurch identifiziert werden, dass sie einen signifikanten neuen Informationsanteil aufweisen und der signifikante neue Informationsanteil über einen Vergleich der eintreffenden Frames mit dem zuletzt selektierten Key Frame erfolgt (Frame/Keyframe Vergleichsmethode). Der Vergleich erfolgt über eine „mean absolute difference” (MAD), einen „structural similarity index” (SSIM) oder durch Bitvergleich oder über andere Bildvergleichsmetriken. Um die grundlegende Bildbereitstellungsrate aufrecht zu erhalten, werden auch Frames ohne signifikanten Unterschied zum letzten Frame übertragen. Dies geschieht nach einer festgelegten Maximalzeit 1/fu, während der kein anderer Frame übertragen wurde.
Bei einer Überschreitung einer Bandbreiten- oder Hardwarelimitierung (Burst Event, d. h. zu viele Key Frames sollen in zu kurzer Zeit verarbeitet und übertragen werden) werden neu eintreffende Key Frames solange verworfen bis die Verarbeitungskette neue Key Frames aufnehmen kann ohne diese vor einem ihrer Blocke puffern zu müssen. Hardwarelimitierung bezeichnet beispielsweise die begrenzte Bildverarbeitungsrate des Enkodierers. Es werden innerhalb des Bandbreiten- und Hardwarelimits die ersten Key-Frames übertragen und alle anderen Key-Frames oder Frames werden verworfen, wobei die verlustbehaftete Datenkomprimierung in Echtzeit ohne die Verwendung von Puffern durchgeführt wird; also auch kein Nachprozessieren von Video Daten, d. h. der Sender ist eine live-Quelle.
Optional wird ein Unterschreiten einer unteren übertragenen Frame Rate fu verhindert. Das kann insbesondere durch Senden der Frames ohne Key-Frame Selektion (free running) umgesetzt werden. Dabei werden Frames, falls keine Key Frames auftreten, alle 1/fu Sekunden gesendet. Ferner ist es vorteilhaft, wenn eine Frame Wiederholung unmittelbar vor dem Empfänger durchgeführt wird um Übertragungsbandbreite einzusparen. Dies ist nur nötig, falls die Anzeigefrequenz höher ist als fu.
Somit wird ein Verfahren, eine Vorrichtung und ein Computerprogramm zum Reduzieren einer Übertragungszeit von Bildern vorgeschlagen, welche in besonders vorteilhafter Weise auf die technischen Merkmale der bestehenden Komponenten Rücksicht nehmen und verhindern, dass ein Bildverarbeitungssystem aufgrund einer zu großen Anzahl an zu verarbeitenden Bildern überlastet wird.
Die Erfindung unterscheidet sich jedoch vom Stand der Technik unter anderem dadurch, dass die Key-Frames über ein anderes Verfahren selektiert und für die Übertragung ausgewählt werden. An Stelle eines Neuronalen Netzwerkes, das mit Hilfe eines Prädiktors für ein Zeitsegment im Vorfeld festlegt wie groß die Anzahl der Key-Frames hinsichtlich der Bandbreitenlimitierung sein darf und das die Key-Frames anhand einer Zukunftsvoraussage auswählt wird in der vorliegenden Erfindung die Entscheidung über Auswahl und Übertragung eines Key-Frames erst beim Eintreffen eines neuen Frames getroffen. Die Frame Selektion wird dabei extrem schnell durchgeführt damit die dadurch entstehende Verzögerung vernachlässigbar ist. Dies gelingt indem jeder neu eintreffende Frame auf einfache Weise mit dem zuletzt selektierten Key-Frame verglichen wird. Dadurch, dass ein neu selektierter Key-Frame jeweils den zuletzt selektierten Key-Frame ersetzt, falls dieser noch nicht übertragen wurde erfolgt die Anpassung an die Bandbreitenlimitierung der Übertragungsstrecke dynamisch und es wird dadurch sichergestellt, dass jeweils der aktuellste Content mit neuem signifikanten Informationsanteil den Empfänger als erstes erreicht. Diese Unterschiede bewirken, dass das Frame Skipping dynamischer an die zu übertragenen Inhalte angepasst wird, so dass eine bessere Auswahl von Key-Frames mit neuem Signifikanten Informationsanteil vorgenommen und schneller an den Empfänger übertragen werden kann.
Die vorliegende Erfindung löst die gestellte technische Aufgabe, indem neu eintreffende Frames jeweils mit dem zuletzt selektierten Key-Frame verglichen werden und die Bewertung, ob ein signifikanter Informationsanteil gegenüber dem zuletzt selektierten Frame vorhanden ist über einen schnellen und einfachen Algorithmus durchgeführt wird. Die Bandbreiten- und Hardwarelimitierung wird dadurch berücksichtigt, dass neu eintreffende Key-Frames bei unmittelbar vorher übertragenem Key-Frame solange verworfen werden, bis die Limitierungen wieder eingehalten werden. Damit wird eine dynamische Anpassung an die Bandbreiten- und Hardwarelimitierung der Übertragungsstrecke erreicht und es wird dadurch sichergestellt, dass im Falle eines Burst-Events der signifikantem Informationsanteil als erstes zum Empfänger gelangt.
4 zeigt das erfindungsgemäße System zur Reduzierung von Übertragungszeiten bzw. zur Selektion von zu übertragenden Bildern. Hierzu zeigt die vorliegende 4 eine bildgebende Vorrichtung auf der linken Seite, z. B. eine Kamera K. Gemäß einem Aspekt der vorliegenden Erfindung übermittelt die Kamera K alle Bilder an einen Frame Selector FS. Dieser Frame Selector FS übermittelt nur ausgewählte Bilder an einen Codierer bzw. Encoder E. Zur Selektion geeigneter Bilder sind in dem sogenannten Frame Selector FS mehrere Berechnungen bzw. Messungen möglich.
So kann beispielsweise eine Zeitdifferenz Δt zwischen neu eintreffenden und zuletzt übertragenen Frames bzw. Bildern berechnet werden. Ferner kann auch eine Inhaltsdifferenz ΔI zwischen neu eintreffenden und zuletzt übertragenen Frames bzw. Bildern gemäß der beschriebenen Bildvergleichsmetriken berechnet werden. Die Entscheidungsfindung basierend auf diesen zwei Berechnungen bzw. Messungen ist in der 5 gezeigt.
5 beschreibt ein Verfahren zur Auswahl von Bildern, welche an einen Encoder übertragen werden bzw. ausgewählt werden. In der vorliegenden 5 werden einige Parameter berücksichtigt, welche wie folgt definierbar sind:

t_min:: beschreibt die minimale Zeitdifferenz zwischen ausgewählten Frames bzw. Bildern zur Einhaltung von Hardware- und Bandbreitenbegrenzungen.
1/fu = t_max > t_min:: beschreibt die Maximalzeit zwischen zwei Frames, um die erforderliche minimale Bildbereitstellungsrate fu einzuhalten.

thr beschreibt einen Schwellenwert, welcher zum Inhaltsvergleich zwischen zwei Bildern bzw. Frames herangezogen wird.
In der vorliegenden 5 beschreibt der oberste Pfeil ein Eintreffen eines neuen Frames in den Frame Selector FS. Hierauf erfolgt ein Berechnen von Δt, wie es unter Verfahrensschritt 1A verdeutlicht ist. Es folgt ein Verwerfen von dem Frame 2, falls die Bedingung Δt ≤ t_min erfüllt ist. Ist hingegen die Bedingung t_min < Δt < t_max erfüllt, so erfolgt ein Berechnen des Bildunterschieds ΔI, wobei das neu eintreffende Bild mit dem vorhergehenden Bild verglichen wird. Ist der Bildunterschied geringer als der gewählte Schwellenwert, so folgt ein Verwerfen des Frames 3, was also der Bedingung ΔI < thr entspricht. Ist der Schwellenwert gleich oder überstiegen, so erfolgt ein Übertragen des neu empfangenen Frames als ein sogenannter Key Frame in Verfahrensschritt 4. Dies entspricht der Bedingung ΔI ≥ thr.
Wird in dem Verfahrensschritt 1A festgestellt, dass Δt ≥ t_max entspricht, so folgt in dem Verfahrensschritt 1C ein Berechnen des Bildunterschieds ΔI bezüglich dem vorherigen eingetroffenen Bild und dem neu eingetroffenen Bild. Bei einem Überschreiten des Schwellenwerts bzw. bei Gleichheit des Unterschieds zu dem Schwellenwert erfolgt ein Übertragen des neu empfangenen Frames als ein Key Frame 4. Wird jedoch nach dem Verfahrensschritt 1C festgestellt, dass der Bildunterschied kleiner ist als der gewählte Schwellenwert ΔI ≤ thr, so erfolgt ein Übertragen des neu eingetroffenen Frames als ein nicht signifikanter Frame in Verfahrensschritt 5. Somit unterscheiden sich Verfahrensschritte 4 und 5 derart, dass zwar ein Frame nicht verworfen wird, wie es in Verfahrensschritt 3 geschieht, jedoch eine Unterscheidung zwischen den Frames zwischen Key Frame und nicht signifikantem Frame erfolgt. Was eine für das eventuell folgende Verwerfen von Frames beispielsweise im Pufferspeicher notwendige Information ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7095786 B1 [0002]
WO 2010/014759 A2 [0003]

Claims

Verfahren zum Reduzieren einer Übertragungszeit von Bildern, umfassend die Schritte: – Bereitstellen von sich im Wesentlichen unterscheidenden Bildern aus einer Vielzahl von erfassten Bildern an eine Bildverarbeitungseinheit; und – Verwerfen eines ersten bereitgestellten Bildes und Bearbeiten eines zweiten bereitgestellten Bildes durch die Bildverarbeitungseinheit, falls ein Unterschied zwischen dem ersten bereitgestellten Bild und dem zweiten bereitgestellten Bild einen bereitgestellten Schwellwert übersteigt.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass ein Bereitstellen von im Wesentlichen gleicher Bilder mit niedrigerer Rate erfolgt als das Bereitstellen unterschiedlicher Bilder.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bereitstellen von sich unterscheidenden Bildern ein Berechnen des Unterschieds zwischen zwei Bildern umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Berechnen des Unterschieds zwischen zwei Bildern mittels einer Mittleren Absoluten Differenz, einer strukturellen Ähnlichkeit, einer Bildvergleichsmetrik und/oder eines Bitvergleichs erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der bereitgestellte Schwellwert in Abhängigkeit eines berechneten Unterschieds zwischen mindestens zwei Bildern dynamisch berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Einhalten einer vorbestimmten Bildbereitstellungsrate im Wesentlichen gleiche Bilder und unterschiedliche Bilder bereitgestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen von Bildern und das Verarbeiten von Bildern unter Berücksichtigung einer Hardwareinformation erfolgt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Hardwareinformation eine Rechenkapazität, eine Speicherkapazität und/oder eine Bandbreite aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verwerfen des bereitgestellten Bildes ein Löschen eines Pufferspeichers umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Wesentlichen unterschiedliche Bilder mit einer Bildbereitstellungsrate von über 50 Hz bereitgestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Wesentlichen gleiche Bilder mit einer Bildbereitstellungsrate von 50 Hz bereitgestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit Bildkodierungsschritte ausführt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildquelle als eine Hochfrequenzkamera vorliegt.
Vorrichtung zur Reduzierung einer Übertragungszeit von Bildern, umfassend: – eine Bereitstellungseinheit, eingerichtet zum Bereitstellen von sich im Wesentlichen unterscheidenden Bildern aus einer Vielzahl von erfassten Bildern an eine Bildverarbeitungseinheit; und – die Bildverarbeitungseinheit, eingerichtet zum Verwerfen eines ersten bereitgestellten Bildes und Bearbeiten eines zweiten bereitgestellten Bildes durch die Bildverarbeitungseinheit, falls ein Unterschied zwischen dem ersten bereitgestellten Bild und dem zweiten bereitgestellten Bild einen bereitgestellten Schwellwert übersteigt.
Computerprogramm mit Steuerbefehlen, welche ein Ausführen des Verfahrens gemäß einem der Ansprüche 1 bis 13 veranlassen.