DE102017010887A1

DE102017010887A1 - Verfahren zur Latenzmessung

Info

Publication number: DE102017010887A1
Application number: DE102017010887.0A
Authority: DE
Inventors: Johannes Traxler
Original assignee: Avi Systems GmbH
Current assignee: Eyyes At GmbH
Priority date: 2017-11-08
Filing date: 2017-11-24
Publication date: 2019-05-09

Abstract

Verfahren zum Messen einer Übertragungszeit
zwischen dem Erzeugen eines Bildsignals vor einem Kamerasensor einer Kamera (2) und dem Anzeigen des Bildsignals auf einem Bildschirm (6),
welches Bildsignal zwischen der Kamera (2) und dem Bildschirm (6) übertragen wird, wobei
eine Lichtquelle (1) unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet wird,
die Lichtquelle (1) zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet wird, und
ein Anzeigezeitpunkt, zu welchem Anzeigezeitpunkt das Bildsignal am Bildschirm (6) angezeigt wird, mittels eines Lichtsensors erfasst wird.

Description

Diese Erfindung betrifft ein Verfahren zum Messen einer Übertragungszeit zwischen dem Erzeugen eines Bildsignals vor einem Kamerasensor einer Kamera und dem Anzeigen des Bildsignals auf einem Bildschirm, welches Bildsignal zwischen der Kamera und dem Bildschirm übertragen wird.
Bei Verfahren nach dem Stand der Technik wurde eine vor der Kamera angeordnete Uhr anzeigend eine erste Uhrzeit und eine am Bildschirm angezeigte zweite Uhrzeit gleichzeitig fotografiert und die Übertragungszeit aus der Differenz zwischen den angezeigten Uhrzeiten errechnet. Selbst ein Laie erkennt, dass ein solches Verfahren keinesfalls als hinreichend genau angesehen werden kann.
Die Erfindung stellt sich der Aufgabe, die Übertragungszeit zwischen der Kamera und dem Bildschirm genauer als bei einer Anwendung von Messmethoden nach dem Stand der Technik zu messen.
Erfindungsgemäß wird dies dadurch erreicht, dass
eine Lichtquelle unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet wird,
die Lichtquelle zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet wird, und
ein Anzeigezeitpunkt, zu welchem Anzeigezeitpunkt das Bildsignal am Bildschirm angezeigt wird, mittels eines Lichtsensors erfasst wird.
Der Lichtsensor kann ein Phototransistor sein.
Die Lichtquelle kann eine Lampe oder dergleichen sein. Die Lichtquelle kann auch ein nach Verfahren nach dem Stand der Technik detektierbares Objekt mit charakteristischen Eigenschaften wie beispielsweise eine Farbe sein, welche Farbe sich von der Umgebung eindeutig abgrenzt.
Vorzugsweise kann eine LED als Lichtquelle unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet werden und das LED als Lichtquelle zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet werden.
Der im Folgenden diskutierte erweiterte Lösungsansatz basiert darauf, andere Einflüsse als die reine Übertragungszeit auf das Messergebnis zurückzudrängen. Dies wird unter anderem durch die Verwendung von LED zur Erzeugung des Bildsignals erreicht.
LED ist das allgemein gebräuchliche Kurzwort für Licht emittierende Diode. Eine LED zeichnet sich dadurch aus, dass über die Einschaltdauer eine konstante Lichtstärke emittiert wird. Beim Einschalten der LED steigt die Lichtstärke des emittierten Lichts derart schnell an, dass die ansteigende Leuchtstärke vernachlässigbar ist und keinen Einfluss auf das erfindungsgemäße Verfahren hat.
Andere Leuchtmittel als LED weisen zumeist eine beim Einschalten des Leuchtmittels ansteigende Lichtstärke auf.
Aufgrund der oben angeführten Eigenschaften einer LED ist es möglich, in einer für das erfindungsgemäße Verfahren vorteilhaften Weise den Zeitpunkt des Emittierens von Licht durch eine LED genau zu bestimmen. Es muss im Unterschied zu anderen Leuchtmitteln kein Schwellenwert oder dergleichen definiert werden, bei welchem Schwellenwert eine ausreichende Lichtstärke emittiert wird. Ein Einfluss einer steigenden Lichtstärke vor und nach dem Erreichen eines gegebenenfalls definierten Grenzwertes auf das Messverfahren kann sohin ausgeschlossen werden.
Es liegt nahe, das erfindungsgemäße Verfahren mittels eines computerimplementierten Steuerungsverfahrens zu steuern. Der Fachmann erhält unter der Annahme, dass der Einschaltzeitpunkt der LED dem Zeitpunkt des Emittierens von Licht entspricht, den Einschaltzeitpunkt. Die Messung des Zeitpunktes, zu welchem das Bildsignal am Bildschirm angezeigt wird, erfolgt mittels Phototransistoren.
Der Einschaltzeitpunkt der LED als Lichtquelle und die Abtastposition der Kamera sind als stets voneinander unabhängige Größen zu betrachten. Es ist keinesfalls möglich, den Einschaltzeitpunkt der LED und die Abtastposition des Kamerasensors in nur irgendeiner Form zu synchronisieren.
Damit ein Bildsignal detektiert wird, muss die LED- bevor ein Vollbild der Kamera zur Gänze abgetastet wurde - mindestens für eine Dauer t_min eingeschaltet sein, wobei die zu wählende Dauer t_min von der Bildfrequenz der Kamera abhängt. Der Fachmann ist in der Lage, t_min in Hinblick auf die technischen Eigenschaften der Kamera und der damit verbundenen Bildverarbeitungssysteme (wie beispielsweise zum Speichern der Bilder) zu wählen. Bei Verwendung einer PAL-Kamera (PAL steht hierbei für Phase Alternating Line) kann beispielhaft t_min bei einem Halbbild mit 20ms gewählt werden. Bei Verwendung einer HD-Kamera kann beispielhaft t_min bei einem Vollbild mit 17,0ms bis 40,0ms angegeben werden. Diese angegebenen Werte stellen lediglich Richtwerte dar. $p_{c a m} (t) \sim U (0, f_{c a m}^{- 1}) + t_{m i n, c a m}$
Findet das Einschalten der LED und die Übertragung der Information innerhalb einer Vollbildabtastperiode statt, ergibt sich eine Verzögerung von mindestens t_min maximal $f_{c a m}^{- 1},$
wobei $f_{c a m}^{- 1}$
die inverse Bildrate der Kamera in Millisekunden [ms] ist.
Liegt der Einschaltzeitpunkt der LED so, dass diese Information erst bei Abtastung des nächsten Bildes übertragen wird, ergibt sich ein notwendiges Intervall von mindestens $f_{c a m}^{- 1}$
[ms] und maximal $f_{c a m}^{- 1} + t_{m i n}$
[ms]. Dieser Fall kann auch eintreten, wenn die LED so spät eingeschaltet wird, dass die Beleuchtung nicht ausreicht, einen vom Kamerasensor erfassbaren Schwellwert zu erreichen oder wenn die LED erst nach Ende der Belichtungszeit eingeschaltet wird. Die minimale Zeit zur Aufnahme eines Bildes und die Latenz der Elektronik erhöht sich sohin um t_min,cam.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass durch eine sich über die Kamerasensorfläche des Kamerasensors erstreckende LED die gesamte Kamerasensorfläche belichtet wird. Vorzugsweise erfolgt die Belichtung der gesamten Kamerasensoroberfläche direkt.
Durch diesen Schritt wird ein Einfluss einer Latenz des Kamerasensors, welche das Messergebnis des erfindungsgemäßen Verfahrens negativ beeinflussen würde, unterbunden. Der Zeitpunkt des Einschaltens der LED ist unabhängig von der durch den Kamerasensor durchgeführten Abtastung erfassbar.
Es folgt hieraus die für das erfindungsgemäße Verfahren relevante Latenz beziehungsweise Übertragungszeit: $p_{c a m} (t) \sim 0 + t_{m i n, c a m}$
Die Lichtquelle kann hierzu in etwa in der Bildmitte des korrespondierenden Kamerabildes angeordnet werden.
Die Lichtquelle kann auf der Kamerasensorfläche angeordnet sein.
Die Lichtquelle kann auf einer Kameralinse der Kamera angeordnet werden.
Vorteilhaft kann eine Abdeckung vor der Kameralinse zur Abdunkelung des Kamerasensors vom Umgebungslicht angeordnet werden. Ein Abschirmen des Kamerasensors vom Umgebungslicht hat den Effekt, dass nur das von der Lichtquelle emittierte Licht in das erfindungsgemäße Messverfahren einfließt.
Die Lichtquelle kann auf der dem Kamerasensor zugewandten Seite der Abdeckung angeordnet sein, sodass das durch die Lichtquelle emittierte Licht direkt auf den Kamerasensor abgegeben wird. Die Lichtquelle ist in räumlicher Hinsicht zwischen der Abdeckung und dem Kamerasensor angeordnet.
Der Lichtsensor kann in der Bildmitte des Bildschirmes angeordnet werden.
Die Lichtquelle überstrahlt zufolge der Anordnung unmittelbar vor dem Lichtsensor den gesamten lichtempfindlichen Messbereich des Lichtsensors. Der Lichtsensor erreicht sohin den produktspezifischen Sättigungswert.
Ein Anordnen des Lichtsensors in der Bildmitte des Bildschirmes schafft die besten Messergebnisse.
Es kann auch alternativ oder ergänzend hierzu ein sich über eine Bildschirmfläche des Bildschirmes erstreckender Lichtsensor auf dem Bildschirm angeordnet werden. Hierdurch kann der Einfluss eines teilbereichsweisen Aufbaus der Anzeige auf dem Bildschirm zurückgedrängt werden.
Das erfindungsgemäße Verfahren kann zur Bestimmung eines Einflusses eines zwischen der Kamera und dem Bildschirm geschalteten Gerätes durchgeführt werden, wobei zumindest ein Messverfahren gemäß der obigen Beschreibung ohne das Gerät und zumindest ein Messverfahren gemäß der obigen Beschreibung mit dem zwischen der Kamera und dem Bildschirm geschalteten Gerät durchgeführt wird, sodass die durch das Gerät verursachte Latenz gemessen wird.
Unter einer durch das Gerät verursachten Latenz wird im Allgemeinen die Veränderung der Übertragungszeit bei Schaltung eines Gerätes zwischen der Kamera und dem Bildschirm verstanden.
Zum besseren Verständnis der Erfindung wird diese anhand der nachfolgenden Figuren näher erläutert.

1 zeigt eine mögliche Anwendung des erfindungsgemäßen Verfahrens zur Bestimmung einer durch die Kamera und den Bildschirm hervorgerufene Latenz;
2 zeigt eine mögliche Anwendung des erfindungsgemäßen Verfahrens zur Bestimmung einer durch die Kamera, den Bildschirm und eines zwischen Kamera und Bildschirm geschalteten Gerätes;
3 bis 5 zeigen Messergebnisse, welche Messergebnisse durch Anwendung des erfindungsgemäßen Verfahrens ermittelt wurden;
6 umfasst eine Tabelle mit Angaben über für das Kameramodul und den Monitor, welches Kameramodul und welcher Monitor bei den in 3 bis 5 dargestellten Messungen verwendet wurden.

Einführend sei festgehalten, dass in den unterschiedlich beschriebenen Ausführungsformen gleiche Teile mit gleichen Bezugszeichen bzw. gleichen Bauteilbezeichnungen versehen werden, wobei die in der gesamten Beschreibung enthaltenen Offenbarungen sinngemäß auf gleiche Teile mit gleichen Bezugszeichen beziehungsweise gleichen Bauteilbezeichnungen übertragen werden können. Auch sind die in der Beschreibung gewählten Lageangaben, wie z.B. oben, unten, seitlich usw. auf die unmittelbar beschriebene sowie dargestellte Figur bezogen und es sind diese Lageangaben bei einer Lageänderung sinngemäß auf die neue Lage zu übertragen.
Es wird mittels einer Lichtquelle 1 ein erstes Licht 3 auf die Kamera 2 emittiert. Das emittierte erste Licht 3 beziehungsweise die Lichtwellen treffen hierbei direkt auf die Kameralinse 4 auf. Durch die in 1 nicht dargestellte Abdeckung wird sichergestellt, dass im Wesentlichen ausschließlich das emittierte erste Licht 3 auf der Kameralinse 4 auftrifft.
Die Kamera 2 ist über Verbindungmittel 5 nach dem Stand der Technik mit dem Bildschirm 6 verbunden, sodass ein durch die Kamera 2 aufgenommenes Bildsignal, welches Bildsignal im Wesentlichen das emittierte erste Licht 3 umfasst, an dem eine Grafikkarte umfassenden Bildschirm 6 angezeigt wird.
Der Bildschirm 6 emittiert wiederum ein zweites Licht 7, welches zweites Licht 7 direkt auf einen Phototransistor 8 auftrifft.
Das anhand von 1 veranschaulichte Verfahren wird mittels eine Computers 9 gesteuert. Durch den Computer wird die Lichtquelle 1 ein- und ausgeschaltet und sohin der Einschaltzeitpunkt der Lichtquelle 1 und weiters der Zeitpunkt des Emittierens des ersten Lichtes 3 definiert. Der Computer 9 ist - wie in 1 dargestellt - über eine I/O Karte 10 mit der LED gekoppelt.
Der Zeitpunkt wird weiters durch den Phototransistor 8 gemessen und an den Computer 9 weitergegeben.
Die durch die Latenz von Kamera 2 und Bildschirm 6 hervorgerufene erste Übertragungszeit T1 ergibt sich aus dem Einschaltzeitpunkt t_Licht_ein und dem Zeitpunkt t_dis, zu welchem Zeitpunkt t_dis das Bildsignal am Bildschirm detektierbar ist: $T 1 = t_{L i c h t_e i n} - t_d i s$
Die ermittelte erste Übertragungszeit T1 setzt sich bei dem in 1 dargestellten Ausführungsbeispiel zusammen aus der Videoaufnahme, Videoübertragung und Videowiedergabe. Letztere beinhalten insbesondere die Zeit für die Durchführung des Programmbefehls, für die Weitergabe des Befehls an die I/O-Karte 10 und die Reaktionszeit der I/O-Karte 10, die Zeitspanne vom Beginn des Stromflusses bis zum Emittieren von Photonien in einer LED als Lichtquelle 1, die Zeit zur Vollbildabtastung der Kamera durch den Kamerasensor und die Signalverarbeitung der Kamera 2, die Zeit für die Übertragung des Bildsignals von der Kamera 2 zum Bildschirm 6 über die Verbindung 5, die erforderliche Zeit zur Bildsignalaufbereitung durch die Grafikkarte und den Aufbau des Bildschirmes 6, die Zeit für den Anstieg des Ausgangssignals des Phototransistors 8 bis zum Schwellenwert und die erforderliche Zeit zur Verarbeitung der Signale in der Digitalosziloskop-Karte 12.
2 zeigt eine weitere Ausführungsform des erfindungsgemäßen Verfahrens. Der Aufbau der Elemente ist im Wesentlichen gleich zu dem in 2 dargestellten Aufbau. Zusätzlich ist zwischen der Kamera 2 und dem Bildschirm 6 ein Gerät 11 geschaltet, über welches Gerät 11 das Bildsignal von der Kamera 2 zu dem Bildschirm 6 weitergegeben wird.
Die in 2 gezeigte Anordnung der Elemente erlaubt wiederum die Bestimmung der zweiten Übertragungsdauer T2, wobei im Unterschied zu der in 1 gezeigten Anordnung die durch das Gerät 11 hervorgerufene Signalverarbeitungsdauer miteinfließt.
Durch einen Vergleich der mittels der in 1 dargestellten Anordnung gemessenen ersten Übertragungsdauer T1 und der mittels der in 2 dargestellten Anordnung gemessenen zweite Übertragungsdauer T2 lässt sich der Einfluss des Gerätes 11 auf die zweite Übertragungsdauer T2 bestimmen.
Die in den 1 und 2 dargestellten Ausführungsformen des erfindungsgemäßen Verfahrens zeigen lediglich mögliche Ausführungsvarianten des erfindungsgemäßen Verfahrens, wobei an dieser Stelle bemerkt sei, dass die Erfindung nicht auf die speziell dargestellten Ausführungsvarianten derselben eingeschränkt ist, sondern vielmehr auch diverse Kombinationen der einzelnen Ausführungsvarianten untereinander sowie die Zusammenschau der in den Figuren dargestellten Ausführungsvarianten mit dem allgemeinen Teil der Beschreibung möglich sind und diese Variationsmöglichkeit aufgrund der Lehre zum technischen Handeln durch die gegenständliche Erfindung im Können des auf diesem technischen Gebiet tätigen Fachmannes liegt.
Der Schutzbereich ist durch die Ansprüche bestimmt. Die Beschreibung und die Zeichnungen sind jedoch zur Auslegung der Ansprüche heranzuziehen. Einzelmerkmale oder Merkmalskombinationen aus den gezeigten und beschriebenen unterschiedlichen Ausführungsbeispielen können für sich eigenständige erfinderische Lösungen darstellen. Die den eigenständigen erfinderischen Lösungen zugrundeliegende Aufgabe kann der Beschreibung entnommen werden.
Der Ordnung halber sei abschließend darauf hingewiesen, dass zum besseren Verständnis des Aufbaus Elemente teilweise unmaßstäblich und/oder vergrößert und/oder verkleinert dargestellt wurden.
3 zeigt ein Messergebnis einer unter Anwendung des erfindungsgemäßen Verfahrens durchgeführten Latenzmessung, wobei ein Aufbau ähnlich wie in 1 dargestellt zur Anwendung kam. Es wurde hierbei ein Kameramodul und ein Bildschirm (Monitor) gemäß der in 6 angeführten Tabelle verwendet.
Es wurden 10000 Messungen durchgeführt. Die Messung ergab eine minimale Latenz T_min,ref = 8,5 +/-1 Millisekunden und eine maximale Latenz T_min,ref = 28,5 +/-1 Millisekunden. Der Termin +/-1 Millisekunde berücksichtigt allfällige Messungenauigkeiten.
4 zeigt ein Messergebnis einer unter Anwendung des erfindungsgemäßen Verfahrens durchgeführten Latenzmessung, wobei ein zu dem in 2 dargestellten ähnlicher Aufbau zur Anwendung kam. Es wurde ein Kameramodul, ein Bildschirm und ein RIVL1 als Gerät jeweils gemäß der in 6 angeführten Tabelle in Serie geschaltet.
Insgesamt wurden wiederum 10000 Messungen durchgeführt und eine Latenz von T_min,sys1 = 13,5 +/-1 Millisekunden und T_max,sys1 = 56,5 +/-1 Millisekunden ermittelt.
5 zeigt ein Messergebnis einer unter Anwendung des erfindungsgemäßen Verfahrens durchgeführten Latenzmessung. Es wurde eine Kamera, ein Bildschirm, ein RIVL1 und ein RIVL2 als Geräte 11 in Serie geschaltet. Insgesamt wurden wiederum 10000 Messungen durchgeführt, wobei eine Latenz T_min,sys1 = 19,5 +/-1 Millisekunden und T_max,sys1 = 90,5 +/-1 Millisekunden ermittelt wurden.
Bei den in den 3 bis 5 dargestellten Ergebnissen der Messung wurden als Kameramodul und als Bildschirm dieselben Komponenten verwendet. Es kann sohin das in 3 dargestellte Messergebnis als Referenzmessung zur Ermittlung der durch das Gerät 11 verursachten Latenz herangezogen werden. Die durch das Gerät 11 RIVL1 bedingte Latenz errechnet sich wie folgt, wobei sich ein etwaiger Messfehler aufsummiert: $T_{m i n, R I V L 1} = T_{m i n, s y s 1} - T_{m i n, r e f} = 5 + / - 2 [ms]$
$T_{m a x, R I V L 1} = T_{m a x, s y s 1} - T_{m a x, r e f} = 28 + / - 2 [ms]$
In hierzu analoger Weise ist die durch zwei Geräte 11 RIVL1 und RIVL2 bedingte Latenz ermittelbar: $T_{m i n, R I V L 1 R I V L 2} = T_{m i n, s y s 2} - T_{m i n, r e f} = 11 + / - 2 [ms]$
$T_{m a x, R I V L 1 R I V L 2} = T_{m a x, s y s 2} - T_{m a x, r e f} = 62 + / - 2 [ms]$
Kamera und Monitor haben sohin eine maximale Latenz T ≤ 29,5 Millisekunden.
Das Gerät RIVL1 hat eine maximale Latenz T ≤ 32,0 Millisekunden.
Die Geräte RIVL1, RIVL2 haben eine maximale Latenz von T ≤ 64,0 Millisekunden.
Bezugszeichenliste

1: Lichtquelle (LED)
2: Kamera
3: erstes Licht (durch LED emittiert)
4: Kameralinse
5: Verbindungsmittel
6: Bildschirm
7: zweites Licht
8: Phototransistor
9: Computer
10: I/O-Karte
11: Gerät
12: Digitalosziloskop-Karte
T1: erste Übertragungsdauer [ms]
T2: zweite Übertragungsdauer [ms]

Claims

Verfahren zum Messen einer Übertragungszeit zwischen dem Erzeugen eines Bildsignals vor einem Kamerasensor einer Kamera (2) und dem Anzeigen des Bildsignals auf einem Bildschirm (6), welches Bildsignal zwischen der Kamera (2) und dem Bildschirm (6) übertragen wird, dadurch gekennzeichnet, dass eine Lichtquelle (1) unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet wird, die Lichtquelle (1) zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet wird, und ein Anzeigezeitpunkt, zu welchem Anzeigezeitpunkt das Bildsignal am Bildschirm (6) angezeigt wird, mittels eines Lichtsensors erfasst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine LED als Lichtquelle (1) unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet wird, die LED als Lichtquelle (1) zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet wird.
Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass durch eine sich über der Kamerasensoroberfläche des Kamerasensors erstreckende Lichtquelle (1) die gesamte Kamerasensorfläche belichtet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Lichtquelle (1) auf der Kamerasensorfläche angeordnet ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Lichtquelle (1) auf einer Kameralinse der Kamera angeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Abdeckung vor der Kameralinse zur Abdunkelung des Kamerasensors vom Umgebungslicht angeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Lichtquelle (1) auf der dem Kamerasensor zugewandten Seite der Abdeckung angeordnet ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Lichtsensor in der Bildmitte des Bildschirmes (6) angeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein sich über eine Bildschirmfläche des Bildschirmes (6) erstreckender Lichtsensor auf dem Bildschirm (6) angeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass zwischen der Kamera (2) und dem Bildschirm (6) ein weiteres Gerät (11) schaltbar ist, wobei zumindest ein Messverfahren gemäß den vorangegangenen Ansprüchen ohne das Gerät (11) und zumindest ein Messverfahren gemäß den vorangegangenen Ansprüchen mit dem zwischen der Kamera (2) und dem Bildschirm (6) geschalteten Gerät (11) durchgeführt wird, sodass die durch das Gerät (11) verursachte Latenz gemessen wird.