DE102020114845A1 - Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device - Google Patents

Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device Download PDF

Info

Publication number
DE102020114845A1
DE102020114845A1 DE102020114845.3A DE102020114845A DE102020114845A1 DE 102020114845 A1 DE102020114845 A1 DE 102020114845A1 DE 102020114845 A DE102020114845 A DE 102020114845A DE 102020114845 A1 DE102020114845 A1 DE 102020114845A1
Authority
DE
Germany
Prior art keywords
display device
image
latency
image data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102020114845.3A
Other languages
German (de)
Other versions
DE102020114845B4 (en
Inventor
Uwe Hackl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102020114845.3A priority Critical patent/DE102020114845B4/en
Publication of DE102020114845A1 publication Critical patent/DE102020114845A1/en
Application granted granted Critical
Publication of DE102020114845B4 publication Critical patent/DE102020114845B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Verfahren zur Ermittlung wenigstens einer eine Videolatenz beschreibenden Latenzinformation in einer Bildaufnahme- und Anzeigeanordnung (1) umfassend eine Kamera (2), eine erste Anzeigevorrichtung (3) und eine Kommunikationsverbindung (4), wobei die Kamera (2) mit der ersten Anzeigevorrichtung (3) über die Kommunikationsverbindung (4) verbunden ist, wobei von der Kamera (2) aufgenommene Bilder eines sich zeitlich verändernden Objekts (5) als wenigstens ein Bilddatenpaket an die erste Anzeigevorrichtung (3) übermittelt und auf der ersten Anzeigevorrichtung (3) dargestellt werden, wobei der Kommunikationsverbindung eine Kommunikationsdatenauswerteeinheit (13) mit einer zweiten Anzeigevorrichtung (14) zugeordnet wird, wobei auf der zweiten Anzeigevorrichtung (14) eine wenigstens einen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung beschreibende Zeitstempelinformation (15) angezeigt wird, wobei mittels einer Bildaufnahmeeinrichtung (16) ein Gesamtbild aufgenommen wird, auf dem die zweite Anzeigevorrichtung (14) sowie die erste Anzeigevorrichtung (3) und/oder das Objekt (5) abgebildet sind, wobei die Latenzinformation aus den Darstellungen der zweiten Anzeigevorrichtung (14) sowie der ersten Anzeigevorrichtung (3) und/oder des Objekts (5) auf dem Gesamtbild ermittelt wird.Method for determining at least one latency information item describing video latency in an image recording and display arrangement (1) comprising a camera (2), a first display device (3) and a communication link (4), the camera (2) with the first display device (3 ) is connected via the communication link (4), with images of an object (5) changing over time being transmitted as at least one image data packet to the first display device (3) and displayed on the first display device (3), recorded by the camera (2), wherein the communication connection is assigned a communication data evaluation unit (13) with a second display device (14), with time stamp information (15) describing at least one time stamp of an image data packet in the communication connection being displayed on the second display device (14), whereby an image recording device (16) an overall picture is taken, a on which the second display device (14) and the first display device (3) and / or the object (5) are shown, the latency information from the representations of the second display device (14) and the first display device (3) and / or the object (5) is determined on the overall picture.

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung wenigstens einer eine Videolatenz beschreibenden Latenzinformation in einer Bildaufnahme- und Anzeigeanordnung umfassend eine Kamera, eine erste Anzeigevorrichtung und eine Kommunikationsverbindung, wobei die Kamera mit der ersten Anzeigevorrichtung über die Kommunikationsverbindung verbunden ist, wobei von der Kamera aufgenommene Bilder eines sich zeitlich verändernden Objekts als wenigstens ein Bilddatenpaket an die erste Anzeigevorrichtung übermittelt und auf der ersten Anzeigevorrichtung dargestellt werden. Weiterhin betrifft die Erfindung eine Messvorrichtung.The invention relates to a method for determining at least one latency information describing video latency in an image recording and display arrangement comprising a camera, a first display device and a communication link, the camera being connected to the first display device via the communication link, images recorded by the camera being one objects that change over time are transmitted as at least one image data packet to the first display device and displayed on the first display device. The invention also relates to a measuring device.

Anordnungen, welche sowohl mittels einer Kamera Bilder aufnehmen als auch diese aufgenommenen Bilder über einen Bildschirm darstellen können, finden in vielen Bereichen Anwendung. Insbesondere bei Kraftfahrzeugen werden verschiedene solcher Anordnungen zur Erfassung und Darstellung eines Umfeldes des Kraftfahrzeugs verwendet, beispielsweise in Form einer Rückfahrkamera, im Form von virtuellen Außenspiegeln oder von einer kamerabasierten Umfelderfassung zur Darstellung einer Top-View-Ansicht des Kraftfahrzeugs. Prinzipbedingt sind dabei jeweils die Kamera sowie der zur Darstellung der von der Kamera erfassten Bilder verwendete Bildschirm räumlich getrennt, da die Kamera außen am Kraftfahrzeug angeordnet ist, um ein Umfeld des Kraftfahrzeugs zu erfassen, und der Bildschirm in der Regel in einem Innenraum des Kraftfahrzeugs angeordnet ist, so dass dieser von einem Fahrer erfasst werden kann.Arrangements which can both record images by means of a camera and also display these recorded images on a screen are used in many areas. In particular in motor vehicles, various such arrangements are used to capture and display the surroundings of the motor vehicle, for example in the form of a reversing camera, in the form of virtual exterior mirrors or a camera-based environment detection for displaying a top view of the motor vehicle. In principle, the camera and the screen used to display the images captured by the camera are spatially separated, since the camera is arranged on the outside of the motor vehicle to capture the surroundings of the motor vehicle, and the screen is usually arranged in an interior of the motor vehicle is so that it can be detected by a driver.

Zur Übertragung der von der Kamera aufgenommenen Bilder an die Anzeige kann eine Verbindung zur Datenübertragung wie ein Netzwerk verwendet werden, wobei es jedoch zu einer als Latenz oder Videolatenz bezeichneten Verzögerung zwischen dem von der Kamera erfassten Geschehen im Umfeld des Kraftfahrzeugs zu dessen entsprechender Darstellung auf dem Bildschirm kommen kann. Die Latenz ist dabei von einer Vielzahl von verschiedenen Parametern abhängig, beispielsweise von einem gewählten Übertragungsverfahren, von der Art des Netzwerks sowie von netzwerkinternen Parametern wie einem verwendeten Komprimierungsverfahren, einer zur Verfügung stehenden Bandbreite, einem Buffermanagement oder Ähnlichem. Eine aus diesen Einflussfaktoren resultierende Latenz kann sich nachteilig auf das Steuern des Kraftfahrzeuges auswirken, wenn die Latenz, das heißt die Zeitverzögerung zwischen dem tatsächlichen Geschehen und der Darstellung des Geschehens auf dem Bildschirm, zu groß ist. Aus diesem Grund ist es wünschenswert, dass die Latenz in einem solchen, kamerabasierten Anzeigesystem ermittelt und bewertet werden kann. Dazu sind aus dem Stand der Technik verschiedene Ansätze bekannt.A connection for data transmission such as a network can be used to transmit the images recorded by the camera to the display, although there is a delay, known as latency or video latency, between the events recorded by the camera in the vicinity of the motor vehicle and its corresponding display on the Screen can come. The latency depends on a large number of different parameters, for example on a selected transmission method, the type of network and network-internal parameters such as a compression method used, an available bandwidth, buffer management or the like. A latency resulting from these influencing factors can have a disadvantageous effect on the control of the motor vehicle if the latency, that is to say the time delay between the actual event and the display of the event on the screen, is too great. For this reason, it is desirable that the latency can be determined and assessed in such a camera-based display system. To this end, various approaches are known from the prior art.

Aus DE 10 2017 010 887 A1 ist ein Verfahren zum Messen einer Übertragungszeit zwischen dem Erzeugen eines Bildsignals von einem Kamerasensor einer Kamera und dem Anzeigen des Bildsignals auf einem Bildschirm bekannt. Dabei wird das Bildsignal zwischen der Kamera und dem Bildschirm übertragen, wobei eine Lichtquelle unmittelbar vor dem Kamerasensor zur Erzeugung eines Bildsignals angeordnet wird und die Lichtquelle zu einem Einschaltzeitpunkt für eine Einschaltdauer eingeschaltet wird. Ein Anzeigezeitpunkt, an dem das Bildsignal am Bildschirm angezeigt wird, wird mittels eines Lichtsensors erfasst, wobei die Übertragungszeit als Differenz zwischen dem Anzeigezeitpunkt und dem Einschaltzeitpunkt ermittelt wird.Out DE 10 2017 010 887 A1 discloses a method for measuring a transmission time between the generation of an image signal from a camera sensor of a camera and the display of the image signal on a screen. The image signal is transmitted between the camera and the screen, a light source being arranged directly in front of the camera sensor to generate an image signal and the light source being switched on at a switch-on time for a switch-on duration. A display time at which the image signal is displayed on the screen is recorded by means of a light sensor, the transmission time being determined as the difference between the display time and the switch-on time.

Aus US 2019/0 098 293 A1 sind ein Verfahren und eine Vorrichtung bekannt, um die Anzeigelatenz einer Anzeigevorrichtung zu ermitteln. Dabei wird ein zur Aufnahme eines Videos ausgebildetes Gerät derart positioniert, dass es die Anzeigevorrichtung sowie eine mit der Anzeigeeinrichtung verbundene Recheneinheit erfasst. Eine Bestimmung der Bildschirmlatenz erfolgt über einen Vergleich eines an der Recheneinrichtung blinkenden Lichts sowie einer von der Recheneinrichtung vorgenommenen Ansteuerung des Bildschirms mit einer entsprechenden Frequenz, wobei aus dem Frequenzversatz zwischen dem Licht an der Recheneinrichtung und dem Bildschirm die Bildschirmlatenz ermittelt wird.Out US 2019/0 098 293 A1 a method and a device are known for determining the display latency of a display device. A device designed to record a video is positioned in such a way that it records the display device and a computing unit connected to the display device. The screen latency is determined by comparing a flashing light on the computing device and an activation of the screen by the computing device at a corresponding frequency, the screen latency being determined from the frequency offset between the light on the computing device and the screen.

CN 106 534 843 A beschreibt ein Verfahren, bei dem über eine Kamera eine Uhr erfasst wird und auf einem Bildschirm, welcher mit der Kamera verbunden ist, ein Video der erfassten Uhr dargestellt wird. Durch Erzeugen eines Bildes, auf dem sowohl die reale Uhr als auch die Abbildung der Uhr auf dem Bildschirm zu sehen sind, kann die auf den Uhren dargestellte Zeitdifferenz abgelesen und eine Latenz des Anzeigesystems ermittelt werden. CN 106 534 843 A describes a method in which a camera is used to record a clock and a video of the recorded clock is displayed on a screen that is connected to the camera. By generating an image on which both the real clock and the image of the clock can be seen on the screen, the time difference shown on the clocks can be read off and a latency of the display system can be determined.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Ermittlung wenigstens einer Videolatenz beschreibenden Latenzinformation in einer Bildaufnahme- und Anzeigeanordnung anzugeben, welches insbesondere eine Zuordnung einer Latenz zu einzelnen Komponenten der Bildaufnahme- und Anzeigeanordnung ermöglicht.The invention is based on the object of specifying an improved method for determining at least one latency information describing video latency in an image recording and display arrangement, which in particular enables a latency to be assigned to individual components of the image recording and display arrangement.

Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass der Kommunikationsverbindung eine Kommunikationsdatenauswerteeinheit mit einer zweiten Anzeigevorrichtung zugeordnet wird, wobei auf der zweiten Anzeigevorrichtung eine wenigstens einen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung beschreibende Zeitstempelinformation angezeigt wird, wobei mittels einer Bildaufnahmeeinrichtung ein Gesamtbild aufgenommen wird, auf dem die zweite Anzeigevorrichtung sowie die erste Anzeigevorrichtung und/oder das Objekt abgebildet sind, wobei die Latenzinformation aus den Darstellungen der zweiten Anzeigevorrichtung sowie der ersten Anzeigevorrichtung und/oder des Objekts auf dem Gesamtbild ermittelt wird.To achieve this object, the invention provides in a method of the type mentioned at the outset that a communication data evaluation unit with a second display device is assigned to the communication connection, with a time stamp describing at least one time stamp of an image data packet in the communication connection on the second display device Time stamp information is displayed, an overall image is recorded by means of an image recording device, on which the second display device and the first display device and / or the object are mapped, the latency information from the representations of the second display device and the first display device and / or the object on the Overall picture is determined.

Es wird also mit der Kamera der Bildaufnahme- und Anzeigeanordnung ein sich zeitlich insbesondere kontinuierlich veränderndes Objekt erfasst. Bei diesem Objekt kann es sich beispielsweise um ein sich bewegendes Objekt handeln, beispielsweise eine Uhr mit einem Zeiger oder ähnliches. Es ist insbesondere auch möglich, dass das sich zeitlich verändernde Objekt eine Anzeige ist, auf der ein sich bewegendes Objekt, beispielsweise eine Uhr, oder ein sich bewegende oder fortlaufend verändernde Zeichenfolge oder ähnliches dargestellt wird, wie es beispielsweise bei einer digitalen Uhrenanzeige oder einer digitalen Stoppuhr bzw. einem digitalen Timer der Fall ist. Als sich zeitlich insbesondere kontinuierlich veränderndes Objekt kann beispielsweise auch ein Smartphone oder ein vergleichbares Mobilgerät verwendet werden, auf dessen Display eine Stoppuhr oder ein Timer angezeigt wird. Die von der Kamera erfassten Bilder des Objekts werden an die erste Anzeigevorrichtung der Bildaufnahme- und Anzeigeanordnung über die Kommunikationsverbindung übermittelt als Bilddaten in wenigstens einem Bilddatenpaket, wobei die Bilddaten dann als eine Bilderfolge bzw. ein Video des Objekts auf der ersten Anzeigevorrichtung dargestellt werden. Die Bilddaten können von der Kamera beispielsweise nach dem Erfassen in einem Videoformat, beispielsweise einem MPEG-Format, insbesondere H.264 oder H.265, kodiert werden und beispielsweise mit dem Real Time Transport Protokoll (RTP) transportiert werden.The camera of the image recording and display arrangement is therefore used to record an object which, in particular, changes continuously over time. This object can be, for example, a moving object, for example a clock with a pointer or the like. In particular, it is also possible for the object that changes over time to be a display on which a moving object, for example a clock, or a moving or continuously changing character string or the like is shown, as is the case, for example, with a digital clock display or a digital one Stopwatch or a digital timer is the case. A smartphone or a comparable mobile device, for example, can also be used as an object that changes continuously over time, on the display of which a stopwatch or a timer is shown. The images of the object captured by the camera are transmitted to the first display device of the image recording and display arrangement via the communication link as image data in at least one image data packet, the image data then being displayed as a sequence of images or a video of the object on the first display device. The image data can be encoded by the camera, for example after being captured, in a video format, for example an MPEG format, in particular H.264 or H.265, and can be transported using the Real Time Transport Protocol (RTP), for example.

Um die Latenz in einzelnen Abschnitten der Bildaufnahme- und Anzeigeanordnung feststellen zu können, wird zusätzlich der Kommunikationsverbindung eine Kommunikationsdatenauswerteeinheit zugeordnet, welche eine zweite Anzeigevorrichtung umfasst. Über diese zweite Anzeigevorrichtung der Kommunikationsdatenauswerteeinheit wird eine einen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung beschreibende Zeitstempelinformation angezeigt. Die Zeitstempelinformation betrifft dabei eine Zeitinformation eines Bilddatenpakets, mit dem durch die Kamera von dem Objekt erfasste Bilddaten an die erste Anzeigevorrichtung übertragen werden. Durch die den Zeitstempel des Bilddatenpakets beschreibende Zeitstempelinformation wird es ermöglicht, auch der Übertragung des Bilddatenpakets in der Kommunikationsverbindung eine Zeit zu zuordnen, so dass eine Kameralatenz, welche durch die Bilderfassung der Kamera sowie durch die Wandlung zw. Kodierung der erfassten Bilder des Objekts in die übertragenden Bilddaten entsteht, von einer Anzeigelatenz unterschieden werden kann, welche durch eine entsprechenden Wandlung bzw. Dekodierung der übertragenden Bilddaten in die Darstellung des Objekts auf der ersten Anzeigevorrichtung entsteht.In order to be able to determine the latency in individual sections of the image recording and display arrangement, the communication connection is additionally assigned a communication data evaluation unit which comprises a second display device. Time stamp information describing a time stamp of an image data packet in the communication connection is displayed via this second display device of the communication data evaluation unit. The time stamp information relates to time information of an image data packet with which image data captured by the camera of the object are transmitted to the first display device. The time stamp information describing the time stamp of the image data packet makes it possible to also assign a time to the transmission of the image data packet in the communication connection, so that a camera latency caused by the image capture of the camera and the conversion or coding of the captured images of the object into the transmitted image data arises, can be distinguished from a display latency, which arises through a corresponding conversion or decoding of the transmitted image data in the representation of the object on the first display device.

Dies ermöglicht vorteilhaft, dass eine Latenzinformation bestimmt werden kann, welche nicht nur das Gesamtsystem, also eine Ende-zu-Ende-Latenz zwischen dem realen Zustand des Objekts und dem auf der ersten Anzeigevorrichtung dargestellten Zustand des Objekts ermittelt werden kann, sondern dass zusätzlich eine Aufteilung der gesamten Latenz in einen Anteil, welcher auf die Kamera und die entsprechende Wandlung der Bilder zu den Bilddaten entfällt, sowie einen Anteil, welcher auf die Rückwandlung der Bilddaten in die Bilder und die Darstellung der Bilder auf der ersten Anzeigevorrichtung entfällt, vorgenommen werden kann.This advantageously enables latency information to be determined which can be determined not only for the overall system, i.e. an end-to-end latency between the real state of the object and the state of the object shown on the first display device, but also for a The total latency can be divided into a portion which is attributable to the camera and the corresponding conversion of the images to the image data, and a portion which is attributable to the reconversion of the image data into the images and the presentation of the images on the first display device .

Zur Ermittlung des auf eine Kamera entfallenen Anteils der Gesamtlatenz ist es dabei ausreichend, wenn von der zum Beispiel als Fotoapparat ausgebildeten Bildaufnahmeeinrichtung ein Gesamtbild aufgenommen wird, auf dem die zweite Anzeigevorrichtung sowie das Objekt abgebildet sind, da aus der Zeitdifferenz zwischen dem abgebildeten tatsächlichen Objekt und einer aus der Zeitstempelinformation ermittelbaren, dem Bilddatenpaket in der Kommunikationsverbindung zugeordneten Zeit eine durch die Kamera entstehende Zeitverzögerung ermittelt werden kann. Entsprechend ist es zur Ermittlung des auf die erste Anzeigevorrichtung entfallenen Anteils der Gesamtlatenz ausreichend, wenn durch die Bildaufnahmeeinrichtung die erste Anzeigevorrichtung und die zweite Anzeigevorrichtung erfasst werden, da entsprechend aus dem Zeitversatz zwischen der dem Bilddatenpaket zugeordneten Zeitstempelinformation und der Darstellung des Objekts auf der ersten Anzeigevorrichtung eine durch die erste Anzeigevorrichtung entstehende Zeitverzögerung ermittelt werden kann. Um beide Anteile aus einem von der Bildaufnahmeeinrichtung aufgenommenen Gesamtbild zu ermitteln, ist es möglich, dass auf dem Gesamtbild neben der zweiten Anzeigevorrichtung auch die erste Anzeigevorrichtung und das Objekt abgebildet sind. To determine the portion of the total latency attributable to a camera, it is sufficient if the image recording device, for example designed as a camera, takes an overall image on which the second display device and the object are depicted, since the time difference between the depicted actual object and a time which can be determined from the time stamp information and is assigned to the image data packet in the communication connection, a time delay resulting from the camera can be determined. Correspondingly, in order to determine the portion of the total latency allotted to the first display device, it is sufficient if the first display device and the second display device are recorded by the image recording device, since the time offset between the time stamp information assigned to the image data packet and the representation of the object on the first display device is accordingly sufficient a time delay resulting from the first display device can be determined. In order to determine both components from an overall image recorded by the image recording device, it is possible for the first display device and the object to be displayed on the overall image in addition to the second display device.

Erfindungsgemäß kann vorgesehen sein, dass aus dem Zeitstempel der dargestellten Zeitstempelinformation und der Darstellung des Objekts im Gesamtbild eine Zuordnungsinformation ermittelt wird, wobei aus dem dem Zeitstempel oder einem einem weiteren Zeitstempel zugeordneten Bilddatenpaket ein Bild des Objekts extrahiert wird, wobei aus dem extrahierten Bild des Objekts und der Zuordnungsinformation als Latenzinformation eine Kameralatenz ermittelt wird.According to the invention, it can be provided that assignment information is determined from the time stamp of the displayed time stamp information and the representation of the object in the overall image, an image of the object being extracted from the image data packet assigned to the time stamp or a further time stamp, with an image of the object being extracted from the extracted image of the object and a camera latency is determined from the assignment information as latency information.

Bevorzugt wird auf der zweiten Anzeigevorrichtung eine Zeitstempelinformation zumindest für das aktuell über die Kommunikationsverbindung übertragene Bilddatenpaket angezeigt, zumindest jedoch eine möglichst aktuelle Zeitstempelinformation angezeigt wird, sobald diese durch die Kommunikationsdatenauswerteeinheit ermittelt wurde. Dies ermöglicht es, dass aus der Darstellung der zweiten Anzeigevorrichtung im Gesamtbild, aus welcher der Zeitstempel des aktuellen Bilddatenpakets aus der auf der zweiten Anzeigevorrichtung dargestellten Zeitstempelinformation hervorgeht, und einer ebenfalls im Gesamtbild enthaltenen Darstellung Objekts eine Zuordnungsinformation ermittelt wird.Timestamp information is preferably displayed on the second display device for at least the image data packet currently being transmitted via the communication connection, but at least as current as possible timestamp information is displayed as soon as this has been determined by the communication data evaluation unit. This enables assignment information to be determined from the representation of the second display device in the overall image, from which the time stamp of the current image data packet is derived from the time stamp information displayed on the second display device, and from a representation of the object also contained in the overall image.

Diese Zuordnungsinformation beschreibt für einen Zeitpunkt bzw. eine Epoche des im Gesamtbild dargestellten Objekts eine Zuordnung zu einem diesem Zeitpunkt zugehörigen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung. Die Zuordnungsinformation ermöglicht es also, eine durch den Zeitstempel des Bilddatenpakets beschriebene Kommunikationsverbindungszeit einem zeitabhängigen Zustand des Objekts zuzuordnen, mithin also eine Zuordnung der Epoche der Kommunikationsverbindung zu der Epoche des Objekts vorzunehmen. Dies ermöglicht vorteilhaft ein Objekt, wie beispielsweise ein Smartphone mit einer laufenden Stoppuhr zu verwenden, welches nicht mit einer Zeit der Kommunikationsverbindung, beispielsweise einer absoluten Uhrzeit oder Ähnlichem, direkt zusammenhängt. Durch die Zuordnungsinformation wird es dabei zum Beispiel ermöglicht, der ab einem beliebigen Startpunkt verstrichenen und auf der Stoppuhr angezeigten Zeit eine tatsächliche Uhrzeit oder Netzwerkzeit, auf deren Grundlage die Kommunikationsverbindung arbeitet, zuzuordnen.This assignment information describes, for a point in time or an epoch of the object shown in the overall image, an assignment to a time stamp associated with this point in time of an image data packet in the communication connection. The assignment information therefore makes it possible to assign a communication connection time described by the time stamp of the image data packet to a time-dependent state of the object, thus making an assignment of the epoch of the communication connection to the epoch of the object. This advantageously makes it possible to use an object, for example a smartphone with a running stopwatch, which is not directly related to a time of the communication connection, for example an absolute time or the like. The assignment information makes it possible, for example, to assign an actual time or network time, on the basis of which the communication link works, to the time that has elapsed from any starting point and is displayed on the stopwatch.

Durch Extraktion eines Bildes des Objekts aus dem oder einem weiteren Zeitstempel zugeordneten Bilddatenpaket kann ein Bild des Objekts extrahiert werden, welches, wenn es sich um den aktuellen Zeitstempel handelt, einen Zustand des Objektes darstellt, welcher um die Zeit einer Kameralatenz verschoben ist, enthält. Aus der Darstellung des Objekts in dem extrahierten Bild sowie der auf dem Gesamtbild enthaltenen Darstellung des realen Objekts kann der Zeitversatz zwischen dem realen Objekt und den in den Bilddaten enthaltenen Abbildung des Objektes ermittelt werden, wobei diese Zeitdifferenz eine Kameralatenz darstellt.By extracting an image of the object from the image data packet or associated with a further time stamp, an image of the object can be extracted which, if it is the current time stamp, represents a state of the object which is shifted by the time of a camera latency. From the representation of the object in the extracted image and the representation of the real object contained in the overall image, the time offset between the real object and the image of the object contained in the image data can be determined, this time difference representing a camera latency.

Aufgrund der Zuordnungsinformation zwischen dem Zeitstempel des Bilddatenpakets bzw. der Netzwerkzeit zu dem real dargestellten Objekt ist es nicht erforderlich, dass das extrahierte Bild aus einem Bilddatenpaket gewonnen wird, welches dem auf dem Gesamtbild dargestellten Zeitpunkt entspricht, sondern es kann auch ein zu einem anderen Zeitpunkt, das heißt, mit einem anderen Zeitstempel versendetes Bilddatenpaket herangezogen werden, um das Bild des Objekts zu extrahieren, da aufgrund der Zuordnungsinformation und der Differenz zwischen dem aktuellen Zeitstempel und dem Zeitstempel des Bilddatenpakets, aus dem das Bild des Objekts extrahiert wurde, auch die entsprechende Zeit bzw. Epoche des realen Objekts, welche der Zeit bzw. der Epoche des verwendeten Bilddatenpakets entspricht, ermittelt werden kann.Due to the assignment information between the time stamp of the image data packet or the network time to the object actually represented, it is not necessary that the extracted image is obtained from an image data packet that corresponds to the point in time shown on the overall image, but can also be at a different point in time , that is, image data packets sent with a different time stamp can be used to extract the image of the object, because based on the assignment information and the difference between the current time stamp and the time stamp of the image data packet from which the image of the object was extracted, the corresponding Time or epoch of the real object, which corresponds to the time or epoch of the image data packet used, can be determined.

Erfindungsgemäß kann vorgesehen sein, dass aus dem oder einem weiteren Zeitstempel zugeordneten Bilddatenpaket ein Bild des Objekts extrahiert wird, wobei als Latenzinformation eine Anzeigelatenz aus dem extrahierten Bild des Objekts und der Darstellung des Objekts auf der ersten Anzeigevorrichtung ermittelt wird. Ein Zeitunterschied, welcher sich aus dem extrahierten Bild des Objekts und der Darstellung des Objekts auf der ersten Anzeigevorrichtung ergibt, stellt eine Anzeigelatenz der ersten Anzeigevorrichtung dar. Dabei kann insbesondere das extrahierte Bild aus dem jeweils im Gesamtbild enthaltenen aktuellen Bilddatenpaket, das heißt, dass mit dem jüngsten Zeitstempel, betrachtet werden. Alternativ kann, wie vorangehend beschrieben wurde, auch eine Ermittlung einer Zuordnungsinformation erfolgen, so dass das Bild des Objekts auch aus einem anderen bzw. älteren Bilddatenpaket extrahiert werden kann.According to the invention, it can be provided that an image of the object is extracted from the image data packet or a further time stamp assigned, a display latency being determined as latency information from the extracted image of the object and the representation of the object on the first display device. A time difference resulting from the extracted image of the object and the representation of the object on the first display device represents a display latency of the first display device the most recent timestamp. Alternatively, as described above, assignment information can also be determined so that the image of the object can also be extracted from another or older image data packet.

Bei einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass zur Extraktion des Bildes in dem oder einem Bilddatenpaket wenigstens eine Bilddatengrundeinheit, insbesondere ein Videoframe, ermittelt wird, wobei der Anfang der Bilddatengrundeinheit in dem Bilddatenpaket ermittelt wird und eine Dekodierung zumindest der Bilddatengrundeinheit erfolgt, wobei ein Bild der dekodierten Bilddatengrundeinheit als extrahiertes Bild des Objekts verwendet wird. In dem in der Zeitstempelinformation mit einem Zeitstempel beschriebenen Bilddatenpaket kann wenigstens eine Bilddatengrundeinheit, insbesondere wenigstens ein Videoframe, enthalten sein. Zur Extraktion eines Bildes des Objekts kann der Anfang der Bilddatengrundeinheit in dem Bilddatenpaket ermittelt werden und eine Dekodierung der Bilddatengrundeinheit erfolgen. Dies kann insbesondere nach der Aufnahme des Gesamtbildes erfolgen, sodass eine sich durch die Dekodierung der Bilddatengrundeinheit ergebende Zeitverzögerung bzw. eine durch die Extraktion des Bildes ergebende Zeitverzögerung keinen Einfluss auf die Ermittlung der Latenzinformation hat. Die Ermittlung eines Anfangs der Bilddatengrundeinheit kann in Abhängigkeit eines Typs der Kommunikationsverbindung und/oder eine Art der Kodierung der Bilddaten erfolgen. Zum Beispiel kann bei Verwendung eines MPEG-Formats, z.B. MPEG-TS, eine Ermittlung des Anfangs des Bilddatenpakets über einen Payload Unit Start Indicator erfolgen. Bei einer Verwendung von RTP kann eine Ermittlung des Anfangs der Bilddatengrundeinheit über einen RTP-Timestamp erfolgen.In a preferred embodiment of the invention it can be provided that at least one basic image data unit, in particular a video frame, is determined in order to extract the image in the image data package or one, the beginning of the basic image data unit being determined in the image data package and at least the basic image data unit being decoded, with an image of the decoded basic image data unit is used as the extracted image of the object. The image data packet described with a time stamp in the time stamp information can contain at least one basic image data unit, in particular at least one video frame. To extract an image of the object, the start of the basic image data unit can be determined in the image data packet and the basic image data unit can be decoded. This can take place in particular after the entire image has been recorded, so that a time delay resulting from the decoding of the basic image data unit or a time delay resulting from the extraction of the image has no influence on the determination of the latency information. A start of the basic image data unit can be determined as a function of a type of communication connection and / or a type of coding of the image data. For example, when using an MPEG format, for example MPEG-TS, the start of the image data packet can be determined using a payload unit start indicator. When using RTP can be used to determine the start of the basic image data unit via an RTP timestamp.

Erfindungsgemäß kann vorgesehen sein, dass bei der Ermittlung der Latenzinformation eine Zeitverzögerung bei der Anzeige der Zeitstempelinformation auf der zweiten Anzeigevorrichtung berücksichtigt wird und/oder dass eine Kommunikationsdatenauswerteeinheit verwendet wird, bei der eine Zeitverzögerung bei der Anzeige der Zeitstempelinformation kleiner als 50ms, insbesondere kleiner als 20ms, ist.According to the invention, a time delay in the display of the time stamp information on the second display device can be taken into account when determining the latency information and / or that a communication data evaluation unit is used in which a time delay in the display of the time stamp information is less than 50 ms, in particular less than 20 ms , is.

Erfindungsgemäß kann vorgesehen sein, dass als Latenzinformation eine Ende-zu-Ende-Latenz aus den Darstellungen des Objekts und der ersten Anzeigevorrichtung im Gesamtbild ermittelt wird. Der Zeitversatz zwischen dem in dem Gesamtbild dargestellten Objekt und der Darstellung des Objekts auf der ersten Anzeigevorrichtung im Gesamtbild entspricht der Gesamtlatenz bzw. Ende-zu-Ende oder Glass-to-Glass-Latenz der Bildaufnahme- und Anzeigeanordnung.According to the invention, it can be provided that an end-to-end latency is determined as latency information from the representations of the object and the first display device in the overall image. The time offset between the object displayed in the overall image and the display of the object on the first display device in the overall image corresponds to the overall latency or end-to-end or glass-to-glass latency of the image recording and display arrangement.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass als Objekt eine Uhr oder eine Stoppuhr verwendet wird. Dabei kann es sich um eine analoge Uhr handeln oder um eine Uhr mit einer digitalen Anzeige. Es ist auch möglich, dass die Uhr auf einer Recheneinrichtung oder einem Mobilgerät, beispielsweise einem Smartphone oder einem Tablet, dargestellt wird. Die Zeitauflösung der Uhr oder Stoppuhr kann dabei bevorzugt 10 ms oder weniger betragen, um eine möglichst genaue Bestimmung der Latenzinformation zu ermöglichen.In a preferred embodiment of the invention it can be provided that a clock or a stop watch is used as the object. This can be an analog clock or a clock with a digital display. It is also possible for the clock to be displayed on a computing device or a mobile device, for example a smartphone or a tablet. The time resolution of the clock or stopwatch can preferably be 10 ms or less in order to enable the latency information to be determined as precisely as possible.

Erfindungsgemäß kann vorgesehen sein, dass die Kommunikationsverbindung eine Netzwerkkommunikationsverbindung, insbesondere eine Ethernetverbindung, ist.. Die Bilddaten werden dabei von der Kamera an die erste Anzeigevorrichtung als Bilddatenpakete entsprechend dem für den jeweiligen Typ der Kommunikationsverbindung vorgesehenen Standard übermittelt.According to the invention it can be provided that the communication connection is a network communication connection, in particular an Ethernet connection. The image data is transmitted from the camera to the first display device as image data packets according to the standard provided for the respective type of communication connection.

Als Kommunikationsdatenauswerteeinheit kann erfindungsgemäß ein Netzwerksniffer verwendet werden. Dieser kann beispielsweise durch eine Recheneinrichtung wie einen Computer gebildet sein und die zweite Anzeigevorrichtung umfassen, auf der die jeweiligen über die Kommunikationsverbindung übermittelten Bilddatenpakete insbesondere fortlaufend mit ihren zugehörigen Zeitstempeln als Zeitstempelinformation dargestellt werden.According to the invention, a network sniffer can be used as the communication data evaluation unit. This can be formed, for example, by a computing device such as a computer and comprise the second display device on which the respective image data packets transmitted via the communication connection are displayed in particular continuously with their associated time stamps as time stamp information.

Für eine erfindungsgemäße Messvorrichtung ist vorgesehen, dass sie eine Kommunikationsdatenauswerteeinheit mit einer Anzeigevorrichtung, einer Bildaufnahmeeinrichtung und einer Recheneinrichtung umfasst, wobei die Recheneinrichtung mit der Kommunikationsdatenauswerteeinheit und der Bildaufnahmeeinrichtung verbunden ist, wobei die Recheneinrichtung zur Durchführung eines erfindungsgemäßen Verfahrens ausgebildet ist. Das Verwenden der zur Durchführung des Verfahrens ausgebildeten Recheneinrichtung hat dabei den Vorteil, dass die Ermittlung der Latenzinformation automatisiert durch die Recheneinrichtung vorgenommen werden kann.Provision is made for a measuring device according to the invention that it comprises a communication data evaluation unit with a display device, an image recording device and a computing device, the computing device being connected to the communication data evaluation unit and the image recording device, the computing device being designed to carry out a method according to the invention. Using the computing device designed to carry out the method has the advantage that the latency information can be determined in an automated manner by the computing device.

Sämtliche vorangehend in Bezug zum erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für die erfindungsgemäße Messvorrichtung.All of the advantages and configurations described above in relation to the method according to the invention apply accordingly to the measuring device according to the invention.

Weitere Vorteile und Ausgestaltung der Erfindung ergeben sich aus den im folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:

  • 1 eine Prinzipskizze zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens, und
  • 2 ein Ausführungsbeispiel einer erfindungsgemäßen Messvorrichtung.
Further advantages and refinements of the invention emerge from the exemplary embodiments described below and with reference to the drawings. These are schematic representations and show:
  • 1 a schematic diagram to explain an embodiment of a method according to the invention, and
  • 2 an embodiment of a measuring device according to the invention.

In 1 ist eine Anordnung zur Ermittlung wenigstens einer eine Videolatenz beschreibenden Latenzinformation in einer Bildaufnahme- und Anzeigeanordnung 1 dargestellt. Die Bildaufnahme- und Anzeigeanordnung 1 umfasst eine Kamera 2, eine erste Anzeigevorrichtung 3 und eine Kommunikationsverbindung 4. Die Kamera 2 ist mit der ersten Anzeigevorrichtung 3 über die Kommunikationsverbindung 4 verbunden, wobei von der Kamera 2 aufgenommene Bilder eines sich zeitlich veränderlichen Objekts 5 als wenigstens ein Bilddatenpaket an die erste Anzeigevorrichtung 3 übermittelt werden. Auf der ersten Anzeigevorrichtung 3 wird eine Darstellung 6 des erfassten Objekts 5 dargestellt.In 1 is an arrangement for determining at least one latency information describing a video latency in an image recording and display arrangement 1 shown. The image capture and display arrangement 1 includes a camera 2 , a first display device 3 and a communication link 4th . The camera 2 is with the first display device 3 over the communication link 4th connected, being from the camera 2 recorded images of an object that changes over time 5 as at least one image data packet to the first display device 3 be transmitted. On the first display device 3 becomes a representation 6th of the detected object 5 shown.

Die Kamera 2 umfasst einen Kamerasensor 7, welcher das Objekt 5 erfasst, sowie eine Kodierungseinrichtung 8, mittels welcher die erfassten Bilder in Bilddaten kodiert werden können. Die Bilddaten können zum Beispiel im MPEG-Format, insbesondere gemäß dem Standard H.264 oder H.265, kodiert werden. Auch ein Transport der Bilddaten im RTP-Format (real time protocol) ist möglich.The camera 2 includes a camera sensor 7th which the object 5 detected, as well as a coding device 8th , by means of which the captured images can be encoded into image data. The image data can be encoded, for example, in MPEG format, in particular in accordance with the H.264 or H.265 standard. It is also possible to transport the image data in RTP (real time protocol) format.

Die Kamera 2 umfasst weiterhin eine Schnittstelle 9, mittels welcher die kodierten Bilddaten als Bilddatenpaket über die Kommunikationsverbindung 4 an die erste Anzeigevorrichtung 3 übermittelt werden können. Die Kommunikationsverbindung 4 kann zum Beispiel eine Ethernet-Verbindung sein und/oder als ein Netzwerk ausgeführt sein.The camera 2 further comprises an interface 9 , by means of which the coded image data as an image data packet via the communication link 4th to the first display device 3 can be transmitted. The communication link 4th can for example be an Ethernet connection and / or be implemented as a network.

Die Anzeigevorrichtung 3 umfasst eine Schnittstelle 10, mittels welcher ein von der Kamera 2 über die Kommunikationsverbindung 4 übermitteltes Bilddatenpaket empfangen werden kann sowie eine Dekodierungseinrichtung 11, mit der die in einem Bilddatenpaket enthaltenen Bilddaten dekodiert werden können. Die dekodierten Bilddaten werden anschließend auf der Anzeigeeinheit 6, beispielsweise auf einem Display 12 der Anzeigeeinheit 6, dargestellt.The display device 3 includes an interface 10 , by means of which one from the camera 2 over the communication link 4th transmitted image data packet can be received as well as a decoding device 11th with which the image data contained in an image data packet can be decoded. The decoded image data are then shown on the display unit 6th , for example on a display 12th the display unit 6th , shown.

Der Kommunikationsverbindung 4 ist eine Kommunikationsdatenauswerteeinheit 13 zugeordnet, welche eine zweite Anzeigeeinheit 14 umfasst. Die zweite Anzeigeeinheit 14 ist zum Beispiel als ein Display oder ein Bildschirm ausgeführt und dient zur Darstellung von Informationen der Kommunikationsdatenauswerteeinheit 13. Die Kommunikationsdatenauswerteeinheit 13 ist als ein Netzwerksniffer ausgebildet, welcher die über die Kommunikationsverbindung 4 übertragenen Bilddatenpakte ermitteln und/oder auswerten kann. Auf der zweiten Anzeigevorrichtung 14 wird eine wenigstens einen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung beschreibende Zeitstempelinformation 15 angezeigt.The communication link 4th is a communication data evaluation unit 13th assigned, which a second display unit 14th includes. The second display unit 14th is designed, for example, as a display or a screen and is used to display information from the communication data evaluation unit 13th . The communication data evaluation unit 13th is designed as a network sniffer, which over the communication link 4th can determine and / or evaluate transmitted image data packets. On the second display device 14th becomes a time stamp information describing at least one time stamp of an image data packet in the communication connection 15th displayed.

Mittels einer zum Beispiel als ein Fotoapparat ausgeführten Bildaufnahmeeinrichtung 16 wird ein Gesamtbild der Anordnung aufgenommen. Auf diesem Gesamtbild kann entsprechend des schematisch dargestellten Aufnahmebereichs 17 der Bildaufnahmeeinrichtung 16 die zweite Anzeigevorrichtung 14 sowie die erste Anzeigevorrichtung 3 und das Objekt 5 dargestellt sein. Alternativ ist es möglich, dass entsprechend dem gestrichelt dargestellten Erfassungsbereich 18 von der Bildaufnahmeeinrichtung 16 nur das Objekt 5 und die zweite Anzeigevorrichtung 14 bzw. entsprechend dem weiteren eingezeichneten Erfassungsbereich 19 nur die zweite Anzeigevorrichtung 14 und die erste Anzeigevorrichtung 6 erfasst werden. Weiterhin dargestellt ist in 1 ein Erfassungsbereich 20 der Kamera 2, wobei das sich zeitlich verändernde Objekt 5 in dem Erfassungsbereich 20 der Kamera 2 angeordnet ist.By means of an image recording device implemented, for example, as a camera 16 an overall picture of the arrangement is recorded. On this overall image, in accordance with the recording area shown schematically 17th the image pickup device 16 the second display device 14th and the first display device 3 and the object 5 be shown. Alternatively, it is possible that according to the detection area shown in dashed lines 18th from the image pickup device 16 just the object 5 and the second display device 14th or according to the further recorded detection area 19th only the second display device 14th and the first display device 6th are recorded. It is also shown in 1 a detection area 20th the camera 2 , where the object changing over time 5 in the detection area 20th the camera 2 is arranged.

Das von der Bildaufnahmeeinrichtung 16 erzeugte Gesamtbild enthält eine Darstellung des Objektes 5, auf dem die dem Zeitpunkt der Gesamtbildaufnahme entsprechende Zeit t1 angezeigt wird. Die Zeit t1 entspricht somit der Zeit des Objektes 5. Das Objekt 5 kann zum Beispiel ein Smartphone sein, auf dessen Display ein fortlaufenden Timer angezeigt wird. Alternativ ist auch die Verwendung einer analogen Uhrdarstellung oder die Verwendung einer mechanischen Uhr oder Stoppuhr möglich. Die Darstellung der Zeit t1 auf dem Objekt erfolgt dabei bevorzugt mit einer Genauigkeit von 10 ms oder weniger, um eine möglichst genaue Bestimmung der Latenzinformation zu ermöglichen.That from the image capture device 16 The overall image generated contains a representation of the object 5 , on which the time t 1 corresponding to the point in time of the total image acquisition is displayed. The time t 1 thus corresponds to the time of the object 5 . The object 5 can be, for example, a smartphone with a continuous timer on its display. Alternatively, it is also possible to use an analog clock display or a mechanical clock or stopwatch. The time t 1 is represented on the object preferably with an accuracy of 10 ms or less in order to enable the latency information to be determined as precisely as possible.

Auf der zweiten Anzeigevorrichtung 14 der Kommunikationsdatenauswerteeinheit 13 wird die Zeitstempelinformation angezeigt, welche beispielsweise einen Zeitstempel ts1 zum Zeitpunkt der Gesamtbildaufnahme enthält. Auf der ersten Anzeigevorrichtung 6 wird zum Zeitpunkt der Gesamtbildaufnahme eine Darstellung 6 des Objektes 3 dargestellt, wobei aufgrund der sich durch die Komponenten der Kamera 2 und die Komponenten der Anzeigevorrichtung 3 ergebende Latenz auf dem Objekt die Zeit t3 dargestellt wird, welche weiter in der Vergangenheit als die Zeit t1 liegt.On the second display device 14th the communication data evaluation unit 13th the time stamp information is displayed, which contains, for example, a time stamp t s1 at the time of the entire image acquisition. On the first display device 6th becomes a representation at the time of the overall image acquisition 6th of the property 3 shown, being due to the components of the camera 2 and the components of the display device 3 The resulting latency on the object is shown as time t 3 , which is further in the past than time t 1 .

Mittels dem Zeitstempel ts1 der dargestellten Zeitstempelinformation auf der zweiten Anzeigevorrichtung 14 und der Abbildung des Objekts 5 im von der Bildaufnahmeeinrichtung 16 aufgenommenen Gesamtbild kann eine Zuordnungsinformation erfolgen, welche der einer Netzwerkzeit entsprechenden Zeit ts1 des Zeitstempels die auf dem Objekt 5 dargestellte Zeit t1 zuordnet. By means of the time stamp t s1 of the time stamp information shown on the second display device 14th and the image of the object 5 im from the image pickup device 16 The recorded overall image can contain assignment information which corresponds to the time t s1 of the time stamp corresponding to a network time on the object 5 time t 1 shown .

Anschließend kann aus dem dem Zeitstempel ts1 oder einem weiteren Zeitstempel, beispielsweise ts2 oder ts3, zugeordneten Bilddatenpaket ein Bild 21 des Objekts 5 extrahiert werden, wobei auf dem Bild 21 des Objekts 5 die Zeit t2 dargestellt wird, welche zwischen t1 und t3 liegt. Es ist nicht unbedingt erforderlich, dass das Bild 21 aus dem dem aktuellen Zeitstempel ts1 zugeordneten Bilddatenpaket extrahiert wird, da aufgrund der Zuordnung zwischen dem Zeitpunkt ts1 und dem Zeitpunkt t1 des Objekts 5 entsprechend eine Zuordnung der Netzwerkzeiten zur entsprechenden Zeiten des Objekts 5, mithin also eine Zuordnung der Epoche der Kommunikationsverbindung 4 zu der Epoche des Objekts 4, möglich ist.An image can then be used from the image data packet assigned to the time stamp t s1 or a further time stamp, for example t s2 or t s3 21 of the object 5 extracted, being on the picture 21 of the object 5 the time t 2 is shown, which lies between t 1 and t 3 . It is not essential that the picture 21 is extracted from the image data packet assigned to the current time stamp t s1, since based on the assignment between time t s1 and time t 1 of the object 5 accordingly an assignment of the network times to the corresponding times of the object 5 , therefore an assignment of the epoch of the communication link 4th to the epoch of the object 4th , is possible.

Die Latenz der Kamera ergibt sich dabei als die Differenz zwischen der Zeit t1 des Objektes sowie der Zeit t2 des Bildes 21 in den Bilddaten, gegebenenfalls mit Hilfe der Zuordnungsinformation korrigiert für eine Differenz zwischen dem Zeitstempel des für die Extraktion des Bilds 21 verwendeten Bilddatenpakets und ts1. Die Anzeigelatenz, also die Latenz der Anzeigevorrichtung 6, kann als Differenz zwischen der Zeit t2 und der Zeit t3 auf der Darstellung 6 des Objektes 5 ermittelt werden. Entsprechend lässt sich eine Ende-zu-Ende-Latenz des Bildaufnahme- und Anzeigeanordnung 1 als eine Differenz zwischen den Zeiten t3 und t1 ermitteln. Entsprechend lässt sich aus der Ende-zu-Ende-Latenz bei Kenntnis der Kameralatenz die Anzeigelatenz, und umgekehrt, errechnen.The latency of the camera results from the difference between the time t 1 of the object and the time t 2 of the image 21 in the image data, if necessary corrected with the aid of the assignment information for a difference between the time stamp for the extraction of the image 21 image data packet used and t s1. The display latency, i.e. the latency of the display device 6th , can be shown as the difference between time t 2 and time t 3 on the display 6th of the property 5 be determined. An end-to-end latency of the image recording and display arrangement can accordingly be achieved 1 as a difference between times t 3 and t 1 . Correspondingly, if the camera latency is known, the display latency and vice versa can be calculated from the end-to-end latency.

Bei einem Gesamtbild, auf welchem entsprechend des Aufnahmebereichs 18 nur die zweite Anzeigevorrichtung 14 sowie das Objekt 5 dargestellt sind, kann entsprechend eine Kameralatenz der Kamera 2 aus der Darstellung des Objekts 5 sowie aus dem aus dem Bilddatenpaket extrahierten Bild 21 des Objekts 5 bestimmt werden. Entsprechend kann bei einem Gesamtbild, bei welchem gemäß dem Aufnahmebereich 19 die zweite Anzeigevorrichtung 14 sowie die erste Anzeigevorrichtung 6 erfasst wird, eine Anzeigelatenz der ersten Anzeigevorrichtung 6 durch das Bild 21 des Objekts 5, welches aus dem Bilddatenpaket extrahiert wurde, sowie aus dem auf der Anzeigevorrichtung 6 dargestellten Darstellung 6 des Objekts 5 erfolgen. Mittels des Verfahrens wird somit vorteilhaft ermöglicht, dass als Latenzinformation nicht nur eine Gesamtlatenz der Bildaufnahme- und Anzeigeanordnung 1 bestimmt werden kann, sondern durch die Verwendung der Kommunikationsverbindung 4 als neutraler Messpunkt im System eine Zuordnung eines Anteils der Gesamtlatenz an die Kamera 2 bzw. an die erste Bildaufnahmevorrichtung 3 möglich ist, mithin also eine Kameralatenz der Kamera 2 bzw. einer Anzeigelatenz der ersten Anzeigevorrichtung 3 erfasst wird. Um den Einfluss einer Anzeige der Zeitstempelinformation auf der zweiten Anzeigevorrichtung 14 möglichst gering zu halten, kann vorgesehen sein, dass eine Zeitverzögerung, mittels der die von der Kommunikationsdatenauswerteeinheit 13 umfassten Kommunikationsdaten auf der zweiten Anzeigevorrichtung 14 berücksichtigt wird bzw. dass eine Kommunikationsdatenauswerteeinheit verwendet wird, deren Latenz geringer ist als eine zu erwartende Kameralatenz bzw. eine zu erwartende Anzeigenlatenz der ersten Anzeigevorrichtung 3. Beispielsweise kann dazu eine Anzeige über die zweite Anzeigevorrichtung 14 erfolgen, bei welcher eine Zeitverzögerung kleiner als 50ms, insbesondere kleiner als 20ms, ist. Die Kommunikationsverbindung 4 kann z. B. eine Ethernetverbindung sein.In the case of an overall picture, on which corresponding to the recording area 18th only the second display device 14th as well as the object 5 are shown, a camera latency of the camera can accordingly 2 from the representation of the object 5 as well as from the image extracted from the image data packet 21 of the object 5 to be determined. Correspondingly, at an overall image in which according to the recording area 19th the second display device 14th and the first display device 6th is detected, a display latency of the first display device 6th through the picture 21 of the object 5 which was extracted from the image data packet, as well as from the one on the display device 6th representation shown 6th of the object 5 respectively. By means of the method it is thus advantageously made possible that not only a total latency of the image recording and display arrangement is used as latency information 1 can be determined, but by using the communication link 4th as a neutral measuring point in the system, an allocation of a portion of the total latency to the camera 2 or to the first image recording device 3 is possible, therefore a camera latency of the camera 2 or a display latency of the first display device 3 is captured. To the influence of a display of the time stamp information on the second display device 14th To keep it as low as possible, provision can be made for a time delay by means of which the communication data evaluation unit 13th included communication data on the second display device 14th is taken into account or that a communication data evaluation unit is used, the latency of which is lower than an expected camera latency or an expected display latency of the first display device 3 . For example, a display via the second display device can be used for this purpose 14th take place in which a time delay is less than 50 ms, in particular less than 20 ms. The communication link 4th can e.g. B. be an Ethernet connection.

Durch die Kodierungseinrichtung 8 der Kamera 2 können die von dem Bildsensor 7 der Kamera 2 aufgenommenen Bilder in Bilddaten gemäß einem MPEG-Standard, z.B. H.264, H.265 oder MPEG-TS, oder eines RTP-Standards kodiert bzw. transportiert werden. Die Ermittlung des Bildes 21 aus einem der Zeitstempel ts zugeordneten Bilddatenpaket kann dadurch erfolgen, dass der Anfang einer in dem Bilddatenpaket enthaltenen Bilddatengrundeinheit ermittelt wird, wobei bei Extraktion des Bildes 21 der Anfang der Bilddatengrundeinheit, beispielsweise eines Videoframes, ermittelt wird und eine Dekodierung zumindest des Anfangs der Bilddatengrundeinheit erfolgt, um das Bild 21 des Objektes 5 zu erhalten. Dieses Ermitteln des Bildes 21 muss nicht zeitgleich mit der Aufnahme des Gesamtbildes durch die Bildaufnahmeeinrichtung 16 erfolgen, sondern kann im Nachhinein anhand der dargestellten Zeitstempelinformation auf der zweiten Anzeigevorrichtung 14 erfolgen.By the coding device 8th the camera 2 can see those from the image sensor 7th the camera 2 recorded images are encoded or transported in image data according to an MPEG standard, for example H.264, H.265 or MPEG-TS, or an RTP standard. Identifying the image 21 an image data packet assigned to the time stamp t s can be used in that the beginning of a basic image data unit contained in the image data packet is determined, with the extraction of the image 21 the beginning of the basic image data unit, for example a video frame, is determined and at least the beginning of the basic image data unit is decoded to form the image 21 of the property 5 to obtain. This determining the image 21 does not have to be simultaneous with the recording of the overall image by the image recording device 16 can take place afterwards using the time stamp information shown on the second display device 14th respectively.

In 2 ist ein Ausführungsbeispiel einer erfindungsgemäßen Messvorrichtung 21 dargestellt, welche eine Kommunikationsdatenauswerteeinheit 13 mit einer Anzeigevorrichtung 14, eine Bildaufnahmeeinrichtung 16 und einer Recheneinrichtung 22 umfasst. Die Recheneinrichtung 22 ist mit der Kommunikationsdatenauswerteeinheit 13 und der Bildaufnahmeeinrichtung 16 verbunden. Die Recheneinrichtung 22 ist weiterhin zur Durchführung des vorangehend beschriebenen Verfahrens zur Ermittlung einer eine Videolatenz beschreibenden Latenzinformation ausgebildet. Dazu kann durch die Recheneinrichtung 22 eine Bildaufnahme der Bildaufnahmeeinrichtung 16 ausgelöst werden sowie das von der Bildaufnahmeeinrichtung 16 erzeugte Gesamtbild empfangen und ausgewertet werden. Entsprechend können die Zeitstempelinformation und/oder der Zeitstempelinformation zugeordnete Bilddatenpakete von der Kommunikationsdatenauswerteeinheit 13 an die Recheneinrichtung 22 übermittelt werden, welche auf deren Grundlage wie vorangehend beschrieben bei Anordnung eines Objektes 5 sowie einer Bildaufnahme- und Anzeigeanordnung 1 entsprechend 1 eine Kameralatenz, eine Anzeigelatenz und/oder eine Gesamtlatenz der Bildaufnahme- und Anzeigeanordnung 1 ermittelt.In 2 is an embodiment of a measuring device according to the invention 21 shown, which a communication data evaluation unit 13th with a display device 14th , an image pickup device 16 and a computing device 22nd includes. The computing device 22nd is with the communication data evaluation unit 13th and the image pickup device 16 connected. The computing device 22nd is also designed to carry out the method described above for determining latency information describing video latency. This can be done by the computing device 22nd an image recording of the image recording device 16 are triggered as well as that of the image recording device 16 generated overall image can be received and evaluated. Correspondingly, the time stamp information and / or the image data packets assigned to the time stamp information can be sent from the communication data evaluation unit 13th to the computing device 22nd are transmitted, which on their basis as described above when arranging an object 5 and an image capture and display arrangement 1 accordingly 1 a camera latency, a display latency and / or an overall latency of the image recording and display arrangement 1 determined.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102017010887 A1 [0004]DE 102017010887 A1 [0004]
  • US 2019/0098293 A1 [0005]US 2019/0098293 A1 [0005]
  • CN 106534843 A [0006]CN 106534843 A [0006]

Claims (10)

Verfahren zur Ermittlung wenigstens einer eine Videolatenz beschreibenden Latenzinformation in einer Bildaufnahme- und Anzeigeanordnung (1) umfassend eine Kamera (2), eine erste Anzeigevorrichtung (3) und eine Kommunikationsverbindung (4), wobei die Kamera (2) mit der ersten Anzeigevorrichtung (3) über die Kommunikationsverbindung (4) verbunden ist, wobei von der Kamera (2) aufgenommene Bilder eines sich zeitlich verändernden Objekts (5) als wenigstens ein Bilddatenpaket an die erste Anzeigevorrichtung (3) übermittelt und auf der ersten Anzeigevorrichtung (3) dargestellt werden, wobei der Kommunikationsverbindung eine Kommunikationsdatenauswerteeinheit (13) mit einer zweiten Anzeigevorrichtung (14) zugeordnet wird, wobei auf der zweiten Anzeigevorrichtung (14) eine wenigstens einen Zeitstempel eines Bilddatenpakets in der Kommunikationsverbindung beschreibende Zeitstempelinformation (15) angezeigt wird, wobei mittels einer Bildaufnahmeeinrichtung (16) ein Gesamtbild aufgenommen wird, auf dem die zweite Anzeigevorrichtung (14) sowie die erste Anzeigevorrichtung (3) und/oder das Objekt (5) abgebildet sind, wobei die Latenzinformation aus den Darstellungen der zweiten Anzeigevorrichtung (14) sowie der ersten Anzeigevorrichtung (3) und/oder des Objekts (5) auf dem Gesamtbild ermittelt wird.Method for determining at least one latency information describing video latency in an image recording and display arrangement (1) comprising a camera (2), a first display device (3) and a communication link (4), the camera (2) with the first display device (3 ) is connected via the communication link (4), images of an object (5) changing over time being transmitted as at least one image data packet to the first display device (3) and displayed on the first display device (3), recorded by the camera (2), wherein a communication data evaluation unit (13) with a second display device (14) is assigned to the communication connection, with time stamp information (15) describing at least one time stamp of an image data packet in the communication connection being displayed on the second display device (14), whereby by means of an image recording device (16) an overall picture is taken, a on which the second display device (14) and the first display device (3) and / or the object (5) are shown, the latency information from the representations of the second display device (14) and the first display device (3) and / or the object (5) is determined on the overall picture. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus dem Zeitstempel der dargestellten Zeitstempelinformation (15) und der Darstellung des Objekts (5) im Gesamtbild eine Zuordnungsinformation ermittelt wird, wobei aus dem oder einem einem weiteren Zeitstempel zugeordneten Bilddatenpaket ein Bild (21) des Objekts (5) extrahiert wird, wobei aus dem extrahierten Bild (21) des Objekts (5) und der Zuordnungsinformation als Latenzinformation eine Kameralatenz ermittelt wird.Procedure according to Claim 1 , characterized in that assignment information is determined from the time stamp of the displayed time stamp information (15) and the representation of the object (5) in the overall image, an image (21) of the object (5) being extracted from the image data packet or an image data packet assigned to a further time stamp a camera latency is determined from the extracted image (21) of the object (5) and the assignment information as latency information. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus dem oder einem einem weiteren Zeitstempel zugeordneten Bilddatenpaket ein Bild (21) des Objekts (5) extrahiert wird, wobei als Latenzinformation eine Anzeigelatenz aus dem extrahierten Bild (21) des Objekts (5) und der Darstellung (6) des Objekts (5) auf der ersten Anzeigevorrichtung (3) ermittelt wird.Procedure according to Claim 1 or 2 , characterized in that an image (21) of the object (5) is extracted from the image data packet or one assigned to a further time stamp, with a display latency from the extracted image (21) of the object (5) and the representation (6) as latency information. of the object (5) is determined on the first display device (3). Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zur Extraktion des Bildes (21) in dem oder einem Bilddatenpaket wenigstens eine Bilddatengrundeinheit, insbesondere ein Videoframe, ermittelt wird, wobei der Anfang der Bilddatengrundeinheit in dem Bilddatenpaket ermittelt wird und eine Dekodierung zumindest der Bilddatengrundeinheit erfolgt, wobei ein Bild der dekodierten Bilddatengrundeinheit als extrahiertes Bild (21) des Objekts (5) verwendet wird.Procedure according to Claim 2 or 3 , characterized in that at least one basic image data unit, in particular a video frame, is determined to extract the image (21) in the image data package or one, the beginning of the basic image data unit being determined in the image data package and at least the basic image data unit being decoded, an image of the decoded basic image data unit is used as the extracted image (21) of the object (5). Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass bei der Ermittlung der Latenzinformation eine Zeitverzögerung bei der Anzeige der Zeitstempelinformation (15) auf der zweiten Anzeigevorrichtung (14) berücksichtigt wird und/oder dass eine Kommunikationsdatenauswerteeinheit (13) verwendet wird, bei der eine Zeitverzögerung bei der Anzeige der Zeitstempelinformation kleiner als 50ms, insbesondere kleiner als 20ms ist.Method according to one of the Claims 2 until 4th , characterized in that a time delay in the display of the time stamp information (15) on the second display device (14) is taken into account when determining the latency information and / or that a communication data evaluation unit (13) is used in which a time delay in the display of the time stamp information is less than 50ms, in particular less than 20ms. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Latenzinformation eine Ende-zu-Ende-Latenz aus den Darstellungen des Objekts (5) und der ersten Anzeigevorrichtung (3) im Gesamtbild ermittelt wird.Method according to one of the preceding claims, characterized in that an end-to-end latency is determined as latency information from the representations of the object (5) and the first display device (3) in the overall image. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Objekt (5) eine Uhr oder eine Stoppuhr verwendet wird.Method according to one of the preceding claims, characterized in that a clock or a stop watch is used as the object (5). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Kommunikationsverbindung (4) eine Netzwerkkommunikationsverbindung, insbesondere eine Ethernetverbindung, ist.Method according to one of the preceding claims, characterized in that the communication connection (4) is a network communication connection, in particular an Ethernet connection. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Kommunikationsdatenauswerteeinheit (13) ein Netzwerksniffer verwendet wird.Method according to one of the preceding claims, characterized in that a network sniffer is used as the communication data evaluation unit (13). Messvorrichtung, umfassend eine Kommunikationsdatenauswerteeinheit (13) mit einer Anzeigevorrichtung (14), eine Bildaufnahmeeinrichtung (16) und eine Recheneinrichtung (22), wobei die Recheneinrichtung (22) mit der Kommunikationsdatenauswerteeinheit (13) und der Bildaufnahmeeinrichtung (16) verbunden ist, wobei die Recheneinrichtung (22) zur Durchführung eines Verfahrens nach einem der vorangehenden Ansprüche ausgebildet ist.Measuring device, comprising a communication data evaluation unit (13) with a display device (14), an image recording device (16) and a computing device (22), the computing device (22) being connected to the communication data evaluation unit (13) and the image recording device (16), the Computing device (22) is designed to carry out a method according to one of the preceding claims.
DE102020114845.3A 2020-06-04 2020-06-04 Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device Active DE102020114845B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020114845.3A DE102020114845B4 (en) 2020-06-04 2020-06-04 Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020114845.3A DE102020114845B4 (en) 2020-06-04 2020-06-04 Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device

Publications (2)

Publication Number Publication Date
DE102020114845A1 true DE102020114845A1 (en) 2021-12-09
DE102020114845B4 DE102020114845B4 (en) 2021-12-23

Family

ID=78605235

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020114845.3A Active DE102020114845B4 (en) 2020-06-04 2020-06-04 Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device

Country Status (1)

Country Link
DE (1) DE102020114845B4 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034160A1 (en) 2008-07-22 2010-03-18 Siemens Aktiengesellschaft Device for monitoring a spatial area, in particular in the environment or inside a vehicle
CN106534843A (en) 2016-11-14 2017-03-22 北京凌宇智控科技有限公司 Delay measurement method and device
US20190098293A1 (en) 2017-09-22 2019-03-28 Microsoft Technology Licensing, Llc Display latency measurement system using available hardware
DE102017010887A1 (en) 2017-11-08 2019-05-09 Avi Systems Gmbh Method for latency measurement
EP3573338A1 (en) 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034160A1 (en) 2008-07-22 2010-03-18 Siemens Aktiengesellschaft Device for monitoring a spatial area, in particular in the environment or inside a vehicle
CN106534843A (en) 2016-11-14 2017-03-22 北京凌宇智控科技有限公司 Delay measurement method and device
US20190098293A1 (en) 2017-09-22 2019-03-28 Microsoft Technology Licensing, Llc Display latency measurement system using available hardware
DE102017010887A1 (en) 2017-11-08 2019-05-09 Avi Systems Gmbh Method for latency measurement
EP3573338A1 (en) 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool

Also Published As

Publication number Publication date
DE102020114845B4 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
DE69632664T2 (en) Decoding of information pages comprising title information and page data
DD256221A5 (en) METHOD FOR TRANSFERRING UPDATE INFORMATION OF A VIDEO STILL IMAGE
DE2302587B2 (en) Method for the simultaneous multiplex recording and reproduction of image and multi-channel data signals and device therefor
EP2147844A2 (en) Device for monitoring an area in particular in the vicinity of or within a vehicle
DE19525790B4 (en) Display a digital audio waveform on a video waveform display device
DE19653425C2 (en) Digital oscilloscope with a pan and a zoom function, which are generated from time-stamped data sets indexed by a trigger offset
EP0471878A1 (en) Method of picture-in-picture superimposition and apparatus for following the method
EP2790408A1 (en) Method for the compressed storage of graphic data
DE102020114845B4 (en) Method for determining at least one latency information item describing video latency in an image recording and display arrangement and measuring device
DE2546070A1 (en) DIFFERENTIAL IMAGE ANALYZER
DE4309957C1 (en) Television signal recognition system
DE2162837B2 (en)
EP0262362A2 (en) Method for recording and reproducing data packets transmitted with a television signal
DE2849983A1 (en) CIRCUIT ARRANGEMENT AND PROCEDURE FOR AUTOMATIC DIFFERENCE BETWEEN SEVERAL STANDARD INFORMATION CONTAINED IN A TIME CODE SIGNAL
DE3138930A1 (en) METHOD FOR WRITING DATA IN AN IMAGE REPEAT MEMORY OF A VIEWING DEVICE
DE2350018B2 (en) Image analyzer
DE4339075C2 (en) Method and camera monitoring device for generating a digital image
DE3121840A1 (en) ARRANGEMENT FOR PRODUCING A STEREO IMAGE
DE102008060619A1 (en) Data recording system
DE2119850B2 (en) Method for measuring the movement of an object and device for carrying out the method
DE102019001005A1 (en) Device and method for the compression of sensor data
DE3243444A1 (en) RECURSIVE METHOD FOR IDENTIFYING ISOTROPIC ZONES IN A VIDEO IMAGE, AND MOTION DETECTOR AND NOISE DETECTOR FOR IMAGE SEQUENCES
DE10112038B4 (en) Method for asynchronous, space-saving data acquisition within a continuous storage of measured values
DE3147762A1 (en) INFORMATION PROCESSOR
DE102005062468A1 (en) Method for the synchronization of data streams

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final