DE102014008808A1 - Method for securing the transmission of safety-related camera images - Google Patents

Method for securing the transmission of safety-related camera images Download PDF

Info

Publication number
DE102014008808A1
DE102014008808A1 DE201410008808 DE102014008808A DE102014008808A1 DE 102014008808 A1 DE102014008808 A1 DE 102014008808A1 DE 201410008808 DE201410008808 DE 201410008808 DE 102014008808 A DE102014008808 A DE 102014008808A DE 102014008808 A1 DE102014008808 A1 DE 102014008808A1
Authority
DE
Germany
Prior art keywords
camera
display device
signature
counter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201410008808
Other languages
German (de)
Inventor
Sven Fleck
Jens Köhnlein
Peter Nicke
Tilo Nothacker
Thomas Wiltschko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koehnlein Jens De
Nicke Peter De
Nothacker Tilo De
Wiltschko Thomas De
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE201410008808 priority Critical patent/DE102014008808A1/en
Publication of DE102014008808A1 publication Critical patent/DE102014008808A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84Vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps

Abstract

Die Erfindung betrifft ein Verfahren zur Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern (12) einer an einem Kraftfahrzeug (2) angeordneten Kamera (6, 8, 10) zu einer im Kraftfahrzeug (2) angeordneten Anzeigevorrichtung (4), wobei von der Kamera (6, 8, 10) zur Anzeigevorrichtung (4) zu übertragenden Kamerabildern (12) kameraseitig ein laufender Zähler (16) eingeprägt wird, wobei die derart veränderten Kamerabilder (12) zur Anzeigevorrichtung (4) übertragen werden, wobei der fortlaufende Zähler (16) anzeigevorrichtungsseitig überprüft wird, wobei bei Feststellen eines nicht korrekt fortlaufenden Zählers (16) innerhalb einer bestimmten Anzahl von Kamerabildern (12) die Anzeige der Kamerabilder (12) auf der Anzeigevorrichtung (4) unterlassen wird.The invention relates to a method for securing the transmission of security-relevant camera images (12) from a camera (6, 8, 10) arranged on a motor vehicle (2) to a display device (4) arranged in the motor vehicle (2), whereby the camera (6 , 8, 10) camera images (12) to be transmitted to the display device (4) are impressed with a running counter (16) on the camera side, the camera images (12) changed in this way being transmitted to the display device (4), the continuous counter (16) on the display device side is checked, whereby if an incorrectly continuous counter (16) is detected within a certain number of camera images (12), the display of the camera images (12) on the display device (4) is omitted.

Description

Die Erfindung betrifft ein Verfahren zur Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern einer an einem Kraftfahrzeug angeordneten Kamera zu einer im Kraftfahrzeug angeordneten Anzeigevorrichtung.The invention relates to a method for securing the transmission of security-relevant camera images of a camera arranged on a motor vehicle to a display device arranged in the motor vehicle.

Verfahren der eingangs genannten Art sind im Stand der Technik bekannt. In modernen Kraftfahrzeugen werden zunehmend Kameras eingesetzt. Die Kameras dienen zu unterschiedlichen Zwecken. Einer dieser Zwecke ist, mittels der Kameras eine Rückwärtsfahrt durch Darstellung des Bereichs hinter dem Kraftfahrzeug auf einem Monitor im Innenraum des Kraftfahrzeuges zu erleichtern, was insbesondere beim Einparken nützlich ist, da die Sicht nach hinten in einem Kraftfahrzeug meist erheblich eingeschränkt ist.Methods of the type mentioned are known in the art. Cameras are increasingly used in modern motor vehicles. The cameras are used for different purposes. One of these purposes is to facilitate by means of the cameras a reverse drive by displaying the area behind the motor vehicle on a monitor in the interior of the motor vehicle, which is particularly useful when parking, as the view to the rear in a motor vehicle is usually considerably limited.

Für derartige Anwendungen ist es unerlässlich, dass die Systeme zuverlässig funktionieren. Es kann jedoch vorkommen, dass ein Videosystem Fehler produziert, beispielsweise durch Fehler in der Speicherverwaltung, was bedingt, dass unter Umständen ein Kamerabild oder eine kurze Kamerabildsequenz wiederholt im Kraftfahrzeug angezeigt werden, die nicht mehr aktuell sind. Dieses Phänomen wird häufig als „Einfrieren” bezeichnet. Ein solches Einfrieren kann dazu führen, dass ein Fahrer des Kraftfahrzeugs den Abstand zu Personen oder Gegenständen falsch einschätzt und Unfälle produziert. Es ist daher wichtig sicherzustellen, dass derartige Fehler erkannt und Gegenmaßnahmen eingeleitet werden können.For such applications, it is imperative that the systems function reliably. However, it may happen that a video system produces errors, for example due to errors in the memory management, which may require that a camera image or a short camera image sequence are repeatedly displayed in the motor vehicle, which are out of date. This phenomenon is often referred to as "freezing". Such freezing can cause a driver of the motor vehicle to misjudge the distance to persons or objects and produce accidents. It is therefore important to ensure that such errors can be detected and countermeasures taken.

Die Aufgabe der Erfindung ist es somit, ein Verfahren der eingangs genannten Art dahingehend weiterzubilden, das einen zuverlässige Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern in einem Kraftfahrzeug möglich ist.The object of the invention is thus to develop a method of the type mentioned in that reliable protection of the transmission of safety-relevant camera images in a motor vehicle is possible.

Die Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1. Weitere Ausgestaltungen des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche.The object is achieved by a method according to claim 1. Further embodiments of the method according to the invention are the subject of the dependent claims.

Ein erfindungsgemäßes Verfahren zur Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern einer an einem Kraftfahrzeug angeordneten Kamera zu einer im Kraftfahrzeug angeordneten Anzeigevorrichtung sieht vor, dass von der Kamera zur Anzeigevorrichtung zu übertragenden Kamerabilder, also Kamerabildern, die von der Kamera aufgenommen und zur Übertragung an die Anzeigevorrichtung vorgesehen sind, kameraseitig ein laufender Zähler aufgeprägt wird. Erst nach Aufprägen des laufenden Zählers werden die Kamerabilder von der Kamera zu der Anzeigevorrichtung übertragen.A method according to the invention for securing the transmission of safety-relevant camera images of a camera arranged on a motor vehicle to a display device arranged in the motor vehicle provides that camera images to be transmitted from the camera to the display device, ie camera images, are taken by the camera and provided for transmission to the display device are on the camera side a running counter is impressed. Only after impressing the current counter, the camera images are transmitted from the camera to the display device.

Zur Übertragung können verschiedene Wege verwendet werden. Beispielsweise kann ein kraftfahrzeugeigenes Datenbussystem vorgesehen sein, es ist jedoch auch eine direkte Verbindung zwischen Kamera und Anzeigevorrichtung denkbar. Eine solche direkte Verbindung kann drahtgebunden oder drahtlos sein.Various ways can be used for transmission. For example, a motor vehicle data bus system may be provided, but it is also a direct connection between the camera and display device conceivable. Such a direct connection can be wired or wireless.

Die Anzeigevorrichtung kann beispielsweise ein im Kraftfahrzeuginnenraum angeordnetes Display sein, das dediziert oder zur Anzeige mehrerer Informationen vorgesehen ist, also ein Multifunktionsdisplay darstellt. Auf einem solchen Multifunktionsdisplay können Kartenmaterial, Informationen betreffend Multimediasysteme, Konfigurationsbildschirme und dergleichen mehr angezeigt werden.The display device may be, for example, a display arranged in the motor vehicle interior, which is dedicated or provided for displaying a plurality of information, that is to say a multifunction display. On such a multifunction display, map material, information regarding multimedia systems, configuration screens and the like may be displayed more.

Die durch Einprägung eines laufenden Zählers veränderten Kamerabilder werden zur Anzeigevorrichtung übertragen, wobei der fortlaufende Zähler anzeigevorrichtungsseitig überprüft wird. Das anzeigevorrichtungsseitige Überprüfen kann durch die Anzeigevorrichtung selbst bzw. durch einen Prozessor der Anzeigevorrichtung erfolgen.The camera images changed by imprinting a running counter are transferred to the display device, and the continuous counter is checked on the display device side. The display device-side checking may be performed by the display device itself or by a processor of the display device.

Bei Feststellen eines nicht korrekt fortlaufenden Zählers innerhalb einer bestimmten Anzahl von Kamerabildern wird gemäß der Erfindung die Anzeige der Kamerabilder auf der Anzeigevorrichtung unterlassen. Dies kann dadurch geschehen, dass die Anzeigevorrichtung abgeschaltet wird oder ein anderes Bild anzeigt.Upon detection of an incorrectly running counter within a certain number of camera images, according to the invention, the display of the camera images on the display device is omitted. This can be done by turning off the display or displaying another image.

Die Erfindung geht von der Erkenntnis aus, dass es sicherer ist, gar kein Bild anzuzeigen, als ein nicht aktuelles sicherheitsrelevantes Kamerabild. Damit wird verhindert, dass ein Fahrer fälschlicherweise davon ausgeht, ein aktuelles Kamerabild angezeigt zu bekommen, wenn dieses tatsächlich eingefroren und nicht mehr aktuell ist. Die bestimmte Anzahl von Kamerabildern, die als Toleranz zulässig sein kann, kann je nach Sicherheitsanforderung vom Fachmann bestimmt werden. Die bestimmte Anzahl kann gemäß einer Ausgestaltung null sein, gemäß anderen Ausgestaltungen eine Anzahl an Kamerabildern, die beispielsweise einer tolerablen Latenzzeit entspricht. Auch hardwarebedingte Kriterien können die Toleranz mitbestimmen, z. B. Pufferspeichergrößen oder dergleichen.The invention is based on the recognition that it is safer not to display any image than a non-current security-relevant camera image. This will prevent a driver from mistakenly assuming that they are seeing a current camera image when it is actually frozen and out of date. The certain number of camera images, which may be tolerable, may be determined by a person skilled in the art according to the security requirement. According to one embodiment, the determined number may be zero, according to other embodiments, a number of camera images corresponding, for example, to a tolerable latency. Hardware-related criteria can also determine the tolerance, eg. B. buffer memory sizes or the like.

Gemäß einer ersten möglichen weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass einem von der Kamera zur Anzeigevorrichtung zu übertragenden sicherheitsrelevanten Kamerabild kameraseitig eine Signatur eingeprägt wird, das derart signierte Kamerabild zur Anzeigevorrichtung übertragen wird, wobei anzeigevorrichtungsseitig die Signatur überprüft wird, wobei das Bild bei Erkennung der Signatur als sicherheitsrelevant eingestuft wird und wobei anschließend die Überprüfung des Fortlaufens des Zählers durchgeführt wird.According to a first possible further embodiment of the method according to the invention, it can be provided that a signature is imprinted on the camera side on the camera side to be transmitted to the display device, the signed camera image is transmitted to the display device, the signature being checked on the display side, the image being included Detection of the signature is classified as safety relevant and where then the Checking the continuation of the counter is performed.

Im Rahmen dieser Ausgestaltung der Erfindung wird ein sicherheitsrelevantes Bild als solches erkannt, wenn eine von der Kamera eingeprägte Signatur in den Kamerabildern identifiziert wird. Der Vorteil des Einprägens einer Signatur auf der Kameraseite und des Erkennens der Signatur und anschließenden Einordnung als sicherheitsrelevant auf der Anzeigevorrichtungsseite ist, dass keine zusätzlichen Informationen betreffend die Sicherheitsrelevanz der Kamerabilder zwischen Kamera und Anzeigevorrichtung übertragen werden müssen. Die Anzeigevorrichtung kann aus den übertragenen Kamerabildern heraus selbst und autark überprüfen und einschätzen, ob es sich bei den übertragenen Kamerabildern um sicherheitsrelevante Kamerabilder oder nicht um sicherheitsrelevante Kamerabilder handelt. Die Überwachung und entsprechende Kategorisierung seitens der Anzeigevorrichtung schafft somit zusätzliche Redundanzen. Im Rahmen dieser Ausgestaltung der Erfindung wird also zunächst überprüft, ob in den Kamerabildern eine entsprechende Signatur vorliegt und anschließend eine Auswertung in die übertragenen Kamerabilder eingeprägten Zähler vorgenommen. Eine Auswertung des Zählers kann im umgekehrten Falle unterbleiben, wenn in dem Bild keine entsprechende Signatur gefunden wird.In the context of this embodiment of the invention, a safety-relevant image is recognized as such when a signature imprinted by the camera is identified in the camera images. The advantage of embossing a signature on the camera side and recognizing the signature and subsequent classification as safety-relevant on the display device side is that no additional information concerning the safety relevance of the camera images has to be transmitted between the camera and the display device. The display device can check itself out of the transmitted camera images and independently and assess whether the transmitted camera images are safety-relevant camera images or not safety-relevant camera images. The monitoring and corresponding categorization by the display device thus creates additional redundancies. In the context of this embodiment of the invention, therefore, it is first checked whether there is a corresponding signature in the camera images and then carried out an evaluation in the transmitted camera images impressed counter. An evaluation of the counter can be omitted in the opposite case, if no corresponding signature is found in the image.

Gemäß einer möglichen weiterführenden Ausgestaltung der Erfindung sind Signatur und Zähler in den gleichen Bildbereichen überlagert, sodass die zur Umsetzung der Erfindung notwendige Bildfläche minimiert ist. Gemäß einer alternativen Ausgestaltung können Signatur und Zähler in unterschiedlichen Bildbereichen angeordnet sein, was die Erkennungssicherheit von Zähler und Signatur erhöht, wo es nötig ist.According to a possible further embodiment of the invention, signature and counter are superimposed in the same image areas, so that the image area necessary for implementing the invention is minimized. According to an alternative embodiment, signature and counter can be arranged in different image areas, which increases the recognition reliability of counter and signature, where necessary.

Gemäß einer weiteren möglichen Weiterbildung des erfindungsgemäßen Verfahrens kann das Kamerabild als sicherheitsrelevant eingestuft werden, wenn die Signatur zu 50% oder mehr erkannt wird. Insbesondere kann die Signatur zu 75% oder mehr erkannt werden. Hierdurch ist die Wahrscheinlichkeit, dass ein sicherheitsrelevantes Kamerabild nicht als solches erkannt wird, sehr gering, sodass gewährleistet werden kann, dass sicherheitsrelevante Kamerabilder zuverlässig als solche erkannt werden. Der umgekehrte Fall ist unkritischer; wird ein nicht sicherheitsrelevantes Kamerabild fälschlicherweise als sicherheitsrelevant eingestuft, weil vermeintlich eine Signatur erkannt wurde, wird schlimmstenfalls die Anzeige des Kamerabildes bei Einfrieren abgeschaltet. Dies ist jedoch nicht kritisch.According to a further possible development of the method according to the invention, the camera image can be classified as security-relevant if the signature is recognized to be 50% or more. In particular, the signature can be recognized as 75% or more. As a result, the probability that a security-relevant camera image is not recognized as such, very low, so that it can be ensured that safety-relevant camera images are reliably recognized as such. The reverse case is less critical; If a non-safety-related camera image is incorrectly classified as safety-relevant, because a signature was supposed to have been detected, the display of the camera image will be switched off during freezing in the worst case scenario. However, this is not critical.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung kann vorgesehen sein, dass Signatur und/oder Zähler im Kamerabild verteilt sind. Durch eine derartige Verteilung von Signatur und/oder Zähler können Einflüsse von lokalen Bildstörungen in den übertragenen Kamerabildern auf das erfindungsgemäße Verfahren minimiert werden.According to another possible embodiment of the invention can be provided that signature and / or counters are distributed in the camera image. By such a distribution of signature and / or counter influences of local image noise in the transmitted camera images can be minimized to the inventive method.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung können Signatur und/oder Zähler robust gegen Bildversatz gestaltet werden. Hierdurch lässt sich eine höhere Betriebssicherheit erreichen. Eine entsprechende Robustheit gegenüber Bildversatz kann in einer Ausgestaltung der Erfindung durch ausreichende Größe der Elemente von Signatur und/oder Zähler geschaffen werden. Eine Robustheit gegenüber einem Pixelversatz von 1 Pixel in jede Richtung bedingt zum Beispiel, dass alle Elemente von Signatur und/oder Zähler wenigstens 3×3 Pixel groß sein müssen. Bei größeren Toleranzen müssen Signatur und/oder Zähler entsprechend größer werden.According to another possible embodiment of the invention, signature and / or counter can be designed robust against image offset. This makes it possible to achieve higher reliability. A corresponding robustness to image offset can be created in one embodiment of the invention by sufficient size of the elements of signature and / or counter. For example, robustness to a pixel offset of 1 pixel in each direction implies that all elements of the signature and / or counter must be at least 3x3 pixels in size. For larger tolerances signature and / or counter must be correspondingly larger.

Gemäß einer weiteren möglichen Ausgestaltung des erfindungsgemäßen Verfahrens können Signatur und/oder Zähler durch Luminanzänderung der Bildwerte des jeweils zu übertragenden Kamerabildes implementiert werden. Eine solche Luminanzänderung ist für einen menschlichen Betrachter weniger auffallend als eine Farbänderung. In der Regel werden Luminanzänderungen, die von entsprechend programmierten Computerprogrammen zuverlässig erkannt werden können, von Menschen kaum oder gar nicht wahrgenommen. Auf diese Weise lässt sich eine Implementierung von Signatur und/oder Zähler unauffällig in ein Bild einprägen, ohne das Bild in seinen Dimensionen zu vergrößern und ohne den Fahrer zu stören oder gar zu irritieren.According to another possible embodiment of the method according to the invention, signature and / or counter can be implemented by changing the luminance of the image values of the respective camera image to be transmitted. Such a luminance change is less conspicuous to a human observer than a color change. As a rule, luminance changes that can be reliably detected by correspondingly programmed computer programs are barely perceived by people or not at all. In this way, an implementation of signature and / or counter inconspicuously imprint into an image without increasing the size of the image and without disturbing or even irritating the driver.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung kann vorgesehen sein, dass die Anzeigevorrichtung bei dem Feststellen eines nicht fortlaufenden Zählers eine Nachricht an die Kameras sendet. Auf diese Weise kann der Kamera mitgeteilt werden, wenn eine Fehlfunktion in der Kamera vorliegt. Die Kamera kann dann geeignete Gegenmaßnahmen einleiten, beispielsweise sich zurücksetzen.According to another possible embodiment of the invention, it can be provided that the display device sends a message to the cameras when a non-consecutive counter is detected. In this way, the camera can be notified if there is a malfunction in the camera. The camera can then initiate appropriate countermeasures, for example reset itself.

Gemäß einer weiteren möglichen Ausgestaltung des erfindungsgemäßen Verfahrens kann eine Mehrfachübertragung eines bestimmten Kamerabildes oder einer bestimmten Kamerabildsequenz innerhalb von bestimmten Toleranzkriterien toleriert werden. Solche Toleranzkriterien können beispielsweise bestimmte Zeiträume umfassen, sodass die Anzeige der Kamerabilder bei nur lediglich kurzfristigen Fehlern, die keinen Einfluss auf die Sicherheit der Insassen des Kraftfahrzeuges oder der Umgebung des Kraftfahrzeugs darstellen, nicht deaktiviert wird.According to a further possible embodiment of the method according to the invention, a multiple transmission of a specific camera image or a specific camera image sequence within certain tolerance criteria can be tolerated. Such tolerance criteria may include, for example, certain periods of time, so that the display of the camera images is not deactivated with only short-term errors that do not affect the safety of the occupants of the motor vehicle or the environment of the motor vehicle.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung kann der Zähler eine Zählbreite von 4 Bit haben. Es wurde festgestellt, dass sich mit einer Zählbreite von 4 Bit ausreichend lange Zeiträume abdecken lassen können. Der Zähler kann also nach Ausschöpfen des Zählraums, der von 4 Bit gegeben wird, von vorne starten. In anderen Ausgestaltungen kann der Zähler auch eine Zählbreite von 3 Bit oder von 5 Bit haben. Die Zählbreite wird bestimmt von der Aktualisierungsfrequenz der Kamerabilder und der maximal zulässigen Latenzzeiten.According to another possible embodiment of the invention, the counter may have a count width of 4 bits. It was found that sufficiently long periods of time can be covered with a 4-bit counting width. The counter can therefore start again after the counting space, which is given by 4 bits, is exhausted. In other embodiments, the counter may also have a count width of 3 bits or 5 bits. The count width is determined by the update frequency of the camera images and the maximum allowable latencies.

Gemäß einer weiteren möglichen Ausgestaltung des erfindungsgemäßen Verfahrens können mehrere Kameras vorgesehen sein, die Kamerabilder zu der Anzeigevorrichtung senden, wobei die Überprüfung von Signatur und/oder Zähler für jede Kamera erfolgt. So können beispielsweise zur Anzeige eines Rundumblicks um das Kraftfahrzeug herum mehrere Kameras vorgesehen sein, deren Bilder alle sicherheitsrelevant sind. Die Wiederholung der Verfahren für mehrere Kamerabilder ermöglicht also den Einsatz auch bei Systemen, die mehrere Kamerabilder gleichzeitig anzeigen oder zu einem gemeinsamen Bild kombinieren.According to a further possible embodiment of the method according to the invention, a plurality of cameras can be provided, which send camera images to the display device, the signature and / or counter being checked for each camera. Thus, for example, to display an all-round view around the motor vehicle, several cameras can be provided, the images of which are all relevant to safety. The repetition of the procedures for multiple camera images thus makes it possible to use even in systems that display several camera images simultaneously or combine them into a common image.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung können Signatur und/oder Zähler in festgelegten Bildbereichen angeordnet sein. Dann reicht es zur Implementierung des erfindungsgemäßen Verfahrens, dass die Anzeigevorrichtung in den an sie übermittelten Kamerabildern in den festgelegten Bereichen nach dem Vorhandensein von Signatur und/oder Zähler sucht.According to another possible embodiment of the invention, signature and / or counter can be arranged in defined image areas. Then it is sufficient to implement the method according to the invention that the display device searches in the specified camera areas in the specified areas for the presence of signature and / or counter.

Die Erfindung wird anhand eines Ausführungsbeispiels erläutert. Dabei zeigen schematisch:The invention will be explained with reference to an embodiment. Here are shown schematically:

1 ein Kraftfahrzeug mit einer Anzeigevorrichtung und drei Kameras; 1 a motor vehicle with a display device and three cameras;

2 ein Kamerabild, wie es in der vorliegenden Erfindung verwendet werden kann; 2 a camera image as may be used in the present invention;

3 eine Kamera zum Einsatz für das erfindungsgemäße Verfahren sowie 3 a camera for use in the inventive method and

4 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. 4 a flow diagram of the method according to the invention.

1 zeigt ein Kraftfahrzeug 2 mit einer in einem Innenraum des Kraftfahrzeugs 2 angeordneten Anzeigevorrichtung 4 sowie drei nach hinten gerichtete Kameras 6, 8, 10. 1 shows a motor vehicle 2 with one in an interior of the motor vehicle 2 arranged display device 4 and three rear-facing cameras 6 . 8th . 10 ,

Die Kameras 6 bis 10 übertragen Bilder von der Rückseite des Kraftfahrzeugs 2 an die Anzeigevorrichtung 4. Die Bilder werden insbesondere bei einer Rückwärtsfahrt des Kraftfahrzeuges 2 übertragen. Eine korrekte Übertragung der Bilder der Kameras 6, 8, 10 ist daher entscheidend für die Sicherheit des Einsatzes der Kameras 6, 8, 10 zu Zwecken der Rückwärtsfahrt. Da ein Fahrer des Kraftfahrzeugs 2 beim Blick auf die Anzeigevorrichtung 4 zwangsläufig nicht direkt nach hinten schauen kann, ist es von hoher Wichtigkeit, dass die Kamerabilder stets aktuell sind und ohne merkliche Latenz angezeigt werden. Störungen der Übertragung der Kamerabilder von den Kameras 6, 8, 10 könnten Sicherheitsrisiken verursachen, da sich der Fahrer in der Regel auf die Aktualität der angezeigten Kamerabilder verlässt.The cameras 6 to 10 Transfer images from the back of the vehicle 2 to the display device 4 , The images are especially during a reverse drive of the motor vehicle 2 transfer. A correct transfer of the images of the cameras 6 . 8th . 10 is therefore crucial for the safety of the use of the cameras 6 . 8th . 10 for purposes of reversing. As a driver of the motor vehicle 2 looking at the display device 4 inevitably can not look directly backwards, it is of high importance that the camera images are always up to date and displayed without noticeable latency. Disturbance of transmission of camera images from the cameras 6 . 8th . 10 could cause safety risks, as the driver usually relies on the actuality of the displayed camera images.

Im Rahmen der vorliegenden Erfindung wird daher das Kamerabild der Kameras 6, 8, 10 kameraseitig durch Einprägen einer Signatur sowie eines Zählers in das Kamerabild verändert, wobei Signatur und Zähler von der Anzeigevorrichtung 4 dazu verwendet werden, zunächst die Bilder der Kameras 6, 8, 10 als sicherheitsrelevant zu erkennen und dann durch Überprüfung des Zählers bei fortlaufenden Kamerabildern sicherzustellen, dass stets fortlaufende Kamerabilder zu der Anzeigevorrichtung 4 übertragen werden und diese nicht eingefroren sind. Eingefrorene Kamerabilder lassen sich in Sprüngen in den Zählern erkennen.In the context of the present invention, therefore, the camera image of the cameras 6 . 8th . 10 camera side changed by impressing a signature and a counter in the camera image, where signature and counter of the display device 4 to be used first, the pictures of the cameras 6 . 8th . 10 as safety-relevant to recognize and then by checking the counter with continuous camera images to ensure that always continuous camera images to the display device 4 be transferred and these are not frozen. Frozen camera images can be detected in jumps in the counters.

Durch die kameraseitige Einprägung und die anzeigevorrichtungsseitige Auswertung der Einprägung wird ermöglicht, dass die Anzeigevorrichtung 4 die Sicherheitsrelevanz des Bildes autark erkennen kann. Zudem wird eine zusätzliche Übertragungsstrecke überflüssig. Eine Redundanz ist nicht unbedingt erforderlich, denn, wenn ein sicherheitsrelevantes Bild nicht oder nicht korrekt übertragen wird, sollte es nicht angezeigt werden. Dies wird dann aber durch die Anzeigevorrichtung identifiziert und eine Anzeige von nicht korrekt übertragenen Kamerabildern unterbleibt.The camera-side embossing and the display device-side evaluation of the embossing makes it possible for the display device 4 can independently recognize the security relevance of the image. In addition, an additional transmission path is unnecessary. Redundancy is not absolutely necessary, because if a safety-relevant image is not transmitted or not transmitted correctly, it should not be displayed. This is then identified by the display device and a display of incorrectly transmitted camera images is omitted.

2 zeigt symbolisch ein von einer Kamera übertragenes Kamerabild, das dem erfindungsgemäßen Verfahren entsprechend modifiziert wurde. 2 symbolically shows a camera image transmitted by a camera, which has been modified according to the method according to the invention.

Das Einprägen von Zähler und Signatur geschieht durch Veränderung der Luminanzwerte von Bildbereichen. In dem Kamerabild 12 sind zur Anzeige der Signatur vier Bereiche 14.1 bis 14.4 vorgesehen. Die Positionen der Bildbereiche 14.1 bis 14.4 der Signatur 14 sind in allen Bildern gleich. Die Bildbereiche 14.1 bis 14.4 sind je 3×3 Pixel groß, um einen Bildversatz zwischen den Kamerabildern um 1 Pixel in alle Richtungen zu tolerieren.The imprinting of counter and signature is done by changing the luminance values of image areas. In the camera picture 12 are four areas for displaying the signature 14.1 to 14.4 intended. The positions of the image areas 14.1 to 14.4 the signature 14 are the same in all pictures. The image areas 14.1 to 14.4 are each 3 × 3 pixels in size to tolerate an image offset between the camera images by 1 pixel in all directions.

Sofern die Anzeigevorrichtung 4 beim Überprüfen der entsprechenden Bereiche der Kamerabilder eine entsprechende Signatur feststellt, wird das entsprechende Kamerabild als sicherheitsrelevant gekennzeichnet.If the display device 4 When checking the corresponding areas of the camera images a corresponding signature is detected, the corresponding camera image is marked as relevant to safety.

Sofern ein Kamerabild als sicherheitsrelevant eingestuft wurde, wird ein Zähler 16 geprüft. Der Zähler 16 weist vorliegend eine Zählbreite auf, welche die üblichen Bildfrequenzen der Kameras 6, 8, 10 Latenzzeiten zuzulassen. Sobald die Anzeigevorrichtung 4 feststellt, dass der Zähler 16 nicht ordnungsgemäß abläuft, kann das Bild der Anzeigevorrichtung 4 abgeschaltet werden, sodass der Fahrer nicht in dem Glauben weiterfährt, er sehe nach wie vor ein aktuelles Bild.If a camera image has been classified as safety-relevant, a counter will be generated 16 checked. The counter 16 In this case, it has a counting width, which is the usual image frequencies of the cameras 6 . 8th . 10 Allow latency. Once the display device 4 determines that the counter 16 does not run properly, the image of the display device 4 shut down so that the driver does not continue in the belief that he still sees a current picture.

3 zeigt die Kamera 6 und das Verfahren zur Einprägung von Signatur 14 und Zähler 16. 3 shows the camera 6 and the method of embossing signature 14 and counters 16 ,

Die Kamera 6 nimmt mit einem Sensor 17 ein Kamerabild auf, das an eine Kamerasteuerung 18 weitergegeben wird. In der Kamerasteuerung 18 werden die entsprechenden Bildbereiche für den Zähler 16 und die Signatur 14 verändert. Die Signatur 14 kann dabei statisch bleiben, der Zähler 16 wird fortlaufend mit einer entsprechenden Bittiefe verändert. Das veränderte Kamerabild wird an einen Puffer 20 weiter übermittelt, von dem aus des über einen Ausgang 22 an eine Anzeigevorrichtung 4 gesandt wird.The camera 6 takes with a sensor 17 a camera image that is attached to a camera control 18 is passed on. In the camera control 18 become the corresponding image areas for the counter 16 and the signature 14 changed. The signature 14 can remain static, the counter 16 is changed continuously with a corresponding bit depth. The changed camera image is sent to a buffer 20 forwarded from the of the via an output 22 to a display device 4 is sent.

Dabei führt die Komponente 20a Videosignale der Kamera zusammen und fügt Grafiken hinzu, welche ein oder mehrere Puffer für Kamerabilder enthalten können.The component leads 20a Video signals from the camera together and adds graphics, which may contain one or more buffers for camera images.

Die Komponente 20b schaltet, rmischt oder integriert Unterhaltungs-/Infotainment-Grafiken und Assistenzbilder der Kamera, welche ein oder mehrere Puffer für Kamerabilder enthalten können.The component 20b Switches, mixes or integrates entertainment / infotainment graphics and assistant images of the camera, which may include one or more buffers for camera images.

4 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. 4 shows a flowchart of the method according to the invention.

In einem ersten Schritt wird ein Kamerabild 12 aufgenommen. Dem Kamerabild 12 werden Signatur 14 und Zähler 16 aufgeprägt.In a first step, a camera image 12 added. The camera picture 12 become signature 14 and counters 16 impressed.

In einem nächsten Schritt wird das Bild an die Anzeigevorrichtung 4 gesendet.In a next step, the image is applied to the display device 4 Posted.

Die Anzeigevorrichtung 4 überprüft anschließend das Vorhandensein der Signatur 14. Wird eine solche Signatur nicht gefunden, wird das Bild angezeigt.The display device 4 then checks the presence of the signature 14 , If such a signature is not found, the image is displayed.

Wird die Signatur mit hinreichender Wahrscheinlichkeit gefunden, insbesondere wenn diese zu zumindest 75% erkannt wurde, wird das Bild als sicherheitsrelevant eingestuft und in einem nächsten Schritt der Zähler 16 geprüft und überwacht.If the signature is found with sufficient probability, in particular if it has been recognized to be at least 75%, the image is classified as security-relevant and in a next step the counter 16 tested and monitored.

Läuft der Zähler korrekt, wird das Bild auf der Anzeigevorrichtung 4 angezeigt.If the counter runs correctly, the image will be displayed on the display 4 displayed.

Wird der Zähler 16 nicht korrekt erkannt, so wird eine Anzeige des Bildes auf der Anzeigevorrichtung 4 abgeschaltet.Will the counter 16 not correctly recognized, then a display of the image on the display device 4 off.

Anzeigeseitig wird dabei nicht ausschließlich auf eine korrekte Folge von Zählwerten, sondern geprüft, sondern es kann auch nur auf eine ausreichende Anzahl an Änderungen des Zählwertes geprüft werden.On the display side is not only checked for a correct sequence of counts, but tested, but it can also be checked only on a sufficient number of changes in the count value.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

22
Kraftfahrzeugmotor vehicle
44
Anzeigevorrichtungdisplay device
6, 8, 106, 8, 10
Kameracamera
1212
Kamerabildcamera image
1414
Signatursignature
14.1–14-414.1-14-4
Bildbereicheimage areas
1616
Zählercounter
1717
Kamerasensorcamera sensor
1818
Kamerasteuerungcamera control
2020
Pufferbuffer
2222
Ausgangoutput

Claims (10)

Verfahren zur Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern (12) einer an einem Kraftfahrzeug (2) angeordneten Kamera (6, 8, 10) zu einer im Kraftfahrzeug (2) angeordneten Anzeigevorrichtung (4), dadurch gekennzeichnet, dass von der Kamera (6, 8, 10) zur Anzeigevorrichtung (4) zu übertragenden Kamerabildern (12) kameraseitig ein laufender Zähler (16) eingeprägt wird, wobei die derart veränderten Kamerabilder (12) zur Anzeigevorrichtung (4) übertragen werden, wobei der fortlaufende Zähler (16) anzeigevorrichtungsseitig überprüft wird, wobei bei Feststellen eines nicht korrekt fortlaufenden Zählers (16) innerhalb einer bestimmten Anzahl von Kamerabildern (12) die Anzeige der Kamerabilder (12) auf der Anzeigevorrichtung (4) unterlassen wird.Method for securing the transmission of safety-related camera images ( 12 ) one on a motor vehicle ( 2 ) arranged camera ( 6 . 8th . 10 ) to one in the motor vehicle ( 2 ) arranged display device ( 4 ), characterized in that from the camera ( 6 . 8th . 10 ) to the display device ( 4 ) to be transmitted camera images ( 12 ) on the camera side a running counter ( 16 ) is impressed, whereby the thus changed camera images ( 12 ) to the display device ( 4 ), the continuous counter ( 16 ) is checked on the display device side, whereby upon detection of an incorrectly running counter ( 16 ) within a certain number of camera images ( 12 ) the display of the camera images ( 12 ) on the display device ( 4 ) is omitted. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass einem von der Kamera (6, 8, 10) zur Anzeigevorrichtung (4) zu übertragenden sicherheitsrelevanten Kamerabild (12) kameraseitig eine Signatur (14) eingeprägt wird, das derart signierte Kamerabild (12) zur Anzeigevorrichtung (4) übertragen wird, wobei anzeigevorrichtungsseitig die Signatur (14) überprüft wird, wobei das Bild bei Erkennung der Signatur (14) als sicherheitsrelevant eingestuft wird und wobei anschließend die Überprüfung des Fortlaufens des Zählers (16) durchgeführt wird.Method according to claim 1, characterized in that one of the camera ( 6 . 8th . 10 ) to the display device ( 4 ) to be transmitted security-relevant camera image ( 12 ) on the camera side a signature ( 14 ), the thus signed camera image ( 12 ) to the display device ( 4 ), the indicator being the signature ( 14 ), where the image is detected when the signature ( 14 ) is classified as safety-relevant, and subsequently checking the continuation of the counter ( 16 ) is carried out. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Kamerabild (12) als sicherheitsrelevant eingestuft wird, wenn die Signatur zu 50% oder mehr, insbesondere zu 75% oder mehr erkannt wird.Method according to claim 2, characterized in that the camera image ( 12 ) is classified as security-relevant if the signature is recognized to be 50% or more, in particular 75% or more. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Signatur (14) und/oder der Zähler im Kamerabild (12) verteilt sind.Method according to one of the preceding claims, characterized in that the Signature ( 14 ) and / or the counter in the camera image ( 12 ) are distributed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Signatur (14) und/oder Zähler (16) robust gegen Bildversatz gestaltet sind.Method according to one of the preceding claims, characterized in that signature ( 14 ) and / or counters ( 16 ) are designed robust against image offset. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass Signatur (14) und/oder Zähler (16) durch Luminanzänderung implementiert sind.Method according to one of the preceding claims, characterized in that signature ( 14 ) and / or counters ( 16 ) are implemented by luminance change. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass die Anzeigevorrichtung (4) bei Feststellen eines nicht fortlaufenden Zählers (16) eine Nachricht an die Kamera (6, 8, 10) sendet.Method according to one of the preceding claims, characterized in that the display device ( 4 ) upon detection of a non-consecutive counter ( 16 ) a message to the camera ( 6 . 8th . 10 ) sends. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Mehrfachübertragung eines bestimmten Kamerabildes (12) innerhalb festgelegter Kriterien toleriert wird.Method according to one of the preceding claims, characterized in that a multiple transmission of a specific camera image ( 12 ) is tolerated within specified criteria. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Zähler (16) eine Zählbreite von 4 Bit hat.Method according to one of the preceding claims, characterized in that the counter ( 16 ) has a count width of 4 bits. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mehrere Kameras (6, 8, 10) vorgesehen sind, die Kamerabilder (12) zu der Anzeigevorrichtung (4) senden, wobei die Überprüfung von Signatur (14) und/oder Zähler (16) für jede Kamera (6, 8, 10) erfolgt.Method according to one of the preceding claims, characterized in that a plurality of cameras ( 6 . 8th . 10 ), the camera images ( 12 ) to the display device ( 4 ), whereby the verification of signature ( 14 ) and / or counters ( 16 ) for each camera ( 6 . 8th . 10 ) he follows.
DE201410008808 2014-06-11 2014-06-11 Method for securing the transmission of safety-related camera images Withdrawn DE102014008808A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201410008808 DE102014008808A1 (en) 2014-06-11 2014-06-11 Method for securing the transmission of safety-related camera images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201410008808 DE102014008808A1 (en) 2014-06-11 2014-06-11 Method for securing the transmission of safety-related camera images

Publications (1)

Publication Number Publication Date
DE102014008808A1 true DE102014008808A1 (en) 2014-11-27

Family

ID=51863287

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201410008808 Withdrawn DE102014008808A1 (en) 2014-06-11 2014-06-11 Method for securing the transmission of safety-related camera images

Country Status (1)

Country Link
DE (1) DE102014008808A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015014190A1 (en) 2015-11-03 2016-05-25 Daimler Ag Method for securing a transmission of safety-related camera images
EP3319315A1 (en) * 2016-11-07 2018-05-09 TB-Traxler GmbH Method for importing and processing video images in real-time
WO2019096541A1 (en) * 2017-11-14 2019-05-23 Robert Bosch Gmbh Test method for a camera system, control unit of the camera system, camera system, and vehicle having such a camera system
WO2021073938A1 (en) * 2019-10-17 2021-04-22 Continental Automotive Gmbh Method and apparatus for outputting, by means of an output module, representations of conditions relevant to the safe operation of a vehicle
US11881054B2 (en) * 2019-07-03 2024-01-23 Mercedes-Benz Group AG Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
DE102022211267A1 (en) 2022-10-24 2024-04-25 Volkswagen Aktiengesellschaft Method and system for a motor vehicle for checking the timeliness of an image of a vehicle environment of the motor vehicle by means of a digital stamp

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015014190A1 (en) 2015-11-03 2016-05-25 Daimler Ag Method for securing a transmission of safety-related camera images
EP3319315A1 (en) * 2016-11-07 2018-05-09 TB-Traxler GmbH Method for importing and processing video images in real-time
WO2019096541A1 (en) * 2017-11-14 2019-05-23 Robert Bosch Gmbh Test method for a camera system, control unit of the camera system, camera system, and vehicle having such a camera system
US11240489B2 (en) 2017-11-14 2022-02-01 Robert Bosch Gmbh Testing method for a camera system, a control unit of the camera system, the camera system, and a vehicle having this camera system
US11881054B2 (en) * 2019-07-03 2024-01-23 Mercedes-Benz Group AG Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
WO2021073938A1 (en) * 2019-10-17 2021-04-22 Continental Automotive Gmbh Method and apparatus for outputting, by means of an output module, representations of conditions relevant to the safe operation of a vehicle
DE102022211267A1 (en) 2022-10-24 2024-04-25 Volkswagen Aktiengesellschaft Method and system for a motor vehicle for checking the timeliness of an image of a vehicle environment of the motor vehicle by means of a digital stamp

Similar Documents

Publication Publication Date Title
DE102014008808A1 (en) Method for securing the transmission of safety-related camera images
EP2040957B1 (en) Method and device for checking the plausibility of measured values in the surroundings of a motor vehicle
DE102013215756B4 (en) Device for monitoring the functionality of a transmission link, in particular a camera
DE102015104934A1 (en) Method for providing free space information in a surrounding area of a motor vehicle as sensor raw data at a communication interface, sensor device, processing device and motor vehicle
DE102010002119A1 (en) Exterior image surveillance system and vehicle with same
EP3067873A1 (en) Method for simultaneously representing safety critical and non-safety critical information and display device
DE102019103963A1 (en) ILDGEBUNGSVORRICHTUNG
DE102012218320A1 (en) Digital display device for motor vehicle, has optical reading device for determining display value indicated on display device, and for transmitting display value to one micro-controller
EP3833575A1 (en) Camera monitoring system
DE102015111773A1 (en) Vehicle camera system with live video display
DE102014214667A1 (en) Display dynamic security-related three-dimensional content on a display device
EP3571085B1 (en) Method and device for displaying a notification for a user and working device
DE102013016356A1 (en) Method for using a camera system of a motor vehicle as an anti-theft alarm, camera system and motor vehicle
DE102007058164B4 (en) Monitoring device for monitoring a display device
DE102015014190A1 (en) Method for securing a transmission of safety-related camera images
EP3283320B1 (en) Method and device for monitoring a display content
DE102015207354A1 (en) User interface, means of locomotion, medical device and method for displaying an indication to a user
DE102019202862B4 (en) Device for providing image data
DE102018203951A1 (en) Method for representing an environmental region of a motor vehicle of a vehicle convoy, and driver assistance system
DE102021116678A1 (en) Motor vehicle with a digital projection unit and method for operating a motor vehicle
DE102016103037A1 (en) Method for checking the functionality of a camera-monitor system, camera-monitor system and motor vehicle
DE102018125790A1 (en) Device for the validatable output of images
DE102015012889A1 (en) Display device and method for checking display contents
DE102020215885A1 (en) PROCEDURE AND SYSTEM FOR DETECTING AND MITIGATION OF INTERFERENCE
DE102010026392A1 (en) Procedure for the safe parameterization of a safety device

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: NICKE, PETER, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: WILTSCHKO, TILO, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: KOEHNLEIN, JENS, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: NOTHACKER, TILO, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: WILTSCHKO, THOMAS, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R081 Change of applicant/patentee

Owner name: WILTSCHKO, THOMAS, DE

Free format text: FORMER OWNERS: KOEHNLEIN, JENS, 70374 STUTTGART, DE; NICKE, PETER, 71032 BOEBLINGEN, DE; NOTHACKER, TILO, 75391 GECHINGEN, DE; WILTSCHKO, TILO, 73550 WALDSTETTEN, DE

Owner name: KOEHNLEIN, JENS, DE

Free format text: FORMER OWNERS: KOEHNLEIN, JENS, 70374 STUTTGART, DE; NICKE, PETER, 71032 BOEBLINGEN, DE; NOTHACKER, TILO, 75391 GECHINGEN, DE; WILTSCHKO, TILO, 73550 WALDSTETTEN, DE

Owner name: NOTHACKER, TILO, DE

Free format text: FORMER OWNERS: KOEHNLEIN, JENS, 70374 STUTTGART, DE; NICKE, PETER, 71032 BOEBLINGEN, DE; NOTHACKER, TILO, 75391 GECHINGEN, DE; WILTSCHKO, TILO, 73550 WALDSTETTEN, DE

Owner name: NICKE, PETER, DE

Free format text: FORMER OWNERS: KOEHNLEIN, JENS, 70374 STUTTGART, DE; NICKE, PETER, 71032 BOEBLINGEN, DE; NOTHACKER, TILO, 75391 GECHINGEN, DE; WILTSCHKO, TILO, 73550 WALDSTETTEN, DE

R005 Application deemed withdrawn due to failure to request examination