EP3899915A1 - Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium - Google Patents

Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium

Info

Publication number
EP3899915A1
EP3899915A1 EP19824260.4A EP19824260A EP3899915A1 EP 3899915 A1 EP3899915 A1 EP 3899915A1 EP 19824260 A EP19824260 A EP 19824260A EP 3899915 A1 EP3899915 A1 EP 3899915A1
Authority
EP
European Patent Office
Prior art keywords
image data
comparison
probability value
display unit
cross correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19824260.4A
Other languages
German (de)
French (fr)
Inventor
Torsten Lahr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of EP3899915A1 publication Critical patent/EP3899915A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the invention relates to a method for validating transmitted image data, in particular in a motor vehicle, and a display unit.
  • the invention relates to the reliable display of safety-relevant information on a display unit.
  • the invention further relates to a computer program and a computer-readable storage medium.
  • a CRC (cyclic redundancy check) actual checksum is calculated over a defined image area to detect warning symbols. This checksum is then compared with a calculated target checksum. If there is an exact match, the symbol is recognized.
  • EP 2273369 B1 discloses a method for the safe display of security-relevant information, comprising: inputting at least one input variable into a computer unit, computer processing of the input variable in the computer unit to an image data sequence representing the input variable, forwarding the image data sequence to a display unit and displaying the image data sequence on the display unit, supplying the image data sequence to a test unit and performing a security check by computationally creating a test code for the image data sequence, comparing the test code with several comparison codes present in the test unit, Assigning the comparison code determined in this way to a corresponding possible value of the input variable and comparing it with the value of the input variable to form either a positive or negative test result in the test unit to initiate a safety-related reaction.
  • a precalculated CRC checksum is used as the comparison code.
  • DE 102007048608 A1 discloses a method for checking the validity of display signals, the display signals being generated from image data of a predetermined image, a defined range of image data being determined from the display signals, a test value being formed from the image data ascertained, wherein the determined test value is compared with a stored test value for the corresponding image and the validity of the display signals is only determined if the determined and the stored test value match.
  • This object is achieved by specifying a method for validating image data with the features of claim 1. Furthermore, the object is achieved by specifying a display unit with the features of claim 9. In addition, the object is achieved by specifying a vehicle with the characteristics of claim 11, by specifying a computer program with the characteristics of claim 12 and the Specification of a computer-readable storage medium with the features of claim 13.
  • the task is solved by specifying a method for validating transmitted image data with the steps:
  • the display unit can in particular be understood as the display unit of a vehicle. This can be the display of an entertainment system, for example.
  • the generation of the image data and transmission can be provided, for example, in a processor of the vehicle and / or in a control unit.
  • the comparison unit can be an electronic unit which is designed to receive image data and to compare it with reference image data.
  • image data can be understood to mean pixels which can be represented on the display unit.
  • the pixels can be divided into subpixels / light pixels, each of which has, for example, one of the three additive primary colors red, green and blue (RGB system).
  • RGB system red, green and blue
  • the image data thus preferably comprise regulations on how the individual pixel is to be represented.
  • image data includes information for the display device, which enables it to visually display the image data.
  • the image data can be information for the display of a warning symbol / symbol or a signature or a note (for example a tank symbol) or it can represent weather information (be careful snowfall).
  • the limit probability value can be set by the manufacturer, for example.
  • the expression “above a provided, predetermined limit probability value” can also include “equal to a provided, specified limit probability value”.
  • the transmission of data can be wired or wireless.
  • the method mentioned here tolerates minor transmission errors and changes in the image data through signal processing. Even with lossy compression to reduce the transmission bandwidth, reliable detection of the image data is still guaranteed. By checking a larger monitoring area, a slight shift of the symbols / sig natures can be tolerated.
  • the method can ignore minor errors in the image data as long as the image data is still recognizable.
  • the method is independent of a position change, e.g. by calibrating the image data to form a mechanical frame.
  • the image data is recognized regardless of the background as long as it is clearly different from it.
  • the image data is reliably discovered by the process. A premature replacement reaction, for example switching off the display unit, is avoided.
  • the method is preferably suitable for use in a motor vehicle.
  • the cross correlation is preferably designed as a normalized cross correlation or a non-normal cross correlation or a feature-based cross correlation or a pixel-based cross correlation.
  • a characteristic feature is added to the image data. This makes it easier to check the transmitted image data.
  • the image data are preferably formed as an identifier.
  • the identifier camera data (image), which are recorded by a sensor, is preferably added.
  • the identifier can be a clear, invisible pattern, for example a digital fingerprint (digital footprint) in the form of a checksum or other clear marking, which is added, for example, camera data / video data recorded by a sensor.
  • the image data are then checked for the presence of the identifier, for example the checksum, by means of cross correlation.
  • the camera data / video data shown on the display unit can be monitored for freezing by introducing the identifier, in particular in front of preferably alternating or changing identifiers at the same position.
  • the limit probability value is preferably weighted in relation to various image data. For example, a higher limit probability value can be provided for image data which represent warning notices for driving safety than for less safety-relevant warning notices.
  • the substitute reaction preferably comprises completely or partially switching off the display unit.
  • the replacement reaction comprises displaying an error message on the display unit and / or outputting a signal and / or text information.
  • the shutdown can be a shutdown of the lighting of the display unit and / or an end of the display of the image data on the display unit.
  • the display unit can also be reset. This can also be an audible error message at the same time or alternatively, for example a warning tone.
  • the object is further achieved by specifying a display unit comprising a comparison unit which is designed to compare transmitted image data with reference image data as to whether the reference image data is present in the transmitted image data, the comparison unit being designed to carry out the comparison by means of cross-correlation and using the To create a comparison probability value, the display unit being designed to display the transmitted image data when the comparison probability value lies above a provided, predetermined limit probability value and to output a replacement reaction when the comparison probability value is below the provided, predetermined limit probability value.
  • the display unit is designed to carry out the method described above.
  • the invention relates to a vehicle with a display unit as described above.
  • the vehicle is advantageously formed as a passenger car.
  • the object is further achieved by specifying a computer program comprising commands which cause the display unit as described above to carry out the method as described above. Furthermore, the object is achieved by specifying a computer-readable storage medium on which the computer program as described above is stored. The method can thus also be installed subsequently, for example in a vehicle.
  • the invention thus provides a method, a display unit, a vehicle, a computer program and a computer-readable storage medium for validating transmitted image data, in which the transmitted image data can be represented reliably and robustly, and an early replacement reaction can be avoided.
  • the displayed content can be symbols, barcodes, finger pints, characters etc.
  • FIG. 1 shows a flowchart of a method according to the invention in a first embodiment
  • FIG. 4 shows a vehicle according to the invention.
  • Image data are selected in a first step S1 by a control unit 4 (FIG. 4) in a driver assistance system 3 (FIG. 4).
  • the image data are assigned to pixels of a display unit 2 (FIG. 4).
  • the pixels can be divided into subpixels / light pixels, each of which has one of the three additive primary colors red, green and blue (RGB system).
  • RGB system the three additive primary colors red, green and blue
  • the color components red, green and blue are saved separately for each pixel.
  • the proportion of red, green and blue determines the final color.
  • Other representations are also possible.
  • image data thus include regulations on how the individual pixel is to be represented.
  • image data include information for the display device, which enables it to visually display the image data.
  • the image data can be information for the display of a warning symbol / symbol or a signature or a note (for example a tank symbol) or it can represent weather information (be careful snowfall).
  • a comparison unit 5 (FIG. 4), which comprises, for example, a graphics chip.
  • This transmission can be accomplished wirelessly or by means of a cable connection.
  • a wireless transmission can include, for example, WiFi, Bluetooth or infrared transmission.
  • camera image data can also be provided for display (for example a street map) or a surrounding image, these camera image data also being converted into pixels for display on the display unit 2 (FIG. 4).
  • the transmitted image data are then to be displayed with this camera image data on the display unit 2 (FIG. 4).
  • the transmitted image data can also be displayed alone.
  • a third step S3 the image data transmitted to the display unit 2 (FIG. 4) are compared with stored reference image data.
  • a comparison unit 5 (FIG. 4), which can be integrated in particular in the display unit 2 (FIG. 4).
  • the image segment area in which the transmitted image data lie is extracted from the received data stream.
  • the transmitted image data that are in the image segment to be examined are range are compared with the reference image data by means of a cross correlation (method).
  • the stored reference image data can be stored in the display unit 2 (FIG. 4).
  • the stored reference image data can include a small selection of the actual image data, which preferably represent fixed points on the display unit 2 (FIG. 4).
  • the cross correlation evaluates the difference between the reference image data and the transmitted image data.
  • the advantage of cross-correlation over other methods is the easy-to-implement algorithm.
  • Cross correlations are robust to light disturbances such as B. Noise.
  • the cross correlation can be calculated, for example, using the Fourier transformation.
  • Cross-correlation is also to be understood as a cross-correlation method, such as binary pixel-based cross-correlation, or a cross-correlation based on feature lists. The latter is characterized by its speed; low noise provided. A non-normalized cross correlation can also be used. This is characterized by reduced computing effort and less storage effort.
  • the standardized cross-correlation is also suitable for the real-time method.
  • a comparison probability value can now be determined on the basis of the cross-correlation carried out as a result of the comparison, with which probability the reference image data are present in the transmitted image data.
  • a fifth step S5 the comparison probability value determined in this way is compared with a predetermined limit probability value.
  • a sixth step S6 if the comparison probability value is higher than the limit probability value, the transmitted image data are displayed on the display unit 2 (FIG. 4). Higher can also mean that the comparison probability value is equal to the limit probability value. Alternatively, this is not included.
  • the limit probability value can also be set weighted. For example, a higher limit probability value can be provided for image data that represent warning notices for driving safety, for example “Caution smoothness”, than for less safety-relevant warning notices.
  • a substitute reaction is initiated. Such can be, for example, switching off the display unit 2 (FIG. 4), which is usually a display of an entertainment system, or displaying a central error warning or overlaying the checked, transmitted image data with the reference image data.
  • the process can tolerate minor changes, such as a different coloring or a different font size, and does not lead to an error alarm.
  • An image memory can thus be dispensed with, for example.
  • the process tolerates minor transmission errors and changes in the image data due to signal processing. Even with lossy compression to reduce the transmission bandwidth, reliable detection of symbols / signatures is still guaranteed. By checking a larger monitoring area, a slight shift of the symbols / signatures can be tolerated.
  • image data are selected in a first step A1 by the control unit 4 (FIG. 4) in the driver assistance system 3 (FIG. 4).
  • a comparison unit 5 (FIG. 4), which for example comprises a graphics chip.
  • a characteristic feature is supplied to the transmitted image data.
  • the reference image data is formed based on this characteristic. Several or different characteristic features can also be inserted.
  • a fourth step A4 the cross-correlation is used to compare the image data transmitted to the display unit 2 (FIG. 4) with the stored reference image data, and to check for the presence of the characteristic feature.
  • the cross correlation can be more efficient and effective with regard to the cha- characteristic feature can be performed. This can also reduce the computing power required.
  • the cross-correlation can be used to determine the comparison probability value as the result of the comparison, with which probability the reference image data with the characteristic feature are present in the transmitted image data with the characteristic feature.
  • a sixth step A6 the comparison probability value determined in this way is compared with a predetermined limit probability value.
  • a seventh step A7 if the comparison probability value is higher than the limit probability value, the transmitted image data with the characteristic feature are displayed on the display unit 2 (FIG. 4).
  • step A8 if the comparison probability value is lower than the limit probability value, a substitute reaction is initiated.
  • the image data are shown as identifier 6.
  • the identifier 6 is preferably formed as identifier data.
  • Camera data which can also be video data and is therefore referred to below as camera data / ideo data, has been recorded here by a camera, for example a sensor. These can represent a camera image / video image, for example of a vehicle environment. Before preferably camera data streams / video data streams are recorded, which represent a sequence of camera / video images. Camera data / ideo data means any data recorded by, for example, a sensor.
  • the identifier 6 is added to the camera data / ideo data.
  • 3 shows the camera data shown on the display unit 2 with the identifier 6.
  • the identifier 6 can be a clear, invisible pattern, for example a digital fingerprint, which is added to the camera data / ideo data.
  • the identifier 6 can be inserted by computer-assisted steganography, so that preferably a user does not notice the identifier 6.
  • the identifier 6 can, however also be an easily identifiable barcode, character, symbol or lettering. Other configurations are also possible.
  • the camera data A / ideo data to be displayed which are transmitted to the display unit 2, are checked with the identifier 6 by means of cross correlation for the presence of the identifier 6.
  • the comparison probability value is created on the basis of the comparison as to whether the identifier 6 is present in the transmitted camera data / video data.
  • the transmitted camera data / video data are displayed on a display unit 2.
  • the camera data / video data shown on the display unit 2 can be monitored for freezing.
  • the camera data / video data shown on the display unit 2 are evaluated as frozen and a replacement reaction, for example a warning symbol on the display unit 2 or a switching off of the display unit 2, is initiated.
  • a replacement reaction for example a warning symbol on the display unit 2 or a switching off of the display unit 2
  • the source from which the camera data / video data originate can be determined.
  • the identifier 6 can be supplied to the camera data / ideo data by means of an identification device.
  • the 4 shows a vehicle 1 with the display unit 2 according to the invention.
  • the vehicle 1 is in particular designed as a passenger vehicle.
  • the display unit 2 can be integrated in a driver assistance system 3.
  • the display unit 2 can be designed as a display.
  • the display unit 2 also includes a comparison unit 5.
  • the vehicle 1 further comprises a control unit 4, which transmits the corresponding warning symbol in image data to the comparison unit 5, for example in the event of a malfunction of the vehicle operation, for example due to a failed component.
  • the control unit 4 can also be integrated in the driver assistance system 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for validating transmitted image data, comprising the steps: providing image data and transmitting the image data to a display unit (2); providing reference image data; comparing the transmitted image data to the reference image data by means of a cross-correlation in a comparison unit (5), whether the reference image data are present in the transmitted image data; creating a comparison probability value based on the comparison; displaying the transmitted image data on the display unit (2) if the comparison probability value is above a provided, predefined limit probability value; outputting a substitute response if the comparison probability value is below the provided, predefined limit probability value. The invention further relates to an apparatus, to a computer program, and to a computer-readable storage medium.

Description

Beschreibung description
Verfahren zur Validierung von Umfeldbilddaten, Vorrichtung, Computerprogramm und computerlesbares Speichermedium Method for validating environment image data, device, computer program and computer-readable storage medium
Die Erfindung betrifft ein Verfahren zur Validierung von übermittelten Bilddaten, insbesondere in einem Kraftfahrzeug, sowie eine Anzeigeeinheit. Insbesondere betrifft die Erfindung die zuverlässige Darstellung von sicherheitstechnisch rele vanten Informationen auf einer Anzeigeeinheit. Ferner betrifft die Erfindung ein Computerprogramm und ein computerlesbares Speichermedium. The invention relates to a method for validating transmitted image data, in particular in a motor vehicle, and a display unit. In particular, the invention relates to the reliable display of safety-relevant information on a display unit. The invention further relates to a computer program and a computer-readable storage medium.
In einem Fahrzeug ist es insbesondere bei sicherheitsrelevanten Informationen, wie beispielsweise Warnsymbolen wichtig, dass die richtigen Informationen auf einem Display dargestellt werden. Hierfür sind bestimmte Normen, wie beispielsweise ISO 26262 für elektronische oder elektrische Systeme in Kraftfahrzeugen eingeführt worden. In a vehicle, it is particularly important with safety-relevant information, such as warning symbols, that the correct information is shown on a display. For this purpose, certain standards, such as ISO 26262 for electronic or electrical systems in motor vehicles, have been introduced.
Zur Erkennung von Warnsymbolen wird eine CRC (zyklische Redundanzprüfung, cyclic redundancy check) -Istprüfsumme über einen definierten Bildbereich be rechnet. Diese Checksumme wird danach mit einer berechneten Sollprüfsumme verglichen. Bei genauer Übereinstimmung gilt das Symbol als erkannt. A CRC (cyclic redundancy check) actual checksum is calculated over a defined image area to detect warning symbols. This checksum is then compared with a calculated target checksum. If there is an exact match, the symbol is recognized.
Bei diesem Verfahren muss bei minimaler Änderung bei einem zu überprüfenden Bildbereich, beispielsweise eine andere Farbdarstellung oder ein anderer Hinter grund im Bereich des Warnsymbols, eine erneute CRC-Sollprüfsumme berechnet werden, um zu vermeiden, dass die CRC-Sollprüfsumme von der CRC- Ist prüfsumme verschieden ist, und ein Fehler gemeldet wird, obwohl ein solcher gar nicht vorliegt. With this method, with a minimal change in an image area to be checked, for example a different color representation or a different background in the area of the warning symbol, a new CRC target checksum must be calculated in order to prevent the CRC target checksum from the actual CRC checksum is different, and an error is reported even though there is no such error.
Die EP 2273369 B1 offenbart ein Verfahren zur sicheren Darstellung einer si cherheitsrelevanten Information, umfassend: Eingeben mindestens einer Ein gangsgröße in eine Rechnereinheit, rechentechnisches Verarbeiten der Ein gangsgröße in der Rechnereinheit zu einer die Eingangsgröße abbildenden Bild datensequenz, Weiterleiten der Bilddatensequenz an eine Anzeigeeinheit und Darstellen der Bilddatensequenz auf der Anzeigeeinheit, Zuführung der Bildda tensequenz zu einer Prüfeinheit und Durchführen einer Sicherheitsprüfung durch rechentechnisches Erstellen eines Prüfcodes für die Bilddatensequenz, Verglei chen des Prüfcodes mit mehreren in der Prüfeinheit vorhandenen Vergleichscodes, Zuordnen des so ermittelten Vergleichscodes zu einem korrespondierenden mög lichen Wert der Eingangsgröße und dessen Vergleich mit dem Wert der Ein gangsgröße zur Bildung entweder eines positiven oder negativen Prüfergebnisses in der Prüfeinheit zur Veranlassung einer sicherheitsgerichteten Reaktion. Dabei wird als Vergleichscode eine vorberechnete CRC-Prüfsumme verwendet. EP 2273369 B1 discloses a method for the safe display of security-relevant information, comprising: inputting at least one input variable into a computer unit, computer processing of the input variable in the computer unit to an image data sequence representing the input variable, forwarding the image data sequence to a display unit and displaying the image data sequence on the display unit, supplying the image data sequence to a test unit and performing a security check by computationally creating a test code for the image data sequence, comparing the test code with several comparison codes present in the test unit, Assigning the comparison code determined in this way to a corresponding possible value of the input variable and comparing it with the value of the input variable to form either a positive or negative test result in the test unit to initiate a safety-related reaction. A precalculated CRC checksum is used as the comparison code.
Die DE 102007048608 A1 offenbart ein Verfahren zum Überprüfen einer Gültigkeit von Anzeigesignalen, wobei die Anzeigesignale aus Bilddaten eines vorgegebenen Bildes erzeugt werden, wobei ein definierter Bereich von Bilddaten aus den An zeigesignalen ermittelt wird, wobei aus den ermittelten Bilddaten ein Prüfwert ge bildet wird, wobei der ermittelte Prüfwert mit einem gespeicherten Prüfwert für das entsprechende Bild verglichen wird und wobei eine Gültigkeit der Anzeigesignale nur dann festgestellt wird, wenn der ermittelte und der gespeicherte Prüfwert übereinstimmen. DE 102007048608 A1 discloses a method for checking the validity of display signals, the display signals being generated from image data of a predetermined image, a defined range of image data being determined from the display signals, a test value being formed from the image data ascertained, wherein the determined test value is compared with a stored test value for the corresponding image and the validity of the display signals is only determined if the determined and the stored test value match.
Es ist eine Aufgabe der Erfindung, die Nachteile des Standes der Technik zu überwinden und bei, auf einer Anzeigeeinheit dargestellten, als Eingangsgröße übermittelten Bilddaten, eine Validierung zu ermöglichen. It is an object of the invention to overcome the disadvantages of the prior art and to enable validation in the case of image data displayed on a display unit and transmitted as an input variable.
Diese Aufgabe wird durch die Angabe eines Verfahrens zur Validierung von Bild daten mit den Merkmalen des Anspruchs 1 gelöst. Ferner wird die Aufgabe gelöst durch die Angabe einer Anzeigeeinheit mit den Merkmalen des Anspruchs 9. Zu dem wird die Aufgabe gelöst durch die Angabe eines Fahrzeugs mit den Merkmalen des Anspruchs 1 1 , durch die Angabe eines Computerprogramms mit den Merk malen des Anspruchs 12 und die Angabe eines computerlesbaren Speicherme diums mit den Merkmalen des Anspruchs 13. This object is achieved by specifying a method for validating image data with the features of claim 1. Furthermore, the object is achieved by specifying a display unit with the features of claim 9. In addition, the object is achieved by specifying a vehicle with the characteristics of claim 11, by specifying a computer program with the characteristics of claim 12 and the Specification of a computer-readable storage medium with the features of claim 13.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die be liebig miteinander kombiniert werden können, um weitere Vorteile zu erzielen. The subclaims list further advantageous measures which can be combined with one another in order to achieve further advantages.
Die Aufgabe wird gelöst durch die Angabe eines Verfahrens zur Validierung von übermittelten Bilddaten mit den Schritten: The task is solved by specifying a method for validating transmitted image data with the steps:
Bereitstellen von Bilddaten, und übermitteln der Bilddaten an eine Anzeige einheit, Providing image data and transmitting the image data to a display unit
Bereitstellen von Referenzbilddaten, Provision of reference image data,
- Vergleichen der übermittelten Bilddaten mit den Referenzbilddaten mittels einer Kreuzkorrelation in einer Vergleichseinheit, ob die Referenzbilddaten in den übermittelten Bilddaten vorliegen, Erstellen eines Vergleichswahrscheinlichkeitswertes anhand des Verglei ches, Comparing the transmitted image data with the reference image data by means of a cross correlation in a comparison unit as to whether the reference image data is present in the transmitted image data, Creation of a comparison probability value based on the comparison,
- Anzeigen der übermittelten Bilddaten auf der Anzeigeeinheit, wenn der Vergleichswahrscheinlichkeitswert über einem bereitgestellten, vorgege benen Grenzwahrscheinlichkeitswert liegt, Displaying the transmitted image data on the display unit if the comparison probability value lies above a provided, predetermined limit probability value,
- Ausgeben einer Ersatzreaktion, wenn der Vergleichswahrscheinlichkeitswert unter dem bereitgestellten, vorgegebenen Grenzwahrscheinlichkeitswert liegt. - Output of a replacement reaction if the comparison probability value is below the provided, predetermined limit probability value.
Unter Anzeigeeinheit kann insbesondere die Anzeigeeinheit eines Fahrzeuges verstanden werden. Dies kann beispielsweise das Display eines Entertainment systems sein. Die Erzeugung der Bilddaten und Übermittlung kann beispielsweise in einem Prozessor des Fahrzeuges und/oder in einer Steuereinheit, vorgesehen sein. Die Vergleichseinheit kann eine elektronische Einheit sein, welche dazu ausgelegt ist, Bilddaten zu empfangen und mit Referenzbilddaten zu vergleichen. The display unit can in particular be understood as the display unit of a vehicle. This can be the display of an entertainment system, for example. The generation of the image data and transmission can be provided, for example, in a processor of the vehicle and / or in a control unit. The comparison unit can be an electronic unit which is designed to receive image data and to compare it with reference image data.
Unter Bilddaten können dabei Pixel verstanden werden, welche auf der Anzeige einheit darstellbar sind. Die Pixel können in Subpixel/Leuchtpixel aufgeteilt sein, von denen jedes beispielsweise eine der drei additiven Grundfarben Rot, Grün und Blau (RGB-System) aufweist. Die Bilddaten umfassen somit vorzugsweise Vor schriften darüber, wie das einzelne Pixel darzustellen ist. Generell umfassen Bild daten Informationen für die Anzeigeeinrichtung, welche diese in die Lage versetzen, die Bilddaten visuell darzustellen. In this context, image data can be understood to mean pixels which can be represented on the display unit. The pixels can be divided into subpixels / light pixels, each of which has, for example, one of the three additive primary colors red, green and blue (RGB system). The image data thus preferably comprise regulations on how the individual pixel is to be represented. In general, image data includes information for the display device, which enables it to visually display the image data.
Die Bilddaten können Informationen für die Anzeige eines Warnsymbols/Symbols oder eine Signatur oder eines Hinweises (beispielsweise Tanksymbol) sein oder eine Wetterinformation (Vorsicht Schneefall) darstellen. The image data can be information for the display of a warning symbol / symbol or a signature or a note (for example a tank symbol) or it can represent weather information (be careful snowfall).
Der Grenzwahrscheinlichkeitswert kann beispielsweise vom Hersteller festgelegt werden. The limit probability value can be set by the manufacturer, for example.
Der Ausdruck„über einem bereitgestellten, vorgegebenen Grenzwahrscheinlich keitswert“ kann auch„gleich einem bereitgestellten, vorgegebenen Grenzwahr scheinlichkeitswert“ umfassen. The expression “above a provided, predetermined limit probability value” can also include “equal to a provided, specified limit probability value”.
Die Übermittlung von Daten kann kabelgebunden oder kabellos sein. Das hier erwähnte Verfahren toleriert geringfügige Übertragungsfehler und Ver änderungen der Bilddaten durch Signalprocessing. Auch bei verlustbehafteter Komprimierung zur Reduzierung der Übertragungsbandbreite ist eine sichere Er kennung der Bilddaten noch gewährleistet. Durch das Prüfen eines größeren Überwachungsbereichs kann eine geringfügige Verschiebung der Symbole/ Sig naturen toleriert werden. The transmission of data can be wired or wireless. The method mentioned here tolerates minor transmission errors and changes in the image data through signal processing. Even with lossy compression to reduce the transmission bandwidth, reliable detection of the image data is still guaranteed. By checking a larger monitoring area, a slight shift of the symbols / sig natures can be tolerated.
Das Verfahren kann kleinere Fehler in den Bilddaten ignorieren, solange die Bild daten noch erkennbar sind. Das Verfahren ist unabhängig von einer Positionsän derungen, die z.B. durch Kalibrierung der Bilddaten zu einem mechanischen Rahmen entstehen. Die Bilddaten werden unabhängig vom Hintergrund erkannt, solange sie sich klar von ihm unterscheiden. Die Bilddaten werden durch das Ver fahren zuverlässig entdeckt. Es wird eine vorzeitige Ersatzreaktion, beispielsweise ein Abschalten der Anzeigeeinheit vermieden. The method can ignore minor errors in the image data as long as the image data is still recognizable. The method is independent of a position change, e.g. by calibrating the image data to form a mechanical frame. The image data is recognized regardless of the background as long as it is clearly different from it. The image data is reliably discovered by the process. A premature replacement reaction, for example switching off the display unit, is avoided.
Vorzugsweise eignet sich das Verfahren zur Verwendung in einem Kraftfahrzeug. The method is preferably suitable for use in a motor vehicle.
Vorzugsweise wird die Kreuzkorrelation als eine normierte Kreuzkorrelation oder eine nichtnormale Kreuzkorrelation oder eine merkmalsbasierte Kreuzkorrelation oder eine pixelbasierte Kreuzkorrelation ausgebildet. The cross correlation is preferably designed as a normalized cross correlation or a non-normal cross correlation or a feature-based cross correlation or a pixel-based cross correlation.
In bevorzugter Ausgestaltung wird den Bilddaten ein charakteristisches Merkmal hinzugefügt. Somit lassen sich die übermittelten Bilddaten einfacher überprüfen. In a preferred embodiment, a characteristic feature is added to the image data. This makes it easier to check the transmitted image data.
Vorzugsweise werden die Bilddaten als Kennung ausgebildet. Vorzugsweise wird die Kennung Kameradaten (Bild), welche von einem Sensor aufgenommen werden, hinzugefügt. The image data are preferably formed as an identifier. The identifier camera data (image), which are recorded by a sensor, is preferably added.
Die Kennung kann ein eindeutiges, nicht sichtbares Muster, beispielsweise ein digitaler Fingerabdruck (Digital Footprint) in Form einer Prüfsumme oder einer anderen eindeutigen Markierung sein, welches, beispielsweise durch einen Sensor aufgenommenen Kameradaten/Videodaten hinzugefügt wird. Mittels Kreuzkorrela tion werden die Bilddaten dann auf die Präsenz der Kennung, beispielsweise der Prüfsumme überprüft. Durch das Einbringen von der Kennung, insbesondere vor zugsweise sich abwechselnden oder sich ändernden Kennungen an derselben Position, können die auf der Anzeigeeinheit dargestellten Kameradaten/Videodaten auf Einfrieren überwacht werden. Vorzugsweise wird der Grenzwahrscheinlichkeitswert in Bezug auf verschiedene Bilddaten gewichtet. So kann beispielsweise bei Bilddaten, welche Warnhinweise für die Fahrsicherheit darstellen, ein höherer Grenzwahrscheinlichkeitswert vor gesehen sein, als bei weniger sicherheitsrelevanten Warnhinweisen. The identifier can be a clear, invisible pattern, for example a digital fingerprint (digital footprint) in the form of a checksum or other clear marking, which is added, for example, camera data / video data recorded by a sensor. The image data are then checked for the presence of the identifier, for example the checksum, by means of cross correlation. The camera data / video data shown on the display unit can be monitored for freezing by introducing the identifier, in particular in front of preferably alternating or changing identifiers at the same position. The limit probability value is preferably weighted in relation to various image data. For example, a higher limit probability value can be provided for image data which represent warning notices for driving safety than for less safety-relevant warning notices.
Bevorzugt umfasst die Ersatzreaktion das ganz- oder teilweise Abschalteten der Anzeigeeinheit. In besonderer Ausführungsform umfasst die Ersatzreaktion das Anzeigen einer Fehlermeldung auf der Anzeigeeinheit und/oder die Ausgabe eines Signals und/oder einer Textinformation. The substitute reaction preferably comprises completely or partially switching off the display unit. In a particular embodiment, the replacement reaction comprises displaying an error message on the display unit and / or outputting a signal and / or text information.
Dadurch kann sichergestellt werden, dass der Nutzer beispielsweise der Fahrer des Fahrzeugs, nicht durch falsch angezeigte Bilddaten gestört oder fehlinformiert wird. This can ensure that the user, for example the driver of the vehicle, is not disturbed or misinformed by incorrectly displayed image data.
Die Abschaltung kann ein Abschalten der Beleuchtung der Anzeigeeinheit und/oder ein Beenden der Darstellung der Bilddaten auf der Anzeigeeinheit sein. Es kann auch ein Reset der Anzeigeeinheit ausgeführt werden. Auch kann dies gleichzeitig oder alternativ eine hörbare Fehlermeldung sein, beispielsweise ein Warnton. The shutdown can be a shutdown of the lighting of the display unit and / or an end of the display of the image data on the display unit. The display unit can also be reset. This can also be an audible error message at the same time or alternatively, for example a warning tone.
Die Aufgabe wird ferner gelöst durch die Angabe einer Anzeigeeinheit umfassend eine Vergleichseinheit, welche dazu ausgebildet ist, übermittelte Bilddaten mit Referenzbilddaten zu vergleichen, ob die Referenzbilddaten in den übermittelten Bilddaten vorliegen, wobei die Vergleichseinheit dazu ausgebildet ist, den Vergleich mittels Kreuzkorrelation durchzuführen und anhand des Vergleiches einen Ver gleichswahrscheinlichkeitswert zu erstellen, wobei die Anzeigeeinheit dazu aus gebildet ist, die übermittelten Bilddaten anzuzeigen, wenn der Vergleichswahr scheinlichkeitswert über einem bereitgestellten, vorgegebenen Grenzwahrschein lichkeitswert liegt und eine Ersatzreaktion auszugeben, wenn der Vergleichswahr scheinlichkeitswert unter dem bereitgestellten, vorgegebenen Grenzwahrschein lichkeitswert liegt. The object is further achieved by specifying a display unit comprising a comparison unit which is designed to compare transmitted image data with reference image data as to whether the reference image data is present in the transmitted image data, the comparison unit being designed to carry out the comparison by means of cross-correlation and using the To create a comparison probability value, the display unit being designed to display the transmitted image data when the comparison probability value lies above a provided, predetermined limit probability value and to output a replacement reaction when the comparison probability value is below the provided, predetermined limit probability value.
Insbesondere ist die Anzeigeeinheit dazu ausgebildet, dass wie oben beschriebene Verfahren durchzuführen. In particular, the display unit is designed to carry out the method described above.
Die Vorteile des Verfahrens können auch auf die Anzeigeeinheit angewendet werden. Ferner betrifft die Erfindung ein Fahrzeug mit einer wie oben beschriebenen An zeigeeinheit. Das Fahrzeug ist vorteilhafterweise als Personenkraftfahrzeug aus gebildet. The advantages of the method can also be applied to the display unit. Furthermore, the invention relates to a vehicle with a display unit as described above. The vehicle is advantageously formed as a passenger car.
Die Aufgabe wird ferner gelöst durch die Angabe eines Computerprogramms um fassend Befehle, die bewirken, dass die wie oben beschriebene Anzeigeeinheit das wie oben beschriebene Verfahren ausführt. Ferner wird die Aufgabe gelöst durch die Angabe eines computerlesbaren Speichermediums, auf dem das wie oben beschriebene Computerprogramm gespeichert ist. Somit kann das Verfahren auch nachträglich in, beispielsweise einem Fahrzeug, installiert werden. The object is further achieved by specifying a computer program comprising commands which cause the display unit as described above to carry out the method as described above. Furthermore, the object is achieved by specifying a computer-readable storage medium on which the computer program as described above is stored. The method can thus also be installed subsequently, for example in a vehicle.
Die Erfindung stellt damit ein Verfahren, eine Anzeigeeinheit, ein Fahrzeug, ein Computerprogramm und ein computerlesbares Speichermedium zur Validierung von übermittelten Bilddaten bereit, bei dem die übermittelten Bilddaten zuverlässig und robust dargestellt werden können, und eine vorzeitige Ersatzreaktion vermie den werden kann. Die dargestellten Inhalte können Symbole, Barcodes, Finger pints, Zeichen etc. sein. The invention thus provides a method, a display unit, a vehicle, a computer program and a computer-readable storage medium for validating transmitted image data, in which the transmitted image data can be represented reliably and robustly, and an early replacement reaction can be avoided. The displayed content can be symbols, barcodes, finger pints, characters etc.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch: Further features, properties and advantages of the present invention will become apparent from the following description with reference to the accompanying figures. It shows schematically:
FIG 1 : ein Flussdiagramm eines erfindungsgemäßen Verfahrens in einer ersten Ausgestaltung, 1 shows a flowchart of a method according to the invention in a first embodiment,
FIG 2: ein Flussdiagramm eines erfindungsgemäßen Verfahrens in einer zweiten Ausgestaltung, 2 shows a flowchart of a method according to the invention in a second embodiment,
FIG 3: übermittelte Bilddaten als Kennung auf einer erfindungsgemäßen 3: transmitted image data as an identifier on an inventive
Anzeigeeinheit, Display unit,
FIG 4: ein erfindungsgemäßes Fahrzeug. 4 shows a vehicle according to the invention.
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Variationen hiervon können vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung, wie er durch die nachfolgenden Patentansprüche definiert wird, zu verlassen. FIG 1 zeigt ein erfindungsgemäßes Verfahren in einer ersten Ausgestaltung. Although the invention has been illustrated and described in detail by the preferred exemplary embodiments, the invention is not restricted by the disclosed examples. Variations on this can be derived by those skilled in the art without departing from the scope of the invention as defined by the following claims. 1 shows a method according to the invention in a first embodiment.
Hierbei werden Bilddaten in einem ersten Schritt S1 durch vorzugsweise eine Steuereinheit 4 (FIG 4) in einem Fahrerassistenzsystem 3 (FIG 4) ausgewählt. Die Bilddaten sind dabei Pixeln einer Anzeigeeinheit 2 (FIG 4) zugeordnet. Die Pixel können in Subpixel/Leuchtpixel aufgeteilt sein, von denen jedes eine der drei addi tiven Grundfarben Rot, Grün und Blau (RGB-System) aufweist. Im RGB-System werden für jeden Pixel die Farbanteile Rot, Grün und Blau getrennt abgespeichert. Der Mengenanteil von Rot, Grün und Blau bestimmt die endgültige Farbe. Auch andere Darstellungen sind möglich. Image data are selected in a first step S1 by a control unit 4 (FIG. 4) in a driver assistance system 3 (FIG. 4). The image data are assigned to pixels of a display unit 2 (FIG. 4). The pixels can be divided into subpixels / light pixels, each of which has one of the three additive primary colors red, green and blue (RGB system). In the RGB system, the color components red, green and blue are saved separately for each pixel. The proportion of red, green and blue determines the final color. Other representations are also possible.
Die Bilddaten umfassen somit Vorschriften darüber, wie das einzelne Pixel darzu stellen ist. Generell umfassen Bilddaten Informationen für die Anzeigeeinrichtung, welche diese in die Lage versetzen, die Bilddaten visuell darzustellen. The image data thus include regulations on how the individual pixel is to be represented. In general, image data include information for the display device, which enables it to visually display the image data.
Die Bilddaten können Informationen für die Anzeige eines Warnsymbols/Symbols oder eine Signatur oder eines Hinweises (beispielsweise Tanksymbol) sein oder eine Wetterinformation (Vorsicht Schneefall) darstellen. The image data can be information for the display of a warning symbol / symbol or a signature or a note (for example a tank symbol) or it can represent weather information (be careful snowfall).
Die Bilddaten werden in einem zweiten Schritt S2 an eine Vergleichseinheit 5 (FIG 4), welche beispielsweise einen Grafikchip umfasst, übermittelt. Diese Übermittlung kann kabellos oder mittels eine Kabelverbindung bewerkstelligt werden. Eine ka bellose Übertragung kann beispielsweise eine W-Lan, Bluetooth oder eine Infra rotübertragung umfassen. In a second step S2, the image data are transmitted to a comparison unit 5 (FIG. 4), which comprises, for example, a graphics chip. This transmission can be accomplished wirelessly or by means of a cable connection. A wireless transmission can include, for example, WiFi, Bluetooth or infrared transmission.
Ferner können noch andere Kamerabilddaten zur Anzeige vorgesehen sein (bei spielsweise eine Straßenkarte) oder ein Umgebungsbild, wobei diese Kamerabi lddaten ebenfalls in Pixel zur Darstellung auf der Anzeigeeinheit 2 (FIG 4) umge wandelt werden. Die übermittelten Bilddaten sind dann mit diesen Kamerabilddaten auf der Anzeigeeinheit 2 (FIG 4) darzustellen. Es können aber auch die übermit telten Bilddaten alleine dargestellt werden. Furthermore, other camera image data can also be provided for display (for example a street map) or a surrounding image, these camera image data also being converted into pixels for display on the display unit 2 (FIG. 4). The transmitted image data are then to be displayed with this camera image data on the display unit 2 (FIG. 4). However, the transmitted image data can also be displayed alone.
In einem dritten Schritt S3 werden die an die Anzeigeeinheit 2 (FIG 4) übermittelten Bilddaten mit gespeicherten Referenzbilddaten verglichen. Dies wird mithilfe einer Vergleichseinheit 5 (FIG 4) vorgenommen, welche insbesondere in der Anzeige einheit 2 (FIG 4) integriert sein kann. Hierzu wird der Bildsegmentbereich in dem die übermittelten Bilddaten liegen aus dem empfangenen Datenstrom extrahiert. Es werden die übermittelten Bilddaten, die in dem zu untersuchenden Bildsegment- bereich liegen, mittels einer Kreuzkorrelation(sverfahren) mit dem Referenzbild daten verglichen. Die gespeicherten Referenzbilddaten können dabei in der An zeigeeinheit 2 (FIG 4) gespeichert sein. Die gespeicherten Referenzbilddaten können dabei eine kleine Auswahl der eigentlichen Bilddaten umfassen, welche vorzugsweise Fixpunkte auf der Anzeigeeinheit 2 (FIG 4) darstellen. In a third step S3, the image data transmitted to the display unit 2 (FIG. 4) are compared with stored reference image data. This is done with the aid of a comparison unit 5 (FIG. 4), which can be integrated in particular in the display unit 2 (FIG. 4). For this purpose, the image segment area in which the transmitted image data lie is extracted from the received data stream. The transmitted image data that are in the image segment to be examined are range are compared with the reference image data by means of a cross correlation (method). The stored reference image data can be stored in the display unit 2 (FIG. 4). The stored reference image data can include a small selection of the actual image data, which preferably represent fixed points on the display unit 2 (FIG. 4).
Die Kreuzkorrelation wertet die Differenz zwischen den Referenzbilddaten und den übermittelten Bilddaten aus. Der Vorteil der Kreuzkorrelation gegenüber anderen Verfahren ist der einfach zu implementierende Algorithmus. Kreuzkorrelationen sind robust gegenüber leichten Störungen, wie z. B. Rauschen. Die Kreuzkorrela tion kann beispielsweise über die Fouriertransformation berechnet werden. The cross correlation evaluates the difference between the reference image data and the transmitted image data. The advantage of cross-correlation over other methods is the easy-to-implement algorithm. Cross correlations are robust to light disturbances such as B. Noise. The cross correlation can be calculated, for example, using the Fourier transformation.
Dabei ist unter Kreuzkorrelation auch ein Kreuzkorrelationsverfahren, wie die binäre pixelbasierte Kreuzkorrelation, oder eine merkmalslistenbasierte Kreuzkorrelation zu verstehen. Gerade letzteres zeichnet sich durch seine Schnelligkeit aus; gerin ges Rauschen vorausgesetzt. Auch kann eine nichtnormalisierte Kreuzkorrelation verwendet werden. Diese zeichnet sich durch verringerten Rechenaufwand und einen geringeren Speicheraufwand aus. Für das Echtzeitverfahren bietet sich auch die normierte Kreuzkorrelation an. Cross-correlation is also to be understood as a cross-correlation method, such as binary pixel-based cross-correlation, or a cross-correlation based on feature lists. The latter is characterized by its speed; low noise provided. A non-normalized cross correlation can also be used. This is characterized by reduced computing effort and less storage effort. The standardized cross-correlation is also suitable for the real-time method.
In einem vierten Schritt S4 kann anhand der durchgeführten Kreuzkorrelation nun ein Vergleichswahrscheinlichkeitswert als Ergebnis des Vergleiches, mit welcher Wahrscheinlichkeit die Referenzbilddaten in den übermittelten Bilddaten vorliegen, bestimmt werden. In a fourth step S4, a comparison probability value can now be determined on the basis of the cross-correlation carried out as a result of the comparison, with which probability the reference image data are present in the transmitted image data.
In einem fünften Schritt S5 wird der so ermittelte Vergleichswahrscheinlichkeitswert mit einem vorgegebenen Grenzwahrscheinlichkeitswert verglichen. In a fifth step S5, the comparison probability value determined in this way is compared with a predetermined limit probability value.
In einem sechsten Schritt S6 werden, falls der Vergleichswahrscheinlichkeitswert höher als der Grenzwahrscheinlichkeitswert ist, die übermittelten Bilddaten auf der Anzeigeeinheit 2 (FIG 4) dargestellt. Dabei kann höher auch beinhalten, dass der Vergleichswahrscheinlichkeitswert gleich dem Grenzwahrscheinlichkeitswert ist. Alternativ ist dieser nicht umfasst. In a sixth step S6, if the comparison probability value is higher than the limit probability value, the transmitted image data are displayed on the display unit 2 (FIG. 4). Higher can also mean that the comparison probability value is equal to the limit probability value. Alternatively, this is not included.
Dabei kann der Grenzwahrscheinlichkeitswert auch gewichtet festgelegt werden. So kann beispielsweise bei Bilddaten, welche Warnhinweise für die Fahrsicherheit darstellen, beispielsweise„Achtung Glätte“, ein höherer Grenzwahrscheinlich keitswert vorgesehen sein, als bei weniger sicherheitsrelevanten Warnhinweisen. In einem siebten Schritt S7 wird, falls der Vergleichswahrscheinlichkeitswert nied riger als der Grenzwahrscheinlichkeitswert ist, eine Ersatzreaktion eingeleitet. Eine solche kann beispielsweise ein Ausschalten der Anzeigeeinheit 2 (FIG 4), welche für gewöhnlich ein Display eines Entertainmentsystems ist, oder Anzeigen einer zentralen Fehlerwarnung oder eine Überlagerung der überprüften, übermittelten Bilddaten mit dem Referenzbilddaten sein. The limit probability value can also be set weighted. For example, a higher limit probability value can be provided for image data that represent warning notices for driving safety, for example “Caution smoothness”, than for less safety-relevant warning notices. In a seventh step S7, if the comparison probability value is lower than the limit probability value, a substitute reaction is initiated. Such can be, for example, switching off the display unit 2 (FIG. 4), which is usually a display of an entertainment system, or displaying a central error warning or overlaying the checked, transmitted image data with the reference image data.
Durch das Verfahren können geringfügige Änderungen, beispielsweise eine un terschiedliche Farbgebung oder eine unterschiedliche Schriftgröße toleriert werden und führen nicht zu einem Fehleralarm. Somit kann beispielsweise auf einen Bild speicher verzichtet werden. The process can tolerate minor changes, such as a different coloring or a different font size, and does not lead to an error alarm. An image memory can thus be dispensed with, for example.
Das Verfahren toleriert geringfügige Übertragungsfehler und Veränderungen der Bilddaten durch Signalprocessing. Auch bei verlustbehafteter Komprimierung zur Reduzierung der Übertragungsbandbreite ist eine sichere Erkennung von Symbo len / Signaturen noch gewährleistet. Durch das Prüfen eines größeren Überwa chungsbereichs kann eine geringfügige Verschiebung der Symbole/ Signaturen toleriert werden. The process tolerates minor transmission errors and changes in the image data due to signal processing. Even with lossy compression to reduce the transmission bandwidth, reliable detection of symbols / signatures is still guaranteed. By checking a larger monitoring area, a slight shift of the symbols / signatures can be tolerated.
FIG 2 zeigt eine weitere Ausführung des erfindungsgemäßen Verfahrens. 2 shows a further embodiment of the method according to the invention.
Hierbei werden, wie bei FIG 1 , Bilddaten in einem ersten Schritt A1 durch vor zugsweise die Steuereinheit 4 (FIG 4) in dem Fahrerassistenzsystem 3 (FIG 4) ausgewählt. Here, as in FIG. 1, image data are selected in a first step A1 by the control unit 4 (FIG. 4) in the driver assistance system 3 (FIG. 4).
Die Bilddaten werden in einem zweiten Schritt A2 an eine Vergleichseinheit 5 (FIG 4), welche beispielsweise einen Grafikchip umfasst, übermittelt. In a second step A2, the image data are transmitted to a comparison unit 5 (FIG. 4), which for example comprises a graphics chip.
In einem dritten Schritt A3 wird den übermittelten Bilddaten ein charakteristisches Merkmal zugeführt. Die Referenzbilddaten werden basierend auf diesem charak teristischen Merkmal gebildet. Es können auch mehrere oder unterschiedliche charakteristische Merkmale eingefügt werden. In a third step A3, a characteristic feature is supplied to the transmitted image data. The reference image data is formed based on this characteristic. Several or different characteristic features can also be inserted.
In einem vierten Schritt A4 werden mittels der Kreuzkorrelation die an die Anzei geeinheit 2 (FIG 4) übermittelten Bilddaten mit den gespeicherten Referenzbild daten verglichen, und auf die Präsenz des charakteristischen Merkmals geprüft. Somit kann die Kreuzkorrelation effizienter und effektiver in Bezug auf das cha- rakteristische Merkmal durchgeführt werden. Dadurch kann auch die benötigte Rechenleistung gesenkt werden. In a fourth step A4, the cross-correlation is used to compare the image data transmitted to the display unit 2 (FIG. 4) with the stored reference image data, and to check for the presence of the characteristic feature. Thus, the cross correlation can be more efficient and effective with regard to the cha- characteristic feature can be performed. This can also reduce the computing power required.
In einem fünften Schritt A5 kann anhand der durchgeführten Kreuzkorrelation der Vergleichswahrscheinlichkeitswert als Ergebnis des Vergleiches, mit welcher Wahrscheinlichkeit die Referenzbilddaten mit dem charakteristischen Merkmal in den übermittelten Bilddaten mit dem charakteristischen Merkmal vorliegen, be stimmt werden. In a fifth step A5, the cross-correlation can be used to determine the comparison probability value as the result of the comparison, with which probability the reference image data with the characteristic feature are present in the transmitted image data with the characteristic feature.
In einem sechsten Schritt A6 wird der so ermittelte Vergleichswahrscheinlich keitswert mit einem vorgegebenen Grenzwahrscheinlichkeitswert verglichen. In a sixth step A6, the comparison probability value determined in this way is compared with a predetermined limit probability value.
In einem siebten Schritt A7 werden, falls der Vergleichswahrscheinlichkeitswert höher als Grenzwahrscheinlichkeitswert ist, die übermittelten Bilddaten mit dem charakteristischen Merkmal auf der Anzeigeeinheit 2 (FIG 4) dargestellt. In a seventh step A7, if the comparison probability value is higher than the limit probability value, the transmitted image data with the characteristic feature are displayed on the display unit 2 (FIG. 4).
In einem achten Schritt A8 wird, falls der Vergleichswahrscheinlichkeitswert nied riger als der Grenzwahrscheinlichkeitswert ist, eine Ersatzreaktion eingeleitet. In an eighth step A8, if the comparison probability value is lower than the limit probability value, a substitute reaction is initiated.
FIG 3 zeigt eine weitere Ausgestaltung der Erfindung. Hierbei sind die Bilddaten als Kennung 6 dargestellt. Die Kennung 6 ist vorzugsweise als Kennungsdaten aus gebildet. 3 shows a further embodiment of the invention. Here, the image data are shown as identifier 6. The identifier 6 is preferably formed as identifier data.
Hier sind von einer Kamera, beispielsweise einem Sensor, Kameradaten, welche auch Videodaten sein können und deshalbnachfolgend als Kamerada- tenA/ideodaten bezeichnet werden, aufgenommen worden. Diese können ein Kamerabild/Videobild, beispielsweise eines Fahrzeugumfeldes, darstellen. Vor zugsweise werden Kameradatenströme/Videodatenströme aufgenommen, welche eine Abfolge von Kamera-/Videobildern darstellen. Dabei sind unter Kamerada- tenA/ideodaten jede von beispielsweise einem Sensor aufgenommenen Daten zu verstehen. Camera data, which can also be video data and is therefore referred to below as camera data / ideo data, has been recorded here by a camera, for example a sensor. These can represent a camera image / video image, for example of a vehicle environment. Before preferably camera data streams / video data streams are recorded, which represent a sequence of camera / video images. Camera data / ideo data means any data recorded by, for example, a sensor.
Die Kennung 6 wird den KameradatenA/ideodaten beigefügt. Fig 3 zeigt die auf der Anzeigeeinheit 2 dargestellten Kameradaten mit der Kennung 6. Die Kennung 6 kann ein eindeutiges, nicht sichtbares Muster, beispielsweise ein digitaler Finger print sein, welcher den KameradatenA/ideodaten hinzugefügt wird. Die Kennung 6 kann dabei durch computergestützte Steganographie eingefügt werden, so dass vorzugsweise ein Nutzer die Kennung 6 nicht bemerkt. Die Kennung 6 kann jedoch auch ein leicht zu identifizierender Barcode, ein Zeichen, Symbol oder Schriftzug sein. Auch andere Ausgestaltungen sind möglich. The identifier 6 is added to the camera data / ideo data. 3 shows the camera data shown on the display unit 2 with the identifier 6. The identifier 6 can be a clear, invisible pattern, for example a digital fingerprint, which is added to the camera data / ideo data. The identifier 6 can be inserted by computer-assisted steganography, so that preferably a user does not notice the identifier 6. The identifier 6 can, however also be an easily identifiable barcode, character, symbol or lettering. Other configurations are also possible.
Mittels Kreuzkorrelation werden die an die Anzeigeeinheit 2 übermittelten darzu stellenden KameradatenA/ideodaten mit der Kennung 6 mittels Kreuzkorrelation auf eine Präsenz der Kennung 6 überprüft. By means of cross correlation, the camera data A / ideo data to be displayed, which are transmitted to the display unit 2, are checked with the identifier 6 by means of cross correlation for the presence of the identifier 6.
Es wird der Vergleichswahrscheinlichkeitswert, anhand des Vergleiches, ob die Kennung 6 in dem übermittelten Kameradaten/Videodaten vorliegen, erstellt. The comparison probability value is created on the basis of the comparison as to whether the identifier 6 is present in the transmitted camera data / video data.
Hierfür wurde vorher von der Kennung 6 eine Referenzkennung erstellt. For this purpose, a reference identifier was previously created from identifier 6.
Wenn der Vergleichswahrscheinlichkeitswert über einem bereitgestellten, vorge gebenen Grenzwahrscheinlichkeitswert liegt, werden die übermittelten Kamerada ten/Videodaten auf einer Anzeigeeinheit 2 dargestellt. If the comparison probability value lies above a provided, predetermined limit probability value, the transmitted camera data / video data are displayed on a display unit 2.
Wenn der Vergleichswahrscheinlichkeitswert unter dem bereitgestellten, vorge gebenen Grenzwahrscheinlichkeitswert liegt, wird die Ersatzreaktion ausgegeben. If the comparison probability value is below the provided, predetermined limit probability value, the substitute reaction is issued.
Durch das Einbringen von sich abwechselnden oder sich ändernden Kennungen 6 an derselben Position können die auf der Anzeigeeinheit 2 dargestellten Kamera daten/Videodaten auf Einfrieren überwacht werden. By introducing alternating or changing identifiers 6 at the same position, the camera data / video data shown on the display unit 2 can be monitored for freezing.
Ändert sich die Kennung 6 über eine gewisse Zeit nicht, werden die auf der An zeigeeinheit 2 dargestellten Kameradaten/Videodaten als eingefroren bewertet und eine Ersatzreaktion, beispielsweise ein Warnsymbol auf der Anzeigeeinheit 2 oder ein Ausschalten der Anzeigeeinheit 2, eingeleitet. Zudem kann die Quelle ermittelt werden, aus der die Kameradaten/Videodaten stammen. If the identifier 6 does not change over a certain time, the camera data / video data shown on the display unit 2 are evaluated as frozen and a replacement reaction, for example a warning symbol on the display unit 2 or a switching off of the display unit 2, is initiated. In addition, the source from which the camera data / video data originate can be determined.
Damit kann vereinfacht überprüft werden, ob das Bild eingefroren ist und es kann eine Ersatzreaktion eingeleitet werden. This makes it easier to check whether the image is frozen and a replacement reaction can be initiated.
Dabei kann die Kennung 6 mittels einer Kennungseinrichtung den Kamerada tenA/ideodaten zugeführt werden. The identifier 6 can be supplied to the camera data / ideo data by means of an identification device.
FIG 4 zeigt ein Fahrzeug 1 mit der erfindungsgemäßen Anzeigeeinheit 2. Dabei ist das Fahrzeug 1 insbesondere als ein Personenkraftfahrzeug ausgebildet. Die An zeigeeinheit 2 kann dabei in ein Fahrerassistenzsystem 3 integriert sein. Insbe- sondere kann die Anzeigeeinheit 2 als ein Display ausgebildet sein. Die Anzeige einheit 2 umfasst zudem noch eine Vergleichseinheit 5. 4 shows a vehicle 1 with the display unit 2 according to the invention. The vehicle 1 is in particular designed as a passenger vehicle. The display unit 2 can be integrated in a driver assistance system 3. In particular in particular, the display unit 2 can be designed as a display. The display unit 2 also includes a comparison unit 5.
Weiter umfasst das Fahrzeug 1 eine Steuereinheit 4, welche beispielsweise bei Störung des Fahrzeugbetriebs, beispielsweise durch ein ausfallendes Bauelement, das dementsprechende Warnsymbol in Bilddaten an die Vergleichseinheit 5 übermittelt. Die Steuereinheit 4 kann auch in dem Fahrerassistenzsystem 3 inte griert sein. The vehicle 1 further comprises a control unit 4, which transmits the corresponding warning symbol in image data to the comparison unit 5, for example in the event of a malfunction of the vehicle operation, for example due to a failed component. The control unit 4 can also be integrated in the driver assistance system 3.
Bezugszeichenliste: Reference symbol list:
1 Fahrzeug 1 vehicle
2 Anzeigeeinheit 2 display unit
3 Fahrerassistenzsystem3 driver assistance system
4 Steuereinheit 4 control unit
5 Vergleichseinheit 5 comparison unit
6 Kennung 6 identifier
S,A Verfahrensschritte S, A process steps

Claims

Patentansprüche Claims
1. Verfahren zur Validierung von übermittelten Bilddaten umfassend der 1. Method for validating transmitted image data including the
Schritte: Steps:
Bereitstellen von Bilddaten, und übermitteln der Bilddaten an eine Anzeigeeinheit (2), Providing image data and transmitting the image data to a display unit (2),
Bereitstellen von Referenzbilddaten, Provision of reference image data,
Vergleichen der übermittelten Bilddaten mit den Referenzbilddaten mittels einer Kreuzkorrelation in einer Vergleichseinheit (5), ob die Referenzbilddaten in den übermittelten Bilddaten vorliegen, Comparing the transmitted image data with the reference image data by means of a cross correlation in a comparison unit (5) as to whether the reference image data is present in the transmitted image data,
Erstellen eines Vergleichswahrscheinlichkeitswertes anhand des Vergleiches, Creation of a comparison probability value based on the comparison,
Anzeigen der übermittelten Bilddaten auf der Anzeigeeinheit (2), wenn der Vergleichswahrscheinlichkeitswert über einem bereitge stellten, vorgegebenen Grenzwahrscheinlichkeitswert liegt, Displaying the transmitted image data on the display unit (2) when the comparison probability value is above a provided, predetermined limit probability value,
Ausgeben einer Ersatzreaktion, wenn der Vergleichswahrschein lichkeitswert unter dem bereitgestellten, vorgegebenen Grenzwahr scheinlichkeitswert liegt. Issue a substitute response if the comparison probability value is below the provided, predetermined limit probability value.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Kreuzkor relation als eine normierte Kreuzkorrelation oder eine nichtnormale Kreuz korrelation oder eine merkmalsbasierte Kreuzkorrelation oder eine pixelba sierte Kreuzkorrelation ausgebildet wird. 2. The method according to claim 1, characterized in that the cross correlation is designed as a normalized cross correlation or a non-normal cross correlation or a feature-based cross correlation or a pixel-based cross correlation.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass den Bilddaten ein charakteristisches Merkmal hinzugefügt wird. 3. The method according to any one of the preceding claims, characterized in that a characteristic feature is added to the image data.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Bilddaten als Kennung (6) ausgebildet werden. 4. The method according to any one of the preceding claims, characterized in that the image data are formed as an identifier (6).
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Kennung (6) Kameradaten, welche von einem Sensor aufgenommen werden, hinzugefügt wird. 5. The method according to claim 4, characterized in that the identifier (6) camera data, which are recorded by a sensor, is added.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass der Grenzwahrscheinlichkeitswert in Bezug auf verschiedene Bilddaten gewichtet ausgebildet wird. 6. The method according to any one of the preceding claims, characterized in that the limit probability value is weighted in relation to different image data.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Ersatzreaktion das ganz- oder teilweise Abschalteten der Anzeigeeinheit (2) umfasst. 7. The method according to any one of the preceding claims, characterized in that the replacement reaction comprises completely or partially switching off the display unit (2).
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Ersatzreaktion die Anzeige einer Fehlermeldung auf der Anzeigeeinheit (2) und/oder die Ausgabe eines Signals und/oder einer Tex tinformation umfasst. 8. The method according to any one of the preceding claims, characterized in that the replacement reaction comprises the display of an error message on the display unit (2) and / or the output of a signal and / or text information.
9. Anzeigeeinheit (2) umfassend eine Vergleichseinheit (5), welche dazu 9. display unit (2) comprising a comparison unit (5), which
ausgebildet ist, übermittelte Bilddaten mit Referenzbilddaten zu vergleichen, ob die Referenzbilddaten in den übermittelten Bilddaten vorliegen, wobei die Vergleichseinheit (5) dazu ausgebildet ist, den Vergleich mittels Kreuzkor relation durchzuführen und anhand des Vergleiches einen Vergleichswahr scheinlichkeitswert zu erstellen, wobei die Anzeigeeinheit (2) dazu ausge bildet ist, die übermittelten Bilddaten anzuzeigen, wenn der Vergleichs wahrscheinlichkeitswert über einem bereitgestellten, vorgegebenen is designed to compare transmitted image data with reference image data as to whether the reference image data is present in the transmitted image data, the comparison unit (5) being designed to carry out the comparison by means of cross correlation and to use the comparison to produce a comparison probability value, the display unit (2 ) is designed to display the transmitted image data when the comparison probability value is above a predefined one provided
Grenzwahrscheinlichkeitswert liegt und eine Ersatzreaktion auszugeben, wenn der Vergleichswahrscheinlichkeitswert unter dem bereitgestellten, vorgegebenen Grenzwahrscheinlichkeitswert liegt. Limit probability value is to be output and a substitute reaction if the comparison probability value is below the provided, predetermined limit probability value.
10. Anzeigeeinheit (2) nach Anspruch 9, welche dazu ausgebildet ist, das Ver fahren nach einem der Ansprüche 1 bis 8 durchzuführen. 10. Display unit (2) according to claim 9, which is designed to carry out the process according to one of claims 1 to 8.
11. Fahrzeug (1 ) mit einer Anzeigeeinheit (2) nach einem der Ansprüche 9 oder 10. 11. Vehicle (1) with a display unit (2) according to one of claims 9 or 10.
12. Computerprogramm umfassend Befehle, die bewirken, dass die Anzeige einheit (2) nach einem der Ansprüche 9 oder 10 das Verfahren nach einem der Ansprüche 1 bis 8 ausführt. 12. Computer program comprising commands that cause the display unit (2) according to one of claims 9 or 10 to execute the method according to one of claims 1 to 8.
13. Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist. 13. Computer-readable storage medium on which the computer program according to claim 12 is stored.
EP19824260.4A 2018-12-20 2019-12-11 Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium Pending EP3899915A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222493.5A DE102018222493A1 (en) 2018-12-20 2018-12-20 Method for validating environment image data, device, computer program and computer-readable storage medium
PCT/EP2019/084621 WO2020126737A1 (en) 2018-12-20 2019-12-11 Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
EP3899915A1 true EP3899915A1 (en) 2021-10-27

Family

ID=68987674

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19824260.4A Pending EP3899915A1 (en) 2018-12-20 2019-12-11 Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium

Country Status (4)

Country Link
US (1) US20220076600A1 (en)
EP (1) EP3899915A1 (en)
DE (1) DE102018222493A1 (en)
WO (1) WO2020126737A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021128895A1 (en) 2021-11-05 2023-05-11 Bayerische Motoren Werke Aktiengesellschaft Device and method for displaying vehicle-related information on a screen
GB2625129A (en) * 2022-12-08 2024-06-12 Continental Automotive Tech Gmbh Displaying warning message and method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276514A1 (en) * 2004-06-14 2005-12-15 Fisher Paul A Image monitoring method and system
DE102007048608A1 (en) 2007-10-10 2009-04-16 Robert Bosch Gmbh A test device, display device and method for checking validity of display signals
ATE535864T1 (en) 2009-07-06 2011-12-15 Deuta Werke Gmbh METHOD FOR DISPLAYING SAFETY-RELEVANT INFORMATION ON A DISPLAY DEVICE AND DEVICE FOR IMPLEMENTING THE METHOD
DE102010023891A1 (en) * 2010-06-11 2011-12-15 Siemens Aktiengesellschaft Method and device for detecting a faulty display of image data on a display unit
EP2728480A1 (en) * 2012-11-02 2014-05-07 Continental Automotive GmbH Testing an operator control device
DE102016203266A1 (en) * 2016-02-29 2017-08-31 Zf Friedrichshafen Ag Method for operating a display device and display device

Also Published As

Publication number Publication date
US20220076600A1 (en) 2022-03-10
WO2020126737A1 (en) 2020-06-25
DE102018222493A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
EP2833349B1 (en) Method and device for representing a safety-relevant state
DE102007048608A1 (en) A test device, display device and method for checking validity of display signals
WO2020126737A1 (en) Method for validating environmental image data, apparatus, computer program, and computer-readable storage medium
DE102018118190A1 (en) Method and device for controlling a driving behavior of a highly automated vehicle, as well as an infrastructure system, vehicle or monitoring vehicle with the device
WO2018108395A1 (en) Method for verifying a validity of image data
EP2439722B1 (en) Method for inspecting pixel-formated display data for display on a screen of a display device in a vehicle
WO2007033902A2 (en) Method and arrangement for testing a display device image
EP3571085B1 (en) Method and device for displaying a notification for a user and working device
DE102015014190A1 (en) Method for securing a transmission of safety-related camera images
DE102010026392B4 (en) Procedure for the safe parameterization of a safety device
WO2017125323A1 (en) Device and method for checking the validity of image data in a display device
DE102012208481B4 (en) Method and device for operating a computer system
DE102019209554A1 (en) Method for testing the robustness of a simulatable technical system, computer program, machine-readable storage medium and device as well as a technical system
DE102015012889B4 (en) Display device and method for checking display content
DE102013202814A1 (en) Method for error disclosure in a interlocking computer system and interlocking computer system
DE102009009904A1 (en) Object i.e. road sign, identifying method, involves adding images and classifiers, which contain stored samples and sequences, as another set of samples, if sequences correspond to another set of sequences
DE102019113206A1 (en) Method and control device for diagnosing a component of a vehicle
WO2019179712A1 (en) Method and device for protected display of an operation-relevant image content for the representation on a display in a motor vehicle
EP2439644B1 (en) Method for marking screen pages that are secure and not secure on a display device using an optical marker
EP4114679B1 (en) Method and device for the safe display of asil-relevant data on a display device of a motor vehicle
WO2017036699A1 (en) Method for checking the accuracy of a representation of image data on a display means and display device
WO2024100080A1 (en) Method for testing the robustness of a machine learning algorithm for classifying objects in an environment of a motor vehicle
DE102020214694A1 (en) Method and device for checking the completeness of a display content when transmitting at least one item of display information for a vehicle
EP3347858A1 (en) Device and method for processing an image representation representing at least one information
DE102021211515A1 (en) Method and device for operating an automated vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210720

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230801

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH