EP2833349A1 - Method and device for representing a safety-relevant state - Google Patents
Method and device for representing a safety-relevant state Download PDFInfo
- Publication number
- EP2833349A1 EP2833349A1 EP14178345.6A EP14178345A EP2833349A1 EP 2833349 A1 EP2833349 A1 EP 2833349A1 EP 14178345 A EP14178345 A EP 14178345A EP 2833349 A1 EP2833349 A1 EP 2833349A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- comparison
- display
- test
- image data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 97
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 238000011076 safety test Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 2
- 238000009781 safety test method Methods 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/10—Dealing with defective pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Definitions
- the invention generally relates to the field of safety technology.
- the invention relates to a method and a device for reliably displaying a safety-relevant state with a display, in particular with a TFT screen.
- a computer taking account of state information, creates an image data stream which contains representation values, in particular color values. These serve to drive the individual pixels of the display, i. to display an image, and are forwarded to the display in the image stream.
- the image data stream is supplied to a test unit for performing a computational safety test.
- This relates to a surveillance area, which comprises at least a plurality of pixels, usually a plurality of pixels, of the respective image to be displayed.
- a generic method and a corresponding device are, for example, from the international patent application WO 2012/003872 A1 or European patents EP 2 353 089 B1 and EP 2 273 369 B1 previously known.
- the computational security check is performed by deterministic calculation of a check code taking into account the representation values of all pixels within the monitoring area, ie by a data reduction of all image data concerning the monitoring area to a considerably reduced check code in the data volume. Based on this check code, an inference is made to a possible input variable and its comparison with the actual input variable, which can represent a state information, for example.
- Related methods are also out EP 2 254 039 B1 or off DE 3 411 015 C2 known.
- a safety-related condition is to be signaled in a simple manner.
- a control lamp depending on their luminous color, for example, green or red, an operating status signaled and easily monitored by the user.
- the correct function of the lamp is checked by a measurement of the lamp current to ensure safety.
- a method according to the preamble of claim 1 according to the invention is characterized in that first a reference value which is valid for all pixels of the monitoring area is determined, for example by the test unit or a secure control computer, and the test unit stores this reference value. Furthermore, the invention is characterized in that the test unit, starting from the image data stream, subjects each pixel to a selection of pixels of the monitoring area of a test sequence. The selection of the pixels for the test sequence consists in the simplest case of all the pixels of the monitoring area, but can, for example, only take into account each second pixel.
- the test unit performs pixel-by-pixel comparison operation between at least one display value of the respective pixel, ie the pixel currently being viewed in the test sequence, and the predetermined, stored reference value, and forms a comparison result from this comparison operation. Furthermore, the test unit takes into account the respective comparison result to the current pixel in order to be able to determine a result variable. This consideration can be made in particular by incrementally increasing or decreasing the result variables depending on the respective comparison result. If necessary, the test sequence can extend over more than one image frame (English frame) or screen refresh. Finally, the invention provides that after the test sequence, the result variable determined from the individual, pixel-by-pixel generated comparison results is compared with a threshold.
- This comparison is made by the test unit itself or externally after output of the result variable by the test unit and is used to form either a positive or negative result of the safety test. This overall result can then be used to initiate a safety-related reaction, for example to output a warning signal or to switch off the safety of the display.
- the device is therefore characterized in that it comprises a test unit in which a reference value valid for all pixels of the monitoring area is stored and the test unit is designed to carry out a test sequence starting from the image data stream, such that the test unit successively for each Pixels of a selection of pixels of the monitoring area performs a comparison operation between at least one representation value, in particular a color value, to the currently considered in the sequence pixel and the stored reference value and forms a comparison result.
- the test unit takes into account the respective comparison result for the purpose of determining a result variable, for example by incrementally increasing or decreasing it.
- the test unit can output the result variable or even compare it with a threshold value. Based on this, externally or through the test unit, the formation of a positive or negative result of the safety test can take place.
- the solution according to the invention is particularly easy to implement in the case of a digital image data stream, but in principle can also be used in an analog-controlled display.
- the monitoring area can be specified variable to the test unit or can be stored in this fixed.
- the term "surveillance area" means both contiguous and non-contiguous sets of individual pixels with respect to the image being displayed, and includes any geometric shapes in the image to be displayed, particularly, but not limited to, polygonal or elliptical areas, including rectangular or circular areas.
- all pixels of the predetermined monitoring range of the test sequence according to the invention are subjected. However, it is also possible to make a selection with a smaller number of pixels, for example to subject only every other pixel of the comparison operation and consideration in the result variable.
- An essential feature of the solution according to the invention is the fact that a plurality of pixels or pixels of the monitored area to be tested are compared with at least one of their display values for driving the display with one or only a few predetermined reference values.
- the solution according to the invention also makes possible the complementary approach of recognizing maximum staining. It can thus be ensured, for example, that in the monitoring area a certain area proportion in the color green is only displayed if the status information corresponds to a safe operating state.
- the comparison operation according to the invention can be implemented in different ways. Particularly simple is an identity comparison of a digital representation value with a digital reference value which has the same word length as the representation value. However, the comparison operation may also be performed as an inequality comparison. In particular, when it is to be checked whether the representation values for the individual pixels lie within a certain tolerance range, the comparison operation can be performed as a comparison, depending on whether the reference value represents an upper or lower limit value, that is currently in the test sequence considered representation value is smaller, less than / equal to, greater than / equal to, or greater than the reference value. Tolerance comparison is also technically easy to implement in other ways.
- only a portion of the bits of the representation value that is of higher significance in the bit value can be compared to a reference value of lesser word length for identity. Due to the restriction to the higher-order bits, a tolerance for slight deviations, for example in the case of different color values of a hue, can be realized in a simple manner. Apart from the inequality comparison, which optionally uses an upper and a lower reference value, usually only one reference value is needed for the entire selection of pixels to be examined from the monitoring area.
- test unit or the method can provide parallel or simultaneous execution of several test sequences relating to several separate or partially overlapping monitoring areas.
- test sequence can be repeated individually for each screen layout or screen refresh. However, to reduce the required computing power and / or to introduce a temporal test tolerance, the test sequence may be also extend over more than one image structure and preferably has a repetition rate in the range of human detectable, typically less than 30 Hz. Conveniently, the repetition rate of the test sequence for a surveillance area, the 1 / n fraction of the refresh rate f.
- the representation of an image comprises a color area whose color is determined by the computer depending on the state information.
- the color surface can symbolize a control or warning light or represent the background of a security-relevant, dynamically variable display, such as a tachometer.
- a positive result of the safety check can already be determined if only a predetermined portion of the selection of pixels taken for the test sequence fulfills the comparison criterion of the comparison operation.
- This approach makes it possible to exclude individual pixel errors as a safety-relevant error criterion.
- EMC-induced changes in the image data stream which lead to insignificant changes in the individual image, which the viewer can not recognize, can be easily excluded.
- a positive test result can be formed, for example, if instead of 100% of the pixels, 90% of the pixels have a desired color value.
- the test sequence comprises incrementing or decrementing a pixel counter.
- the threshold value for forming the result of the security check can be determined as a function of the pixel counter, for example as a percentage of the tested total number of pixels.
- the threshold value therefore does not have to be specified separately, but is automatically determined by the test sequence, depending on the size of the monitoring area and the selection made for the pixels to be tested.
- the reference value valid for all pixels of the monitored area to be checked and / or the monitored area to be tested itself are also determined by the test unit. This is preferably done as a function of the status information which is supplied to the test unit for the determination of the reference value and / or the monitoring area.
- the color values for the primary colors of a color space are used as display values in the image data stream.
- at least one color value, preferably all color values are then subjected as the representation value to each pixel of the comparison operation according to the invention.
- the comparison operation in the test sequence can be carried out in particular as a tolerance comparison, for example, if the actual pixel under consideration in all or one of its color values, in absolute or relative terms, is more than a certain percentage of a target color value as the reference value different.
- the color-by-color comparison operation may be performed by considering the individual color values. This type of comparison operation allows e.g. Also, consideration of different color settings by the performing computer, for example, depending on user preferences and still recognizes the desired hues.
- test sequence according to the invention can extend over each individual image structure. To reduce the computing power or energy saving, it may be provided, for example, that the test sequence only extends over regularly intermittent image structures in the sense of a sampling. In certain applications, a safety-related check is already ensured if, for example, every second image buildup is correct. Accordingly, it is sufficient in these cases not to examine the image directly but at regular intervals to examine it.
- An intermittent execution of the test sequence also allows the verification of a flashing display area.
- a further test sequence is preferably provided, which extends in comparison to the abovementioned intermittent image structures on this alternately intermittent image structures and performs a comparison operation with a further, additionally stored reference value.
- the state information is determined by a signal-technically secure control computer and, on the one hand, supplied to the computer, which generates the image data stream, and, on the other hand, to the test unit.
- test unit For retrofitting existing systems, it is particularly appropriate to run the test unit as a separate module separate from the display and separate from the computer. For safety reasons, it is expedient if the test unit for connection to the image data line, in particular parallel to the display, has a read-only input, and thus can not change the image data stream.
- test unit is conveniently implemented using an FPGA or ASIC. These can be readily configured or programmed to perform a method with the features described above.
- the test unit expediently has, in addition to an input for the status information and the input for connection to the image data line, also an output for outputting the result of the safety test.
- This output can be connected, for example, to the fail-safe control computer for the purpose of initiating a safety-related reaction.
- the invention also relates to a test unit for use in a device according to one of the embodiments described above, and finally also to the use of the device according to the invention in a vehicle, in particular in a rail vehicle.
- FIG. 1 shows the basic structure of a safety device 2 for carrying out the method according to the invention, for example in the cab of the railcar of a train.
- the safety device 2 which is designated as a whole by 2, consists essentially of a commercially available PC 4, which generates image data as a representative computer and hereby activates a display consisting of a TFT panel or TFT display 6.
- the TFT display is connected via an image data line 8, e.g. of the LVDS type, connected to the PC 4 for driving the individual pixels via a sequential image data stream, such that line by line and ultimately page by page, an image is constructed and displayed by the TFT display 6.
- the safety device 2 comprises a test unit 10, which consists of microprocessors and, inter alia, an FPGA 12.
- state information which characterizes a safety-relevant system state is supplied to the PC 4 and the test unit 10 via the data connection designated by the reference numeral 14. This value is taken into account within the PC 4 when creating the image data.
- image data are supplied as a serial image data stream via the image data line 8 to the TFT display 6.
- safety-relevant information eg a speedometer similar to a tachometer
- a demarcated portion of the PC TFT displays 6 shown which is to be monitored as a monitoring area 16 safety.
- the displayed image including the security-relevant information in the monitoring area 16 is "pre-rendered" and thus predefined.
- the monitoring area hatched with a background in a warning color, for example in red, yellow or orange can be deposited.
- the corresponding background should be displayed when the status information via the data connection 14, in particular from a signal-technically secure control computer 20, signals a critical condition (eg immediate stop with a red background, stop at the next possible opportunity with an orange background or maintenance required with a yellow background).
- a critical condition eg immediate stop with a red background, stop at the next possible opportunity with an orange background or maintenance required with a yellow background.
- the invention now makes it possible in a simple, reliable and efficient manner to check such monitoring areas 16 as to whether the state to be displayed is actually displayed correctly.
- the image data stream fed via the LVDS image data line 8 to the TFT display 6 is tapped without change by the FPGA 12 of the test unit 10 via the read-back line 18 and a read-only input.
- the FPGA 12 subjects the image data to the surveillance area 16 of a security audit.
- the RGB color values ie in each case 24 bits to each of the selected pixels or pixels of the monitoring area, are successively read in pixel by pixel from the read-back line into a FIFO memory, eg a simple shift register 22 with no feedback with a width of 24 bits.
- the contents of the shift register are compared with a reference color value stored in a register 24 contained in the FPGA. If all bits to the respective RGB color value, or as with the circuit in FIG.2 testable in the sense of a tolerance comparison, the higher-order ones Bit are identical to the reference color value, a success counter 26 is increased by one value.
- a pixel counter (not shown) can be increased for each pixel tested or selected within the monitoring area 16.
- test sequence e.g. After a complete screen refresh, it is then checked how high the proportion of those pixels of the monitoring area 16 is that is actually displayed with the color corresponding to the state information.
- the test unit 10 If a predefinable threshold, which may also correspond to a proportion of the pixels, e.g. a proportion between 80% and 99%, the test unit 10 generates an output signal, e.g. to the secure control computer 20 which indicates the result of the security check, i. whether or not the color area is displayed correctly enough. For this purpose, the count of the success counter 26 is read out as the result variable after each test sequence.
- a colored deposit of the tachometer does not have an exact color but a certain hue without requiring and checking an exact pixel-by-pixel match. This is in principle equal to the activation of a warning lamp whose display is monitored by current measurement.
- FIG.2 shows a circuit that can easily exclude single pixel error as a safety-related error criterion. This is done in two stages, first by a tolerance comparison, which for each of the three RGB color values in the shift register 22 only the four most significant bits (Engl. Most significant bits) with a 4bit wide Compare reference value that is unchanged or fixed in register 24 for all pixels of the monitoring area 16.
- a second step it is checked whether the result variable determined as counter result by the counter 26 represents a sufficient, predetermined proportion of the pixels in the monitoring area 16, eg 85% if about 10% of the pixels do not serve as background, but to display other information, eg to show the speedometer in FIG.1 , At the same time, the variable presentation of information, which has no actual background, can be included without affecting the result of the safety check.
- FIG.3 shows an embodiment in which the color display to be tested takes place instead of by the PC 4 or in addition to the PC 4, by another, code-based test module 30 in the pixel data line.
- This code-based test module 30 may have a structure according to EP2353089B1 respectively.
- EP2273369B1 or according to EP2254039B1 exhibit.
- a test unit 10 according to the present invention is connected downstream of the test module 30 and, according to the present invention, checks whether a safety-relevant display by the code-based test unit 30 is carried out correctly.
- test unit 10 takes place at the same time to display an image on the display 16. This is achieved with little effort by serial processing of the data stream from the image data line 8 in a test sequence according to the invention. For this purpose, the computing power of commercially available FPGA is sufficient.
- the test unit 10 can also use other suitable processor-like components instead of an FPGA 12, e.g. use an ASIC.
- the comparison operation instead of a purely serial processing can also be realized multi-channel, ie with several parallel-fed individual shift registers correspondingly smaller bit width.
- the test unit 12 can generate an output signal for the purpose of initiating a safety-related reaction, in particular for switching off the display or output of a warning signal, as a function of the test result.
- the monitoring area 16 is in the picture shown after FIG.1 suitably rectangular, but may have any geometry and does not have to consist of contiguous pixels.
- a display 6 any type of technical device can be used in the security device 2 and within the scope of the invention with which any information can be represented visually detectable by controlling individual pixels (English pixel).
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung eines sicherheitsrelevanten Zustands. Ein Rechner (4) erstellt einen Bilddatenstrom (8) mit Darstellungswerten unter Berücksichtigung von Zustandsinformation Eine Anzeige (6) stellt ein Bild durch Ansteuern von Bildpunkten anhand der Darstellungswerte dar. Zwecks rechentechnischer Sicherheitsprüfung wird der Bilddatenstrom einer Prüfeinheit (10) zugeführt. Ein für alle Bildpunkte eines Überwachungsbereichs (16) geltender Referenzwert wird in der Prüfeinheit gespeichert. Diese führt eine Prüfsequenz durch, wobei jeweils nacheinander für jeden Bildpunkt einer Auswahl aus dem Überwachungsbereich (16), eine Vergleichsoperation zwischen einem Darstellungswert des Bildpunkts und dem Referenzwert durchgeführt wird und daraus ein Vergleichsergebnis gebildet wird, welches zum Bestimmen einer Ergebnisvariable berücksichtigt wird. Nach erfolgter Prüfsequenz wird die Ergebnisvariable mit einem Schwellwert verglichen zur Bildung eines positiven oder negativen Prüfergebnisses.The invention relates to a method and a device for displaying a safety-relevant state. A computer (4) generates an image data stream (8) with representation values taking into account state information. A display (6) displays an image by driving pixels based on the representation values. For the purpose of computational safety testing, the image data stream is fed to a test unit (10). A reference value valid for all pixels of a monitoring area (16) is stored in the test unit. This performs a test sequence, wherein one after the other for each pixel of a selection from the monitoring area (16), a comparison operation between a display value of the pixel and the reference value is performed and from this a comparison result is formed, which is taken into account for determining a result variable. After the test sequence, the result variable is compared with a threshold value to form a positive or negative test result.
Description
Die Erfindung betrifft allgemein den Bereich der Sicherheitstechnik (engl. safety technology). Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zur zuverlässigen Darstellung eines sicherheitsrelevanten Zustands mit einer Anzeige, insbesondere mit einem TFT-Bildschirm.The invention generally relates to the field of safety technology. In particular, the invention relates to a method and a device for reliably displaying a safety-relevant state with a display, in particular with a TFT screen.
Bei gattungsgemäßen Verfahren und Vorrichtungen erstellt ein Rechner unter Berücksichtigung einer Zustandsinformation einen Bilddatenstrom, welcher Darstellungswerte, insbesondere Farbwerte, enthält. Diese dienen zum Ansteuern der einzelnen Bildpunkte der Anzeige, d.h. zum Darstellen eines Bildes, und werden im Bilddatenstrom an die Anzeige weitergeleitet.In generic methods and devices, a computer, taking account of state information, creates an image data stream which contains representation values, in particular color values. These serve to drive the individual pixels of the display, i. to display an image, and are forwarded to the display in the image stream.
Aufgrund der Komplexität der typisch zur Grafikerzeugung verwendeten Rechner sind diese im signaltechnischen Sinne als unsicher einzustufen.Due to the complexity of the computer typically used for graphics generation, these are to be classified as unsafe in the signal-technical sense.
Deshalb wird bei gattungsgemäßen Verfahren der Bilddatenstrom einer Prüfeinheit zugeführt zum Durchführen einer rechentechnischen Sicherheitsprüfung. Diese betrifft einen Überwachungsbereich, welcher zumindest mehrere Bildpunkte, in der Regel eine Vielzahl Bildpunke, des jeweils darzustellenden Bildes umfasst.Therefore, in generic methods, the image data stream is supplied to a test unit for performing a computational safety test. This relates to a surveillance area, which comprises at least a plurality of pixels, usually a plurality of pixels, of the respective image to be displayed.
Ein gattungsgemäßes Verfahren und eine entsprechende Vorrichtung sind beispielsweise aus der internationalen Patentanmeldung
Ein wesentlicher Vorteil dieser Ansätze ist darin zu sehen, dass mit einem handelsüblichen Standardrechner, welcher meist die Erfordernisse für eine sicherheitstechnische Zertifizierung nicht erfüllt, dennoch eine sichere Darstellung gewährleistet werden. Diese Verfahren erkennen zuverlässig jede auch nur geringfügige Abweichung der Bilddaten von den Sollbilddaten. Ein Ansatz mit Datenreduktion durch Prüfcodebildung ist jedoch nicht für jeden Anwendungsfall ideal geeignet.A significant advantage of these approaches is the fact that with a standard commercial computer, which usually does not meet the requirements for a safety certification, yet a safe representation are guaranteed. These methods reliably detect any even slight deviation of the image data from the target image data. However, a data reduction approach using check code generation is not ideal for every application.
Weitere Verfahren zur Überprüfung von pixelformatierten Displaydaten zur Darstellung auf einem Anzeigegerät in einem Fahrzeug sind z.B. aus den Offenlegungsschriften
In vielen Anwendungen soll dem Benutzer einer Mensch-Maschine-Schnittstelle (engl. HMI) auch ohne komplexe Darstellung, wie beispielsweise bei einem Tachometer erforderlich, auf einfache Weise ein sicherheitsrelevanter Zustand signalisiert werden. So kann beispielsweise durch eine Kontrolllampe je nach deren Leuchtfarbe, beispielsweise grün oder rot, ein Betriebszustand signalisiert und leicht vom Benutzer überwacht werden. Bei bekannten Systemen mit solchen Kontrollleuchten wird durch eine Messung des Lampenstroms die korrekte Funktion der Lampe überprüft um die Sicherheit zu gewährleisten.In many applications, the user of a human-machine interface (HMI) even without complex representation, as required for example in a tachometer, a safety-related condition is to be signaled in a simple manner. Thus, for example, by a control lamp depending on their luminous color, for example, green or red, an operating status signaled and easily monitored by the user. In known systems with such control lights, the correct function of the lamp is checked by a measurement of the lamp current to ensure safety.
Da auch in sicherheitskritischen Anwendungen vermehrt Anzeigen wie beispielsweise TFT-Bildschirme eingesetzt werden sollen, ist es wünschenswert, die Funktion solcher Kontroll- oder Warnlampen in das auf der Anzeige dargestellte Bild zu integrieren.Since it is also intended to increasingly use displays such as TFT screens in safety-critical applications, it is desirable to integrate the function of such control or warning lamps into the picture displayed on the display.
Für die sicherheitstechnische Funktionsprüfung der Anzeige entsprechender Zustandsinformation sind die eingangs angegebenen Ansätze mit Datenreduktion zwar grundsätzlich geeignet, jedoch relativ aufwendig in der Umsetzung. Außerdem erfordert die Datenreduktion durch Prüfcodebildung eine Identität zwischen Sollbild und Istbild, so dass geringfügige für den Benutzer nicht wahrnehmbare Fehler, wie etwa einzelne Pixelfehler oder EMV-bedingte sogenannte Bitkipper, zu einem eigentlich unnötigen Fehlerfall führen.Although the above-mentioned approaches with data reduction are fundamentally suitable for the safety-related functional test of the display of corresponding status information, they are relatively complicated to implement. In addition, the data reduction by Prüfcodebildung requires identity between the target image and the actual image, so that slight imperceptible to the user errors, such as individual pixel errors or EMC-related so-called bit dumpers, lead to a really unnecessary error case.
Als Alternative zu den eingangs genannten Ansätzen wäre es denkbar, eine Lösung zu verwenden, bei welcher ein zweiter Bildaufbau unabhängig bzw. redundant erzeugt wird und das erste Bild mit dem redundanten Bild bildpunktweise verglichen wird. Ein solcher Ansatz ist beispielsweise aus der
Eine Aufgabe der vorliegenden Erfindung ist es mithin, ein Verfahren und eine Vorrichtung vorzuschlagen, welche die sicherheitstechnisch zuverlässige Darstellung eines sicherheitsrelevanten Zustands auf besonders einfache Weise ermöglichen und zugleich eine gewisse Toleranz gegenüber vernachlässigbaren Darstellungsfehlern gestatten.It is therefore an object of the present invention to propose a method and a device which provide the safety-relevant representation of a security-relevant Allow state in a particularly simple manner and at the same time allow a certain tolerance for negligible display errors.
Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1, durch eine Vorrichtung nach Anspruch 10 sowie durch eine Prüfeinheit nach Anspruch 14.This object is achieved by a method according to claim 1, by a device according to
Verfahrensseitig zeichnet sich ein Verfahren gemäß dem Oberbegriff aus Anspruch 1 erfindungsgemäß dadurch aus, dass zunächst ein für alle Bildpunkte des Überwachungsbereichs gleichsam geltender Referenzwert bestimmt wird, zum Beispiel durch die Prüfeinheit oder einen sicheren Steuerrechner, und dass die Prüfeinheit diesen Referenzwert speichert. Ferner zeichnet sich die Erfindung dadurch aus, dass die Prüfeinheit, ausgehend vom Bilddatenstrom, jeden Bildpunkt einer Auswahl von Bildpunkten des Überwachungsbereichs einer Prüfsequenz unterzieht. Die Auswahl der Bildpunkte für die Prüfsequenz besteht im einfachsten Fall aus allen Bildpunkten des Überwachungsbereichs, kann aber auch z.B. jeweils nur jeden zweiten Bildpunkt berücksichtigen. In der Prüfsequenz führt die Prüfeinheit erfindungsgemäß Bildpunkt-für-Bildpunkt eine Vergleichsoperation zwischen mindestens einem Darstellungswert des jeweiligen Bildpunkts, d.h. des aktuell in der Prüfsequenz betrachteten Pixels, und dem vorgegebenen, gespeicherten Referenzwert durch und bildet aus dieser Vergleichsoperation ein Vergleichsergebnis. Ferner berücksichtigt die Prüfeinheit das jeweilige Vergleichsergebnis zum aktuellen Bildpunkt, um eine Ergebnisvariable bestimmen zu können. Diese Berücksichtigung kann insbesondere durch schrittweises Erhöhen oder Verringern der Ergebnisvariablen in Abhängigkeit des jeweiligen Vergleichsergebnisses erfolgen. Die Prüfsequenz kann sich gegebenenfalls über mehr als einen Bildaufbau (Engl. frame) bzw. Bildschirmrefresh erstrecken. Schließlich sieht die Erfindung vor, dass nach erfolgter Prüfsequenz die aus den einzelnen, bildpunktweise erzeugten Vergleichsergebnissen bestimmte Ergebnisvariable mit einem Schwellwert verglichen wird. Dieser Vergleich erfolgt durch die Prüfeinheit selbst oder aber extern nach Ausgabe der Ergebnisvariable durch die Prüfeinheit und wird zur Bildung entweder eines positiven oder negativen Ergebnisses der Sicherheitsprüfung genutzt. Dieses Gesamtergebnis kann anschließend zur Veranlassung einer sicherheitsgerichteten Reaktion, beispielsweise zur Ausgabe eines Warnsignals oder zu einer Sicherheitsabschaltung der Anzeige, genutzt werden.In terms of the method, a method according to the preamble of claim 1 according to the invention is characterized in that first a reference value which is valid for all pixels of the monitoring area is determined, for example by the test unit or a secure control computer, and the test unit stores this reference value. Furthermore, the invention is characterized in that the test unit, starting from the image data stream, subjects each pixel to a selection of pixels of the monitoring area of a test sequence. The selection of the pixels for the test sequence consists in the simplest case of all the pixels of the monitoring area, but can, for example, only take into account each second pixel. In the test sequence, the test unit performs pixel-by-pixel comparison operation between at least one display value of the respective pixel, ie the pixel currently being viewed in the test sequence, and the predetermined, stored reference value, and forms a comparison result from this comparison operation. Furthermore, the test unit takes into account the respective comparison result to the current pixel in order to be able to determine a result variable. This consideration can be made in particular by incrementally increasing or decreasing the result variables depending on the respective comparison result. If necessary, the test sequence can extend over more than one image frame (English frame) or screen refresh. Finally, the invention provides that after the test sequence, the result variable determined from the individual, pixel-by-pixel generated comparison results is compared with a threshold. This comparison is made by the test unit itself or externally after output of the result variable by the test unit and is used to form either a positive or negative result of the safety test. This overall result can then be used to initiate a safety-related reaction, for example to output a warning signal or to switch off the safety of the display.
Die erfindungsgemäße Vorrichtung zeichnet sich demnach dadurch aus, dass diese eine Prüfeinheit umfasst, in welcher ein für alle Bildpunkte des Überwachungsbereichs geltender Referenzwert gespeichert ist und die Prüfeinheit ausgeführt ist, um ausgehend vom Bilddatenstrom eine Prüfsequenz durchzuführen, dergestalt, dass die Prüfeinheit jeweils nacheinander für jeden Bildpunkt einer Auswahl von Bildpunkten des Überwachungsbereichs eine Vergleichsoperation zwischen mindestens einem Darstellungswert, insbesondere einem Farbwert, zum aktuell in der Sequenz betrachteten Bildpunkt und dem gespeicherten Referenzwert durchführt und daraus ein Vergleichsergebnis bildet. Ferner berücksichtigt die Prüfeinheit das jeweilige Vergleichsergebnis zwecks Bestimmung einer Ergebnisvariable, beispielsweise durch deren schrittweises Erhöhen oder Verringern. Die Prüfeinheit kann nach erfolgter Prüfsequenz, insbesondere jeweils nach jeder einzelnen oder nach einer Folge von Prüfsequenzen, die Ergebnisvariable ausgeben oder selbst mit einem Schwellwert vergleichen. Gestützt hierauf kann extern oder durch die Prüfeinheit die Bildung eines positiven oder negativen Ergebnisses der Sicherheitsprüfung erfolgen.The device according to the invention is therefore characterized in that it comprises a test unit in which a reference value valid for all pixels of the monitoring area is stored and the test unit is designed to carry out a test sequence starting from the image data stream, such that the test unit successively for each Pixels of a selection of pixels of the monitoring area performs a comparison operation between at least one representation value, in particular a color value, to the currently considered in the sequence pixel and the stored reference value and forms a comparison result. Furthermore, the test unit takes into account the respective comparison result for the purpose of determining a result variable, for example by incrementally increasing or decreasing it. After the test sequence, in particular after each individual or after a sequence of test sequences, the test unit can output the result variable or even compare it with a threshold value. Based on this, externally or through the test unit, the formation of a positive or negative result of the safety test can take place.
Die erfindungsgemäße Lösung ist besonders leicht umzusetzen bei einem digitalen Bilddatenstrom, kann jedoch grundsätzlich auch bei einer analog gesteuerten Anzeige eingesetzt werden. Der Überwachungsbereich kann der Prüfeinheit variabel angegeben oder aber in dieser fest hinterlegt sein. Der Begriff "Überwachungsbereich" bedeutet hier mit Bezug auf das darzustellende Bild sowohl zusammenhängende als auch nicht zusammenhängende Mengen einzelner Pixel bzw. Bildpunkte und umfasst jegliche geometrischen Formen im darzustellenden Bild, insbesondere aber nicht ausschließlich polygon- oder ellipsenförmige Bereiche, einschließlich rechteckiger oder kreisförmiger Bereiche. Zweckmäßig werden alle Bildpunkte des vorgegebenen Überwachungsbereichs der erfindungsgemäßen Prüfsequenz unterzogen. Es ist jedoch auch möglich, eine Auswahl mit einer geringeren Anzahl von Bildpunkten zu treffen, beispielsweise nur jeden zweiten Bildpunkt der Vergleichsoperation und Berücksichtigung in der Ergebnisvariablen zu unterziehen.The solution according to the invention is particularly easy to implement in the case of a digital image data stream, but in principle can also be used in an analog-controlled display. The monitoring area can be specified variable to the test unit or can be stored in this fixed. Of the As used herein, the term "surveillance area" means both contiguous and non-contiguous sets of individual pixels with respect to the image being displayed, and includes any geometric shapes in the image to be displayed, particularly, but not limited to, polygonal or elliptical areas, including rectangular or circular areas. Suitably, all pixels of the predetermined monitoring range of the test sequence according to the invention are subjected. However, it is also possible to make a selection with a smaller number of pixels, for example to subject only every other pixel of the comparison operation and consideration in the result variable.
Eine wesentliche Eigenschaft der erfindungsgemäßen Lösung ist darin zu sehen, dass eine Vielzahl von Bildpunkten bzw. Pixeln des zu prüfenden Überwachungsbereichs hinsichtlich mindestens eines ihrer Darstellungswerte zur Ansteuerung der Anzeige mit jeweils einem oder lediglich einigen wenigen vorbestimmten Referenzwerten verglichen werden. Hierdurch kann auf rechentechnisch besonders einfache Weise und mit besonders geringem Hardwareaufwand die zuverlässige Darstellung eines sicherheitsrelevanten Zustands in einer Vielzahl von Anwendungsfällen überprüft und gewährleistet werden.An essential feature of the solution according to the invention is the fact that a plurality of pixels or pixels of the monitored area to be tested are compared with at least one of their display values for driving the display with one or only a few predetermined reference values. As a result, the reliable representation of a safety-relevant state in a multiplicity of applications can be checked and ensured in a particularly simple manner and with a particularly low expenditure on hardware.
Es kann zum Beispiel sicher erkannt werden, ob eine bestimmte Fläche in hinreichendem Maße in einer bestimmten Farbe angezeigt wird. So lässt sich beispielsweise sicherstellen, dass ein anzuzeigender Warnhinweis auch tatsächlich angezeigt wird. Im Gegensatz zu dieser Sicherstellung einer Minimaleinfärbung ermöglicht die erfindungsgemäße Lösung auch den hierzu komplementären Ansatz, eine Maximaleinfärbung zu erkennen. So kann zum Beispiel sichergestellt werden, dass im Überwachungsbereich ein bestimmter Flächenanteil in der Farbe Grün nur dann angezeigt ist, wenn die Zustandsinformation einem sicheren Betriebszustand entspricht.For example, it can be reliably detected whether a certain area is displayed to a sufficient extent in a certain color. This ensures, for example, that a warning message to be displayed is actually displayed. In contrast to this assurance of minimal staining, the solution according to the invention also makes possible the complementary approach of recognizing maximum staining. It can thus be ensured, for example, that in the monitoring area a certain area proportion in the color green is only displayed if the status information corresponds to a safe operating state.
Die erfindungsgemäße Vergleichsoperation kann auf unterschiedliche Arten implementiert werden. Besonders einfach ist ein Identitätsvergleich eines digitalen Darstellungswerts mit einem digitalen Referenzwert, welcher die gleiche Wortlänge wie der Darstellungswert aufweist. Die Vergleichsoperation kann jedoch auch als Ungleichungsvergleich ausgeführt sein. Insbesondere, wenn geprüft werden soll, ob die Darstellungswerte zu den einzelnen Bildpunkten innerhalb eines bestimmten Toleranzbereichs liegen, kann die Vergleichsoperation, je nachdem, ob der Referenzwert einen oberen oder unteren Grenzwert darstellt, als ein Vergleich dahingehend ausgeführt sein, ob der aktuell in der Prüfsequenz betrachtete Darstellungswert kleiner, kleiner/gleich, größer/gleich oder größer als der Referenzwert ist. Ein Toleranzvergleich ist digitaltechnisch auch auf andere Weise leicht zu implementieren. Insbesondere kann beispielsweise lediglich ein in der Bitwertigkeit höherwertige Teil der Bits des Darstellungswerts mit einem Referenzwert geringerer Wortlänge auf Identität verglichen werden. Durch die Beschränkung auf die höherwertigen Bits wird auf einfache Weise eine Toleranz hinsichtlich geringfügiger Abweichungen, beispielsweise bei unterschiedlichen Farbwerten eines Farbtons, realisiert werden. Abgesehen vom Ungleichungsvergleich, welcher gegebenenfalls einen oberen und einen unteren Referenzwert verwendet, wird in der Regel lediglich ein Referenzwert benötigt für die gesamte Auswahl von zu prüfenden Bildpunkten aus dem Überwachungsbereich.The comparison operation according to the invention can be implemented in different ways. Particularly simple is an identity comparison of a digital representation value with a digital reference value which has the same word length as the representation value. However, the comparison operation may also be performed as an inequality comparison. In particular, when it is to be checked whether the representation values for the individual pixels lie within a certain tolerance range, the comparison operation can be performed as a comparison, depending on whether the reference value represents an upper or lower limit value, that is currently in the test sequence considered representation value is smaller, less than / equal to, greater than / equal to, or greater than the reference value. Tolerance comparison is also technically easy to implement in other ways. In particular, for example, only a portion of the bits of the representation value that is of higher significance in the bit value can be compared to a reference value of lesser word length for identity. Due to the restriction to the higher-order bits, a tolerance for slight deviations, for example in the case of different color values of a hue, can be realized in a simple manner. Apart from the inequality comparison, which optionally uses an upper and a lower reference value, usually only one reference value is needed for the entire selection of pixels to be examined from the monitoring area.
Die Prüfeinheit bzw. das Verfahren kann vorsehen, parallel bzw. zeitgleich mehrere Prüfsequenzen betreffend mehrere getrennte oder teilweise überlappende Überwachungsbereiche durchzuführen.The test unit or the method can provide parallel or simultaneous execution of several test sequences relating to several separate or partially overlapping monitoring areas.
Die Prüfsequenz kann jeweils für jeden Bildaufbau bzw. Bildschirmrefresh einzeln wiederholt werden. Zur Reduzierung der erforderlichen Rechenleistung und/oder zur Einführung einer zeitlichen Prüftoleranz kann sich die Prüfsequenz jedoch auch über mehr als einen Bildaufbau erstrecken und weist vorzugsweise eine Wiederholungsrate im Bereich der vom Menschen erfassbaren auf, typisch weniger als 30 Hz. Zweckmäßig kann die Wiederholungsrate der Prüfsequenz für einen Überwachungsbereich den 1/n-Bruchteil der Bildwiederholfrequenz f betragen.The test sequence can be repeated individually for each screen layout or screen refresh. However, to reduce the required computing power and / or to introduce a temporal test tolerance, the test sequence may be also extend over more than one image structure and preferably has a repetition rate in the range of human detectable, typically less than 30 Hz. Conveniently, the repetition rate of the test sequence for a surveillance area, the 1 / n fraction of the refresh rate f.
In bevorzugter Ausführungsform des Verfahrens bzw. der Vorrichtung umfasst das Darstellen eines Bildes eine Farbfläche, deren Farbe abhängig von der Zustandsinformation durch den Rechner bestimmt wird. Die Farbfläche kann insbesondere eine Kontroll- oder Warnleuchte symbolisieren oder den Hintergrund einer sicherheitsrelevanten, dynamisch veränderlichen Anzeige, wie beispielsweise eines Tachometers, darstellen.In a preferred embodiment of the method or the device, the representation of an image comprises a color area whose color is determined by the computer depending on the state information. In particular, the color surface can symbolize a control or warning light or represent the background of a security-relevant, dynamically variable display, such as a tachometer.
Insbesondere in Fällen in denen die Anzahl der Bildpunkte die veränderliche Information anzeigen nicht oder nur geringfügig ändert, wie beispielsweise bei einer typischen, analogen Tachometeranzeige, und bei der Sicherheitsprüfung von Farbflächen ist es zweckmäßig, vorzusehen, dass der Schwellwert für die Ergebnisvariable so bestimmt ist, dass ein positives Ergebnis der Sicherheitsprüfung bereits dann festgestellt werden kann, wenn lediglich ein vorbestimmter Anteil der für die Prüfsequenz getroffenen Auswahl von Bildpunkten das Vergleichskriterium der Vergleichsoperation erfüllt. Dieser Ansatz ermöglicht es, einzelne Bildpunktfehler als sicherheitsrelevantes Fehlerkriterium auszuschließen. So können beispielsweise EMV-bedingte Veränderungen im Bilddatenstrom, die zu unerheblichen Veränderungen des einzelnen Bildes führen, welche der Betrachter nicht erkennen kann, auf einfache Weise ausgeschlossen werden. Ein positives Prüfergebnis kann beispielsweise gebildet werden, wenn anstatt 100 % der Bildpunkte, 90 % der Bildpunkte einen gewünschten Farbwert aufweisen.In particular, in cases where the number of pixels does not or only slightly changes the variable information, as in a typical analog tachometer display, and in the color space security check, it is useful to provide that the threshold value for the result variable is determined a positive result of the safety check can already be determined if only a predetermined portion of the selection of pixels taken for the test sequence fulfills the comparison criterion of the comparison operation. This approach makes it possible to exclude individual pixel errors as a safety-relevant error criterion. Thus, for example, EMC-induced changes in the image data stream, which lead to insignificant changes in the individual image, which the viewer can not recognize, can be easily excluded. A positive test result can be formed, for example, if instead of 100% of the pixels, 90% of the pixels have a desired color value.
In einer rechentechnisch einfachen Bestimmung des Schwellwerts ist vorgesehen, dass die Prüfsequenz das schrittweise Erhöhen oder Verringern eines Bildpunktzählers umfasst. So kann der Schwellwert zur Bildung des Ergebnisses der Sicherheitsprüfung in Abhängigkeit des Bildpunktzählers bestimmt werden, beispielsweise als prozentualer Anteil der geprüften Gesamtzahl an Bildpunkten. Der Schwellwert muss somit nicht gesondert vorgegeben werden, sondern wird automatisch je nach Größe des Überwachungsbereichs und getroffener Auswahl zu prüfender Bildpunkte durch die Prüfsequenz bestimmt.In a computationally simple determination of the threshold value it is envisaged that the test sequence comprises incrementing or decrementing a pixel counter. Thus, the threshold value for forming the result of the security check can be determined as a function of the pixel counter, for example as a percentage of the tested total number of pixels. The threshold value therefore does not have to be specified separately, but is automatically determined by the test sequence, depending on the size of the monitoring area and the selection made for the pixels to be tested.
In einer zweckmäßigen Ausführung kann weiterhin vorgesehen sein, dass auch der für alle Bildpunkte des zu prüfenden Überwachungsbereichs geltende Referenzwert und/oder der zu prüfende Überwachungsbereich selbst jeweils durch die Prüfeinheit bestimmt wird. Dies erfolgt vorzugsweise in Abhängigkeit von der Zustandsinformation, welche der Prüfeinheit für die Bestimmung des Referenzwerts und/oder des Überwachungsbereichs zugeführt wird.In an expedient embodiment, it can furthermore be provided that the reference value valid for all pixels of the monitored area to be checked and / or the monitored area to be tested itself are also determined by the test unit. This is preferably done as a function of the status information which is supplied to the test unit for the determination of the reference value and / or the monitoring area.
In einer für viele Anwendungen, insbesondere für Warnhinweise, zweckmäßigen Ausführung ist vorgesehen, dass als Darstellungswerte im Bilddatenstrom die Farbwerte zu den Grundfarben eines Farbraums, insbesondere eines RGB-Farbraums mit jeweils 8 Bit Wortbreite pro Farbwert, verwendet werden. In der Prüfsequenz wird dann mindestens ein Farbwert, vorzugsweise werden alle Farbwerte, als Darstellungswert zu jedem Bildpunkt der erfindungsgemäßen Vergleichsoperation unterzogen.In a design which is expedient for many applications, in particular for warnings, it is provided that the color values for the primary colors of a color space, in particular of an RGB color space with 8-bit word widths per color value, are used as display values in the image data stream. In the test sequence, at least one color value, preferably all color values, are then subjected as the representation value to each pixel of the comparison operation according to the invention.
Zum Farbwertvergleich kann die Vergleichsoperation in der Prüfsequenz insbesondere als Toleranzvergleich ausgeführt sein, beispielsweise dahingehend, ob sich der aktuelle in der Prüfsequenz betrachtete Bildpunkt in allen oder in einem seiner Farbwerte, absolut oder relativ betrachtet, um mehr als einen bestimmten Prozentsatz von einem Sollfarbwert als Referenzwert unterscheidet.For comparison of color values, the comparison operation in the test sequence can be carried out in particular as a tolerance comparison, for example, if the actual pixel under consideration in all or one of its color values, in absolute or relative terms, is more than a certain percentage of a target color value as the reference value different.
Somit kann, anstatt eines bitweisen Identitätsvergleichs der gesamten Darstellungswerte für die Ansteuerung des Bildpunkts, die Vergleichsoperation Farbwert-für-Farbwert unter Betrachtung der einzelnen Farbwerte durchgeführt werden. Diese Art der Vergleichsoperation ermöglicht z.B. auch eine Berücksichtigung von unterschiedlichen Farbeinstellungen durch den darstellenden Rechner, beispielsweise in Abhängigkeit von Nutzerpräferenzen und erkennt dennoch die gewünschten Farbtöne.Thus, instead of performing a bitwise identity comparison of the total display values for driving the pixel, the color-by-color comparison operation may be performed by considering the individual color values. This type of comparison operation allows e.g. Also, consideration of different color settings by the performing computer, for example, depending on user preferences and still recognizes the desired hues.
Die erfindungsgemäße Prüfsequenz kann sich über jeden einzelnen Bildaufbau erstrecken. Zur Reduzierung der Rechenleistung oder Energieeinsparung kann beispielsweise vorgesehen sein, dass die Prüfsequenz sich lediglich über regelmäßig intermittierende Bildaufbauten im Sinne eines Sampling erstreckt. In bestimmten Anwendungsfällen ist eine sicherheitsgerichtete Überprüfung bereits gewährleistet, wenn beispielsweise jeder zweite Bildaufbau korrekt erfolgt. Demnach ist es in diesen Fällen ausreichend, nicht unmittelbar, sondern in periodischen Abständen aufeinander folgende Bildaufbauten der Prüfung zu unterziehen.The test sequence according to the invention can extend over each individual image structure. To reduce the computing power or energy saving, it may be provided, for example, that the test sequence only extends over regularly intermittent image structures in the sense of a sampling. In certain applications, a safety-related check is already ensured if, for example, every second image buildup is correct. Accordingly, it is sufficient in these cases not to examine the image directly but at regular intervals to examine it.
Ein intermittierendes Ausführen der Prüfsequenz gestattet zudem auch die Überprüfung einer blinkend anzuzeigenden Fläche. Hierzu ist vorzugsweise eine weitere Prüfsequenz vorgesehen, welche sich im Vergleich zu den vorgenannten intermittierenden Bildaufbauten über hierzu alternierend intermittierende Bildaufbauten erstreckt und eine Vergleichsoperation mit einem weiteren, zusätzlich gespeicherten Referenzwert durchführt.An intermittent execution of the test sequence also allows the verification of a flashing display area. For this purpose, a further test sequence is preferably provided, which extends in comparison to the abovementioned intermittent image structures on this alternately intermittent image structures and performs a comparison operation with a further, additionally stored reference value.
In einer zweckmäßigen Ausführungsform wird die Zustandsinformation von einem signaltechnisch sicheren Steuerrechner bestimmt und einerseits dem Rechner, welcher den Bilddatenstrom erstellt, und andererseits der Prüfeinheit, zugeführt.In an expedient embodiment, the state information is determined by a signal-technically secure control computer and, on the one hand, supplied to the computer, which generates the image data stream, and, on the other hand, to the test unit.
Zum Nachrüsten bestehender Systeme ist es besonders zweckmäßig, die Prüfeinheit als separates Modul getrennt von der Anzeige und getrennt vom Rechner auszuführen. Aus sicherheitstechnischen Gründen ist es zweckmäßig, wenn die Prüfeinheit zur Verbindung mit der Bilddatenleitung, insbesondere parallel zur Anzeige, einen Nur-Lese-Eingang aufweist, und somit den Bilddatenstrom nicht verändern kann.For retrofitting existing systems, it is particularly appropriate to run the test unit as a separate module separate from the display and separate from the computer. For safety reasons, it is expedient if the test unit for connection to the image data line, in particular parallel to the display, has a read-only input, and thus can not change the image data stream.
Die Prüfeinheit wird zweckmäßig unter Verwendung eines FPGA oder ASIC realisiert. Diese lassen sich ohne weiteres zur Durchführung eines Verfahrens mit den zuvor beschriebenen Merkmalen konfigurieren bzw. programmieren.The test unit is conveniently implemented using an FPGA or ASIC. These can be readily configured or programmed to perform a method with the features described above.
Zweckmäßig verfügt die Prüfeinheit neben einem Eingang für die Zustandsinformation und dem Eingang zum Anschluss an die Bilddatenleitung auch über einen Ausgang für die Ausgabe des Ergebnisses der Sicherheitsprüfung. Dieser Ausgang kann beispielsweise mit dem signaltechnisch sicheren Steuerrechner verbunden werden zwecks Veranlassung einer sicherheitsgerichteten Reaktion.The test unit expediently has, in addition to an input for the status information and the input for connection to the image data line, also an output for outputting the result of the safety test. This output can be connected, for example, to the fail-safe control computer for the purpose of initiating a safety-related reaction.
Die Erfindung betrifft schließlich auch eine Prüfeinheit zur Verwendung in einer Vorrichtung gemäß einer der vorstehend beschriebenen Ausführungsformen und schließlich auch die Verwendung der erfindungsgemäßen Vorrichtung ein einem Fahrzeug, insbesondere in einem Schienenfahrzeug.Finally, the invention also relates to a test unit for use in a device according to one of the embodiments described above, and finally also to the use of the device according to the invention in a vehicle, in particular in a rail vehicle.
Weitere Einzelheiten, Vorteile und Merkmale der Erfindung lassen sich dem nachfolgenden Teil der Beschreibung entnehmen, in der bevorzugte Ausführungsbeispiele des erfindungsgemäßen Verfahrens und Vorrichtungen zu dessen Umsetzung anhand von 2 Zeichnungen näher erläutert sind. Es zeigen:
- FIG.1
- eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung z.B. für ein Schienenfahrzeug;
- FIG.2
- eine schematische Darstellung einer möglichen Digitalschaltung zur Durchführung der Prüfsequenz gemäß dem erfindungsgemäßen Verfahren;
- FIG.3
- eine schematische Darstellung einer zweiten Ausführungsform einer erfindungsgemäßen Vorrichtung z.B. für ein Schienenfahrzeug.
- FIG.1
- a schematic representation of an embodiment of a device according to the invention, for example for a rail vehicle;
- FIG.2
- a schematic representation of a possible digital circuit for performing the test sequence according to the method of the invention;
- FIG.3
- a schematic representation of a second embodiment of a device according to the invention, for example for a rail vehicle.
Gleiche und entsprechende Bestandteile sind mit denselben Bezugszeichen versehen.The same and corresponding components are provided with the same reference numerals.
Die insgesamt mit 2 bezeichnete Sicherheitsvorrichtung 2 beseht im Wesentlichen aus einem handelsüblichen PC 4, welcher als darstellender Rechner Bilddaten erstellt und hiermit eine aus einem TFT-Panel bzw. TFT-Display 6 bestehende Anzeige ansteuert. Das TFT-Display ist über eine Bilddatenleitung 8, z.B. vom LVDS-Typ, mit dem PC 4 verbunden zur Ansteuerung der einzelnen Bildpunkte über einen sequenziellen Bilddatenstrom, derart, dass zeilenweise und letztlich seitenweise ein Bild aufgebaut und durch das TFT-Display 6 dargestellt wird. Ferner umfasst die Sicherheitsvorrichtung 2 eine Prüfeinheit 10, welche aus Mikroprozessoren und unter anderem einem FPGA 12 besteht.The safety device 2, which is designated as a whole by 2, consists essentially of a commercially available PC 4, which generates image data as a representative computer and hereby activates a display consisting of a TFT panel or
In dem dargestellten Beispiel wird über die mit dem Bezugszeichen 14 bezeichnete Datenverbindung dem PC 4 und der Prüfeinheit 10 eine Zustandsinformation zugeführt, welche einen sicherheitsrelevanten Systemzustand charakterisiert. Dieser Wert wird innerhalb des PCs 4 bei der Erstellung der Bilddaten berücksichtigt. Diese Bilddaten werden als serieller Bilddatenstrom über die Bilddatenleitung 8 dem TFT-Display 6 zugeführt werden.In the illustrated example, state information which characterizes a safety-relevant system state is supplied to the PC 4 and the
Durch den PC 4 werden unter anderem sicherheitsrelevante Informationen, z.B. eine Geschwindigkeitsanzeige ähnlich einem Tachometer, auf einem abgegrenzten Teilbereich des TFT-Displays 6 dargestellt, der als Überwachungsbereich 16 sicherheitstechnisch zu überprüfen ist. Das angezeigte Bild einschließlich der sicherheitsrelevanten Information im Überwachungsbereich 16 ist "vorgerendert" und damit fest vordefiniert. Um den Benutzer über einen sicherheitsrelevanten, kritischen Zustand zu informieren, kann der schraffiert dargestellte Überwachungsbereich 16 mit einem Hintergrund in einer Warnfarbe, z.B. in Rot, Gelb oder Orange hinterlegt werden. Der entsprechende Hintergrund soll angezeigt werden, wenn die Zustandsinformation über die Datenverbindung 14, insbesondere von einem signaltechnisch sicheren Steuerrechner 20, einen kritischen Zustand signalisiert (z.B. unverzüglich Anhalten bei rotem Hintergrund, bei nächstmöglichster Gelegenheit anhalten bei orangefarbenem Hintergrund oder Wartung erforderlich bei gelbem Hintergrund).Among other things, safety-relevant information, eg a speedometer similar to a tachometer, is displayed on a demarcated portion of the PC TFT displays 6 shown, which is to be monitored as a
Die Erfindung ermöglicht nun, auf einfache, zuverlässige und effiziente Weise derartige Überwachungsbereiche 16 dahingehend zu prüfen, ob der anzuzeigende Zustand tatsächlich korrekt angezeigt wird.The invention now makes it possible in a simple, reliable and efficient manner to check
Der über die LVDS-Bilddatenleitung 8 zum TFT-Display 6 geführte Bilddatenstrom wird vom FPGA 12 der Prüfeinheit 10 über die Rückleseleitung 18 und einen Nur-Lese-Eingang veränderungslos abgegriffen. Der FPGA 12 unterzieht die Bilddaten zum Überwachungsbereich 16 einer Sicherheitsprüfung.The image data stream fed via the LVDS
Hierzu werden als Darstellungswerte die RGB Farbwerte, d.h. jeweils 24bit zu jedem der ausgewählten Pixel bzw. Bildpunkte des Überwachungsbereichs nacheinander und pixelweise von der Rückleseleitung seriell in einen FIFO-Speicher, z.B. ein einfaches Schieberegister 22 ohne Rückkopplung mit 24bit Breite eingelesen. Der Inhalt des Schieberegisters wird mit einem im FPGA enthaltenen, in einem Register 24 zwischengespeicherten Referenzfarbwert verglichen. Falls alle Bit zum jeweiligen RGB-Farbwert, oder wie mit der Schaltung in
Nach Abschluss einer Prüfsequenz, z.B. nach einem vollständigen Bild- bzw. Seitenaufbau (Engl. screen refresh), wird dann geprüft, wie hoch der Anteil derjenigen Bildpunkte des Überwachungsbereichs 16 ist, die tatsächlich mit der entsprechend der Zustandsinformation korrekten Farbe angezeigt werden.Upon completion of a test sequence, e.g. After a complete screen refresh, it is then checked how high the proportion of those pixels of the
Wird eine vordefinierbare Schwelle, welche auch einem Anteil der Bildpunkte entsprechen kann, z.B. einem Anteil zw. 80% und 99%, überschritten, so erzeugt die Prüfeinheit 10 ein Ausgangssignal, z.B. an den sicheren Steuerrechner 20, welches das Ergebnis der Sicherheitsprüfung anzeigt, d.h. ob oder ob nicht die Farbfläche in hinreichendem Maße korrekt angezeigt wird. Hierzu wird als Ergebnisvariable nach jeder Prüfsequenz der Zählerstand des Erfolgszählers 26 ausgelesen.If a predefinable threshold, which may also correspond to a proportion of the pixels, e.g. a proportion between 80% and 99%, the
So kann beispielsweise für den Überwachungsbereich 16 festgestellt werden, ob eine farbliche Hinterlegung des Tachometers nicht eine exakte Farbe, sondern einen bestimmten Farbton aufweist, ohne hierfür eine exakte pixelweise Übereinstimmung zu fordern und zu prüfen. Dies kommt im Grundsatz der Ansteuerung einer Warnlampe gleich, deren Anzeige durch Strommessung überwacht wird.For example, it can be ascertained for the
Die Sicherheitsprüfung durch die Prüfeinheit 10 erfolgt zeitgleich zum Darstellen eines Bildes an der Anzeige 16. Dies wird mit geringem Aufwand durch serielle Verarbeitung des Datenstroms aus der Bilddatenleitung 8 in einer erfindungsgemäßen Prüfsequenz erreicht. Hierzu ist die Rechenleistung handelsüblicher FPGA ausreichend. Die Prüfeinheit 10 kann anstelle eines FPGA 12 auch andere geeignete, prozessorähnliche Komponenten z.B. einen ASIC verwenden.The safety check by the
Zur Reduzierung der Taktrate kann die Vergleichsoperation anstatt einer rein seriellen Verarbeitung auch mehrkanalig realisiert werden, d.h. mit mehreren parallel gespeisten einzelnen Schieberegistern entsprechend geringerer Bitbreite.To reduce the clock rate, the comparison operation instead of a purely serial processing can also be realized multi-channel, ie with several parallel-fed individual shift registers correspondingly smaller bit width.
In Anlehnung an die Lehre aus
Der Überwachungsbereich 16 ist im dargestellten Bild nach
Der Gegenstand der vorliegenden Erfindung ergibt sich nicht nur aus dem Gegenstand der einzelnen Ansprüche, sondern aus der Kombination der einzelnen Ansprüche untereinander. Alle in den Unterlagen - einschließlich der Zusammenfassung - offenbarten Angaben und Merkmale, insbesondere die in den Zeichnungen dargestellte räumliche Ausbildung, werden als erfindungswesentlich beansprucht, soweit sie einzeln oder in Kombination gegenüber dem Stand der Technik neu sind.The subject matter of the present invention results not only from the subject matter of the individual claims but also from the combination of the individual claims with one another. All information and features disclosed in the documents - including the abstract - in particular the spatial design shown in the drawings are claimed to be essential to the invention, as far as they are new individually or in combination with respect to the prior art.
-
FIG.1-3Fig.1-3 - 22
- Sicherheitsvorrichtungsafety device
- 44
- PCPC
- 66
- TFT-DisplayTFT display
- 88th
- LVDS BilddatenleitungLVDS image data line
- 1010
- Prüfeinheittest unit
- 1212
- FPGAFPGA
- 1414
- Datenleitungdata line
- 1616
- Überwachungsbereichmonitoring area
- 2020
- übergeordneter Sicherheitsrechnerhigher level security computer
- 2222
- Schieberegister (FIFO Speicher)Shift register (FIFO memory)
- 2424
- Registerregister
- 2626
- Erfolgszählersuccess counter
- 3030
- codebasierte Prüfeinheitcode-based test unit
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PL14178345T PL2833349T4 (en) | 2013-07-31 | 2014-07-24 | Method and device for representing a safety-relevant state |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013012679.7A DE102013012679A1 (en) | 2013-07-31 | 2013-07-31 | Method and device for displaying a safety-relevant state |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2833349A1 true EP2833349A1 (en) | 2015-02-04 |
EP2833349B1 EP2833349B1 (en) | 2018-04-04 |
Family
ID=51229810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP14178345.6A Active EP2833349B1 (en) | 2013-07-31 | 2014-07-24 | Method and device for representing a safety-relevant state |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2833349B1 (en) |
DE (1) | DE102013012679A1 (en) |
PL (1) | PL2833349T4 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017125323A1 (en) * | 2016-01-21 | 2017-07-27 | Robert Bosch Gmbh | Device and method for checking the validity of image data in a display device |
WO2018050379A1 (en) * | 2016-09-14 | 2018-03-22 | Robert Bosch Gmbh | Apparatus and method for monitoring non-display of a prescribed image, in particular of a warning symbol, in a display of a display apparatus |
EP3547180A1 (en) * | 2018-03-29 | 2019-10-02 | Deuta-Werke GmbH | Optimisation of the security validation for the presentation of security-relevant image data |
CN110462629A (en) * | 2017-03-30 | 2019-11-15 | 罗伯特·博世有限公司 | The system and method for eyes and hand for identification |
EP4052990A1 (en) * | 2021-03-04 | 2022-09-07 | Deuta-Werke GmbH | Secure head-up display in the driver's cab of a railway vehicle |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018041777A1 (en) | 2016-08-31 | 2018-03-08 | Siemens Aktiengesellschaft | Monitoring a display of an operator compartment of a means of transportation |
DE102017200915A1 (en) | 2017-01-20 | 2018-07-26 | Bayerische Motoren Werke Aktiengesellschaft | A method and apparatus for displaying an indication to a user and work device |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3411015C2 (en) | 1984-03-24 | 1987-12-10 | Standard Elektrik Lorenz Ag, 7000 Stuttgart, De | |
EP0584895A2 (en) * | 1992-08-28 | 1994-03-02 | Siemens Aktiengesellschaft | Fail-safe displaying method of traffic technical information for a traffic route system |
EP0856792B1 (en) | 1997-01-31 | 2003-02-05 | Alcatel | Method for the safe display of an image on a monitor |
US20070046680A1 (en) * | 2005-08-24 | 2007-03-01 | Hedrick Geoffrey S | Aircraft flat panel display system with improved information availability |
WO2009050106A1 (en) | 2007-10-10 | 2009-04-23 | Robert Bosch Gmbh | Test device, display device and method for testing the validity of display signals |
EP2273369B1 (en) | 2009-07-06 | 2011-11-30 | Deuta-Werke GmbH | Method for presenting safety-relevant information on a display device and device for carrying out the method |
WO2012003872A1 (en) | 2010-07-08 | 2012-01-12 | Osram Opto Semiconductors Gmbh | Optoelectronic device having an elastic electrode |
EP2439722A1 (en) | 2010-09-20 | 2012-04-11 | Pixy AG | Method for inspecting pixel-formated display data for display on a screen of a display device in a vehicle |
EP2353089B1 (en) | 2009-07-06 | 2012-05-30 | Deuta-Werke GmbH | Method for representation of safety-relevant information on a display and apparatus for the application of the method |
EP2254039B1 (en) | 2009-05-20 | 2012-12-12 | Bombardier Transportation GmbH | Visual display module with control of display data by checksum |
-
2013
- 2013-07-31 DE DE102013012679.7A patent/DE102013012679A1/en not_active Ceased
-
2014
- 2014-07-24 EP EP14178345.6A patent/EP2833349B1/en active Active
- 2014-07-24 PL PL14178345T patent/PL2833349T4/en unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3411015C2 (en) | 1984-03-24 | 1987-12-10 | Standard Elektrik Lorenz Ag, 7000 Stuttgart, De | |
EP0584895A2 (en) * | 1992-08-28 | 1994-03-02 | Siemens Aktiengesellschaft | Fail-safe displaying method of traffic technical information for a traffic route system |
EP0856792B1 (en) | 1997-01-31 | 2003-02-05 | Alcatel | Method for the safe display of an image on a monitor |
US20070046680A1 (en) * | 2005-08-24 | 2007-03-01 | Hedrick Geoffrey S | Aircraft flat panel display system with improved information availability |
WO2009050106A1 (en) | 2007-10-10 | 2009-04-23 | Robert Bosch Gmbh | Test device, display device and method for testing the validity of display signals |
EP2254039B1 (en) | 2009-05-20 | 2012-12-12 | Bombardier Transportation GmbH | Visual display module with control of display data by checksum |
EP2273369B1 (en) | 2009-07-06 | 2011-11-30 | Deuta-Werke GmbH | Method for presenting safety-relevant information on a display device and device for carrying out the method |
EP2353089B1 (en) | 2009-07-06 | 2012-05-30 | Deuta-Werke GmbH | Method for representation of safety-relevant information on a display and apparatus for the application of the method |
WO2012003872A1 (en) | 2010-07-08 | 2012-01-12 | Osram Opto Semiconductors Gmbh | Optoelectronic device having an elastic electrode |
EP2439722A1 (en) | 2010-09-20 | 2012-04-11 | Pixy AG | Method for inspecting pixel-formated display data for display on a screen of a display device in a vehicle |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017125323A1 (en) * | 2016-01-21 | 2017-07-27 | Robert Bosch Gmbh | Device and method for checking the validity of image data in a display device |
CN108475488A (en) * | 2016-01-21 | 2018-08-31 | 罗伯特·博世有限公司 | Device and method for the validity for examining the image data in display device |
KR20180102588A (en) * | 2016-01-21 | 2018-09-17 | 로베르트 보쉬 게엠베하 | Apparatus and method for validating image data in a display device |
KR102625935B1 (en) | 2016-01-21 | 2024-01-18 | 로베르트 보쉬 게엠베하 | Apparatus and method for validating image data in a display device |
WO2018050379A1 (en) * | 2016-09-14 | 2018-03-22 | Robert Bosch Gmbh | Apparatus and method for monitoring non-display of a prescribed image, in particular of a warning symbol, in a display of a display apparatus |
CN110462629A (en) * | 2017-03-30 | 2019-11-15 | 罗伯特·博世有限公司 | The system and method for eyes and hand for identification |
CN110462629B (en) * | 2017-03-30 | 2024-04-02 | 罗伯特·博世有限公司 | System and method for identifying eyes and hands |
EP3547180A1 (en) * | 2018-03-29 | 2019-10-02 | Deuta-Werke GmbH | Optimisation of the security validation for the presentation of security-relevant image data |
EP4052990A1 (en) * | 2021-03-04 | 2022-09-07 | Deuta-Werke GmbH | Secure head-up display in the driver's cab of a railway vehicle |
Also Published As
Publication number | Publication date |
---|---|
PL2833349T3 (en) | 2018-11-30 |
PL2833349T4 (en) | 2018-11-30 |
DE102013012679A1 (en) | 2015-02-05 |
EP2833349B1 (en) | 2018-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2833349B1 (en) | Method and device for representing a safety-relevant state | |
EP2273369B1 (en) | Method for presenting safety-relevant information on a display device and device for carrying out the method | |
EP1518413B1 (en) | Interface and method for image data transmission | |
DE102007048608A1 (en) | A test device, display device and method for checking validity of display signals | |
EP3974284A1 (en) | Method for representing augmented reality and devices for applying the method | |
DE102012207439A1 (en) | Method for displaying safety-critical data by a display unit; display unit | |
EP2439722B1 (en) | Method for inspecting pixel-formated display data for display on a screen of a display device in a vehicle | |
DE102012217291A1 (en) | Method for error disclosure in an interlocking computer system and interlocking computer system | |
EP2146551B1 (en) | Control of LED lamp, in particular for railway signalisation | |
DE112020002402T5 (en) | STEERING CONTROL DEVICE AND METHOD AND STEERING CONTROL SYSTEM | |
EP3571085A1 (en) | Method and device for displaying a notification for a user and working device | |
DE102012217556A1 (en) | User interface and method for fault diagnosis of an industrial plant | |
DE102015012889B4 (en) | Display device and method for checking display content | |
EP1901148B1 (en) | Display system for graphic display of alarm signals from a technical facility or a technical process | |
DE102022114705A1 (en) | Apparatus and method for detecting a screen freeze failure of a vehicle display | |
DE102012208481B4 (en) | Method and device for operating a computer system | |
DE102010026392B4 (en) | Procedure for the safe parameterization of a safety device | |
DE102013202814A1 (en) | Method for error disclosure in a interlocking computer system and interlocking computer system | |
EP1739556A1 (en) | Method of error detection in a control and/or supervision apparatus for a process | |
WO2019179712A1 (en) | Method and device for protected display of an operation-relevant image content for the representation on a display in a motor vehicle | |
EP3488303B1 (en) | Monitoring of a display of a driver's cab of a means of transportation | |
DE102018222493A1 (en) | Method for validating environment image data, device, computer program and computer-readable storage medium | |
DE102018209704A1 (en) | Means of transportation and device for issuing a request to take over vehicle guidance | |
EP3646313B1 (en) | Apparatus and method for displaying image data on a secured display | |
DE102017208170A1 (en) | Method for monitoring operation of a binary interface and corresponding binary interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
17P | Request for examination filed |
Effective date: 20140724 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
R17P | Request for examination filed (corrected) |
Effective date: 20150804 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
17Q | First examination report despatched |
Effective date: 20151202 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20171011 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 986392 Country of ref document: AT Kind code of ref document: T Effective date: 20180415 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502014007819 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: ISLER AND PEDRAZZINI AG, CH |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20180404 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180704 Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180704 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180705 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: AT Payment date: 20181019 Year of fee payment: 15 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180806 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502014007819 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: PL Payment date: 20180716 Year of fee payment: 5 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
26N | No opposition filed |
Effective date: 20190107 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180724 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20180731 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180724 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180731 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20190725 Year of fee payment: 6 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190724 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20140724 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180404 Ref country code: MK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180404 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20180804 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190724 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 986392 Country of ref document: AT Kind code of ref document: T Effective date: 20200724 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200731 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200731 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200724 |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230518 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20230731 Year of fee payment: 10 Ref country code: GB Payment date: 20230724 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230724 Year of fee payment: 10 Ref country code: DE Payment date: 20230927 Year of fee payment: 10 |