EP1472890A1 - Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor - Google Patents

Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor

Info

Publication number
EP1472890A1
EP1472890A1 EP03708070A EP03708070A EP1472890A1 EP 1472890 A1 EP1472890 A1 EP 1472890A1 EP 03708070 A EP03708070 A EP 03708070A EP 03708070 A EP03708070 A EP 03708070A EP 1472890 A1 EP1472890 A1 EP 1472890A1
Authority
EP
European Patent Office
Prior art keywords
noise
dark
current
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03708070A
Other languages
English (en)
French (fr)
Other versions
EP1472890B1 (de
Inventor
Oliver Fuchs
Dieter Bittner
Martin Wendler
Dietmar DÖTTLING
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of EP1472890A1 publication Critical patent/EP1472890A1/de
Application granted granted Critical
Publication of EP1472890B1 publication Critical patent/EP1472890B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to a method for checking the functional reliability of an image sensor which has a multiplicity of light-sensitive pixels, gray values being read out from at least one light-sensitive pixel.
  • the invention further relates to a device, in particular an electronic camera, with an image sensor which has a multiplicity of light-sensitive image points, further with an output unit which provides gray values of the light-sensitive image points for reading out, and with a monitoring unit for checking the functional reliability of the image sensor, wherein the monitoring unit contains at least one memory for storing reference values.
  • Such a method and such a device are known for example from DE 100 17 333 AI.
  • the protective device contains an electronic camera with which, for example, the danger zone of an automated machine can be recorded.
  • the captured image is evaluated by means of electronic image processing in order to check whether, for example, a person is in the danger area. If necessary, the machine is switched off.
  • the object image recorded by the camera is changed to check the functional reliability of the image sensor.
  • the changed object image is then compared to a reference image that contains the expected changes. If the changed object image differs from the reference image, it is concluded that the image sensor is malfunctioning.
  • a protective device that, among other things, meets the high safety requirements of categories 3 and 4 of the European standard EN 954-1. In particular, it is possible to achieve continuous monitoring of the danger zone and a check of individual pixels.
  • the targeted modification of the object image requires mechanical and / or optical components that influence the beam path of the incident light. This makes the known protective device relatively expensive.
  • EP 0 902 402 A2 discloses a method and a device for the optical monitoring of a spatial area. To check the functional reliability of this device, a camera with a light emitting diode is dazzled. The image pattern then recorded by the camera is compared with a stored reference pattern.
  • this method has the disadvantage that the camera is "blind" while the function test is being carried out, which makes it impossible to monitor the entire time. Besides, this method cannot be reliably checked whether individual pixels or areas of the image sensor used are faulty.
  • EP 0 179 252 A2 describes a protective device with a camera which is based on the optical evaluation of color differences.
  • An operator to be protected wears clothing that differs in color from the dangerous machine.
  • the presence of a color sample is constantly checked.
  • the object is further achieved by a device of the type mentioned in the introduction, in which at least one reference noise measure for at least one pixel is stored in the memory and in which the monitoring unit has a noise determination part and a comparator, with the noise determination part being a current noise measure of the gray values of the at least one pixel can be determined, the current noise figure and the reference noise figure being comparable to the comparator, and a functional error being assumed if the current noise figure misses a predetermined criterion with respect to the reference noise figure.
  • a basic idea of the present invention is based on the surprising finding that a defective pixel of an image sensor has a different noise behavior than a functional pixel.
  • the statistical fluctuations in the gray values of the individual pixels are referred to as noise, which occur even under constant ambient conditions. These statistical fluctuations can be attributed to various causes, including the so-called photon noise, the so-called dark noise and the so-called local noise.
  • Photon noise is based on the quantum physical property of light. Clearly, there are signal fluctuations here, because at different times different numbers of "light particles" hit the pixels. Photon noise increases with increasing intensity of the incident light. At high light intensities, the photon noise dominates and the total noise level is then approximately proportional to the root of the light intensity.
  • Dark noise describes statistical processes in the conversion of the electromagnetic energy incident on the image sensor into electrical signals. Dark noise is among other things caused by inhomogeneities in charge carrier transport. Furthermore, electronic components integrated in or linked to the image sensor contribute to the noise level. The independence from the light intensity is characteristic of the dark noise. Dark noise, however, depends on the ambient temperature.
  • Spatial noise (fixed pattern noise) results from inhomogeneities of the individual pixels of an image sensor. The main reason for this are manufacturing tolerances. Spatial noise has no influence on the noise behavior of a single pixel, it only appears when compared with other pixels.
  • the method according to the invention compares the current noise behavior of the pixel to be checked with an expectation that is characterized by the reference noise figure.
  • the reference noise figure reflects the noise behavior of an intact pixel.
  • the comparison is based on a given criterion instead, which can be, for example, a size comparison or an identity comparison depending on the noise measures defined in the individual case. If the current noise figure for the checked pixel reveals a different noise behavior than is characterized by the reference noise figure, a functional error is assumed.
  • the method according to the invention does not require any additional mechanical or optical components which act on the recorded image.
  • the method can be carried out solely on the basis of the gray values already present. Accordingly, a device according to the invention can be implemented very inexpensively, in particular in large quantities.
  • the method according to the invention enables seamless monitoring, since checking the functional reliability does not require any external test signals.
  • the image sensor does not become "blind".
  • the current noise figure is determined so that it changes depending on a light intensity
  • the reference noise figure is a dark noise figure
  • the current noise figure primarily reflects the strength of the photon noise.
  • the dark noise figure indicates the noise level of the pixel in the dark. Because the photon noise leads to a light-dependent increase in noise by comparing the sizes of these two noise measures, it is particularly easy to determine whether a pixel has the desired sensitivity to incident light. A functional error is assumed if the current noise figure does not exceed the dark noise figure despite an existing basic brightness. Since the light strikes the image sensor “from the outside”, the entire signal processing chain, which also passes through a recorded image signal, is checked in a single step. This configuration therefore enables the entire image recording path to be checked efficiently and completely.
  • the current noise figure is determined by a statistical evaluation of a plurality of gray values read out in succession.
  • the preferred determination of the current noise figure here is, however, very simple and inexpensive to implement, since a generic camera often already has a microprocessor or microcontroller with which a statistical evaluation of data can be carried out.
  • the device according to the invention therefore does not require any additional measuring means.
  • the variance of the gray values of a pixel, the mean deviation of a current gray value from the previous gray value or the difference of the extreme values of all gray values of a pixel within a measurement cycle can serve as the current noise measure.
  • the current noise figure and the reference noise figure are determined in the same way.
  • the current noise figure and the reference noise figure are compared with one another as a function of a current ambient temperature.
  • the current noise figure for the at least one pixel is determined as an absolute value.
  • the current noise figure for each pixel is then isolated, that is to say independently of other pixels.
  • the preferred measure facilitates the detection of so-called “stuck at” errors, in which the gray values of a pixel "stick” to a constant value regardless of the incidence of light.
  • the variance or the average deviation of a current gray value from its predecessor value is preferably used here as the absolute value.
  • the current noise figure and the reference noise figure are compared with respect to identical picture elements.
  • the current noise figure is determined by a ratio of the gray values of at least two different pixels.
  • the noise figure used reflects the characteristic behavior of at least two separate pixels. This enables easy detection of cross correlations. For example, the mean value of the difference in amount between simultaneous gray values of the two pixels can be used here as a noise measure. If, despite an existing basic brightness, this noise figure is less than or equal to the dark noise, the pixels are not independent of one another, i.e. there is an incorrect coupling.
  • the current noise figure is formed from the ratio of the gray values of spatially adjacent pixels.
  • the search for faulty couplings is specifically focused on pixels where coupling is likely to occur.
  • the measure can reduce the data processing effort and accelerate the implementation of the method.
  • the current noise figure and the reference noise figure are compared with respect to individual pixels.
  • the image sensor is checked with pixel accuracy, which enables the detection of the smallest errors. This ensures a particularly high functional reliability of the image sensor.
  • the current noise figure and the reference noise figure are compared with respect to groups of pixels.
  • the image sensor is no longer checked individually for each pixel, but only in areas.
  • an average gray value is also determined from the at least one light-sensitive pixel and the step of comparing is carried out as a function of the average gray value.
  • FIG. 1 is a schematic representation of a device according to the invention in the form of an electronic camera
  • FIG. 3 shows a flow chart to explain a first exemplary embodiment of the method according to the invention
  • Fig. 4 is a flow chart for explaining a second embodiment of the method according to the invention
  • Fig. 5 is a flow chart to explain a third embodiment of the method according to the invention.
  • a device according to the invention in the form of an electronic camera is designated in its entirety by reference number 10.
  • the camera 10 has an image sensor 12 with a multiplicity of individual image points 14, 16.
  • the image points 14, 16 are arranged in a matrix-like manner, sometimes also linear in the case of smaller image sensors, and together form the light-sensitive surface of the image sensor 12.
  • Reference number 18 denotes an output unit which provides gray values for the light picked up by the pixels 14, 16 for reading out.
  • grayscale values has been used to describe these values. However, it does not rule out that the image sensor also supplies color information which is coded in these values.
  • the gray values are here passed on as digital numerical values via a connection 20 to a subsequent image processing unit.
  • the subsequent image processing unit can also be integrated into the housing of the camera 10, which is particularly preferred if the camera 10 is used in a protective device to secure a danger zone.
  • the image sensor 12 is preferably a CMOS image sensor with a linear characteristic.
  • the invention is not limited to this and can also be used with other image sensors.
  • Reference number 22 denotes a schematically indicated beam path under which light 24 strikes the image sensor 12.
  • the reference numeral 26 denotes a monitoring unit for checking the functional reliability of the camera 10 and in particular the image sensor 12.
  • the monitoring unit 26 is implemented with a microprocessor on which the method according to the invention is carried out in the form of program steps.
  • the monitoring unit 26 has a memory (not shown here) in which the individual program steps are stored in a manner known per se.
  • the monitoring unit 26 contains a comparator 28.
  • the comparator 28 is connected on the one hand to a memory 30 in which the dark noise dimensions of the individual pixels 14, 16 are stored as reference values.
  • the dark noise dimensions of the pixels 14, 16 are determined when the camera 10 is calibrated and stored in the memory 30.
  • the comparator 28 is connected to a noise determination part 32, in which a current noise measure of the gray values can be determined for each pixel 14, 16.
  • the Comparator 28 compares a currently determined noise figure with a corresponding dark noise figure in the manner explained in more detail below.
  • Reference numeral 34 denotes a temperature sensor, the output signal of which is fed to the memory 30. This makes it possible to select the dark noise figure used for comparison as a function of the respective ambient temperature.
  • the 'memory 30 in the present embodiment directly connected to the noise determination part 32nd As a result, the dark noise measures can be determined very simply in the same way as the current noise measures used in the operation of the camera 10.
  • the result of the comparison of the two noise measures mentioned is provided at the output of the comparator 28.
  • the comparator 28 generates an error signal which is led to the outside via a connection 36.
  • the reference number 40 denotes a characteristic curve which represents the noise behavior of an individual pixel 14, 16 as a function of the light intensity. Accordingly, the intensity ⁇ of the incident light 24 is plotted on the abscissa 42 and the noise level N is plotted on the ordinate 44. For example, a point 46 on the characteristic curve 40 has the coordinates ( ⁇ 3 , N j ).
  • Reference number 48 shows that noise component which is independent of the intensity of the incident light. This noise component is mainly due to the dark noise. In contrast, the increase in the characteristic curve 40 with increasing light intensity ⁇ shows the photon noise.
  • FIG. 3 shows a flow chart for a method with which so-called “stuck at” errors can be detected in individual pixels 14, 16.
  • the method begins in step 50 by reading in a gray value X j for the pixel to be checked. Then, in step 52, a check is carried out to determine whether the gray value X j read in indicates a signal dynamic.
  • a signal dynamic is present in particular when the gray value X j differs from the previous gray value (s) X j _ k by more than a predetermined difference. This can happen, for example, on the basis of movements in the monitored area. If a signal dynamic is recognized, a “stuck at” error can be excluded from the outset, which is why the method returns to step 50.
  • step 54 determines whether the mean gray value x of the image point has a sufficient basic brightness (x> x t ). If the mean gray value x of the checked pixel lies below a defined basic brightness x t , the proportion of photon noise in the total noise level is too low to obtain reliable information about the functionality of the pixel with this method. Accordingly returns in this case the method returns to step 50. If this result is repeated several times, an error signal can also be generated (not shown).
  • step 56 If the basic brightness x of the gray values of the checked image point lies above said threshold x t , a current noise figure is determined in step 56. According to step 58, the ambient temperature ⁇ is also taken into account in this exemplary embodiment.
  • the current noise figure is preferably determined here as a variance or as a standard deviation (root of the variance) by a statistical evaluation according to the following formula:
  • x the current gray value
  • x the mean value of all gray values taken into account
  • n the number of measurements
  • ⁇ the temperature
  • the current noise figure can also be determined as the average deviation of the current gray value from the previous gray values.
  • the noise figure is determined using the following formula:
  • the difference between the maximum and minimum gray value of the checked pixel within a measurement cycle can also be used as the current noise figure. This is a very simple determination of a noise figure. However, the two alternatives mentioned above are preferred, since they enable the pixel to be checked more reliably.
  • step 60 the currently determined noise figure is then compared with a dark noise figure x dark ( ⁇ ) determined in the same way, which is read out from the memory 30 of the camera 10 in accordance with step 62. Is the currently determined noise x no ⁇ se greater than the dark noise factor used for comparison x dark, the function of the checked pixel in order. The method returns to step 50 accordingly and a new verification cycle begins.
  • step 64 If the dark noise figure x dark is greater than the currently determined noise figure x no ⁇ se , then there is a "stuck at" error and an error handling routine follows in step 64. Within the error handling routine 64, for example, an error signal can be output via the connection 36. The method then returns to step 50 to begin a new scan cycle for other pixels.
  • step 70 the gray values a ⁇ , b j of the two pixels to be compared are first read out. The two gray values are then compared in step 72. If the two gray values differ significantly, which can be caused, for example, by a light-dark structure in the recorded image, it is assumed here that there is no coupling. The method returns to step 70 accordingly.
  • step 72 the basic brightness for the two pixels is checked again in step 74. If the basic brightness is too low, the method returns to step 70, since a reliable statement is then not guaranteed. If this result is repeated several times, an error signal is generated (not shown).
  • a current noise figure is determined in step 76 from the ratio of the gray values of the two pixels, using the following formula:
  • R the noise figure
  • a the gray value of the first pixel
  • b the gray value of the second pixel
  • n the number of measuring cycles.
  • step 58 the temperature is again taken into account.
  • step 78 it is then checked whether the noise figure ⁇ determined in this way is greater than the dark noise figure ⁇ stored in the memory 30 for the corresponding temperature. If the dark noise figure ⁇ «is smaller, it is assumed that there is no coupling between the two pixels. However, if the mean deviation ⁇ of the two pixels is less than or equal to the dark noise figure Adark, it must be assumed that the two pixels are coupled. Accordingly, an error routine is initiated in step 80.
  • step 90 the gray values _ t and b j of the two pixels are first read out again.
  • a current noise figure is then determined in step 92 using the following formula:
  • step 94 the noise figure U is compared with a dark noise figure Udark, which was determined using the same formula as above, but in the dark. If the current noise figure U is greater than the stored dark noise figure, there is no coupling between the two pixels. Otherwise, an error routine follows in accordance with step 96.
  • the advantage of the method according to FIG. 5 is that the coupling of the respective gray values between two pixels can be influenced by an additive or multiplicative constant, since it is only checked here whether the statistical temporal fluctuation of the gray values is independent of one another.
  • image sensors in which the pixels located on the outer edge are arranged in such a way that, due to the design, no light can fall on them. These edge pixels therefore always provide signals that correspond to a dark value.
  • an image sensor is used in the camera according to the invention, and the dark noise measure used as a reference is determined from the gray values of the darkened pixels at the edge.
  • those on the edge of an image pixels located in the sensor can also be darkened by a suitable arrangement in the camera so that the required reference values can be easily determined.
  • the following formula is used to determine the noise figure:
  • n the number of pixels.
  • the difference in amount of the gray values from two successive images is determined for each pixel.
  • a mean difference in amount is then formed across all pixels.
  • a dark noise measure is used as the reference noise measure, which is determined in the same way from two successive dark pictures.
  • the two noise measures are here determined from a large number of pixels of a difference image.
  • the current noise figure must exceed the dark noise figure, provided there is a certain basic brightness. If the current noise figure is smaller than the dark noise figure, the image sensor obviously delivers "frozen image", ie it no longer reacts to changes in the currently incident light.
  • Movements and motif changes in the successive images increase the current size compared to the dark noise figure, which, however, then also indicates a functioning image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Heads (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Überprüfen der Funktionssicherheit eines Bildsensors (12), der eine Vielzahl von lichtempfindlichen Bildpunkten (14, 16) aufweist, wobei Grauwerte von zumindest einem lichtempfindlichen Bildpunkt (14, 16) ausgelesen werden. Das Verfahren ist gekennzeichnet durch die Schritte: Bestimmen (32) eines aktuellen Rauschmasses (Xnoise;Λ;Υ) der Grauwerte des zumindest einen Bildpunktes (14, 16), Bereitstellen (30; 62) eines Dunkelrauschmasses (Xdark;Λdark;Υdark) für den zumindest einen Bildpunkt (14, 16), und Vergleichen (28) des aktuellen Rauschmasses und des Dunkelrauschmasses, wobei ein Funktionsfehler angenommen wird (36), wenn das aktuelle Rauschmass ein vorgegebenes Kriterium in bezug auf das Referenzrauschmaß verfehlt. Die Erfindung betrifft ferner eine Vorrichtung, in der ein solches Verfahren implementiert ist.

Description

Verfahren zum Überprüfen der Funktionssicherheit eines Bildsensors sowie Vorrichtung mit einem Bildsensor
Die vorliegende Erfindung betrifft ein Verfahren zum Überprüfen der Funktionssicherheit eines Bildsensors, der eine Vielzahl von lichtempfindlichen Bildpunkten aufweist, wobei Grauwerte von zumindest einem lichtempfindlichen Bildpunkt ausgelesen werden . Die Erfindung betrifft ferner eine Vorrichtung, insbesondere eine elektronische Kamera, mit einem Bildsensor, der eine Vielzahl von lichtempfindlichen Bildpunkten aufweist, ferner mit einer Ausgabeeinheit, die Grauwerte der lichtempfindlichen Bildpunkte zum Auslesen bereitstellt, und mit einer Überwachungseinheit zum Überprüfen der Funktionssicherheit des Bildsensors, wobei die Überwachungseinheit zumindest einen Speicher zum Abspeichern von Referenzwerten beinhaltet.
Ein solches Verfahren und eine solche Vorrichtung sind beispielsweise aus der DE 100 17 333 AI bekannt.
In dieser Druckschrift ist eine Schutzvorrichtung zum Absichern eines Gefahrenbereichs sowie ein Verfahren zum Überprüfen der Funktionssicherheit der Schutzvorrichtung beschrieben. Die Schutzvorrichtung beinhaltet eine elektronische Kamera, mit der beispielsweise der Gefahrenbereich einer automatisiert arbeitenden Maschine aufgenommen werden kann. Das aufgenommene Bild wird mit Mitteln der elektronischen Bildverarbeitung ausgewertet, um zu überprüfen, ob sich beispielsweise eine Person in dem Gefahrenbereich aufhält. Gegebenenfalls wird die Maschine abgeschaltet.
Um die mit einer solchen Schutzvorrichtung gewünschte Absicherung zu erreichen, ist es erforderlich, die Funktionssicherheit der Schutzvorrichtung selbst zu gewährleisten. Es muß ausgeschlossen sein, daß die Schutzvorrichtung beispielsweise gerade dann versagt, wenn eine Person den Gefahrenbereich betritt. Aus diesem Grund ist es erforderlich, die Funktionssicherheit der in der Schutzvorrichtung verwendeten Kamera regelmäßig zu überprüfen.
Gemäß der DE 100 17 333 AI wird zum Überprüfen der FunktionsSicherheit des Bildsensors das von der Kamera aufgenommene Objektbild verändert. Das veränderte Objektbild wird dann mit einem Referenzbild verglichen, das die erwarteten Veränderungen beinhaltet. Weicht das veränderte Objektbild von dem Referenzbild ab, wird auf einen Funktionsfehler des Bildsensors geschlossen. Mit diesem Verfahren ist es möglich, eine Schutzvorrichtung zu realisieren, die unter anderem die hohen Sicherheitsanforderungen der Kategorien 3 und 4 der Europäischen Norm EN 954-1 erfüllt. Insbesondere ist es möglich, eine zeitlich lückenlose Überwachung des Gefahrenbereichs sowie eine Überprüfung einzelner Bildpunkte (Pixel) zu erreichen. Die gezielte Veränderung des Objektbildes erfordert jedoch mechanische und/oder optische Komponenten, die den Strahlengang des einfallenden Lichts beeinflussen. Hierdurch wird die bekannte Schutzvorrichtung relativ teuer.
Aus der EP 0 902 402 A2 sind ein Verfahren sowie eine Vorrichtung zur optischen Überwachung eines Raumbereichs bekannt. Um die Funktionssicherheit dieser Vorrichtung zu überprüfen, wird eine Kamera mit einer Leuchtdiode geblendet. Das dann von der Kamera aufgenommene Bildmuster wird mit einem abgespeicherten Referenzmuster verglichen. Dieses Verfahren besitzt jedoch den Nachteil, daß die Kamera während der Durchführung des Funktionstests "blind" ist, was eine zeitlich lückenlose Überwachung unmöglich macht. Außerdem kann mit diesem Verfahren nicht zuverlässig überprüft werden, ob einzelne Bildpunkte oder Bereiche des verwendeten Bildsensors fehlerhaft sind.
In der EP 0 179 252 A2 ist eine Schutzvorrichtung mit einer Kamera beschrieben, die auf der optischen Auswertung von Farbunterschieden beruht. Eine zu schützende Bedienperson trägt eine Bekleidung, die sich farblich von der gefährlichen Maschine unterscheidet. Um die Funktionssicherheit der für die Überwachung verwendeten Kamera zu überprüfen, wird das Vorhandensein eines Farbmusters ständig überprüft. Auch mit diesen Verfahren ist es jedoch nicht möglich, gezielt einzelne Bildpunkte oder Bereiche des in der Kamera verwendeten Bildsensors zu überprüfen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren anzugeben, mit dem die Funktionssicherheit eines Bildsensors zuverlässig überprüft werden kann. Es ist des weiteren eine Aufgabe, eine entsprechende Vorrichtung, insbesondere eine elektronische Kamera, anzugeben, deren Funktionssicherheit zuverlässig und lückenlos überprüfbar ist.
Diese Aufgabe wird mit einem Verfahren der eingangs genannten Art gelöst, das folgende Schritte beinhaltet:
Bestimmen eines aktuellen Rauschmaßes der Grauwerte des zumindest einen Bildpunktes,
Bereitstellen eines Referenzrauschmaßes für den zumindest einen Bildpunkt, und Vergleichen des aktuellen Rauschmaßes und des Referenzrauschmaßes, wobei ein Funktionsfehler angenommen wird, wenn das aktuelle Rauschmaß ein vorgegebenes Kriterium in bezug auf das Referenzrauschmaß verfehlt.
Die Aufgabe wird des weiteren durch eine Vorrichtung der eingangs genannten Art gelöst, bei der in dem Speicher zumindest ein Referenzrauschmaß für zumindest einen Bildpunkt abgespeichert ist und bei der die Überwachungseinheit einen Rauschbestimmungsteil sowie einen Vergleicher aufweist, wobei mit dem Rauschbestimmungsteil ein aktuelles Rauschmaß der Grauwerte des zumindest einen Bildpunktes bestimmbar ist, wobei mit dem Vergleicher das aktuelle Rauschmaß und das Referenzrauschmaß vergleichbar sind, und wobei ein Funktionsfehler angenommen wird, wenn das aktuelle Rauschmaß ein vorgegebenes Kriterium in bezug auf das Referenzrauschmaß verfehlt.
Ein Grundgedanke der vorliegenden Erfindung beruht auf der ü- berraschenden Erkenntnis, daß ein defekter Bildpunkt eines Bildsensors ein anderes Rauschverhalten aufweist als ein funktionsfähiger Bildpunkt. Als Rauschen werden dabei die statistischen Schwankungen der Grauwerte der einzelnen Bildpunkte bezeichnet, die sich selbst bei konstanten Umgebungsbedingungen einstellen. Diese statistischen Schwankungen sind auf verschiedene Ursachen zurückzuführen, u.a. auf das sogenannte Photonenrauschen, auf das sogenannte Dunkelrausσhen und auf das sogenannte Ortsrauschen. Photonenrauschen beruht auf der quantenphysikalischen Eigenschaft des Lichts. Anschaulich ergeben sich Signalschwankungen hierbei, weil zu verschiedenen Zeitpunkten unterschiedlich viele "Lichtteilchen" auf die Bildpunkte auftreffen. Photonenrauschen steigt mit zunehmender Intensität des einfallenden Lichts. Bei hohen Lichtintensitäten dominiert das Photonenrauschen und der gesamte Rauschpegel ist dann annähernd proportional zur Wurzel der Lichtintensität.
Dunkelrauschen beschreibt statistische Prozesse bei der Umwandlung der auf den Bildsensor einfallenden elektromagnetischen Energie in elektrische Signale. Dunkelrauschen wird u.a. durch Inhomogenitäten beim Ladungsträgertransport hervorgerufen. Des weiteren tragen in den Bildsensor integrierte oder mit diesem verknüpfte elektronische Bauteile zum Rauschpegel bei. Charakteristisch für das Dunkelrauschen ist die Unabhängigkeit von der Lichtintensität. Dunkelrauschen ist jedoch abhängig von der Umgebungstemperatur .
Ortsrauschen ( fixed pattern noise) resultiert aus Inhomogenitäten der einzelnen Bildpunkte eines Bildsensors. Ursache hierfür sind vor allem Fertigungstoleranzen. Ortsrauschen hat keinen Einfluß auf das Rauschverhalten eines einzelnen Bildpunktes, es tritt nur beim Vergleich mit anderen Bildpunkten in Erscheinung.
Das erfindungsgemäße Verfahren vergleicht anhand des aktuellen Rauschmaßes das aktuelle Rauschverhalten des zu überprü enden Bildpunktes mit einer Erwartungshaltung, die durch das Referenzrauschmaß charakterisiert ist. Das Referenzrauschmaß spiegelt dabei das Rauschverhalten eines intakten Bildpunktes wider. Der Vergleich findet anhand eines vorgegebenen Kriteriums statt, das abhängig von den im Einzelfall definierten Rauschmaßen beispielsweise ein Größenvergleich oder ein Identitätsvergleich sein kann. Wenn das aktuelle Rauschmaß für den überprüften Bildpunkt ein anderes Rauschverhalten offenbart als durch das Referenzrauschmaß charakterisiert ist, wird ein Funktionsfehler angenommen.
Das erfindungsgemäße Verfahren erfordert keine zusätzlichen mechanischen oder optischen Komponenten, die auf das aufgenommene Bild einwirken. Das Verfahren läßt sich allein auf der Basis der ohnehin vorhandenen Grauwerte ausführen. Dementsprechend kann eine erfindungsgemäße Vorrichtung sehr kostengünstig realisiert werden, insbesondere bei großen Stückzahlen. Darüber hinaus ermöglicht das erfindungsgemäße Verfahren eine lückenlose Überwachung, da die Überprüfung der Funktionssicherheit keine externen Testsignale erfordert. Der Bildsensor wird somit nicht "blind".
Die genannte Aufgabe ist daher vollständig gelöst.
In einer Ausgestaltung der Erfindung wird das aktuelle Rauschmaß so bestimmt, daß es sich in Abhängigkeit von einer Lichtintensität verändert, und das Referenzrauschmaß ist ein Dunkelrauschmaß .
In dieser Ausgestaltung spiegelt das aktuelle Rauschmaß vor allem die Stärke des Photonenrauschens wider. Das Dunkelrauschmaß gibt den Rauschpegel des Bildpunktes bei Dunkelheit an. Da das Photonenrauschen zu einem lichtabhängigen Anstieg des Rauschens führt, läßt sich durch Größenvergleich dieser beiden Rauschmaße besonders einfach feststellen, ob ein Bildpunkt die gewünschte Sensitivität für einfallendes Licht besitzt. Ein Funktionsfehler wird angenommen, wenn das aktuelle Rauschmaß das Dunkelrauschmaß trotz einer vorhandenen Grundhelligkeit nicht übersteigt. Da das Licht "von außen" auf den Bildsensor auftrifft, wird hierbei in einem einzigen Schritt die gesamte Signalverarbeitungskette überprüft, die auch ein aufgenommenes Bildsignal durchläuft. Diese Ausgestaltung ermöglicht daher eine effiziente und vollständige Überprüfung des gesamten Bildaufnahmeweges.
In einer weiteren Ausgestaltung der Erfindung wird das aktuelle Rauschmaß durch eine statistische Auswertung einer Mehrzahl aufeinanderfolgend ausgelesener Grauwerte bestimmt.
Alternativ ist grundsätzlich auch eine rein meßtechnische Bestimmung von Rauschpegeln möglich. Die hier bevorzugte Bestimmung des aktuellen Rauschmaßes ist jedoch sehr einfach und kostengünstig realisierbar, da eine gattungsgemäße Kamera häufig bereits einen Mikroprozessor oder MikroController besitzt, mit dem eine statistische Auswertung von Daten durchführbar ist. Die erfindungsgemäße Vorrichtung kommt daher ohne zusätzliche Meßmittel aus. Als aktuelles Rauschmaß kann insbesondere die Varianz der Grauwerte eines Bildpunktes, die mittlere Abweichung eines aktuellen Grauwertes von dem vorangegangenen Grauwert oder die Differenz der Extremwerte aller Grauwerte eines Bildpunktes innerhalb eines Meßzyklus dienen. In einer weiteren Ausgestaltung werden das aktuelle Rauschmaß und das Referenzrauschmaß auf jeweils gleiche Weise bestimmt.
Dies ermöglicht einen besonders einfachen Vergleich der beiden Größen. Dementsprechend ist der Realisierungsaufwand gering, und der Vergleich kann sehr schnell durchgeführt werden.
In einer weiteren Ausgestaltung werden das aktuelle Rauschmaß und das Referenzrauschmaß in Abhängigkeit von einer aktuellen Umgebungstemperatur miteinander verglichen.
Dies ermöglicht eine Verbesserung der Genauigkeit und Zuverlässigkeit, da Veränderungen aufgrund der Temperaturabhängigkeit des Dunkelrauschens berücksichtigt und korrigiert werden können.
In einer weiteren Ausgestaltung wird das aktuelle Rauschmaß für den zumindest einen Bildpunkt als Absolutwert bestimmt.
Hiernach wird das aktuelle Rauschmaß für jeden Bildpunkt isoliert, d.h. unabhängig von anderen Bildpunkten, bestimmt. Alternativ dazu ist es grundsätzlich auch möglich, das Rauschmaß relativ zu dem Rauschpegel eines oder mehrerer anderer Bildpunktes zu bestimmen. Die bevorzugte Maßnahme erleichtert die Aufdeckung sogenannter "Stuck at"-Fehler, bei denen die Grauwerte eines Bildpunktes unabhängig vom Lichteinfall auf einem konstanten Wert "kleben". Bevorzugt wird hier als Absolutwert die Varianz oder die durchschnittliche Abweichung eines aktuellen Grauwertes von seinem Vorgängerwert herangezogen. In einer weiteren Ausgestaltung werden das aktuelle Rauschmaß und das Referenzrauschmaß in bezug auf jeweils identische Bildpunkte miteinander verglichen.
Dies ermöglicht auf einfache Weise ein gezieltes Aufdecken von "Stuck at"-Fehlern in einzelnen Bildpunkten.
In einer weiteren Ausgestaltung wird das aktuelle Rauschmaß von einem Verhältnis der Grauwerte von zumindest zwei verschiedenen Bildpunkten bestimmt.
Hierbei spiegelt das verwendete Rauschmaß das charakteristische Verhalten von zumindest zwei getrennten Bildpunkten wider. Dies ermöglicht eine einfache Aufdeckung von Kreuzkorrelationen. Beispielsweise kann als Rauschmaß hier der Mittelwert der Betragsdifferenz zwischen zeitgleichen Grauwerten der zwei Bildpunkte verwendet werden. Wenn dieses Rauschmaß trotz einer vorhandenen Grundhelligkeit kleiner oder gleich dem Dunkelrauschen ist, sind die Bildpunkte nicht unabhängig voneinander, d.h. es besteht eine fehlerhafte Kopplung.
In einer weiteren Ausgestaltung wird das aktuelle Rauschmaß von dem Verhältnis der Grauwerte von räumlich benachbarten Bildpunkten gebildet.
Hier wird die Suche nach fehlerhaften Kopplungen gezielt auf Bildpunkte konzentriert, bei denen eine Kopplung mit gewisser Wahrscheinlichkeit auftreten kann. Bevorzugt werden die Bildpunkte einer Zeile, einer Spalte und/oder innerhalb eines zu- sammenhängenden Teilgebiets (Cluster) überprüft. Durch die Maßnahme läßt sich der Datenverarbeitungsaufwand reduzieren und die Durchführung des Verfahrens beschleunigen.
In einer weiteren Ausgestaltung werden das aktuelle Rauschmaß und das Referenzrauschmaß in bezug auf einzelne Bildpunkte miteinander verglichen.
In dieser Ausgestaltung der Erfindung wird der Bildsensor Bildpunkt-genau überprüft, was die Aufdeckung geringster Fehler ermöglicht. Dies gewährleistet eine besonders hohe Funktionssicherheit des Bildsensors .
In einer anderen Ausgestaltung werden das aktuelle Rauschmaß und das Referenzrauschmaß in bezug auf Gruppen von Bildpunkten miteinander verglichen.
Dies ermöglicht eine Reduktion des Verarbeitungsaufwandes und eine beschleunigte Durchführung des Verfahrens. Im Gegensatz zu der zuvor genannten Alternative wird der Bildsensor hierbei jedoch nicht mehr für jeden Bildpunkt einzeln, sondern nur noch bereichsweise überprüft.
In einer weiteren Ausgestaltung wird ferner ein mittlerer Grauwert von dem zumindest einen lichtempfindlichen Bildpunkt bestimmt und der Schritt des Vergleichens wird in Abhängigkeit von dem mittleren Grauwert durchgeführt. Hierdurch wird der Verarbeitungsaufwand reduziert, da die Durchführung des Verfahrens auf jeweils diejenigen Bildpunkte konzentriert wird, bei denen eine zuverlässige Aussage auf der Basis des Photonenrauschens möglich ist.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung in Form einer elektronischen Kamera,
Fig. 2 eine schematische Darstellung der Abhängigkeit des Rauschverhaltens eines einzelnen Bildpunktes von der einfallenden Lichtintensität,
Fig. 3 ein Flußdiagramm zur Erläuterung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
Fig. 4 ein Flußdiagramm zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, und Fig. 5 ein Flußdiagramm zur Erläuterung eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
In Fig. 1 ist eine erfindungsgemäße Vorrichtung in Form einer elektronischen Kamera in ihrer Gesamtheit mit der Bezugsziffer 10 bezeichnet.
Die Kamera 10 besitzt einen Bildsensor 12 mit einer Vielzahl von einzelnen Bildpunkten 14, 16. Die Bildpunkte 14, 16 sind matrixartig, bei kleineren Bildsensoren manchmal auch linien- förmig, zueinander angeordnet und bilden gemeinsam die lichtsensitive Fläche des Bildsensors 12.
Mit der Bezugsziffer 18 ist eine Ausgabeeinheit bezeichnet, die Grauwerte des von den Bildpunkten 14, 16 aufgenommenen Lichts zum Auslesen bereitstellt. Der Begriff "Grauwerte" hat sich dabei zur Bezeichnung dieser Werte eingebürgert. Er schließt jedoch nicht aus, daß der Bildsensor auch eine Farbinformation liefert, die in diesen Werten codiert ist.
Die Grauwerte werden hier als digitale Zahlenwerte über einen Anschluß 20 an eine nachfolgende Bildverarbeitungseinheit weitergegeben. Alternativ kann die nachfolgende Bildverarbeitungseinheit auch in das Gehäuse der Kamera 10 integriert sein, was insbesondere bevorzugt ist, wenn die Kamera 10 in einer Schutzvorrichtung zum Absichern eines Gefahrenbereichs verwendet wird. Der Bildsensor 12 ist bevorzugt ein CMOS-Bildsensor mit einer linearen Kennlinie. Die Erfindung ist hierauf jedoch nicht beschränkt und ebenso bei anderen Bildsensoren anwendbar.
Mit der Bezugsziffer 22 ist ein schematisch angedeuteter Strahlengang bezeichnet, unter dem Licht 24 auf den Bildsensor 12 auftrifft.
Mit der Bezugsziffer 26 ist eine Überwachungseinheit zum Überprüfen der Funktionssicherheit der Kamera 10 und insbesondere des Bildsensors 12 bezeichnet. In einem bevorzugten Ausführungsbeispiel ist die Überwachungseinheit 26 mit einem Mikroprozessor realisiert, auf dem das erfindungsgemäße Verfahren in Form von Programmschritten durchgeführt wird. In diesem Ausführungsbeispiel besitzt die Überwachungseinheit 26 einen Speicher (hier nicht dargestellt), in dem die einzelnen Programmschritte in an sich bekannter Weise abgespeichert sind.
In der hier dargestellten strukturellen Aufgliederung beinhaltet die Überwachungseinheit 26 einen Vergleicher 28. Der Vergleicher 28 ist einerseits mit einem Speicher 30 verbunden, in dem Dunkelrauschmaße der einzelnen Bildpunkte 14, 16 als Referenzwerte abgespeichert sind. Die Dunkelrauschmaße der Bildpunkte 14, 16 werden beim Kalibrieren der Kamera 10 bestimmt und in dem Speicher 30 abgelegt.
Des weiteren ist der Vergleiσher 28 mit einem Rauschbestimmungsteil 32 verbunden, in dem zu jedem Bildpunkt 14, 16 ein aktuelles Rauschmaß der Grauwerte bestimmt werden kann. Der Vergleicher 28 vergleicht in der nachfolgend noch näher erläuterten Weise ein aktuell bestimmtes Rauschmaß mit einem entsprechenden Dunkelrauschmaß.
Mit der Bezugsziffer 34 ist ein Temperatursensor bezeichnet, dessen Ausgangssignal dem Speicher 30 zugeführt ist. Hierdurch ist es möglich, das zum Vergleich herangezogene Dunkelrauschmaß in Abhängigkeit von der jeweiligen Umgebungstemperatur auszuwählen.
Der ' Speicher 30 ist im vorliegenden Ausführungsbeispiel direkt mit dem Rauschbestimmungsteil 32 verbunden. Hierdurch können die Dunkelrauschmaße sehr einfach auf dieselbe Weise bestimmt werden, wie die im Betrieb der Kamera 10 verwendeten aktuellen Rauschmaße .
Das Ergebnis des Vergleichs der beiden genannten Rauschmaße wird am Ausgang des Vergleichers 28 bereitgestellt. Im vorliegenden Ausführungsbeispiel erzeugt der Vergleicher 28 ein Fehlersignal, das über einen Anschluß 36 nach außen geführt ist.
In Fig. 2 ist mit der Bezugsziffer 40 eine Kennlinie bezeichnet, die das Rauschverhalten eines einzelnen Bildpunktes 14, 16 in Abhängigkeit von der Lichtintensität darstellt. Dementsprechend ist auf der Abszisse 42 die Intensität Φ des einfallenden Lichts 24 und auf der Ordinate 44 der Rauschpegel N aufgetragen. Beispielhaft besitzt ein Punkt 46 auf der Kennlinie 40 die Koordinaten (Φ3, Nj ) . Mit der Bezugsziffer 48 ist derjenige Rauschanteil dargestellt, der von der Intensität des einfallenden Lichts unabhängig ist. Dieser Rauschanteil ist vor allem auf das Dunkelrauschen zurückzuführen. Der Anstieg der Kennlinie 40 mit zunehmender Lichtintensität Φ zeigt demgegenüber das Photonenrauschen.
In Fig. 3 ist ein Flußdiagramm für ein Verfahren dargestellt, mit dem sogenannte "Stuck at"-Fehler in einzelnen Bildpunkten 14, 16 aufgedeckt werden können. Das Verfahren beginnt im Schritt 50 mit dem Einlesen eines Grauwertes Xj für den zu ü- berprüfenden Bildpunkt. Daran anschließend wird in Schritt 52 überprüft, ob der eingelesene Grauwert Xj eine Signaldynamik erkennen läßt. Eine Signaldynamik liegt insbesondere dann vor, wenn sich der Grauwert Xj um mehr als eine vorbestimmte Differenz von dem oder den vorhergehenden Grauwerten Xj_k unterscheidet. Dies kann beispielsweise aufgrund von Bewegungen in dem überwachten Raumbereich geschehen. Wird eine Signaldynamik erkannt, kann ein "Stuck at"-Fehler von vornherein ausgeschlossen werden, weshalb das Verfahren zu Schritt 50 zurückkehrt.
Wird keine Signaldynamik erkannt, was vor allem bei statischen Verhältnissen im überwachten Raumbereich der Fall ist, wird in Schritt 54 überprüft, ob der mittlere Grauwert x des Bildpunktes eine ausreichende Grundhelligkeit aufweist (x > xt) . Liegt der mittlere Grauwert x des überprüften Bildpunktes unterhalb einer festgelegten Grundhelligkeit xt, ist der Anteil des Photonenrauschens am gesamten Rauschpegel zu gering ist, um mit diesem Verfahren eine zuverlässige Aussage über die Funktionsfähigkeit des Bildpunktes zu erhalten. Dementsprechend kehrt das Verfahren in diesem Fall zu Schritt 50 zurück. Bei mehrfacher Wiederholung dieses Ergebnisses kann auch ein Fehlersignal erzeugt werden (nicht dargestellt).
Liegt die Grundhelligkeit x der Grauwerte des überprüften Bildpunktes oberhalb der genannten Schwelle xt, wird in Schritt 56 ein aktuelles Rauschmaß bestimmt. Gemäß Schritt 58 wird dabei in diesem Ausführungsbeispiel auch die Umgebungstemperatur θ berücksichtigt.
Bevorzugt wird das aktuelle Rauschmaß hier als Varianz oder als Standardabweichung (Wurzel aus der Varianz) durch eine statistische Auswertung gemäß der nachfolgenden Formel bestimmt:
= -∑(*,09)-x(.9)): n =1
Dabei bezeichnen:
x. den aktuellen Grauwert, x den Mittelwert aller berücksichtigten Grauwerte, n die Anzahl der Messungen, und θ die Temperatur .
Alternativ kann das aktuelle Rauschmaß auch als durchschnittliche Abweichung des aktuellen Grauwertes von den vorausgegangenen Grauwerten bestimmt werden. In diesem Fall erfolgt die Bestimmung des Rauschmaßes nach folgender Formel:
Schließlich kann als aktuelles Rauschmaß auch die Differenz zwischen dem maximalen und minimalen Grauwert des überprüften Bildpunktes innerhalb eines Meßzyklus herangezogen werden. Dies ist eine sehr einfache Bestimmung eines Rauschmaßes. Bevorzugt sind jedoch die beiden zuvor genannten Alternativen, da sie eine zuverlässigere Überprüfung des Bildpunktes ermöglichen.
Im Schritt 60 wird das aktuell bestimmte Rauschmaß dann mit einem auf gleiche Weise bestimmten Dunkelrauschmaß xdark(θ) verglichen, das gemäß Schritt 62 aus dem Speicher 30 der Kamera 10 ausgelesen wird. Ist das aktuell bestimmte Rauschmaß xnoιse größer als das zum Vergleich herangezogene Dunkelrauschmaß xdark, ist die Funktion des überprüften Bildpunktes in Ordnung. Das Verfahren kehrt dementsprechend zu Schritt 50 zurück und es beginnt ein neuer Überprüfungszyklus.
Ist das Dunkelrauschmaß xdark größer als das aktuell bestimmte Rauschmaß xnoιse, liegt ein "Stuck at"-Fehler vor und es folgt in Schritt 64 eine Fehlerbehandlungsroutine. Innerhalb der Fehlerbehandlungsroutine 64 kann beispielsweise ein Fehlersignal über den Anschluß 36 ausgegeben werden. Anschließend kehrt das Verfahren zum Schritt 50 zurück, um einen neuen Überprüfungszyklus für andere Bildpunkte zu beginnen .
Abweichend von dem dargestellten Verfahren ist es auch möglich, mehrere Bildpunkte zeitgleich zu überprüfen. In Fig. 4 ist ein Ausführungsbeispiel eines Verfahrens dargestellt, mit dem Kopplungen zwischen zwei verschiedenen Bildpunkten festgestellt werden können. Gleich Bezugszeichen kennzeichnen dabei dieselben Elemente wie zuvor.
In Schritt 70 werden zunächst die Grauwerte a^ , bj der beiden miteinander zu vergleichenden Bildpunkte ausgelesen. Im Schritt 72 erfolgt dann ein Vergleich der beiden Grauwerte. Unterscheiden sich die beiden Grauwerte deutlich, was beispielsweise durch eine Hell-Dunkel-Struktur in dem aufgenommenen Bild verursacht sein kann, wird hier angenommen, daß keine Kopplung vorliegt. Das Verfahren kehrt dementsprechend zu Schritt 70 zurück.
Wird in Schritt 72 keine Struktur entdeckt, wird in Schritt 74 wiederum die Grundhelligkeit für die beiden Bildpunkte überprüft. Ist die Grundhelligkeit zu gering, kehrt das Verfahren zu Schritt 70 zurück, da eine zuverlässige Aussage dann nicht gewährleistet ist. Wiederholt sich dieses Ergebnis mehrfach, wird ein Fehlersignal erzeugt (nicht dargestellt).
Wird eine ausreichende Grundhelligkeit in Schritt 74 festgestellt, wird im Schritt 76 ein aktuelles Rauschmaß von dem Verhältnis der Grauwerte der beiden Bildpunkte bestimmt, und zwar nach folgender Formel:
Darin bezeichnen: Λ das Rauschmaß, a den Grauwert des ersten Bildpunktes, b den Grauwert des zweiten Bildpunktes, und n die Anzahl der Meßzyklen.
Gemäß Schritt 58 wird dabei wiederum die Temperatur berücksichtigt. In Schritt 78 wird dann überprüft, ob das so bestimmte Rauschmaß Λ größer ist als das im Speicher 30 für die entsprechende Temperatur abgespeicherte Dunkelrauschmaß Λω . Ist das Dunkelrauschmaß Λ« kleiner, wird angenommen, daß zwischen den beiden Bildpunkten keine Kopplung vorliegt. Ist die mittlere Abweichung Λ der beiden Bildpunkte jedoch kleiner oder gleich dem Dunkelrauschmaß Adark , muß von einer Kopplung der beiden Bildpunkte ausgegangen werden. Dementsprechend wird in Schritt 80 eine Fehlerroutine eingeleitet.
In Fig. 5 ist ein weiteres Ausführungsbeispiel für ein Verfahren zum Aufdecken von Kopplungen dargestellt. Dieses Ausführungsbeispiel wird aus heutiger Sicht bevorzugt, da im Gegensatz zu dem Verfahren gemäß Fig. 4 keine Verfälschung eintritt, wenn die Grauwerte der miteinander verglichenen Bildpunkte sich aufgrund einer Struktur signifikant voneinander unterscheiden. Im Schritt 90 werden zunächst wiederum die Grauwerte _t und bj der beiden Bildpunkte ausgelesen. Anschließend wird in Schritt 92 ein aktuelles Rauschmaß nach folgender Formel bestimmt:
Darin bezeichnen:
U das aktuelle Rauschmaß, a die Grauwerte des ersten Bildpunktes, b die Grauwerte des zweiten Bildpunktes, und n die Anzahl der Meßzyklen.
In Schritt 94 wird das Rauschmaß U mit einem Dunkelrauschmaß Udark verglichen, welches nach derselben Formel wie oben, jedoch bei Dunkelheit bestimmt wurde. Wenn das aktuelle Rauschmaß U größer ist als das abgespeicherte Dunkelrauschmaß, liegt keine Kopplung zwischen den beiden Bildpunkten vor. Andernfalls folgt gemäß Schritt 96 wiederum eine Fehlerroutine.
Der Vorteil des Verfahrens gemäß Fig. 5 liegt darin, daß die Kopplungen der jeweiligen Grauwerte zwischen zwei Bildpunkten durch eine additive oder multiplikative Konstante beeinflußt sein können, da hier nur geprüft wird, ob die statistische zeitliche Schwankung der Grauwerte unabhängig voneinander ist.
Es gibt kommerziell erhältliche Bildsensoren, bei denen die am äußeren Rand gelegenen Bildpunkte so angeordnet sind, daß konstruktionsbedingt kein Licht darauf fallen kann. Diese Randbildpunkte liefern somit von sich aus stets Signale, die einem Dunkelwert entsprechen. In einem bevorzugten Ausführungsbeispiel wird in der erfindungsgemäßen Kamera ein derartiger Bildsensor verwendet, und das als Referenz herangezogene Dunkelrauschmaß wird aus den Grauwerten der abgedunkelten Bildpunkte am Rand bestimmt. Alternativ können die am Rand eines Bildsen- sors gelegenen Bildpunkte auch durch geeignete Anordnung in der Kamera abgedunkelt werden, um so die benötigten Referenzwerte einfach bestimmen zu können.
In einem weiteren Ausführungsbeispiel wird folgende Formel zur Bestimmung des Rauschmaßes verwendet:
Xnoise —
Dabei bezeichnen:
Xj Grauwert des Bildpunktes j aus dem aktuellen Bild,
Yj Grauwert des Bildpunktes j aus dem vorhergehenden Bild, n die Anzahl der Bildpunkte.
In diesem Ausführungsbeispiel wird für jeden Bildpunkt die Betragsdifferenz der Grauwerte aus zwei aufeinanderfolgenden Bildern bestimmt. Anschließend wird eine mittlere Betragsdifferenz über alle Bildpunkte hinweg gebildet. Alternativ könnte man hier auch die Standardabweichung oder die Varianz verwenden. Als Referenzrauschmaß wird ein Dunkelrauschmaß verwendet, das auf dieselbe Weise aus zwei aufeinanderfolgenden Dunkelbildern bestimmt wird. Die beiden Rauschmaße werden hier also aus einer Vielzahl von Bildpunkten eines Differenzbildes bestimmt. Bei einem fehlerfreien Bildsensor muß das aktuelle Rauschmaß das Dunkelrauschmaß übersteigen, sofern eine gewisse Grundhelligkeit vorhanden ist. Ist das aktuelle Rauschmaß kleiner als das Dunkelrauschmaß, liefert der Bildsensor offensichtlich ein "eingefrorenes Bild", d.h. er reagiert nicht mehr auf Veränderungen des aktuell einfallenden Lichts.
Bewegungen und Motivänderungen in den aufeinanderfolgenden Bildern erhöhen das aktuelle Rausσhmaß gegenüber dem Dunkelrauschmaß, was dann jedoch ebenfalls auf einen funktionierenden Bildsensor hindeutet.
Bei diesem Ausführungsbeispiel kann zwar keine Aussage zu der individuellen Funktionsfähigkeit der einzelnen Bildpunkte gemacht werden. Statt dessen liefert dieses Ausführungsbeispiel jedoch eine sehr einfache und schnelle qualitative Aussage über die Funktionsf higkeit des Bildsensors.

Claims

Patentansprüche
1. Verfahren zum Überprüfen der Funktionssicherheit eines Bildsensors (12), der eine Vielzahl von lichtempfindlichen Bildpunkten (14, 16) aufweist, wobei Grauwerte von zumindest einem lichtempfindlichen Bildpunkt (14, 16) ausgelesen werden, gekennzeichnet durch die Schritte:
Bestimmen (32; 56; 76; 92) eines aktuellen Rauschmaßes (xnoise;Λ;U) der Grauwerte des zumindest einen Bildpunktes (14, 16),
Bereitstellen (30; 62) eines Referenzrauschmaßes (xdark; da k ; Uda ) für den zumindest einen Bildpunkt (14, 16), und
Vergleichen (28; 60; 78; 94) des aktuellen Rauschmaßes und des Referenzrauschmaßes, wobei ein Funktionsfehler angenommen wird (36; 64; 80; 96), wenn das aktuelle Rauschmaß ein vorgegebenes Kriterium in bezug auf das Referenzrauschmaß verfehlt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise;Λ;U) so bestimmt wird, daß es sich in Abhängigkeit von einer Lichtintensität (φ) verändert, und daß das Referenzrauschmaß ein Dunkelrauschmaß
( Xdark ; Adark ; Udark ) ist .
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise;Λ;U) durch eine statistische Auswertung (56; 76; 92) einer Mehrzahl ausgelesener Grauwerte bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise;Λ;U) und das Referenzrauschmaß (xdark; Λ« ; Udar ) auf jeweils gleiche Weise (56; 76; 92) bestimmt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4 , dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise;Λ;U) und das Referenzrauschmaß (xdark; dark ; Udar ) in Abhängigkeit von einer aktuellen Umgebungstemperatur (58, 62) miteinander verglichen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5 , dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoiSe) für den zumindest einen Bildpunkt (14, 16) als Absolutwert (56) bestimmt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnθiSe) un<^ as Referenzrauschmaß (xdark) i-n Bezug auf jeweils identische Bildpunkte miteinander verglichen werden (60).
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (Λ;U) von einem Verhältnis der Grauwerte von zumindest zwei verschiedenen Bildpunkten (76; 92) bestimmt wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß das aktuelle Rauschmaß ( Λ ; U ) von dem Verhältnis der Grauwerte von räumlich benachbarten Bildpunkten (14, 16) gebildet wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise;Λ;U) und das Referenzrauschmaß (xdark; Λaw ; Udark ) in Bezug auf einzelne Bildpunkte (14, 16) miteinander verglichen werden.
11. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß das aktuelle Rauschmaß (xnoise; Λ ; U ) und das Referenzrauschmaß (xdark; Adark ; Udar ) in Bezug auf Gruppen von Bildpunkten (14, 16) miteinander verglichen werden.
12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß ferner ein mittlerer Grauwert (x) von dem zumindest einem lichtempfindlichen Bildpunkt (14, 16) bestimmt wird (54; 74) und daß der Schritt des Verglei- chens in Abhängigkeit von dem mittleren Grauwert durchgeführt wird.
13. Vorrichtung, insbesondere elektronische Kamera, mit einem Bildsensor (12), der eine Vielzahl von lichtempfindlichen Bildpunkten (14, 16) aufweist, ferner mit einer Ausgabe- einheit (18), die Grauwerte der lichtempfindlichen Bildpunkte (14, 16) zum Auslesen bereitstellt, und mit einer Überwachungseinheit (26) zum Überprüfen der Funktionssicherheit des Bildsensors (12), wobei die Überwachungseinheit (26) zumindest einen Speicher (30) zum Abspeichern von Referenzwerten beinhaltet, dadurch gekennzeichnet, daß in dem Speicher (30) zumindest ein Referenzrauschmaß (x dark? Λώrt ; Udr ) für zumindest einen Bildpunkt abgespeichert ist und daß die Überwachungseinheit (26) einen Rauschbestimmungsteil (32) sowie einen Vergleicher (28) aufweist, wobei mit dem Rauschbestimmungsteil (32) ein aktuelles Rauschmaß (xnoιse; Λ ; U ) der Grauwerte des zumindest einen Bildpunktes (14, 16) bestimmbar ist, wobei mit dem Vergleicher (28) das aktuelle Rauschmaß und das Referenzrauschmaß vergleichbar sind, und wobei ein Funktionsfehler angenommen wird, wenn das aktuelle Rauschmaß ein vorgegebenes Kriterium in bezug auf das Referenzrauschmaß verfehlt.
14. Mikroprozessorprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen, wenn das Programm auf einem Mikroprozessor ausgeführt wird.
15. Mikroprozessorprogrammprodukt mit einem Datenträger, auf dem ein Mikroprozessorprogramm nach Anspruch 14 gespeichert ist.
EP03708070A 2002-02-04 2003-01-23 Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor Expired - Lifetime EP1472890B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10205691 2002-02-04
DE10205691A DE10205691A1 (de) 2002-02-04 2002-02-04 Verfahren zum Überprüfen der Funktonssicherheit eines Bildsensors sowie Vorrichtung mit einem Bildsensor
PCT/EP2003/000637 WO2003067900A1 (de) 2002-02-04 2003-01-23 Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor

Publications (2)

Publication Number Publication Date
EP1472890A1 true EP1472890A1 (de) 2004-11-03
EP1472890B1 EP1472890B1 (de) 2006-03-29

Family

ID=27588554

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03708070A Expired - Lifetime EP1472890B1 (de) 2002-02-04 2003-01-23 Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor

Country Status (7)

Country Link
US (1) US7872678B2 (de)
EP (1) EP1472890B1 (de)
JP (1) JP4250085B2 (de)
AT (1) ATE322127T1 (de)
AU (1) AU2003212223A1 (de)
DE (2) DE10205691A1 (de)
WO (1) WO2003067900A1 (de)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464247C (zh) * 2004-02-23 2009-02-25 英华达(上海)电子有限公司 自动检测相机的方法、检测系统以及储存媒体
DE102004013269A1 (de) * 2004-03-18 2005-09-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur Bestimmung der Temperatur eines Bildsensors
DE102004020331B3 (de) 2004-04-26 2005-10-20 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Aufnehmen eines Bildes
US20070230804A1 (en) * 2006-03-31 2007-10-04 Aldrich Bradley C Encoding techniques employing noise-based adaptation
DE102006040349B4 (de) * 2006-08-29 2016-11-10 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Fahrerassistenzsystem
DE102006052805B3 (de) * 2006-11-09 2008-06-05 Sick Ag Optoelektronische Überwachungsvorrichtung mit Testeinheit und Testverfahren
EP2199999B1 (de) * 2008-12-19 2012-05-02 Pepperl + Fuchs GmbH Verfahren zum Testen eines optischen Sensors und testbarer optischer Sensor
US8203620B2 (en) * 2010-04-28 2012-06-19 Nethra Imaging Inc Method and apparatus for sharpening digital images
CN106233723B (zh) 2014-02-26 2018-04-06 欧姆龙株式会社 用于检测图像传感器中的定址故障的方法和装置
DE102015120314A1 (de) * 2015-11-24 2017-05-24 Pilz Gmbh & Co. Kg Verfahren zum Programmieren einer Sicherheitssteuerung
CN106341685B (zh) * 2016-09-09 2018-10-16 深圳怡化电脑股份有限公司 一种图像传感器检测方法和装置
US10414048B2 (en) 2016-09-14 2019-09-17 Faro Technologies, Inc. Noncontact safety sensor and method of operation
US10670745B1 (en) 2017-09-19 2020-06-02 The Government of the United States as Represented by the Secretary of the United States Statistical photo-calibration of photo-detectors for radiometry without calibrated light sources comprising an arithmetic unit to determine a gain and a bias from mean values and variance values
EP3496398B1 (de) 2017-12-11 2020-01-29 Sick AG Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
CN108259892A (zh) * 2018-03-21 2018-07-06 深圳怡化电脑股份有限公司 图像传感器的检测方法、系统及装置
EP3651458B1 (de) 2018-11-08 2020-09-09 Sick Ag Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
CN113542730A (zh) * 2021-06-29 2021-10-22 深圳市天视通视觉有限公司 一种摄像机的传感器测试方法、装置及存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US528123A (en) * 1894-10-23 Valve for steam-engines
US779861A (en) * 1904-07-12 1905-01-10 George J Maringer Puzzle.
JPS6055924A (ja) * 1983-09-05 1985-04-01 オリンパス光学工業株式会社 内視鏡の撮像用自動調光装置
US4602291A (en) * 1984-05-09 1986-07-22 Xerox Corporation Pixel non-uniformity correction system
EP0179252A3 (de) 1984-09-14 1987-07-15 Siemens Aktiengesellschaft Verfahren und Einrichtung zum Schutz von Personen, die sich im Aktionsbereich eines beweglichen Maschinenteils einer verfahr- oder verschwenkbaren Arbeitsmaschine, insbesondere eines Industrieroboters, aufhalten
US4703442A (en) 1985-09-25 1987-10-27 Rca Corporation Temperature tracking defect corrector for a solid-state imager
US4654714A (en) * 1985-10-30 1987-03-31 Rca Corporation Pixel addressing system
JPS63248289A (ja) * 1987-04-03 1988-10-14 Fujitsu Ltd Ｃｃｄ撮像装置
KR100188897B1 (ko) * 1990-01-31 1999-06-01 이데이 노부유끼 고체촬상장치의 화상결합보정회로
KR100202343B1 (ko) * 1990-03-13 1999-06-15 이데이 노부유끼 셰이딩 보정 장치
US5047863A (en) 1990-05-24 1991-09-10 Polaroid Corporation Defect correction apparatus for solid state imaging devices including inoperative pixel detection
DE4020017A1 (de) 1990-06-20 1992-01-02 Cuba Acad Ciencias Verfahren und anordnung zur ermittlung und ausblendung von defekten pixeln eines halbleiterwandlers
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JPH05260386A (ja) * 1992-03-16 1993-10-08 Sony Corp 固体撮像素子の欠陥画素検出回路
JP3014895B2 (ja) * 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
US5576827A (en) * 1994-04-15 1996-11-19 Micromeritics Instrument Corporation Apparatus and method for determining the size distribution of particles by light scattering
DE19527148C1 (de) 1995-07-25 1997-01-09 Siemens Ag Verfahren zum Betrieb eines digitalen Bildsystems einer Röntgendiagnostikeinrichtung
JPH09200613A (ja) * 1996-01-19 1997-07-31 Sony Corp 固体撮像素子の欠陥検出装置
US5796492A (en) * 1996-03-20 1998-08-18 Agfa Division, Bayer Corporation Rotatable control panel for a scanner
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
JP3351704B2 (ja) * 1997-04-09 2002-12-03 ペンタックス株式会社 画像信号補正装置
DE59804862D1 (de) 1997-09-15 2002-08-29 Rms Kleine Gmbh Vertrieb Elekt Verfahren und Vorrichtung zur optischen Überwachung eines Raumbereichs
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
US6593961B1 (en) * 1998-10-30 2003-07-15 Agilent Technologies, Inc. Test efficient method of classifying image quality of an optical sensor using three categories of pixels
US6529622B1 (en) 1998-10-30 2003-03-04 General Electric Company Method and apparatus for identifying defective regions in a discrete pixel detector
US6965410B1 (en) * 1998-12-03 2005-11-15 Canon Kabushiki Kaisha Image sensing apparatus employing dark image data to correct dark noise
JP2000209506A (ja) * 1999-01-14 2000-07-28 Toshiba Corp 撮像装置および撮像方法
US7324143B1 (en) * 1999-04-13 2008-01-29 Rochester Institute Of Technology Method and system for reducing noise in a digital image and apparatus thereof
JP5033291B2 (ja) * 2000-04-07 2012-09-26 ピルツ ゲーエムベーハー アンド コー．カーゲー 危険区域の安全防護のための保護装置およびその装置の機能的信頼性をチェックする方法
DE10017333C2 (de) 2000-04-07 2003-02-13 Pilz Gmbh & Co Schutzvorrichtung zum Absichern eines Gefahrenbereichs sowie Verfahren zum Überprüfen der Funktionssicherheit einer solchen
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
KR100399884B1 (ko) * 2000-10-25 2003-09-29 주식회사 하이닉스반도체 이미지 센서의 결함 픽셀 보정 장치 및 그 방법
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
US6985180B2 (en) * 2001-06-19 2006-01-10 Ess Technology, Inc. Intelligent blemish control algorithm and apparatus
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
KR100421987B1 (ko) * 2001-12-06 2004-03-11 삼성전자주식회사 오차확산 처리방법
JP2003204486A (ja) * 2002-01-09 2003-07-18 Olympus Optical Co Ltd 撮像装置
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
US20040239782A1 (en) * 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
DE102004061978A1 (de) * 2004-12-23 2006-07-13 Lfk-Lenkflugkörpersysteme Gmbh Verfahren und Vorrichtung zum Ersetzen defekter Pixel in Focal Plane Array Kameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03067900A1 *

Also Published As

Publication number Publication date
AU2003212223A1 (en) 2003-09-02
US20050036045A1 (en) 2005-02-17
EP1472890B1 (de) 2006-03-29
DE50302814D1 (de) 2006-05-18
JP4250085B2 (ja) 2009-04-08
JP2005517259A (ja) 2005-06-09
ATE322127T1 (de) 2006-04-15
DE10205691A1 (de) 2003-08-14
US7872678B2 (en) 2011-01-18
WO2003067900A1 (de) 2003-08-14

Similar Documents

Publication Publication Date Title
EP1472890B1 (de) Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor
DE102005004861B4 (de) Vorrichtung zum Steuern der Position eines Bildschirmzeigers mit niedriger Empfindlichkeit für Partikelkontamination, Verfahren zum Erzeugen von Bewegungsdaten bei einem optischen Zeigegerät und Navigationssensor zum Erzeugen von Bewegungsdaten
EP1269762B2 (de) Schutzvorrichtung zum absichern eines gefahrenbereichs sowie verfahren zum überprüfen der funktionssicherheit einer solchen
EP3070674B1 (de) Verfahren zur qualitätsbeurteilung eines mittels eines additiven herstellungsverfahrens hergestellten bauteils
DE3336471A1 (de) Verfahren und anordnung zur inspektion von bildern
DE10050083A1 (de) Vorrichtung und Verfahren zur Erfassung von Objekten
DE112015000986T5 (de) Verfahren und Vorrichtung zur Detektion von Adressierungsfehlern in einem Bildsensor
DE69225998T2 (de) Verfahren zum Erfassen und Analysieren defekter Halbleiterelemente
EP1449084B1 (de) Kontrollierte programmausführung durch einen tragbaren datenträger
DE69518128T2 (de) Bilddatenverarbeitungsvorrichtung mit Bilddatenteilungsfunktion und Verfahren zur Verarbeitung von Bilddaten
EP2312864A1 (de) Bildsensor und Betriebsverfahren
DE102017105174A1 (de) Verfahren zum Erzeugen von Trainingsdaten für die Überwachung einer Gefahrenquelle
EP3108461A1 (de) Verfahren zum untersuchen eines wertdokuments und mittel zur durchführung des verfahrens
DE3729804A1 (de) Verfahren zur automatischen erkennung von fehlern in bewegten warenbahnen
DE3030140A1 (de) Verfahren zur optischen ueberpruefung von stabfoermigen gegenstaenden und einrichtung zur durchfuehrung des verfahrens
DE102014215860A1 (de) Verfahren und Vorrichtung zur Prüfung eines Bildsensors und Kraftfahrzeug
DE112019001332T5 (de) Ermittlungsvorrichtung, fotoelektrischer Sensor mit mehreren optischen Achsen, Verfahren zur Steuerung einer Ermittlungsvorrichtung, Informationsverarbeitungsprogramm und Aufzeichnungsmedium
DE102016212486A1 (de) Verfahren und Einrichtung zur Kategorisierung einer Bruchfläche eines Bauteils
DE19506388C1 (de) Verfahren zum Erkennen von systematischen Fehlern, insbesondere zur automatischen Störungserkennung bei Qualitätskontrollen, mittels mit Meßsensoren ausgestatteten Meßgeräten
WO2018072985A1 (de) Verfahren und vorrichtung zum erkennen eines direkten lichtreflexionsstrahls von einem objekt auf einen lichtsensor
DE60033200T2 (de) Verfahren und Vorrichtung zur Zuordnung von Wafern
DE102019209292A1 (de) Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
DE10220512B4 (de) Verfahren zum Vermessen und/oder Erkennen von Objekten, vorzugsweise von Werkzeugen und/oder Werkstücken einer Bearbeitungsmaschine
WO2011076917A1 (de) Verfahren und vorrichtung zur identifizierung eines wafers
DE10017344C1 (de) Verfahren und Vorrichtung zum Überprüfen der Funktionssicherheit einer Bildaufnahmeeinheit

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040723

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PILZ GMBH & CO. KG

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT SE SI SK TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20060329

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50302814

Country of ref document: DE

Date of ref document: 20060518

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060629

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060629

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060710

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20060628

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060829

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070102

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

BERE Be: lapsed

Owner name: PILZ G.M.B.H. & CO. KG

Effective date: 20070131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060630

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070123

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20090122

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070123

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20090114

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060930

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060329

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20100123

EUG Se: european patent has lapsed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100123

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100124

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IE

Payment date: 20190221

Year of fee payment: 17

Ref country code: FR

Payment date: 20190123

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20200227

Year of fee payment: 18

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200123

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50302814

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210803