DE102021103095A1

DE102021103095A1 - Image processing measuring device and method for the digital transmission of image information

Info

Publication number: DE102021103095A1
Application number: DE102021103095.1A
Authority: DE
Inventors: Dirk Beckmann; Thorsten Bothe; Bennet Böttinger; Eric Oertel; Matthias Stein; Mladen Gomercic
Original assignee: Carl Zeiss Industrielle Messtechnik GmbH; Carl Zeiss GOM Metrology GmbH
Current assignee: Carl Zeiss Industrielle Messtechnik GmbH; Carl Zeiss GOM Metrology GmbH
Priority date: 2021-02-10
Filing date: 2021-02-10
Publication date: 2022-08-11

Abstract

Eine bildverarbeitende Messeinrichtung (1) mit einem Bildsensor (2) und einer Datenverarbeitungseinheit (3) wird beschrieben, die zur digitalen Verarbeitung der von dem Bildsensor (2) aufgenommenen Bildsignale (IN) eingerichtet ist. Die Datenverarbeitungseinheit (3) ist zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert (IN) abhängig gewählten digitalisierten Bildinformationswert (OUT) eingerichtet.An image-processing measuring device (1) with an image sensor (2) and a data processing unit (3) is described, which is set up for digital processing of the image signals (IN) recorded by the image sensor (2). The data processing unit (3) is set up for digitizing the recorded image signals (IN) with a digitized image information value (OUT) selected depending on the respective noise component in a respective image signal value (IN).

Description

Die Erfindung betrifft eine bildverarbeitende Messeinrichtung mit einem Bildsensor und einer Datenverarbeitungseinheit, die zur digitalen Verarbeitung der von dem Bildsensor aufgenommenen Bildsignale eingerichtet ist.The invention relates to an image-processing measuring device with an image sensor and a data processing unit that is set up for digital processing of the image signals recorded by the image sensor.

Die Erfindung betrifft weiterhin ein Verfahren zur digitalen Übertragung von Bildsignalen, die mit einem Bildsensor aufgenommen wurden.The invention also relates to a method for the digital transmission of image signals recorded with an image sensor.

Bildverarbeitende Messeinrichtungen haben in der Regel mindestens einen Bildsensor mit einer daran angeschlossenen Datenverarbeitungseinheit, mit der die vom Bildsensor aufgenommenen Bildinformationen der Bildpixel eines Bildes in digitale Bildinformationen umgewandelt werden.Image processing measuring devices usually have at least one image sensor with a data processing unit connected to it, with which the image information of the image pixels of an image recorded by the image sensor is converted into digital image information.

Die Technik der Bildsensoren lässt sich mit dem Standardmodell eines Sammeltopfes für Elektronen vereinfacht beschreiben. Die auf einem Sensorpixel angesammelte Anzahl der Elektronen ist ein Maß für die dortige Helligkeit. Diese Anzahl der Elektronen als das eigentliche Messsignal für einen jeweiligen Bildpunkt wird zur Übertragung an eine nachgelagerte Bildverarbeitung in Grauwerte digitalisiert. In entsprechender Weise können auch wellenlängenabhängige Farbwerte als Bildinformationen erfasst und in Farbwerte digitalisiert werden (z.B. Multikanalsysteme wie RGB = Rot-Grün-Blau-Werte oder CMYK = Cyan Magenta Yellow Black oder Hyperspektral).The technology of the image sensors can be described in a simplified way with the standard model of a collection pot for electrons. The number of electrons accumulated on a sensor pixel is a measure of the brightness there. This number of electrons as the actual measurement signal for a respective pixel is digitized into gray values for transmission to downstream image processing. Correspondingly, wavelength-dependent color values can also be recorded as image information and digitized into color values (e.g. multi-channel systems such as RGB = red-green-blue values or CMYK = cyan magenta yellow black or hyperspectral).

Die Umwandlung der von dem Bildsensor aufgenommenen Bildsignale in digitale Bildwerte erfolgt durch Quantisierung mit einer vorgegebenen Anzahl von Quantisierungsstufen, die von der Auflösung des digitalen Bildwertes, d.h. den Binärstellen abhängig ist. Je feiner die Auflösung der digitalen Bildwerte ist, desto größer ist die Datenmenge und die zur Übertragung erforderliche Datenbandbreite bzw. die Übertragungs- und Messzeit. In der Praxis wird eine maximale Bildqualität in minimaler Zeit und mit geringster Datenbandbreite gewünscht. Die Bildübertragung sollte dabei möglichst effizient und mit möglichst geringen Verlusten erfolgen.The image signals recorded by the image sensor are converted into digital image values by quantization with a predetermined number of quantization levels, which depends on the resolution of the digital image value, i.e. the binary digits. The finer the resolution of the digital image values, the greater the amount of data and the data bandwidth required for transmission or the transmission and measurement time. In practice, maximum image quality is desired in a minimum of time and with the lowest data bandwidth. The image transmission should be as efficient as possible and with as little loss as possible.

Dies erfordert bei der Digitalisierung einen Kompromiss.This requires a compromise when it comes to digitization.

Die herkömmliche Kamera-Hardware ist mittlerweile bis zur Grenze des physikalisch Möglichen optimiert und kann als effizient angesehen werden. Die Digitalisierung der vom Bildsensor erfassten Bildsignale, welche die Anzahl gesammelter Elektronen repräsentiert, zu den von der Kamera an eine nachgelagerte Bilddatenverarbeitungseinheit übermittelten digitalen Bildwerten erfolgt in der Regel über eine lineare Verstärkung.Conventional camera hardware has now been optimized to the limit of what is physically possible and can be considered efficient. The digitization of the image signals recorded by the image sensor, which represents the number of electrons collected, to the digital image values transmitted from the camera to a downstream image data processing unit is generally carried out via linear amplification.

WO 2008/080736 A1 beschreibt eine Belichtungsregelung für eine HDR-Kamera mit einer Anpassung der Empfindlichkeitskennlinie des Bildwandlers an die Lichtintensitätsverteilung eines auf die fotosensitive Fläche des Bildwandlers projizierten optischen Bildes. Ein angepasster Parametersatz von Einstellwerten des Bildwandlers wird auf der Grundlage der bestimmten Quantile der Häufigkeitsverteilung der Bildsignalwerte des von dem Bildwandler umgewandelten optischen Bildes erstellt. Damit lässt sich der Bildwandler so steuern, dass der Dynamikbereich des Bildwandlers verbessert wird. Damit wird bereits bei der Bilderfassung eine Übersteuerung verhindert, welche bei der Umwandlung der Helligkeitswerte eines Bildelementes des optischen Eingangsbildes in einen Signal- bzw. Grauwert des Ausgangsbildes auftritt und die wesentlich von der Empfindlichkeit des einzelnen Bildwandlerelementes bestimmt wird. WO 2008/080736 A1 describes an exposure control for an HDR camera with an adaptation of the sensitivity characteristic of the image converter to the light intensity distribution of an optical image projected onto the photosensitive surface of the image converter. An adjusted parameter set of adjustment values of the image converter is created on the basis of the determined quantiles of the frequency distribution of the image signal values of the optical image converted by the image converter. This allows the imager to be controlled in such a way that the dynamic range of the imager is improved. This already prevents overdriving during image acquisition, which occurs during the conversion of the brightness values of a picture element of the optical input image into a signal or gray value of the output image and which is essentially determined by the sensitivity of the individual image converter element.

Beispielsweise mit einer Kennlinie (auch als LinLog- oder Multislope-Kennlinie bezeichnet), bei der sich die Empfindlichkeitskennlinie aus zwei oder mehr linearen Kennlinienabschnitten unterschiedlicher Steigung zusammensetzt, werden Intensitätsunterschiede im oberen Helligkeitsbereich komprimierter umgewandelt, als Intensitätsunterschiede im unteren Helligkeitsbereich. Die Empfindlichkeitskennlinie wirkt bei der Bilderfassung auf den jeweiligen Bildpunkt zurück, sodass die von dem Bildsensor aufgenommenen Bildinformationen der einzelnen Bildpixel nicht mehr linear zueinander sind. Die aufgenommenen Bildinformationen sind daher für Messzwecke nur eingeschränkt verwendbar.For example, with a characteristic (also known as LinLog or multislope characteristic), in which the sensitivity characteristic is composed of two or more linear characteristic sections with different gradients, intensity differences in the upper brightness range are converted in a more compressed manner than intensity differences in the lower brightness range. During image acquisition, the sensitivity characteristic reacts back to the respective pixel, so that the image information of the individual image pixels recorded by the image sensor is no longer linear to one another. The recorded image information can therefore only be used to a limited extent for measurement purposes.

Ein Problem von Kameras mit interner Logarithmus-Kennlinie ist, dass die Einzelpixel dieser Kameras unterschiedliche Kennlinien aufweisen, was in Verbindung mit notwendigen Korrekturfunktionen der Kamera, wie Schwarz- und Weiß-Abgleich zur lokalen Korrektur, für den Einsatz für messtechnische Aufgaben aufgrund von Abstrichen in der Genauigkeit nachteilig ist.One problem with cameras with an internal logarithmic characteristic is that the individual pixels of these cameras have different characteristics, which in connection with the necessary correction functions of the camera, such as black and white balance for local correction, for use in metrological tasks due to swabs in detrimental to accuracy.

Weiterhin sind Kameras mit integrierten Prozessoren bekannt, die in Echtzeit eine verlustfreie Bildkompression durchführen.Cameras with integrated processors are also known, which perform lossless image compression in real time.

EP 3 059 964 A1 beschreibt ein Verfahren zur verlustlosen Datenkompression von Videobildern, bei dem die Differenzen zwischen einem aktuellen Pixelwert und dem vorhergehenden Pixelwert für jeden Bildpixel berechnet wird. Aus der minimalen und maximalen Differenz eines Segmentes wird ein Offset zur Minimierung der zur Codierung erforderlichen Anzahl von Bitstellen berechnet. EP 3 059 964 A1 describes a method for lossless data compression of video images, in which the difference between a current pixel value and the previous pixel value is calculated for each image pixel. An offset to minimize the number of bit positions required for coding is calculated from the minimum and maximum difference of a segment.

US 8,711,249 B2 beschreibt ein Verfahren und eine Vorrichtung zur Rauschreduzierung in Bildern, wobei Rauschpegel basierend auf einem Rauschmodell und Kameraparameter für jeden Kanal vorhergesagt werden, um eine Look-up-Tabelle für das Signal-Rausch-Verhältnis zu berechnen. Diese wird dann zur Filterung der verstärkten und mit Weiß- und Gamma-Abgleich vorverarbeiteten aufgenommenen Bilddaten eines Bildsensors genutzt. U.S. 8,711,249 B2 describes a method and apparatus for noise reduction in images, wherein noise levels are predicted for each channel based on a noise model and camera parameters to calculate a look-up table for the signal-to-noise ratio. This is then used to filter the amplified image data recorded by an image sensor and pre-processed with white and gamma balance.

Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, eine verbesserte bildverarbeitende Messeinrichtung und ein verbessertes Verfahren zur digitalen Übertragung von Bildinformationen zu schaffen.Proceeding from this, it is the object of the present invention to create an improved image-processing measuring device and an improved method for the digital transmission of image information.

Die Aufgabe wird mit der bildverarbeitenden Messeinrichtung mit den Merkmalen des Anspruchs 1 und durch das Verfahren mit den Merkmalen des Anspruchs 12 gelöst.The object is achieved with the image-processing measuring device with the features of claim 1 and by the method with the features of claim 12.

Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.Advantageous embodiments are described in the dependent claims.

Bei einer gattungsgemäßen bildverarbeitenden Messeinrichtung wird vorgeschlagen, dass die Bildverarbeitungseinheit zur Digitalisierung der aufgenommenen Bildsignale mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert abhängig gewählten digitalisierten Bildinformationswert eingerichtet ist.In a generic image-processing measuring device, it is proposed that the image processing unit be set up for digitizing the recorded image signals with a digitized image information value selected as a function of the respective noise component in a respective image signal value.

Damit wird ausgenutzt, dass der durch Rauschen bestimmte Anteil der vom Bildsensor aufgenommenen Bildsignale keinen nennenswerten bzw. mit vertretbarem Aufwand vom Rauschanteil rekonstruierbaren Informationswert hat. Bei der Digitalisierung kann dieser Anteil unberücksichtigt bleiben. Hierdurch kann die Auflösung der digitalisierten Bildinformationswerte ohne relevante Quantisierungsverluste reduziert werden. Der nutzbare Dynamikbereich kann auf diese Weise vergrößert werden, insbesondere wenn bei begrenzter Bandbreite der Detailgrad für Graustufen, welche nicht so stark vom Rauschen betroffen sind, erhöht wird. Zudem kann gleichzeitig der Rauscheinfluss reduziert werden.This exploits the fact that the portion of the image signals recorded by the image sensor that is determined by noise has no significant information value or one that cannot be reconstructed from the noise portion with justifiable effort. This proportion can be disregarded in digitization. As a result, the resolution of the digitized image information values can be reduced without relevant quantization losses. The usable dynamic range can be increased in this way, especially when the level of detail is increased for gray levels, which are not so badly affected by noise, when the bandwidth is limited. In addition, the influence of noise can be reduced at the same time.

Damit werden ein Informationsverlust und ein Quantisierungsfehler in Kauf genommen. Der Informationsgehalt bzw. Fehler ist aber kleiner als der durch das Rauschen verursachte Einfluss, wäre vom Rauschen nur mit großem Aufwand zu trennen und ist damit vernachlässigbar.A loss of information and a quantization error are thus accepted. However, the information content or error is smaller than the influence caused by the noise, could only be separated from the noise with great effort and is therefore negligible.

Der Rauschanteil kann beispielsweise das korrelierte Poisson-Rauschen sein.The noise component can be the correlated Poisson noise, for example.

Das Poisson-Rauschen sig_l% beträgt für einen normierten Füllgrad I% der Pixelkapazität eines Sensorpixels des Bildsensors, der je nach aufgenommener Helligkeit zwischen Null bis Eins (0 bis 100%) variiert: $s i g_1 % = \frac{\sqrt{(1 % * F W C)}}{F W C} = \sqrt{\frac{1 %}{F W C}} .$

The Poisson noise sig_l% is for a normalized degree of filling I% of the pixel capacity of a sensor pixel of the image sensor, which varies between zero and one (0 to 100%) depending on the recorded brightness:

s i G_1 % = \frac{\sqrt{(1 % * f W C)}}{f W C} = \sqrt{\frac{1 %}{f W C}} .

Dabei ist FWC die Maximalfüllung eines Sensorpixels des Bildsensors mit Elektronen e.Here, FWC is the maximum filling of a sensor pixel of the image sensor with electrons e.

Bei Bildsensoren als Rauschquelle ist fast nur noch dieses helligkeitskorrelierte Poisson-Rauschen relevant, das mit der Wurzel der in einem Topf (Sensorpixelelement) gesammelten Elektronen ansteigt.In the case of image sensors as a noise source, this brightness-correlated Poisson noise is almost exclusively relevant, which increases with the square root of the electrons collected in a pot (sensor pixel element).

Die Anzahl gesammelter Elektronen e wird als Bildsensorsignal (Helligkeits- oder Farbsignal) üblicherweise mit einer vorgewählten Anzahl von Digitalisierungsstufen 2⁸ mit B = Anzahl an Bits digitalisiert und übertragen. Das an eine Datenverarbeitungseinheit übermittelte Helligkeitssignal entspricht der Anzahl der gesammelten Elektronen e mit einem Verstärkungsfaktor, der z.B. die Maximalfüllung FWC genau auf einen maximalen Grauwert 2^B-1 verstärkt. Der digitalisierte Bildinformationswert berechnet sich dann zu $I = (2^{B} - 1) * \frac{e}{F W C}$

The number of collected electrons e is usually digitized and transmitted as an image sensor signal (brightness or color signal) with a preselected number of digitization stages 2 ⁸ with B=number of bits. The brightness signal transmitted to a data processing unit corresponds to the number of collected electrons e with an amplification factor which, for example, amplifies the maximum filling FWC precisely to a maximum gray value 2 ^B -1 . The digitized image information value is then calculated as

I = (2^{B} - 1) * \frac{e}{f W C}

Das Poisson-Rauschen sig_P ist bei einer solchen Behandlung mit einem einzigen Verstärkungsfaktor wurzelabhängig von der gemessenen Helligkeit nach der Formel: $s i g_P = \frac{\sqrt{(1 * F W C)}}{2^{B - 1}} * \frac{(2^{B} - 1)}{F W C} = \sqrt{1} * \sqrt{\frac{(2^{B} - 1)}{F W C}}$

In such a treatment with a single amplification factor, the Poisson noise sig_P is root dependent on the measured brightness according to the formula:

s i G_P = \frac{\sqrt{(1 * f W C)}}{2^{B - 1}} * \frac{(2^{B} - 1)}{f W C} = \sqrt{1} * \sqrt{\frac{(2^{B} - 1)}{f W C}}

Bei typischen Werten von FWC = 10.000 und B = 8 ergibt sich beispielsweise ein Poisson-Rauschen sig_P nach der Formel: $s i g_P = 0,16 * \sqrt{I}$

With typical values of FWC = 10,000 and B = 8, for example, a Poisson noise sig_P results according to the formula:

s i G_P = 0.16 * \sqrt{I}

Bei einem Helligkeitswert von 255 beträgt das Rauschen 2,6 Helligkeitsstufen, so dass eine viel gröbere Abtastung möglich wäre und ansonsten Bandbreite zur Übertragung der hellen Bildbereiche vergeudet wird.With a brightness value of 255, the noise is 2.6 brightness levels, so a much coarser sampling would be possible and bandwidth would otherwise be wasted transmitting the bright areas of the image.

Das Rauschen wird kleiner als eine Abtastungs-Bildsignalwertstufe (z.B. Grauwertstufe) ab $1 = \sqrt{(1)} * \sqrt{\frac{(2^{B} - 1)}{F W C}}$

The noise decreases to less than one sampling image signal level (e.g. gray level).

1 = \sqrt{(1)} * \sqrt{\frac{(2^{B} - 1)}{f W C}}

Für das Beispiel liegt der Grenzwert bei I = 39. Bildsignalwerte unter dem Wert 39 leiden dann unter dem Quantisierungsrauschen, sodass bei einer zu groben Abtastung Informationen verloren gehen.For the example, the limit is I = 39. Image signal values below the value 39 then suffer from the quantization noise, so that information is lost if the sampling is too coarse.

Damit kann für die Digitalisierung von Helligkeitswerten, bei denen das Rauschen größer als eine Abtastungs-Helligkeitssignalwertstufe ist, gröber eingestellt werden. Auf diese Weise kann ohne nennenswerten Informationsverlust eine effizientere Übertragung erreicht werden.In this way, a coarser setting can be made for the digitization of brightness values in which the noise is greater than a sampling brightness signal value level. In this way, more efficient transmission can be achieved without significant loss of information.

Dies führt zu einer nichtlinearen Kennlinie, anhand der die Digitalisierung der Bildinformationen erfolgt.This leads to a non-linear characteristic, which is used to digitize the image information.

Bei der herkömmlichen linearen Verstärkung mit festem Quantisierungsraster sind die Quantisierungsstufen in dunklen Bildbereichen hingegen gröber als das (Poisson)-Rauschen, sodass Bildinformationen und Dynamik verloren gehen.With conventional linear amplification with a fixed quantization grid, however, the quantization levels in dark image areas are coarser than the (Poisson) noise, so that image information and dynamics are lost.

Für die verbesserte Digitalisierung der Bildsignale kann ausgenutzt werden, dass das Rauschen einer Kamera mit der aufgenommenen Helligkeit variiert. Es muss nicht für jede Aufnahme spezifisch ermittelt werden, sondern kann als (statistisches) Rauschen generell angenommen, d.h. vorbestimmt werden.The fact that the noise of a camera varies with the recorded brightness can be used for the improved digitization of the image signals. It does not have to be determined specifically for each recording, but can generally be assumed as (statistical) noise, i.e. it can be predetermined.

Anhand dieses Zusammenhangs kann dann zur Digitalisierung der Bildsignale entweder eine nichtlineare Anpassung der Digitalisierungsstufen erfolgen. Denkbar ist aber auch, dass das Bildsignal, insbesondere das Helligkeitssignal, vor einer gleichförmigen Digitalisierung mit einer nichtlinearen Kennlinie verstärkt wird.On the basis of this relationship, either a non-linear adaptation of the digitization stages can then be carried out for the digitization of the image signals. However, it is also conceivable for the image signal, in particular the brightness signal, to be amplified with a non-linear characteristic before uniform digitization.

Unter einer Verstärkung im Sinne der vorliegenden Erfindung wird nicht nur eine Anhebung des Signalpegels verstanden, sondern auch eine Absenkung. Der Verstärkungsfaktor muss damit nicht zwangsläufig größer als Eins sein. Er kann auch kleiner sein.Amplification within the meaning of the present invention is understood not only as an increase in the signal level, but also as a reduction. The amplification factor does not necessarily have to be greater than one. It can also be smaller.

Die Datenverarbeitungseinheit kann zur Verstärkung der von dem Bildsensor aufgenommenen Bildsignale mit einem Verstärkungsfaktor eingerichtet sein, der durch eine von dem jeweiligen Bildsignalwert abhängige nichtlineare Kennlinie bestimmt ist. The data processing unit can be set up to amplify the image signals recorded by the image sensor with an amplification factor which is determined by a non-linear characteristic dependent on the respective image signal value.

Die Abschnitte der nichtlinearen Kennlinie können dann beispielsweise durch die Grenzwerte bestimmt sein, in denen das Rauschen jeweils größer als eine Abtastungs-Quantisierungsstufe wird, sodass mit einer oberhalb dieses Grenzwertes liegenden gröberen Abtastung keine Informationen verloren gehen.The sections of the non-linear characteristic can then be determined, for example, by the limit values in which the noise is greater than a sampling quantization level, so that no information is lost with a coarser sampling above this limit value.

Die Datenverarbeitungseinheit kann zur äquidistanten Quantisierung der mit einer nichtlinearen Kennlinie verstärkten Bildsignale eingerichtet sein.The data processing unit can be set up for equidistant quantization of the image signals amplified with a non-linear characteristic.

Damit werden die von dem Bildsensor aufgenommenen Bildsignale, d.h. die Bildsignalwerte zunächst mit Hilfe der nichtlinearen Verstärkung in angepasste Bildsignalwerte überführt, die dann mit einer äquidistanten linearen Quantisierung in digitale Bilddaten überführt werden. Die Auflösung der Quantisierung und damit der Bilddaten kann dabei für den gesamten Wertebereich konstant sein.The image signals recorded by the image sensor, i.e. the image signal values, are thus first converted into adapted image signal values with the aid of non-linear amplification, which are then converted into digital image data using equidistant linear quantization. The resolution of the quantization and thus of the image data can be constant for the entire value range.

Denkbar ist, dass die Datenverarbeitung zur Digitalisierung der jeweiligen Bildsignale der durch Umsetzung der mit einer ersten Auflösung von dem Bildsensor bereitgestellten Bildsignale in eine zweite Auflösung eingerichtet ist. Der jeweilige Rauschanteil der Bildsignale ist hierbei ein Maß zur Festlegung der zweiten Auflösung für die Umsetzung der jeweiligen Bildsignale. Damit wird die durch die Berücksichtigung des Rauschanteils informationsoptimierte Stufung ohne notwendige vorherige nichtlineare Verstärkung im Schritt der Digitalisierung der Bildsignale des Bildsensors, d.h. der Quantisierung vorgenommen.It is conceivable that the data processing for digitizing the respective image signals is set up by converting the image signals provided by the image sensor with a first resolution into a second resolution. The respective noise component of the image signals is a measure for defining the second resolution for the conversion of the respective image signals. In this way, the information-optimized gradation by taking into account the noise component is carried out without the need for prior non-linear amplification in the step of digitizing the image signals of the image sensor, i.e. quantization.

Hierbei ist auch denkbar, dass die von dem Bildsensor bereitgestellten Bildsignale bereits in abgetasteter digitaler Form mit einer ersten Auflösung vorliegen. Für den Fall, dass der Rauschanteil eine verlustlose Reduzierung der Auflösung zulässt, kann die erste Auflösung feiner als die für diesen Fall ausgewählte gröbere zweite Auflösung sein.It is also conceivable that the image signals provided by the image sensor are already present in scanned digital form with a first resolution. In the event that the noise component allows the resolution to be reduced without loss, the first resolution can be finer than the coarser second resolution selected for this case.

Die Datenverarbeitungseinheit kann zur Umsetzung mit einer Look-Up-Tabelle eingerichtet sein, die eine Digitalisierung der in einer feineren Stufung der in der ersten Auflösung von dem Bildsensor bereitgestellten digitalen Bildsignalwerte in eine gröbere Stufung definiert.The data processing unit can be set up for conversion with a look-up table that defines a digitization of the digital image signal values provided by the image sensor in a finer gradation in the first resolution into a coarser gradation.

Dies ermöglicht eine schnelle, Rechenleistung einsparende Digitalisierung der Bildsignale und lässt sich insbesondere auf einfache Weise bei Bildsensoren implementieren, die bereits Zugriffsmöglichkeiten auf aufgenommene Bildsignale mit einer Look-Up-Tabelle für eine Verstärkungsfunktion, eine Aufhellungsfunktion (z.B. Gamma-Korrektur) oder ähnliches bereitstellen.This enables fast digitization of the image signals that saves computing power and can be implemented in a particularly simple manner in image sensors that already provide access options to recorded image signals with a look-up table for an amplification function, a brightening function (e.g. gamma correction) or the like.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer nichtlinearen Kennlinie mit monotonem Verlauf eingerichtet sein. Dies hat den Vorteil, dass eine Umkehrung möglich ist, sodass nach der komprimierten Übertragung der Bildinformationen die tatsächlichen Informationen wieder zurückgewonnen werden können.The data processing unit can be set up to digitize the image signals with a non-linear characteristic with a monotonic progression. The advantage of this is that it can be reversed so that once the image information has been compressed, the actual information can be recovered.

Dies ist unter Umständen für besondere Messaufgaben hilfreich.This may be helpful for special measurement tasks.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, die einen durch eine Wurzelfunktion bestimmten Abschnitt hat.The data processing unit can digitize the image signals with a characteristic curve that has a section determined by a root function.

Bei einer klassischen linearen Übertragung mit einem Verstärkungsfaktor 2^B-1 auf den resultierenden Helligkeitswert I% ergibt eine Fehlerfortpflanzungsrechnung mit partieller Ableitung: $\begin{array}{l} I_l i n (I %) - I % * (2^{B} - 1) \\ \Rightarrow s i g_I_l i n = [\frac{d I (I %)}{d I %}] * s i g_I % = (2^{B} - 1) * \sqrt{\frac{I %}{F W C}} \end{array}$

With a classic linear transfer with an amplification factor 2 ^B -1 to the resulting brightness value I%, an error propagation calculation with partial derivation results in:

\begin{array}{l} I_l i n (I %) - I % * (2^{B} - 1) \\ \Rightarrow s i G_I_l i n = [\frac{i.e I (I %)}{i.e I %}] * s i G_I % = (2^{B} - 1) * \sqrt{\frac{I %}{f W C}} \end{array}

Dies entspricht einem korrelierten Rauschen in allgemeiner Form. Nun können beliebige Funktionen I_LUT(I%), die bevorzugt den normierten Helligkeitswert I% auf denselben Wertebereich [0; 1] mit einer Look-Up-Tabelle LUT abbilden, gleichartig berechnet werden.This corresponds to a correlated noise in a general form. Any function I_LUT(I%), which prefers the normalized brightness value I% to the same value range [0; 1] with a look-up table LUT can be calculated in the same way.

Eine Kennlinie, die der normierten Wurzelfunktion entspricht und die von dem Bildsensor aufgenommenen Helligkeitswerte I% in digitalisierte Helligkeitsdaten I_sqrt umwandelt entspricht der Wurzelfunktion $I_s q r t = (2^{B} - 1) * \sqrt{(I %)}$

A characteristic curve that corresponds to the normalized root function and converts the brightness values I% recorded by the image sensor into digitized brightness data I_sqrt corresponds to the root function

I_s q right t = (2^{B} - 1) * \sqrt{(I %)}

Für das Rauschen der resultierenden sig_I_sqrt ergibt sich dann: $s i g_I_s q r t = (2^{B} - 1) * [\frac{d \sqrt{(I %)}}{d I %}] * s i g_I % = \frac{(2^{B} - 1)}{2 * \sqrt{(I %)}} * \sqrt{\frac{(I %)}{F W C}}$

d.h.

s i g_I_s q r t = \frac{(2^{B} - 1)}{2 * \sqrt{(F W C)}} .

The result for the noise of the resulting sig_I_sqrt is then:

s i G_I_s q right t = (2^{B} - 1) * [\frac{i.e \sqrt{(I %)}}{i.e I %}] * s i G_I % = \frac{(2^{B} - 1)}{2 * \sqrt{(I %)}} * \sqrt{\frac{(I %)}{f W C}}

ie

s i G_I_s q right t = \frac{(2^{B} - 1)}{2 * \sqrt{(f W C)}} .

Bei einem solchen konstanten Rauschen ist eine konstante Stufung der digitalisierten Bildwerte (z.B. Grauwerte) mit einer Wurzelfunktion passend. Bei typischen Werten von FWC = 10.000 und B = 8 beträgt das Rauschen der Resultierenden sig_I_sqrt = 1,28, sodass alle Messwerte ohne nennenswerte Quantisierungseffekte übertragen werden. Die verbleibenden Quantisierungseffekte liegen unterhalb des Rauschens und sind damit vernachlässigbar. Das Rauschen in den Bildern ist dabei konstant und vom Bildinhalt entkoppelt. Dies erlaubt zum Beispiel die Anwendung ungewichteter Least-Square-Algorithmen zur Filterung, ohne dass systematisch Fehler eingebracht werden.With such a constant noise, a constant stepping of the digitized image values (e.g. gray values) with a root function is suitable. With typical values of FWC = 10,000 and B = 8, the noise of the resultant is sig_I_sqrt = 1.28, so that all measured values are transmitted without significant quantization effects. The remaining quantization effects are below the noise level and are therefore negligible. The noise in the images is constant and decoupled from the image content. This allows, for example, the use of unweighted least-squares algorithms for filtering without systematically introducing errors.

Lediglich für die dunkelsten Grauwerte wird die Steigung der Wurzelfunktion steiler, als die intern bereitgestellten Bildsignalwerte des Bildsensors. In diesem Fall kann bevorzugt am Anfang der Wurzelfunktion direkt eine Digitalisierung mit höchster (interner) Auflösung vorgesehen werden. Die Übertragungsfunktion ist dann im Anfangsbereich steil-linear mit einem gleitenden Übergang zur Wurzelfunktion. Der Übergang kann in dem vorgenannten Beispiel vorzugsweise bei 28% (1,28) als Wert des Rauschens liegen.Only for the darkest gray values does the slope of the root function become steeper than the image signal values provided internally by the image sensor. In this case, digitization with the highest (internal) resolution can preferably be provided directly at the start of the root function. The transfer function is then steeply linear in the initial area with a smooth transition to the root function. The transition may preferably be at 28% (1.28) in the above example as the value of the noise.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, die in aufeinander folgenden Fragmenten jeweils einen linearen Verlauf mit voneinander verschiedenen Steigungen hat. Eine solche stückweise lineare Kennlinie ist vor allem dann vorteilhaft, wenn die mit einer feinen Auflösung abgetasteten Bildsensordaten des Bildsensors in Bilddaten mit gröberer Auflösung, d.h. mit einer geringeren Anzahl an Bits zur Digitalisierung umgewandelt werden soll, um Bandbreite zu sparen, wobei die Bitlänge konstant gehalten wird.To digitize the image signals, the data processing unit can use a characteristic curve which has a linear progression with gradients that differ from one another in successive fragments. Such a piecewise linear characteristic is particularly advantageous when the image sensor data of the image sensor sampled with a fine resolution is to be converted into image data with a coarser resolution, i.e. with a smaller number of bits for digitization, in order to save bandwidth, with the bit length being kept constant becomes.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, dessen Steigung durch einen durch die feinste verfügbare Quantisierungsstufung des Bildsensors bestimmten Grenzwert limitiert ist. Die Steigung ist ein Maß für die Reduzierung der Auflösung der vom Bildsensor aufgenommenen Bilddaten zu der Auflösung nach der Digitalisierung der Bildsignale durch die Datenverarbeitungseinheit. Die Quantisierungsstufung, mit der eine informationsoptimierte Digitalisierung unter Reduzierung der Auflösung noch möglich ist, bestimmt den Grenzwert für die Kompression der Daten, die ohne Informationsverlust durch Reduzierung der Auflösung, d.h. der Anzahl an Binärstellen bzw. der Bitbreite möglich ist.To digitize the image signals, the data processing unit can use a characteristic whose slope is limited by a limit value determined by the finest available quantization step of the image sensor. The slope is a measure of the reduction in the resolution of the image data recorded by the image sensor to the resolution after the image signals have been digitized by the data processing unit. The quantization step, with which an information-optimized digitization is still possible while reducing the resolution, determines the limit value for the compression of the data, which is possible without loss of information by reducing the resolution, i.e. the number of binary digits or the bit width.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale aus einem Kanal mit Helligkeitswerten des Bildsensors eingerichtet sein. Denkbar ist aber auch, dass die Digitalisierung für mehrere Kanäle mit Helligkeits- und/oder Farbwerten des Bildsensors eingerichtet ist. Die Bildinformation muss daher nicht zwangsläufig Helligkeits- und zugehörige Grauwerte umfassen. Sie kann auch Farbinformationen umfassen oder optional auch eine Kombination aus Helligkeits- und Farbinformationen sein.The data processing unit can be set up to digitize the image signals from a channel with brightness values of the image sensor. However, it is also conceivable that the digitization is set up for a plurality of channels with brightness and/or color values of the image sensor. The image information therefore does not necessarily have to include brightness and associated gray values. It can also include color information or optionally also be a combination of brightness and color information.

Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale von mehreren Bildsensoren eingerichtet sein. Insofern ist der unbestimmte Begriff „einem Bildsensor“ und „einer Datenverarbeitungseinheit“ als solcher zu verstehen, der weitere Elemente nicht ausschließt. Der unbestimmte Begriff „ein“ ist, sofern sich aus dem Zusammenhang nicht eindeutig etwas anderes ergibt, als solcher und nicht als Zahlwort zu verstehen.The data processing unit can be set up to digitize the image signals from a number of image sensors. In this respect, the vague term “an image sensor” and “a data processing unit” is to be understood as one that does not exclude other elements. The indefinite term "a" is to be understood as such and not as a numeral, unless the context clearly indicates otherwise.

Die Erfindung wird anhand von Ausführungsbeispielen mit den beigefügten Zeichnungen näher erläutert. Es zeigen:

1 - Blockdiagramm einer bildverarbeitenden Messeinrichtung;
2 - Skizze einer Bildaufnahme einer Laserlinie auf hellem und dunklem Material mit linearer Verstärkung (a), bei Übertragung nur der 8 Bits mit dem höchsten Stellenwert (b) und bei Digitalisierung mit nicht-linearer Kennlinie (c);
3 - Diagramm einer monotonen, nicht-linearen Kennlinie mit drei stückweise linearen Abschnitten A, B und C;
4 - Diagramm einer monotonen, nicht-linearen Kennlinie mit anfänglichem linearen Abschnitt und sich daran anschließender Wurzelkennlinie.

The invention is explained in more detail using exemplary embodiments with the accompanying drawings. Show it:

1 - Block diagram of an image processing measuring device;
2 - Sketch of an image recording of a laser line on light and dark material with linear amplification (a), with transmission of only the 8 bits with the most significant value (b) and with digitization with a non-linear characteristic (c);
3 - Diagram of a monotonic, non-linear characteristic with three piecewise linear sections A, B and C;
4 - Diagram of a monotonous, non-linear characteristic with an initial linear section and subsequent root characteristic.

1 zeigt ein Blockdiagramm einer bildverarbeitenden Messeinrichtung 1 mit einem Bildsensor 2 und einer Datenverarbeitungseinheit 3. 1 shows a block diagram of an image-processing measuring device 1 with an image sensor 2 and a data processing unit 3.

Der Bildsensor 2 erfasst Bildsignale eines Bildes, die als analoge Bildsignalwerte oder abgetastete (quantisierte) digitale Bildsignalwerte IN an die Datenverarbeitungseinheit 3 weitergeleitet werden.The image sensor 2 captures image signals of an image, which are forwarded to the data processing unit 3 as analog image signal values or sampled (quantized) digital image signal values IN.

Der Bildsensor 2 kann beispielsweise ein Halbleitersensor mit bildempfindlichen Pixeln zur Messung der auf dem Bildpixel einfallenden Lichtmenge sein. Geeignet sind beispielsweise CCD-Sensoren (Charge-Coupled Device), Bayer-Sensoren mit Farbfiltern zur Farbsignalerfassung oder ein Active Pixel Sensor (APS) mit integrierter Verstärkerschaltung zum Auslesen von Signalen für jedes Bildelement.The image sensor 2 can be, for example, a semiconductor sensor with image-sensitive pixels for measuring the amount of light incident on the image pixel. For example, CCD sensors (Charge-Coupled Device), Bayer sensors with color filters for color signal detection or an active pixel sensor (APS) with an integrated amplifier circuit for reading out signals for each picture element are suitable.

Die Datenverarbeitungseinheit 3 kann ein geeignet programmierter Mikrocontroller oder Mikroprozessor sein oder einen solchen beinhalten. Die Datenverarbeitungseinheit 3 kann zusammen mit dem Bildsensor 2 eine integrale Einheit bilden. Denkbar ist aber auch, dass die Datenverarbeitungseinheit 3 separat von dem Bildsensor 2 ist. Die Datenübertragung zwischen dem Bildsensor 2 und der Datenverarbeitungseinheit 3 erfolgt dann drahtgebunden über eine Verbindungsleitung oder drahtlos mittels elektromagnetischer Wellen (Funk oder optisch).The data processing unit 3 can be or contain a suitably programmed microcontroller or microprocessor. The data processing unit 3 can form an integral unit together with the image sensor 2 . However, it is also conceivable that the data processing unit 3 is separate from the image sensor 2 . The data is then transmitted between the image sensor 2 and the data processing unit 3 by wire via a connecting line or wirelessly by means of electromagnetic waves (radio or optical).

Die Datenverarbeitungseinheit 3 ist dazu eingerichtet, die analogen oder mit einer ersten Auflösung quantisierten Bildsignalinformationen, die vom Bildsensor 2 aufgenommen wurden, an eine nachgelagerte Auswerteeinheit 4 zu übertragen.The data processing unit 3 is set up to transmit the analog image signal information or image signal information quantized with a first resolution, which was recorded by the image sensor 2 , to a downstream evaluation unit 4 .

Die zur Übertragung der digitalisierten Bildinformationswerte OUT von der Datenverarbeitungseinheit 3 in eine Auswerteeinheit 4 steht in der Regel nur eine begrenzte Datenbandbreite zur Verfügung. Die vom Bildsensor 2 erfassten Messinformationen müssten daher unter Umständen bei begrenzter Datenbandbreite zwischengespeichert werden. Dies ist aufwendig. Zudem kommt es zur Verzögerung bei der Datenübertragung.As a rule, only a limited data bandwidth is available for the transmission of the digitized image information values OUT from the data processing unit 3 to an evaluation unit 4 . The measurement information recorded by the image sensor 2 would therefore have to be temporarily stored if the data bandwidth is limited. This is expensive. There is also a delay in data transmission.

Zur effizienten Bilddatenübertragung mit geringen Informationsverlusten ist die Datenverarbeitungseinheit 3 eingerichtet, um die von dem Bildsensor 2 aufgenommenen Bildsignale IN mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert (z.B. Bildpixel) abhängig gewählten digitalisierten Bildinformationswert OUT zu digitalisieren.For efficient image data transmission with low information losses, the data processing unit 3 is set up to digitize the image signals IN recorded by the image sensor 2 with a digitized image information value OUT selected depending on the respective noise component in a respective image signal value (e.g. image pixel).

Damit erfolgt entweder die Quantisierung eines analogen Bildsignals des Bildsensors 2 oder die Digitalisierung eines digitalen Bildsignalwertes von einer höheren Auflösung in eine geringere Auflösung.This results in either the quantization of an analog image signal from the image sensor 2 or the digitization of a digital image signal value from a higher resolution to a lower resolution.

Die Digitalisierungsverluste werden dadurch verringert oder vermieden, indem nur in dem Grad eine Reduzierung der Auflösung erfolgt, in dem der von dem Bildsensor 2 aufgenommene Bildsignalwert IN ohnehin durch Rauschen überlagert ist und in diesem Umfang ohnehin keinen Informationswert hat.The digitization losses are reduced or avoided in that the resolution is reduced only to the extent that the image signal value IN recorded by the image sensor 2 is already overlaid by noise and to this extent has no information value anyway.

2 zeigt eine Skizze einer Bildaufnahme einer Laserlinie auf zwei unterschiedlich stark reflektierenden Materialien, die in eine helle und eine dunkle Linie resultieren. Die quadratischen Bildbereiche weisen auf der linken Hälfte ein helles, stark reflektierendes Material und auf der rechten Hälfte ein dunkles, schlecht reflektierendes Material auf. 2 shows a sketch of an image recording of a laser line on two differently reflecting materials, resulting in a light and a dark line. The square image areas have a light, highly reflective material on the left half and a dark, poorly reflective material on the right half.

Es soll nun die Position der Laserlinie ermittelt werden. Aufgrund einer hohen gewünschten Messgeschwindigkeit stehen beispielsweise nur 8 Bits Bandbreite für die Übertragung der digitalen Bildinformationswerte OUT zur Verfügung.The position of the laser line is now to be determined. Due to a high desired measurement speed, for example, only 8 bits of bandwidth are available for the transmission of the digital image information values OUT.

Die obere Bildaufnahme (a) zeigt die Digitalisierung der von dem Bildsensor 2 ursprünglich mit 10 Bits Auflösung aufgenommenen Laserlichtlinie für den Fall, dass die von dem Bildsensor aufgenommene Bildinformation mit 10 Bits Auflösung linear mit einem einzigen Verstärkungsfaktor (Gain) verstärkt und nur die 8 geringwertigsten Bits (LSB = Least Significant Bits) übertragen werden. Dies entspricht einem Betrieb mit einem Verstärkungsfaktor von 4. Es ist erkennbar, dass der diagonal gestrichelte Bereich auswertbar ist.The upper image (a) shows the digitization of the laser light line originally recorded by the image sensor 2 with a resolution of 10 bits in the event that the image information recorded by the image sensor with a resolution of 10 bits is amplified linearly with a single amplification factor (gain) and only the 8 lowest values Bits (LSB = Least Significant Bits) are transmitted. This corresponds to operation with an amplification factor of 4. It can be seen that the diagonally broken area can be evaluated.

Der auf der linken Seite etwa auf der Mittellinie erkennbare kariert gemusterte Bereich ist übersteuert. Dieser übersteuerte Bereich ist für eine Auswertung unbrauchbar.The area with a checkered pattern visible roughly on the center line on the left is overdriven. This overdriven area cannot be used for an evaluation.

Der weiße Bereich der Skizze außerhalb der gemusterten Bereiche ist zu dunkel und damit auch nicht auswertbar.The white area of the sketch outside the patterned areas is too dark and therefore cannot be evaluated.

In der mittleren Skizze (b) erfolgt die Digitalisierung der vom Bildsensor 2 mit 10 Bits Auflösung aufgenommenen Bildinformationen dadurch, dass nur die 8 höchstwertigen Bits (MSB = Most Significant Bits) ausgewählt und übertragen wurden. Dies entspricht einem Kamera-Normalbetrieb, bei dem die Helligkeitswerte linear übertragen werden. Es ist nur der diagonal schraffierte Bereich auswertbar. Der weitere umgebende, in der Skizze weiße Bereich ist zu dunkel, untersteuert und damit nicht mehr auswertbar. Deutlich wird, dass ein wesentlicher Teil der Informationen verloren geht und nur eine helle Linie im Bereich des linken, hellen, stark reflektierenden Materials messbar ist.In the sketch in the middle (b), the image information recorded by the image sensor 2 with a resolution of 10 bits is digitized by only the 8 most significant bits (MSB=Most Significant Bits) being selected and transmitted. This corresponds to normal camera operation in which the brightness values are transmitted linearly. Only the diagonally hatched area can be evaluated. The other surrounding area, white in the sketch, is too dark, underpowered and therefore no longer evaluable. It becomes clear that a significant part of the information is lost and only a bright line can be measured in the area of the bright, strongly reflecting material on the left.

In der Skizze (c) wurden die von dem Bildsensor 2 mit 10 Bits Auflösung aufgenommenen Bildinformationen mit einer nichtlinearen Kennlinie verstärkt bzw. umgerechnet, bevor diese mit 8 Bits quantisiert wurden. Dadurch wurde die in der Skizze (a) erkennbare Übersteuerung des kariert gemusterten Bereiches vermieden und ansonsten der diagonal schraffierte und auswertbare Bereich ohne Informationsverlust übertragen. Damit ist die Laserlinie sowohl auf dem hellen, stark reflektierenden Material auf der linken Hälfte des Bildbereiches, als auch auf dem dunklen, schlecht reflektierenden Material im rechten Bildbereich auswertbar.In sketch (c), the image information recorded by the image sensor 2 with a resolution of 10 bits was amplified or converted using a non-linear characteristic before it was quantized with 8 bits. As a result, the overloading of the checkered patterned area that can be seen in sketch (a) was avoided and otherwise the diagonally hatched area that can be evaluated was transmitted without loss of information. This means that the laser line can be evaluated both on the bright, highly reflective material on the left half of the image area and on the dark, poorly reflective material on the right image area.

Trotz der Reduzierung der Auflösung auf 8 Bits wurde durch die nichtlineare Kennlinie ein Informationsverlust vermieden.Despite the reduction in resolution to 8 bits, a loss of information was avoided thanks to the non-linear characteristic.

3 zeigt ein Diagramm der für die Bildaufnahme in 2 genutzten monotonen, nichtlinearen Kennlinie mit drei stückweise linearen Abschnitten A, B und C. 3 shows a diagram of the for image acquisition in 2 used monotonic, non-linear characteristic with three piecewise linear sections A, B and C.

Die von dem Bildsensor 2 aufgenommenen und mit einer Auflösung von 10 Bits quantisierten Bildsignale INPUT = IN wurden mit einer Look-Up-Tabelle auf Grundlage der im Diagramm dargestellten Kennlinie in digitalisierte Bildinformationswerte (OUTPUT Grauwert) umgewandelt. Dabei wurden von dem Bildsensor 2 nur Helligkeitswerte erfasst, die durch die Abtastung in Grauwerte quantisiert wurden.The image signals INPUT=IN recorded by the image sensor 2 and quantized with a resolution of 10 bits were converted into digitized image information values (OUTPUT gray value) using a look-up table based on the characteristic shown in the diagram. In this case, the image sensor 2 only recorded brightness values that were quantized into gray values by the scanning.

Deutlich wird, dass die nichtlineare Kennlinie im Anfangsbereich bei kleinen Grauwerten eine hohe Steigung aufweist. An diesen ersten Abschnitt A schließt sich dann ein zweiter Abschnitt B mit einer geringeren Steigung an. Dieser geht dann in einen dritten Abschnitt C mit noch geringerer Steigung über.It becomes clear that the non-linear characteristic curve has a high gradient in the initial area with small gray values. This first section A is then followed by a second section B with a lesser incline. This then merges into a third section C with an even lower gradient.

Die Grenzen vom Übergang des ersten Abschnitts A in den zweiten Abschnitt B und von dem zweiten Abschnitt B in den dritten Abschnitt C werden durch das Rauschverhalten bestimmt.The boundaries of the transition from the first section A to the second section B and from the second section B to the third section C are determined by the noise performance.

Bei der dargestellten stückweisen linearen Look-Up-Tabelle von 10 Bits zu 8 Bits Auflösung ist bis zum Grauwert 64 ein Verstärkungsfaktor von 4 vorgesehen. Von dort ist bis zu einem Grauwert von 256 ein Verstärkungsfaktor von 4/3 vorgesehen. Daran schließt sich in dem dritten Abschnitt C bis zum Grauwert 1024 ein Verstärkungsfaktor von 4/6 an.In the illustrated piecewise linear look-up table with a resolution of 10 bits by 8 bits, an amplification factor of 4 is provided up to the gray value 64. From there, up to a gray value of 256, an amplification factor of 4/3 is provided. This is followed in the third section C up to the gray value 1024 by an amplification factor of 4/6.

Denkbar sind vergleichbare monotone, nichtlineare Kennlinien mit entweder nur zwei Abschnitten oder mehr als drei Abschnitten.Comparable monotonic, non-linear characteristic curves with either only two sections or more than three sections are conceivable.

Dies hängt von dem Rauschanteil in den jeweiligen Bereichen der vom Bildsensor 2 aufgenommenen Bildsignalwerte, wie beispielsweise Grauwerte, ab.This depends on the noise component in the respective areas of the image signal values recorded by the image sensor 2, such as gray values.

4 zeigt ein anderes Diagramm einer monotonen, nichtlinearen Kennlinie mit anfänglichen linearen Abschnitt und sich daran anschließende Wurzelkennlinie. 4 shows another diagram of a monotonic, non-linear characteristic with an initial linear section and subsequent root characteristic.

Wenn nun die vom Bildsensor 2 aufgenommenen analogen Bildsignale oder mit einer höheren Auflösung quantisierten Bildsignalwerte entsprechend ihrem Eingangssignalwert mit der monotonen, nichtlinearen Wurzelkennlinie verstärkt und in Ausgangsgrauwerte umgerechnet werden, dann wird ein in diesem Schritt oder anschließend mit einer geringeren Auflösung digitalisierter Bildinformationswert bereitgestellt, bei dem keine nennenswerte Informationsverluste auftreten und der trotzdem im Vergleich zur von dem Bildsensor 2 aufgenommenen Bildinformation komprimiert ist. Quantisierungseffekte werden mit der informationsoptimierten Stufung der Bildinformationswerte vermieden und die Qualität der Auswertung verbessert.If the analog image signals recorded by the image sensor 2 or image signal values quantized with a higher resolution are amplified according to their input signal value with the monotonic, non-linear root characteristic and converted into output gray values, then an image information value digitized in this step or subsequently with a lower resolution is provided in which no appreciable loss of information occurs and it is nevertheless compared to that of the image sensor 2 recorded image information is compressed. Quantization effects are avoided with the information-optimized grading of the image information values and the quality of the evaluation is improved.

Wenn beispielsweise ein mit hoher Auflösung von 10 oder 12 Bits aufgenommenes Bild linear verstärkt und damit aufgehellt wird, dann führt es in dunklen Bereichen nicht zu zusätzlichen Informationen. Dies kann zu einer fehlerhaften Bestimmung von Bildinformationen mit sehr dunklen Umgebungswerten führen.For example, if an image taken with a high resolution of 10 or 12 bits is linearly enhanced and thus brightened, then this does not lead to additional information in dark areas. This can lead to incorrect determination of image information with very dark ambient values.

Durch die Digitalisierung der Bildinformationen in Abhängigkeit von dem jeweiligen Rauschanteil beispielsweise mit der in der 4 gezeigten Wurzelkennlinie mit anfänglichen linearen Bereich nimmt das Rauschen in allen homogenen Bereichen ähnliche Werte an. Die Korrelation des Poisson-Rauschens mit der Bildhelligkeit wird aufgehoben.By digitizing the image information depending on the respective noise component, for example with the 4 In the root characteristic curve shown with an initial linear area, the noise assumes similar values in all homogeneous areas. Poisson noise is uncorrelated with image brightness.

Dies hat vor allen Dingen einen Vorteil, wenn später noch eine Filterung der digitalisierten Bildinformation beispielsweise mit Least-Square-Algorithmen erfolgt. Wenn die von der Helligkeit abhängigen Fehler, die durch das Poisson-Rauschen verursacht werden, bei der Least-Square-Optimierung nicht beachtet werden, tritt ein Fehler in der Größenordnung des Poisson-Rauschens auf. Wenn hingegen der den Bildinformationswerten zugeordnete Rauschpegel beachtet wird, wird ein Least-Square-Fit erhalten, der durch die Fehlerintervalle läuft und ein deutlich besseres Messergebnis liefert.Above all, this has an advantage if the digitized image information is also filtered later, for example using least-square algorithms. If the brightness-dependent errors caused by Poisson noise are ignored in the least squares optimization, an error of the magnitude of the Poisson noise will occur. On the other hand, if the noise level assigned to the image information values is taken into account, a least squares fit is obtained which runs through the error intervals and delivers a significantly better measurement result.

Die beispielsweise in den 3 und 4 skizzierten Diagramme können als Look-Up-Tabellen auf einfache Weise in herkömmlichen Kameras eingesetzt werden, die bereits eine Umsetzung solcher Kennlinien über ein Mapping vorsehen, um intern mit höherer Auflösung aufgenommene Bildsignalwerte (z.B. Helligkeitswerte) auf die final zur Übertragung verwendeten digitalisierten Bildinformationswerte (z.B. Grauwerte) umzusetzen.The example in the 3 and 4 The diagrams outlined can easily be used as look-up tables in conventional cameras, which already provide for the conversion of such characteristic curves via mapping in order to convert image signal values (e.g. brightness values) recorded internally with higher resolution to the digitized image information values (e.g gray values) to implement.

Damit wird der Dynamikumfang erweitert, d.h. es können mehr Informationen bei gleicher Bandbreite übertragen werden.This expands the dynamic range, i.e. more information can be transmitted with the same bandwidth.

Für den Fall einer Wurzelkennlinie wird zusätzlich das korrelierte Poisson-Rauschen in ein Normalrauschen gewandelt, was Vorteile bei der folgenden Bildverarbeitung hat.In the case of a root characteristic, the correlated Poisson noise is also converted into normal noise, which has advantages in the subsequent image processing.

Voraussetzung ist ein Zugriff auf die von dem Bildsensor 2 aufgenommenen Bildsignale entweder im analogen oder im digitalen Format, bevor diese mit einer zur Datenübertragung geeigneten Auflösung digitalisiert werden. Die mindestens erforderliche Auflösung, um bei einer gegebenen Maximalfüllung FWC Bildsignale verlustfrei zu übertragen ergibt sich nach der Formel: $Minimal benotigte Anzahl von Graustufen = 2 * \sqrt FWC .$

A prerequisite is access to the image signals recorded by the image sensor 2 either in analog or in digital format before they are digitized with a resolution suitable for data transmission. The minimum resolution required to transmit image signals without loss for a given maximum filling FWC is given by the formula:

Minimum required number of gray levels = 2 * \sqrt FWC .

Für eine einfache Kamera mit FWC = 1000 Elektronen sind lediglich 6 Bits zur Übertragung erforderlich, ohne dass wesentliche Quantisierungsverluste auftreten.For a simple camera with FWC = 1000 electrons, only 6 bits are required for transmission without significant quantization losses.

Vorteilhaft ist es, wenn der Bildsensor 2 die Daten mit einem hohen Oversampling im Vergleich zur benötigten Auflösung bereitstellen. Die Differenz zwischen der hohen Auflösung zu der geringeren Auflösung für die digitalisierten Bildinformationswerte sollte vorzugsweise mindestens 2 Bits und mehr betragen. So ist eine Umsetzung von einer 10 Bits Auflösung auf 8 Bits oder bevorzugt von 12 Bits auf 8 Bits geeignet für eine informationsoptimierte Stufung der Bildinformationen bei der Digitalisierung.It is advantageous if the image sensor 2 provides the data with high oversampling compared to the required resolution. The difference between the high resolution and the lower resolution for the digitized image information values should preferably be at least 2 bits and more. A conversion from a 10-bit resolution to 8 bits, or preferably from 12 bits to 8 bits, is suitable for an information-optimized gradation of the image information during digitization.

Die Umsetzung der Digitalisierung in Abhängigkeit vom jeweiligen Rauschanteil kann gegebenenfalls auch in mehreren Schritten erfolgen, beispielsweise in Verbindung mit einer zweistufigen Verstärkung oder einer Aufhellfunktion (z.B. Kamera-Korrektur).The implementation of the digitization depending on the respective noise component can also be carried out in several steps, for example in connection with a two-stage amplification or a brightening function (e.g. camera correction).

Als bildverarbeitende Messeinrichtung eignen sich nicht nur Schwarz-Weiß-Kameras. Die vom jeweiligen Rauschanteil abhängige Digitalisierung der Bildinformationen kann gleichermaßen auch für Farbinformationen beispielsweise einer RGB-Kamera oder von Spektralinformationen einer Hyperspektral-Kamera eingesetzt werden.Black-and-white cameras are not the only suitable image-processing measuring devices. The digitization of the image information, which is dependent on the respective noise component, can also be used for color information, for example from an RGB camera, or for spectral information from a hyperspectral camera.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

WO 2008/080736 A1 [0008]
EP 3059964 A1 [0012]
US 8711249 B2 [0013]

Claims

Image processing measuring device (1) with an image sensor (2) and a data processing unit (3), which is set up for digital processing of the image signals (IN) recorded by the image sensor (2), characterized in that the data processing unit (3) for digitizing the recorded video signals (IN) into a digitized video information value (OUT) selected depending on the respective noise component in a respective video signal value (IN).

Image processing measuring device (1) according to claim 1 , characterized in that the data processing unit (3) is set up to amplify the image signals (IN) recorded by the image sensor (2) with an amplification which is determined by a non-linear characteristic dependent on the recorded image signal (IN).

Image processing measuring device (1) according to claim 2 , characterized in that the data processing unit (3) is set up for equidistant quantization of the recorded image signals (IN) amplified with a non-linear characteristic.

Image processing measuring device (1) according to claim 1 , characterized in that the data processing unit (3) is set up for digitizing the recorded image signals (IN) by converting the image signal values provided by the image sensor with a first resolution into digitized image information values (OUT) with a second resolution, with the respective noise component of the recorded image signals (IN) is a measure for determining the second resolution for the conversion of the respective image signal values.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) is set up for conversion with a look-up table which digitizes the data from the image sensor (2) in a finer graduation with a first resolution provided digital image signal values (IN) in a coarser gradation with a second resolution that is smaller than the first resolution.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) is set up for digitizing the recorded image signals (IN) with a non-linear characteristic with a monotonic progression.

Image processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) digitizes the recorded image signals (IN) with a characteristic curve which has a section determined by a root function.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) digitizes the recorded image signals (IN) with a characteristic curve which has a linear progression with different gradients in successive segments.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) digitizes the recorded image signals (IN) with a characteristic whose slope is limited by a limit value determined by the finest available quantization level of the image sensor (2). is.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) for digitizing the recorded image signals (IN) from a channel with brightness values of the image sensor (2) or from a plurality of channels with brightness values and/or color values of the image sensor (2) is established.

Image-processing measuring device (1) according to one of the preceding claims, characterized in that the data processing unit (3) is set up for digitizing the recorded image signals (IN) from a plurality of image sensors (2).

Method for the digital transmission of image signals (IN), which are recorded with an image sensor (2), characterized by digitizing the recorded image signals (IN) with one of the digitized image information value (OUT) selected as a function of the respective noise component in a respective recorded image signal (IN).

procedure after claim 12 , characterized by amplification of the image signals (IN) recorded by the image sensor (2) with an amplification factor which is determined by a non-linear characteristic dependent on the recorded image signal (IN).

procedure after Claim 13 , characterized by equidistant linear quantization of the image signals (IN) amplified with a non-linear characteristic.

procedure after claim 12 , Characterized by digitization of the recorded image signals (IN) by converting the recorded image signal values provided by the image sensor (2) with a first resolution into a second resolution, the respective noise component of the image signal values being a measure for determining the second resolution for the conversion of the respective image signal values is.

Procedure according to one of Claims 12 until 15 , characterized by digitization of the recorded image signals (IN) by conversion with a look-up table that defines digitization of the digital image signal values provided in a finer quantization gradation in the first resolution of the image sensor (2) into a coarser quantization gradation.