EP2507765A1 - Method and device for adapting image information of an optical system - Google Patents

Method and device for adapting image information of an optical system

Info

Publication number
EP2507765A1
EP2507765A1 EP10788289A EP10788289A EP2507765A1 EP 2507765 A1 EP2507765 A1 EP 2507765A1 EP 10788289 A EP10788289 A EP 10788289A EP 10788289 A EP10788289 A EP 10788289A EP 2507765 A1 EP2507765 A1 EP 2507765A1
Authority
EP
European Patent Office
Prior art keywords
image
optical system
standard image
standard
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10788289A
Other languages
German (de)
French (fr)
Inventor
Karsten Muehlmann
Alexander Wuerz-Wessel
Klaus-Guenther Fleischer
Marcus Lorei
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2507765A1 publication Critical patent/EP2507765A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for adapting image information of an optical system and to a corresponding device and a corresponding computer program product.
  • the measurement programs applied to the image must be completely modified to accommodate the new features of the optical system, such as the optical system.
  • Image resolution pixel / degree, aperture angle, ...), contrast properties of the image, effects of camera control, etc. catch.
  • Certain algorithms can be parameterized depending on the image. However, this requires that the current image is analyzed in the arithmetic units and stored in the memory, so that subsequent processing steps can be parameterized on the image. This creates memory bandwidth and memory requirements that must be realized in the system and incur costs.
  • DE 102 02 163 A1 discloses a method and an apparatus for image processing as well as a night vision system for motor vehicles, in which a sensitive in the near infrared standard camera delivers images on one opposite the lower resolution camera display means are displayed.
  • Image processing can improve the raw images of the sensor by means of image sharpening methods and / or contrast enhancement methods, so that a display on a display means is made possible for viewing by a viewer.
  • the present invention provides a method for adapting image information of an optical system to at least one postprocessing algorithm, furthermore a device which uses this method, and finally a corresponding computer program product according to the independent patent claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • the invention is based on the provision of a separation between an optical system and the subsequent image-based measuring programs.
  • an image abstraction layer a so-called image abstraction layer (IAL)
  • IAL image abstraction layer
  • Abstraction Layer is a "standard image" that is realized largely independent of the optical system
  • Image but it can also be several images that are derived from the original image. Further, the images may not only be images in the classical sense, but may also represent image-based maps of preprocessing levels.
  • Output data of the optical system are intensity values as a data stream, whereby the data stream can be evaluated as stream or in combination with the image width as image.
  • the image can be processed before being processed by the IAL
  • Algorithm be stored in memory.
  • the pixel stream can be direct be evaluated. Depending on the severity, this represents the interface between the optical system (imager) and the IAL.
  • the output data of the IAL are again pixel streams or images which can be stored in the memory or processed directly afterwards. This is application and timing dependent.
  • the IAL can be implemented both in hardware and in software. Since the methods are used depending on the application, programmable logic, for example in the form of an FPGA, is suitable for a hardware implementation. When implemented in software, this usually takes place on freely programmable microcontrollers.
  • One of the norm images may be a reconstruction of the lens aberrations.
  • data are obtained by measuring the optical system, which describe the optical errors of the lens system.
  • correction rules for the original image for example in the form of pixel shifts, can be calculated with the aid of the models of the optical errors. If implemented properly, these pixel shifts can be realized in the FPGA.
  • the pixel shift creates an image that has structurings that do not originate in the observed scene but in the pixel shift. Therefore, after the shift, a smoothing of the image is calculated, e.g. a bilinear interpolation.
  • the original image is first stored in memory and then the pixel shift in the FPGA is calculated.
  • the result of the pixel shift is then further processed directly in the FPGA as pixel stream in the smoothing and then stored in memory.
  • This standard image differs from the original image due to lens aberration effects.
  • With appropriate design of the method can be abstracted here from the lens aberrations, resulting in an advantage of the IAL.
  • Another standard image may be one with evaluated color information.
  • a pattern of color filters can be applied to the imager, depending on the application, the pattern may be different. Patterns such as red intensity intensity intensity (no filter), so-called R3I, red-green-blue intensity (RGBl), cyan intensity intensity intensity (C3I), or the like can be displayed on a 2x2 pixel area , be used.
  • the pattern can be used to derive information on the "rottenness" of the pixel, ie we compare white locally with red and evaluate red relative to white.
  • the method differs depending on the imager pattern used, but the result is Depending on the pattern used, a more or less large image area is evaluated by one pixel and a measure of redness is generated, which results are stored as an image in the memory.
  • the postprocessing algorithms can then Accessing this image for red classification, eg an algorithm for detecting traffic signs (speed limits with red border), can classify pixel-white the boundary pixels of the detected sign on the basis of the red image.
  • suitable further methods can be combined.
  • the methods of image formation can e.g. a dead pixel correction, which is corrected by interpolation from surrounding pixels (pixels), or a fixed-pattem noise correction, which is corrected by adjusting the color values based on tabulated correction values.
  • the suitable methods may be, for example, the lens error, the
  • the aim of the combination is to produce the standard image in certain narrow quality measures and to determine the quality measures.
  • Exemplary quality measures include histograms of the gray value distribution, frequency analyzes of the image, changes in the frequency spectrum over time, etc.
  • the length of the edge segments can be used as a measure of quality.
  • An edge standard image is e.g. the basis for a track application in the vehicle sector. Gradients per pixel are calculated and weighted in the image. The decay rating is used to categorize the gradients.
  • the categorized gradients per pixel are concatenated into edges, with the categorization of the gradients deciding on the chaining or discontinuation of the chain formation.
  • the middle Length of the chains and the distribution of chain lengths around the mean used as CD measure.
  • the threshold values for the following image are then set. This image abstraction ensures that the subsequent spur algorithm can calculate with consistent quality and compensation of the edge information in the image.
  • the quality measures can then be used to parameterize the subsequent algorithms, as explained for example with reference to the embodiment of the edge image.
  • optical system As a whole. This in turn can be used to increase system availability e.g. to monitor in the context of a security concept.
  • the adjustment of the edge image is for a certain duration or permanently at the stop, i. the average length of the chains can not be adjusted, then this is due to an impairment of the optical system, e.g. To close a contamination of the field of view or a failure of the imager.
  • This type of blindness detection can be part of a security concept and build on the edge image.
  • the measuring programs "track detection” and "traffic sign recognition in the dark” can be cited. Traffic sign recognition requires images with as little motion blur as possible in order to classify the signs, since otherwise, for example, numbers in traffic signs be identified. Since on the functional side the availability of the function over the speed range of the vehicle can not be limited, this leads to the requirement of short exposure times. On the other hand, the track recognition relies on contrast, which is ultimately implemented by long exposure times. Ultimately, however, the long exposure time is not a requirement of lane measurement.
  • filters for determining the standard image which, as in the example, illustrate track and traffic sign recognition, e.g. also with short exposure times contrast-enhancing effect, analogous to the procedure with Night Vision, however not for the optimized view of the picture by humans, but adapted to the requirements of the measuring programs or post-processing algorithms.
  • the Image Abstraction Layer can also contain multiple images and / or display image-based maps of filter results.
  • the traffic image, the edge image for a lane measurement and the lens error correction for traffic signs and lane measurement can be used.
  • a system can be scaled in its performance by selection and combination of optics and imagers without the need to fundamentally reorient the image processing system components. Furthermore, functions with possibly very different requirements for the design of system components can be combined with each other.
  • the present invention provides a method for matching image information of an optical system to quality measurement requirements, at least one post-processing algorithm, comprising the steps of: receiving image information via a receiving interface, the image information comprising intensity values provided by the optical system; and determining at least one standard image from the image information using a combination of at least one image generation method and a method for image correction and / or a method for image evaluation, so that the at least one standard image meets the quality requirements of the at least one post-processing algorithm.
  • the optical system may include an image capture device or camera, or may be an imager.
  • the optical system may be a video-based system of a vehicle.
  • the optical system can detect a surrounding area of the vehicle and provide corresponding image information about the surrounding area via the receiving cut parts for further processing to the method according to the invention.
  • the image information may include one or more raw images.
  • the raw image (s) may be provided by the optical system, such as an imager or imager.
  • the intensity values may relate to a brightness of an image relating to the image information and may be related to color channels.
  • the image information can be changed or adapted to meet the quality requirements.
  • a raw image that does not meet the quality requirements can be used to produce the standard image that meets the quality requirements.
  • certain image parameters or image properties can be adapted.
  • the at least one post-processing algorithm that meets the quality requirements may be an algorithm implemented by a driver assistance system. For example, it may be an algorithm for traffic sign recognition or lane recognition.
  • the standard image based on the image information of the optical system may represent an input of the postprocessing algorithm.
  • the standard image can be provided via an output interface to the postprocessing algorithm, or to a device that implements the postprocessing algorithm.
  • the postprocessing algorithm sets the predetermined quality requirements.
  • the predetermined quality measure requirements may be specific to one or a group of post-processing algorithms.
  • the methods can be designed to determine the standard image independently of the optical system and thus independently of the image information so that the standard image has a quality measure that meets the quality requirements.
  • the quality measure requirements define a scope for acceptable quality measures.
  • the quality measure requirements can represent limits for image parameters. Such image parameters can refer to the edge length of edge segments, the gray value distribution or the frequency spectrum.
  • the at least one post-processing algorithm can be designed to perform traffic sign recognition and / or track detection based on the standard image.
  • the at least one method of image generation may comprise a pixel interpolation and / or a color value adjustment.
  • properties of the imager can be taken into account both in the static and in the dynamic range. For example, a temperature-dependent
  • the method for image correction can be designed to correct an error of a lens system of the optical system. Based on the image information, a lens aberration corrected standard image can be determined. In this way, image interference caused by lens aberration can be eliminated before the standard image is post processed by the postprocessing algorithm.
  • the method for image evaluation can be designed to evaluate a color information or a structure profile of the image information.
  • the color information may be relevant for traffic sign recognition, for example. Der Strukturverlauf can represent an edge course, which can be relevant for a track recognition.
  • the method for image evaluation can thus be designed to determine values of a color measure for different image regions based on the image information in order to determine the standard image based on the values of the color measurement.
  • An image area can represent a region around a pixel.
  • the color measure can be determined, for example, for the color red.
  • the method for image evaluation may be designed to determine an edge information based on the image information and an edge standard image based on the edge information.
  • the edge standard image or edge image represents a map.
  • data is stored which, for example, contains edge information with associated predecessors and successors, e.g. the horizontal distance of the next pixel in the line above or below.
  • This represents an image-based or image-point-oriented map whose data does not correspond to the intensity data of an image.
  • the quality measure requirements may make demands on an edge length of edge segments of the edge standard image.
  • the quality measure requirements may include histograms of a gray value distribution of the standard image, frequency analyzes of the standard image, and / or changes in the frequency spectrum of the standard image over time.
  • the knowledge of the exact quality measure can be used in different ways.
  • the quality measure can be used to monitor the optical system. Additionally or alternatively, the quality measure can be used to parameterize the at least one postprocessing algorithm.
  • the method according to the invention may comprise a step of evaluating at least one standard image in order to monitor a functionality of the optical system.
  • a first standard image may be determined that satisfies the quality measurement requirements of a first postprocessing algorithm and that determines a second standard image that meets the quality measurement requirements of a second postprocessing algorithm.
  • the determination of the first and the second standard image can be carried out in parallel or in succession become.
  • the different standard images can be determined, for example, with respect to the lens aberration correction, the edge image or the red image.
  • the lens aberration correction and the red image can be calculated in parallel because the red image on the original image must be calculated. Otherwise, lens aberration correction and, above all, the interpolation for smoothing the color information, e.g. Red and white at R3I, inseparably mixed.
  • the red image must then subsequently be shifted in accordance with the lens aberration correction rules, otherwise the image positions will no longer match.
  • the edge information is then subsequently calculated on the lens error corrected image. This ensures that the respective position data in the standard images of the IAL are physically identical in origin.
  • the present invention further provides a device which is designed to carry out or implement the steps of the method according to the invention. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • Also of advantage is a computer program product with program code, which is stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above, when the program is executed on a device.
  • a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory
  • Fig. 1 is a block diagram of an embodiment of the present invention.
  • Fig. 2 is a flowchart of another embodiment of the present invention.
  • the same or similar reference numerals are used for the elements shown in the various figures and similar acting, wherein a repeated description of these elements is omitted.
  • FIG. 1 shows a schematic representation of an optical system 101, a postprocessing algorithm 103 and a device 105 for adapting image information of the optical system 101 to the postprocessing algorithm 103, according to an exemplary embodiment of the present invention.
  • the device 105 can be embodied as a control device and configured to perform or implement the method according to the invention for adjusting image information.
  • the device 105 may provide a standard image as a defined interface between the optical system 101 and the post-processing algorithm 105.
  • the device 105 may include a receiving interface for receiving image information of the optical system 101. Based on the image information, the device 105 can be designed to determine a standard image. For this purpose, the device 105 may be designed to carry out a combination of image generation methods and further suitable methods in order to determine the standard image from the image information such that the standard image fulfills predetermined quality measurement requirements of the at least one postprocessing algorithm 105.
  • the device 105 can have an output section via which the standard image can be provided to the postprocessing algorithm 105.
  • the device 105 may represent an image abstraction layer disposed between the optical system 101 and the post-processing algorithm 105. 2 shows a flow chart of a method for adapting image information of an optical system to at least one post-processing algorithm, according to an embodiment of the present invention.
  • a first step 201 image information is received via a reception interface.
  • the image information may be provided by the optical system 101 shown in FIG. 1, for example.
  • a standard image is determined from the image information. The determination may be carried out, for example, in the device 105 shown in FIG. 1.
  • the processing algorithms can be designed so as to be parameterizable and robust, so that they can cope with strongly fluctuating input signals, for example images of very different optical systems and imagers.
  • the input signal can be processed so that it only fluctuates very little after processing depending on the optical system. Then the processing algorithms, e.g. for lane detection, be specified within narrower limits.
  • the inventive approach can be used in a video ASSP.
  • the standard image can be used to ensure that, with hardware-defined post-processing algorithms, it can be ensured that the system still works with a series of possibly even unknown optics-imager combinations.
  • a defined interface is created by the standard image, through which the parameterability of the algorithms is no longer required. This is advantageous, since such parameterability in the hardware has to be paid in part directly with chip area. This problem can be solved by the defined interface
  • a standard image can be created by processing a raw image, which separates the optical system from the processing system.
  • image access is not standardized so that, no matter in what coding the raw image is present (for example, JPEG, GIF, BMP, ...) can always be accessed by a plugin the same, but there is a processing of the raw image instead.

Abstract

The invention relates to a method for adapting image information of an optical system (101) to quality standard requirements of at least one post-processing algorithm (103), comprising a step of receiving image information via a receiving interface, wherein the image information comprises intensity values provided by the optical system. At least one standardized image is subsequently determined (205) from the image information using a combination of at least one method for generating images and one method for correcting or analyzing images, so that the at least one standardized image meets the quality standard requirements of the at least one post-processing algorithm.

Description

Beschreibung Titel  Description title
Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems  Method and device for adapting image information of an optical system
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems sowie auf eine entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt. The present invention relates to a method for adapting image information of an optical system and to a corresponding device and a corresponding computer program product.
Beim Auswechseln der Optik oder des Bildwandlers (Imagers) eines optischen Systems, müssen die auf das Bild aufsetzende Messprogramme von Grund auf angepasst werden, um die neuen Eigenschaften des optischen System, wie z.B. Bildauflösung (Pixel/Grad, Öffnungswinkel, ...), Kontrasteigenschaften des Bildes, Auswirkungen der Kameraregelung, etc. aufzufangen. Gewissen Algorithmen können bildabhängig parametriert werden. Dies erfordert aber, dass das aktuelle Bild in den Recheneinheiten analysiert und im Speicher abgelegt wird, damit nachfolgend Verarbeitungsschritte auf das Bild parametriert werden können. Dies erzeugt Speicherbandbreiten- und Speicheranforderungen, die im System realisiert werden müssen und Kosten verursachen. When replacing the optics or image imager of an optical system, the measurement programs applied to the image must be completely modified to accommodate the new features of the optical system, such as the optical system. Image resolution (pixel / degree, aperture angle, ...), contrast properties of the image, effects of camera control, etc. catch. Certain algorithms can be parameterized depending on the image. However, this requires that the current image is analyzed in the arithmetic units and stored in the memory, so that subsequent processing steps can be parameterized on the image. This creates memory bandwidth and memory requirements that must be realized in the system and incur costs.
Eigenschaften des Bildwandlers sowohl im statischen (z.B. Dead Pixel) als auch im dynamischen Bereich (z.B. temperaturabhängige Korrektur des Fixed Pattern Noise) werden derzeit durch geeignete Maßnahmen angepasst. Dies geschieht jedoch auf Basis einer Analyse der Hardware des optischen Systems und vernachlässigt wesentlich die Aspekte und Anforderungen der Messprogramme. Characteristics of the imager in both static (e.g., dead pixels) and dynamic (e.g., temperature-dependent fixed pattern noise correction) are currently being adjusted by appropriate means. However, this is done on the basis of an analysis of the hardware of the optical system and significantly neglects the aspects and requirements of the measurement programs.
Die DE 102 02 163 A1 offenbart ein Verfahren und eine Vorrichtung zur Bildverarbeitung sowie ein Nachtsichtsystem für Kraftfahrzeuge, bei dem eine im nahen Infrarot empfindliche Standardkamera Bilder liefert, die auf einem gegenüber der Kamera geringere Auflösung aufweisenden Anzeigemittel angezeigt werden. Eine Bildverarbeitung kann die Rohbilder des Sensors mittels Bildschärfungsver- fahren und/oder Kontrastverstärkungsverfahren verbessern, so dass eine Anzeige auf einem Anzeigemittel zur Betrachtung durch einen Betrachter ermöglicht wird. DE 102 02 163 A1 discloses a method and an apparatus for image processing as well as a night vision system for motor vehicles, in which a sensitive in the near infrared standard camera delivers images on one opposite the lower resolution camera display means are displayed. Image processing can improve the raw images of the sensor by means of image sharpening methods and / or contrast enhancement methods, so that a display on a display means is made possible for viewing by a viewer.
Algorithmen wie Night Vision verbessern das Bild im Hinblick auf eine konkrete Anwendung, hier die Betrachtung des Bildes durch den Menschen. Offenbarung der Erfindung Algorithms such as Night Vision enhance the image in terms of a concrete application, here the human viewing of the image. Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems an mindestens einen nachverarbeitenden Algorithmus, weiterhin eine Vorrichtung, die dieses Verfah- ren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Die Erfindung basiert auf der Schaffung einer Trennung zwischen einem optischen System und den nachfolgenden bildbasierten Messprogrammen. Against this background, the present invention provides a method for adapting image information of an optical system to at least one postprocessing algorithm, furthermore a device which uses this method, and finally a corresponding computer program product according to the independent patent claims. Advantageous embodiments emerge from the respective subclaims and the following description. The invention is based on the provision of a separation between an optical system and the subsequent image-based measuring programs.
Erfindungsgemäß wird in einem System eine Bild-Abstraktions-Schicht, ein sogenannter Image Abstraction Layer (IAL) eingeführt, der das optische System und die nachverarbeitenden Algorithmen trennt. In diesem Sinne stellt der ImageAccording to the invention, an image abstraction layer, a so-called image abstraction layer (IAL), is introduced in a system which separates the optical system and the postprocessing algorithms. In this sense, the image represents
Abstraction Layer ein„Normbild" dar, das weitestgehend unabhängig vom optischen System realisiert wird. Dabei ist unter dem Normbild nicht nur ein Abstraction Layer is a "standard image" that is realized largely independent of the optical system
Bild zu verstehen, sondern es können auch mehrere Bilder sein, die aus dem Originalbild abgeleitet sind. Ferner können die Bilder nicht nur Bilder im klassi- sehen Sinne sein, sondern können auch bildbasierte Karten von Vorverarbeitungsstufen darstellen. Image, but it can also be several images that are derived from the original image. Further, the images may not only be images in the classical sense, but may also represent image-based maps of preprocessing levels.
Ausgangsdaten des optischen Systems sind Intensitätswerte als Datenstrom, wobei der Datenstrom als Strom oder in Kombination mit der Bildbreite als Bild ausgewertet werden kann. Das Bild kann vor Prozessierung durch den IAL-Output data of the optical system are intensity values as a data stream, whereby the data stream can be evaluated as stream or in combination with the image width as image. The image can be processed before being processed by the IAL
Algorithmus im Speicher abgelegt werden. Alternativ kann der Pixelstrom direkt ausgewertet werden. Je nach Ausprägung stellt dies die Schnittstelle zwischen optischen System (Imager) und IAL dar. Die Ausgangsdaten des IAL sind wiederum Pixelströme oder Bilder, die im Speicher abgelegt oder direkt nachfolgend bearbeitet werden können. Dies ist anwendungs- und timingabhängig. Algorithm be stored in memory. Alternatively, the pixel stream can be direct be evaluated. Depending on the severity, this represents the interface between the optical system (imager) and the IAL. The output data of the IAL are again pixel streams or images which can be stored in the memory or processed directly afterwards. This is application and timing dependent.
Der IAL kann sowohl in Hardware wie auch in Software realisiert werden. Da die Methoden in Abhängigkeit von der Anwendung eingesetzt werden, bietet sich für eine Hardware-Umsetzung programmierbare Logik, beispielsweise in Form eines FPGA an. Bei der Umsetzung in Software findet diese üblicherweise auf frei programmierbaren Mikrokontrollern statt. The IAL can be implemented both in hardware and in software. Since the methods are used depending on the application, programmable logic, for example in the form of an FPGA, is suitable for a hardware implementation. When implemented in software, this usually takes place on freely programmable microcontrollers.
Eines der Normbilder kann eine Rekonstruktion der Linsenfehler sein. Dabei werden durch Vermessung des optischen Systems Daten gewonnen, die die optischen Fehler des Linsensystems beschreiben. Aus diesen lassen sich mit Hilfe der Modelle der optischen Fehler Korrekturvorschriften für das Originalbild, beispielsweise in Form von Pixelverschiebungen, berechnen. Bei geeigneter Implementierung lassen sich diese Pixelverschiebungen im FPGA realisieren. Durch die Pixelverschiebung entsteht ein Bild, welches Strukturierungen aufweist, die ihren Ursprung nicht in der beobachteten Szene haben, sondern in der Pixelverschiebung. Deshalb wird nach der Verschiebung eine Glättung des Bildes gerechnet, z.B. eine bilineare Interpolation. In diesem konkreten Fall wird das Originalbild zunächst im Speicher abgelegt und dann die Pixelverschiebung im FPGA gerechnet. Das Ergebnis der Pixelverschiebung wird dann direkt im FPGA als Pixelstrom in der Glättung weiterverarbeitet und dann im Speicher abgelegt. Diese Normbild unterscheidet sich vom Originalbild durch die Linsenfehlereffekte. Bei entsprechender Auslegung des Verfahrens kann hier von den Linsenfehlern abstrahiert werden, wodurch sich ein Vorteil des IAL ergibt. One of the norm images may be a reconstruction of the lens aberrations. In this case, data are obtained by measuring the optical system, which describe the optical errors of the lens system. From these, correction rules for the original image, for example in the form of pixel shifts, can be calculated with the aid of the models of the optical errors. If implemented properly, these pixel shifts can be realized in the FPGA. The pixel shift creates an image that has structurings that do not originate in the observed scene but in the pixel shift. Therefore, after the shift, a smoothing of the image is calculated, e.g. a bilinear interpolation. In this specific case, the original image is first stored in memory and then the pixel shift in the FPGA is calculated. The result of the pixel shift is then further processed directly in the FPGA as pixel stream in the smoothing and then stored in memory. This standard image differs from the original image due to lens aberration effects. With appropriate design of the method can be abstracted here from the lens aberrations, resulting in an advantage of the IAL.
Ein weiteres Normbild kann eines mit ausgewerteter Farbinformation sein. Zur Aufnahme von Farbinformation kann auf dem Imager ein Muster (Pattern) von Farbfiltern aufgebracht werden, je nach Anwendung kann das Muster unterschiedlich ausgeprägt sein. Es können auf einem 2x2 Bildpixelbereich Muster wie Rot-Intensität-Intensität-Intensität (kein Filter), sog. R3I, ein Rot-Grün-Blau- Intensität (RGBl), ein Cyan-Intensität-Intensität-Intensität (C3I), oder ähnliche, verwendet werden. Auf Basis eines lokalen Weißabgleichs lassen sich aus dem Muster z.B. Information zur„Rotheit" des Bildpunktes ableiten, d.h. es wir lokal Weiß mit Rot verglichen und Rot relativ zu Weiß bewertet. Je nach eingesetztem Imager-Pattern ist das Verfahren unterschiedlich. Das Ergebnis ist jedoch vom optischen System unabhängig, wodurch sich ein Vorteil des IAL ergibt. Im konkreten Fall wird je nach eingesetztem Pattern ein mehr oder minder großer Bildbereich um einen Bildpunkt ausgewertet und ein Rotheitsmaß generiert. Diese Ergebnisdaten werden als Bild im Speicher abgelegt. Die nachverarbeitenden Algorithmen können dann auf dieses Bild zur Rotklassifikation zugreifen, z.B. ein Algorithmus zur De- tektion von Verkehrszeichen (Geschwindigkeitsbegrenzungen mit rotem Rand), kann pixelweiße die Randpixel des detektierten Schildes auf Basis des Rotheitsbildes klassifizieren. Another standard image may be one with evaluated color information. To record color information, a pattern of color filters can be applied to the imager, depending on the application, the pattern may be different. Patterns such as red intensity intensity intensity (no filter), so-called R3I, red-green-blue intensity (RGBl), cyan intensity intensity intensity (C3I), or the like can be displayed on a 2x2 pixel area , be used. On the basis of a local white balance, the pattern can be used to derive information on the "rottenness" of the pixel, ie we compare white locally with red and evaluate red relative to white.The method differs depending on the imager pattern used, but the result is Depending on the pattern used, a more or less large image area is evaluated by one pixel and a measure of redness is generated, which results are stored as an image in the memory.The postprocessing algorithms can then Accessing this image for red classification, eg an algorithm for detecting traffic signs (speed limits with red border), can classify pixel-white the boundary pixels of the detected sign on the basis of the red image.
Zur erfindungsgemäßen Realisierung können neben Methoden der Bilderzeu- gung geeignete weitere Methoden kombiniert werden. Die Methoden der Bilderzeugung können z.B. eine Dead Pixel Correction, bei der eine Korrektur durch Interpolation aus umliegenden Bildpunkten (Pixeln) erfolgt, oder eine Fixed- Pattem-Noise Correction, bei der eine Korrektur durch Anpassung der Farbwerte auf Basis von tabellarisch abgelegten Korrekturwerten erfolgt, umfassen. Die ge- eigneten Methoden können sich dabei beispielsweise auf den Linsenfehler, dasFor realization according to the invention, in addition to methods of image generation, suitable further methods can be combined. The methods of image formation can e.g. a dead pixel correction, which is corrected by interpolation from surrounding pixels (pixels), or a fixed-pattem noise correction, which is corrected by adjusting the color values based on tabulated correction values. The suitable methods may be, for example, the lens error, the
Rotheitsbild oder das Kantenbild beziehen. Refer to the red image or the edge image.
Ziel der Kombination ist dabei das Normbild in gewissen engen Qualitätsmaßen zu erzeugen und die Qualitätsmaße zu bestimmen. Beispielhafte Qualitätsmaße sind dabei etwa Histogramme der Grauwertverteilung, Frequenzuntersuchungen des Bildes, Änderungen des Frequenzspektrums über die Zeit, etc. The aim of the combination is to produce the standard image in certain narrow quality measures and to determine the quality measures. Exemplary quality measures include histograms of the gray value distribution, frequency analyzes of the image, changes in the frequency spectrum over time, etc.
Bei einem Kantennormbild kann die Länge der Kantensegmente als Qualiätsmaß herangezogen werden. Ein Kantennormbild ist z.B. die Grundlage für eine Spur- anwendung im Fahrzeugbereich. Im Bild werden Gradienten pro Bildpunkt berechnet und beschwellwertet. Die Beschwellwertung dient dazu, die Gradienten zu kategorisieren. For an edge standard image, the length of the edge segments can be used as a measure of quality. An edge standard image is e.g. the basis for a track application in the vehicle sector. Gradients per pixel are calculated and weighted in the image. The decay rating is used to categorize the gradients.
Nachfolgend werden die Kategorisierten Gradienten pro Bildpunkt zu Kanten verkettet, wobei die Kategorisierung der Gradienten über die Verkettung bzw. den Abbruch der Kettenbildung entscheidet. Nachfolgend werden die mittlere Länge der Ketten und die Verteilung der Kettenlängen um den Mittelwert als CD- Maß herangezogen. Auf Basis dieser Maße werden dann die Schwellwerte für das folgende Bild eingestellt. Über diese Bildabstraktion ist sichergestellt, dass der nachfolgende Spuralgorithmus mit einer gleichbleibenden Qualität und Ausregelung der Kanteninformation im Bild rechnen kann. Subsequently, the categorized gradients per pixel are concatenated into edges, with the categorization of the gradients deciding on the chaining or discontinuation of the chain formation. Below are the middle Length of the chains and the distribution of chain lengths around the mean used as CD measure. Based on these measurements, the threshold values for the following image are then set. This image abstraction ensures that the subsequent spur algorithm can calculate with consistent quality and compensation of the edge information in the image.
Die Qualitätsmaße können anschließend zur Parametrierung der nachfolgenden Algorithmen eingesetzt werden, wie es beispielsweise anhand der Ausführungsform des Kantenbilds erläutert ist. The quality measures can then be used to parameterize the subsequent algorithms, as explained for example with reference to the embodiment of the edge image.
Darüber hinaus ist auf Basis der Qualitätsmaße auch eine Überwachung des optischen Systems als ganzen möglich. Dies kann wiederum dazu verwendet werden die Systemverfügbarkeit z.B. im Rahmen eines Sicherheitskonzeptes zu überwachen. In addition, based on the quality measures, it is also possible to monitor the optical system as a whole. This in turn can be used to increase system availability e.g. to monitor in the context of a security concept.
Wenn die Ausregelung des Kantenbildes über eine bestimmte Dauer oder dauerhaft am Anschlag ist, d.h. die mittlere Länge der Ketten nicht eingeregelt werden kann, dann lässt dies auf eine Beeinträchtigung des optischen Systems, z.B. eine Verschmutzung des Sichtbereichs oder einen Ausfall des Imagers schließen. Diese Art Blindheitserkennung kann Teil eines Sicherheitskonzeptes sein und auf dem Kantenbild aufbauen. If the adjustment of the edge image is for a certain duration or permanently at the stop, i. the average length of the chains can not be adjusted, then this is due to an impairment of the optical system, e.g. To close a contamination of the field of view or a failure of the imager. This type of blindness detection can be part of a security concept and build on the edge image.
Darüber hinaus können zur Bestimmung des Normbildes Methoden eingesetzt werden, die das Bild korrigieren, wie z.B. Linsenfehlerkorrekturen, eine Rück- rechnung nicht-linearer Kennlinien zum Ausgleich von Kameraregelungsartefakten und/oder eine Umsetzung von Farbbildern in Grauwertbilder. In addition, to determine the standard image, methods can be used to correct the image, e.g. Lens aberrations, a recalculation of non-linear characteristics to compensate for camera control artifacts, and / or a conversion of color images to grayscale images.
Unterschiedliche Funktionen oder nachverarbeitende Algorithmen haben unterschiedliche Anforderungen an das Bild, welche ggf. zu Konflikten in der Auslegung von Systemkomponenten führen können. Je nach Anforderungsunterschied kann damit die Kombinierbarkeit von Funktionen stark beeinträchtigt sein. Zumindest muss dann in einigen oder allen Funktionen Performance-Einbußen hingenommen werden. Beispielhaft können die Messprogramme„Spurdetektion" und„Verkehrszeichenerkennung bei Dunkelheit" angeführt werden. Die Verkehrszeichenerkennung benötigt zur Klassifikation der Zeichen Bilder mit möglichst wenig Bewegungsunschärfe, da sonst z.B. Ziffern in Verkehrszeichen un- kenntlich werden. Da auf funktionaler Seite die Verfügbarkeit der Funktion über den Geschwindigkeitsbereich des Fahrzeugs nicht limitiert werden kann, führt dies zur Anforderung kurzer Belichtungszeiten. Die Spurerkennung hingegen ist auf Kontrast angewiesen, was letztendlich durch lange Belichtungszeiten umgesetzt. Letztendlich ist aber die lange Belichtungszeit keine Anforderung der Spurvermessung. Different functions or post-processing algorithms have different requirements for the image, which may possibly lead to conflicts in the design of system components. Depending on the requirement difference, the combinability of functions can thus be severely impaired. At least then in some or all functions performance losses must be accepted. By way of example, the measuring programs "track detection" and "traffic sign recognition in the dark" can be cited. Traffic sign recognition requires images with as little motion blur as possible in order to classify the signs, since otherwise, for example, numbers in traffic signs be identified. Since on the functional side the availability of the function over the speed range of the vehicle can not be limited, this leads to the requirement of short exposure times. On the other hand, the track recognition relies on contrast, which is ultimately implemented by long exposure times. Ultimately, however, the long exposure time is not a requirement of lane measurement.
Um solch unterschiedlichen Anforderungen gerecht zu werden, können letztendlich zur Bestimmung des Normbildes Filter zum Einsatz kommen, die wie am Beispiel Spur- und Verkehrszeichenerkennung verdeutlicht, z.B. auch bei kurzen Belichtungszeiten kontrastverbessernd wirkend, analog zum Vorgehen bei Night Vision, allerdings nicht zur optimierten Ansicht des Bild durch den Menschen, sondern angepasst auf die Anforderungen der Messprogramme oder nachverarbeitenden Algorithmen. In order to be able to cope with such different requirements, it is ultimately possible to use filters for determining the standard image which, as in the example, illustrate track and traffic sign recognition, e.g. also with short exposure times contrast-enhancing effect, analogous to the procedure with Night Vision, however not for the optimized view of the picture by humans, but adapted to the requirements of the measuring programs or post-processing algorithms.
Wenn ggf. die Anforderungen der zu kombinierenden Funktionen unterschiedlich sind, kann der Image Abstraction Layer auch mehrere Bilder beinhalten und/oder bildbasierte Karten von Filterergebnissen darstellen. Beispielsweise kann das Rotheitsbild für Verkehrszeichen, das Kantenbild für eine Spurvermessung und die Linsenfehlerkorrektur für Verkehrszeichen und Spurvermessung eingesetzt werden. If necessary, the requirements of the functions to be combined are different, the Image Abstraction Layer can also contain multiple images and / or display image-based maps of filter results. For example, the traffic image, the edge image for a lane measurement and the lens error correction for traffic signs and lane measurement can be used.
Vorteilhafterweise kann durch eine Realisierung des erfindungsgemäßen Ansatzes, ein System durch Auswahl und Kombination von Optiken und Bildgebern in seiner Leistungsfähigkeit skaliert werden, ohne dass die bildverarbeitenden Systemkomponenten jeweils grundlegend neu ausgerichtet werden müssen. Ferner können Funktionen mit ggf. sehr unterschiedlichen Anforderungen an die Auslegung von Systemkomponenten miteinander kombiniert werden. Advantageously, by implementing the inventive approach, a system can be scaled in its performance by selection and combination of optics and imagers without the need to fundamentally reorient the image processing system components. Furthermore, functions with possibly very different requirements for the design of system components can be combined with each other.
Die vorliegende Erfindung schafft ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems an Qualitätsmaßanforderungen mindestens einen nachverarbeitenden Algorithmus, das die folgenden Schritte umfasst: Empfangen einer Bildinformation über eine Empfangsschnittstelle, wobei die Bildinformation von dem optischen System bereitgestellte Intensitätswerte umfasst; und Bestimmen mindestens eines Normbildes aus der Bildinformation unter Einsatz einer Kombination aus mindestens einer Methode der Bilderzeugung und einer Methode zur Bildkorrektur und/oder einer Methode zur Bildauswertung, so dass das mindestens eine Normbild die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt. Das optische System kann eine Bilderfassungsvorrichtung oder Kamera aufweisen oder einen Bildgeber darstellen. Beispielsweise kann es sich bei dem optischen System um ein videobasiertes System eines Fahrzeugs handeln. Das optische System kann einen Umgebungsbereich des Fahrzeugs erfassen und entsprechende Bildinformationen über den Umgebungsbereich über die Empfangs- schnittsteile zur Weiterverarbeitung an das erfindungsgemäße Verfahren bereitstellen. Die Bildinformationen können ein oder mehrere Rohbilder umfassen. Das oder die Rohbilder können von dem optischen System, beispielsweise von einem Imager oder Bildwandler bereitgestellt werden. Die Intensitätswerte können eine Helligkeit eines die Bildinformation betreffenden Bildes betreffen und gegebenen- falls auf Farbkanäle bezogen sein. Mittels der eingesetzten Methoden der Bilderzeugung, der Bildkorrektur oder der Bildauswertung können die Bildinformationen so verändert oder angepasst werden, dass sie den Qualitätsanforderungen genügen. Es kann also beispielsweise aus einem Rohbild, das die Qualitätsanforderungen nicht erfüllt, das Normbild erzeugt werden, das die Qualitätsanforde- rungen erfüllt. Dazu können bestimmte Bildparameter oder Bildeigenschaften angepasst werden. Bei dem mindestens einen nachverarbeitenden Algorithmus, der die die Qualitätsanforderungen erfüllt, kann es sich um einen Algorithmus handeln, der von einem Fahrerassistenzsystem umgesetzt wird. Beispielsweise kann es sich um einen Algorithmus zur Verkehrszeichenerkennung oder Fahr- spurerkennung handeln. Das Normbild, das auf den Bildinformationen des optischen Systems basiert, kann eine Eingangsgröße des nachverarbeitenden Algorithmus darstellen. Dazu kann das Normbild über eine Ausgangsschnittstelle an den nachverarbeitenden Algorithmus, oder an eine Vorrichtung, die den nachverarbeitenden Algorithmus umsetzt, bereitgestellt werden. Um das Normbild weiterzuverarbeiten können, werden vom nachverarbeitenden Algorithmus die vorbestimmten Qualitätsmaßanforderungen gestellt. Die vorbestimmten Qualitätsmaßanforderungen können speziell auf einen oder auf eine Gruppe nachverarbeitender Algorithmen abgestimmt sein. Die Methoden können ausgebildet sein, um das Normbild unabhängig vom optischen System und somit unabhängig von den Bildinformationen so zu bestimmen, dass das Normbild ein Qualitätsmaß aufweist, das die Qualitätsmaßanforderungen erfüllen. Beispielsweise kön- nen die Qualitätsmaßanforderungen einen Gültigkeitsbereich für zulässige Qualitätsmaße definieren. Die Qualitätsmaßanforderungen können Grenzwerte für Bildparameter darstellen. Solche Bildparameter können sich auf die Kantenlänge von Kantensegmenten, die Grauwertverteilung oder das Frequenzspektrum be- ziehen. The present invention provides a method for matching image information of an optical system to quality measurement requirements, at least one post-processing algorithm, comprising the steps of: receiving image information via a receiving interface, the image information comprising intensity values provided by the optical system; and determining at least one standard image from the image information using a combination of at least one image generation method and a method for image correction and / or a method for image evaluation, so that the at least one standard image meets the quality requirements of the at least one post-processing algorithm. The optical system may include an image capture device or camera, or may be an imager. For example, the optical system may be a video-based system of a vehicle. The optical system can detect a surrounding area of the vehicle and provide corresponding image information about the surrounding area via the receiving cut parts for further processing to the method according to the invention. The image information may include one or more raw images. The raw image (s) may be provided by the optical system, such as an imager or imager. The intensity values may relate to a brightness of an image relating to the image information and may be related to color channels. By means of the applied methods of image generation, image correction or image analysis, the image information can be changed or adapted to meet the quality requirements. Thus, for example, a raw image that does not meet the quality requirements can be used to produce the standard image that meets the quality requirements. For this purpose, certain image parameters or image properties can be adapted. The at least one post-processing algorithm that meets the quality requirements may be an algorithm implemented by a driver assistance system. For example, it may be an algorithm for traffic sign recognition or lane recognition. The standard image based on the image information of the optical system may represent an input of the postprocessing algorithm. For this purpose, the standard image can be provided via an output interface to the postprocessing algorithm, or to a device that implements the postprocessing algorithm. In order to be able to process the standard image, the postprocessing algorithm sets the predetermined quality requirements. The predetermined quality measure requirements may be specific to one or a group of post-processing algorithms. The methods can be designed to determine the standard image independently of the optical system and thus independently of the image information so that the standard image has a quality measure that meets the quality requirements. For example, The quality measure requirements define a scope for acceptable quality measures. The quality measure requirements can represent limits for image parameters. Such image parameters can refer to the edge length of edge segments, the gray value distribution or the frequency spectrum.
Beispielsweise kann der mindestens eine nachverarbeitende Algorithmus ausgebildet sein, um basierend auf dem Normbild eine Verkehrszeichenerkennung und/oder eine Spurdetektion durchzuführen. Dadurch, dass über die Kombination der Methoden gewährleistet wird, das das Normbild unabhängig von dem eingesetzten optischen System die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt, kann das Normbild ohne weitere Nachbearbeitung oder Anpassung von dem mindestens einen nachverarbeitenden Algorithmus weiterverarbeitet werden. Auch ist keine Anpassung des nachverarbei- tenden Algorithmus an das aktuell eingesetzte optische System erforderlich. For example, the at least one post-processing algorithm can be designed to perform traffic sign recognition and / or track detection based on the standard image. The fact that the combination of the methods ensures that the standard image fulfills the quality requirements of the at least one postprocessing algorithm, irrespective of the optical system used, allows the standard image to be further processed by the at least one postprocessing algorithm without further postprocessing or adaptation. Also, no adaptation of the postprocessing algorithm to the currently used optical system is required.
Die mindestens eine Methode der Bilderzeugung kann eine Bildpunktinterpolation und/oder eine Farbwerteanpassung umfassen. Dadurch können beispielsweise Eigenschaften des Bildgebers sowohl im statischen als auch im dynamischen Bereich berücksichtigt werden. Beispielsweise kann eine temperaturabhängigeThe at least one method of image generation may comprise a pixel interpolation and / or a color value adjustment. As a result, for example, properties of the imager can be taken into account both in the static and in the dynamic range. For example, a temperature-dependent
Korrektur von festgelegten periodischen Störungen (Fixed Pattern Noise) durchgeführt werden. Correction of fixed periodic disturbances (Fixed Pattern Noise) are performed.
Die Methode zur Bildkorrektur kann ausgebildet sein, um einen Fehler eines Lin- sensystems des optischen Systems zu korrigieren. Basierend auf der Bildinformation kann ein linsenfehlerkorrigiert.es Normbild bestimmt werden. Auf diese Weise können durch Linsenfehler hervorgerufene Bildstörungen eliminiert werden, bevor das Normbild von dem nachverarbeitenden Algorithmus nachverarbeitet wird. The method for image correction can be designed to correct an error of a lens system of the optical system. Based on the image information, a lens aberration corrected standard image can be determined. In this way, image interference caused by lens aberration can be eliminated before the standard image is post processed by the postprocessing algorithm.
Die Methode zur Bildauswertung kann ausgebildet sein, um eine Farbinformation oder einen Strukturverlauf der Bildinformation auszuwerten. Die Farbinformation kann beispielweise für eine Verkehrszeichenerkennung relevant sein. Der Der Strukturverlauf kann einen Kantenverlauf repräsentieren, der für eine Spurerken- nung relevant sein kann. Gemäß einer Ausführungsform kann die Methode zur Bildauswertung somit ausgebildet sein, um für unterschiedliche Bildbereiche basierend auf der Bildinformation Werte eines Farbmaßes zu ermitteln um das Normbild basierend auf den Werten des Farbmaßes zu bestimmen. Ein Bildbereich kann eine Region um einen Bildpunkt darstellen. Das Farbmaß kann beispielsweise für die Farbe Rot bestimmt werden. The method for image evaluation can be designed to evaluate a color information or a structure profile of the image information. The color information may be relevant for traffic sign recognition, for example. Der Strukturverlauf can represent an edge course, which can be relevant for a track recognition. According to one embodiment, the method for image evaluation can thus be designed to determine values of a color measure for different image regions based on the image information in order to determine the standard image based on the values of the color measurement. An image area can represent a region around a pixel. The color measure can be determined, for example, for the color red.
Alternativ oder zusätzlich kann die Methode zur Bildauswertung ausgebildet sein, um basierend auf der Bildinformation eine Kanteninformation und basierend auf der Kanteninformation ein Kantennormbild zu bestimmen. Das Kantennormbild oder Kantenbild stellt eine Karte dar. Darin sind Daten abgelegt, die beispielsweise Kanteninformationen mit verbundenen Vorgängern und Nachfolgern, z.B. der horizontale Abstand des nächsten Bildpunktes in der Zeile darüber oder darunter, umfassen. Diese stellt eine bildbasierte oder bildpunktkoordinatenorientier- te Karte dar, deren Daten nicht den Intensitätsdaten eines Bildes entsprechen. In diesem Fall können die Qualitätsmaßanforderungen Anforderungen an eine Kantenlänge von Kantensegmenten des Kantennormbilds stellen. Alternatively or additionally, the method for image evaluation may be designed to determine an edge information based on the image information and an edge standard image based on the edge information. The edge standard image or edge image represents a map. Therein, data is stored which, for example, contains edge information with associated predecessors and successors, e.g. the horizontal distance of the next pixel in the line above or below. This represents an image-based or image-point-oriented map whose data does not correspond to the intensity data of an image. In this case, the quality measure requirements may make demands on an edge length of edge segments of the edge standard image.
Generell können die Qualitätsmaßanforderungen Histogramme einer Grauwertverteilung des Normbildes, Frequenzuntersuchungen des Normbildes, und/oder Änderungen des Frequenzspektrums des Normbildes über die Zeit umfassen. Die Kenntnis des exakten Qualitätsmaßes kann auf unterschiedliche Art und Weise genutzt werden. Beispielsweise kann das Qualitätsmaß verwendet werden, um das optische System zu überwachen. Zusätzlich oder alternativ kann das Qualitätsmaß verwendet werden, um den mindestens einen nachverarbeitenden Algorithmus zu parametrieren. Generally, the quality measure requirements may include histograms of a gray value distribution of the standard image, frequency analyzes of the standard image, and / or changes in the frequency spectrum of the standard image over time. The knowledge of the exact quality measure can be used in different ways. For example, the quality measure can be used to monitor the optical system. Additionally or alternatively, the quality measure can be used to parameterize the at least one postprocessing algorithm.
Gemäß einer Ausführungsform kann das erfindungsgemäße Verfahren einen Schritt des Auswertens mindestens eines Normbildes umfassen, um eine Funktionalität des optischen Systems zu überwachen. According to one embodiment, the method according to the invention may comprise a step of evaluating at least one standard image in order to monitor a functionality of the optical system.
Im Schritt des Bestimmens kann ein erstes Normbildbestimmt werden, das die Qualitätsmaßanforderungen eines ersten nachverarbeitenden Algorithmus erfüllt und ein zweites Normbild bestimmt werden, das die Qualitätsmaßanforderungen eines zweiten nachverarbeitenden Algorithmus erfüllt. Die Bestimmung des ersten und des zweiten Normbildes kann parallel oder nacheinander ausgeführt werden. Durch die Bestimmung unterschiedlicher Normbilder können unterschiedliche Anforderungen unterschiedlicher nachverarbeitender Algorithmen berücksichtigt werden. In the step of determining, a first standard image may be determined that satisfies the quality measurement requirements of a first postprocessing algorithm and that determines a second standard image that meets the quality measurement requirements of a second postprocessing algorithm. The determination of the first and the second standard image can be carried out in parallel or in succession become. By determining different standard images, different requirements of different post-processing algorithms can be taken into account.
Die unterschiedlichen Normbilder können beispielsweise in Bezug auf die Linsenfeh lerkorrektur, das Kantenbild oder das Rotheitsbild bestimmt werden. Die Linsenfeh lerkorrektur und das Rotheitsbild können parallel berechnet werden, da das Rotheitsbild auf dem Originalbild berechnet werden muss. Ansonsten wird durch die Linsenfehlerkorrektur und vor allem die Interpolation zur Glättung die Farbinformation z.B. Rot und Weiß bei R3I, untrennbar vermischt. Das Rotheitsbild muss dann nachfolgend entsprechend der Verschiebungsvorschriften für die Linsenfehlerkorrektur verschoben, da sonst die Bildpositionen nicht mehr übereinstimmen. Die Kanteninformation wird dann nachfolgend auf dem linsenfehler- korrigierten Bild berechnet. So ist sichergestellt, dass die jeweiligen Positionsangaben in den Normbilder des IAL physikalisch im Ursprung übereinstimmen. The different standard images can be determined, for example, with respect to the lens aberration correction, the edge image or the red image. The lens aberration correction and the red image can be calculated in parallel because the red image on the original image must be calculated. Otherwise, lens aberration correction and, above all, the interpolation for smoothing the color information, e.g. Red and white at R3I, inseparably mixed. The red image must then subsequently be shifted in accordance with the lens aberration correction rules, otherwise the image positions will no longer match. The edge information is then subsequently calculated on the lens error corrected image. This ensures that the respective position data in the standard images of the IAL are physically identical in origin.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides a device which is designed to carry out or implement the steps of the method according to the invention. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einer Vorrichtung ausgeführt wird. Also of advantage is a computer program product with program code, which is stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above, when the program is executed on a device.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung; und Fig. 1 is a block diagram of an embodiment of the present invention; and
Fig. 2 ein Ablaufdiagramm eines weiteren Ausführungsbeispiels der vorliegenden Erfindung. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwen- det, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 2 is a flowchart of another embodiment of the present invention. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, wherein a repeated description of these elements is omitted.
Fig. 1 zeigt eine schematische Darstellung eines optischen Systems 101 , eines nachverarbeitenden Algorithmus 103 und eine Einrichtung 105 zur Anpassung von Bildinformationen des optischen Systems 101 an den nachverarbeitenden Algorithmus 103, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.1 shows a schematic representation of an optical system 101, a postprocessing algorithm 103 and a device 105 for adapting image information of the optical system 101 to the postprocessing algorithm 103, according to an exemplary embodiment of the present invention.
Die Einrichtung 105 kann als Steuergerät ausgeführt sein, und ausgebildet sein, um das erfindungsgemäße Verfahren zur Anpassung von Bildinformationen durchzuführen oder umzusetzen. Insbesondere kann die Einrichtung 105 ein Normbild als definierte Schnittstelle zwischen dem optischen System 101 und dem nachverarbeitenden Algorithmus 105 bereitstellen. The device 105 can be embodied as a control device and configured to perform or implement the method according to the invention for adjusting image information. In particular, the device 105 may provide a standard image as a defined interface between the optical system 101 and the post-processing algorithm 105.
Die Einrichtung 105 kann eine Empfangsschnittstelle zum Empfangen einer Bildinformation des optischen Systems 101 aufweisen. Basierend auf der Bildinformation kann die Einrichtung 105 ausgebildet sein, um ein Normbildes zu be- stimmen. Dazu kann die Einrichtung 105 ausgebildet sein, um eine Kombination aus Methoden der Bilderzeugung und weiteren geeigneten Methoden auszuführen, um das Normbild so aus der Bildinformation zu bestimmen, das das Normbild vorbestimmte Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus 105 erfüllt. Die Einrichtung 105 kann eine Ausgabe- schnittsteile aufweisen, über die das Normbild an den nachverarbeitenden Algorithmus 105 bereitgestellt werden kann. Somit kann die Einrichtung 105 ein Image Abstraction Layer darstellen, das zwischen dem optischen System 101 und dem nachverarbeitenden Algorithmus 105 angeordnet ist. Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zur Anpassung von Bildinformationen eines optischen Systems an mindestens einen nachverarbeitenden Algorithmus, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. The device 105 may include a receiving interface for receiving image information of the optical system 101. Based on the image information, the device 105 can be designed to determine a standard image. For this purpose, the device 105 may be designed to carry out a combination of image generation methods and further suitable methods in order to determine the standard image from the image information such that the standard image fulfills predetermined quality measurement requirements of the at least one postprocessing algorithm 105. The device 105 can have an output section via which the standard image can be provided to the postprocessing algorithm 105. Thus, the device 105 may represent an image abstraction layer disposed between the optical system 101 and the post-processing algorithm 105. 2 shows a flow chart of a method for adapting image information of an optical system to at least one post-processing algorithm, according to an embodiment of the present invention.
In einem ersten Schritt 201 erfolgt ein Empfangen einer Bildinformation über eine Empfangsschnittstelle. Die Bildinformation kann beispielsweise von dem in Fig. 1 gezeigten optischen System 101 bereitgestellt werden. In einem zweiten Schritt 205 erfolgt ein Bestimmen eines Normbildes aus der Bildinformation. Die Bestimmung kann beispielsweise in der in Fig. 1 gezeigten Einrichtung 105 ausgeführt werden. In a first step 201, image information is received via a reception interface. The image information may be provided by the optical system 101 shown in FIG. 1, for example. In a second step 205, a standard image is determined from the image information. The determination may be carried out, for example, in the device 105 shown in FIG. 1.
Um beispielsweise auf ein Auswechseln der Optik oder des Bildgebers angemessen reagieren zu können, können grundsätzlich zwei Wege gewählt werden. Zum einen können die verarbeitenden Algorithmen so parameterbar und robust ausgelegt sein, dass sie mit stark schwankenden Eingangssignalen, beispielsweise Bildern von sehr unterschiedlichen optischen Systemen und Bildgebern zurechtkommen. Zum anderen kann das Eingangssignal dahingehend bearbeitet werden, dass es nach der Bearbeitung in Abhängigkeit vom optischen System nur noch sehr wenig schwankt. Dann können die verarbeitenden Algorithmen, z.B. zur Spurerkennung, in engeren Grenzen festgelegt werden. In order to be able to react appropriately, for example, to a replacement of the optics or of the image generator, basically two ways can be selected. On the one hand, the processing algorithms can be designed so as to be parameterizable and robust, so that they can cope with strongly fluctuating input signals, for example images of very different optical systems and imagers. On the other hand, the input signal can be processed so that it only fluctuates very little after processing depending on the optical system. Then the processing algorithms, e.g. for lane detection, be specified within narrower limits.
Erfindungsgemäß wird die Variante der Bearbeitung des Eingangssignals umgesetzt. Der erfindungsgemäße Ansatz kann bei einem Video-ASSP eingesetzt werden. Durch das Normbild kann dabei gewährleistet werden, dass bei in Hardware festgelegten nachverarbeitenden Algorithmen sicherstellen werden kann, dass das System mit einer Reihen ggf. sogar unbekannten Optiken- Bildgebern-Kombinationen immer noch funktioniert. Durch den erfindungsgemäßen Ansatz wird durch das Normbild eine definierte Schnittstelle geschaffen, durch die die Parametrierbarkeit der Algorithmen nicht mehr erforderlich ist. Dies ist vorteilhaft, da eine solche Parametrierbarkeit in der Hardware teilweise direkt mit Chipfläche bezahlt werden muss. Dieses Problem kann durch die definierte Schnittstelle gelöst werden According to the variant of the processing of the input signal is implemented. The inventive approach can be used in a video ASSP. The standard image can be used to ensure that, with hardware-defined post-processing algorithms, it can be ensured that the system still works with a series of possibly even unknown optics-imager combinations. Through the approach according to the invention, a defined interface is created by the standard image, through which the parameterability of the algorithms is no longer required. This is advantageous, since such parameterability in the hardware has to be paid in part directly with chip area. This problem can be solved by the defined interface
Erfindungsgemäß kann durch eine Bearbeitung eines Rohbilds ein Normbild erstellt werden, das das optische System vom verarbeitenden System trennt. Es wird also nicht der Bildzugriff standardisiert, so dass, egal in welcher Kodierung das Rohbild vorliegt (z.B. JPEG, GIF, BMP, ...) durch ein Plugin immer gleich zugegriffen werden kann, sonder es findet eine Verarbeitung des Rohbilds statt. According to the invention, a standard image can be created by processing a raw image, which separates the optical system from the processing system. Thus, image access is not standardized so that, no matter in what coding the raw image is present (for example, JPEG, GIF, BMP, ...) can always be accessed by a plugin the same, but there is a processing of the raw image instead.
Durch die erfindungsgemäße Schnittstelle können unterschiedliche Kameras und unterschiedliche Algorithmen beliebig kombiniert werden. Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder" Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist. By means of the interface according to the invention, different cameras and different algorithms can be combined as desired. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described. If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, this can be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment, either only the first Feature or only the second feature.

Claims

Ansprüche claims
1 . Verfahren zur Anpassung von Bildinformationen eines optischen Systems (101 ) an Qualitätsmaßanforderungen mindestens einen nachverarbeitenden Algorithmus (103), das die folgenden Schritte umfasst: 1 . Method for adapting image information of an optical system (101) to quality measurement requirements at least one postprocessing algorithm (103), comprising the following steps:
Empfangen (201 ) einer Bildinformation über eine Empfangsschnittstelle, wobei die Bildinformation von dem optischen System bereitgestellte Intensitätswerte umfasst; und Receiving (201) image information via a receiving interface, the image information comprising intensity values provided by the optical system; and
Bestimmen (205) mindestens eines Normbildes aus der Bildinformation unter Einsatz einer Kombination aus mindestens einer Methode der Bilderzeugung und einer Methode zur Bildkorrektur und/oder einer Methode zur Bildauswertung, so dass das mindestens eine Normbild die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt. Determining (205) at least one standard image from the image information using a combination of at least one method of image generation and a method for image correction and / or a method for image analysis, so that the at least one standard image meets the quality requirements of the at least one postprocessing algorithm.
2. Verfahren gemäß Anspruch 1 , bei dem der mindestens eine nachverarbeitende Algorithmus (103) ausgebildet ist, um basierend auf dem mindestens einen Normbild eine Verkehrszeichenerkennung und/oder eine Spurdetekti- on durchzuführen. 2. The method of claim 1, wherein the at least one post-processing algorithm (103) is designed to perform based on the at least one standard image traffic sign recognition and / or a lane detection on.
3. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die mindestens eine Methode der Bilderzeugung eine Bildpunktinterpolation und/oder eine Farbwerteanpassung umfasst. 3. The method according to any one of the preceding claims, wherein the at least one method of image generation comprises a pixel interpolation and / or a color value adjustment.
4. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildkorrektur ausgebildet ist, um einen Fehler eines Linsensystems des optischen Systems zu korrigieren, um basierend auf der Bildinformation ein linsenfehlerkorrigiert.es Normbild zu bestimmen. A method according to any one of the preceding claims, wherein the image correction method is adapted to correct an error of a lens system of the optical system to determine a lens aberration corrected standard image based on the image information.
5. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um eine Farbinformation oder einen Strukturverlauf der Bildinformation auszuwerten. 5. The method according to any one of the preceding claims, wherein the method for image evaluation is adapted to evaluate a color information or a structural course of the image information.
6. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um für unterschiedliche Bildbereiche basierend auf der Bildinformation Werte eines Farbmaßes zu ermitteln um das Normbild basierend auf den Werten des Farbmaßes zu bestimmen. 6. Method according to one of the preceding claims, wherein the method for image evaluation is designed to determine values of a color measure for different image regions based on the image information in order to determine the standard image based on the values of the color measure.
7. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um basierend auf der Bildinformation eine Kanteninformation und basierend auf der Kanteninformation ein Kantennormbild zu bestimmen. 7. The method according to claim 1, wherein the method for image evaluation is designed to determine an edge information based on the image information and an edge standard image based on the edge information.
8. Verfahren gemäß Anspruch 7, bei dem die Qualitätsmaßanforderungen Anforderungen an eine Kantenlänge von Kantensegmenten des Kantennormbilds stellen. 8. A method according to claim 7, wherein the quality measure requirements make demands on an edge length of edge segments of the edge standard image.
9. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Qualitätsmaßanforderungen Histogramme einer Grauwertverteilung des Normbildes, Frequenzuntersuchungen des Normbildes, und/oder Änderungen des Frequenzspektrums des Normbildes über die Zeit umfassen. 9. Method according to one of the preceding claims, in which the quality measure requirements comprise histograms of a gray scale distribution of the standard image, frequency investigations of the standard image, and / or changes of the frequency spectrum of the standard image over time.
10. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Auswertens mindestens eines Normbildes, um eine Funktionalität des optischen Systems zu überwachen. 10. The method according to any one of the preceding claims, comprising a step of evaluating at least one standard image to monitor a functionality of the optical system.
1 1 . Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im 1 1. Method according to one of the preceding claims, in which
Schritt des Bestimmens ein erstes Normbildbestimmt wird, das die Qualitätsmaßanforderungen eines ersten nachverarbeitenden Algorithmus erfüllt und ein zweites Normbild bestimmt wird, das die Qualitätsmaßanforderungen eines zweiten nachverarbeitenden Algorithmus erfüllt.  Determining a first standard image satisfying the quality metric requirements of a first post-processing algorithm and determining a second standard image satisfying the quality metric requirements of a second post-processing algorithm.
12. Vorrichtung (105), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 1 1 durchzuführen. 12. Device (105), which is designed to perform the steps of a method according to one of claims 1 to 1 1.
13. Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 1 1 , wenn das Programm auf einer Vorrichtung ausgeführt wird. A computer program product with program code stored on a machine-readable carrier for carrying out the method according to any one of claims 1 to 11 when the program is executed on a device.
EP10788289A 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system Withdrawn EP2507765A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009047437A DE102009047437A1 (en) 2009-12-03 2009-12-03 Method and device for adapting image information of an optical system
PCT/EP2010/068524 WO2011067249A1 (en) 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system

Publications (1)

Publication Number Publication Date
EP2507765A1 true EP2507765A1 (en) 2012-10-10

Family

ID=43415812

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10788289A Withdrawn EP2507765A1 (en) 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system

Country Status (4)

Country Link
EP (1) EP2507765A1 (en)
CN (1) CN102640183A (en)
DE (1) DE102009047437A1 (en)
WO (1) WO2011067249A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108860A1 (en) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Method for performing automatic color matching of a vehicle-mounted color camera
DE102012108861A1 (en) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Method for calibrating a color-resolving vehicle camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744910B1 (en) * 1999-06-25 2004-06-01 Cross Match Technologies, Inc. Hand-held fingerprint scanner with on-board image normalization data storage
JP4953498B2 (en) * 2000-07-12 2012-06-13 富士重工業株式会社 Outside vehicle monitoring device with fail-safe function
US6531707B1 (en) * 2000-12-29 2003-03-11 Cognex Corporation Machine vision method for the inspection of a material for defects
DE10202163A1 (en) 2002-01-22 2003-07-31 Bosch Gmbh Robert Process and device for image processing and night vision system for motor vehicles
US20070280534A1 (en) * 2006-06-05 2007-12-06 Benjamin Perkins Foss Method for capturing and presenting test using video image capture for optical character recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011067249A1 *

Also Published As

Publication number Publication date
DE102009047437A1 (en) 2011-06-09
CN102640183A (en) 2012-08-15
WO2011067249A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
EP3291172B1 (en) Method for calculating final image data
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE10202163A1 (en) Process and device for image processing and night vision system for motor vehicles
EP1609119A2 (en) Methods for qualitative evaluation of a material with at least one identification characteristic
DE102011086512A1 (en) Method for fog detection
EP3289398B1 (en) Method for generating a reflection-reduced contrast image and corresponding devices
DE102018205561A1 (en) Device for classifying signals
EP3537383A1 (en) Monitoring of vibrations of an object by means of a video camera
EP2507765A1 (en) Method and device for adapting image information of an optical system
DE102019204602B4 (en) Method and device for masking objects contained in an image
DE102017208994A1 (en) Method for determining result image data
EP2539851B1 (en) Method and apparatus for analysing an image from an image capture device for a vehicle
EP3384461A1 (en) Method and device for image correction
WO2018224444A1 (en) Method and device for image correction
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
DE102020215415A1 (en) Method and device for detecting a sturgeon plant image in a camera raw image and image processing device
DE102018101014B3 (en) A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera
DE102018113281A1 (en) Image harmonization method, computer program product, camera system and motor vehicle
EP2149107A1 (en) Method and device for recognising road signs
DE102017114611A1 (en) Method for generating at least one merged perspective image of a motor vehicle and a surrounding area of the motor vehicle, camera system and motor vehicle
DE102018212179A1 (en) IMAGE PROCESSING APPARATUS AND METHOD FOR IMAGE PROCESSING
DE102023002809A1 (en) Process for improving the image quality of a multi-camera system
DE102021206316A1 (en) Method and device for detecting an object for a vehicle and camera system comprising a mono camera
WO2013026627A1 (en) Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120703

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140116

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150224