EP3036684A2 - Method for detecting errors for at least one image processing system - Google Patents

Method for detecting errors for at least one image processing system

Info

Publication number
EP3036684A2
EP3036684A2 EP14766094.8A EP14766094A EP3036684A2 EP 3036684 A2 EP3036684 A2 EP 3036684A2 EP 14766094 A EP14766094 A EP 14766094A EP 3036684 A2 EP3036684 A2 EP 3036684A2
Authority
EP
European Patent Office
Prior art keywords
image
primary image
feature
primary
pbl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14766094.8A
Other languages
German (de)
French (fr)
Inventor
Eric Schmidt
Stefan TRAXLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FTS Computertechnik GmbH
Original Assignee
FTS Computertechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from ATA50516/2013A external-priority patent/AT514724A2/en
Application filed by FTS Computertechnik GmbH filed Critical FTS Computertechnik GmbH
Publication of EP3036684A2 publication Critical patent/EP3036684A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • the invention relates to a method for error detection for at least one image processing system, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
  • the invention relates to an error detection device for at least one image processing system or an algorithm to be checked therein, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
  • Such a visual monitoring device is disclosed, for example, in DE 10 2007025 373 B3, which can record image data containing first distance information and can recognize and track objects from the image data.
  • This first distance information is checked for plausibility on the basis of a second distance information, the second distance information being obtained from a change in an image size of the objects over successive sets of the image data.
  • the only criterion used to check the plausibility is the distance information obtained. Errors in the image recognition or image processing that do not affect this distance information can not be detected.
  • this object is achieved by a method of the type mentioned, in which the following steps are provided according to the invention: a) detecting at least one first primary image based on a primary image origin, b) processing the at least one first primary image using at least one checking algorithm, after step a)
  • step b) extracting at least one primary image feature based on the processed at least one first primary image, after step b)
  • step a) generating or detecting at least one first secondary image by shifting and / or rotating the at least one first primary image or the primary image origin, after step a)
  • step d) processing the at least one first secondary image using the at least one algorithm to be checked, after step d)
  • errors include errors in image acquisition (eg due to hardware or software errors), in data processing or in image processing, eg in the extraction of image features. These can basically be caused by hardware defects, overfilled memories, bit errors, programming errors, etc.
  • the term "primary image origin” is understood to mean an image area (actually recorded or even partially fictitious) to which the at least one first primary image has been taken and which is at least the same size but generally larger than the image area of at least
  • the at least one first secondary image can be generated virtually on the one hand in step d), on the other hand it is also possible to use a captured image as a secondary image at a subsequent point in time a first primary image and at a subsequent time (in the form of a secondary image) detected, at least partially located within the primary image origin image area done.
  • Such a relative movement can be present in a simple manner, for example, if a camera mounted on a vehicle is set up to detect the primary or secondary images.
  • Relative movements of the vehicle to the environment detected by the camera can thus be used to generate a "natural" displacement / rotation of the at least one first secondary image .
  • This also has the advantage that the secondary images are used as primary images for the next inspection in a next step
  • the comparison of the at least one primary image feature with the at least one secondary image feature and the use of the result of the comparison to determine the presence of at least one error can be done eg by checking the correlation between the primary image feature and the secondary image feature or the underlying displacement and / or rotation
  • any arbitrary measure of similarity between the primary image feature and the secondary image feature may be used Examining and / or the rotation of a secondary image, for example, the Euclidean distance between points of a secondary image feature and points that can be derived from the primary image characteristics in relation to the displacement and / or rotation of the secondary image are set and to form a threshold for Judgment of the presence of an error in step g) are used.
  • the invention relates in particular to the detection of the environment of a vehicle, but is also suitable for other applications.
  • motor vehicles for example, automobiles or robots, in particular mobile robots, aircraft, water mowers or any other motorized technical systems for locomotion are cited.
  • the at least one primary image feature is represented by local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or the at least one secondary image feature.
  • feature by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image is calculated. This allows rapid and reliable detection of relevant image features. As an example of such relevant primary image and / or secondary image features, object boundaries or object edges or corners are given.
  • step a) at least one second primary image is captured and used to extract the at least one primary image feature in step c), wherein in step d) at least the first and the second primary image and shifted and / or or twisted and at least the first secondary image and / or an additional second secondary image is generated in consideration of the second primary image and in step d) the at least one secondary image feature is extracted from the first secondary image and / or the second secondary image.
  • a second primary image for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and / or the two secondary images.
  • the at least one primary image feature and / or the at least one secondary image feature relates to at least one object, wherein location information is extracted for the at least one primary image feature and / or the at least one secondary image feature.
  • step d) the at least one first primary image is rotated about a vertical axis lying in the center of the image.
  • the rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse.
  • the rotation could, for example, be done around a single pixel, and preferably the axis may be positioned so that the sum of the distances to the pixel contained in the image is minimized.
  • the at least one first primary image is recorded by means of at least one first sensor.
  • the displacement and / or rotation of the at least one first primary image in Step d) is achieved at least by a physical displacement and / or rotation of the position and / or orientation of the at least one first sensor.
  • the displacement and / or rotation of the first sensor takes place relative to the sensor environment detected by the first sensor.
  • a sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
  • the displacement and / or rotation of the at least one first primary image in step d) is achieved at least by a digital processing of the at least one first primary image.
  • a digital processing of the at least one first primary image for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
  • At least the first and the second primary image can be recorded with the aid of the first sensor, the second primary image being recorded after the first primary image has been recorded.
  • the use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible.
  • Information about the movement as well as about the spatial position of the individual features can be obtained from a temporal sequence of relevant features associated with the primary images (and / or secondary images). This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
  • a simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited.
  • a relative movement of the environment with respect to the sensors is not required.
  • This technology is under the term "stereo 3D" known and can be used advantageously in connection with the invention.
  • step c) and / or e) at least one test feature associated with the reference feature is extracted from the processed at least one first primary image and / or the at least one first secondary image, and
  • step c) and / or e) following step h) a comparison of the at least one test feature with the at least one reference feature is performed and the result of the comparison is additionally used to determine the presence of at least one error.
  • the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
  • the at least one primary image and / or the at least one first secondary image is checked for the presence of relevant image features, and the at least one reference feature is inserted into at least one region of the at least one first primary image and / or the at least one first secondary image in which no relevant image features are present.
  • the obscuring of relevant image features is easily prevented.
  • At least two, preferably a plurality of reference features in the at least one first primary image and / or the at least one between at least one of step a) and b) and / or between steps d) and e) first secondary image are introduced, wherein after step c) and / or e) for each reference feature in each case a test feature is extracted.
  • at least one second primary image is detected in step a), wherein at least one second secondary image is detected or generated in step d) with the second primary image, wherein after step c) and / or e) the at least one test feature is extracted from the at least two secondary images.
  • the two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images.
  • the test feature may include depth information in the same way.
  • the at least one reference feature and / or the at least one test feature to concern at least one object, with location information (ie depth information) being extracted for the at least one reference feature and / or the at least one test feature.
  • location information ie depth information
  • a reference feature / test feature simple objects triangles, squares or polygons can be used.
  • the selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
  • the above object is achieved with an error detection device of the type mentioned, wherein at least one arithmetic unit for
  • the error detection device Thanks to the error detection device according to the invention, it is possible to detect a variety of errors reliable and performance friendly.
  • the at least one arithmetic unit by at least one primary image feature by a local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or at least one secondary image feature is calculated by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image.
  • the at least one arithmetic unit detects at least one second primary image and is configured to extract the at least one primary image feature, wherein at least the first and the second primary image and is displaceable and / or rotatable and at least the first secondary image and / or an additional second secondary image can be generated taking into account the second primary image and the at least one secondary image feature can be extracted from the first secondary image and / or the second secondary image.
  • a second primary image for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and secondary images.
  • the at least one primary image feature and / or the at least one secondary image feature feature at least one object, wherein the at least one primary image feature and / or the at least one secondary image feature location information can be extracted.
  • the at least one arithmetic unit for rotating the at least one first primary image is arranged around a vertical axis lying in the center of the image.
  • the rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse.
  • the rotation could be done, for example, by a single pixel.
  • this has at least one first sensor for receiving the at least one first primary image. It can be provided in a development of the error detection device according to the invention that the at least one first sensor is displaceable and / or rotatable. A sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
  • the at least one arithmetic unit is configured to digitally shift and / or rotate the at least one first primary image. Again, for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
  • At least the first primary image and, at a subsequent time or time interval, the second primary image can be recorded by means of the first sensor.
  • the time intervals between the recording of the first and the second primary image can be, for example, between 0 and 10 ms, 10 and 50 ms, 50 and 100 ms, 100 and 1000 ms or 0 and ls or higher.
  • the use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible. From a chronological sequence of relevant features associated with the primary images, information about the movement and about the spatial position of the individual features are obtained. This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
  • the first sensor for receiving the first primary image and a second sensor for receiving the second primary image are set up.
  • a simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited.
  • a relative movement of the environment with respect to the sensors is not required.
  • This technology has become known by the term "Stereo 3D" and can be used to advantage in connection with the invention.
  • the at least one arithmetic unit for introducing at least one reference feature in the at least one first primary image and / or the at least one first secondary image is set up, wherein at least one of the reference feature assigned test feature from the processed at least one first primary image and / or the at least one first secondary image by the at least one arithmetic unit is extractable, wherein a comparison of the at least one test feature with the at least one reference feature is carried out and the result of the comparison in addition to determining the presence of at least one Error is approachable.
  • the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
  • the at least one arithmetic unit is set up to check the at least one primary image and / or the at least one first secondary image for the presence of relevant image features and / or the at least one reference feature in at least one region of the at least one first primary image and / or. or of at least insert a first secondary image in which no relevant image features are present.
  • the at least one arithmetic unit is set up to introduce at least two, preferably a plurality of reference features into the at least one first primary picture and / or the at least one first secondary picture, in each case one test feature for each reference feature is extractable.
  • the at least one arithmetic unit is adapted to detect at least one second primary image and introduce reference features into the first and second primary images, wherein the at least one arithmetic unit is adapted to at least one test feature from the at least two processed ones Extract primary images.
  • the two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images.
  • the test feature may include depth information in the same way.
  • the at least one reference feature (RM) and / or the at least one test feature (TM) concerns at least one object, wherein at least one reference feature (RM) and / or the at least one test feature (TM) location information is extractable.
  • a reference feature / test feature simple objects such as triangles, squares or polygons can be used.
  • the selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
  • This shows 1 is a representation of a first primary image in a primary image origin
  • Fig. 7 is a plan view of a vehicle with an error detection device according to the invention.
  • FIG. 1 shows a representation of a first primary image PB1, which is arranged by way of example in the center of a primary image origin PBU.
  • the first primary image PB1 forms a subset of the primary image origin PBU, which extends beyond the first primary image PB1, wherein the first primary image PB1 is delimited by a dot-dash line.
  • the first primary image PB1 for example, two rectangular objects Ol and 02 can be seen, which are suitable for the detection of primary image features PBM.
  • a primary image feature assigned to the respective object Ol or 02 has been provided with a reference symbol PBM, these primary image features PBM being located at a corner of the objects Ol or 02.
  • a multiplicity of primary image features PBM for example a plurality of corners, in particular any visible corner imaged in the image, are detected in order to enable particularly reliable detection of objects.
  • all image features are suitable as primary image features that can be reliably recognized even after manipulation or slight change of the primary images. This depends in particular on the type of manipulation or modification of the images.
  • Further features which may be suitable as a primary image feature would be, for example, object edges, local color information and / or local contrast and / or local image sharpness and / or local gradients in the first primary image PB1.
  • the image features therefore do not necessarily have to be assigned to an object but basically can be formed by any recognizable features (the same applies to the primary image features PBM of a second primary image PB2 described below as well as further optional primary images, secondary image features SBM of secondary images, in particular a first and second Secondary image SB1 and SB2 as well as further optional secondary images in an analogous manner).
  • image processing can be represented as a matrix in which each pixel is assigned at least one numerical value, wherein the numerical value represents the color and / or intensity of a pixel.
  • An algorithm to be checked according to step b) of the method according to the invention can be, for example, an algorithm by means of which individual objects in the image can be recognized or image features can be extracted (eg the aforementioned filtering by means of a gradient filter). The same applies to step e) according to the invention.
  • a center point of FIG. 1 or of the primary image PB1 is characterized by a cross X, which represents the intersection of a vertical axis of rotation with an image plane associated with the first primary image PB1 (in the context of this application, the term "vertical axis of rotation” is understood to mean that the According to one aspect of the invention, a comparison of image features of a primary image with the image features of a successor image generated by shifting and / or rotating the primary image (a so-called secondary image) can be used to detect errors in the image processing system, in particular to determine the underlying algorithms by applying this to the secondary image in the same way (see step e) of the inventive method) Fig.
  • FIG. 1 shows an exemplary first secondary image SB1, in which the primary image origin PBU and thus the first primary image PB1 by the the cross darges rotated counterclockwise about 15 °.
  • the rotation (or else a shift) can basically be effected arbitrarily, it is only important that the secondary image, here the first secondary image SB1, has a sufficient number of image features (corresponding to the assigned primary image), the so-called secondary image features SBM (see FIG ), having.
  • FIG. 2 the first secondary image SB1 corresponding to the first primary image PB1 is shown (unless otherwise indicated in the context of this application, the same reference numbers denote the same features).
  • the first primary image PB1 is completely detected by the first secondary image SB1, the objects Ol and 02 having been correspondingly rotated together with the primary image origin PBU.
  • this rotation can be achieved on the one hand by digital image processing, on the other hand, one or more sensors that detect the images (primary images, secondary images) could likewise be correspondingly rotated and / or displaced.
  • vehicle-mounted imaging sensors may be used to provide the images to be processed.
  • a rotation and / or in particular a displacement, in particular a horizontal displacement of the secondary images can also be achieved in a simple manner by a relative movement of the vehicle to its surroundings (as is typically given while driving with the vehicle).
  • Exemplary image features of objects Ol and 02 are referred to therein as secondary image features SBM.
  • a comparison of the primary image features PBM with the secondary image features SBM according to step g) of the invention provides information on the presence of at least one error.
  • the secondary image has secondary image features SBM, which correlate with the primary image features in position or in their relative distance from one another. Due to a high degree of correlation between the two images, a successful image processing or correctly performed steps a) to f) can be deduced.
  • a plurality of primary images or respectively assigned secondary images can be used in order to be checked by means of the method according to the invention.
  • 3 shows a representation of two primary images, namely the first primary image PB1 and a second primary image PB2, wherein the second primary image PB2 has a different perspective on the image content of the first primary image PB1 delivers.
  • This can be achieved, for example, by a spatial offset of two sensors mounted on a vehicle (known by the term "stereo 3D") .Otherwise, it is also possible to provide a modified perspective by temporally offset the recording of the primary images (under the expression "Structure from motion").
  • a rotation of the first and the second primary image PB1 and PB2 (wherein the second primary image PB2 is assigned a second secondary image SB2) preferably takes place via a centrally arranged between the two images vertical axis of rotation, which is shown in Fig. 3 by a cross. This has the advantage that both images are rotated to the same extent and as many pixels of the primary images remain in the secondary images.
  • the method according to the invention can be used to check a multiplicity of images calculated by means of image processing or the algorithms on which the processing is based.
  • the checking can take place image by image, wherein, for example, a secondary image following image acquisition (referred to as a subsequent image) with the secondary image (in particular with the image features) can be compared.
  • a subsequent image a secondary image following image acquisition
  • the original secondary image forms the primary image with respect to the subsequent image, which would then be used as a secondary image. It is thus possible to check an arbitrarily long sequence of images, wherein successor images (secondary images) or their features are always compared with predecessor images (primary images) or its features.
  • Reference features RM are artificially introduced into the image features that can be used in the following manner for detecting errors in image processing systems.
  • Reference features RM can be characterized for example by a local color, contrast and / or blur manipulation and / or by a local arrangement of pixels.
  • reference feature / test feature simple objects such as triangles, squares or polygons can be used. The selection of reference features is essentially dependent on the detection algorithms.
  • the reference feature is a square, which is distinguished from the background image by black solid lines.
  • the reference image RB1 is processed by means of an algorithm, which can be checked by means of the method according to the invention.
  • FIG. 5 shows a representation of the processed reference image RB1, in which the primary image features PBM associated with the objects O1 and O2 can be recognized.
  • the processed reference feature RM of FIG. 4 is designated therein as a test feature TM, which is essentially characterized by four corner points. Since the properties of the reference feature RM can be predetermined and the behavior of the algorithm processing the first reference image RB1 can be sufficiently predicted, expectation values with regard to the test feature TM can be generated. Depending on the image processing algorithm, values for the expected correlation between the test feature TM and the reference feature RM can be predicted. A value clearly deviating from the expected correlation can thus be used to detect errors in the processing of the images.
  • the reference feature RM was introduced into a primary image.
  • a reference feature RM can also be introduced into a secondary image.
  • two or more reference features may be provided to further increase the sensitivity of error detection.
  • FIG. 6 shows an illustration of the assignment of image features to spatial coordinates, in particular a Cartesian coordinate system oriented to the right. If depth information on the image features can be extracted, it is possible to capture these image features in three dimensions and also to check them.
  • Fig. 7 is a plan view of a vehicle 1 with an inventive error detection device in a preferred embodiment is shown.
  • the error detection device consists of a computing unit 2 and a first sensor 3 and a second sensor 4, which are each arranged on a front portion of the vehicle 1.
  • the sensors 3 and 4 transmit the acquired image data to the arithmetic unit 2 (eg, wired or by radio), wherein the arithmetic unit 2 processes these images and checks the processing of the images with the aid of the input outlined inventive method.
  • the image data may be in any format suitable for its calculation and / or playback. Examples include the raw, jpeg, bmp or png format and popular video formats.
  • the arithmetic unit 2 is located in the example shown in the vehicle 1 and can put the vehicle 1 in a safe state after detection of an error. If an object detected by the arithmetic unit 2 is suddenly no longer detected by the arithmetic unit 2 due to an error in the image processing, then, for example, a vehicle stop can be initiated in order to prevent a collision with the previously detected object.
  • the arithmetic unit 2 can initiate a multiplicity of further measures or assume functions which increase the security and / or the reliability of image processing algorithms, which can be of particular importance in particular in vehicle applications.
  • the arithmetic unit 2 does not have to be constructed centrally but can also consist of two or more arithmetic modules.

Abstract

The invention relates to a method for detecting errors for at least one image processing system for detecting the surroundings of a motor vehicle, wherein the following steps can be carried out in any sequence unless otherwise indicated: a) detecting at least one first primary image (PB1) on the basis of a primary image source (PBU), b) processing the at least one first primary image (PB1) using at least one algorithm to be checked, after step a), c) extracting at least one primary image feature (PBM) on the basis of the processed at least one primary image (PB1), after step b), d) generating or detecting at least one reference image (RB1) by moving and/or rotating the at least one first primary image (PB1) or the primary image source (PBU), after step a), e) processing the at least one reference image (RB1) using the at least one algorithm to be checked, after step d), f) extracting at least one reference image feature (RBM) from the at least one processed reference image (RB1), after step e), and g) comparing the at least one primary image feature (PBM) with the at least one reference image feature (RBM) and using the result of the comparison to determine the presence of at least one error, after step c) and f).

Description

VERFAHREN ZUR ERKENNUNG VON FEHLERN FÜR ZUMINDEST EIN  PROCEDURE FOR DETECTING ERRORS FOR AT LEAST ONE
BILDVERARBEITUNGSSYSTEM  IMAGE PROCESSING SYSTEM
Die Erfindung betrifft ein Verfahren zur Fehlererkennung für zumindest ein Bildverarbeitungssystem, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges . The invention relates to a method for error detection for at least one image processing system, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
Des Weiteren betrifft die Erfindung eine Fehlererkennungsvorrichtung für zumindest ein Bildverarbeitungssystem bzw. eines darin implementierten zu überprüfenden Algorithmus, insbesondere zur Umfelderfassung eines Fahrzeugs, besonders bevorzugt eines Kraftfahrzeuges. Furthermore, the invention relates to an error detection device for at least one image processing system or an algorithm to be checked therein, in particular for detecting the surroundings of a vehicle, particularly preferably a motor vehicle.
Aus dem Stand der Technik sind bereits optische/ visuelle Messbzw. Überwachungseinrichtungen zur Erkennung von Objektbewegungen bekannt geworden. Je nach Anwendung dieser Mess- bzw. Überwachungseinrichtungen werden unterschiedliche Anforderungen an die Genauigkeit und Zuverlässigkeit der Mess- bzw. Überwachungseinrichtungen gestellt. Zur Fehlererkennung von falschen Mess- und/ oder Berechnungsergebnissen sind häufig redundante Mess- bzw. Überwachungseinrichtungen und/ oder Berechnungsalgorithmen vorgesehen, mithilfe derer die Mess- und/ oder Berechnungsergebnisse verifiziert oder falsifiziert werden können. From the prior art are already optical / visual Messbzw. Monitoring devices for detecting object movements have become known. Depending on the application of these measuring or monitoring devices, different demands are placed on the accuracy and reliability of the measuring or monitoring devices. Redundant measurement or monitoring devices and / or calculation algorithms are often provided for error detection of incorrect measurement and / or calculation results, with the aid of which the measurement and / or calculation results can be verified or falsified.
Eine solche visuelle Überwachungseinrichtung ist beispielsweise in der DE 10 2007025 373 B3 offenbart, welche erste Entfernungsinformationen aufweisende Bilddaten aufnehmen und Objekte aus den Bilddaten erkennen und verfolgen kann. Diese erste Entfernungsinformation wird aufgrund einer zweiten Entfernungsinformation auf Plausibilität geprüft, wobei die zweite Entfernungsinformation aus einer Änderung einer Bildgröße der Objekte über aufeinanderfolgende Sätze der Bilddaten gewonnen wird. Als Kriterium zur Prüfung der Plausibilität wird dabei einzig die gewonnene Entfernungsinformation herangezogen. Fehler in der Bilderkennung oder Bildverarbeitung, die diese Entfernungsinformation nicht beeinflussen, können dadurch nicht erkannt werden. Such a visual monitoring device is disclosed, for example, in DE 10 2007025 373 B3, which can record image data containing first distance information and can recognize and track objects from the image data. This first distance information is checked for plausibility on the basis of a second distance information, the second distance information being obtained from a change in an image size of the objects over successive sets of the image data. The only criterion used to check the plausibility is the distance information obtained. Errors in the image recognition or image processing that do not affect this distance information can not be detected.
Es ist daher eine Aufgabe der Erfindung eine Fehlererkennung für zumindest ein Bildverarbeitungssystem zu schaffen, welche zuverlässig, leistungsschonend, sowie möglichst unab- hängig bzw. redundant abläuft, kostengünstig implementierbar ist und zur Erkennung einer Vielzahl an Fehlerarten eingerichtet ist. It is therefore an object of the invention to provide an error detection for at least one image processing system which is reliable, performance-friendly, and as independent as possible. pending or redundant runs, is inexpensive to implement and is set up to detect a variety of types of errors.
In einem ersten Aspekt der Erfindung wird diese Aufgabe mit einem Verfahren der eingangs genannten Art gelöst, bei welchem erfindungsgemäß folgende Schritte vorgesehen sind: a) Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung, b) Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a) In a first aspect of the invention, this object is achieved by a method of the type mentioned, in which the following steps are provided according to the invention: a) detecting at least one first primary image based on a primary image origin, b) processing the at least one first primary image using at least one checking algorithm, after step a)
c) Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild, nach Schritt b) c) extracting at least one primary image feature based on the processed at least one first primary image, after step b)
d) Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs, nach Schritt a) d) generating or detecting at least one first secondary image by shifting and / or rotating the at least one first primary image or the primary image origin, after step a)
e) Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d) e) processing the at least one first secondary image using the at least one algorithm to be checked, after step d)
f) Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild, nach Schritt e) f) extracting at least one secondary image feature from the at least one processed first secondary image, after step e)
g) Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f). g) comparing the at least one primary image feature with the at least one secondary image feature and using the result of the comparison to determine the presence of at least one error, after steps c) and f).
Dank des erfindungsgemäßen Verfahrens ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen. Als Beispiele für solche Fehler seien Fehler bei der Bilderfassung (z.B. durch Hardware- oder Softwarefehler), bei der Datenverarbeitung oder bei der Bildverarbeitung, z.B. bei der Extraktion von Bildmerkmalen, angeführt. Diese können grundsätzlich durch Hardwaredefekte, überfüllte Speicher, Bitfehler, Programmierfehler usw. verursacht sein. Unter dem Begriff „ Primär bildursprung" wird im Rahmen dieser Anmeldung ein (tatsächlich aufgenommener oder auch zum Teil fiktiver) Bildbereich verstanden, dem das zumindest eine erste Primärbild entnommen wurde, und der zumindest gleich groß, im Allgemeinen allerdings größer ist als der Bildbereich des zumindest einen ersten Primärbildes. Das zumindest eine erste Sekundärbild kann in Schritt d) einerseits virtuell erzeugt werden, andererseits besteht auch die Möglichkeit, ein zu einem nachfolgenden Zeitpunkt erfasstes Bild als Sekundärbild heranzuziehen. Die Verschiebung und/ oder das Verdrehen kann durch natürliche Relativbewegung zwischen dem zumindest einen ersten Primärbild und zu einem nachfolgenden Zeitpunkt (in Form eines Sekundärbildes) erfassten, zumindest teilweise innerhalb des Primärbildursprungs liegenden Bildbereichs erfolgen. Eine solche Relativbewegung kann z.B. in einfacher Weise vorliegen, wenn eine an einem Fahrzeug angebrachte Kamera zur Erfassung der Primär- bzw. Sekundärbilder eingerichtet ist. Relativbewegungen des Fahrzeuges zur durch die Kamera erfassten Umgebung können somit genutzt werden, um eine„natürliche" Verschiebung/Verdrehung des zumindest einen ersten Sekundärbildes zu erzeugen. Dies hat des Weiteren den Vorteil, dass die Sekundärbilder in einem nächsten Schritt als Primärbilder für die nächste Überprüfung verwendet und direkt genutzt werden können und die Verarbeitung der Bilder nur jeweils einmal erfolgen muss. Der Vergleich des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und die Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, kann z.B. durch eine Überprüfung der Korrelation zwischen dem Primärbildmerkmal und dem Sekundärbild- merkmal bzw. der zugrunde liegenden Verschiebung und/ oder Verdrehung erfolgen. Alternativ dazu kann im Grunde jedes beliebige Ähnlichkeitsmaß zwischen dem Primärbildmerkmal und den Sekundärbildmerkmal verwendet werden. Ist die Verschiebung und/ oder die Verdrehung eines Sekundärbildes z.B. bekannt, so kann der euklidische Abstand zwischen Punkten eines Sekundärbildmerkmals und Punkten, die sich aus den Primär bildmerkmalen abgeleitet werden können ins Verhältnis zur Verschiebung und/ oder Verdrehung des Sekundärbildes gesetzt werden und zur Bildung eines Schwellwerts zur Beurteilung des Vorliegens eines Fehlers in Schritt g) herangezogen werden. Die Erfindung bezieht sich insbesondere auf die Erfassung der Umgebung eines Fahrzeuges, ist aber auch für andere Anwendungen geeignet. Als Kraftfahrzeuge seien beispielsweise Automobile oder Roboter, insbesondere mobile Roboter, Flugzeuge, Wassermobile oder beliebige andere motorisierte technische Systeme zur Fortbewegung angeführt. Thanks to the method according to the invention, it is possible to reliably detect a large number of errors and to save money. Examples of such errors include errors in image acquisition (eg due to hardware or software errors), in data processing or in image processing, eg in the extraction of image features. These can basically be caused by hardware defects, overfilled memories, bit errors, programming errors, etc. For the purposes of this application, the term "primary image origin" is understood to mean an image area (actually recorded or even partially fictitious) to which the at least one first primary image has been taken and which is at least the same size but generally larger than the image area of at least The at least one first secondary image can be generated virtually on the one hand in step d), on the other hand it is also possible to use a captured image as a secondary image at a subsequent point in time a first primary image and at a subsequent time (in the form of a secondary image) detected, at least partially located within the primary image origin image area done. Such a relative movement can be present in a simple manner, for example, if a camera mounted on a vehicle is set up to detect the primary or secondary images. Relative movements of the vehicle to the environment detected by the camera can thus be used to generate a "natural" displacement / rotation of the at least one first secondary image .This also has the advantage that the secondary images are used as primary images for the next inspection in a next step The comparison of the at least one primary image feature with the at least one secondary image feature and the use of the result of the comparison to determine the presence of at least one error can be done eg by checking the correlation between the primary image feature and the secondary image feature or the underlying displacement and / or rotation Alternatively, any arbitrary measure of similarity between the primary image feature and the secondary image feature may be used Examining and / or the rotation of a secondary image, for example, the Euclidean distance between points of a secondary image feature and points that can be derived from the primary image characteristics in relation to the displacement and / or rotation of the secondary image are set and to form a threshold for Judgment of the presence of an error in step g) are used. The invention relates in particular to the detection of the environment of a vehicle, but is also suitable for other applications. As motor vehicles, for example, automobiles or robots, in particular mobile robots, aircraft, water mowers or any other motorized technical systems for locomotion are cited.
In einer vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbild- merkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild berechnet wird. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt. In an advantageous embodiment of the method according to the invention, it can be provided that the at least one primary image feature is represented by local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or the at least one secondary image feature. feature by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image is calculated. This allows rapid and reliable detection of relevant image features. As an example of such relevant primary image and / or secondary image features, object boundaries or object edges or corners are given.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass in Schritt a) zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals in Schritt c) verwendet wird, wobei in Schritt d) zumindest das erste und das zweite Primärbild und verschoben und/ oder verdreht werden und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugt wird und in Schritt d) das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und / oder dem zweiten Sekundärbild extrahiert wird. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/ Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder und/ oder der beiden Sekundärbilder gewonnen werden. According to a development of the method according to the invention, it can be provided that in step a) at least one second primary image is captured and used to extract the at least one primary image feature in step c), wherein in step d) at least the first and the second primary image and shifted and / or or twisted and at least the first secondary image and / or an additional second secondary image is generated in consideration of the second primary image and in step d) the at least one secondary image feature is extracted from the first secondary image and / or the second secondary image. By using a second primary image, for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and / or the two secondary images.
Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbildmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahiert werden. In order to enable particularly efficient error detection, it may be advantageous if the at least one primary image feature and / or the at least one secondary image feature relates to at least one object, wherein location information is extracted for the at least one primary image feature and / or the at least one secondary image feature.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird in Schritt d) das zumindest eine erste Primärbild um eine in der Bildmitte liegende vertikale Achse gedreht. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen, wobei vorzugsweise die Achse so positioniert sein kann, dass die Summe der Abstände zu dem im Bild enthaltenen Pixel minimiert ist. According to an advantageous development of the invention, in step d) the at least one first primary image is rotated about a vertical axis lying in the center of the image. The rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse. Alternatively, the rotation could, for example, be done around a single pixel, and preferably the axis may be positioned so that the sum of the distances to the pixel contained in the image is minimized.
In einer günstigen Ausgestaltung des erfindungsgemäßen Verfahrens wird das zumindest eine erste Primärbild mithilfe zumindest eines ersten Sensors aufgenommen. In a favorable embodiment of the method according to the invention, the at least one first primary image is recorded by means of at least one first sensor.
Dabei kann in einer Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in Schritt d) zumindest durch ein physisches Verschieben und/ oder Verdrehen der Position und/ oder Orientierung des zumindest einen ersten Sensors erreicht wird. Die Verschiebung und/ oder Verdrehung des ersten Sensors erfolgt dabei relativ zur durch den ersten Sensor erfassten Sensorumgebung. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht. It can be provided in a development of the method according to the invention that the displacement and / or rotation of the at least one first primary image in Step d) is achieved at least by a physical displacement and / or rotation of the position and / or orientation of the at least one first sensor. The displacement and / or rotation of the first sensor takes place relative to the sensor environment detected by the first sensor. A sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
Alternativ dazu kann vorgesehen sein, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes in Schritt d) zumindest durch eine digitale Bearbeitung des zumindest einen ersten Primärbildes erreicht wird. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden. Alternatively, it may be provided that the displacement and / or rotation of the at least one first primary image in step d) is achieved at least by a digital processing of the at least one first primary image. Again, for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
In einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann mithilfe des ersten Sensors zumindest das erste und das zweite Primärbild aufgenommen werden, wobei das zweite Primärbild nach der Aufnahme des ersten Primärbildes aufgenommen wird. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern (und/ oder von Sekundärbildern) zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden. In a further advantageous embodiment of the method according to the invention, at least the first and the second primary image can be recorded with the aid of the first sensor, the second primary image being recorded after the first primary image has been recorded. The use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible. Information about the movement as well as about the spatial position of the individual features can be obtained from a temporal sequence of relevant features associated with the primary images (and / or secondary images). This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
Alternativ dazu kann es vorgesehen sein, dass mithilfe des ersten Sensors das erste Primärbild und mithilfe eines zweiten Sensors das zweite Primärbild aufgenommen wird. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewegung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo 3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden. Alternatively, provision may be made for the first primary image to be recorded by means of the first sensor and the second primary image to be recorded by means of a second sensor. As a result, it is possible at the same time to take pictures through the two sensors from different perspectives and to generate depth information by comparing the pictures. A simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited. In addition, a relative movement of the environment with respect to the sensors is not required. This technology is under the term "stereo 3D "known and can be used advantageously in connection with the invention.
Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung des erfindungsgemäßen Verfahrens gegeben, bei welcher zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest ein Referenzmerkmal in das zumindest eine erste Primär bild und/ oder das zumindest eine erste Sekundär bild eingebracht wird und An additional possibility for the detection of errors is given in a further developed embodiment of the method according to the invention, in which at least one reference feature between the step a) and b) and / or between the steps d) and e) in the at least one first primary image and / or the at least one first secondary image is introduced and
- nach Schritt c) und / oder e) zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild extrahiert wird und after step c) and / or e) at least one test feature associated with the reference feature is extracted from the processed at least one first primary image and / or the at least one first secondary image, and
- in einem dem Schritt c) und/ oder e) nachfolgendem Schritt h) ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnisses des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers herangezogen wird. in a step c) and / or e) following step h) a comparison of the at least one test feature with the at least one reference feature is performed and the result of the comparison is additionally used to determine the presence of at least one error.
Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast- und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert wird. It may be particularly advantageous if the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
Es ist dabei vorteilhaft, wenn das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen geprüft wird, und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des zumindest einen ersten Sekundärbildes eingefügt wird, in welchem keine relevanten Bildmerkmale vorhanden sind. Somit wird das Verdecken von relevanten Bildmerkmalen in einfacher Weise vorgebeugt. It is advantageous if the at least one primary image and / or the at least one first secondary image is checked for the presence of relevant image features, and the at least one reference feature is inserted into at least one region of the at least one first primary image and / or the at least one first secondary image in which no relevant image features are present. Thus, the obscuring of relevant image features is easily prevented.
Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundär bild eingebracht werden, wobei nach Schritt c) und/ oder e) zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahiert wird. In einer günstigen Variante des erfindungsgemäßen Verfahrens wird in Schritt a) zumindest ein zweites Primärbild erfasst, wobei in Schritt d) mithilfe des zweiten Primärbildes zumindest ein zweites Sekundärbild erfasst oder erzeugt wird, wobei nach Schritt c) und/ oder e) das zumindest eine Testmerkmal aus den zumindest zwei Sekundärbildern extrahiert wird. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten. In order to additionally increase the accuracy of the error detection, it can be provided that at least two, preferably a plurality of reference features in the at least one first primary image and / or the at least one between at least one of step a) and b) and / or between steps d) and e) first secondary image are introduced, wherein after step c) and / or e) for each reference feature in each case a test feature is extracted. In a favorable variant of the method according to the invention, at least one second primary image is detected in step a), wherein at least one second secondary image is detected or generated in step d) with the second primary image, wherein after step c) and / or e) the at least one test feature is extracted from the at least two secondary images. The two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images. The test feature may include depth information in the same way.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das zumindest eine Referenzmerkmal und/ oder das zumindest eine Testmerkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal und/ oder dem zumindest einen Testmerkmal Ortsinformationen (also Tiefeninformationen) extrahiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen). According to a development of the method according to the invention, provision can be made for the at least one reference feature and / or the at least one test feature to concern at least one object, with location information (ie depth information) being extracted for the at least one reference feature and / or the at least one test feature. As a reference feature / test feature simple objects triangles, squares or polygons can be used. The selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
In einem zweiten Aspekt der Erfindung wird die oben gestellte Aufgabe mit einer Fehlererkennungsvorrichtung der eingangs genannten Art gelöst, wobei zumindest eine Recheneinheit zum In a second aspect of the invention, the above object is achieved with an error detection device of the type mentioned, wherein at least one arithmetic unit for
- Erfassen zumindest eines ersten Primärbildes basierend auf einem Primärbildursprung, Detecting at least a first primary image based on a primary image origin,
- Verarbeiten des zumindest einen ersten Primärbildes mithilfe zumindest eines zu überprüfenden Algorithmus, Processing the at least one first primary image using at least one algorithm to be checked,
- Extrahieren zumindest eines Primärbildmerkmals basierend auf dem verarbeiteten zumindest einen ersten Primärbild,  Extracting at least one primary image feature based on the processed at least one first primary image,
- Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes oder des Primärbildursprungs,  Generating or acquiring at least one first secondary image by shifting and / or rotating the at least one first primary image or the primary image origin,
- Verarbeiten des zumindest einen ersten Sekundärbildes mithilfe des zumindest einen zu überprüfenden Algorithmus - Extrahieren zumindest eines Sekundärbildmerkmals aus dem zumindest einen verarbeiteten ersten Sekundärbild und - Processing the at least one first secondary image using the at least one algorithm to be checked Extracting at least one secondary image feature from the at least one processed first secondary image and
- Vergleichen des zumindest einen Primärbildmerkmals mit dem zumindest einen Sekundärbildmerkmal und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers eingerichtet ist.  Comparing the at least one primary image feature with the at least one secondary image feature and using the result of the comparison to determine the presence of at least one error.
Dank der erfindungsgemäßen Fehlererkennungsvorrichtung ist es möglich, eine Vielzahl an Fehlern zuverlässig und leistungsschonend zu erkennen. Thanks to the error detection device according to the invention, it is possible to detect a variety of errors reliable and performance friendly.
In einer vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit das zumindest eine Primärbildmerkmal durch eine lokale Farbinformation und/ oder einen lokalen Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild und/ oder das zumindest eine Sekundärbildmerkmal durch eine lokale Farbinformation und/oder einen lokalen Kontrast und/oder eine lokale Bildschärfe und/oder lokale Gradienten in zumindest dem ersten Sekundärbild berechnet. Dies erlaubt eine rasche und zuverlässige Erkennung von relevanten Bildmerkmalen. Als Beispiel für solche relevante Primärbild- und/ oder Sekundärbildmerkmale seien Objektgrenzen bzw. Objektkanten oder Ecken angeführt. In an advantageous embodiment of the error detection device according to the invention it can be provided that the at least one arithmetic unit by at least one primary image feature by a local color information and / or local contrast and / or local image sharpness and / or local gradients in at least the first primary image and / or at least one secondary image feature is calculated by a local color information and / or a local contrast and / or a local image sharpness and / or local gradients in at least the first secondary image. This allows rapid and reliable detection of relevant image features. As an example of such relevant primary image and / or secondary image features, object boundaries or object edges or corners are given.
Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann vorgesehen sein, dass die zumindest eine Recheneinheit zumindest ein zweites Primärbild erfasst und zur Extraktion des zumindest einen Primärbildmerkmals eingerichtet ist, wobei zumindest das erste und das zweite Primärbild und verschiebbar und/ oder verdrehbar ist und zumindest das erste Sekundärbild und/ oder ein zusätzliches zweites Sekundärbild unter Berücksichtigung des zweiten Primärbildes erzeugbar ist und das zumindest eine Sekundärbildmerkmal aus dem ersten Sekundärbild und/ oder dem zweiten Sekundärbild extrahierbar ist. Durch das Heranziehen eines zweiten Primärbildes können beispielsweise Tiefeninformation aufweisende Primärbildmerkmale/Sekundärbildmerkmale durch Zusammensetzung der beiden Primärbilder bzw. Sekundärbilder gewonnen werden. According to a development of the error detection device according to the invention, it can be provided that the at least one arithmetic unit detects at least one second primary image and is configured to extract the at least one primary image feature, wherein at least the first and the second primary image and is displaceable and / or rotatable and at least the first secondary image and / or an additional second secondary image can be generated taking into account the second primary image and the at least one secondary image feature can be extracted from the first secondary image and / or the second secondary image. By using a second primary image, for example, depth image information having primary image features / secondary image features can be obtained by combining the two primary images and secondary images.
Um eine besonders effiziente Fehlererkennung zu ermöglichen, kann es vorteilhaft sein, wenn das zumindest eine Primärbildmerkmal und/ oder das zumindest eine Sekundärbild- merkmal zumindest ein Objekt betrifft, wobei zu dem zumindest einen Primärbildmerkmal und/ oder dem zumindest einen Sekundärbildmerkmal Ortsinformationen extrahierbar sind. In order to enable particularly efficient error detection, it may be advantageous if the at least one primary image feature and / or the at least one secondary image feature feature at least one object, wherein the at least one primary image feature and / or the at least one secondary image feature location information can be extracted.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die zumindest eine Recheneinheit zum Drehen des zumindest einen ersten Primärbildes um eine in der Bildmitte liegende vertikale Achse eingerichtet. Die Drehung um diese Achse bewirkt, dass die Pixel innerhalb des Bildbereiches bleiben und näher aneinander heranrücken. Diese Änderung lässt sich besonders einfach detektieren und umkehren. Alternativ dazu könnte die Drehung beispielsweise um ein einzelnes Pixel erfolgen. According to an advantageous development of the invention, the at least one arithmetic unit for rotating the at least one first primary image is arranged around a vertical axis lying in the center of the image. The rotation around this axis causes the pixels to stay within the image area and move closer together. This change is particularly easy to detect and reverse. Alternatively, the rotation could be done, for example, by a single pixel.
In einer günstigen Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung weist diese zumindest einen ersten Sensor zur Aufnahme des zumindest einen ersten Primärbildes auf. 23 Dabei kann in einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung vorgesehen sein, dass der zumindest eine erste Sensor verschieb- und/ oder verdrehbar ist. Ein an einem Fahrzeug angebrachter Sensor kann daher entweder mitsamt dem Fahrzeug oder aber auch einzeln relativ zur durch den ersten Sensor erfassten Umgebung bewegt werden. Dies erlaubt eine Fehlererkennung auch dann, wenn sich das Fahrzeug im Stillstand befindet oder allgemeiner, wenn die Fahrzeugumgebung keine Relativbewegung zu dem Fahrzeug vollzieht. In a favorable embodiment of the error detection device according to the invention, this has at least one first sensor for receiving the at least one first primary image. It can be provided in a development of the error detection device according to the invention that the at least one first sensor is displaceable and / or rotatable. A sensor mounted on a vehicle can therefore be moved either together with the vehicle or else individually relative to the environment detected by the first sensor. This allows error detection even when the vehicle is at a standstill or more generally, when the vehicle environment does not make a relative movement to the vehicle.
Alternativ dazu kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist das zumindest eine erste Primärbild digital zu verschieben und/ oder zu verdrehen. Auch hier muss beispielsweise eine Relativbewegung zwischen dem Fahrzeug und der Fahrzeugumgebung nicht vorausgesetzt werden. Alternatively, it may be provided that the at least one arithmetic unit is configured to digitally shift and / or rotate the at least one first primary image. Again, for example, a relative movement between the vehicle and the vehicle environment must not be assumed.
In einer weiteren vorteilhaften Ausführungsform der erfindungsgemäßen Fehlererkennungsvorrichtung ist mithilfe des ersten Sensors zumindest das erste Primärbild sowie zu einem nachfolgenden Zeitpunkt oder Zeitintervall das zweite Primärbild aufnehmbar. Die Zeitabstände zwischen der Aufnahme des ersten und des zweiten Primärbildes (sowie zwischen Primärbildern und Sekundärbildern) können beispielhaft zwischen 0 und 10ms, 10 und 50ms, 50 und 100ms, 100 und 1000ms oder 0 und ls oder höher betragen. Die Verwendung eines einzigen Sensors bietet den Vorteil, dass diese Variante kostengünstig und gleichzeitig robust durchführbar ist. Aus einer zeitlichen Abfolge von den Primärbildern zugehörigen relevanten Merkmalen kann Information über die Bewegung sowie über die räumliche Lage der einzelnen Merkmale gewonnen werden. Diese Technik ist unter dem Ausdruck„Structure from Motion" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden. In a further advantageous embodiment of the error detection device according to the invention, at least the first primary image and, at a subsequent time or time interval, the second primary image can be recorded by means of the first sensor. The time intervals between the recording of the first and the second primary image (as well as between primary images and secondary images) can be, for example, between 0 and 10 ms, 10 and 50 ms, 50 and 100 ms, 100 and 1000 ms or 0 and ls or higher. The use of a single sensor has the advantage that this variant is inexpensive and at the same time robust feasible. From a chronological sequence of relevant features associated with the primary images, information about the movement and about the spatial position of the individual features are obtained. This technique has become known by the term "structure from motion" and can be used to advantage in connection with the invention.
Alternativ dazu kann es vorgesehen sein, dass der erste Sensor zur Aufnahme des ersten Primärbildes und ein zweiter Sensor zur Aufnahme des zweiten Primärbildes eingerichtet sind. Dadurch besteht die Möglichkeit zeitgleich Bilder durch die beiden Sensoren aus unterschiedlicher Perspektive aufzunehmen und durch einen Vergleich der Bilder Tiefeninformation zu generieren. Eine zeitgleiche Aufnahme aus unterschiedlichen Perspektiven birgt den Vorteil die Tiefeninformation besonders rasch zugänglich zu machen, da keine zeitliche Abfolge der Bilder abgewartet werden muss. Darüber hinaus ist eine Relativbewe- gung der Umgebung in Bezug auf die Sensoren nicht erforderlich. Diese Technologie ist unter dem Ausdruck„Stereo 3D" bekannt geworden und kann im Zusammenhang mit der Erfindung vorteilhaft genutzt werden. Alternatively, it may be provided that the first sensor for receiving the first primary image and a second sensor for receiving the second primary image are set up. As a result, it is possible at the same time to take pictures through the two sensors from different perspectives and to generate depth information by comparing the pictures. A simultaneous recording from different perspectives has the advantage of making the depth information particularly quickly accessible, since no temporal sequence of the images must be awaited. In addition, a relative movement of the environment with respect to the sensors is not required. This technology has become known by the term "Stereo 3D" and can be used to advantage in connection with the invention.
Eine zusätzliche Möglichkeit zur Erkennung von Fehlern ist in einer weiterentwickelten Ausgestaltung der erfindungsgemäßen Fehlererkennungsvorrichtung gegeben, bei welcher die zumindest eine Recheneinheit zum Einbringen zumindest eines Referenzmerkmals in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild eingerichtet ist, wobei zumindest ein dem Referenzmerkmal zugeordnetes Testmerkmal aus dem verarbeiteten zumindest einen ersten Primärbild und/ oder dem zumindest einen ersten Sekundärbild mittels der zumindest einen Recheneinheit extrahierbar ist, wobei ein Vergleich des zumindest einen Testmerkmals mit dem zumindest einen Referenzmerkmal erfolgt und das Ergebnis des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers heranziehbar ist. An additional possibility for the detection of errors is provided in a further developed embodiment of the error detection device according to the invention, wherein the at least one arithmetic unit for introducing at least one reference feature in the at least one first primary image and / or the at least one first secondary image is set up, wherein at least one of the reference feature assigned test feature from the processed at least one first primary image and / or the at least one first secondary image by the at least one arithmetic unit is extractable, wherein a comparison of the at least one test feature with the at least one reference feature is carried out and the result of the comparison in addition to determining the presence of at least one Error is approachable.
Dabei kann es insbesondere von Vorteil sein, wenn das zumindest eine Referenzmerkmal durch eine lokale Färb- und/ oder Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert ist. It may be particularly advantageous if the at least one reference feature is characterized by a local color and / or contrast and / or blur manipulation and / or by a local arrangement of pixels.
Es ist dabei vorteilhaft, wenn die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Primärbild und/ oder das zumindest eine erste Sekundärbild auf das Vorhandensein von relevanten Bildmerkmalen zu prüfen und das zumindest eine Referenzmerkmal in zumindest einen Bereich des zumindest einen ersten Primärbildes und/ oder des zumindest einen ersten Sekundärbildes einzufügen, in welchem keine relevanten Bildmerkmale vorhanden sind. It is advantageous if the at least one arithmetic unit is set up to check the at least one primary image and / or the at least one first secondary image for the presence of relevant image features and / or the at least one reference feature in at least one region of the at least one first primary image and / or. or of at least insert a first secondary image in which no relevant image features are present.
Um die Genauigkeit der Fehlererkennung zusätzlich zu erhöhen, kann vorgesehen sein, dass die zumindest eine Recheneinheit dazu eingerichtet ist zumindest zwei, vorzugsweise mehrere Referenzmerkmale in das zumindest eine erste Primärbild und/ oder das zumindest eine erste Sekundärbild einzubringen, wobei zu jedem Referenzmerkmal jeweils ein Testmerkmal extrahierbar ist. In order to additionally increase the accuracy of the error detection, it can be provided that the at least one arithmetic unit is set up to introduce at least two, preferably a plurality of reference features into the at least one first primary picture and / or the at least one first secondary picture, in each case one test feature for each reference feature is extractable.
In einer günstigen Variante der erfindungsgemäßen Fehlererkennungsvorrichtung ist die die zumindest eine Recheneinheit dazu eingerichtet zumindest ein zweites Primärbild zu erfassen und Referenzmerkmale in das erste und das zweite Primärbild einzubringen, wobei die zumindest eine Recheneinheit dazu eingerichtet ist, das zumindest eine Testmerkmal aus den zumindest zwei verarbeiteten Primärbildern zu extrahieren. Die beiden Primärbilder können beispielsweise zeitgleich mittels zweier Sensoren erfasst werden, wodurch sehr rasch eine Tiefeninformation durch Vergleich der beiden Primärbilder gewonnen werden kann. Das Testmerkmal kann in gleicher Weise eine Tiefeninformation beinhalten. In a favorable variant of the error detection device according to the invention, the at least one arithmetic unit is adapted to detect at least one second primary image and introduce reference features into the first and second primary images, wherein the at least one arithmetic unit is adapted to at least one test feature from the at least two processed ones Extract primary images. The two primary images can, for example, be detected simultaneously by means of two sensors, as a result of which depth information can be obtained very quickly by comparing the two primary images. The test feature may include depth information in the same way.
Gemäß einer Weiterbildung der erfindungsgemäßen Fehlererkennungsvorrichtung kann es vorgesehen sein, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahierbar sind. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnten diese Vierecke mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend werden (also kontinuierlich in das Originalbild übergehen). According to a development of the error detection device according to the invention, it can be provided that the at least one reference feature (RM) and / or the at least one test feature (TM) concerns at least one object, wherein at least one reference feature (RM) and / or the at least one test feature (TM) location information is extractable. As a reference feature / test feature simple objects such as triangles, squares or polygons can be used. The selection of the reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white, squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, these squares could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the original image pass).
Die Erfindung samt weiteren Ausgestaltungen und Vorteilen ist im Folgenden an Hand einer beispielhaften, nicht einschränkenden Ausführungsform näher erläutert, die in den Figuren veranschaulicht ist. Hierbei zeigt Fig. 1 eine Darstellung eines ersten Primärbildes in einem Primärbildursprung, The invention together with further embodiments and advantages is explained in more detail below with reference to an exemplary, non-limiting embodiment, which is illustrated in the figures. This shows 1 is a representation of a first primary image in a primary image origin,
Fig. 2 eine Darstellung eines zu dem ersten Primärbild korrespondierenden ersten Sekundärbildes, 2 shows a representation of a first secondary image corresponding to the first primary image,
Fig. 3 eine Darstellung eines ersten und eines zweiten Primärbildes, 3 shows a representation of a first and a second primary image,
Fig. 4 eine Darstellung eines Referenzbildes, 4 is a representation of a reference image,
Fig. 5 eine Darstellung des verarbeiteten Referenzbildes, 5 is an illustration of the processed reference image,
Fig. 6 eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten und 6 is an illustration of the assignment of image features to spatial coordinates and
Fig. 7 eine Draufsicht auf ein Fahrzeug mit einer erfindungsgemäßen Fehlererkennungsvorrichtung. Fig. 7 is a plan view of a vehicle with an error detection device according to the invention.
Fig. 1 zeigt eine Darstellung eines ersten Primärbildes PB1, welches beispielhaft im Zentrum eines Primärbildursprungs PBU angeordnet ist. Das erste Primärbild PB1 bildet dabei eine Untermenge des Primärbildursprungs PBU, welcher sich über das erste Primärbild PB1 hinaus erstreckt, wobei das erste Primärbild PB1 durch eine strichpunktierte Linie eingegrenzt ist. In dem ersten Primärbild PB1 sind z.B. zwei quaderförmige Objekte Ol und 02 erkennbar, welche sich zur Detektion von Primärbildmerkmalen PBM eignen. Beispielhaft wurden jeweils ein dem jeweiligen Objekt Ol bzw. 02 zugeordnetes Primärbildmerkmal mit einem Bezugszeichen PBM versehen, wobei sich diese Primärbildmerkmale PBM an einer Ecke der Objekte Ol bzw. 02 befinden. Üblicherweise werden eine Vielzahl von Primärbildmerkmalen PBM, beispielsweise eine Mehrzahl der Ecken, insbesondere jede sichtbare im Bild abgebildete Ecke erfasst, um eine besonders zuverlässige Erkennung von Objekten zu ermöglichen. Grundsätzlich sind sämtliche Bildmerkmale als Primärbildmerkmale geeignet, die auch nach einer Manipulation oder geringfügigen Veränderung der Primärbilder zuverlässig wieder erkannt werden können. Dies ist insbesondere von der Art der Manipulation bzw. der Veränderung der Bilder abhängig. Weitere Merkmale, die als Primärbild- merkmal geeignet sein können wären beispielsweise Objektkanten, lokale Farbinformationen und/ oder ein lokaler Kontrast und/ oder eine lokale Bildschärfe und/ oder lokale Gradienten in dem ersten Primärbild PB1. Die Bildmerkmale müssen daher nicht zwingend einem Objekt zugeordnet sein sondern können im Grunde durch beliebige wiedererkennbare Merkmale gebildet werden (selbiges gilt für die Primärbildmerkmale PBM eines im Folgenden beschriebenen zweiten Primärbilds PB2 sowie auch weiterer optionaler Primärbilder, Sekundärbildmerkmale SBM von Sekundärbildern, insbesondere eines ersten und zweiten Sekundärbildes SB1 und SB2 sowie auch weiterer optionaler Sekundärbilder in analoger Weise). Sofern es sich bei den Bildmerkmalen um Ecken oder Kanten von Objekten handelt, wie dies in dem gezeigten Beispiel der Fall ist, so können diese z.B. durch Faltungsoperationen mit entsprechenden Filtern, z.B. Gradientenfiltern, mathematisch sichtbar und aus den Bildern extrahiert werden, die üblicherweise in der Bildverarbeitung als Matrix dargestellt werden können, in der jedem Bildpunkt zumindest ein Zahlenwert zugeordnet wird, wobei der Zahlenwert die Farbe und/ oder Intensität eines Bildpunktes repräsentiert. Ein gemäß Schritt b) des erfindungsgemäßen Verfahrens zu überprüfender Algorithmus kann z.B. ein Algorithmus sein, mit Hilfe dessen einzelne Objekte im Bild erkannt werden oder Bildmerkmale extrahiert werden können (z.B. die zuvor erwähnte Filterung mittels eines Gradientenfilters). Analoges gilt für den erfindungsgemäßen Schritt e). 1 shows a representation of a first primary image PB1, which is arranged by way of example in the center of a primary image origin PBU. In this case, the first primary image PB1 forms a subset of the primary image origin PBU, which extends beyond the first primary image PB1, wherein the first primary image PB1 is delimited by a dot-dash line. In the first primary image PB1, for example, two rectangular objects Ol and 02 can be seen, which are suitable for the detection of primary image features PBM. By way of example, in each case a primary image feature assigned to the respective object Ol or 02 has been provided with a reference symbol PBM, these primary image features PBM being located at a corner of the objects Ol or 02. Usually, a multiplicity of primary image features PBM, for example a plurality of corners, in particular any visible corner imaged in the image, are detected in order to enable particularly reliable detection of objects. Basically, all image features are suitable as primary image features that can be reliably recognized even after manipulation or slight change of the primary images. This depends in particular on the type of manipulation or modification of the images. Further features which may be suitable as a primary image feature would be, for example, object edges, local color information and / or local contrast and / or local image sharpness and / or local gradients in the first primary image PB1. The image features therefore do not necessarily have to be assigned to an object but basically can be formed by any recognizable features (the same applies to the primary image features PBM of a second primary image PB2 described below as well as further optional primary images, secondary image features SBM of secondary images, in particular a first and second Secondary image SB1 and SB2 as well as further optional secondary images in an analogous manner). Insofar as the image features are corners or edges of objects, as is the case in the example shown, these can be mathematically visualized, for example, by convolution operations with corresponding filters, eg gradient filters, and extracted from the images which are usually stored in the images Image processing can be represented as a matrix in which each pixel is assigned at least one numerical value, wherein the numerical value represents the color and / or intensity of a pixel. An algorithm to be checked according to step b) of the method according to the invention can be, for example, an algorithm by means of which individual objects in the image can be recognized or image features can be extracted (eg the aforementioned filtering by means of a gradient filter). The same applies to step e) according to the invention.
Ein Mittelpunkt der Fig. 1 bzw. des Primärbildes PB1 ist durch ein Kreuz X gekennzeichnet, welches den Schnittpunkt einer vertikalen Drehachse mit einer dem ersten Primärbild PB1 zugeordneten Bildebene darstellt (unter dem Begriff„vertikale Drehachse" wird im Rahmen dieser Anmeldung verstanden, dass die Drehachse normal zu der Bildebene orientiert ist). Gemäß einem Aspekt der Erfindung kann ein Vergleich von Bildmerkmalen eines Primärbildes mit den Bildmerkmalen eines durch Verschieben und/ oder Verdrehen des Primärbildes erzeugten Nachfolgebildes (ein sogenanntes Sekundärbild) genutzt werden, um Fehler in Bildverarbeitungssystem, insbesondere in den zugrunde liegenden Algorithmen festzustellen, indem dieses in gleicher Weise (siehe Schritt e) des erfindungsgemäßen Verfahrens) auf das Sekundärbild angewandt wird. Fig. 1 zeigt ein beispielhaftes erstes Sekundärbild SB1, bei welchem der Primärbildursprung PBU und somit das erste Primärbild PB1 um die durch das Kreuz dargestellte vertikale Drehachse entgegen dem Uhrzeigersinn um ca. 15° gedreht wurde. Die Drehung (oder auch eine Verschiebung) kann im Grunde beliebig erfolgen, wichtig ist lediglich, dass das Sekundärbild, hier das erste Sekundärbild SB1, eine ausreichende Anzahl an (zu dem zugeordneten Primärbild) korrespondierenden Bildmerkmalen, den sogenannten Sekundärbildmerkmalen SBM (siehe Fig. 2), aufweist. Nun verweisend auf Fig. 2 ist das zu dem ersten Primärbild PBl korrespondierende erste Sekundärbild SB1 dargestellt (sofern nicht anderes angegeben werden im Rahmen dieser Anmeldung mit denselben Bezugszeichen dieselben Merkmale bezeichnet). In diesem gezeigten Beispiel wird das erste Primärbild PBl vollständig durch das erste Sekundärbild SB1 erfasst, wobei die Objekte Ol und 02 mitsamt dem Primärbildursprung PBU entsprechend verdreht wurden. Diese Verdrehung kann wie eingangs erwähnt einerseits durch eine digitale Bildverarbeitung erreicht werden, andererseits könnte ebenso ein oder mehrere die Bilder (Primärbilder, Sekundärbilder) erfassende Sensoren entsprechend verdreht und/ oder verschoben werden. Insbesondere können an einem Fahrzeug angebrachte Bilderfassungssensoren verwendet werden, um die zu verarbeitenden Bilder zu liefern. Dabei kann eine Verdrehung und/ oder insbesondere eine Verschiebung, insbesondere eine horizontale Verschiebung der Sekundärbilder auch in einfacher Weise durch eine Relativbewegung des Fahrzeugs zu seiner Umgebung (wie diese typischerweise während der Fahrt mit dem Fahrzeug gegeben ist) erreicht werden. Beispielhafte Bildmerkmale der Objekte Ol und 02 sind darin als Sekundärbildmerkmale SBM bezeichnet. Ein Vergleich der Primärbildmerkmale PBM mit den Sekundärbildmerkmalen SBM gemäß dem Schritt g) der Erfindung gibt Aufschluss über das Vorliegen zumindest eines Fehlers. Wie in Fig. 2 deutlich erkennbar ist, weist das Sekundärbild Sekundärbildmerkmale SBM auf, die mit den Primärbildmerkmalen in Position bzw. in ihrem relativen Abstand zueinander korrelieren. Aufgrund einem hohen Maß an Korrelation zwischen den beiden Bildern kann auf eine erfolgreiche Bildverarbeitung bzw. korrekt durchgeführte Schritte a) bis f) rückgeschlossen werden. Wäre hingegen zumindest eines der Objekte Ol oder 02 aus dem Sekundärbild vollständig verschwunden, so kann daraus auf das Vorliegen eines Fehlers rückgeschlossen werden, da sich die Objekte Ol und 02 nicht in einem Randbereich des Primärbildes befinden und deshalb nicht vollständig aus dem Sekundärbild verschwunden sein können, sofern vorausgesetzt werden kann, dass das Sekundärbild ausreichend Übereinstimmung mit dem Primärbild aufweisen müsste. Dies kann z.B. durch eine entsprechend rasche Aufnahme der einzelnen Bilder gewährleistet werden. A center point of FIG. 1 or of the primary image PB1 is characterized by a cross X, which represents the intersection of a vertical axis of rotation with an image plane associated with the first primary image PB1 (in the context of this application, the term "vertical axis of rotation" is understood to mean that the According to one aspect of the invention, a comparison of image features of a primary image with the image features of a successor image generated by shifting and / or rotating the primary image (a so-called secondary image) can be used to detect errors in the image processing system, in particular to determine the underlying algorithms by applying this to the secondary image in the same way (see step e) of the inventive method) Fig. 1 shows an exemplary first secondary image SB1, in which the primary image origin PBU and thus the first primary image PB1 by the the cross darges rotated counterclockwise about 15 °. The rotation (or else a shift) can basically be effected arbitrarily, it is only important that the secondary image, here the first secondary image SB1, has a sufficient number of image features (corresponding to the assigned primary image), the so-called secondary image features SBM (see FIG ), having. Referring now to FIG. 2, the first secondary image SB1 corresponding to the first primary image PB1 is shown (unless otherwise indicated in the context of this application, the same reference numbers denote the same features). In this illustrated example, the first primary image PB1 is completely detected by the first secondary image SB1, the objects Ol and 02 having been correspondingly rotated together with the primary image origin PBU. As mentioned above, this rotation can be achieved on the one hand by digital image processing, on the other hand, one or more sensors that detect the images (primary images, secondary images) could likewise be correspondingly rotated and / or displaced. In particular, vehicle-mounted imaging sensors may be used to provide the images to be processed. In this case, a rotation and / or in particular a displacement, in particular a horizontal displacement of the secondary images can also be achieved in a simple manner by a relative movement of the vehicle to its surroundings (as is typically given while driving with the vehicle). Exemplary image features of objects Ol and 02 are referred to therein as secondary image features SBM. A comparison of the primary image features PBM with the secondary image features SBM according to step g) of the invention provides information on the presence of at least one error. As can be clearly seen in FIG. 2, the secondary image has secondary image features SBM, which correlate with the primary image features in position or in their relative distance from one another. Due to a high degree of correlation between the two images, a successful image processing or correctly performed steps a) to f) can be deduced. If, on the other hand, at least one of the objects Ol or O2 has completely disappeared from the secondary image, then it can be deduced that an error exists since the objects O1 and O2 are not located in an edge region of the primary image and therefore can not have completely disappeared from the secondary image if it can be assumed that the secondary image should have sufficient correspondence with the primary image. This can be ensured, for example, by a correspondingly rapid recording of the individual images.
Gemäß einem weiteren Aspekt der Erfindung können mehrere Primärbilder bzw. jeweils zugeordnete Sekundärbilder verwendet werden, um mithilfe des erfindungsgemäßen Verfahrens überprüft zu werden. So zeigt Fig. 3 eine Darstellung zweier Primärbilder, nämlich des ersten Primärbildes PBl sowie eines zweiten Primärbildes PB2, wobei das zweite Primärbild PB2 eine andere Perspektive auf den Bildinhalt des ersten Primärbildes PB1 liefert. Dies kann beispielsweise durch einen räumlichen Versatz zweier an einem Fahrzeug angebrachter Sensoren erreicht werden (unter dem Ausdruck„Stereo 3D" bekannt). Alternativ ist es ebenso möglich, durch zeitlichen Versatz der Aufnahme der Primärbilder eine geänderte Perspektive zur Verfügung zu stellen (unter dem Ausdruck„structure from motion" bekannt). According to a further aspect of the invention, a plurality of primary images or respectively assigned secondary images can be used in order to be checked by means of the method according to the invention. 3 shows a representation of two primary images, namely the first primary image PB1 and a second primary image PB2, wherein the second primary image PB2 has a different perspective on the image content of the first primary image PB1 delivers. This can be achieved, for example, by a spatial offset of two sensors mounted on a vehicle (known by the term "stereo 3D") .Otherwise, it is also possible to provide a modified perspective by temporally offset the recording of the primary images (under the expression "Structure from motion").
Die Darstellung der Objekte Ol bzw. 02 aus zumindest zwei unterschiedlichen Perspektiven erlaubt die Extraktion einer den Objekten zugehörigen Tiefeninformation. So können Objekte dreidimensional erfasst werden. Eine Drehung des ersten und des zweiten Primärbildes PB1 und PB2 (wobei dem zweiten Primärbild PB2 ein zweites Sekundärbild SB2 zugeordnet ist) erfolgt dabei vorzugsweise über eine zwischen den beiden Bildern zentral angeordnete vertikale Drehachse, die in Fig. 3 durch ein Kreuz dargestellt ist. Dies hat den Vorteil, dass beide Bilder im gleichen Ausmaß verdreht werden und möglichst viele Bildpunkte der Primärbilder in den Sekundärbildern erhalten bleiben. The representation of the objects Ol or 02 from at least two different perspectives allows the extraction of a depth information associated with the objects. This allows objects to be captured in three dimensions. A rotation of the first and the second primary image PB1 and PB2 (wherein the second primary image PB2 is assigned a second secondary image SB2) preferably takes place via a centrally arranged between the two images vertical axis of rotation, which is shown in Fig. 3 by a cross. This has the advantage that both images are rotated to the same extent and as many pixels of the primary images remain in the secondary images.
Das erfindungsgemäße Verfahren kann zur Überprüfung einer Vielzahl an mittels Bildverarbeitung berechneten Bildern bzw. der der Verarbeitung zugrunde liegenden Algorithmen herangezogen werden. Die Überprüfung kann dabei Bild für Bild erfolgen, wobei beispielsweise eine einem Sekundärbild folgende Bildaufnahme (als Folgebild bezeichnet) mit dem Sekundärbild (insbesondere mit den Bildmerkmalen) verglichen werden kann. In diesem Fall bildet das ursprüngliche Sekundärbild das Primärbild in Bezug auf das Folgebild, welches dann als Sekundärbild verwendet würde. Es kann somit eine beliebig lange Folge an Bildern überprüft werden, wobei immer Nachfolgebilder (Sekundärbilder) bzw. dessen Merkmale mit Vorgängerbildern (Primärbildern) bzw. dessen Merkmale verglichen werden. The method according to the invention can be used to check a multiplicity of images calculated by means of image processing or the algorithms on which the processing is based. The checking can take place image by image, wherein, for example, a secondary image following image acquisition (referred to as a subsequent image) with the secondary image (in particular with the image features) can be compared. In this case, the original secondary image forms the primary image with respect to the subsequent image, which would then be used as a secondary image. It is thus possible to check an arbitrarily long sequence of images, wherein successor images (secondary images) or their features are always compared with predecessor images (primary images) or its features.
Fig. 4 zeigt einen weiteren Aspekt der Erfindung, demnach ein Referenzmerkmal RM in das erste Primärbild PB1 eingebracht wird, welches nach Einbringen des Referenzmerkmals RM als erstes Referenzbild RB1 bezeichnet wird. Referenzmerkmale RM sind künstlich in das Bild eingebrachte Merkmale, die in nachfolgend beschriebener Weise zur Erkennung von Fehlern in Bildverarbeitungssystemen herangezogen werden können. Referenzmerkmale RM können beispielsweise durch eine lokale Färb-, Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert werden. Als Referenzmerkmal/ Testmerkmal können einfache Objekte wie Dreiecke, Vierecke oder Vielecke verwendet werden. Die Auswahl der Referenzmerkmale ist im Wesentlichen abhängig von den Detektionsalgorithmen. Für gängige„corner detectors" wären z.B. einfarbige, z.B. weiße Vierecke geeignet, welche entsprechend 4 Ecken genieren würden. Zum Abheben vom restlichen Bild könnte ein solches Viereck mit einer dunklen Zone umschlossen sein, welche nach außen hin zunehmend durchscheinend wird (also kontinuierlich in das Originalbild übergeht). Im gezeigten Beispiel ist das Referenzmerkmal ein Quadrat, welches sich durch schwarze durchgezogene Linien vom Bildhintergrund abhebt. 4 shows a further aspect of the invention, according to which a reference feature RM is introduced into the first primary image PB1, which is designated as the first reference image RB1 after introduction of the reference feature RM. Reference features RM are artificially introduced into the image features that can be used in the following manner for detecting errors in image processing systems. Reference features RM can be characterized for example by a local color, contrast and / or blur manipulation and / or by a local arrangement of pixels. As a reference feature / test feature simple objects such as triangles, squares or polygons can be used. The selection of reference features is essentially dependent on the detection algorithms. For common "corner detectors", for example, monochromatic, eg white squares would be suitable, which would embarrass four corners accordingly.To lift off the rest of the image, such a quadrilateral could be enclosed in a dark zone, which becomes increasingly translucent towards the outside (ie continuously into the In the example shown, the reference feature is a square, which is distinguished from the background image by black solid lines.
Das Referenzbild RB1 wird mithilfe eines Algorithmus verarbeitet, welcher mittels des erfindungsgemäßen Verfahrens überprüft werden kann. So zeigt Fig. 5 eine Darstellung des verarbeiteten Referenzbildes RB1, in welcher die den Objekten Ol sowie 02 zugehörigen Primärbildmerkmale PBM erkennbar sind. Das verarbeitete Referenzmerkmal RM der Fig. 4 ist darin als Testmerkmal TM bezeichnet, welches im Wesentlichen durch vier Eckpunkte charakterisiert ist. Da die Eigenschaften des Referenzmerkmals RM vorgegeben werden können und das Verhalten des das erste Referenzbild RB1 verarbeitenden Algorithmus hinlänglich vorhersagbar ist, können Erwartungswerte im Hinblick auf das Testmerkmal TM generiert werden. Abhängig von dem bildverarbeitenden Algorithmus können Werte für die zu erwartende Korrelation zwischen den Testmerkmal TM und dem Referenzmerkmal RM vorhergesagt werden. Ein deutlich von der zu erwartenden Korrelation abweichender Wert kann somit zur Erkennung von Fehlern in der Verarbeitung der Bilder herangezogen werden. The reference image RB1 is processed by means of an algorithm, which can be checked by means of the method according to the invention. Thus, FIG. 5 shows a representation of the processed reference image RB1, in which the primary image features PBM associated with the objects O1 and O2 can be recognized. The processed reference feature RM of FIG. 4 is designated therein as a test feature TM, which is essentially characterized by four corner points. Since the properties of the reference feature RM can be predetermined and the behavior of the algorithm processing the first reference image RB1 can be sufficiently predicted, expectation values with regard to the test feature TM can be generated. Depending on the image processing algorithm, values for the expected correlation between the test feature TM and the reference feature RM can be predicted. A value clearly deviating from the expected correlation can thus be used to detect errors in the processing of the images.
Im gezeigten Beispiel wurde das Referenzmerkmal RM in ein Primärbild eingebracht. Alternativ oder zusätzlich dazu kann ein Referenzmerkmal RM ebenso in ein Sekundärbild eingebracht werden. Auch können zwei oder mehrere Referenzmerkmale vorgesehen sein, um die Sensitivität der Fehlererkennung zusätzlich zu erhöhen. In the example shown, the reference feature RM was introduced into a primary image. Alternatively or additionally, a reference feature RM can also be introduced into a secondary image. Also, two or more reference features may be provided to further increase the sensitivity of error detection.
Fig. 6 zeigt eine Darstellung der Zuordnung von Bildmerkmalen zu Raumkoordinaten, insbesondere einem rechtswendig orientierten kartesischen Koordinatensystem. Sofern Tiefeninformation zu den Bildmerkmalen extrahiert werden kann, ist es möglich, diese Bildmerkmale dreidimensional zu erfassen und ebenso zu überprüfen. 6 shows an illustration of the assignment of image features to spatial coordinates, in particular a Cartesian coordinate system oriented to the right. If depth information on the image features can be extracted, it is possible to capture these image features in three dimensions and also to check them.
In Fig. 7 ist eine Draufsicht auf ein Fahrzeug 1 mit einer erfindungsgemäßen Fehlererkennungsvorrichtung in einer bevorzugten Ausführungsform gezeigt. Die Fehlererkennungsvorrichtung besteht darin aus einer Recheneinheit 2 und einem ersten Sensor 3 sowie einem zweiten Sensor 4, die jeweils an einem Frontbereich des Fahrzeuges 1 angeordnet sind. Die Sensoren 3 und 4 übermitteln die erfassten Bilddaten an die Recheneinheit 2 (z.B. leitungsgebunden oder per Funk), wobei die Recheneinheit 2 diese Bilder verarbeitet sowie die Verarbeitung der Bilder unter Zuhilfenahme der Eingangs skizzierten erfindungsgemäßen Verfahren überprüft. Die Bilddaten können in einem beliebigen zu deren Berechnung und/ oder Wiedergabe geeigneten Format vorliegen. Beispielhaft seien hier das raw-, jpeg-, bmp- oder das png- Format sowie gängige Videoformate angeführt. Die Recheneinheit 2 befindet sich im gezeigten Beispiel im Fahrzeug 1 und kann nach Erkennung eines Fehlers das Fahrzeug 1 in einen sicheren Zustand versetzen. Sollte ein Objekt, welches von der Recheneinheit 2 erkannt wurde aufgrund eines Fehlers der Bildverarbeitung plötzlich nicht mehr von der Recheneinheit 2 erfasst werden, so kann beispielsweise ein Fahrzeugstopp eingeleitet werden um eine Kollision mit dem zuvor erfassten Objekt vorzubeugen. Die Recheneinheit 2 kann eine Vielzahl an weiteren Maßnahmen einleiten oder Funktionen übernehmen, die die Sicherheit und/ oder die Zuverlässigkeit von Bild Verarbeitungsalgorithmen erhöhen, was insbesondere bei Fahrzeuganwendungen von besonderer Bedeutung sein kann. Die Recheneinheit 2 muss nicht zentral aufgebaut sein sondern kann ebenso aus zwei oder mehreren Rechenmodulen bestehen. In Fig. 7 is a plan view of a vehicle 1 with an inventive error detection device in a preferred embodiment is shown. The error detection device consists of a computing unit 2 and a first sensor 3 and a second sensor 4, which are each arranged on a front portion of the vehicle 1. The sensors 3 and 4 transmit the acquired image data to the arithmetic unit 2 (eg, wired or by radio), wherein the arithmetic unit 2 processes these images and checks the processing of the images with the aid of the input outlined inventive method. The image data may be in any format suitable for its calculation and / or playback. Examples include the raw, jpeg, bmp or png format and popular video formats. The arithmetic unit 2 is located in the example shown in the vehicle 1 and can put the vehicle 1 in a safe state after detection of an error. If an object detected by the arithmetic unit 2 is suddenly no longer detected by the arithmetic unit 2 due to an error in the image processing, then, for example, a vehicle stop can be initiated in order to prevent a collision with the previously detected object. The arithmetic unit 2 can initiate a multiplicity of further measures or assume functions which increase the security and / or the reliability of image processing algorithms, which can be of particular importance in particular in vehicle applications. The arithmetic unit 2 does not have to be constructed centrally but can also consist of two or more arithmetic modules.
Da die im Rahmen dieser Beschreibung offenbarte Erfindung vielseitig einsetzbar ist, können nicht alle möglichen Anwendungsgebiete eingehend beschrieben werden. Vielmehr ist der Fachmann in Anbetracht dieser Ausführungen in der Lage, die Erfindung für unterschiedlichste Zwecke einzusetzen und anzupassen. Since the invention disclosed in this description is versatile, not all possible fields of application can be described in detail. Rather, in view of these statements, the person skilled in the art is able to use and adapt the invention for a very wide variety of purposes.

Claims

ANSPRÜCHE
1. Verfahren zur Fehlererkennung für zumindest ein Bild Verarbeitungssystem zur Umfelderfassung eines Kraftfahrzeugs, gekennzeichnet durch folgende Schritte, die in beliebiger Reihenfolge ausgeführt werden, sofern nicht anders angegeben:  1. A method for error detection for at least one image processing system for detecting the surroundings of a motor vehicle, characterized by the following steps, which are carried out in any order, unless otherwise stated:
a) Erfassen zumindest eines ersten Primärbildes (PB1) basierend auf einem Primärbildursprung (PBU), a) detecting at least a first primary image (PB1) based on a primary image origin (PBU),
b) Verarbeiten des zumindest einen ersten Primärbildes (PB1) mithilfe zumindest eines zu überprüfenden Algorithmus, nach Schritt a) b) processing the at least one first primary image (PB1) using at least one algorithm to be checked, after step a)
c) Extrahieren zumindest eines Primärbildmerkmals (PBM) basierend auf dem verarbeiteten zumindest einen ersten Primärbild (PB1), nach Schritt b) c) extracting at least one primary image feature (PBM) based on the processed at least one first primary image (PB1), after step b)
d) Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes (SBl) durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PB1) oder des Primärbildursprungs (PBU), nach Schritt a) d) generating or detecting at least one first secondary image (SB1) by shifting and / or rotating the at least one first primary image (PB1) or the primary image origin (PBU), after step a)
e) Verarbeiten des zumindest einen ersten Sekundärbildes (SBl) mithilfe des zumindest einen zu überprüfenden Algorithmus, nach Schritt d) e) processing the at least one first secondary image (SB1) using the at least one algorithm to be checked, after step d)
f) Extrahieren zumindest eines Sekundärbildmerkmals (SBM) aus dem zumindest einen verarbeiteten ersten Sekundärbild (SBl), nach Schritt e) f) extracting at least one secondary image feature (SBM) from the at least one processed first secondary image (SB1), after step e)
g) Vergleich des zumindest einen Primärbildmerkmals (PBM) mit dem zumindest einen Sekundärbildmerkmal (SBM) und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers, nach den Schritten c) und f). g) comparing the at least one primary image feature (PBM) with the at least one secondary image feature (SBM) and using the result of the comparison to determine the presence of at least one error, after steps c) and f).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild (PB1) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild (SBl) berechnet wird. 2. The method according to claim 1, characterized in that the at least one primary image feature (PBM) by a local color information, a local contrast, a local image sharpness and / or local gradients in at least the first primary image (PB1) and / or the at least one secondary image feature (SBM) is calculated by a local color information, a local contrast, a local image sharpness and / or local gradients in at least the first secondary image (SB1).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Schritt a) zumindest ein zweites Primärbild (PB2) erfasst und zur Extraktion des zumindest einen Primärbildmerkmals (PBM) in Schritt c) verwendet wird, wobei in Schritt d) zumindest das erste und das zweite Primärbild (PB1) und (PB2) verschoben und/ oder verdreht werden und zumindest das erste Sekundärbild (SBl) und/ oder ein zusätzliches zweites Sekundärbild (SB2) unter Berücksichtigung des zweiten Primärbildes (PB2) erzeugt wird und in Schritt d) das zumindest eine Sekundärbildmerkmal (SBM) aus dem ersten Sekundärbild (SBl) und/ oder dem zweiten Sekundärbild (SB2) extrahiert wird. 3. The method according to claim 1 or 2, characterized in that in step a) at least a second primary image (PB2) detected and used to extract the at least one primary image feature (PBM) in step c), wherein in step d) at least the first and the second primary image (PB1) and (PB2) are shifted and / or rotated and at least the first secondary image (SB1) and / or an additional second secondary image (SB2) is generated in consideration of the second primary image (PB2) and in step d) the at least one secondary image feature (SBM) is extracted from the first secondary image (SB1) and / or the second secondary image (SB2).
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Primärbild- merkmal (PBM) und/ oder dem zumindest einen Sekundärbildmerkmal (SBM) Ortsinformationen extrahiert werden. 4. The method according to any one of claims 1 to 3, characterized in that the at least one primary image feature (PBM) and / or the at least one secondary image feature (SBM) at least one object (Ol, 02), wherein the at least one primary image feature (PBM) and / or the at least one secondary image feature (SBM) location information are extracted.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in Schritt d) das zumindest eine erste Primärbild (PBl) um eine in der Bildmitte liegende vertikale Achse gedreht wird. 5. The method according to any one of claims 1 to 4, characterized in that in step d) the at least one first primary image (PBL) is rotated about a lying in the image center vertical axis.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das zumindest eine erste Primärbild (PBl) mithilfe zumindest eines ersten Sensors (3) aufgenommen wird. 6. The method according to any one of claims 1 to 5, characterized in that the at least one first primary image (PBL) is recorded by means of at least one first sensor (3).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PBl) in Schritt d) zumindest durch ein physisches Verschieben und/ oder Verdrehen der Position und/ oder Orientierung des zumindest einen ersten Sensors (3) erreicht wird. 7. The method according to claim 6, characterized in that the displacement and / or rotation of the at least one first primary image (PB1) in step d) at least by a physical displacement and / or rotation of the position and / or orientation of the at least one first sensor ( 3) is achieved.
8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PBl) in Schritt d) zumindest durch eine digitale Bearbeitung des zumindest einen ersten Primärbildes (PBl) erreicht wird. 8. The method according to claim 6 or 7, characterized in that the displacement and / or rotation of the at least one first primary image (PBl) in step d) at least by a digital processing of the at least one first primary image (PBl) is achieved.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste und das zweite Primärbild (PBl, PB2) aufgenommen wird, wobei das zweite Primärbild (PB2) nach der Aufnahme des ersten Primärbildes (PBl) aufgenommen wird. 9. The method according to any one of claims 3 to 8, characterized in that by means of the first sensor (3) at least the first and the second primary image (PBL, PB2) is recorded, wherein the second primary image (PB2) after receiving the first primary image (PBL) is recorded.
10. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste Primärbild (PBl) und mithilfe eines zweiten Sensors (4) zumindest das zweite Primärbild (PB2) aufgenommen wird. 10. The method according to any one of claims 3 to 8, characterized in that by means of the first sensor (3) at least the first primary image (PBL) and by means of a second sensor (4) at least the second primary image (PB2) is recorded.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest ein Referenzmerkmal (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) eingebracht wird und 11. The method according to any one of claims 1 to 10, characterized in that between step a) and b) and / or between steps d) and e) at least one reference feature (RM) into the at least one first primary image (PBl) and / / or the at least one first secondary image (SB1) is introduced and
- nach Schritt c) und/ oder e) zumindest ein dem Referenzmerkmal (RM) zugeordnetes Testmerkmal (TM) aus dem verarbeiteten zumindest einen ersten Primärbild (PBl) und/ oder dem zumindest einen ersten Sekundärbild (SB1) extrahiert wird und - after step c) and / or e) at least one of the reference feature (RM) associated test feature (TM) from the processed at least one first primary image (PBl) and / or the at least one first secondary image (SB1) is extracted and
- in einem dem Schritt c) und/ oder e) nachfolgendem Schritt h) ein Vergleich des zumindest einen Testmerkmals (TM) mit dem zumindest einen Referenzmerkmal (RM) erfolgt und das Ergebnisses des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers herangezogen wird. in a step c) and / or e) following step h), a comparison of the at least one test feature (TM) with the at least one reference feature (RM) takes place and the result of the comparison is additionally used to determine the presence of at least one error.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) durch eine lokale Färb-, Kontrast und/ oder Bildschärfemanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert wird. 12. The method according to claim 11, characterized in that the at least one reference feature (RM) is characterized by a local color, contrast and / or blur manipulation and / or by a local arrangement of pixels.
13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das zumindest eine Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) auf das Vorhandensein von relevanten Bildmerkmalen (PBM, SBM) geprüft wird, und das zumindest eine Referenzmerkmal (RM) in zumindest einen Bereich des zumindest einen ersten Primärbildes (PBl) und/ oder des zumindest einen ersten Sekundärbildes (SB1) eingefügt wird, in welchem keine relevanten Bildmerkmale (PBM, SBM) vorhanden sind. 13. The method according to claim 11 or 12, characterized in that the at least one primary image (PBl) and / or the at least one first secondary image (SB1) is checked for the presence of relevant image features (PBM, SBM), and the at least one reference feature (RM) is inserted into at least a region of the at least one first primary image (PBl) and / or the at least one first secondary image (SB1) in which no relevant image features (PBM, SBM) are present.
14. Verfahren nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass zwischen Schritt a) und b) und/ oder zwischen den Schritten d) und e) zumindest zwei, vorzugsweise mehrere Referenzmerkmale (RM) in das zumindest eine erste Primär bild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) eingebracht werden, wobei nach Schritt c) und/ oder e) zu jedem Referenzmerkmal (RM) jeweils ein Testmerkmal (TM) extrahiert wird. 14. The method according to any one of claims 11 to 13, characterized in that between step a) and b) and / or between steps d) and e) at least two, preferably a plurality of reference features (RM) in the at least one first primary image ( PBl) and / or the at least one first secondary image (SB1) are introduced, wherein in each case a test feature (TM) is extracted after step c) and / or e) for each reference feature (RM).
15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass in Schritt a) zumindest ein zweites Primärbild (PB2) erfasst wird, wobei in Schritt d) mithilfe des zweiten Primärbildes (PB2) zumindest ein zweites Sekundärbild (SB2) erfasst oder erzeugt wird, wobei nach Schritt c) und/ oder e) das zumindest eine Testmerkmal (TM) aus den zumindest zwei Sekundärbildern (SB1,SB2) extrahiert wird. 15. The method according to any one of claims 11 to 14, characterized in that in step a) at least a second primary image (PB2) is detected, wherein in step d) using the second primary image (PB2) at least one second secondary image (SB2) detected or is generated, after step c) and / or e) the at least one test feature (TM) from the at least two secondary images (SB1, SB2) is extracted.
16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahiert werden. 16. The method according to any one of claims 11 to 15, characterized in that the at least one reference feature (RM) and / or the at least one test feature (TM) at least one object (Ol, 02), wherein the at least one reference feature (RM ) and / or the at least one test feature (TM) location information is extracted.
17. Fehlerer kennungs Vorrichtung für zumindest ein Bild Verarbeitungssystem zur Umfelderfassung eines Kraftfahrzeugs, dadurch gekennzeichnet, dass zumindest eine Recheneinheit (2) zum 17. Error detection device for at least one image processing system for detecting the surroundings of a motor vehicle, characterized in that at least one arithmetic unit (2) for
- Erfassen zumindest eines ersten Primärbildes (PB1) basierend auf einem Primärbildursprung (PBU),  Detecting at least one first primary image (PB1) based on a primary image origin (PBU),
- Verarbeiten des zumindest einen ersten Primärbildes (PB1) mithilfe zumindest eines zu überprüfenden Algorithmus,  Processing the at least one first primary image (PB1) using at least one algorithm to be checked,
- Extrahieren zumindest eines Primärbildmerkmals PBM basierend auf dem verarbeiteten zumindest einen ersten Primärbild (PB1),  Extracting at least one primary image feature PBM based on the processed at least one first primary image (PB1),
- Erzeugen oder Erfassen zumindest eines ersten Sekundärbildes (SB1) durch Verschieben und/ oder Verdrehen des zumindest einen ersten Primärbildes (PB1) oder des Primärbildursprungs (PBU),  Generating or acquiring at least one first secondary image (SB1) by shifting and / or rotating the at least one first primary image (PB1) or the primary image origin (PBU),
- Verarbeiten des zumindest einen ersten Sekundärbildes (RB1) mithilfe des zumindest einen zu überprüfenden Algorithmus,  Processing the at least one first secondary image (RB1) using the at least one algorithm to be checked,
- Extrahieren zumindest eines Sekundärbildmerkmals (SBM) aus dem zumindest einen verarbeiteten ersten Sekundärbild (SB1) und  Extracting at least one secondary image feature (SBM) from the at least one processed first secondary image (SB1) and
- Vergleichen des zumindest einen Primärbildmerkmals (PBM) mit dem zumindest einen Sekundärbildmerkmal (SBM) und Verwendung des Ergebnisses des Vergleichs zur Bestimmung des Vorliegens zumindest eines Fehlers eingerichtet ist.  Comparing the at least one primary image feature (PBM) with the at least one secondary image feature (SBM) and using the result of the comparison to determine the presence of at least one error.
18. Fehlererkennungsvorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) das zumindest eine Primärbildmerkmal (PBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Primärbild (PB1) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) durch eine lokale Farbinformation, einen lokalen Kontrast, eine lokale Bildschärfe und/ oder lokale Gradienten in zumindest dem ersten Sekundärbild (SBl) berechnet. 18. Error detection device according to claim 17, characterized in that the at least one arithmetic unit (2) the at least one primary image feature (PBM) by a local color information, a local contrast, a local image sharpness and / or local gradients in at least the first primary image (PB1) and / or the at least one secondary image feature (SBM) by a local color information, a local contrast, a local image sharpness and / or local gradients calculated in at least the first secondary image (SB1).
19. Fehlererkennungsvorrichtung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zumindest ein zweites Primärbild (PB2) erfasst und zur Extraktion des zumindest einen Primärbildmerkmals (PBM) eingerichtet ist, wobei zumindest das erste und das zweite Primär bild (PB1) und (PB2) verschiebbar und/ oder verdrehbar ist und zumindest das erste Sekundärbild (SBl) und/ oder ein zusätzliches zweites Sekundärbild (SB2) unter Berücksichtigung des zweiten Primärbildes (PB2) erzeugbar ist und das zumindest eine Sekundärbildmerkmal (SBM) aus dem ersten Sekundärbild (SBl) und/ oder dem zweiten Sekundärbild (SB2) extrahierbar ist. 19. Error detection device according to claim 17 or 18, characterized in that the at least one arithmetic unit (2) detects at least one second primary image (PB2) and is adapted to extract the at least one primary image feature (PBM), wherein at least the first and the second primary image (PB1) and (PB2) is displaceable and / or rotatable and at least the first secondary image (SBl) and / or an additional second secondary image (SB2) taking into account the second primary image (PB2) can be generated and the at least one secondary image feature (SBM) off the first secondary image (SBl) and / or the second secondary image (SB2) is extractable.
20. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass das zumindest eine Primärbildmerkmal (PBM) und/ oder das zumindest eine Sekundärbildmerkmal (SBM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Primärbildmerkmal (PBM) und/ oder dem zumindest einen Sekundärbildmerkmal (SBM) Ortsinformationen extrahierbar sind. 20. Error detection device according to claim 17, characterized in that the at least one primary image feature (PBM) and / or the at least one secondary image feature (SBM) concerns at least one object (Ol, 02), wherein at least one primary image feature (PBM ) and / or the at least one secondary image feature (SBM) location information can be extracted.
21. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zum Drehen des zumindest einen ersten Primärbildes (PB1) um eine in der Bildmitte liegende vertikale Achse eingerichtet ist. 21. Error detection device according to claim 17, characterized in that the at least one arithmetic unit (2) is arranged to rotate the at least one first primary image (PB1) about a vertical axis lying in the center of the image.
22. Fehlererkennungsvorrichtung, nach einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass die Fehlererkennungsvorrichtung zumindest einen ersten Sensor (3) zur Aufnahme des zumindest einen ersten Primärbildes (PB1) aufweist. 22. Error detection device according to one of claims 17 to 21, characterized in that the error detection device has at least one first sensor (3) for receiving the at least one first primary image (PB1).
23. Fehlererkennungsvorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass der zumindest eine erste Sensor (3) verschieb- und/ oder verdrehbar ist. 23. Error detection device according to claim 22, characterized in that the at least one first sensor (3) is displaceable and / or rotatable.
24. Fehlererkennungsvorrichtung nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist das zumindest eine erste Primärbild (PBl) digital zu verschieben und/ oder zu verdrehen. 24. Error detection device according to claim 22 or 23, characterized in that the at least one arithmetic unit (2) is adapted to at least a first primary image (PBl) to move digitally and / or to rotate.
25. Fehlererkennungsvorrichtung nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, dass mithilfe des ersten Sensors (3) zumindest das erste Primärbild (PBl) sowie zu einem nachfolgenden Zeitpunkt oder Zeitintervall das zweite Primärbild (PB2) aufnehmbar ist. 25, the error detection device according to one of claims 19 to 24, characterized in that by means of the first sensor (3) at least the first primary image (PBL) and at a subsequent time or time interval, the second primary image (PB2) is receivable.
26. Fehlererkennungsvorrichtung nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, dass der erste Sensor (3) zur Aufnahme des ersten Primärbildes (PBl) und ein zweiter Sensor (4) zur Aufnahme des zweiten Primärbildes (PB2) eingerichtet ist. 26. Error detection device according to one of claims 19 to 24, characterized in that the first sensor (3) for receiving the first primary image (PBL) and a second sensor (4) for receiving the second primary image (PB2) is set up.
27. Fehlererkennungsvorrichtung nach einem der Ansprüche 17 bis 25, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) zum Einbringen zumindest eines Referenzmerkmals (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SBl) eingerichtet ist, wobei zumindest ein dem Referenzmerkmal (RM) zugeordnetes Testmerkmal (TM) aus dem verarbeiteten zumindest einen ersten Primärbild (PBl) und/ oder dem zumindest einen ersten Sekundärbild (SBl) mittels der zumindest einen Recheneinheit (2) extrahierbar ist, wobei ein Vergleich des zumindest einen Testmerkmals (TM) mit dem zumindest einen Referenzmerkmal (RM) erfolgt und das Ergebnis des Vergleichs zusätzlich zur Bestimmung des Vorliegens zumindest eines Fehlers heranziehbar ist. 27. Error detection device according to one of claims 17 to 25, characterized in that the at least one arithmetic unit (2) for introducing at least one reference feature (RM) into the at least one first primary image (PBl) and / or the at least one first secondary image (SB1) is furnished, wherein at least one of the reference feature (RM) associated test feature (TM) from the processed at least a first primary image (PBl) and / or the at least one first secondary image (SBl) by means of the at least one arithmetic unit (2) extractable, wherein a Comparison of the at least one test feature (TM) with the at least one reference feature (RM) is performed and the result of the comparison in addition to determining the presence of at least one error is approachable.
28. Fehlererkennungsvorrichtung nach Anspruch 27, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) durch eine lokale Färb-, Kontrast und/ oder Bildschärf emanipulation und/ oder durch eine lokale Anordnung von Pixel charakterisiert ist. 28. Error detection device according to claim 27, characterized in that the at least one reference feature (RM) is characterized by a local color, contrast and / or image sharpness emanipulation and / or by a local arrangement of pixels.
29. Fehlererkennungsvorrichtung nach Anspruch 27 oder 28, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist, das zumindest eine Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SBl) auf das Vorhandensein von relevanten Bildmerkmalen (PBM, SBM) zu prüfen und das zumindest eine Referenzmerkmal (RM) in zumindest einen Bereich des zumindest einen ersten Primärbildes (PBl) und/ oder des zumindest einen ersten Sekundärbildes (SB1) einzufügen, in welchem keine relevanten Bildmerkmale (PBM, SBM) vorhanden sind. 29. An error detection device according to claim 27 or 28, characterized in that the at least one arithmetic unit (2) is adapted to the at least one primary image (PBl) and / or the at least one first secondary image (SBl) to the presence of relevant image features (PBM , SBM) and to check the at least one reference feature (RM) in at least one area of the at least one first primary image (PB1). and / or the at least one first secondary image (SB1), in which no relevant image features (PBM, SBM) are present.
30. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 29, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist zumindest zwei, vorzugsweise mehrere Referenzmerkmale (RM) in das zumindest eine erste Primärbild (PBl) und/ oder das zumindest eine erste Sekundärbild (SB1) einzubringen, wobei zu jedem Referenzmerkmal (RM) jeweils ein Testmerkmal (TM) extrahierbar ist. 30. Error detection device according to claim 27, characterized in that the at least one arithmetic unit (2) is set up for at least two, preferably a plurality of reference features (RM) in the at least one first primary image (PBl) and / or the at least one first Introduce secondary image (SB1), wherein in each case a test feature (TM) is extractable for each reference feature (RM).
31. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 30, dadurch gekennzeichnet, dass die zumindest eine Recheneinheit (2) dazu eingerichtet ist zumindest ein zweites Primärbild (PB2) zu erfassen und Referenzmerkmale (RM) in das erste und das zweite Primärbild (PBl, PB2) einzubringen, wobei die zumindest eine Recheneinheit (2) dazu eingerichtet ist, das zumindest eine Testmerkmal (TM) aus den zumindest zwei verarbeiteten Primärbildern (PBl, PB2) zu extrahieren. 31. Error detection device according to claim 27, wherein the at least one arithmetic unit is set up to acquire at least one second primary image and reference features in the first and the second primary image ), wherein the at least one arithmetic unit (2) is adapted to extract the at least one test feature (TM) from the at least two processed primary images (PB1, PB2).
32. Fehlererkennungsvorrichtung nach einem der Ansprüche 27 bis 31, dadurch gekennzeichnet, dass das zumindest eine Referenzmerkmal (RM) und/ oder das zumindest eine Testmerkmal (TM) zumindest ein Objekt (Ol, 02) betrifft, wobei zu dem zumindest einen Referenzmerkmal (RM) und/ oder dem zumindest einen Testmerkmal (TM) Ortsinformationen extrahierbar sind. 32. Error detection device according to claim 27, characterized in that the at least one reference feature (RM) and / or the at least one test feature (TM) concerns at least one object (Ol, 02), wherein at least one reference feature (RM ) and / or the at least one test feature (TM) location information can be extracted.
EP14766094.8A 2013-08-20 2014-08-13 Method for detecting errors for at least one image processing system Withdrawn EP3036684A2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA50516/2013A AT514724A2 (en) 2013-08-20 2013-08-20 Method for detecting errors
ATA50659/2013A AT514730A2 (en) 2013-08-20 2013-10-14 A method for detecting errors for at least one image processing system
PCT/AT2014/050174 WO2015024035A2 (en) 2013-08-20 2014-08-13 Method for detecting errors for at least one image processing system

Publications (1)

Publication Number Publication Date
EP3036684A2 true EP3036684A2 (en) 2016-06-29

Family

ID=51540972

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14766094.8A Withdrawn EP3036684A2 (en) 2013-08-20 2014-08-13 Method for detecting errors for at least one image processing system

Country Status (4)

Country Link
US (1) US20160205395A1 (en)
EP (1) EP3036684A2 (en)
AT (1) AT514730A2 (en)
WO (1) WO2015024035A2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018221427B4 (en) * 2018-12-11 2020-08-06 Volkswagen Aktiengesellschaft Method for determining an existing misalignment of at least one sensor within a sensor network
US10990855B2 (en) * 2019-06-13 2021-04-27 Baidu Usa Llc Detecting adversarial samples by a vision based perception system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007025373B3 (en) 2007-05-31 2008-07-17 Sick Ag Visual monitoring device for use in e.g. automated guided vehicle system, has evaluation unit formed such that unit tests separation information based on another separation information of plausibility
EP2296106A1 (en) * 2009-09-02 2011-03-16 Autoliv Development AB A method of training and/or evaluating a vehicle safety algorithm
US8666195B1 (en) * 2011-03-15 2014-03-04 Google Inc. Image alignment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2015024035A2 *

Also Published As

Publication number Publication date
US20160205395A1 (en) 2016-07-14
AT514730A2 (en) 2015-03-15
WO2015024035A2 (en) 2015-02-26
WO2015024035A3 (en) 2015-05-07

Similar Documents

Publication Publication Date Title
EP1836681B1 (en) Method for determining the displacement of a vehicle
EP2034461B1 (en) Method for detecting and/or tracking moved objects in a monitoring zone with stoppers, device and computer program
DE102012221563B4 (en) FUNCTIONAL DIAGNOSIS AND VALIDATION OF A VEHICLE-BASED IMAGING SYSTEM
EP2025991B1 (en) Device and method for three-dimensional monitoring of a spatial area with at least two image sensors
DE102012112104A1 (en) PROCESS AND DEVICE FOR PROCESSABILITY ANALYSIS
WO2013178407A1 (en) Method and device for processing stereoscopic data
DE102014114221A1 (en) Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102020127278B4 (en) Around View Synthesis System and Method
DE102016223094A1 (en) Method and system for detecting a raised object located within a parking lot
WO2015024035A2 (en) Method for detecting errors for at least one image processing system
EP1352363B1 (en) Method and device for compensating for the maladjustment of an image producing device
EP3036685A2 (en) Method for error detection for at least one image processing system
DE102017217063A1 (en) A recognition system, method of operation and training method for generating a 3D model with reference data
DE112021002598T5 (en) IMAGE PROCESSING DEVICE
WO2021165129A1 (en) Method and device for generating combined scenarios
DE102016206508A1 (en) Method and device for edge detection
DE102014225883A1 (en) A camera system and method for visualizing at least one vehicle surrounding area of a vehicle environment of a vehicle
DE102015101190A1 (en) Method for determining an image depth value depending on an image area, camera system and motor vehicle
DE102017217156B4 (en) Method and device for controlling a driver assistance system using a stereo camera system with a first and a second camera
DE102013218299A1 (en) A method of detecting damage to a vehicle from a test image, corresponding system and computer program product
WO2023072696A1 (en) Method for determining a gravitational direction for a vehicle control system of a motor vehicle, vehicle control system and motor vehicle
DE102017214653B4 (en) Method for providing an image signal of an area surrounding a motor vehicle and motor vehicle
WO2020212075A1 (en) Learning method for angle-independent object recognition for mobile and stationary systems
DE102021202782A1 (en) Method for determining at least one abnormality in an image of an environment
DE102021206316A1 (en) Method and device for detecting an object for a vehicle and camera system comprising a mono camera

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160202

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20161011