EP1358444A1 - Verfahren zur bilderkennung bei kraftfahrzeugen - Google Patents

Verfahren zur bilderkennung bei kraftfahrzeugen

Info

Publication number
EP1358444A1
EP1358444A1 EP02702236A EP02702236A EP1358444A1 EP 1358444 A1 EP1358444 A1 EP 1358444A1 EP 02702236 A EP02702236 A EP 02702236A EP 02702236 A EP02702236 A EP 02702236A EP 1358444 A1 EP1358444 A1 EP 1358444A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
sensor
reflecting surface
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02702236A
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Alexander Würz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP1358444A1 publication Critical patent/EP1358444A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method for image recognition based on stereo image processing, in which electromagnetic waves emanating from an object are recorded, evaluated in terms of their intensity as well as their direction by at least one sensor and transferred to an image matrix, as is the case in industry and in particular is used in the automotive industry.
  • the local position of the reflecting surfaces is known both in terms of their distance and their angle with respect to the camera and to one another and is always constant.
  • a method stereo image processing
  • the baseline i.e. the distance between the cameras, is included in the measurement accuracy. From this point of view, the largest possible baseline would be desirable, which is only possible within a narrow range in a vehicle.
  • the object in order to be able to determine the distance of the object, the object must be clearly identified in the left image and in the right image. The likelihood of finding this correspondence correctly is called matching and decreases as the baseline increases and the perspective angle increases. A balance must therefore be made between the accuracy of the measurement and the probability of matching.
  • the object of the invention is to provide a method for distance measurement that reduces, in particular eliminates, at least some of the disadvantages mentioned at the lowest possible cost.
  • a bonnet painted in high quality in motor vehicles can be regarded as a mirror, it is possible to consider the reflection of an object on the hood as a reference. The effect can be compared to the use of another camera, which shows objects that can be directly observed from a different point of view. The mirror images can be assigned directly to the objects to be viewed. Through the mathematical algorithms known in particular from astronomy, these reflections can be correctly reconstructed in perspective. It is therefore possible, without any additional hardware expenditure, to minimize or eliminate only by model-based calculations, in particular problems of the stereo camera.
  • stereo image processing can be carried out with a camera to support other problems in mono camera applications.
  • the possibilities of reconstruction are restricted, for example, by the soiling of the bonnet.
  • the problems in stereo image processing can be solved, since stereo calculation can then also be carried out with just one camera or a solution for selective matching hypothesis selection with repetitive patterns is possible.
  • the images from the bonnet mirroring cannot be reconstructed completely, but only locally in perspective.
  • a complete reconstruction is only possible if the bonnet has a surface similar to a conic section. Such a surface can be approximated locally.
  • the reliability of the distance determination is significantly improved by the expansion of the functionality in the object assignment according to the invention.
  • Fig. 1 is a side view with a schematic representation of an optical path and Fig. 2 is a reflection image of the beam path of Figure 1 on a hood.
  • FIG. 1 shows a side view with a schematic illustration of a beam path as it occurs in a method according to the invention in a vehicle in an eye of a camera, in particular in a stereo camera.
  • Points B and A describe two objects, of which object A is at least partially covered by object B; ie the original image of the light wave from A lies with the camera under consideration along the same line as the beam. Since the camera is fixed in its position in relation to the hood, there are different locations for the mirror images of objects A and B that it can observe. With knowledge of the geometry of the bonnet, the at least mostly distorted mirror image B can be identified, for example, by a modified image comparison with the object B.
  • This identification in turn makes it possible for the object A to be separated from the object B, which it at least partially conceals, by measurement. Because of this separability and the knowledge of the distance from the camera and the mirror images A ⁇ and B ⁇ and their angular position to the camera, it is also possible to calculate the distance between A and B and thus.
  • the hood is a specular reflector.
  • Specular and diffuse components can be distinguished in the reflection.
  • the directional distribution of the reflected radiation depends on the relative positions of the observer, surface and light source. This distribution is described by a so-called BRDF model (Bi-directional Reflectance Distribution Function). These functions have been developed for the different reflection models. Since the smooth, glossy painted bonnet is one of the best paint parts on the car and only has roughness in the micrometer range, it can be viewed as a specular reflector. This allows the imaging to be treated by the radiation optics.
  • the camera is a perspective pinhole camera.
  • the image is reconstructed on one level.
  • the reconstruction is limited to the central, concave area of the bonnet.
  • this area also contains the directions that are most important for the reconstruction in the method according to the invention.
  • this surface corresponds to a surface element in the CAD data and is not composed.
  • a static configuration is understood to mean the constancy of the geometric conditions. There are no changes in the hood geometry and relative position of the first models. This assumption does not apply in the context of camera calibration and especially adaptive camera calibration.
  • the geometric data such as the points of the reflected rays the bonnet and normal vectors, are known at these points. These could either come from CAD data or corresponding calibration procedures, which will be described later.
  • One way to reconstruct the image is to map a known pattern and compare the reflection with the original. For this purpose, the reflection of a calibration wall standing vertically in front of the car in the bonnet is simulated. The distortion of the quadratic structure can be observed well. Now the corresponding points of the image plane and the mirror plane are searched. This results in a two-dimensional field with displacement vectors.
  • the above procedures essentially aim to find the position and viewing direction of a virtual camera for image reconstruction. Once these extrinsic camera parameters of the virtual camera have been found, the mirror image can be reconstructed using the hood geometry.
  • the external parameters of the real camera must first be known. In particular, the effects of different camera positions on a measurement error are remarkable. Therefore, the following sections introduce various methods that could be used to determine the position and viewing direction of the real camera relative to the bonnet.
  • the method can even partially determine the geometric properties of the surface, so that there is no need to use CAD data.
  • the intrinsic camera parameters of the virtual camera can be freely selected.
  • the internal parameters of the real camera are adopted.
  • the stripe projection is a method for measuring three-dimensional surfaces.
  • a special structure is used, in which the relative positions of the strip projector and the camera are exactly known.
  • a sequence of different stripe patterns is then projected onto the object and recorded by the camera.
  • the stripes cut through the object in planes, and the section plane can be calculated by determining the position of the known stripe in the image of the camera. With the corresponding duration of the measurement and distance of the object from the measurement setup, accuracy in the submillimetre range can be achieved.
  • This data can be approximated by triangulation, so that the surface is known mathematically and points and normal vectors can be calculated.
  • the point of origin (xp, zp) can be calculated.
  • the determination of the normal vector is no longer necessary, since the direction of reflection in three-dimensional space can be calculated directly with the point and x, a or xO, aO.
  • This method completely dispenses with CAD data or other data sources that would have to be used dependent. In addition to calibration, this approach also provides the geometric information needed to calculate the object distances.
  • the choice of the point of view and the direction of view is important. Since only rotated conic sections in connection with a corresponding camera deliver a catadioptric system with a single viewpoint, errors will always occur during the reconstruction with a selected viewpoint. The viewing direction is reflected in the choice of the reconstruction plane, as a plane perpendicular to the viewing direction. Even the choice of the removal of this reconstruction level then plays a role in this error-prone approach. If such a reconstruction is used, detailed error considerations are necessary. If the approach is used that the object recognition is first carried out in suitable search windows and then triangulated for the corresponding pixels, the expected range accuracy is much greater, since no reconstruction errors occur in this sense.
  • the epipoles of the reflecting surface of the body are expediently determined beforehand.
  • a visual ray SO passes through the focal point F0 of a camera KO and a point PO in the image plane of the camera KO.
  • the focal point of another camera Kl which is at a different location like KO, has the focal point Fl.
  • the epipolar plane which is defined by the visual ray SO and the focal point Fl, intersects the image plane of the camera 1 along the epipolar curve L1.
  • the epipolar Ll is a line.
  • the epipolar reflections of calibration objects of known geometry are preferably recorded, which are at a known distance from the bonnet. The epipolar is determined from these (calibration) reflections and a calibration function is created, which will later be used for evaluation.
  • the invention is of course not limited to use in a motor vehicle, but can be extended in an obvious manner to other fields of application and objects in which reflecting surfaces are present.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bilderkennung bei Kraftfahrzeugen, bei dem von einem Gegenstand ausgehende elektromagnetische Wellen von wenigstens einem Sensor sowohl bezüglich ihrer Intensität als auch bezüglich ihrer Richtung aufgenommen, ausgewertet und einer Bildmatrix übergeben werden. Von dem Sensor wird das ungestörte Originalbild des Gegenstandes und zusätzlich Reflexionswellen von dem Gegenstand, welche an der Karosserie reflektiert werden, im folgenden Spiegelbild genannt, aufgenommen. Anschließend wird das Spiegelbild und das Originalbild zur Auswertung herangezogen, wobei zuvor die Lage und die Geometrie der reflektierenden Fläche der Karosserie zu dem Sensor ermittelt wird.

Description

Verfahren, zur Bilderkennung bei Kraftfahrzeugen
Die Erfindung betrifft ein Verfahren zur Bilderkennung auf der Grundlage von Stereobildverarbeitung, bei dem von einem Gegenstand ausgehende elektromagnetische Wellen von wenigstens einem Sensor sowohl bezüglich ihrer Intensität als auch bezüglich ihrer Richtung aufgenommen, ausgewertet und einer Bildmatrix übergeben werden, wie es in der Industrie und insbesondere in der Automobilindustrie verwendet wird.
Aus dem Artikel Nayar S.K., 1988, Sphereo : Determining Depth using Two Specular Spheres and a Single Camera, In Proceedings of SPIE: Optics, Illumination, and Image Sensing for Machine Vision III, Vol. 1005., SPIE, Society of Photo-Optical Engineering, 245-254 ist ein Verfahren und eine Vorrichtung zur Entfernungsmessung von Gegenständen bekannt, bei dem eine Kamera das Originalbild eines Gegenstandes sowie zwei Spiegelbilder des Gegenstandes, die an zwei spiegelnden Flächen reflektiert werden, aufnimmt. Mit diesen drei Bildern kann dann unter Zuhilfenahme eines mathematischen Algorithmus der Abstand des Gegenstandes bestimmt werden. Bei diesem Verfahren ist es wesentlich, daß die spiegelnden Flächen eine bestimmte Geometrie aufweisen. Ferner ist es unabdingbar, daß auch die örtlich Lage der spiegelnden Flächen sowohl hinsichtlich ihrer Entfernung und ihres Winkels bezüglich der Kamera als auch zueinander bekannt und immer gleichbleibend ist. Eine derartige Vorrichtung und damit das zugehörige Verfahren ist für eine Verwendung in einem Kraftfahrzeug und hierbei insbesondere einem Automobil allenfalls bedingt geeignet. Des weiteren ist insbesondere im Bereich der Computer und Robottechnik eine Verfahren (Stereobildverarbeitung) bekannt, bei dem unter Zuhilfenahme zweier Kameras die Entfernung eines Gegenstandes bestimmt wird. Dabei geht die Basislinie, also die Entfernung der Kameras zueinander, in die Meßgenauigkeit ein. Aus diesem Blickwinkel wäre eine möglichst große Basislinie wünschenswert , was in einem Fahrzeug nur in engen Grenzen möglicht ist. Des weiteren muß um die Entfernung des Gegenstandes bestimmen zu können, muß das Objekt im linken Bild und im rechten Bild eindeutig identifiziert werden. Die Wahrscheinlichkeit, diese Korrespondenz korrekt zu finden, wird Matching genannt und nimmt mit wachsender Basislinie und damit wachsendem Blickwinkelunterschied ab. Es muß also eine Abwägung zwischen Meßgenauigkeit und Matching-Wahrscheinlichkeit vorgenommen werden.
Darüber hinaus treten beim Zwei-Kamera-Stereo Probleme mit re- petitiven Mustern auf. Lattenzäune, Alleenbäume oder Geländer, speziell wenn Teile des Musters für eine Kamera durch andere Objekte verdeckt sind, führen bei zwei Kameras zu falschem Matching und damit zu falschen Objektentfernungen. Verdeckungen treten durch die verschiedensten Objekte auf. Dies kann beispielsweise bei der Verwendung in einem Kraftfahrzeug ein vorausfahrendes Fahrzeug oder auch der Scheibenwischer sein, der den Blick einer Kamera gerade verdeckt
Aufgabe der Erfindung ist es, ein Verfahren zur Entfernungsmessung zur Verfügung zu stellen, daß bei möglichst geringen Kosten zumindest einige der genannten Nachteile verringert, insbesondere beseitigt.
Die Aufgabe wird durch ein Verfahren mit den Verfahrensschritten des Anspruch 1 gelöst. Im Rahmen einer beispielhaften erfinderischen Verwendung des Verfahrens in einem Kraftfahrzeug werden die vorteilhaften Eigenschaften und Funktionsweisen des Erfindungsgegenstandes im Detail erläutert. Da insbesondere eine in hoher Qualität lackierte Motorhaube bei Kraftfahrzeugen quasi als Spiegel betrachtet werden kann, ist es möglich, die Spiegelung eines Gegenstandes auf der Motorhaube als Referenz zu betrachten. Die Wirkung ist hierbei mit dem Einsatz einer weiteren Kamera zu vergleichen, die direkt beobachtbare Gegenstände aus einem anderen Blickwinkel zeigt. Die Spiegelbilder können direkt den zu betrachteten Gegenständen zugeordnet werden. Durch die insbesondere auch aus der Astronomie bekannten mathematischen Algorithmen können diese Reflexionen perspektivisch richtig zu rekonstruiert werden. Daher ist es möglich, ohne jeden weiteren Hardware-Aufwand, nur durch modellbasierte Berechnungen, insbesondere Probleme der Stereokamera zu minimieren oder zu eliminieren. Bei geeigneter Konfiguration kann mit einer Kamera Stereobildverarbeitung betrieben werden, um andere Problemstellungen in Monokamera-Anwendungen zu unterstützen. Die Rekonstruktionsmöglichkeiten werden beispielsweise durch die Verschmutzung der Motorhaube eingeschränkt. Wenn die Bildqualität die Verarbeitung aber erlaubt, können die Probleme in der Stereobildverarbeitung gelöst werden, da dann auch mit nur einer Kamera Stereoberechnung betrieben werden kann bzw. eine Lösung für selektive Matching-Hypothesenauswahl bei repe- titiven Mustern möglich ist. Allerdings können die Bilder aus der Motorhaubenspiegelung nicht komplett, sondern nur lokal perspektivisch rekonstruiert werden. Eine komplette Rekonstruktion ist nur möglich, wenn die Motorhaube eine einem Kegelschnitt ähnliche Oberfläche aufweist. Lokal kann eine solche Oberfläche approximiert werden. Trotz dieser Einschränkung ist durch die erfindungsgemäße Erweiterung der Funktionalität in der Obj ektZuordnung die Zuverlässigkeit der Entfernungsbestimmung wesentlich verbessert.
Weitere sinnvolle Ausgestaltungen sind den Unteransprüchen entnehmbar. Im übrigen wird die Erfindung anhand eines in den Zeichnungen dargestellten Ausführungsbeispiels erläutert. Dabei zeigt
Fig. 1 eine Seitenansicht mit einer schematischen Darstellung eines Strahlengangs und Fig. 2 ein Reflexionsbild des Strahlenganges nach Figur 1 auf einer Motorhaube .
In Figur 1 ist eine Seitenansicht mit einer schematischen Darstellung eines Strahlengangs dargestellt, wie er bei einem erfindungsgemäßen Verfahren bei einem Fahrzeug in einem Auge einer Kamera, insbesondere in einer Stereokamera, auftritt. Die Punkte B und A beschreiben einen zwei Gegenstände, von denen der Gegenstand A zumindest teilweise durch den Gegenstand B verdeckt ist; d.h. das Originalbild der Lichtwelle von A liegt bzgl . der betrachteten Kamera entlang der gleichen Linie wie der Strahls. Da die Kamera in ihrer Lage zur Motorhaube fest ist, ergeben sich allerdings für die von ihr beobachtbaren Spiegelbilder der Gegenstände A und B unterschiedliche Ort. Mit Kenntnis der Geometrie der Motorhaube kann das zumindest zumeist verzerrte Spiegelbild B bspw. durch einen modifizierten Bildvergleich mit dem Gegenstand B identifiziert werden. Durch diese Identifizierung wiederum ist es möglich, daß der Gegenstand A von dem von ihm zumindest teilweise verdeckten Gegenstand B meßtechnisch getrennt werden kann. Aufgrund dieser Trennbarkeit und der Kenntnis des Abstands von der Kamera und den Spiegelbildern Aλ und Bλ sowie deren Winkellage zur Kamera ist es ferner möglich, den Abstand zwischen A und B und somit zu berechnen.
Wie schon erwähnt ist es bei der Bildverarbeitung sinnvoll, eine Methoden zur Darstellung verzerrter Bilder anzuwenden. Eine Methode, in der gezielt Bildverzerrungen eingesetzt werden, sind bspw. Anamorphoten in der korrektiven Optik und der Filmtechnik. Jedes optische System mit verschiedenen Werten in den zwei Hauptschnitten bezeichnet man als anamorphotisch. Dies wird zumeist dazu verwendet, Astigmatismen zu korrigieren, wenn der Fehler nur in einem Meridian existiert.
Zur Rekonstruktion der Bilder sind einige Methoden denkbar, von denen einige beschrieben werden. Sinnvollerweise werden für die Rekonstruktion der Bilder einige Annahmen gemacht, die nachfolgend aufgeführt werden.
1. Die Motorhaube ist ein spekularer Reflektor.
Bei der Reflexion können spekulare und diffuse Anteile unterschieden werden. Bei der Modellierung von Computergraphiken oder bei der Formbestimmung aus dem Schattenwurf hängt die Richtungsverteilung der reflektierten Strahlung von den relativen Positionen von Beobachter, Fläche und Lichtquelle ab. Diese Verteilung wird durch ein sogenanntes BRDF-Modell (Bi-directional Reflectance Distribution Func- tion) beschrieben. Diese Funktionen wurden für die verschiedenen Reflexionsmodelle ntwickelt . Da de glatte, glänzend lackierte Motorhaube eines der besten Lackteile am Auto ist und nur Rauhigkeiten im Mikrometerbereich aufweist, kann sie als spekularer Reflektor betrachtet . Dieser Umstand erlaubt die Behandlung der Abbildung durch die Strahlenoptik.
2. Die Kamera ist eine perspektivische Lochkamera.
Aufgrund der technischen Anordnung und der verwendeten Kameras kommt die Behandlung einer perspektivischen Abbildung in Frage. Zweckmäßigerweise sollte aufgrund der Lichtschwäche in der Realität keine Lochkamera eingesetzt werden. Allerdings ist es durch die Korrektur der Linsenfehler möglich, das verwendete System auf eine Lochkamera zurückzuführen.
3. Das Bild wird auf einer Ebene rekonstruiert.
Diese ist die Rekonstruktionsfläche, die einer korrekten menschlichen Perspektive entspricht, und die zum verwendeten Lochkameramodell gehört. 4. Im Bereich zwischen Spiegel und Kamera sind keine Objekte vorhanden.
Sollten sich in diesem Bereich Objekte befinden, so müßten diese von Spiegelungen durch entsprechende Bildverarbeitungsschritte identifiziert werden. Wie es sich im Rahmen der beabsichtigten Anwendung und zur Lösung des Problems herausgestellt hat, ist günstigerweise die Annahme möglich, daß im entsprechenden Bildbereich nur Spiegelungen zu sehen sind.
5. Die Rekonstruktion beschränkt sich auf den mittleren, konkaven Bereich der Motorhaube.
Da in den konvexen Bereichen der Motorhaube die stärksten Verzerrungen auftreten wird in diesen Bereichen die Rekonstruktion sehr komplex. Daher wird zur Rekonstruktion nur die Front des Fahrzeugs und der konkave mittlere Bereich der Motorhaube herangezogen. Aufgrund der Kameraposition, die vorzugsweise im Bereich des Innenrückspiegels angeordnet ist, enthält dieser Bereich auch die Richtungen, die bei dem erfindungsgemäßen Verfahren für die Rekonstruktion am wichtigsten sind. Hinzu kommt, daß diese Fläche in den CAD-Daten einem Flächenelement entspricht und nicht zusammengesetzt ist.
6. Die Konfiguration ist statisch.
Unter einer statischen Konfiguration wird eine Konstanz der geometrischen Gegebenheiten verstanden. Es treten keine Veränderungen in der Haubengeometrie und relativen Position der ersten Modelle auf. In Rahmen einer Kamerakalibrierung und speziell einer adaptiven Kamerakalibrierung fällt diese Annahme weg.
Für eine Rekonstruktion ist es ferner günstig, daß die geometrischen Daten, wie Aufpunkte der reflektierten Strahlen auf der Motorhaube und Normalenvektoren, an diesen Stellen bekannt sind. Diese könnten entweder aus CAD-Daten oder entsprechenden Kalibrierungsverfahren stammen, die später noch beschrieben werden.
Eine Möglichkeit, das Bild zu rekonstruieren besteht darin, ein bekanntes Muster abzubilden, und die Reflexion mit dem Original zu vergleichen. Hierzu wird die Reflexion einer senkrecht vor dem Auto stehenden Kalibrierwand in der Motorhaube simuliert. Dabei ist die Verzerrung der quadratischen Struktur gut zu beobachten. Nun werden die korrespondierende Punkte der Bildebene und der Spiegelebene gesucht. Daraus ergibt sich ein zweidimen- sionales Feld mit Verschiebungsvektoren.
Für die Stereobildverarbeitung ist es nötig, Bilder mit einem anderen Blickwinkel zu erhalten. Wird allerdings das Spiegelbild mit dem direkt sichtbaren Bereich korrigiert, so geht dabei genau diese zusätzliche Information verloren. In diesem Fall muß das Spiegelbild auf die Sichtweise einer solchen virtuellen Kamera korrigiert werden. Die extrinsischen Parameter dieser virtuellen Kamera sind so aber nicht bekannt.
Werden andere Verfahren angewandt, um diese Kamera zu berechnen, so ist die Lösung der Rekonstruktionsaufgabe vollbracht und dieses zweidimensionale bildbasierte Korrekturverfahren obsolet .
Die oben Vorgehensweisen zielen im wesentlichen darauf ab, die Position und Blickrichtung einer virtuellen Kamera zur Bildrekonstruktion zu finden. Sind diese extrinsischen Kameraparameter der virtuellen Kamera gefunden, kann das Spiegelbild mit Hilfe der Haubengeometrie rekonstruiert werden. Um diese äußeren Parameter der virtuellen Kamera genau bestimmen zu können, müssen zuerst die äußeren Parameter der realen Kamera bekannt sein. Insbesondere ist die Auswirkungen unterschiedlicher Kamerapositionen auf einen Meßfehler beachtlich. Daher werden in den folgenden Abschnitten werden verschiedene Verfahren vorgestellt, die dazu dienen könnten, die Position und Blickrichtung der realen Kamera relativ zur Motorhaube zu bestimmen. In vorteilhafter Weise können mit diesen Verfahren sogar teilweise auch die geometrischen Eigenschaften der Oberfläche mitbestimmt werden, so daß nicht auf CAD-Daten zurückgegriffen werden muß. Die intrinsischen Kameraparameter der virtuellen Kamera können hingegen frei gewählt werden.
Zur Vereinfachung der Weiterverarbeitung im multiokularen System werden die inneren Parameter der realen Kamera übernommen.
Die Streifenprojektion ist eine Methode zur Vermessung von dreidimensionalen Oberflächen. Dazu wird ein spezieller Aufbau verwendet, bei dem die relativen Positionen des Streifenprojektors und der Kamera genau bekannt sind. Dann wird eine Folge verschiedener Streifenmuster auf das Objekt proj iziert und durch die Kamera aufgenommen. Die Streifen durchschneiden das Objekt in Ebenen, und durch die Positionsbestimmung des bekannten Streifens im Bild der Kamera kann die Schnittebene berechnet werden. Bei entsprechender Dauer der Messung und Entfernung des Objekts vom Meßaufbau kann Genauigkeit in Submilli- meterbereich erzielt werden. Diese Daten können durch Triangulation angenähert werden, so daß die Oberfläche mathematisch bekannt ist und Aufpunkte und Normalenvektoren berechnet werden können.
Durch die Aufnahme des Bildes mit einer CCD und/oder einer CMOS oder sonstig geeigneten Kamera findet eine Diskretisierung statt, so daß eine entsprechende Diskretisierung der Oberfläche ausreichend sein könnte. Durch die Zuordnung von Bildbereichen zu Objekten kann dann wiederum eine Verbesserung der Berechnung erzielt werden. Bei dem nun vorgestellten Verfahren, das an die sogenannte Laser Guide Star Methode angelehnt ist, werden zwei Aufnahmen einer Kalibrierungswand verwendet. Da sowohl der Auf- punkt wie auch die Reflexionsrichtung bzw. der Normalenvektor an der Stelle bestimmt werden müssen, benötigt man mehr als eine Aufnahme. Für jedes Pixel im Bereich der Motorhaube (zO) wird das entsprechende Pixel des korrespondierenden Gegenstands im direkten Sichtbereich gesucht (z) . Nach der Verschiebung der Wand wird dasselbe Pixel zO verwendet und das nun verschobene korrespondierende Pixel zO gesucht. Da die Geometrie und die Entfernung der Kalibrierungswand (a, aO, x, xO) bekannt sind, kann der Aufpunkt (xp, zp) berechnet werden. Die Bestimmung des Normalenvektors ist nicht mehr nötig, da mit dem Aufpunkt und x, a bzw. xO, aO die Reflexionsrichtung im dreidimensionalen Raum direkt berechnet werden kann.
Diese Methode verzichtet komplett auf CAD-Daten oder andere Datenquellen, die abhängig verwendet werden müßten. Neben der Kalibrierung liefert dieser Ansatz auch die geometrischen Informationen, die zur Berechnung der Objektentfernungen benötigt werden.
Die beschriebenen Lösungsansätze zielen in verschiedenen Richtungen, in denen jeweils unterschiedliche Probleme zu lösen sind. In jedem Fall nimmt jedoch die Kamerakalibrierung, also die Bestimmung der Position und Blickrichtung relativ zur Motorhaube, eine wichtige Stellung ein.
Wird eine Rekonstruktion des Bildes im üblichen Sinn durchgeführt, so ist die Wahl des Blickpunktes und der Blickrichtung wichtig. Da nur rotierte Kegelschnitte in Verbindung mit einer entsprechenden Kamera ein katadioptrisches System mit einem einzelnen Blickpunkt liefern, werden bei der Rekonstruktion mit einem gewählten Blickpunkt immer Fehler auftreten. Die Blickrichtung spiegelt sich dabei in der Wahl der Rekonstruktionsebene, als Ebene senkrecht zur Blickrichtung, wider. Selbst die Wahl der Entfernung dieser Rekonstruktionsebene spielt in diesem fehlerbehafteten Ansatz dann eine Rolle. Wird also eine derartige Rekonstruktion verwendet, sind ausführliche Fehlerbetrachtungen nötig. Wird der Ansatz verwendet, daß zuerst die Objekterkennung in geeigneten Suchfenstern durchgeführt und dann für die entsprechende Pixel trianguliert wird, ist die zu erwartende Entfernungsgenauigkeit wesentlich größer, da in diesem Sinne keine Rekonstruktionsfehler auftreten.
Um eine sinnvolle Rekonstruktion der von der Motorhaube reflektierten Bilder vorzunehmen, werden zuvor in zweckmäßiger Weise die Epipolaren der reflektierenden Fläche der Karosserie ermittelt.
Zur Definition einer Epipolaren: Ein Sehstrahl SO geht durch den Brennpunkt F0 einer Kamera KO und eine Punkt PO in der Bildebene der Kamera KO . Der Brennpunkt einer weiteren Kamera Kl, die an einem anderen Ort wie KO ist, hat den Brennpunkt Fl . Die Epipolarebene, die durch Sehstrahl SO und den Brennpunkt Fl definiert ist, schniedet die Bildebene der Kamera 1 entlang der Epipolarkurve Ll . Bei einer Lochkamera ist die Epipolare Ll eine Linie.
Zur Ermittelung der Epipolaren werden vorzugsweise Spiegelungen von Eichgegenständen bekannter Geometrie aufgenommen, die von der Motorhaube einen bekannten Abstand aufweisen. Aus diesen (Eich-) Spiegelungen werden die Epipolaren ermittelt und eine Eichfunktion erstellt, welche später zur Auswertung herangezogen wird.
Die Erfindung ist selbstverständlich nicht auf die Verwendung in einem Kraftfahrzeug beschränkt, sondern kann in naheliegern- der Weise auf andere Anwendungsfelder und -gegenstände, bei welchen spiegelnde Oberflächen vorhanden sind, ausgedehnt werden.

Claims

Patentansprüche
1. Verfahren zur Bilderkennung auf der Grundlage von Stereo- bildverarbeitung, bei dem von einem Gegenstand ausgehende elektromagnetische Wellen von wenigstens einem Sensor sowohl bezüglich ihrer Intensität als auch bezüglich ihrer Richtung aufgenommen, ausgewertet und einer Bildmatrix übergeben werden, d a d u r c h g e k e n n z e i c h n e t / daß die Lage und die Geometrie einer reflektierenden Fläche zu dem Sensor ermittelt wird, daß von dem Sensor das ungestörte Originalbild des Gegenstandes aufgenommen wird, daß zusätzlich Reflexionswellen von dem Gegenstand, welche von der reflektierenden Fläche gespiegelt werden, im folgenden Spiegelbild genannt, aufgenommen wird und daß das Spiegelbild und das Originalbild zur Auswertung herangezogen wird.
2. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , daß die Epipolaren der reflektierenden Fläche ermittelt werden, daß mit Eichgegenständen bekannter Geometrie und bekanntem Abstand die Spiegelungen an den Epipolaren aufgenommen werden und daß daraus eine Eichfunktion erstellt wird, daß die Eichfunktion zur Auswertung herangezogen wird.
3. Verfahren nach Anspruch 2 , d a d u r c h g e k e n n z e i c h n e t , daß die Position des Spiegelbildes im Bezug zu den Epipolaren bestimmt wird und daß die Position des Spiegelbildes zur Bestimmung der Entfernung des Gegenstandes verwendet wird.
4. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß als Sensor eine Stereo-Kamera, insbesondere eine Stereo- CCD-Kamera, gewählt wird.
5. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß als Sensor eine Kamera gewählt wird und daß mit einer Kamera das Originalbild des Gegenstandes sowie die Reflexion an der reflektierenden Fläche und als Referenzbild die Reflexion an einer in bekanntem Abstand von der Kamera angeordneten spiegelnden Fläche bekannter Geometrie, bevorzugt an einer Kugel, aufgenommen wird.
6. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß das Originalbild eines Gegenstandes getrennt von dem Spiegelbild des Gegenstandes ermittelt und ausgewertet wird und daß zwischen dem fertig bearbeiteten Originalbild und dem entsprechend aufbereiteten Spiegelbild korrespondierende Bildpunkte und/oder -ausschnitte ermittelt werden.
7. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , daß mittels korrespondierender Bildpunkte und/oder -flächen eine Triangulation zur Abstandsbestimmung des Gegenstandes durchgeführt wird.
8. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , daß mittels korrespondierender Bildpunkte und/oder -flächen eine Triangulation zur Winkelbestimmung des Gegenstandes durchgeführt wird.
9. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , daß mittels korrespondierender Bildpunkte und/oder -flächen eine Triangulation zur Ortsbestimmung des Gegenstandes durchgeführt wird.
10. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß der Meßbereich der elektromagnetischen Wellen von dem Ultravioletten bis zum FIR, insbesondere zwischen dem Ultravioletten und dem FIR gewählt wird.
11. Verwendung des Verfahrens nach einem der Patentansprüche 1 bis 10 in einem Kraftfahrzeug.
12. Verwendung nach Anspruch 11, dadurch gekennzeichnet, daß die reflektierende Fläche durch einen Teil der Karosserie gebildet wird.
EP02702236A 2001-01-30 2002-01-05 Verfahren zur bilderkennung bei kraftfahrzeugen Withdrawn EP1358444A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10103870A DE10103870B4 (de) 2001-01-30 2001-01-30 Verfahren zur Bilderkennung bei Kraftfahrzeugen
DE10103870 2001-01-30
PCT/EP2002/000056 WO2002061370A1 (de) 2001-01-30 2002-01-05 Verfahren zur bilderkennung bei kraftfahrzeugen

Publications (1)

Publication Number Publication Date
EP1358444A1 true EP1358444A1 (de) 2003-11-05

Family

ID=7672056

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02702236A Withdrawn EP1358444A1 (de) 2001-01-30 2002-01-05 Verfahren zur bilderkennung bei kraftfahrzeugen

Country Status (5)

Country Link
US (1) US20040071316A1 (de)
EP (1) EP1358444A1 (de)
JP (1) JP2004522956A (de)
DE (1) DE10103870B4 (de)
WO (1) WO2002061370A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10201523A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
DE10234645B4 (de) * 2002-07-29 2004-07-22 Daimlerchrysler Ag Kameraanordnung mit einer spiegelnden Fläche
DE10310264A1 (de) * 2003-02-25 2004-09-09 Daimlerchrysler Ag Katadioptrische Kamera für eine technische Einrichtung, insbesondere ein Kraftfahrzeug
DE10310265A1 (de) * 2003-02-25 2004-09-09 Daimlerchrysler Ag Spiegel zur optoelektronischen Umgebungserfassung an einem Fahrzeug
DE10323560B4 (de) * 2003-05-26 2010-12-02 Robert Bosch Gmbh Kamera und Vorrichtung zur Ermittlung der Helligkeit der Umgebung eines Kraftfahrzeuges
DE102006004770B4 (de) * 2005-11-09 2007-10-11 Daimlerchrysler Ag Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
WO2011055418A1 (ja) * 2009-11-09 2011-05-12 トヨタ自動車株式会社 距離測定装置、及び距離測定方法
DE102013226760A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objektreflexionen
JP6433268B2 (ja) * 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
KR102273027B1 (ko) * 2014-06-09 2021-07-05 삼성전자주식회사 위치정보를 사용하여 설정된 관심영역을 사용하여 영상데이터를 생성하는 방법 및 장치
JP2018155565A (ja) * 2017-03-16 2018-10-04 株式会社富士通ゼネラル 画像処理装置
US11062149B2 (en) * 2018-03-02 2021-07-13 Honda Motor Co., Ltd. System and method for recording images reflected from a visor
US12372409B2 (en) * 2020-01-10 2025-07-29 Teledyne Flir Commercial Systems, Inc. Radiometric thermal imaging improvements for navigation systems and methods
EP4067814B1 (de) * 2021-03-29 2025-02-12 Teledyne FLIR Commercial Systems, Inc. Radiometrische thermische bildgebungsverbesserungen für navigationssysteme und verfahren

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517575A (en) * 1991-10-04 1996-05-14 Ladewski; Theodore B. Methods of correcting optically generated errors in an electro-optical gauging system
US5465153A (en) * 1991-10-04 1995-11-07 Kms Fusion, Inc. Electro-optical system for gauging specular surface profile deviations
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
WO1994023647A1 (en) * 1993-04-22 1994-10-27 Pixsys, Inc. System for locating relative positions of objects
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6304263B1 (en) * 1996-06-05 2001-10-16 Hyper3D Corp. Three-dimensional display system: apparatus and method
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
US6212132B1 (en) * 1998-08-04 2001-04-03 Japan Radio Co., Ltd. Three-dimensional radar apparatus and method for displaying three-dimensional radar image
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
US6873724B2 (en) * 2001-08-08 2005-03-29 Mitsubishi Electric Research Laboratories, Inc. Rendering deformable 3D models recovered from videos

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02061370A1 *

Also Published As

Publication number Publication date
US20040071316A1 (en) 2004-04-15
DE10103870A1 (de) 2002-08-22
WO2002061370A1 (de) 2002-08-08
JP2004522956A (ja) 2004-07-29
DE10103870B4 (de) 2004-02-05

Similar Documents

Publication Publication Date Title
DE10103870B4 (de) Verfahren zur Bilderkennung bei Kraftfahrzeugen
EP2002203B1 (de) Verfahren und system zur formmessung einer spiegelnden oberfläche
WO2000063681A2 (de) Bildbearbeitung zur vorbereitung einer texturnalyse
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE112018006164B4 (de) Sichtlinienrichtungskalibrierungsvorrichtung, sichtlinienrichtungskalibrierungsverfahren und sichtlinienrichtungskalibrierungsprogramm
EP4046133B1 (de) Verfahren und vorrichtung zum bestimmen einer kontur einer fassungsnut
DE112015005020B4 (de) Verbesserte objektdetektion unter verwendung von strukturiertem licht
DE102015209391A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
WO2019091688A1 (de) System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug
WO2005080916A1 (de) Vorrichtung und verfahren zur bestimmung von raumkoordinaten eines objekts
EP2031348A1 (de) Vorrichtung für ein spiegelndes Metallband mit einer Inspektionseinheit zum Detektieren von Oberflächendefekten und/oder Vermessen der Oberflächentopographie
DE102014224274B4 (de) Vorrichtung und verfahren zum optischen vermessen von gegenständen mittels spiegelndem fluss und stereo-regularisierung
DE102017210415B4 (de) Verfahren zum Bereitstellen einer Bildmaske für die Abgrenzung einer Interessensregion in einem Kamerabild einer Umfeldkamera eines Kraftfahrzeugs sowie Steuervorrichtung, Umfeldkamera und Kraftfahrzeug
DE102004053416A1 (de) Konzeption einer Kamera mit Spiegeln zur Erzeugung eines Stereobildpaares
DE10117390A1 (de) Vorrichtung zur quantitativen Beurteilung der räumlichen Lage zweier Maschinenteile, Werkstücke oder anderer Gegenstände relativ zueinander
DE102018008209A1 (de) Kalibrierverfahren für einen mobilen Roboter sowie mobiler Roboter
WO2023161083A1 (de) Computerimplementiertes verfahren, computerprogramm, datenverarbeitungssystem und vorrichtung zur bestimmung des reflektanzverhaltens einer oberfläche eines objektes sowie speichermedium mit darauf gespeicherten instruktionen zur bestimmung des reflektanzverhaltens einer oberfläche eines objektes
DE102017105910A1 (de) Frequenzbasierte Projektions-Segmentierung
WO2015149970A1 (de) Verfahren und vorrichtung zum anpassen einer dreidimensionalen projektionsfläche zum projizieren einer mehrzahl benachbarter kamerabilder
EP4070082A1 (de) Verfahren zur beurteilung der qualität lackierter holzoberflächen
DE102005060980A1 (de) Verfahren und System zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung
DE102022123577B4 (de) Verfahren zum Simulieren von Echosignalen einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene
DE10234645B4 (de) Kameraanordnung mit einer spiegelnden Fläche
DE102023106477B4 (de) Verfahren und Vorrichtung zur Bestimmung der Brechkraft eines optisch transparenten Objekts

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030901

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: STEIN, FRIDTJOF

Inventor name: WUERZ-WESSEL, ALEXANDER

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060801