DE102012203092A1 - Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection - Google Patents

Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection Download PDF

Info

Publication number
DE102012203092A1
DE102012203092A1 DE201210203092 DE102012203092A DE102012203092A1 DE 102012203092 A1 DE102012203092 A1 DE 102012203092A1 DE 201210203092 DE201210203092 DE 201210203092 DE 102012203092 A DE102012203092 A DE 102012203092A DE 102012203092 A1 DE102012203092 A1 DE 102012203092A1
Authority
DE
Germany
Prior art keywords
image
image data
planimetric
object type
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210203092
Other languages
German (de)
Inventor
Guenter Bauer
Thomas Reicher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE201210203092 priority Critical patent/DE102012203092A1/en
Publication of DE102012203092A1 publication Critical patent/DE102012203092A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The method involves initializing (S1) the variables for image processing, providing (S3) the image data (PIC-RAW) of an image (P-i), and projecting (S5) the planimetric image data. The availability of a predetermined object type (OT) is determined (S7) depending on the image data of the image. The position (POS) is determined with respect to a planimetric projection of the surrounding detected in the respective image, and a reference index (REFKW) of the object type is determined (S11). The predetermined substitute object is determined (S13) and embedded in a planimetric projection.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung von Bilddaten zumindest eines Bildes, das von zumindest einer Kamera erfasst wird. Insbesondere ist die Kamera an einem Fahrzeug angeordnet.The invention relates to a method and a device for image processing of image data of at least one image, which is detected by at least one camera. In particular, the camera is arranged on a vehicle.

Fahrzeuge werden zunehmend mit einer oder mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel des Fahrzeugs angeordnet sein. Derartige Kameras können den Fahrzeugführer unterstützen in der Wahrnehmung des Außenbereichs des Fahrzeugs.Vehicles are increasingly equipped with one or more cameras, which are mounted outside, ie at the periphery of the vehicle. For example, such a camera can be arranged on an exterior mirror of the vehicle. Such cameras can assist the driver in the perception of the exterior of the vehicle.

Dadurch kann der Fahrzeugführer beispielsweise unterstützt werden bei Ein- und Ausparkvorgängen. Ferner kann er beispielsweise auch bei dem Passieren enger oder unübersichtlicher Passagen unterstützt werden.As a result, the driver can be assisted, for example, during entry and Ausparkvorgängen. Furthermore, it can also be supported, for example, when passing narrow or confusing passages.

Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das beziehungsweise die dazu beiträgt, dass ein zu signalisierendes Bild eine geringe Verzerrung aufweist.The object underlying the invention is to provide a method and a device, which contributes to the fact that an image to be signaled has a low distortion.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.The object is solved by the features of the independent claims. Advantageous embodiments are characterized in the subclaims.

Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Bildverarbeitung von Bilddaten zumindest eines Bildes, das von einer Kamera erfasst wird. Insbesondere ist die Kamera an einem Fahrzeug angeordnet und zwar insbesondere an der Peripherie des Fahrzeugs, um so die Umgebung des Fahrzeugs zu erfassen. Abhängig von den Bilddaten jeweils eines Bildes wird ermittelt, ob zumindest ein vorgegebener Objekttyp vorhanden ist.The invention is characterized by a method and a corresponding device for image processing of image data of at least one image that is captured by a camera. In particular, the camera is arranged on a vehicle, in particular on the periphery of the vehicle, so as to detect the surroundings of the vehicle. Depending on the image data of each image, it is determined whether at least one given object type exists.

Falls der zumindest eine Objekttyp als vorhanden erkannt wurde, wird dessen Position bezüglich einer planimetrischen Projektion der in dem jeweiligen Bild erfassten Umgebung ermittelt und zumindest ein Referenzkennwert des Objekttyps ermittelt. Ferner wird, falls der zumindest eine Objekttyp als vorhanden erkannt wurde, abhängig von dem erkannten Objekttyp, dem zumindest einen Referenzkennwert und der ermittelten Position ein vorgegebenes Stellvertreterobjekt in eine planimetrische Projektion der Bilddaten eingebettet zum Erzeugen von zu signalisierenden Bilddaten.If the at least one object type has been recognized as being present, its position with respect to a planimetric projection of the environment detected in the respective image is determined and at least one reference characteristic value of the object type is determined. Furthermore, if the at least one object type has been recognized as being present, depending on the detected object type, the at least one reference parameter and the determined position, a predetermined representative object is embedded in a planimetric projection of the image data for generating image data to be signaled.

Die planimetrische Projektion ist insbesondere eine Abbildung eines Bildinhalts des jeweiligen Bildes auf eine vorgegebene Ebene in der erfassten Umgebung des jeweiligen Bildes, also eine Abbildung unter der Annahme, dass die erfasste Umgebung des jeweiligen Bildes komplett in der vorgegebenen Ebene liegt, wobei die Abbildung zu einer virtuellen Sicht auf die vorgebene Ebene führt und zwar insbesondere aus einer Vogelperspektive. In dem Fall, in dem die Kamera an einem Fahrzeug angeordnet ist, bezieht sich die planimetrische Projektion insbesondere auf diejenige Ebene, auf der das Fahrzeug sich mit seinen Reifen befindet, also beispielsweise die durch eine Straßenoberfläche gebildete Ebene.The planimetric projection is, in particular, a mapping of an image content of the respective image onto a predefined level in the detected environment of the respective image, ie an image on the assumption that the detected environment of the respective image lies completely in the predefined plane, wherein the image becomes a a virtual view of the given level, especially from a bird's-eye view. In the case where the camera is mounted on a vehicle, the planimetric projection particularly refers to the plane where the vehicle is with its tires, for example, the plane formed by a road surface.

In diesem Zusammenhang wird die Erkenntnis genutzt, dass Objekte, die aus der Ebene der planimetrischen Projektion herausragen, bei einer reinen planimetrischen Projektion der Bilddaten verzerrt in einem durch zu signalisierende Bilddaten signalisierten Bild dargestellt werden. Durch das Einbetten des jeweiligen vorgegebenen Stellvertreterobjekts abhängig von dem erkannten Objekttyp, dem zumindest einen Referenzkennwert und der ermittelten Position kann so eine nahezu verzerrungsfreie Darstellung eines realen Objekts durch das Stellvertreterobjekt erfolgen und so das Objekt besonders einfach wieder erkennbar sein. Darüber hinaus ist so die Bildverarbeitung auf einfache Weise möglich und zwar insbesondere unter Verzicht auf einen eigenen Grafikprozessor, der mit relativ hohen Kosten verbunden ist.In this context, the insight is used that objects that protrude from the plane of the planimetric projection are distorted in a pure planimetric projection of the image data in an image signaled by signaled image data. By embedding the respective predefined representative object depending on the recognized object type, the at least one reference characteristic value and the determined position, an almost distortion-free representation of a real object by the substitute object can take place and the object can thus be particularly easily recognizable again. In addition, the image processing is possible in a simple manner, and in particular waiving its own graphics processor, which is associated with relatively high costs.

Auf diese Weise ist das Signalisieren der in dem jeweiligen Bild erfassten Umgebung durch die zu signalisierenden Bilddaten insbesondere in der Vogelperspektive einfach möglich mit den Stellvertreterobjekten, die verzerrungsfrei signalisiert werden können.In this way, the signaling of the environment detected in the respective image by the image data to be signaled, in particular in bird's-eye view, is simply possible with the representative objects that can be signaled without distortion.

Es ist so nicht erforderlich, Verzerrungen mit hohem Aufwand zu reduzieren. Ferner ist eine kundenwertige Darstellung der Umgebung möglich, insbesondere als so genannter Top-View 3D mit 3D-Rekonstruktion. Es ist somit zu diesem Zweck keine volle 3D-Darstellung notwendig und es kann gegebenenfalls ein Grafikbeschleuniger entfallen.It is not necessary to reduce distortion at high cost. Furthermore, a customer-friendly representation of the environment is possible, in particular as a so-called top view 3D with 3D reconstruction. It is thus not necessary for this purpose, a full 3D representation and it may possibly be omitted a graphics accelerator.

Gemäß einer vorteilhaften Ausgestaltung wird die planimetrische Projektion der Bilddaten des Bildes durch eine Milchglassichtdarstellung überlagert und zwar in zumindest einem vorgegebenen Bereich der planimetrischen Projektion.According to an advantageous embodiment, the planimetric projection of the image data of the image is superimposed by a milk-glass representation in at least one predetermined area of the planimetric projection.

Auf diese Weise können insbesondere das oder die Stellvertreterobjekte in dem zu signalisierenden Bild besonders gut hervorgehoben werden und so die Aufmerksamkeit des Betrachters auf eben diese gelenkt werden.In this way, in particular the one or more representative objects in the image to be signaled can be highlighted particularly well and so the attention of the viewer are directed to just this.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen: Embodiments of the invention are explained in more detail below with reference to the schematic drawings. Show it:

1 ein Fahrzeug mit einer Steuervorrichtung, 1 a vehicle with a control device,

2 ein Ablaufdiagramm eines Programms, das in der Steuervorrichtung abgearbeitet wird, 2 a flow diagram of a program that is executed in the control device,

3 ein signalisiertes Bild mit planimetrisch projizierten Bilddaten, 3 a signalized image with planimetrically projected image data,

4 ein weiteres signalisiertes Bild mit planimetrisch projizierten Bilddaten und eingebetteten Stellvertreterobjekten und 4 another signalized image with planimetrically projected image data and embedded proxy objects and

5 noch ein weiteres signalisiertes Bild mit planimetrisch projizierten Bilddaten und eingebetteten Stellvertreterobjekten und einer Milchglassichtdarstellung. 5 yet another signalized image with planimetrically projected image data and embedded proxy objects and a Milchglassichtdarstellung.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.Elements of the same construction or function are identified across the figures with the same reference numerals.

Ein Fahrzeug 1 (1) weist zumindest eine Kamera auf. Die Kamera ist dazu ausgebildet und angeordnet, zumindest einen Teil einer Umgebung des Fahrzeugs 1 zu erfassen. Sie kann dazu beispielsweise in einem Außenspiegel 2, 3 des Fahrzeugs 1 als erste Kamera 4 oder dritte Kamera 7 angeordnet sein. Sie kann jedoch beispielsweise auch im Heckbereich des Fahrzeugs 1 als zweite Kamera 5 angeordnet sein oder beispielsweise im Frontbereich des Fahrzeugs 1, so zum Beispiel im Bereich des Kühlergrills, als vierte Kamera 9 angeordnet sein. Bei geeigneter Anordnung, insbesondere der ersten bis vierten Kamera 4, 5, 7, 9, kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.A vehicle 1 ( 1 ) has at least one camera. The camera is designed and arranged to at least a part of an environment of the vehicle 1 capture. You can do this, for example, in an exterior mirror 2 . 3 of the vehicle 1 as the first camera 4 or third camera 7 be arranged. It can, however, for example, in the rear of the vehicle 1 as a second camera 5 be arranged or for example in the front of the vehicle 1 For example, in the area of the radiator grille, as the fourth camera 9 be arranged. With a suitable arrangement, in particular the first to fourth camera 4 . 5 . 7 . 9 , can the entire environment of the vehicle 1 , So in particular a panoramic view to be detected.

Das Fahrzeug 1 weist ferner eine Steuervorrichtung 11 auf, die mit der zumindest einen Kamera derart signaltechnisch gekoppelt ist, dass sie Bilddaten PIC_RAW von durch die jeweilige Kamera erfassten Bildern P_i empfangen kann. Darüber hinaus kann die Steuervorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein.The vehicle 1 further comprises a control device 11 which is signal-technically coupled to the at least one camera in such a way that it can receive image data PIC_RAW from images P_i acquired by the respective camera. In addition, the control device 11 even with other sensors that the vehicle 1 are assigned to be signal technically coupled.

Die Steuervorrichtung 11 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist die Steuervorrichtung 11 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist beispielsweise mit einer optischen Ausgabeeinheit. Auf diese Weise kann ein zu signalisierendes Bild mittels zu signalisierender Bilddaten PIC_SIG signalisiert werden und zwar insbesondere einem Fahrzeugführer.The control device 11 has a data and program memory and further comprises a computing unit, in the programs during operation of the vehicle 1 be processed, which are stored in particular in the data and program memory. In addition, the control device 11 preferably has an output interface, via which it is signal-technically coupled, for example with an optical output unit. In this way, an image to be signaled can be signaled by means of image data PIC_SIG to be signaled, specifically to a vehicle driver.

Die Steuervorrichtung 11 kann auch als Vorrichtung zur Bildverarbeitung bezeichnet werden.The control device 11 may also be referred to as an image processing device.

Ein Programm zur Bildverarbeitung, das in der Steuervorrichtung 11 abgearbeitet wird, wird in einem Schritt S1 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.A program for image processing, in the control device 11 is processed is started in a step S1, in which variables can be initialized if necessary.

In einem Schritt S3 werden Bilddaten PIC_RAW eines Bildes P_i, das von der Kamera erfasst wurde, bereitgestellt. Grundsätzlich können in dem Bild P_i beispielsweise Bilddaten PIC_RAW des Bildes P_i bereitgestellt werden, das von der ersten Kamera 4 und/oder zweiten Kamera 5 und/oder dritten Kamera 7 und/oder vierten Kamera 9 erfasst wird. Somit werden in dem Schritt S3 Bilddaten PIC_RAW des Bildes P_i einer der Kameras und/oder jeweils des Bildes P_i mehrere Kameras zur Verfügung gestellt.In a step S3, image data PIC_RAW of an image P_i detected by the camera is provided. In principle, for example, image data PIC_RAW of the image P_i provided by the first camera can be provided in the image P_i 4 and / or second camera 5 and / or third camera 7 and / or fourth camera 9 is detected. Thus, several cameras are provided in step S3 image data PIC_RAW of the image P_i of one of the cameras and / or of the image P_i in each case.

In einem Schritt S5 wird eine planimetrische Projektion der Bilddaten PIC_RAW des jeweiligen Bildes P_i durchgeführt und zwar insbesondere in eine vorgegebene Ebene der in dem jeweiligen Bild P_i erfassten Umgebung. Diese Ebene ist beispielsweise diejenige Ebene, auf der das Fahrzeug mit seinen Reifen steht. In diesem Zusammenhang wird die jeweilige bekannte Verbauposition der jeweiligen Kamera 4, 5, 7, 9 und ihre geometrische Beziehung zu der Ebene genutzt. In diesem Zusammenhang können auch die Bilddaten PIC_RAW mehrerer von den jeweiligen verschiedenen Kameras erfassten Bilder P_i eingesetzt werden zum Erzeugen eines zu signalisierenden Bildes, das beispielsweise eine Rundumsicht um das Fahrzeug 1 repräsentiert.In a step S5, a planimetric projection of the image data PIC_RAW of the respective image P_i is performed, specifically in a predetermined plane of the environment detected in the respective image P_i. This plane is, for example, the plane on which the vehicle is standing with its tires. In this context, the respective known installation position of the respective camera 4 . 5 . 7 . 9 and used their geometric relationship to the plane. In this context, the image data PIC_RAW of a plurality of images P_i captured by the respective different cameras can also be used to generate an image to be signaled, for example an all-round view around the vehicle 1 represents.

Ein derartiges zu signalisierendes Bild ist beispielhaft anhand der 3 dargestellt. In einem Schritt S7 wird abhängig von den Bilddaten PIC_RAW jeweils eines Bildes P_i ermittelt, ob zumindest ein vorgegebener Objekttyp OT vorhanden ist. Zu diesem Zweck können entweder die jeweiligen Bilddaten PIC_RAW direkt untersucht werden oder alternativ auch die planimetrisch projizierten Bilddaten PIC_PLAN.Such an image to be signalized is exemplary based on 3 shown. In a step S7, depending on the image data PIC_RAW, in each case one image P_i is determined as to whether at least one predetermined object type OT is present. For this purpose, either the respective image data PIC_RAW can be examined directly or alternatively also the planimetrically projected image data PIC_PLAN.

Beispielsweise können zu diesem Zweck die Bilddaten PIC_RAW beziehungsweise die planimetrisch projizierten Bilddaten PIC_PLAN auf das Vorhandensein charakteristischer Konturen wie beispielsweise Kanten, Ecken und/oder Kreise und/oder Ellipsoide untersucht werden und so auf den vorgegebenen Objekttyp OT erkannt werden.For example, for this purpose, the image data PIC_RAW or the planimetrically projected image data PIC_PLAN be examined for the presence of characteristic contours such as edges, corners and / or circles and / or ellipsoids and be recognized on the predetermined object type OT.

Im Falle eines Fahrzeugobjekttyps als Objekttyp OT können die Bilddaten PIC_RAW beziehungsweise die planimetrisch projizierten Bilddaten PIC_PLAN auf das Vorhandensein jeweiliger Reifenkonturen untersucht werden und/oder auf das Vorhandensein bestimmter charakteristischer Konturen für Fahrzeuge.In the case of a vehicle object type as object type OT, the image data PIC_RAW or the planimetrically projected image data PIC_PLAN can be examined for the presence of respective tire contours and / or for the presence of certain characteristic contours for vehicles.

Wird in dem Schritt S7 kein vorgegebener Objekttyp OT ermittelt, so wird die Bearbeitung in einem Schritt S9 fortgesetzt. In dem Schritt S9 werden zu signalisierende Bilddaten PIC_SIG abhängig von den planimetrisch projizierten Bilddaten PIC_PLAN ermittelt. Dies kann auch beispielsweise durch direkte Zuordnung erfolgen. Die zu signalisierenden Bilddaten PIC_SIG werden dann an der Ausgabeschnittstelle zur Verfügung gestellt zum Signalisieren des zu signalisierenden Bildes.If no predetermined object type OT is determined in step S7, the processing is continued in a step S9. In step S9, image data PIC_SIG to be signaled are determined as a function of the planimetrically projected image data PIC_PLAN. This can also be done for example by direct assignment. The image data PIC_SIG to be signaled are then made available at the output interface for signaling the image to be signaled.

Falls in dem Schritt S7 zumindest ein vorgegebener Objekttyp OT ermittelt wurde, wird in einem Schritt S11 eine Position POS des vorgegebenen Objekttyps OT bezüglich der planimetrischen Projektion der in dem jeweiligen Bild erfassten Umgebung ermittelt.If at least one predetermined object type OT has been determined in step S7, a position POS of the predetermined object type OT with respect to the planimetric projection of the environment detected in the respective image is determined in a step S11.

So kann unter Nutzung bekannter geometrischer Beziehungen die Position POS des erkannten Objekttyps OT relativ zu der Kameraposition der jeweiligen Kamera ermittelt werden. Dies kann beispielsweise erfolgen bezogen auf einen Bezugspunkt des jeweiligen Objekttyps OT, der sich mit hoher Wahrscheinlichkeit in der Ebene der jeweiligen planimetrischen Projektion befindet. Dies kann beispielsweise im Falle eines Fahrzeugobjekttyps ein Reifen sein und zwar insbesondere der Bereich des Reifens, der in Kontakt mit der Ebene ist, die beispielsweise eine Straße sein kann. Auf diese Weise wird somit die Position POS des vorgegebenen Objekttyps OT ermittelt.Thus, using known geometrical relationships, the position POS of the detected object type OT relative to the camera position of the respective camera can be determined. This can be done for example with respect to a reference point of the respective object type OT, which is located with high probability in the plane of the respective planimetric projection. For example, in the case of a vehicle object type, this may be a tire, specifically the area of the tire that is in contact with the plane, which may be a road, for example. In this way, the position POS of the predetermined object type OT is thus determined.

Ferner wird in dem Schritt S11 zumindest ein Referenzkennwert REFKW des erkannten Objekttyps OT ermittelt. Dieser Referenzkennwert REFKW kann beispielsweise umfassen eine Ausdehnung des Fahrzeugs und/oder eine Fahrzeugfarbe und/oder eine Fahrzeugsilhouette. Dies erfolgt ebenso unter Auswertung der Bilddaten PIC_RAW beziehungsweise der planimetrisch projizierten Bilddaten PIC_PLAN durch Untersuchung der Farbwerte und/oder ein Erkennen auf vorgegebene Konturen.Furthermore, at least one reference characteristic value REFKW of the recognized object type OT is determined in step S11. This reference characteristic value REFKW can include, for example, an extension of the vehicle and / or a vehicle color and / or a vehicle silhouette. This is likewise done by evaluating the image data PIC_RAW or the planimetrically projected image data PIC_PLAN by examining the color values and / or recognizing them for predetermined contours.

In einem Schritt S13 wird dann für jeden erkannten Objekttyp OT ein vorgegebenes Stellvertreterobjekt SVO ermittelt und zwar abhängig von dem erkannten Objekttyp OT, dem zumindest einen Referenzkennwert REFKW und gegebenenfalls auch der ermittelten Position POS. Bevorzugt sind entsprechende Stellvertreterbilddaten für verschiedene Stellvertreterobjekte SVO in dem Daten- und Programmspeicher gespeichert und werden dann zu diesem Zweck abgerufen.In a step S13, a predefined representative object SVO is then determined for each detected object type OT, specifically depending on the identified object type OT, the at least one reference characteristic REFKW and possibly also the determined position POS. Preferably, corresponding proxy image data for various proxy objects SVO are stored in the data and program memory and are then retrieved for this purpose.

Gegebenenfalls erfolgt abhängig von dem zumindest einen Referenzkennwert REFKW noch eine Skalierung in der Darstellung des jeweiligen Stellvertreterobjekts SVO. So kann beispielsweise die Ausdehnung des Stellvertreterobjekts an die erkannte Ausdehnung des erkannten Objekttyps OT angepasst werden. Darüber hinaus kann grundsätzlich auch eine Farbanpassung erfolgen.Optionally, depending on the at least one reference characteristic value REFKW, a scaling is still carried out in the representation of the respective substitute object SVO. For example, the extent of the proxy object can be adapted to the recognized extent of the detected object type OT. In addition, in principle, a color adjustment can take place.

Im Anschluss daran erfolgt eine Einbettung des vorgegebenen Stellvertreterobjekts SVO abhängig von der ermittelten Position POS in die planimetrische Projektion der Bilddaten. Also werden die jeweiligen Stellvertreterbilddaten, die gegebenenfalls wie oben erläutert angepasst wurden, in die jeweiligen planimetrisch projizierten Bilddaten PIC_PLAN eingebettet. Dies kann beispielsweise durch eine Überlagerung erfolgen. Auf diese Weise werden dann zu signalisierende Bilddaten PIC_SIG erzeugt abhängig von den planimetrisch projizierten Bilddaten PIC_PLAN und den entsprechend eingebetteten Stellvertreterbilddaten.Subsequently, the predefined representative object SVO is embedded in the planimetric projection of the image data as a function of the determined position POS. Thus, the respective proxy image data, optionally adjusted as explained above, are embedded in the respective planimetrically projected image data PIC_PLAN. This can be done for example by an overlay. In this way, image data PIC_SIG to be signaled are then generated as a function of the planimetrically projected image data PIC_PLAN and the corresponding embedded representative image data.

Die zu signalisierenden Bilddaten PIC_SIG werden an der Ausgabeschnittstelle zum Signalisieren des zu signalisierenden Bildes bereitgestellt.The image data PIC_SIG to be signaled are provided at the output interface for signaling the image to be signaled.

Optional kann in dem Schritt S13 die planimetrische Projektion der Bilddaten PIC_PLAN durch eine Milchglassichtdarstellung überlagert werden und zwar in zumindest einem vorgegebenen Bereich 23 (siehe 5) der planimetrischen Projektion. In diesem Fall erfolgt somit das Erzeugen der zu signalisierenden Bilddaten PIC_SIG auch abhängig von entsprechenden Milchglasbildwerten oder einer entsprechenden Anpassung der planimetrisch projizierten Bilddaten PIC_PLAN zum Erzeugen einer Milchglassichtdarstellung beim Ermitteln der zu signalisierenden Bilddaten PIC_SIG.Optionally, in step S13, the planimetric projection of the image data PIC_PLAN can be superimposed by a milk-glass representation, specifically in at least one predetermined region 23 (please refer 5 ) of the planimetric projection. In this case, the image data PIC_SIG to be signaled is thus also produced as a function of corresponding milk glass image values or a corresponding adaptation of the planimetrically projected image data PIC_PLAN for generating a milk glass display when determining the image data PIC_SIG to be signaled.

Im Anschluss an den Schritt S13 wird die Bearbeitung, gegebenenfalls nach einer vorgegebenen Wartezeitdauer, erneut in dem Schritt S3 fortgesetzt. Entsprechend wird im Anschluss an den Schritt S9 ebenfalls die Bearbeitung, gegebenenfalls nach der vorgegebenen Wartezeitdauer, in dem Schritt S3 fortgesetzt.Subsequent to step S13, the processing, if appropriate after a predetermined waiting period, is continued again in step S3. Correspondingly, following the step S9, the processing, optionally after the predetermined waiting period, is continued in the step S3.

In der 3 ist das Fahrzeug 1, in dem die Kameras verbaut sind, dargestellt. Die Darstellung des Fahrzeugs 1 erfolgt bevorzugt mittels entsprechend vorgegebener Referenzbilddaten eines jeweiligen Referenzfahrzeugs. In dem Bild ist ersichtlich, dass bei der reinen planimetrischen Projektion der Bilddaten PIC_RAW eine starke Verzerrung in der Umgebung des Fahrzeugs 1 befindlicher herausragender Objekte erfolgt.In the 3 is the vehicle 1 , in which the cameras are installed, shown. The representation of the vehicle 1 is preferably carried out by means of correspondingly predetermined reference image data of a respective reference vehicle. In the picture it can be seen that in the pure planimetric projection of the image data PIC_RAW a strong distortion in the environment of the vehicle 1 located outstanding objects takes place.

So ist hier eine Einparksituation dargestellt mit mehreren benachbarten, parkenden Fahrzeugen.So here is a Einparkituation shown with several neighboring parked vehicles.

Gemäß der 4 sind in dem zu signalisierenden Bild ein erstes bis fünftes Stellvertreterobjekt 13, 15, 17, 19, 21 signalisiert bei der gleichen Szene wie in dem in der 3 signalisierten Bild.According to the 4 are in the signal to be signaled a first to fifth representative object 13 . 15 . 17 . 19 . 21 signaled at the same scene as in the one in the 3 signaled picture.

Bei dem in der 5 signalisierten Bild ist zusätzlich zu der Darstellung gemäß der 4 der vorgegebene Bereich 23 der planimetrischen Projektion mit einer Milchglassichtdarstellung überlagert bezüglich der planimetrisch projizierten Bilddaten PIC_PLAN. Dies führt zu einer deutlichen optischen Hervorhebung der ersten bis fünften Stellvertreterobjekte 13, 15, 17, 19, 21.In the in the 5 Signaled image is in addition to the representation according to the 4 the default range 23 the planimetric projection with a Milchglassichtdarstellung superimposed on the planimetrically projected image data PIC_PLAN. This leads to a clear visual highlighting of the first to fifth proxy objects 13 . 15 . 17 . 19 . 21 ,

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
2, 32, 3
AußenspiegelMirrors
4, 5, 7, 94, 5, 7, 9
Kameracamera
1111
Steuervorrichtungcontrol device
13, 15, 17, 19, 2113, 15, 17, 19, 21
erstes .. fünftes Stellvertreterobjektfirst .. fifth representative object
P_iPi
Bildimage
PIC_RAWPIC_RAW
Bilddatenimage data
OTOT
vorgegebener Objekttypgiven object type
POSPOS
Positionposition
REFKWREFKW
ReferenzkennwertReference characteristic
SVOSVO
Stellvertreterobjektproxy object
PIC_PLANPIC_PLAN
planimetrisch projizierte BilddatenPlanimetrically projected image data
PIC_SIGPIC_SIG
zu signalisierende Bilddatento be signaled image data
2323
vorgegebener Bereich der planimetrischen Projektiongiven area of the planimetric projection

Claims (3)

Verfahren zur Bildverarbeitung von Bilddaten (PIC_RAW) zumindest eines Bildes (P_i), das von zumindest einer Kamera erfasst wird, wobei abhängig von Bilddaten (PIC_RAW) jeweils eines Bildes (P_i) ermittelt wird, ob zumindest ein vorgegebener Objekttyp (OT) vorhanden ist und falls der zumindest eine Objekttyp (OT) als vorhanden erkannt wurde, – dessen Position (POS) bezüglich einer planimetrischen Projektion der in dem jeweiligen Bild erfassten Umgebung ermittelt wird und zumindest ein Referenzkennwert (REFKW) des Objekttyps (OT) ermittelt wird und – abhängig von dem erkannten Objekttyp (OT), dem zumindest einen Referenzkennwert (REFKW) und der ermittelten Position (POS) ein vorgegebenes Stellvertreterobjekt (SVO) in eine planimetrische Projektion der Bilddaten (PIC_RAW) eingebettet wird zum Erzeugen von zu signalisierenden Bilddaten (PIC_SIG).Method for image processing of image data (PIC_RAW) of at least one image (P_i), which is detected by at least one camera, wherein depending on image data (PIC_RAW) in each case one image (P_i) is determined whether at least one predetermined object type (OT) is present and if the at least one object type (OT) was recognized as existing, - whose position (POS) is determined with respect to a planimetric projection of the environment detected in the respective image and at least one reference characteristic value (REFKW) of the object type (OT) is determined, and Depending on the detected object type (OT), the at least one reference characteristic value (REFKW) and the determined position (POS) a predetermined proxy object (SVO) is embedded in a planimetric projection of the image data (PIC_RAW) for generating image data to be signaled (PIC_SIG) , Verfahren nach Anspruch 1, bei dem die planimetrische Projektion der Bilddaten (PIC_RAW) des Bildes (P_i) durch eine Milchglassichtdarstellung überlagert wird und zwar in zumindest einem vorgegebenen Bereich (23) der planimetrischen Projektion.Method according to Claim 1, in which the planimetric projection of the image data (PIC_RAW) of the image (P_i) is superimposed by a milk-glass representation in at least one predetermined region ( 23 ) of the planimetric projection. Vorrichtung zur Bildverarbeitung von Bilddaten (PIC_RAW) zumindest eines Bildes (P_i), das von zumindest einer Kamera erfasst wird, wobei die Vorrichtung dazu ausgebildet ist, abhängig von Bilddaten (PIC_RAW) jeweils eines Bildes (P_i) zu ermitteln, ob zumindest ein vorgegebener Objekttyp (OT) vorhanden ist und falls der zumindest eine Objekttyp (OT) als vorhanden erkannt wurde, – dessen Position (POS) bezüglich einer planimetrischen Projektion der in dem jeweiligen Bild (P_i) erfassten Umgebung ermittelt wird und zumindest ein Referenzkennwert (REFKW) des Objekttyps (OT) ermittelt wird und – abhängig von dem erkannten Objekttyp (OT), dem zumindest einen Referenzkennwert (REFKW) und der ermittelten Position (POS) ein vorgegebenes Stellvertreterobjekt (SVO) in eine planimetrische Projektion der Bilddaten (PIC_RAW) eingebettet wird zum Erzeugen von zu signalisierenden Bilddaten (PIC_SIG).Device for image processing of image data (PIC_RAW) of at least one image (P_i), which is detected by at least one camera, wherein the device is designed to determine depending on image data (PIC_RAW) each of an image (P_i), if at least one predetermined object type (OT) exists and if the at least one object type (OT) was recognized as existing, - whose position (POS) with respect to a planimetric projection of the detected in the respective image (P_i) environment is determined and at least one reference characteristic value (REFKW) of the object type (OT) is determined, and Depending on the detected object type (OT), the at least one reference characteristic value (REFKW) and the determined position (POS) a predetermined proxy object (SVO) is embedded in a planimetric projection of the image data (PIC_RAW) for generating image data to be signaled (PIC_SIG) ,
DE201210203092 2012-02-29 2012-02-29 Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection Pending DE102012203092A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210203092 DE102012203092A1 (en) 2012-02-29 2012-02-29 Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210203092 DE102012203092A1 (en) 2012-02-29 2012-02-29 Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection

Publications (1)

Publication Number Publication Date
DE102012203092A1 true DE102012203092A1 (en) 2013-08-29

Family

ID=48950828

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210203092 Pending DE102012203092A1 (en) 2012-02-29 2012-02-29 Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection

Country Status (1)

Country Link
DE (1) DE102012203092A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094337A2 (en) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. Parking assistance system
EP1179958A1 (en) * 1999-04-16 2002-02-13 Matsushita Electric Industries Co., Ltd. Image processing device and monitoring system
DE10059900A1 (en) * 2000-12-01 2002-06-13 Daimler Chrysler Ag Method for helping a motor vehicle driver by representation of surrounding objects in birds-eye view, so that especially during parking he can better judge distances and see any hidden or moving objects
US20060119472A1 (en) * 2004-11-09 2006-06-08 Shoichi Tsuboi Driving support apparatus and driving support method
JP2006160192A (en) * 2004-12-10 2006-06-22 Alpine Electronics Inc Vehicular drive supporting device
US7176959B2 (en) * 2001-09-07 2007-02-13 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958A1 (en) * 1999-04-16 2002-02-13 Matsushita Electric Industries Co., Ltd. Image processing device and monitoring system
EP1094337A2 (en) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. Parking assistance system
DE10059900A1 (en) * 2000-12-01 2002-06-13 Daimler Chrysler Ag Method for helping a motor vehicle driver by representation of surrounding objects in birds-eye view, so that especially during parking he can better judge distances and see any hidden or moving objects
US7176959B2 (en) * 2001-09-07 2007-02-13 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
US20060119472A1 (en) * 2004-11-09 2006-06-08 Shoichi Tsuboi Driving support apparatus and driving support method
JP2006160192A (en) * 2004-12-10 2006-06-22 Alpine Electronics Inc Vehicular drive supporting device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Englische Maschinenübersetzung des japanischen Patentamts des Dokuments JP 2006-160192 A vom 12.4.2012. *

Similar Documents

Publication Publication Date Title
DE102016216118B4 (en) Object recognition device and stain detection method
US10360460B2 (en) Method and device of lane departure warning and automobile driving assistance system
WO2015048954A1 (en) Method and apparatus for identifying road signs
DE102015111907B4 (en) Algorithm to extend the detection range for an AVM stop line detection
DE102013008451A1 (en) Vehicle parking control system and vehicle parking control method using this
DE102012219810B4 (en) Method and device for image processing of image data
DE102017217072B4 (en) Method for detecting a weather condition in an area surrounding a motor vehicle, and control device and motor vehicle
DE112016003517T5 (en) Apparatus for displaying assistance images for a driver and method thereto
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102013022076A1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
DE102015226116A1 (en) A method of assessing a hazard situation detected by at least one sensor of a vehicle, a method of controlling a replay of a hazard alert, and a method of displaying a hazard alert
DE102017106152A1 (en) Determine an angle of a trailer with optimized template
WO2022128014A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102015007794A1 (en) Method and device for detecting moisture and / or contamination on an outside of a cover of an image sensor
DE112021002598T5 (en) IMAGE PROCESSING DEVICE
WO2013139661A1 (en) Method and device for processing images from image data
DE102012219735A1 (en) Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled
DE102017211887A1 (en) Method and device for locating and automated operation of a vehicle
DE102012215287A1 (en) Method for operating a vehicle
DE102012203092A1 (en) Method for image processing of image data of image detected by camera, involves determining availability of predetermined object type depending on image data of image, where position is determined with respect to planimetric projection
DE112017005670T5 (en) Parking spaces detection device
DE102017214729A1 (en) Method and device for determining a highly accurate position and for operating an automated vehicle
WO2022128013A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE102017116565A1 (en) DETECTION OF VEHICLE LIMITS

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication