EP3477249A1 - Method for shape recognition of an object in an external area of a motor vehicle and motor vehicle - Google Patents

Method for shape recognition of an object in an external area of a motor vehicle and motor vehicle Download PDF

Info

Publication number
EP3477249A1
EP3477249A1 EP18194225.1A EP18194225A EP3477249A1 EP 3477249 A1 EP3477249 A1 EP 3477249A1 EP 18194225 A EP18194225 A EP 18194225A EP 3477249 A1 EP3477249 A1 EP 3477249A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
scan line
image
profile
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP18194225.1A
Other languages
German (de)
French (fr)
Other versions
EP3477249B1 (en
Inventor
Dennis Loeben
Christoph ERFURTH
Marek Musial
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3477249A1 publication Critical patent/EP3477249A1/en
Application granted granted Critical
Publication of EP3477249B1 publication Critical patent/EP3477249B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the invention relates to a method for measuring an object in an exterior of a motor vehicle.
  • the measurement is carried out optically by means of a camera, while the motor vehicle is moved relative to the object.
  • the invention also includes a control device for carrying out the method and a motor vehicle with the control device according to the invention.
  • An example of such maneuvering is the coupling of a trailer to a motor vehicle.
  • the spatial position of the trailer hitch must be known.
  • a method for determining a relative movement between a motor vehicle and an object in an exterior area of the motor vehicle on the basis of an optical flow, which is formed from a sequence of images of a camera.
  • a shape recognition of the object is not provided here.
  • the invention has for its object to recognize from a motor vehicle from a shape of an object that is located in an exterior of a motor vehicle.
  • the invention provides a method for detecting the shape of an object in an exterior area of a motor vehicle.
  • the method is performed while the motor vehicle is moving relative to the object.
  • a control device of the motor vehicle in each case an image is generated by means of a camera for at least two different measuring times.
  • the picture shows the object against a background of the outdoor area.
  • a scan line is an imaginary line in the image along which pixel values of individual pixels of the image are viewed or analyzed.
  • a corresponding scan line is defined in each other of the images.
  • Each corresponding scan line has the same course in the respective image as the associated scan line of the first image with which it corresponds.
  • a corresponding scan line thus has the same shape as the associated scan line.
  • a profile resulting along the scan line is determined for a predetermined image characteristic, for example the pixel brightness or color values of the pixels.
  • a corresponding corresponding profile is determined accordingly. Every profile So describes the respective course of the image property, so for example, the pixel brightness or the color values of the pixels, along the respective scan line.
  • at least one characteristic area of the scan line is determined on the basis of the profile of the scan line.
  • a characteristic region is a profile section having a predetermined characteristic shape.
  • An example of such a characteristic region may be a maximum or a double peak in the course of the profile.
  • Such a characteristic area can be recognized in a corresponding scan line.
  • the at least one characteristic region in the respective corresponding profile is recognized.
  • at least one characteristic region of the profile of this scan line is determined, and the at least one characteristic region in the respective corresponding profile is recognized by comparing the profile with the respective corresponding profile of each other image. It can now be seen where in the profile and the corresponding profile, the characteristic area is located in each case. You can see how far they are shifted against each other. For each characteristic area of the profile of each scan line, a displacement width of the characteristic area along the respective scan line resulting between the measurement times is then determined.
  • the invention provides the advantage that on the basis of camera images of a camera without prior knowledge of the object whose shape can be detected.
  • the method can be implemented with little additional component complexity and Verschaltungsetzwand in a motor vehicle.
  • the invention also includes embodiments that provide additional benefits.
  • One embodiment provides that for discriminating between object and background each characteristic area of the profile of each scan line is dependent on its Move height is assigned to a height value and thereby a height profile is generated along each scan line. Based on the respective height profile, a distinction is made between object and background along each scan line. This has the advantage that a surface profile of the object is also determined (height profile in the region of the object).
  • the predetermined image characteristic on the basis of which the respective profile is formed along each scan line, comprises a color value and / or a contrast value and / or an edge detection value of an image content of the image.
  • an edge detection value may be formed based on a local derivative, such as may be formed as the difference in brightness values of adjacent pixels of the image.
  • a local derivative such as may be formed as the difference in brightness values of adjacent pixels of the image.
  • those pixels are used which are arranged along the scan line.
  • the said image properties have the advantage that they can visually distinguish between object and background.
  • the characteristic regions are determined by means of a predetermined feature detection, which identifies at least one predetermined, characteristic pattern in the respective profile as a characteristic region.
  • a characteristic pattern may be, for example, a local maximum or a local minimum. It can also be provided to require such a local maximum or local minimum with a predetermined minimum value, that is, for example, a predetermined minimum height or minimum depth, so that a characteristic area is identified.
  • the embodiment has the advantage that at least one characteristic area can be identified automatically in a profile.
  • the scan lines and the corresponding scan lines have a profile which corresponds to an image of a beam which extends virtually in the outside area three-dimensionally at a predetermined height straight away from the motor vehicle.
  • the predetermined height is preferably an expected or known height of the object. This reduces the likelihood that the component will come to lie on different scan lines between two images.
  • an embodiment provides that the shape of the scan lines is set as a function of a steering angle of the motor vehicle.
  • the shape of the scan lines is set as a function of a steering angle of the motor vehicle.
  • An embodiment provides that the background of a driving surface of the motor vehicle is detected as the background.
  • the camera is oriented in such a way that its detection area is directed onto the object from above.
  • the background is then the driving surface of the motor vehicle.
  • One embodiment provides that in the height profiles all those sections whose height value lies within a predetermined value interval are assigned to the object. This results in a segmentation which additionally gives a surface description or description of the shape of the object.
  • the object can be measured or at least one shape or width of the object can be detected or described.
  • One embodiment provides that the height profiles of the scan line are combined to form a two-dimensional height map. In other words, we eliminate the line structure by interpolating height values between the scan lines. This results in a flat elevation map. This embodiment has the advantage that a height value is defined for each point of the two-dimensional surface.
  • the invention also provides a control device for a motor vehicle.
  • the control device can be designed as a control unit of the motor vehicle.
  • the control device has a computing device which is set up to carry out an embodiment of the method according to the invention.
  • the computing device may comprise a program code which, when executed by the computing device, carries out the embodiment of the method.
  • the program code can be stored in a data memory of the computing device.
  • the invention also includes the combinations of the described embodiments.
  • the exemplary embodiment explained below is a preferred embodiment of the invention.
  • the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention.
  • the described embodiment can also be supplemented by further features of the invention already described.
  • Fig. 1 shows a motor vehicle 10, which may be a motor vehicle, in particular a passenger car or truck.
  • the motor vehicle 10 may include a camera 11, which may be, for example, a video camera or still camera.
  • the camera 11 may be a rear-view camera of the motor vehicle 10.
  • a control device 12 of the motor vehicle 10 is shown.
  • the control device 12 may be formed, for example, by a control unit of the motor vehicle 10.
  • a detection area 13 of the camera 11 can be aligned in an outer area 14 of the motor vehicle 10, for example in a rear area behind the motor vehicle 10, that is at the rear of the motor vehicle 10.
  • an object 15 can thus be detected in the outer area 14 ,
  • the object 15 may be a trailer drawbar of a trailer 16.
  • the trailer 16 is to be transported with the motor vehicle 10.
  • the motor vehicle 10 is moved relative to the object 15, that is, there is an approximation 17 of the motor vehicle 10 to the object 15.
  • the motor vehicle 10 are brought into such a relative position to the object 15, that the object 15 with a trailer hitch 18 of the motor vehicle 10 can be connected without the object 15 has to be moved or rolled.
  • a shape or dimension 19 of the object 15 can be determined and signaled by the control device 12.
  • Fig. 2 1 illustrates a method 20 that can be performed by the control device 12 for determining the shape and / or dimension 19 of the object 15.
  • a step S10 during the approach 17 by the control device 12 by means of the camera 11 at two different measurement times T0, T1, respectively one camera image or short image 21, 22 of the object 15 can be generated or recorded in front of a background 15 '.
  • the background 15 ' may be a driving background in the illustrated orientation of the detection area 13 of the camera 11.
  • Fig. 3 shows an exemplary image 21, as it may have been generated with the camera 11.
  • a step S11 the control device 12 in a first of the images, here by way of example the image 21, at least one scan line 23 can be defined or defined.
  • Scan line 23 may correspond to the image of a beam 21 '(see Fig. 1 ), which extends straight away from the motor vehicle at a height He.
  • the height He may be a known height of the object 15.
  • the same scan lines 23 can be defined. They thus represent corresponding scan lines to the scan lines 23 of the image 21.
  • a profile 25 resulting along the scan line is formed to form a predetermined image characteristic 24, as shown by way of example in FIG Fig. 4 is illustrated.
  • Fig. 4 illustrates along an axis 26, which corresponds to the course of a scan line 23 of the image 21, the resulting profile 25 to an image characteristic 24, which represents the value of an edge detection.
  • the difference of the brightness values of adjacent pixels along the scan line 23 can be calculated for each point of the profile 25.
  • Fig. 4 illustrates further, as for the image 22, so for the measurement time point T1, for the corresponding scan line in the image 22, a corresponding profile 27 can be determined based on the image characteristic 24.
  • a displacement width D0, D1, D2, D3 of the respective characteristic region 29 resulting between the measurement times T0 and T1 along the respective scan line 23 can now be determined.
  • the Verschieweweite D0, D1, D2, D3 depends on the one hand on the range of movement of the motor vehicle 10 during the approach 17 between the two measurement times T0, T1 and the other by the distance of the image content shown in the characteristic region 29 to the camera 11. By the different distances of the image contents results in the effect of parallax, that is, depending on the distance of the respective image content to the camera 11 results in a different displacement width D0, D1, D2, D3.
  • a step S14 along each scan line 23, depending on the determined displacement distance D0, D1, D2, D3 of each characteristic region 29 of the profile 25, the profile 25 can now be determined respective scan line 23 between the object 15 and the background 15 '.
  • a segmentation criterion 31 can be used which, for example, provides for a comparison of the respective displacement widths D0, D1, D2, D3 with an expected displacement width De, which results from the known height He of the object 15.
  • the comparison may in this case provide for a tolerance interval within which an identity of the respective displacement-side D0, D1, D2, D3 is detected or signaled for the expected displacement-wide De.
  • Fig. 3 illustrates how along a scan line 23, a segmentation 32 in two segments 33, 34 can be made.
  • the segment 33 may describe a portion of a scan line 23 associated with the object 15.
  • the segment 34 may describe a portion of a scan line 23 associated with the background 15 '.
  • the dimension and / or shape 19 can be signaled in the motor vehicle of a further component, for example a driver assistance system, which brings the motor vehicle 10 autonomously or automatically to the object 15.
  • a driver assistance system which brings the motor vehicle 10 autonomously or automatically to the object 15.
  • the control device 12 performs an analysis of the movement in the individual images 21, 22, taking into account the vehicle movement in the approach 17.
  • Individual image areas of the images 21, 22 are assigned to the background 15 '(for example the driving surface or the ground plane) on the one hand and the object 15 of known height He on the other hand.
  • the image areas are represented in the form of scan lines 23. These correspond in the three-dimensional space 23 'which run in the known height He of the object 15 and whose shape is projected or imaged as scan lines 23 in the respective image 21, 22.
  • These scan lines 23 are via temporally adjacent images 21, 22 in With respect to its image property 24, for example, analyzed by means of an edge detection function.
  • each scan line 23 It is checked which parts or segments 33, 34 of each scan line 23 correspond to the expected object movement according to the expected displacement distance De (gives assignment to the object 15) and which contradict the assumption (corresponds to assignment to the background 15 ').
  • This allows for a sufficient number of scan lines 23 (eg more than 5, in particular more than 10), a segmentation 32, which can be used for a determination of the outer shape of the object 15. For a precise and obstacle-free approach or approach 17 to the object 15 is possible.
  • the presented approach provides recognition of the external shape of the object 15 and recognition of an object geometry by analysis of an image property, for example an edge function, whereby a collision of the motor vehicle 10 with the object 15 can be prevented and an approach to a target position can be performed.
  • an image property for example an edge function
  • the object 15 may in this case be a trailer drawbar of a trailer 16, on whose trailer claw the motor vehicle 10 is to be coupled or docked.
  • the trailer hitch 18 (trailer coupling device) can be positioned under the trailer claw, which defines the target position.
  • the real target position may provide an offset or offset, namely half the diameter of the coupling dome of the trailer claw to the described closest point of the object 15 to the motor vehicle 10.

Abstract

Die Erfindung betrifft ein Verfahren zur Formerkennung eines Objekts (15) in einem Außenbereich (14) eines Kraftfahrzeugs (10), wobei zu zumindest zwei unterschiedlichen Messzeitpunkten (T0, T1) jeweils ein Bild (21, 22) erzeugt wird und in einem ersten der Bilder (21) zumindest eine Scanlinie (23) und in jedem anderen der Bilder (22) eine korrespondierende Scanlinie festgelegt wird und zu jeder Scanlinie (23) des ersten Bilds (21) ein sich entlang der Scanlinie (23) ergebendes Profil (25) und entlang der jeweils korrespondierenden Scanlinie jedes anderen Bilds ein sich ergebendes korrespondierendes Profil (27) ermittelt wird und durch Vergleichen des Profils (25) jeder Scanlinie (23) des ersten Bilds (21) mit dem jeweils korrespondierenden Profil (27) jedes anderen Bilds (22) eine sich zwischen den Messzeitpunkten (T0, T1) ergebende jeweilige Verschiebeweite (D0...D3) charakteristischer Bereiche (29) ermittelt wird und in Abhängigkeit von der ermittelten Verschiebeweite (D0...D3) jedes charakteristischen Bereichs (29) zwischen Objekt (15) und Hintergrund (15') unterschieden wird.

Figure imgaf001
The invention relates to a method for detecting the shape of an object (15) in an outer region (14) of a motor vehicle (10), wherein in each case one image (21, 22) is generated for at least two different measurement times (T0, T1) and in a first one of Images (21) at least one scan line (23) and in each other of the images (22) a corresponding scan line is set and to each scan line (23) of the first image (21) along the scan line (23) resulting profile (25) and a corresponding corresponding profile (27) is determined along the respective corresponding scan line of each other image and by comparing the profile (25) of each scan line (23) of the first image (21) with the respective corresponding profile (27) of each other image ( 22) a respective displacement distance (D0... D3) of characteristic areas (29) resulting between the measurement times (T0, T1) is determined and depending on the determined displacement distance (D0 ... D3) of the characteristic region (29) between object (15) and background (15 ').
Figure imgaf001

Description

Die Erfindung betrifft ein Verfahren zum Vermessen eines Objekts in einem Außenbereich eines Kraftfahrzeugs. Das Vermessen erfolgt optisch mittels einer Kamera, während das Kraftfahrzeug relativ zu dem Objekt bewegt wird. Zu der Erfindung gehören auch eine Steuervorrichtung zum Durchführen des Verfahrens sowie ein Kraftfahrzeug mit der erfindungsgemäßen Steuervorrichtung.The invention relates to a method for measuring an object in an exterior of a motor vehicle. The measurement is carried out optically by means of a camera, while the motor vehicle is moved relative to the object. The invention also includes a control device for carrying out the method and a motor vehicle with the control device according to the invention.

Möchte man ein Kraftfahrzeug relativ zu einem Objekt manövrieren und/oder das Objekt mit dem Kraftfahrzeug verbinden oder an das Kraftfahrzeug ankuppeln, so ist es vorteilhaft, die Abmessungen oder die Geometrie des Objekts zu kennen. Dies ist insbesondere dann der Fall, wenn das Manövrieren des Kraftfahrzeugs automatisiert erfolgen soll, das heißt ohne ein Zutun eines Fahrers durch eine Steuervorrichtung vorgenommen wird.If one wishes to maneuver a motor vehicle relative to an object and / or connect the object to the motor vehicle or couple it to the motor vehicle, it is advantageous to know the dimensions or the geometry of the object. This is the case in particular if the maneuvering of the motor vehicle is to take place automatically, that is to say without the intervention of a driver by a control device.

Ein Beispiel für ein solches Manövrieren ist das Ankuppeln eines Anhängers an ein Kraftfahrzeug. Um die Anhängerkupplung des Kraftfahrzeugs an die Deichsel des Anhängers anzunähern und in einer vorbestimmten Zielposition oder Ankuppelposition zu positionieren, muss die räumliche Lage der Anhängerkupplung bekannt sein.An example of such maneuvering is the coupling of a trailer to a motor vehicle. In order to approach the trailer hitch of the motor vehicle to the drawbar of the trailer and to position in a predetermined target position or Ankuppelposition, the spatial position of the trailer hitch must be known.

Aus der EP 3 081 405 A2 ist hierzu bekannt, während der Annäherung des Kraftfahrzeugs an die Anhängerdeichsel die Relativposition mittels eines Markers zu ermitteln, der die Lage der Anhängerdeichsel kenntlich macht. Dieser Marker kann beispielsweise GPS-Koordinaten der Anhängerdeichsel signalisieren. Des Weiteren ist angedacht, die Anhängerdeichsel mittels einer Kamera oder eines anderen Sensors, beispielsweise eines Radars, zu orten. Ein genauer Algorithmus für die optische Ortung ist nicht beschrieben. Das Verwenden eines Markers ist dahingehend nachteilig, dass für einen Anhänger ein solcher Marker bereitgestellt werden muss, was diese Lösung kostspielig macht.From the EP 3 081 405 A2 This is known, during the approach of the motor vehicle to the trailer drawbar to determine the relative position by means of a marker, which makes the position of the trailer drawbar recognizable. This marker can for example signal GPS coordinates of the trailer tongue. Furthermore, it is envisaged to locate the trailer drawbar by means of a camera or another sensor, for example a radar. A precise algorithm for the optical positioning is not described. Using a marker is disadvantageous in that a tag needs to be provided for a tag, which makes this solution expensive.

Aus der WO 2016/155919 A1 ist bekannt, eine Kamera zu verwenden, um eine Anhängerdeichsel zu lokalisieren. In Kamerabildern der Kamera wird hierbei die Form der Anhängerdeichsel wiedererkannt. Hierbei ist es erforderlich, dass die Geometrie der Anhängerdeichsel in dem Kraftfahrzeug in einer Datenbibliothek gespeichert ist, damit sie dann in Kamerabildern wiedererkannt werden kann. Dies macht es aber erforderlich, zu jedem Anhänger, der an das Kraftfahrzeug angekuppelt werden können soll, in der Datenbibliothek die passenden Geometriedaten bereitzustellen.From the WO 2016/155919 A1 It is known to use a camera to locate a trailer drawbar. In camera images of the camera here the shape of the trailer drawbar is recognized. In this case, it is necessary that the geometry of the trailer drawbar in the motor vehicle is stored in a data library so that it can then be recognized in camera images. But that makes it necessary, too Any trailer that can be coupled to the motor vehicle to provide the appropriate geometry data in the data library.

Aus der GB 2513393 A ist bekannt, mittels einer Bildverarbeitung auf der Grundlage von Kamerabildern eine Relativlage eines Anhängers bezüglich eines Kraftfahrzeugs zu ermitteln. Auch hier muss die Geometrie des Anhängers zuvor mittels einer Datei mit Geometriedaten dem Kraftfahrzeug bekannt gemacht werden.From the GB 2513393 A It is known to determine a relative position of a trailer with respect to a motor vehicle by means of an image processing on the basis of camera images. Again, the geometry of the trailer must be previously made known to the motor vehicle by means of a file with geometric data.

Aus der WO 2012/080044 A1 ist ein Verfahren bekannt, um eine Relativbewegung zwischen einem Kraftfahrzeug und einem Objekt in einem Außenbereich des Kraftfahrzeugs auf der Grundlage eines optischen Flusses zu ermitteln, der aus einer Bildsequenz einer Kamera gebildet wird. Eine Formerkennung des Objekts ist hierbei nicht vorgesehen.From the WO 2012/080044 A1 For example, a method is known for determining a relative movement between a motor vehicle and an object in an exterior area of the motor vehicle on the basis of an optical flow, which is formed from a sequence of images of a camera. A shape recognition of the object is not provided here.

Der Erfindung liegt die Aufgabe zugrunde, von einem Kraftfahrzeug aus eine Form eines Objekts zu erkennen, dass sich in einem Außenbereich eines Kraftfahrzeugs befindet.The invention has for its object to recognize from a motor vehicle from a shape of an object that is located in an exterior of a motor vehicle.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren gegeben.The object is solved by the subject matters of the independent claims. Advantageous embodiments of the invention are given by the dependent claims, the following description and the figures.

Durch die Erfindung ist ein Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs bereitgestellt. Das Verfahren wird durchgeführt, während sich das Kraftfahrzeug relativ zu dem Objekt bewegt. Durch eine Steuervorrichtung des Kraftfahrzeugs wird hierbei mittels einer Kamera zu zumindest zwei unterschiedlichen Messzeitpunkten jeweils ein Bild erzeugt. Das Bild zeigt das Objekt vor einem Hintergrund des Außenbereichs. In einem ersten der Bilder wird zumindest eine Abtastlinie oder Scanlinie festgelegt. Eine Scanlinie ist eine gedachte Linie in dem Bild, entlang welcher Pixelwerte einzelner Pixel des Bildes betrachtet oder analysiert werden. Zu jeder Scanlinie wird in jedem anderen der Bilder eine korrespondierende Scanlinie festgelegt. Jede korrespondierende Scanlinie weist den gleichen Verlauf in dem jeweiligen Bild auf wie die zugehörige Scanlinie des ersten Bildes, mit welcher sie korrespondiert. Eine korrespondierende Scanlinie weist also die gleiche Form wie die zugehörige Scanlinie auf.The invention provides a method for detecting the shape of an object in an exterior area of a motor vehicle. The method is performed while the motor vehicle is moving relative to the object. By a control device of the motor vehicle, in each case an image is generated by means of a camera for at least two different measuring times. The picture shows the object against a background of the outdoor area. In a first of the images, at least one scan line or scan line is determined. A scan line is an imaginary line in the image along which pixel values of individual pixels of the image are viewed or analyzed. For each scan line, a corresponding scan line is defined in each other of the images. Each corresponding scan line has the same course in the respective image as the associated scan line of the first image with which it corresponds. A corresponding scan line thus has the same shape as the associated scan line.

Zu jeder Scanlinie des ersten Bilds wird zu einer vorbestimmten Bildeigenschaft, beispielsweise der Pixelhelligkeit oder Farbewerte der Pixel, ein sich entlang der Scanlinie ergebendes Profil ermittelt. Entlang der jeweils korrespondierenden Scanlinie jedes anderen Bilds wird entsprechend ein sich ergebendes korrespondierendes Profil ermittelt. Jedes Profil beschreibt also den jeweiligen Verlauf der Bildeigenschaft, also beispielsweise der Pixelhelligkeit oder der Farbewerte der Pixel, entlang der jeweiligen Scanlinie. Für jede Scanlinie des ersten Bilds wird anhand des Profils der Scanlinie zumindest ein charakteristischer Bereich der Scanlinie ermittelt. Ein solcher charakteristischer Bereich ist ein Profilabschnitt mit einer vorbestimmten charakteristischen Form. Ein Beispiel für so einen charakteristischen Bereich kann ein Maximum oder eine Doppelspitze im Verlauf des Profils sein. Ein solcher charakteristischer Bereich kann in einer korrespondierenden Scanlinie wiedererkannt werden. Entsprechend wird durch Vergleichen des Profils jeder Scanlinie des ersten Bilds mit dem jeweils korrespondierenden Profil jedes anderen Bilds der zumindest eine charakteristische Bereich in dem jeweils korrespondierenden Profil wiedererkannt. Mit anderen Worten wird also für jede Scanlinie des ersten Bilds zumindest ein charakteristischer Bereich des Profils dieser Scanlinie ermittelt und durch Vergleichen des Profils mit dem jeweiligen korrespondierenden Profil jedes anderen Bilds der zumindest eine charakteristische Bereich in dem jeweils korrespondierenden Profil wiedererkannt. Man kann nun erkennen, wo in dem Profil und dem korrespondierenden Profil sich der charakteristische Bereich jeweils befindet. Man kann erkennen, wie weit sie gegeneinander verschoben sind. Für jeden charakteristischen Bereich des Profils jeder Scanlinie wird dann eine sich zwischen den Messzeitpunkten ergebende Verschiebeweite des charakteristischen Bereichs entlang der jeweiligen Scanlinie ermittelt. Man überprüft oder erkennt also, wie weit der charakteristische Bereich sich aufgrund der relativen Bewegung des Kraftfahrzeugs zum Objekt in dem Bild entlang der jeweiligen Scanlinie verschoben hat. Diese Verschiebung ist abhängig von dem Abstand des jeweiligen Bildinhalts (Objekt oder Hintergrund) zu der Kamera. Dieser Effekt wird auch als Parallaxe bezeichnet. Entsprechend wird entlang jeder Scanlinie in Abhängigkeit von der ermittelten Verschiebeweite jedes charakteristischen Bereichs des Profils der Scanlinie zwischen Objekt und Hintergrund unterschieden. Eine solche Unterscheidung wird auch als Segmentierung bezeichnet. Die Segmentierung wird hier rein optisch auf der Grundlage von zumindest zwei Bildern der Kamera durchgeführt.For each scan line of the first image, a profile resulting along the scan line is determined for a predetermined image characteristic, for example the pixel brightness or color values of the pixels. Along the respective corresponding scan line of each other image, a corresponding corresponding profile is determined accordingly. Every profile So describes the respective course of the image property, so for example, the pixel brightness or the color values of the pixels, along the respective scan line. For each scan line of the first image, at least one characteristic area of the scan line is determined on the basis of the profile of the scan line. Such a characteristic region is a profile section having a predetermined characteristic shape. An example of such a characteristic region may be a maximum or a double peak in the course of the profile. Such a characteristic area can be recognized in a corresponding scan line. Accordingly, by comparing the profile of each scan line of the first image with the respective corresponding profile of each other image, the at least one characteristic region in the respective corresponding profile is recognized. In other words, for each scan line of the first image, at least one characteristic region of the profile of this scan line is determined, and the at least one characteristic region in the respective corresponding profile is recognized by comparing the profile with the respective corresponding profile of each other image. It can now be seen where in the profile and the corresponding profile, the characteristic area is located in each case. You can see how far they are shifted against each other. For each characteristic area of the profile of each scan line, a displacement width of the characteristic area along the respective scan line resulting between the measurement times is then determined. Thus, one checks or recognizes how far the characteristic region has shifted along the respective scan line due to the relative movement of the motor vehicle relative to the object in the image. This shift depends on the distance of the respective image content (object or background) to the camera. This effect is also called parallax. Accordingly, a distinction is made along each scan line as a function of the determined displacement width of each characteristic region of the profile of the scan line between the object and the background. Such a distinction is also called segmentation. The segmentation is carried out purely optically on the basis of at least two images of the camera.

Durch die Erfindung ergibt sich der Vorteil, dass auf der Grundlage von Kamerabildern einer Kamera ohne Vorkenntnis über das Objekt dessen Form erkannt werden kann. Somit lässt sich das Verfahren mit geringem zusätzlichen Bauteilaufwand und Verschaltungsaufwand in einem Kraftfahrzeug realisieren.The invention provides the advantage that on the basis of camera images of a camera without prior knowledge of the object whose shape can be detected. Thus, the method can be implemented with little additional component complexity and Verschaltungsaufwand in a motor vehicle.

Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments that provide additional benefits.

Eine Ausführungsform sieht vor, dass zum Unterscheiden zwischen Objekt und Hintergrund jedem charakteristischen Bereich des Profils jeder Scanlinie in Abhängigkeit von seiner Verschiebeweite ein Höhenwert zugeordnet wird und hierdurch entlang jeder Scanlinie ein Höhenprofil erzeugt wird. Anhand des jeweiligen Höhenprofils wird dann entlang jeder Scanlinie zwischen Objekt und Hintergrund unterschieden. Hierdurch ergibt sich der Vorteil, dass auch ein Oberflächenprofil des Objekts ermittelt wird (Höhenprofil im Bereich des Objekts).One embodiment provides that for discriminating between object and background each characteristic area of the profile of each scan line is dependent on its Move height is assigned to a height value and thereby a height profile is generated along each scan line. Based on the respective height profile, a distinction is made between object and background along each scan line. This has the advantage that a surface profile of the object is also determined (height profile in the region of the object).

Eine Ausführungsform sieht vor, dass die vorbestimmte Bildeigenschaft, auf deren Grundlage des jeweiligen Profil entlang jeder Scanlinie gebildet wird, einen Farbwert und/oder einen Kontrastwert und/oder einen Kantendetektionswert eines Bildinhalts des Bildes umfasst. Ein Kantendetektionswert kann beispielsweise auf der Grundlage einer örtlichen Ableitung gebildet werden, wie er beispielsweise als Differenz der Helligkeitswerte benachbarter Pixel des Bildes gebildet werden kann. Es werden hierbei natürlich zum Ermitteln des Profils diejenigen Pixel verwendet, die entlang der Scanlinie angeordnet sind. Die besagten Bildeigenschaften weisen den Vorteil auf, dass mit ihnen optisch zwischen Objekt und Hintergrund unterschieden werden kann.An embodiment provides that the predetermined image characteristic, on the basis of which the respective profile is formed along each scan line, comprises a color value and / or a contrast value and / or an edge detection value of an image content of the image. For example, an edge detection value may be formed based on a local derivative, such as may be formed as the difference in brightness values of adjacent pixels of the image. Of course, to determine the profile, those pixels are used which are arranged along the scan line. The said image properties have the advantage that they can visually distinguish between object and background.

Eine Ausführungsform sieht vor, dass die charakteristischen Bereiche mittels einer vorbestimmten Merkmalsdetektion festgelegt werden, welche zumindest ein vorbestimmtes, charakteristisches Muster in dem jeweiligen Profil als charakteristischen Bereich identifiziert. Ein solches charakteristisches Muster kann beispielsweise ein lokales Maximum oder ein lokales Minimum sein. Es kann auch vorgesehen sein, ein solches lokales Maximum oder lokales Minimum mit einer vorbestimmten Mindestausprägung, also beispielsweise einer vorbestimmten Mindesthöhe oder Mindesttiefe zu fordern, damit ein charakteristischer Bereich identifiziert wird. Die Ausführungsform weist den Vorteil auf, dass in einem Profil automatisiert zumindest ein charakteristischer Bereich identifiziert werden kann.One embodiment provides that the characteristic regions are determined by means of a predetermined feature detection, which identifies at least one predetermined, characteristic pattern in the respective profile as a characteristic region. Such a characteristic pattern may be, for example, a local maximum or a local minimum. It can also be provided to require such a local maximum or local minimum with a predetermined minimum value, that is, for example, a predetermined minimum height or minimum depth, so that a characteristic area is identified. The embodiment has the advantage that at least one characteristic area can be identified automatically in a profile.

Eine Ausführungsform sieht vor, dass die Scanlinien und die korrespondierenden Scanlinien einen Verlauf aufweisen, welcher einem Abbild eines Strahls entspricht, der sich virtuell in dem Außenbereich dreidimensional in einer vorbestimmten Höhe gerade von dem Kraftfahrzeug weg erstreckt. Hierdurch ergibt sich der Vorteil, dass eine Komponente des Objekts, die in dem ersten Bild auf einer ersten bestimmten Scanlinie liegt, bei einer Bewegung des Kraftfahrzeugs auf einer korrespondierenden Scanlinie eines anderen Bildes zu liegen kommt. Die vorbestimmte Höhe ist hierbei bevorzugt eine erwartete oder bekannte Höhe des Objekts. Hierdurch ist die Wahrscheinlichkeit verringert, dass die Komponente zwischen zwei Bildern auf unterschiedlichen Scanlinien zu liegen kommt.One embodiment provides that the scan lines and the corresponding scan lines have a profile which corresponds to an image of a beam which extends virtually in the outside area three-dimensionally at a predetermined height straight away from the motor vehicle. This results in the advantage that a component of the object, which lies in the first image on a first specific scan line, comes to lie on a corresponding scan line of another image during a movement of the motor vehicle. The predetermined height here is preferably an expected or known height of the object. This reduces the likelihood that the component will come to lie on different scan lines between two images.

Eine Ausführungsform sieht vor, dass eine Geradeausfahrt des Kraftfahrzeugs erkannt wird und die Bilder während der Geradeausfahrt erzeugt werden. Hierdurch wird also das Erfassen der Bilder zu einem Zeitpunkt ausgelöst, der günstig ist, um sicherzustellen, dass sich in dem Profil charakteristische Bereiche ergeben, die auch in jedem korrespondierenden Profil enthalten sind.One embodiment provides that a straight-ahead travel of the motor vehicle is detected and the images are generated during straight-ahead driving. In this way, therefore, the capture of the images is triggered at a time that is favorable to ensure that arise in the profile characteristic areas that are included in each corresponding profile.

Falls das Kraftfahrzeug keine Geradeausfahrt durchführt, sieht eine Ausführungsform vor, dass die Form der Scanlinien in Abhängigkeit von einem Lenkwinkel des Kraftfahrzeugs eingestellt wird. Hierdurch kann auch bei einer Kurvenfahrt des Kraftfahrzeugs ermöglicht werden, dass eine Komponente des Objekts, die auf einer bestimmten Scanlinie des ersten Objekts zu liegen kommt, sich bei der Weiterfahrt auf der Scanlinie entlang bewegt und somit auch auf einer korrespondierenden Scanlinie eines anderen Bilds zu liegen kommt. Entsprechend findet sich dann auch in dem Profil der Scanlinie ein charakteristischer Bereich, der im korrespondierenden Profil der korrespondierenden Scanlinie enthalten ist und somit wiedererkannt werden kann.If the motor vehicle does not make a straight-ahead drive, an embodiment provides that the shape of the scan lines is set as a function of a steering angle of the motor vehicle. As a result, it is also possible, when the motor vehicle is cornering, to allow a component of the object, which comes to lie on a specific scan line of the first object, to move along the scan line as it travels, and thus also to lie on a corresponding scan line of another image comes. Accordingly, a characteristic area which is contained in the corresponding profile of the corresponding scan line and can thus be recognized can also be found in the profile of the scan line.

Eine Ausführungsform sieht vor, dass die Höhenwerte der charakteristischen Bereiche auf eine vorbestimmte Anzahl von möglichen Höhenwerten gerastert werden. Hierdurch kann ein Rauschen vermindert werden. Insbesondere kann vorgesehen sein, dass zwei mögliche Höhenwerte vorgesehen werden, von denen einer eine erwartete Höhe des Objekts und ein zweiter eine erwartete Höhe des Hintergrunds darstellt und somit die näheren Höhenprofile (zweiwertige Höhenprofile) erzeugt werden. Durch Rastern auf erwartete Höhenwerte des Objekts und des Hintergrunds wird in vorteilhafter Weise eine Mehrdeutigkeit aufgrund von Unebenheiten oder aufgrund von Zwischenwerten, wie sie sich beispielsweise durch weitere Objekte ergeben, die eine geringere Höhe als das Objekt aufweisen, aufgehoben. Wird beispielsweise als Objekt eine Anhängerkupplung erfasst, die auf einem gradbewachsenen Boden steht, so werden sämtliche Grashalme dem Boden zugeordnet und im Höhenprofil ein flacher Boden dargestellt.One embodiment provides that the height values of the characteristic areas are rastered to a predetermined number of possible height values. This can reduce noise. In particular, it can be provided that two possible height values are provided, one of which represents an expected height of the object and a second an expected height of the background and thus the closer height profiles (bivalent height profiles) are generated. Scanning for expected height values of the object and the background advantageously removes ambiguity due to unevenness or due to intermediate values, for example resulting from further objects having a lower height than the object. For example, if a trailer hitch is detected as an object that stands on a gradbewachsenen soil, then all blades of grass are assigned to the ground and displayed in the height profile a flat bottom.

Eine Ausführungsform sieht vor, dass als der Hintergrund ein Fahruntergrund des Kraftfahrzeugs erfasst wird. Mit anderen Worten wird die Kamera derart ausgerichtet, dass ihr Erfassungsbereich von oben auf das Objekt gerichtet ist. Als Hintergrund ergibt sich dann der Fahruntergrund des Kraftfahrzeugs. Hierdurch ergibt sich der Vorteil, dass der beschriebene Effekt der Parallaxe eine wirkungsvolle Unterscheidung zwischen Objekt und Hintergrund ermöglicht.An embodiment provides that the background of a driving surface of the motor vehicle is detected as the background. In other words, the camera is oriented in such a way that its detection area is directed onto the object from above. The background is then the driving surface of the motor vehicle. This has the advantage that the described effect of parallax allows an effective distinction between object and background.

Eine Ausführungsform sieht vor, dass in den Höhenprofilen all diejenigen Abschnitte, deren Höhenwert in einem vorbestimmten Werteintervall liegt, dem Objekt zugeordnet werden. Hierdurch ergibt sich eine Segmentierung, die zusätzlich eine Oberflächenbeschreibung oder Beschreibung der Form des Objekts ergibt.One embodiment provides that in the height profiles all those sections whose height value lies within a predetermined value interval are assigned to the object. This results in a segmentation which additionally gives a surface description or description of the shape of the object.

Durch die Segmentierung kann das Objekt vermessen werden oder zumindest eine Form oder Breite des Objekts erfasst oder beschrieben werden.Due to the segmentation, the object can be measured or at least one shape or width of the object can be detected or described.

Eine Ausführungsform sieht vor, dass die Höhenprofile der Scanlinie zu einer zweidimensionalen Höhenkarte zusammengefasst werden. Mit anderen Worten wir die Linienstruktur beseitigt, indem zwischen den Scanlinien Höhenwerte interpoliert werden. Hierdurch ergibt sich eine flächige Höhenkarte. Diese Ausführungsform weist den Vorteil auf, dass für jeden Punkt der zweidimensionalen Fläche ein Höhenwert definiert ist.One embodiment provides that the height profiles of the scan line are combined to form a two-dimensional height map. In other words, we eliminate the line structure by interpolating height values between the scan lines. This results in a flat elevation map. This embodiment has the advantage that a height value is defined for each point of the two-dimensional surface.

Eine Ausführungsform sieht vor, dass die besagten Bilder während einer Annäherung des Kraftfahrzeugs an eine Anhängerdeichsel eines Anhängers ermittelt werden. Das Objekt ist also die Anhängerdeichsel. Anhand der beschriebenen Unterscheidung zwischen Objekt und Hintergrund wird eine Abmessung und/oder Form der Anhängerdeichsel ermittelt. Die Annäherung des Kraftfahrzeugs bedeutet, dass das Objekt, also die Anhängerdeichsel, noch nicht an das Kraftfahrzeug angekuppelt ist. Das Kraftfahrzeug fährt auf das Objekt, also insbesondere die Anhängerdeichsel, zu. Wird dann die Anhängerdeichsel erreicht, so ist deren Abmessung und/oder Form ermittelt. Damit kann ein Ankuppelvorgang oder das Positionieren einer Anhängerkupplung relativ zur Anhängerdeichsel auf der Grundlage der ermittelten Abmessung und/oder Form durchgeführt werden. Es ist also nicht nötig, zuvor beispielsweise auf der Grundlage einer Datendatei mit Geometriedaten die Form und/oder Abmessung der Anhängerdeichsel bekannt zu machen. Sie wird automatisch bei Annäherung des Kraftfahrzeugs an die Anhängerdeichsel ermittelt.An embodiment provides that the said images are determined during an approach of the motor vehicle to a trailer drawbar of a trailer. The object is thus the trailer drawbar. Based on the described distinction between object and background, a dimension and / or shape of the trailer drawbar is determined. The approach of the motor vehicle means that the object, so the trailer drawbar, is not yet coupled to the motor vehicle. The motor vehicle drives towards the object, that is to say in particular the trailer drawbar. If the trailer drawbar is reached then its dimension and / or shape is determined. Thus, a coupling operation or the positioning of a trailer hitch relative to the trailer drawbar can be performed on the basis of the determined dimension and / or shape. It is therefore not necessary to make known, for example, on the basis of a data file with geometry data, the shape and / or dimension of the trailer tongue. It is automatically determined when approaching the motor vehicle to the trailer drawbar.

Um das erfindungsgemäßen Verfahren in einem Kraftfahrzeug durchzuführen, ist durch die Erfindung auch eine Steuervorrichtung für ein Kraftfahrzeug bereitgestellt. Die Steuervorrichtung kann als ein Steuergerät des Kraftfahrzeugs ausgestaltet sein. Die Steuervorrichtung weist eine Recheneinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierzu kann die Recheneinrichtung einen Programmcode umfassen, der bei Ausführen durch die Recheneinrichtung die Ausführungsform des Verfahrens durchführt. Der Programmcode kann in einem Datenspeicher der Recheneinrichtung gespeichert sein.In order to carry out the method according to the invention in a motor vehicle, the invention also provides a control device for a motor vehicle. The control device can be designed as a control unit of the motor vehicle. The control device has a computing device which is set up to carry out an embodiment of the method according to the invention. For this purpose, the computing device may comprise a program code which, when executed by the computing device, carries out the embodiment of the method. The program code can be stored in a data memory of the computing device.

Die Erfindung umfasst auch ein Kraftfahrzeug mit zumindest einer Kamera für einen Außenbereich des Kraftfahrzeugs und mit einer Ausführungsform der erfindungsgemäßen Steuervorrichtung. Die Steuervorrichtung ist mit der zumindest einen Kamera gekoppelt. Somit kann die Steuervorrichtung auf der Grundlage von Bildern der zumindest einen Kamera das erfindungsgemäße Verfahren durchführen. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere Personenkraftwagen oder Lastkraftwagen, ausgestaltet.The invention also includes a motor vehicle with at least one camera for an exterior of the motor vehicle and with an embodiment of the control device according to the invention. The control device is coupled to the at least one camera. Thus, the control device may perform the inventive method based on images of the at least one camera. The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular a passenger car or truck.

Zu der Erfindung gehören auch die Kombinationen der beschriebenen Ausführungsformen.The invention also includes the combinations of the described embodiments.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

Fig. 1
eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
Fig. 2
ein Flussschaudiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 3
eine schematische Darstellung eines Bilds einer Kamera mit einem darin abgebildeten Objekt; und
Fig. 4
ein Diagramm mit einem Profil und einem korrespondierenden Profil, die zu unterschiedlichen Messzeitpunkten erfasst wurden.
In the following an embodiment of the invention is described. This shows:
Fig. 1
a schematic representation of an embodiment of the motor vehicle according to the invention;
Fig. 2
a Flußschaudiagramm an embodiment of the method according to the invention;
Fig. 3
a schematic representation of an image of a camera with an object imaged therein; and
Fig. 4
a diagram with a profile and a corresponding profile, which were acquired at different measuring times.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

Fig. 1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. Das Kraftfahrzeug 10 kann eine Kamera 11 aufweisen, bei der es sich beispielsweise um eine Videokamera oder Einzelbildkamera handeln kann. Die Kamera 11 kann eine Heckkamera des Kraftfahrzeugs 10 sein. Des Weiteren ist eine Steuervorrichtung 12 des Kraftfahrzeugs 10 dargestellt. Die Steuervorrichtung 12 kann beispielsweise durch ein Steuergerät des Kraftfahrzeugs 10 gebildet sein. Ein Erfassungsbereich 13 der Kamera 11 kann in einen Außenbereich 14 des Kraftfahrzeugs 10 ausgerichtet sein, beispielsweise in einen rückwärtigen Bereich hinter dem Kraftfahrzeug 10, das heißt an dem Heck des Kraftfahrzeugs 10. Mittels der Kamera 11 kann somit ein Objekt 15 im Außenbereich 14 erfasst werden. In dem dargestellten Beispiel kann es sich bei dem Objekt 15 um eine Anhängerdeichsel eines Anhängers 16 handeln. Für die weitere Erläuterung des Ausführungsbeispiels sei angenommen, dass mit dem Kraftfahrzeug 10 der Anhänger 16 transportiert werden soll. Hierzu wird das Kraftfahrzeug 10 relativ zu dem Objekt 15 heranbewegt, das heißt es ergibt sich eine Annäherung 17 des Kraftfahrzeugs 10 an das Objekt 15. Beispielsweise soll das Kraftfahrzeug 10 in eine solche Relativposition zum Objekt 15 gebracht werden, dass das Objekt 15 mit einer Anhängerkupplung 18 des Kraftfahrzeugs 10 verbunden werden kann, ohne das hierbei das Objekt 15 verschoben oder gerollt werden muss. Fig. 1 shows a motor vehicle 10, which may be a motor vehicle, in particular a passenger car or truck. The motor vehicle 10 may include a camera 11, which may be, for example, a video camera or still camera. The camera 11 may be a rear-view camera of the motor vehicle 10. Furthermore, a control device 12 of the motor vehicle 10 is shown. The control device 12 may be formed, for example, by a control unit of the motor vehicle 10. A detection area 13 of the camera 11 can be aligned in an outer area 14 of the motor vehicle 10, for example in a rear area behind the motor vehicle 10, that is at the rear of the motor vehicle 10. By means of the camera 11, an object 15 can thus be detected in the outer area 14 , In the illustrated example, the object 15 may be a trailer drawbar of a trailer 16. For the further explanation of the exemplary embodiment, it is assumed that the trailer 16 is to be transported with the motor vehicle 10. For this purpose, the motor vehicle 10 is moved relative to the object 15, that is, there is an approximation 17 of the motor vehicle 10 to the object 15. For example, the motor vehicle 10 are brought into such a relative position to the object 15, that the object 15 with a trailer hitch 18 of the motor vehicle 10 can be connected without the object 15 has to be moved or rolled.

Hierzu kann eine Form oder Abmessung 19 des Objekts 15 durch die Steuervorrichtung 12 ermittelt und signalisiert werden.For this purpose, a shape or dimension 19 of the object 15 can be determined and signaled by the control device 12.

Fig. 2 veranschaulicht hierzu ein Verfahren 20, das durch die Steuervorrichtung 12 zum Ermitteln der Form und/oder Abmessung 19 des Objekts 15 durchgeführt werden kann. Fig. 2 1 illustrates a method 20 that can be performed by the control device 12 for determining the shape and / or dimension 19 of the object 15.

In einem Schritt S10 kann während der Annäherung 17 durch die Steuervorrichtung 12 mittels der Kamera 11 zu zwei unterschiedlichen Messzeitpunkten T0, T1 jeweils ein Kamerabild oder kurz Bild 21, 22, des Objekts 15 vor einem Hintergrund 15' erzeugt oder aufgenommen werden. Der Hintergrund 15' kann bei der dargestellten Ausrichtung des Erfassungsbereichs 13 der Kamera 11 ein Fahruntergrund sein.In a step S10, during the approach 17 by the control device 12 by means of the camera 11 at two different measurement times T0, T1, respectively one camera image or short image 21, 22 of the object 15 can be generated or recorded in front of a background 15 '. The background 15 'may be a driving background in the illustrated orientation of the detection area 13 of the camera 11.

Für die weitere Erläuterung des Verfahrens 20 wird auf Fig. 3 und Fig. 4 verwiesen.For the further explanation of the method 20 is on Fig. 3 and Fig. 4 directed.

Fig. 3 zeigt ein beispielhaftes Bild 21, wie es mit der Kamera 11 erzeugt worden sein kann. Fig. 3 shows an exemplary image 21, as it may have been generated with the camera 11.

In einem Schritt S11 kann die Steuervorrichtung 12 in einem ersten der Bilder, hier beispielhaft das Bild 21, zumindest eine Scanlinie 23 definiert oder festgelegt werden. JedeIn a step S11, the control device 12 in a first of the images, here by way of example the image 21, at least one scan line 23 can be defined or defined. each

Scanlinie 23 kann dem Abbild eines Strahls 21' entsprechen (siehe Fig. 1), welcher sich in einer Höhe He gerade von dem Kraftfahrzeug weg sich erstreckt. Die Höhe He kann eine bekannte Höhe des Objekts 15 sein. In dem Bild 22 und in jedem anderen Bild können dieselben Scanlinien 23 definiert sein. Sie stellen damit korrespondierende Scanlinien zu den Scanlinien 23 des Bilds 21 dar.Scan line 23 may correspond to the image of a beam 21 '(see Fig. 1 ), which extends straight away from the motor vehicle at a height He. The height He may be a known height of the object 15. In the image 22 and in every other image, the same scan lines 23 can be defined. They thus represent corresponding scan lines to the scan lines 23 of the image 21.

Zu jeder Scanlinie 23 des Bilds 21 wird zu einer vorbestimmten Bildeigenschaft 24 ein sich entlang der Scanlinie ergebendes Profil 25 gebildet, wie es beispielhaft in Fig. 4 veranschaulicht ist.For each scan line 23 of the image 21, a profile 25 resulting along the scan line is formed to form a predetermined image characteristic 24, as shown by way of example in FIG Fig. 4 is illustrated.

Fig. 4 veranschaulicht entlang einer Achse 26, welche dem Verlauf einer Scanlinie 23 des Bilds 21 entspricht, das sich ergebende Profil 25 zu einer Bildeigenschaft 24, welche den Wert einer Kantendetektion darstellt. Hierzu kann beispielsweise für jeden Punkt des Profils 25 die Differenz der Helligkeitswerte benachbarter Pixel entlang der Scanlinie 23 berechnet sein. Fig. 4 veranschaulicht des Weiteren, wie für das Bild 22, also für den Messzeitpunkt T1, für die korrespondierende Scanlinie im Bild 22 ein korrespondierendes Profil 27 auf Grundlage der Bildeigenschaft 24 ermittelt werden kann. Fig. 4 illustrates along an axis 26, which corresponds to the course of a scan line 23 of the image 21, the resulting profile 25 to an image characteristic 24, which represents the value of an edge detection. For this purpose, for example, the difference of the brightness values of adjacent pixels along the scan line 23 can be calculated for each point of the profile 25. Fig. 4 illustrates further, as for the image 22, so for the measurement time point T1, for the corresponding scan line in the image 22, a corresponding profile 27 can be determined based on the image characteristic 24.

In einem Schritt S12 kann nun für das Profil 25 auf der Grundlage einer Merkmalsdetektion 28 zumindest ein charakteristischer Bereich 29 ermittelte werden. Die Merkmalsdetektion 28 kann beispielsweise lokale Maxima als jeweiligen charakteristischen Bereich identifizieren. Jeder charakteristische Bereich 29 des Profils 25 kann nun in dem Profil 27 als wiedererkannter charakteristischer Bereich 30 wieder erkannt werden. Beispielsweise kann dies auf der Grundlage einer Korrelation erfolgen.In a step S12, at least one characteristic region 29 can now be determined for the profile 25 on the basis of a feature detection 28. The feature detection 28 may, for example, identify local maxima as the respective characteristic area. Each characteristic region 29 of the profile 25 can now be recognized again in the profile 27 as a recognized characteristic region 30. For example, this can be done on the basis of a correlation.

In einem Schritt S13 kann nun für jeden charakteristischen Bereich 29 eine sich zwischen den Messzeitpunkten T0 und T1 ergebende Verschiebeweite D0, D1, D2, D3 des jeweiligen charakteristischen Bereichs 29 entlang der jeweiligen Scanlinie 23 ermittelt werden. Die Verschiebeweite D0, D1, D2, D3 hängt zum einen ab von der Bewegungsweite des Kraftfahrzeugs 10 während der Annäherung 17 zwischen den beiden Messzeitpunkten T0, T1 und zum anderen von dem Abstand des jeweils im charakteristischen Bereich 29 dargestellten Bildinhalts zur Kamera 11. Durch die unterschiedlichen Abstände der Bildinhalte ergibt sich der Effekt der Parallaxe, das heißt je nach Abstand des jeweiligen Bildinhalts zur Kamera 11 ergibt sich eine andere Verschiebeweite D0, D1, D2, D3.In a step S13, for each characteristic region 29, a displacement width D0, D1, D2, D3 of the respective characteristic region 29 resulting between the measurement times T0 and T1 along the respective scan line 23 can now be determined. The Verschieweweite D0, D1, D2, D3 depends on the one hand on the range of movement of the motor vehicle 10 during the approach 17 between the two measurement times T0, T1 and the other by the distance of the image content shown in the characteristic region 29 to the camera 11. By the different distances of the image contents results in the effect of parallax, that is, depending on the distance of the respective image content to the camera 11 results in a different displacement width D0, D1, D2, D3.

In einem Schritt S14 kann nun entlang jeder Scanlinie 23 in Abhängigkeit von der ermittelten Verschiebeweite D0, D1, D2, D3 jedes charakteristischen Bereichs 29 des Profils 25 der jeweiligen Scanlinie 23 zwischen dem Objekt 15 und dem Hintergrund 15' unterschieden werden.In a step S14, along each scan line 23, depending on the determined displacement distance D0, D1, D2, D3 of each characteristic region 29 of the profile 25, the profile 25 can now be determined respective scan line 23 between the object 15 and the background 15 '.

Hierzu kann ein Segmentierungskriterium 31 zugrunde gelegt werden, welches beispielsweise einen Vergleich der jeweiligen Verschiebeweite D0, D1, D2, D3 mit einer erwarteten Verschiebeweite De vorsieht, die aus der bekannten Höhe He des Objekts 15 resultiert. Der Vergleich kann hierbei ein Toleranzintervall vorsehen, innerhalb welchem eine Identität der jeweiligen Verschiebeweite D0, D1, D2, D3 zur erwarteten Verschiebeweite De erkannt oder signalisiert wird.For this purpose, a segmentation criterion 31 can be used which, for example, provides for a comparison of the respective displacement widths D0, D1, D2, D3 with an expected displacement width De, which results from the known height He of the object 15. The comparison may in this case provide for a tolerance interval within which an identity of the respective displacement-side D0, D1, D2, D3 is detected or signaled for the expected displacement-wide De.

Fig. 3 veranschaulicht, wie entlang einer Scanlinie 23 eine Segmentierung 32 in zwei Segmente 33, 34 vorgenommen werden kann. Das Segment 33 kann einen Abschnitt einer Scanlinie 23 beschreiben, der dem Objekt 15 zugeordnet ist. Das Segment 34 kann einen Abschnitt einer Scanlinie 23 beschreiben, der dem Hintergrund 15' zugeordnet ist. Fig. 3 illustrates how along a scan line 23, a segmentation 32 in two segments 33, 34 can be made. The segment 33 may describe a portion of a scan line 23 associated with the object 15. The segment 34 may describe a portion of a scan line 23 associated with the background 15 '.

Aus allen Segmenten 33 aller Scanlinien 23 kann nun eine Beschreibung der Abmessung und/oder Form 19 des Objekts 15 ermittelt werden.From all segments 33 of all scan lines 23, a description of the dimension and / or shape 19 of the object 15 can now be determined.

Die Abmessung und/oder Form 19 kann in dem Kraftfahrzeug einer weiteren Komponente signalisiert werden, beispielsweise einem Fahrerassistenzsystem, welches das Kraftfahrzeug 10 autonom oder automatisiert an das Objekt 15 heranführt.The dimension and / or shape 19 can be signaled in the motor vehicle of a further component, for example a driver assistance system, which brings the motor vehicle 10 autonomously or automatically to the object 15.

Somit ist eine präzise Anfahrt oder Annäherung 17 des Kraftfahrzeugs 10 zu einem Objekt 15 mit bekannter Höhe He möglich, auch wenn keine Kenntnis der Form 19 vorliegt. Eine Kenntnis der Form ist nicht erforderlich. Die Form 19 des Objekts 15 wird detektiert. Hierdurch kann eine präzise Zielposition beispielsweise der Anhängerkupplung 18 erreicht werden und/oder eine Kollision mit dem Objekt 15 bei der Annäherung 17 vermieden werden.Thus, a precise approach or approach 17 of the motor vehicle 10 to an object 15 of known height He is possible, even if there is no knowledge of the form 19. A knowledge of the form is not required. The shape 19 of the object 15 is detected. In this way, a precise target position, for example, of the trailer coupling 18 can be achieved and / or a collision with the object 15 during the approach 17 can be avoided.

Die Steuervorrichtung 12 führt hierzu eine Analyse der Bewegung in den einzelnen Bildern 21, 22 unter Berücksichtigung der Fahrzeugbewegung bei der Annäherung 17 durch. Einzelne Bildbereiche der Bilder 21, 22 werden den Hintergrund 15' (bspw dem Fahruntergrund oder der Bodenebene) einerseits und dem Objekt 15 bekannter Höhe He andererseits zugeordnet. Die Bildbereiche werden in Form von Scanlinien 23 repräsentiert. Diese entsprechen im dreidimensionalen Raum 23' die in der bekannten Höhe He des Objekts 15 verlaufen und deren Form als Scanlinien 23 in das jeweilige Bild 21, 22 projiziert oder abgebildet ist. Diese Scanlinien 23 werden über zeitlich benachbarte Bilder 21, 22 in Bezug auf ihre Bildeigenschaft 24, beispielsweise mittels einer Kantendetektionsfunktion analysiert. Es wird geprüft, welche Teile oder Segmente 33, 34 jeder Scanlinie 23 der erwarteten Objektbewegung gemäß der erwarteten Verschiebeweite De entsprechen (ergibt Zuordnung zum Objekt 15) und welche der Annahme wiedersprechen (entspricht Zuordnung zum Hintergrund 15'). Dies ermöglicht bei ausreichender Anzahl von Scanlinien 23 (bspw mehr als 5, insbesondere mehr als 10), eine Segmentierung 32, die für eine Bestimmung der Außenform des Objekts 15 benutzt werden kann. Damit ist eine präzise und hindernisfreie Anfahrt oder Annäherung 17 an das Objekt 15 möglich.For this purpose, the control device 12 performs an analysis of the movement in the individual images 21, 22, taking into account the vehicle movement in the approach 17. Individual image areas of the images 21, 22 are assigned to the background 15 '(for example the driving surface or the ground plane) on the one hand and the object 15 of known height He on the other hand. The image areas are represented in the form of scan lines 23. These correspond in the three-dimensional space 23 'which run in the known height He of the object 15 and whose shape is projected or imaged as scan lines 23 in the respective image 21, 22. These scan lines 23 are via temporally adjacent images 21, 22 in With respect to its image property 24, for example, analyzed by means of an edge detection function. It is checked which parts or segments 33, 34 of each scan line 23 correspond to the expected object movement according to the expected displacement distance De (gives assignment to the object 15) and which contradict the assumption (corresponds to assignment to the background 15 '). This allows for a sufficient number of scan lines 23 (eg more than 5, in particular more than 10), a segmentation 32, which can be used for a determination of the outer shape of the object 15. For a precise and obstacle-free approach or approach 17 to the object 15 is possible.

Weiterhin kann durch Triangulation des nächstliegenden Punkts des Objekts zum Kraftfahrzeug 10 auf die Höhe dieses nächstliegenden Punktes geschlossen werden. Dies kann als weiteres Sicherheitsmerkmal verwendet werden. Das Kraftfahrzeug 10 kann damit präzise zu der beschriebenen Zielposition angenähert werden. Bei Bedarf kann in Abhängigkeit von der Zielposition ein Offset genutzt werden, um sich relativ dazu zu positionieren.Furthermore, it can be concluded by triangulation of the nearest point of the object to the motor vehicle 10 to the height of this nearest point. This can be used as another security feature. The motor vehicle 10 can thus be approximated precisely to the described target position. If necessary, depending on the target position, an offset can be used to position itself relative thereto.

Der vorgestellte Ansatz bietet eine Erkennung der äußeren Form des Objekts 15 und einer Erkennung einer Objektgeometrie durch Analyse einer Bildeigenschaft, beispielsweise einer Kantenfunktion, wodurch eine Kollision des Kraftfahrzeugs 10 mit dem Objekt 15 verhindert werden kann und eine Anfahrt zu einer Zielposition durchgeführt werden kann.The presented approach provides recognition of the external shape of the object 15 and recognition of an object geometry by analysis of an image property, for example an edge function, whereby a collision of the motor vehicle 10 with the object 15 can be prevented and an approach to a target position can be performed.

Das Objekt 15 kann hierbei eine Anhängerdeichsel eines Anhängers 16 sein, an deren Anhängerklaue das Kraftfahrzeug 10 angekuppelt oder angedockt werden soll. Dabei kann die Anhängerkupplung 18 (Anhängerankuppelvorrichtung) unter der Anhängerklaue positioniert werden, was die Zielposition definiert. Allerdings kann die reale Zielposition in diesem Fall einen Offset oder Versatz vorsehen, nämlich den halben Durchmesser der Kupplungskuppel der Anhängerklaue zu dem beschriebenen nächstliegenden Punkt des Objekts 15 zum Kraftfahrzeug 10.The object 15 may in this case be a trailer drawbar of a trailer 16, on whose trailer claw the motor vehicle 10 is to be coupled or docked. In this case, the trailer hitch 18 (trailer coupling device) can be positioned under the trailer claw, which defines the target position. However, in this case, the real target position may provide an offset or offset, namely half the diameter of the coupling dome of the trailer claw to the described closest point of the object 15 to the motor vehicle 10.

Insgesamt zeigt das Beispiel, wie durch die Erfindung eine optische Segmentierung bereitgestellt werden kann.Overall, the example shows how optical segmentation can be provided by the invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010
Kraftfahrzeugmotor vehicle
1111
Kameracamera
1212
Steuervorrichtungcontrol device
1313
Erfassungsbereichdetection range
1414
Außenbereichoutdoors
1515
Objektobject
15'15 '
Hintergrundbackground
1616
Anhängerpendant
1717
Annäherungapproach
1818
Anhängerkupplungtrailer hitch
1919
Abmessung und/oder FormDimension and / or shape
2020
Verfahrenmethod
2121
Bildimage
2222
Bildimage
2323
Scanliniescan line
23'23 '
Strahlbeam
2424
Bildeigenschaftimage feature
2525
Profilprofile
2626
Achseaxis
2727
korrespondierendes Profilcorresponding profile
2828
Merkmalsdetektionfeature detection
2929
Charakteristischer BereichCharacteristic area
3030
Wiedererkannter charakteristischer BereichRecognized characteristic area
3131
Segmentierungskriteriumsegmentation criterion
3232
Segmentierungsegmentation
3333
Segmentsegment
3434
Segmentsegment
HeHe
Bekannte HöheKnown height
D0, D1D0, D1
Verschiebeweitesliding width
D2, D3D2, D3
Verschiebeweitesliding width
Dede
Erwartete VerschiebeweiteExpected shift distance
T0, T1T0, T1
MesszeitpunktMeasuring time

Claims (15)

Verfahren (20) zur Formerkennung eines Objekts (15) in einem Außenbereich (14) eines Kraftfahrzeugs (10), wobei durch eine Steuervorrichtung (12) des Kraftfahrzeugs (10), während sich das Kraftfahrzeug (10) relativ zu dem Objekt (15) bewegt, mittels einer Kamera (11) zu zumindest zwei unterschiedlichen Messzeitpunkten (T0, T1) jeweils ein Bild (21, 22), welches das Objekt (15) vor einem Hintergrund (15') des Außenbereichs (14) zeigt, erzeugt wird und - in einem ersten der Bilder (21) zumindest eine Scanlinie (23) und zu jeder Scanlinie (23) in jedem anderen der Bilder (22) eine korrespondierende Scanlinie festgelegt wird und - zu jeder Scanlinie (23) des ersten Bilds (21) zu einer vorbestimmten Bildeigenschaft (24) ein sich entlang der Scanlinie (23) ergebendes Profil (25) und entlang der jeweils korrespondierenden Scanlinie jedes anderen Bilds ein sich ergebendes korrespondierendes Profil (27) ermittelt wird und - in dem Profil (25) jeder Scanlinie (23) des ersten Bilds (21) zumindest ein charakteristischer Bereich (29) ermittelt wird und - durch Vergleichen des Profils (25) jeder Scanlinie (23) des ersten Bilds (21) mit dem jeweils korrespondierenden Profil (27) jedes anderen Bilds (22) der zumindest eine charakteristische Bereich (29) in dem jeweils korrespondierenden Profil (27) wiedererkannt wird,
dadurch gekennzeichnet, dass - für jeden charakteristischen Bereich (23) eine sich zwischen den Messzeitpunkten (T0, T1) ergebende Verschiebeweite (D0, D1, D2, D3) des charakteristischen Bereichs (29) entlang der jeweiligen Scanlinie (23) ermittelt wird, wodurch erkannt wird, wie weit der charakteristische Bereich (23) sich aufgrund der relativen Bewegung des Kraftfahrzeugs (10) zum Objekt (15) in dem anderen Bild (22) entlang der jeweiligen Scanlinie (23) verschoben hat, wobei diese Verschiebung abhängig von dem Abstand des jeweiligen Bildinhalts, der jeweils entweder Objekt oder Hintergrund ist, zu der Kamera ist, und entsprechend - entlang jeder Scanlinie (23) in Abhängigkeit von der ermittelten Verschiebeweite (D0, D1, D2, D3) jedes charakteristischen Bereichs (29) des Profils (25) der Scanlinie (23) zwischen Objekt (15) und Hintergrund (15') unterschieden wird. Method (20) for detecting the shape of an object (15) in an exterior area (14) of a motor vehicle (10), wherein a control device (12) of the motor vehicle (10), while the motor vehicle (10) relative to the object (15) moves, by means of a camera (11) at least two different measuring times (T0, T1) each one image (21, 22), which the object (15) in front of a background (15 ') of the outer area (14) is generated, and - In a first of the images (21) at least one scan line (23) and to each scan line (23) in each other of the images (22) a corresponding scan line is set and to each scan line (23) of the first image (21) to a predetermined image characteristic (24) a profile (25) resulting along the scan line (23) and along the respective corresponding scan line of each other image a resulting corresponding profile (27) is determined and - In the profile (25) of each scan line (23) of the first image (21) at least one characteristic region (29) is determined, and - by comparing the profile (25) of each scan line (23) of the first image (21) with the respective corresponding profile (27) of each other image (22) the at least one characteristic region (29) recognized in the respective corresponding profile (27) becomes,
characterized in that for each characteristic region (23), a displacement width (D0, D1, D2, D3) of the characteristic region (29) between the measurement times (T0, T1) is determined along the respective scan line (23), whereby it is recognized how the characteristic area (23) has shifted along the respective scan line (23) due to the relative movement of the motor vehicle (10) to the object (15) in the other image (22), this displacement being dependent on the distance of the respective image content, which is either object or background to which the camera is, and accordingly - distinguished along each scan line (23) as a function of the determined displacement distance (D0, D1, D2, D3) of each characteristic area (29) of the profile (25) of the scan line (23) between object (15) and background (15 ') becomes. Verfahren (20) nach Anspruch 1, wobei die vorbestimmte Bildeigenschaft einen Farbwert und/oder einen Kontrastwert und/oder einen Kantendetektionswert eines Bildinhalts des Bildes umfasst.The method (20) of claim 1, wherein the predetermined image characteristic comprises a color value and / or a contrast value and / or an edge detection value of an image content of the image. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei die charakteristischen Bereiche (29) mittels einer vorbestimmten Merkmalsdetektion festgelegt werden, welche zumindest ein vorbestimmtes charakteristisches Muster in dem jeweiligen Profil (25) als charakteristischen Bereich identifiziert.Method (20) according to one of the preceding claims, wherein the characteristic regions (29) are determined by means of a predetermined feature detection which identifies at least one predetermined characteristic pattern in the respective profile (25) as a characteristic region. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei die Scanlinien (23) und die korrespondierenden Scanlinien einen Verlauf aufweisen, welcher einem Abbild eines Strahls entspricht, der sich virtuell in dem Außenbereich (14) dreidimensional in einer vorbestimmten Höhe (He) gerade von dem Kraftfahrzeug (10) weg erstreckt.A method (20) according to any one of the preceding claims, wherein the scan lines (23) and the corresponding scan lines have a profile corresponding to an image of a beam extending virtually in the outer region (14) three-dimensionally at a predetermined height (He) straight from the motor vehicle (10) extends away. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei eine Geradeausfahrt des Kraftfahrzeugs (10) erkannt wird und die Bilder (21, 22) während der Geradeausfahrt erzeugt werden.Method (20) according to any one of the preceding claims, wherein a straight ahead of the motor vehicle (10) is detected and the images (21, 22) are generated during straight travel. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei eine Form der Scanlinien (23) in Abhängigkeit von einem Lenkwinkel des Kraftfahrzeugs (10) eingestellt wird.Method (20) according to one of the preceding claims, wherein a shape of the scan lines (23) is set as a function of a steering angle of the motor vehicle (10). Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei als der Hintergrund (15') ein Fahruntergrund des Kraftfahrzeugs (10) erfasst wird.Method (20) according to any one of the preceding claims, wherein as the background (15 ') a driving surface of the motor vehicle (10) is detected. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei die Bilder (21, 22) während einer Annäherung des Kraftfahrzeugs (10) an eine Anhängerdeichsel eines Anhängers (16) ermittelt werden und anhand der Unterscheidung zwischen Objekt (15) und Hintergrund (15') eine Abmessung und/oder Form der Anhängerdeichsel ermittelt wird.Method (20) according to one of the preceding claims, wherein the images (21, 22) are determined during an approach of the motor vehicle (10) to a trailer drawbar of a trailer (16) and determined by the distinction between object (15) and background (15 '; ) a dimension and / or shape of the trailer drawbar is determined. Verfahren (20) nach einem der vorhergehenden Ansprüche, wobei zum Unterscheiden zwischen Objekt (15) und Hintergrund (15') jedem charakteristischen Bereich (29) des Profils (25) jeder Scanlinie (23) in Abhängigkeit von seiner Verschiebeweite ein Höhenwert zugeordnet wird und hierdurch entlang jeder Scanlinie (23) ein Höhenprofil erzeugt wird und anhand des jeweiligen Höhenprofils entlang jeder Scanlinie (23) zwischen Objekt (15) und Hintergrund (15') unterschieden wird.Method (20) according to one of the preceding claims, wherein, to distinguish between object (15) and background (15 '), a height value is assigned to each characteristic region (29) of the profile (25) of each scan line (23) as a function of its displacement width As a result, a height profile is generated along each scan line (23) and a distinction is made between the object (15) and the background (15 ') on the basis of the respective height profile along each scan line (23). Verfahren (20) nach Anspruch 9, wobei in den Höhenprofilen all denjenigen Abschnitte, deren Höhenwert in einem vorbestimmten Werteintervall liegt, dem Objekt (15) zugeordnet werden.Method (20) according to claim 9, wherein in the height profiles all those sections whose height value lies within a predetermined value interval are assigned to the object (15). Verfahren (20) nach Anspruch 9 oder 10, wobei die Höhenwerte der charakteristischen Bereiche (29) auf eine vorbestimmte Anzahl von möglichen Höhenwerten gerastert werden.The method (20) of claim 9 or 10, wherein the height values of the characteristic areas (29) are rasterized to a predetermined number of possible height values. Verfahren (20) nach einem der Ansprüche 9 bis 11, wobei zwei mögliche Höhenwerte vorgesehen werden, von denen einer eine erwartete Höhe (He) des Objekts (15) und ein zweiter eine erwartete Höhe des Hintergrunds (15') darstellt, und somit binäre Höhenprofile erzeugt werden.Method (20) according to any one of claims 9 to 11, wherein two possible height values are provided, one representing an expected height (He) of the object (15) and a second representing an expected height of the background (15 '), and thus binary Height profiles are generated. Verfahren (20) nach einem der Ansprüche 9 bis 12, wobei die Höhenprofile der Scanlinien (23) zu einer zweidimensionalen Höhenkarte zusammengefasst werden.Method (20) according to one of claims 9 to 12, wherein the height profiles of the scan lines (23) are combined to form a two-dimensional height map. Steuervorrichtung (12) für ein Kraftfahrzeug (10), wobei die Steuervorrichtung (12) eine Recheneinrichtung aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.Control device (12) for a motor vehicle (10), wherein the control device (12) has a computing device which is adapted to carry out a method according to one of the preceding claims. Kraftfahrzeug (10) mit zumindest einer Kamera (11) zum Erfassen eines Außenbereichs (14) des Kraftfahrzeugs (10) und mit einer Steuervorrichtung (12) nach Anspruch 14, wobei die Steuervorrichtung (12) mit der zumindest einen Kamera (12) gekoppelt ist.Motor vehicle (10) with at least one camera (11) for detecting an outer region (14) of the motor vehicle (10) and with a control device (12) according to claim 14, wherein the control device (12) is coupled to the at least one camera (12) ,
EP18194225.1A 2017-10-25 2018-09-13 Method for shape recognition of an object in an external area of a motor vehicle and motor vehicle Active EP3477249B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017219119.8A DE102017219119A1 (en) 2017-10-25 2017-10-25 Method for detecting the shape of an object in an exterior of a motor vehicle and motor vehicle

Publications (2)

Publication Number Publication Date
EP3477249A1 true EP3477249A1 (en) 2019-05-01
EP3477249B1 EP3477249B1 (en) 2021-12-01

Family

ID=63579163

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18194225.1A Active EP3477249B1 (en) 2017-10-25 2018-09-13 Method for shape recognition of an object in an external area of a motor vehicle and motor vehicle

Country Status (4)

Country Link
US (1) US10679073B2 (en)
EP (1) EP3477249B1 (en)
CN (1) CN109711423B (en)
DE (1) DE102017219119A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021219353A1 (en) * 2020-04-30 2021-11-04 Zf Friedrichshafen Ag Autonomous and/or assisted coupling of a trailer, taking into consideration the height profile of the ground

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206291857U (en) * 2016-10-20 2017-06-30 成都佳诚弘毅科技股份有限公司 Pin wheelbase measuring device
CN112424002A (en) 2018-05-08 2021-02-26 大陆汽车系统公司 Visual object tracker
CN111928795B (en) * 2020-09-04 2021-10-01 浙江省计量科学研究院 Tractor and trailer overall dimension parameter integrated measurement method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012011121A1 (en) * 2012-06-05 2013-12-05 Connaught Electronics Ltd. Method for detecting moving object in surrounding region of passenger car, involves determining motion vector of motor vehicle, and including determined motion vector when detecting object according to vector field
DE102014114078A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Intelligent towing
DE102015201586A1 (en) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Method and device for recognizing a trailer

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
DE102008046215A1 (en) 2008-09-08 2009-09-17 Daimler Ag Vehicle e.g. electric vehicle, coupling method for charging battery of vehicle in charging station, involves superimposing shunting-auxiliary lines for assistance of coupling process after marking coupling device detected by camera
DE102009053807A1 (en) 2009-11-18 2011-05-19 Conti Temic Microelectronic Gmbh A method of assisting a driver when parking a vehicle
DE102010063133A1 (en) 2010-12-15 2012-06-21 Robert Bosch Gmbh Method and system for determining a self-motion of a vehicle
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
DE102012003992A1 (en) 2012-02-28 2013-08-29 Wabco Gmbh Guidance system for motor vehicles
WO2013129095A1 (en) * 2012-03-02 2013-09-06 日産自動車株式会社 Three-dimensional object detection device and three-dimensional object detection method
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
WO2015177643A2 (en) * 2014-05-22 2015-11-26 Erez Dagan Systems and methods for braking a vehicle based on a detected object
US9499018B2 (en) 2015-04-01 2016-11-22 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
US10275668B1 (en) * 2015-09-21 2019-04-30 Hrl Laboratories, Llc System for collision detection and obstacle avoidance
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US10150505B2 (en) 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
DE102015211754A1 (en) 2015-06-24 2016-12-29 Bayerische Motoren Werke Aktiengesellschaft Parking assistance system for the automated carrying out of a parking maneuver in a transverse parking space with detection of a bottom parking space bounding the rear parking space obstacle
DE102015213404A1 (en) 2015-07-16 2017-01-19 Continental Teves Ag & Co. Ohg Method and device for coupling a motor vehicle to a trailer
DE102015015547A1 (en) * 2015-12-03 2017-06-08 Trw Automotive Safety Systems Gmbh Vehicle safety system, assembly for a vehicle safety system and method for manufacturing a vehicle safety system
DE102017219123B4 (en) * 2017-10-25 2022-12-22 Volkswagen Aktiengesellschaft Method for determining object boundaries of an object in an exterior area of a motor vehicle, and control device and motor vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012011121A1 (en) * 2012-06-05 2013-12-05 Connaught Electronics Ltd. Method for detecting moving object in surrounding region of passenger car, involves determining motion vector of motor vehicle, and including determined motion vector when detecting object according to vector field
DE102014114078A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Intelligent towing
DE102015201586A1 (en) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Method and device for recognizing a trailer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021219353A1 (en) * 2020-04-30 2021-11-04 Zf Friedrichshafen Ag Autonomous and/or assisted coupling of a trailer, taking into consideration the height profile of the ground

Also Published As

Publication number Publication date
CN109711423B (en) 2023-06-30
DE102017219119A1 (en) 2019-04-25
EP3477249B1 (en) 2021-12-01
US20190122053A1 (en) 2019-04-25
US10679073B2 (en) 2020-06-09
CN109711423A (en) 2019-05-03

Similar Documents

Publication Publication Date Title
EP3260357B1 (en) Vehicle with shunting system
EP3477249B1 (en) Method for shape recognition of an object in an external area of a motor vehicle and motor vehicle
EP1928687B1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
EP2920778B1 (en) Method for carrying out an at least semi-autonomous parking process of a motor vehicle into a garage, parking assistance system and motor vehicle
EP3084466B1 (en) Method for detecting a mark applied to an underlying surface, driver assistance device and motor vehicle
DE102004029129B4 (en) Method and device for coupling a trailer to a motor vehicle
DE102019008316A1 (en) Method for object recognition and distance determination
EP3356203B1 (en) Method for determining a parking surface for parking a motor vehicle, driver assistance system, and motor vehicle
EP2788245B1 (en) Method and device for locating a predefined parking position
DE102016106298A1 (en) Fusion method for a cross traffic application using radar devices and a camera
EP3510463A1 (en) Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition
EP2982572B1 (en) Method for assisting a driver of a motor vehicle when driving out of a parking space, driver assistance system, and motor vehicle
DE112017005447T5 (en) Object detecting device
EP3413086A1 (en) Method for characterising a trailer attached to a tractor vehicle, driver assistance system and road train
EP3284649B1 (en) Driver assistance for parking a motor vehicle and a trailer by means of virtual sensors
DE102015121353A1 (en) Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle
DE102009046674A1 (en) Method for assisting parking process of motor vehicle i.e. lorry, by parking device, involves instaneously detecting contours of actuating position by sensor device, and guiding motor vehicle to actuating position by parking device
EP3710288B1 (en) Method and trailer-coupling assistance for assisting in the coupling process of a motor vehicle reversing towards a trailer
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102020124985A1 (en) DIFFERENCES BETWEEN CLOSE TRAILER AND CONNECTED TRAILER
DE102020109279A1 (en) TRAILER ALIGNMENT SYSTEM AND PROCEDURE
DE102016012345A1 (en) Method for recognizing objects
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
DE102016114160A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle into a garage on the basis of ultrasound signals and camera images, driver assistance system and motor vehicle
EP3476696B1 (en) Method for determining object boundaries of an object in an external area of a motor vehicle and control device and motor vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20191104

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G01B 11/14 20060101AFI20210622BHEP

Ipc: G01B 11/25 20060101ALI20210622BHEP

Ipc: G06K 9/00 20060101ALI20210622BHEP

Ipc: B62D 13/06 20060101ALI20210622BHEP

Ipc: B60D 1/36 20060101ALI20210622BHEP

Ipc: B60R 1/00 20060101ALI20210622BHEP

Ipc: G06T 7/73 20170101ALI20210622BHEP

Ipc: B60D 1/62 20060101ALI20210622BHEP

INTG Intention to grant announced

Effective date: 20210714

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1452159

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211215

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502018008018

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20211201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220301

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220302

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220401

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502018008018

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220401

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

26N No opposition filed

Effective date: 20220902

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211201

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230523

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220913

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230926

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230926

Year of fee payment: 6

Ref country code: DE

Payment date: 20230930

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180913