DE102012222443A1 - Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable - Google Patents

Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable Download PDF

Info

Publication number
DE102012222443A1
DE102012222443A1 DE201210222443 DE102012222443A DE102012222443A1 DE 102012222443 A1 DE102012222443 A1 DE 102012222443A1 DE 201210222443 DE201210222443 DE 201210222443 DE 102012222443 A DE102012222443 A DE 102012222443A DE 102012222443 A1 DE102012222443 A1 DE 102012222443A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
images
stationary object
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201210222443
Other languages
German (de)
Inventor
Fred Sejalon
Greg Sypitkowski
Gunter Rottner
Jeffrey Bochenek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201210222443 priority Critical patent/DE102012222443A1/en
Publication of DE102012222443A1 publication Critical patent/DE102012222443A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The method involves detecting images of a rearwardly directed camera (110) e.g. digital camera. The two images of the camera are compared with each other by comparing pixels of the images with each other. A driving condition variable of a vehicle (100) is detected. A stationary object i.e. tow-bar (150), in a field of vision of the camera is recognized due to the comparison based on the driving condition variable when the pixels of the images are identical. A dimension e.g. length, of the stationary object is determined based on recognition of the stationary object. Independent claims are also included for the following: (1) a control device (2) a parking system for a vehicle.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung stationärer Objekte mittels eines Kamerasystems sowie einem System zur Durchführung eines Parkvorgangs, welches das Verfahren zur Erkennung stationärer Objekte nutzt. The invention relates to a method and a device for detecting stationary objects by means of a camera system and a system for carrying out a parking operation, which uses the method for detecting stationary objects.

Stand der TechnikState of the art

Fahrerassistenzsysteme, die den Fahrer u.a. bei Einparkvorgängen unterstützen, sind seit längerem bekannt. Maßgeblich bei derartigen Steuerungen sind die Kenntnisse sowohl des Fahrzeugumfelds als auch die Abmessungen des Fahrzeugs, um die möglichen Fahrtrajektorien berechnen zu können. So ist beispielsweise aus der DE 10 2004 051 963 A1 ein System bekannt, bei dem in einer Speichereinheit Grenzwerte für die Mindestabstände des Fahrzeugs zu Hindernissen bei einer Einparkhilfe abgelegt sind. Darüber hinaus können auch die Abmessungen des Fahrzeugs gespeichert werden, wobei diese gegebenenfalls von der aktuellen Ausstattung, z.B. einer montierten Anhängerkupplung, abhängig sein können. Ein ähnliches Vorgehen ist auch aus der DE 10 2009 032 541 A1 zu entnehmen, bei der ein Modell des Fahrzeugs in dreidimensionaler Form nachgebildet wird. Dabei ist insbesondere vorgesehen, dass das Modell die Außenspiegel so genau abbildet, dass abgeleitet werden kann, in welcher Höhe über dem Boden die Teile des Außenspiegels seitlich vom Fahrzeug abstehen. Zusätzlich kann berücksichtigt werden, welche Stellung der Außenspiegel momentan aufweist, beispielsweise bei der Ein- und Ausfahrt aus einer Garage. Hierzu werden die notwendigen Daten aus der Steuerung der Spiegelposition abgeleitet. Driver assistance systems, which support the driver during parking processes, have been known for some time. Decisive in such controls are the knowledge of both the vehicle environment and the dimensions of the vehicle in order to calculate the possible Fahrtrajektorien can. For example, from the DE 10 2004 051 963 A1 a system is known in which limit values for the minimum distances of the vehicle to obstacles in a parking aid are stored in a memory unit. In addition, the dimensions of the vehicle can be stored, which may be dependent on the current equipment, such as a mounted trailer hitch. A similar procedure is also from the DE 10 2009 032 541 A1 can be seen in which a model of the vehicle is modeled in three-dimensional form. It is provided in particular that the model mirrors the exterior mirrors so accurately that it can be deduced in which height above the floor, the parts of the exterior mirror protrude laterally from the vehicle. In addition, it can be taken into account which position the exterior mirror currently has, for example when entering and leaving a garage. For this purpose, the necessary data is derived from the control of the mirror position.

Bei den vorstehenden Berücksichtigungen der vom Fahrzeug abstehenden und ggf. für einen Einparkvorgang kritischen Objekte ist entweder eine feste Eingabe oder eine zusätzliche Sensorabfrage notwendig. Mit der vorliegenden Erfindung wird daher ein Verfahren bzw. eine Anwendung eines Verfahrens beschrieben, bei dem mittels der Erfassung der ohnehin für den Einparkvorgang vorliegenden Kamerabildern automatisch stationäre und somit vom Fahrzeug abstehende Objekte erkannt werden, die für die weitere Verwendung im Fahrerassistenzsystem aufbereitet werden. Hierzu wird ein Verfahren der Videokompression angepasst, bei dem nur Änderungen in den aufgenommenen Bildern registriert und abgespeichert werden. In the above considerations of projecting from the vehicle and possibly for a parking critical objects either a fixed input or an additional sensor query is necessary. The present invention therefore describes a method and / or an application of a method in which by means of the detection of the camera images already present for the parking operation, stationary and thus protruding objects from the vehicle are automatically detected, which are processed for further use in the driver assistance system. For this purpose, a method of video compression is adapted in which only changes in the recorded images are registered and stored.

Offenbarung der ErfindungDisclosure of the invention

Mit der vorliegenden Erfindung wird ein Verfahren und eine Vorrichtung sowie eine Anwendung des Verfahrens beschrieben, bei dem ein stationäres Objekt mit Hilfe der Bilder einer Kamera erfasst wird. Dabei ist insbesondere vorgesehen, dass sich sowohl die Kamera, z.B. eine Digitalkamera, als auch die zum Verfahren gehörige Vorrichtung in oder an einem Fahrzeug befindet. Mittels des Verfahrens werden die Bilder einer Kamera erfasst und miteinander verglichen. Der Kern der Erfindung besteht nun darin, dass aufgrund des Vergleichs ein stationäres Objekt im Sichtbereich der Kamera erkannt wird. The present invention describes a method and an apparatus as well as an application of the method in which a stationary object is detected with the aid of the images of a camera. In particular, it is provided that both the camera, e.g. a digital camera as well as the device associated with the method is located in or on a vehicle. By means of the method, the images of a camera are captured and compared with each other. The essence of the invention consists in the fact that a stationary object in the field of view of the camera is detected on the basis of the comparison.

Der Vorteil des erfindungsgemäßen Verfahrens besteht dabei darin, dass durch die Verwendung einer im Fahrzeug befindlichen Kamera Objekte automatisch erkannt und bei Einparkvorgängen berücksichtigt werden können, ohne dass zusätzliche Sensoren notwendig sind. The advantage of the method according to the invention consists in the fact that objects can be automatically recognized by the use of a camera located in the vehicle and taken into account during parking processes, without additional sensors being necessary.

In einer Ausgestaltung der Erfindung ist die Erfassung einer Fahrzustandsgröße des Fahrzeugs vorgesehen, um den Bewegungszustand bzw. die Rand- und Umfeldbedingungen des Fahrzeugs bei der Erfassung der Bilder zu erfassen. Durch die Berücksichtigung der Fahrzustandsgröße bei der Erkennung des stationären Objekts kann eindeutiger identifiziert werden, ob der Vergleich ein aussagekräftiges Ergebnis liefert. So ist davon auszugehen, dass sich die Bildhintergründe bei zwei unterschiedlichen Fahrzuständen, z.B. bewegtes und unbewegtes Fahrzeug, deutlicher unterscheiden, um das stationäre Objekt (insbesondere im Vordergrund des Bildes) klarer heraustreten zu lassen. In one embodiment of the invention, the detection of a driving state variable of the vehicle is provided in order to detect the motion state or the boundary and surrounding conditions of the vehicle during the acquisition of the images. By taking into account the driving state variable in the detection of the stationary object can be clearly identified whether the comparison provides a meaningful result. Thus, it can be assumed that the image backgrounds in two different driving conditions, e.g. moving and still moving vehicle, more clearly distinguishable in order to make the stationary object (especially in the foreground of the picture) clearer.

Für den Vergleich der Bilder ist vorteilhafterweise vorgesehen, die Bildinformationen bei der Aufnahme mittels einer Digitalkamera Pixel für Pixel zu vergleichen. Dies kann beispielsweise dadurch geschehen, dass die digitalen Werte der Pixel voneinander abgezogen werden. Vorteilhafterweise wird dabei ein stationäres Objekt erkannt, wenn es einen zusammenhängenden Bereich auf dem Bild gibt, bei dem sich die Pixelwerte nicht oder nur unwesentlich geändert haben, insbesondere bei unterschiedlichen Umgebungen, die beispielsweise durch die Fahrzustandsgröße voneinander unterschieden werden können. For the comparison of the images is advantageously provided to compare the image information when recording by means of a digital camera pixel by pixel. This can be done, for example, by subtracting the digital values of the pixels from each other. In this case, a stationary object is advantageously detected if there is a coherent area on the image in which the pixel values have not changed or only insignificantly changed, in particular in the case of different environments which can be distinguished from one another, for example by the driving state variable.

In einer besonders vorteilhaften Weiterbildung der Erfindung ist vorgesehen, das erkannte stationäre Objekt weiter zu bestimmen. Hierzu wird aus einem oder mehreren Bildern wenigstens eine Dimension des Objekts abgeleitet, z.B. dessen Länge oder auch dessen Breite. Dadurch ist es möglich, vom Fahrzeug abstehende Objekte, die im Kamerabild bei verschiedenen Fahrzuständen immer an der gleichen Stelle abgebildet werden, automatisch zu erkennen und zu vermessen. Die Ableitung der Länge kann beispielsweise dazu verwendet werden, die tatsächlichen Dimensionen, d.h. Länge und Breite des Fahrzeugs zu bestimmen, so dass dieser Wert für Fahrassistenzsysteme zur Verfügung gestellt werden kann. In a particularly advantageous embodiment of the invention, it is provided to further determine the detected stationary object. For this purpose, at least one dimension of the object is derived from one or more images, e.g. its length or its width. This makes it possible to automatically detect and measure protruding objects from the vehicle, which are always mapped in the camera image at different driving conditions in the same place. The derivative of the length may for example be used to represent the actual dimensions, i. To determine the length and width of the vehicle, so that this value can be provided for driver assistance systems.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen bzw. aus den abhängigen Patentansprüchen. Further advantages will become apparent from the following description of exemplary embodiments or from the dependent claims.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

1 Schematische Seitenansicht eines Fahrzeugs mit Kamerasystem und Anhängerkupplung; 1 Schematic side view of a vehicle with camera system and trailer hitch;

2 Blockschaltbild der Realisierung des erfindungsgemäßen Verfahrens; 2 Block diagram of the realization of the method according to the invention;

3 Flussdiagramm des erfindungsgemäßen Verfahrens zur Erkennung eines stationären Objekts an einem Fahrzeug mittels des Vergleichs von Kamerabildern 3 Flowchart of the inventive method for detecting a stationary object on a vehicle by means of the comparison of camera images

Ausführungsformen der Erfindung Embodiments of the invention

Typische Fahrerassistenzsysteme nutzen für die Einparkhilfe sowohl Fahrzeugdaten als auch Umfelddaten, um das Einparkmanöver gerade auf engem Raum für den Fahrer zu erleichtern. Dabei kann das Fahrerassistenzsystem schon vor dem eigentlich Einparkvorgang hilfreich sein, indem es den zur Verfügung stehenden potentiellen Parkplatz mit dem durch das Fahrzeug beim Einparken notwendigen Raumbedarf vergleicht. Ein derartiger Vergleich ist jedoch nur dann erfolgversprechend, wenn neben der Ausmessung des potentiellen Parkraums auch die Abmessungen des Fahrzeugs korrekt vorliegen. Typical driver assistance systems use both vehicle data and environmental data for the parking aid in order to facilitate the parking maneuver in a confined space for the driver. In this case, the driver assistance system can be helpful even before the actual parking process by comparing the available potential parking space with the space required by the vehicle when parking space. However, such a comparison is only promising if, in addition to the measurement of the potential parking space, the dimensions of the vehicle are also correct.

Die für die Berechnung der möglichen Einparkmanöver notwendigen Fahrzeugabmessungen werden üblicherweise in einem Speicher hinterlegt, so dass das Fahrerassistenzsystem diese mit dem erfassten Umfeld bzw. dem potentiellen Parkplatz vergleichen kann. Bei Fahrerassistenzsystemen, die jedoch in eine Reihe unterschiedlicher Fahrzeugmodellen eingebaut werden und somit nicht speziell auf das jeweilige Fahrzeugmodell ausgerichtet sind, besteht die Notwendigkeit, dass alle notwendigen Außenmaße des Fahrzeugs in einem zusätzlichen Schritt in das System eingespeichert werden müssen. Darüber hinaus kann auch die Nachrüstung eines Fahrerassistenzsystems Probleme bereiten, wenn nicht alle Fahrzeugabmessungen korrekt eingegeben werden. Ähnliche Probleme können auch entstehen, wenn am Fahrzeug Umbauten vorgenommen werden, z.B. nachträglich Einbau einer Anhängerkupplung. The vehicle dimensions necessary for the calculation of the possible parking maneuvers are usually stored in a memory so that the driver assistance system can compare them with the detected surroundings or the potential parking space. In driver assistance systems, however, which are installed in a number of different vehicle models and are thus not specifically geared to the respective vehicle model, there is a need that all necessary external dimensions of the vehicle must be stored in an additional step in the system. In addition, the retrofitting of a driver assistance system can cause problems if not all vehicle dimensions are entered correctly. Similar problems can also arise when conversions are made to the vehicle, e.g. retrofitting a trailer hitch.

Mit dem erfindungsgemäßen Verfahren kann eine Maßnahme geschaffen werden, mit der sich stationäre Objekte am Fahrzeug, z.B. einen Antenne, ein Außenspiegel, eine Anhängerkupplung oder sogar ein Anhänger erkennen und in die Berechnung der Fahrmanöver bei Einparkvorgängen integrieren lassen.With the method according to the invention, a measure can be created with which stationary objects on the vehicle, e.g. detect an antenna, exterior mirror, trailer hitch or even trailer and incorporate it into the calculation of driving maneuvers during parking operations.

In der 1 ist schematisch ein Fahrzeug 100 dargestellt, welches eine rückwärts gerichtete Kamera 110, z.B. eine Digitalkamera, in einer Höhe 120 über dem Boden aufweist. Diese Kamera 100 ist derart eingerichtet, dass sie in einem Einbauwinkel 130 zur Senkrechten den rückwärtigen Bereich des Fahrzeugs 100 erfasst. Durch diese Anordnung der Kamera 110 kann eine am Fahrzeug 110 befindliche Anhängerkupplung 150, die in einer Länge 140 vom Fahrzeug 100 absteht, ebenfalls erfasst werden. In the 1 is schematically a vehicle 100 shown, which is a backward camera 110 , eg a digital camera, at a height 120 above the ground. This camera 100 is set up so that it is in a mounting angle 130 to the vertical, the rear area of the vehicle 100 detected. By this arrangement of the camera 110 can one on the vehicle 110 located trailer hitch 150 that are in one length 140 from the vehicle 100 pending, are also recorded.

Der wesentliche Kern des erfindungsgemäßen Verfahrens besteht darin, dass bei den Aufnahmen der Kamera 110 die stationären Objekte, wie beispielsweise im nachfolgenden anhand der Anhängerkupplung 150 ausgeführt, diese invariant abgebildet werden, während die Abbildung der Umgebung wechselt. The essential core of the method according to the invention is that when shooting the camera 110 the stationary objects, such as in the following with reference to the trailer hitch 150 executed, these are displayed invariant, while the mapping of the environment changes.

Zur Durchführung des erfindungsgemäßen Verfahrens wird eine Vorrichtung verwendet, wie sie anhand des Blockschaltbildes in 2 dargestellt ist. Dabei wird ein Steuergerät 200 mit einer Verarbeitungseinheit 210 vorgesehen, z.B. einem µC, welche die Bildinformationen einer Kamera 230 erfasst. Die so erfassten Bilder können in einem internen Speicher 220 abgelegt und für spätere Vergleiche archiviert werden. Optional kann vorgesehen sein, dass zusätzlich eine Fahrzustandsgröße 245 durch entsprechende Fahrzeugsysteme 240 erfasst werden. Dadurch kann berücksichtigt werden, zu welchem Zeitpunkt bzw. unter welchen Bedingungen die Bildinformationen erfasst worden sind. So kann beispielsweise die Fahrtgeschwindigkeit herangezogen werden, um zu unterscheiden, ob sich das Fahrzeug im bewegenden oder stationären Zustand während der Aufnahme der Bildinformationen befunden hat. Auch diese Fahrzustandsgrößen 245 können zusammen mit den Bildern im internen Speicher 220 abgelegt werden. Nachdem ein stationäres Objekt durch den Vergleich wenigstens zweier Bilder ggf. unter Berücksichtigung der Aufnahmebedingungen durch die Fahrzustandsgröße 245 erkannt worden ist, kann die Verarbeitungseinheit 210 aus den Bildinformationen wenigstens eine Dimension, z.B. die Länge, des stationären Objekts ableiten. Zur Ableitung der wenigstens einen Dimension kann entweder ein im Speicher 220 abgelegter Maßstab oder ebenfalls abgespeicherte oder sonst ermittelter (Einbau-)Größen wie beispielsweise die Einbauhöhe 120, der Einbauwinkel 130, der Betrachtungswinkel der Kamera oder sonstiger Größen, die bzgl. der Ableitung der Dimensionen eines Objekts aus dem Abbild notwendig sind herangezogen werden. Nach der Ermittlung der wenigstens einen Dimension des stationären Objekts, z.B. der Länge 140, kann diese Größe 270 an ein Fahrerassistenzsystem 250 weitergeleitet werden. Optional kann auch vorgesehen sein, dass diese Größe(n) 270 in einem Speicher 260 abgelegt werden, der die Daten zur Berechnung eines Fahrzeugsmodells im Rahmen von Fahrerassistenzsystemen oder sonstiger Einparkhilfen enthält. To carry out the method according to the invention, a device is used, as described with reference to the block diagram in FIG 2 is shown. This is a control unit 200 with a processing unit 210 provided, for example, a μC, which the image information of a camera 230 detected. The captured images can be stored in an internal memory 220 filed and archived for later comparisons. Optionally, it may be provided that additionally a driving state variable 245 through appropriate vehicle systems 240 be recorded. As a result, it can be taken into account at what time or under which conditions the image information has been acquired. Thus, for example, the travel speed can be used to distinguish whether the vehicle was in the moving or stationary state during the recording of the image information. Also these driving conditions sizes 245 can work together with the pictures in the internal memory 220 be filed. After a stationary object by comparing at least two images, if necessary, taking into account the recording conditions by the Fahrzustandsgröße 245 has been detected, the processing unit 210 deriving from the image information at least one dimension, eg the length, of the stationary object. To derive the at least one dimension can either one in memory 220 stored scale or stored or otherwise determined (built) sizes such as the installation height 120 , the installation angle 130 , the viewing angle of the camera or other quantities that are necessary for the derivation of the dimensions of an object from the image are used. After determining the at least one dimension of the stationary object, eg the length 140 , this size may be 270 to a driver assistance system 250 to get redirected. Optionally, it can also be provided that this size (s) 270 in a store 260 be stored, the data for the calculation of a Vehicle model in the context of driver assistance systems or other parking aids contains.

Anhand des Flussdiagramms der 3 soll das prinzipielle erfindungsgemäße Verfahren zur Erkennung eines stationären Objekts aus der Auswertung von Bildern einer Kamera und Ableitung zumindest der Länge des stationären Objekts verdeutlicht werden. Nach dem Start des Verfahrens wird in einem ersten Schritt 300 wenigstens ein Bild einer Kamera 110 erfasst und ggf. abgespeichert. Optional wird in einem zweiten Schritt 310 der Fahrzustand bzw. die Fahrkondition erfasst, die bei der Aufnahme des wenigstens einen Bildes vorlag. Zur späteren Verarbeitung der Bilder kann die so erfasste Fahrzustandsgröße zusammen mit dem Bild abgespeichert werden. Im dritten Schritt 320 wird überprüft, ob die zur Verfügung stehenden Bilder für eine Auswertung geeignet sind. Dabei kann sowohl der Inhalt der Bilder, z.B. die Bildinformationen als solches aber auch die Fahrzustandsgrößen, die mit den Bildern verbunden sind, als Entscheidungshilfe herangezogen werden. So ist denkbar, dass gezielt Bilder aus einer ruhenden Position des Fahrzeugs mit solchen aus einer bewegten Position verglichen werden, um einen möglichst großen Kontrast zwischen den zu vergleichenden Bildern herzustellen. Es ist jedoch auch denkbar, dass überprüft wird, ob die zu vergleichenden Bilder mit ausreichend großer Wahrscheinlichkeit dazu geeignet sind, ein stationäres Objekt anzuzeigen, bspw. indem wenigstens 50%, 66%, 75% oder 90% der Bildinformationen verändert sein müssen. Based on the flowchart of 3 Let the principle inventive method for detecting a stationary object from the evaluation of images of a camera and derivation of at least the length of the stationary object be clarified. After the start of the procedure is in a first step 300 at least a picture of a camera 110 recorded and stored if necessary. Optionally, in a second step 310 detects the driving condition or condition that existed when the at least one image was taken. For later processing of the images, the thus detected driving state variable can be stored together with the image. In the third step 320 it is checked whether the available images are suitable for evaluation. In this case, both the content of the images, for example the image information as such, but also the driving state variables associated with the images, can be used as a decision-making aid. Thus, it is conceivable that images from a stationary position of the vehicle are compared with those from a moved position in order to produce the greatest possible contrast between the images to be compared. However, it is also conceivable to check whether the images to be compared are sufficiently likely to be suitable for displaying a stationary object, for example by having at least 50%, 66%, 75% or 90% of the image information changed.

Wird festgestellt, dass die Bedingung im dritten Schritt 320 nicht erfüllt ist, werden erneut mit dem Schritt 300 ein oder mehrere Bilder und mit dem Schritt 310 eine oder mehrere zugehörige Fahrzustandsgrößen erfasst. Liegen jedoch geeignete Bilder bzw. Bildinformationen zur Erkennung eines stationären Objekts vor, wird im vierten Schritt 330 ein Vergleich der Bilder durchgeführt. Dieser Vergleich kann bei der Verwendung von Digitalkameras beispielsweise dadurch durchgeführt werden, dass die Bildinformationen der einzelnen Bild-Pixel verglichen bzw. deren Unterschiede berechnet werden. Aus dem Vergleich ergibt sich so eine Information darüber, in welchen Bereichen der Bilder sich bewegte Objekte befinden. Im Umkehrschluss kann erkannt werden, welche Bereiche des Bildes keine Bewegung abbilden, so dass daraus geschlossen werden kann, dass diese Bereiche ein stationäres Objekt, d.h. ein Objekt zeigt, welches starr mit dem Fahrzeug verbunden ist und sich somit gleichartig mit dem Fahrzeug bewegt. Optional kann in Schritt 330 auch ein unterschiedlicher Lichteinfall berücksichtigt werden, beispielsweise indem einheitliche Helligkeitswerte von einem oder mehreren Originalbildern abgezogen werden müssen, bevor ein Vergleich durchgeführt werden kann. Selbstverständlich kann auch nach der Differenzbildung eine einheitliche Verschiebung erkannt und bei der Erkennung des stationären Objekts berücksichtigt werden. If the condition is determined in the third step 320 is not met, will be redone with the step 300 one or more pictures and with the step 310 one or more associated driving state variables detected. However, if suitable images or image information for detecting a stationary object are present, in the fourth step 330 a comparison of the pictures done. This comparison can be carried out when using digital cameras, for example, by comparing the image information of the individual image pixels or calculating their differences. The comparison results in information about which areas of the images are moving objects. Conversely, it can be recognized which areas of the image do not map any movement, so that it can be concluded that these areas show a stationary object, ie an object, which is rigidly connected to the vehicle and thus moves in a similar manner to the vehicle. Optionally, in step 330 Also, a different incidence of light are taken into account, for example by uniform brightness values must be subtracted from one or more original images before a comparison can be performed. Of course, even after the difference formation a uniform shift detected and taken into account in the detection of the stationary object.

Nach der Verarbeitung bzw. Differenzbildung der Bilder kann in einem fünften Schritt über das weitere Vorgehen entschieden werden. Sollte kein Hinweis auf stationäre Objekte vorliegen, kann das Verfahren beendet werden. Ist dagegen ein stationäres Objekt erkannt worden, z.B. eine Anhängerkupplung, so wird das Verfahren mit dem sechsten Schritt 350 weiter betrieben. In diesem sechsten Schritt 350 wird aufgrund der vorliegenden Bildinformationen wenigstens eine Dimension des stationären Objekts bestimmt, z.B. deren Länge, d.h. inwieweit das Objekt vom Fahrzeug absteht. Die Bestimmung der Länge erfolgt dabei über die Original-Bildinformationen, beispielsweise indem bekannte Maßstäbe des aufgenommen Bildes herangezogen werden. Alternativ können auch die Einbaugrößen der Kamera am Fahrzeug herangezogen werden, um aus den entsprechenden Relationen zusammen mit den Bildinformationen auf die Länge z.B. der Anhängerkupplung zu schließen. So kann mittels des bekannten Blickwinkels der Kamera in Verbindung mit dem Einbauwinkel 130 und der Einbauhöhe 120 auf die Länge 140 der Anhängerkupplung 150 geschlossen werden. Die so ermittelte wenigstens eine Dimension, z.B. die Länge 270, kann nachfolgenden in einem siebten Schritt 360 an ein Fahrerassistenzsystem bzw. eine Einparkhilfe 250 weitergeleitet werden, so dass sie für die Berechnung des Mindestabstands zu einem Hinderniss zur Verfügung steht. Optional kann diese Größe 270 auch in einen allgemeinen Speicher 260 abgelegt werden, so dass die entsprechenden Systeme darauf zugreifen können. Nach der Weiterleitung bzw. Abspeicherung der Größe 260 im Schritt 360 wird das Verfahren beendet. After processing or subtraction of the images, the further procedure can be decided in a fifth step. If there is no indication of stationary objects, the procedure can be ended. If, on the other hand, a stationary object has been recognized, for example a trailer hitch, the method becomes the sixth step 350 continued to operate. In this sixth step 350 On the basis of the present image information, at least one dimension of the stationary object is determined, for example its length, ie to what extent the object protrudes from the vehicle. The determination of the length takes place via the original image information, for example by using known scales of the recorded image. Alternatively, the installation sizes of the camera can be used on the vehicle to close from the corresponding relations together with the image information on the length of the trailer coupling for example. So can by means of the known angle of the camera in conjunction with the mounting angle 130 and the installation height 120 on the length 140 the trailer hitch 150 getting closed. The thus determined at least one dimension, eg the length 270 , can succeed in a seventh step 360 to a driver assistance system or a parking aid 250 so that it is available to calculate the minimum distance to an obstacle. Optionally, this size 270 also in a general store 260 be stored so that the corresponding systems can access it. After forwarding or storing the size 260 in step 360 the procedure is terminated.

In einem weiteren Ausführungsbeispiel kann auch vorgesehen sein, dass ein separates Verfahren die Bedingung für die Auswertung der Bildinformationen überprüft und das tatsächlich Verfahren zur Erkennung eines stationären Objekts mit Schritt 330 erst bei Vorliegen der Bedingungen startet. In a further exemplary embodiment it can also be provided that a separate method checks the condition for the evaluation of the image information and the actual method for the detection of a stationary object with step 330 only when the conditions start.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102004051963 A1 [0002] DE 102004051963 A1 [0002]
  • DE 102009032541 A1 [0002] DE 102009032541 A1 [0002]

Claims (10)

Verfahren zur Erkennung stationärer Objekte mittels eines Kamerasystems in einem Fahrzeug (100), wobei vorgesehen ist, dass • Bilder einer Kamera (110, 230) erfasst werden, und • wenigstens zwei Bilder der Kamera (110, 230) miteinander verglichen werden, dadurch gekennzeichnet, dass aufgrund des Vergleichs (330) ein stationäres Objekt (150) im Sichtbereich der Kamera (110, 230) erkannt wird. Method for detecting stationary objects by means of a camera system in a vehicle ( 100 ), whereby it is provided that • images of a camera ( 110 . 230 ), and • at least two images of the camera ( 110 . 230 ), characterized in that, on the basis of the comparison ( 330 ) a stationary object ( 150 ) in the field of view of the camera ( 110 . 230 ) is recognized. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Fahrzustandsgröße (245) des Fahrzeugs (100) erfasst wird und die Erkennung des stationären Objekts (150) in Abhängigkeit von der Fahrzustandsgröße erfolgt. Method according to Claim 1, characterized in that a driving state variable ( 245 ) of the vehicle ( 100 ) and the detection of the stationary object ( 150 ) takes place as a function of the driving state variable. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für den Vergleich (330) Bilder verwendet werden, die zu wenigstens zwei unterschiedlichen Fahrzustände des Fahrzeugs (100) erfasst worden sind, wobei insbesondere vorgesehen ist, dass ein erstes Bild erfasst wird, wenn das Fahrzeug steht und ein zweites Bild erfasst wird, wenn sich das Fahrzeug bewegt. Method according to claim 2, characterized in that for the comparison ( 330 ) Images are used, which at least two different driving conditions of the vehicle ( 100 ), wherein in particular it is provided that a first image is detected when the vehicle is stationary and a second image is detected when the vehicle is moving. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Vergleich (330) die Pixel der zu vergleichenden Bilder miteinander verglichen werden. Method according to one of the preceding claims, characterized in that in the comparison ( 330 ) the pixels of the images to be compared are compared with each other. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das stationäre Objekt (150) im Sichtbereich der Kamera (110, 230) erkannt wird, wenn die Pixel der zu vergleichenden Bilder im Wesentlichen identisch sind. Method according to claim 4, characterized in that the stationary object ( 150 ) in the field of view of the camera ( 110 . 230 ) is detected when the pixels of the images to be compared are substantially identical. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der Erkennung eines stationären Objekt (150) wenigstens eine Dimension des stationären Objekts (150) ermittelt wird, wobei insbesondere die Länge (140) des stationären Objekts ermittelt wird. Method according to one of the preceding claims, characterized in that, depending on the detection of a stationary object ( 150 ) at least one dimension of the stationary object ( 150 ), in particular the length ( 140 ) of the stationary object is determined. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die wenigstens eine Dimension, insbesondere die Länge des stationären Objekts (150) an ein System im Fahrzeug (100) weitergeleitet wird, welches zur Umfeldsensierung, zur Ermittlung eines Freiraums um das Fahrzeug (100) oder zur Durchführung eines Parkvorgangs dient. Method according to claim 6, characterized in that the at least one dimension, in particular the length of the stationary object ( 150 ) to a system in the vehicle ( 100 ), which is used for environment sensing, for determining a free space around the vehicle ( 100 ) or to carry out a parking operation. Steuervorrichtung mit • einem Erfassungsmittel (210) zur Erfassung und/oder Speicherung von Bildern einer Kamera (110, 230) eines Fahrzeugs (100) und • einem Vergleichsmittel (210) zum Vergleich wenigstens zweier Bilder der Kamera, dadurch gekennzeichnet, dass ein Ausgabemittel (210) vorgesehen ist, welches aufgrund des Vergleichs nach einem der Verfahren nach Anspruch 1 bis 7 ein Signal (270) erzeugt, welches ein stationäres Objekt (150) im Sichtbereich der Kamera (110) anzeigt. Control device with a detection means ( 210 ) for capturing and / or storing images of a camera ( 110 . 230 ) of a vehicle ( 100 ) and • a comparison means ( 210 ) for comparing at least two images of the camera, characterized in that an output means ( 210 ) is provided, which due to the comparison according to one of the methods of claim 1 to 7 a signal ( 270 ), which is a stationary object ( 150 ) in the field of view of the camera ( 110 ). Steuervorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass das Signal (270) wenigstens eine Dimension, insbesondere die Länge (140) des stationären Objekts (150) angibt. Control device according to claim 8, characterized in that the signal ( 270 ) at least one dimension, in particular the length ( 140 ) of the stationary object ( 150 ) indicates. System zur Durchführung eines Parkvorgangs, welches die Daten eines Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 7 verwendet, insbesondere die wenigstens eine Dimension des erkannten stationären Objekts (150). System for carrying out a parking operation which uses the data of a method according to one of the preceding claims 1 to 7, in particular the at least one dimension of the detected stationary object ( 150 ).
DE201210222443 2012-12-06 2012-12-06 Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable Ceased DE102012222443A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210222443 DE102012222443A1 (en) 2012-12-06 2012-12-06 Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210222443 DE102012222443A1 (en) 2012-12-06 2012-12-06 Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable

Publications (1)

Publication Number Publication Date
DE102012222443A1 true DE102012222443A1 (en) 2014-06-12

Family

ID=50778052

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210222443 Ceased DE102012222443A1 (en) 2012-12-06 2012-12-06 Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable

Country Status (1)

Country Link
DE (1) DE102012222443A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9937861B2 (en) 2014-10-08 2018-04-10 Ford Global Technologies, Llc Vehicle blind spot system operation with trailer tow
US10489662B2 (en) 2016-07-27 2019-11-26 Ford Global Technologies, Llc Vehicle boundary detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004051963A1 (en) 2004-10-25 2006-05-04 Robert Bosch Gmbh Method for driver assistance
DE102009032541A1 (en) 2009-07-10 2011-01-13 Audi Ag Method for operating a driver assistance system of a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004051963A1 (en) 2004-10-25 2006-05-04 Robert Bosch Gmbh Method for driver assistance
DE102009032541A1 (en) 2009-07-10 2011-01-13 Audi Ag Method for operating a driver assistance system of a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9937861B2 (en) 2014-10-08 2018-04-10 Ford Global Technologies, Llc Vehicle blind spot system operation with trailer tow
US10489662B2 (en) 2016-07-27 2019-11-26 Ford Global Technologies, Llc Vehicle boundary detection

Similar Documents

Publication Publication Date Title
EP2753533B1 (en) Determination of the position of structural elements of a vehicle
DE112017002743T5 (en) Parking assistance device and parking assistance method
DE102010062589A1 (en) Camera-based method for distance determination in a stationary vehicle
DE112014003818T5 (en) Object estimator and object estimation method
DE102010006521A1 (en) Method for determining change of bending angle of vehicle locomotive set, involves scanning environment besides one or multiple vehicles by man with sensor
WO2019201565A1 (en) Method, device and computer-readable storage medium having instructions for processing sensor data
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102015120014B4 (en) Monitoring method and apparatus using a camera
EP2579228A1 (en) Method and system for digital imaging of the vicinity of a vehicle
DE102016012345A1 (en) Method for recognizing objects
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102011084588A1 (en) Method for supporting driver while parking vehicle in e.g. parking region surrounded by boundary, involves determining objective parking position as function of object, and initiating park process to park vehicle at objective position
DE102013021840A1 (en) Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle
EP3293971B1 (en) Method for reproducing a section of an image
DE102017123226A1 (en) A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer
DE102012222443A1 (en) Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable
DE112020000325T5 (en) Estimation of trailer properties with vehicle sensors
DE102014208272A1 (en) Method and apparatus for tracking-based visibility estimation
DE102011088167A1 (en) Method for detecting e.g. oil loss, in motor car, involves detecting images, and recognizing load loss if images differ from each other by more than predetermined threshold value, and outputting warning signal if load loss is recognized
DE102015220467A1 (en) A method of assisting a driver in parking a vehicle and a parking assistance system
EP3032517A1 (en) Device and method for supporting a driver of a vehicle, in particular a commercial vehicle
EP4068223A1 (en) Method and system for determining the ground level with an artificial neural network
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102019212124B4 (en) Motor vehicle and method for operating a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final