DE102012222443A1 - Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable - Google Patents
Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable Download PDFInfo
- Publication number
- DE102012222443A1 DE102012222443A1 DE201210222443 DE102012222443A DE102012222443A1 DE 102012222443 A1 DE102012222443 A1 DE 102012222443A1 DE 201210222443 DE201210222443 DE 201210222443 DE 102012222443 A DE102012222443 A DE 102012222443A DE 102012222443 A1 DE102012222443 A1 DE 102012222443A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- camera
- images
- stationary object
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000009420 retrofitting Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung stationärer Objekte mittels eines Kamerasystems sowie einem System zur Durchführung eines Parkvorgangs, welches das Verfahren zur Erkennung stationärer Objekte nutzt. The invention relates to a method and a device for detecting stationary objects by means of a camera system and a system for carrying out a parking operation, which uses the method for detecting stationary objects.
Stand der TechnikState of the art
Fahrerassistenzsysteme, die den Fahrer u.a. bei Einparkvorgängen unterstützen, sind seit längerem bekannt. Maßgeblich bei derartigen Steuerungen sind die Kenntnisse sowohl des Fahrzeugumfelds als auch die Abmessungen des Fahrzeugs, um die möglichen Fahrtrajektorien berechnen zu können. So ist beispielsweise aus der
Bei den vorstehenden Berücksichtigungen der vom Fahrzeug abstehenden und ggf. für einen Einparkvorgang kritischen Objekte ist entweder eine feste Eingabe oder eine zusätzliche Sensorabfrage notwendig. Mit der vorliegenden Erfindung wird daher ein Verfahren bzw. eine Anwendung eines Verfahrens beschrieben, bei dem mittels der Erfassung der ohnehin für den Einparkvorgang vorliegenden Kamerabildern automatisch stationäre und somit vom Fahrzeug abstehende Objekte erkannt werden, die für die weitere Verwendung im Fahrerassistenzsystem aufbereitet werden. Hierzu wird ein Verfahren der Videokompression angepasst, bei dem nur Änderungen in den aufgenommenen Bildern registriert und abgespeichert werden. In the above considerations of projecting from the vehicle and possibly for a parking critical objects either a fixed input or an additional sensor query is necessary. The present invention therefore describes a method and / or an application of a method in which by means of the detection of the camera images already present for the parking operation, stationary and thus protruding objects from the vehicle are automatically detected, which are processed for further use in the driver assistance system. For this purpose, a method of video compression is adapted in which only changes in the recorded images are registered and stored.
Offenbarung der ErfindungDisclosure of the invention
Mit der vorliegenden Erfindung wird ein Verfahren und eine Vorrichtung sowie eine Anwendung des Verfahrens beschrieben, bei dem ein stationäres Objekt mit Hilfe der Bilder einer Kamera erfasst wird. Dabei ist insbesondere vorgesehen, dass sich sowohl die Kamera, z.B. eine Digitalkamera, als auch die zum Verfahren gehörige Vorrichtung in oder an einem Fahrzeug befindet. Mittels des Verfahrens werden die Bilder einer Kamera erfasst und miteinander verglichen. Der Kern der Erfindung besteht nun darin, dass aufgrund des Vergleichs ein stationäres Objekt im Sichtbereich der Kamera erkannt wird. The present invention describes a method and an apparatus as well as an application of the method in which a stationary object is detected with the aid of the images of a camera. In particular, it is provided that both the camera, e.g. a digital camera as well as the device associated with the method is located in or on a vehicle. By means of the method, the images of a camera are captured and compared with each other. The essence of the invention consists in the fact that a stationary object in the field of view of the camera is detected on the basis of the comparison.
Der Vorteil des erfindungsgemäßen Verfahrens besteht dabei darin, dass durch die Verwendung einer im Fahrzeug befindlichen Kamera Objekte automatisch erkannt und bei Einparkvorgängen berücksichtigt werden können, ohne dass zusätzliche Sensoren notwendig sind. The advantage of the method according to the invention consists in the fact that objects can be automatically recognized by the use of a camera located in the vehicle and taken into account during parking processes, without additional sensors being necessary.
In einer Ausgestaltung der Erfindung ist die Erfassung einer Fahrzustandsgröße des Fahrzeugs vorgesehen, um den Bewegungszustand bzw. die Rand- und Umfeldbedingungen des Fahrzeugs bei der Erfassung der Bilder zu erfassen. Durch die Berücksichtigung der Fahrzustandsgröße bei der Erkennung des stationären Objekts kann eindeutiger identifiziert werden, ob der Vergleich ein aussagekräftiges Ergebnis liefert. So ist davon auszugehen, dass sich die Bildhintergründe bei zwei unterschiedlichen Fahrzuständen, z.B. bewegtes und unbewegtes Fahrzeug, deutlicher unterscheiden, um das stationäre Objekt (insbesondere im Vordergrund des Bildes) klarer heraustreten zu lassen. In one embodiment of the invention, the detection of a driving state variable of the vehicle is provided in order to detect the motion state or the boundary and surrounding conditions of the vehicle during the acquisition of the images. By taking into account the driving state variable in the detection of the stationary object can be clearly identified whether the comparison provides a meaningful result. Thus, it can be assumed that the image backgrounds in two different driving conditions, e.g. moving and still moving vehicle, more clearly distinguishable in order to make the stationary object (especially in the foreground of the picture) clearer.
Für den Vergleich der Bilder ist vorteilhafterweise vorgesehen, die Bildinformationen bei der Aufnahme mittels einer Digitalkamera Pixel für Pixel zu vergleichen. Dies kann beispielsweise dadurch geschehen, dass die digitalen Werte der Pixel voneinander abgezogen werden. Vorteilhafterweise wird dabei ein stationäres Objekt erkannt, wenn es einen zusammenhängenden Bereich auf dem Bild gibt, bei dem sich die Pixelwerte nicht oder nur unwesentlich geändert haben, insbesondere bei unterschiedlichen Umgebungen, die beispielsweise durch die Fahrzustandsgröße voneinander unterschieden werden können. For the comparison of the images is advantageously provided to compare the image information when recording by means of a digital camera pixel by pixel. This can be done, for example, by subtracting the digital values of the pixels from each other. In this case, a stationary object is advantageously detected if there is a coherent area on the image in which the pixel values have not changed or only insignificantly changed, in particular in the case of different environments which can be distinguished from one another, for example by the driving state variable.
In einer besonders vorteilhaften Weiterbildung der Erfindung ist vorgesehen, das erkannte stationäre Objekt weiter zu bestimmen. Hierzu wird aus einem oder mehreren Bildern wenigstens eine Dimension des Objekts abgeleitet, z.B. dessen Länge oder auch dessen Breite. Dadurch ist es möglich, vom Fahrzeug abstehende Objekte, die im Kamerabild bei verschiedenen Fahrzuständen immer an der gleichen Stelle abgebildet werden, automatisch zu erkennen und zu vermessen. Die Ableitung der Länge kann beispielsweise dazu verwendet werden, die tatsächlichen Dimensionen, d.h. Länge und Breite des Fahrzeugs zu bestimmen, so dass dieser Wert für Fahrassistenzsysteme zur Verfügung gestellt werden kann. In a particularly advantageous embodiment of the invention, it is provided to further determine the detected stationary object. For this purpose, at least one dimension of the object is derived from one or more images, e.g. its length or its width. This makes it possible to automatically detect and measure protruding objects from the vehicle, which are always mapped in the camera image at different driving conditions in the same place. The derivative of the length may for example be used to represent the actual dimensions, i. To determine the length and width of the vehicle, so that this value can be provided for driver assistance systems.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen bzw. aus den abhängigen Patentansprüchen. Further advantages will become apparent from the following description of exemplary embodiments or from the dependent claims.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Ausführungsformen der Erfindung Embodiments of the invention
Typische Fahrerassistenzsysteme nutzen für die Einparkhilfe sowohl Fahrzeugdaten als auch Umfelddaten, um das Einparkmanöver gerade auf engem Raum für den Fahrer zu erleichtern. Dabei kann das Fahrerassistenzsystem schon vor dem eigentlich Einparkvorgang hilfreich sein, indem es den zur Verfügung stehenden potentiellen Parkplatz mit dem durch das Fahrzeug beim Einparken notwendigen Raumbedarf vergleicht. Ein derartiger Vergleich ist jedoch nur dann erfolgversprechend, wenn neben der Ausmessung des potentiellen Parkraums auch die Abmessungen des Fahrzeugs korrekt vorliegen. Typical driver assistance systems use both vehicle data and environmental data for the parking aid in order to facilitate the parking maneuver in a confined space for the driver. In this case, the driver assistance system can be helpful even before the actual parking process by comparing the available potential parking space with the space required by the vehicle when parking space. However, such a comparison is only promising if, in addition to the measurement of the potential parking space, the dimensions of the vehicle are also correct.
Die für die Berechnung der möglichen Einparkmanöver notwendigen Fahrzeugabmessungen werden üblicherweise in einem Speicher hinterlegt, so dass das Fahrerassistenzsystem diese mit dem erfassten Umfeld bzw. dem potentiellen Parkplatz vergleichen kann. Bei Fahrerassistenzsystemen, die jedoch in eine Reihe unterschiedlicher Fahrzeugmodellen eingebaut werden und somit nicht speziell auf das jeweilige Fahrzeugmodell ausgerichtet sind, besteht die Notwendigkeit, dass alle notwendigen Außenmaße des Fahrzeugs in einem zusätzlichen Schritt in das System eingespeichert werden müssen. Darüber hinaus kann auch die Nachrüstung eines Fahrerassistenzsystems Probleme bereiten, wenn nicht alle Fahrzeugabmessungen korrekt eingegeben werden. Ähnliche Probleme können auch entstehen, wenn am Fahrzeug Umbauten vorgenommen werden, z.B. nachträglich Einbau einer Anhängerkupplung. The vehicle dimensions necessary for the calculation of the possible parking maneuvers are usually stored in a memory so that the driver assistance system can compare them with the detected surroundings or the potential parking space. In driver assistance systems, however, which are installed in a number of different vehicle models and are thus not specifically geared to the respective vehicle model, there is a need that all necessary external dimensions of the vehicle must be stored in an additional step in the system. In addition, the retrofitting of a driver assistance system can cause problems if not all vehicle dimensions are entered correctly. Similar problems can also arise when conversions are made to the vehicle, e.g. retrofitting a trailer hitch.
Mit dem erfindungsgemäßen Verfahren kann eine Maßnahme geschaffen werden, mit der sich stationäre Objekte am Fahrzeug, z.B. einen Antenne, ein Außenspiegel, eine Anhängerkupplung oder sogar ein Anhänger erkennen und in die Berechnung der Fahrmanöver bei Einparkvorgängen integrieren lassen.With the method according to the invention, a measure can be created with which stationary objects on the vehicle, e.g. detect an antenna, exterior mirror, trailer hitch or even trailer and incorporate it into the calculation of driving maneuvers during parking operations.
In der
Der wesentliche Kern des erfindungsgemäßen Verfahrens besteht darin, dass bei den Aufnahmen der Kamera
Zur Durchführung des erfindungsgemäßen Verfahrens wird eine Vorrichtung verwendet, wie sie anhand des Blockschaltbildes in
Anhand des Flussdiagramms der
Wird festgestellt, dass die Bedingung im dritten Schritt
Nach der Verarbeitung bzw. Differenzbildung der Bilder kann in einem fünften Schritt über das weitere Vorgehen entschieden werden. Sollte kein Hinweis auf stationäre Objekte vorliegen, kann das Verfahren beendet werden. Ist dagegen ein stationäres Objekt erkannt worden, z.B. eine Anhängerkupplung, so wird das Verfahren mit dem sechsten Schritt
In einem weiteren Ausführungsbeispiel kann auch vorgesehen sein, dass ein separates Verfahren die Bedingung für die Auswertung der Bildinformationen überprüft und das tatsächlich Verfahren zur Erkennung eines stationären Objekts mit Schritt
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102004051963 A1 [0002] DE 102004051963 A1 [0002]
- DE 102009032541 A1 [0002] DE 102009032541 A1 [0002]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201210222443 DE102012222443A1 (en) | 2012-12-06 | 2012-12-06 | Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201210222443 DE102012222443A1 (en) | 2012-12-06 | 2012-12-06 | Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102012222443A1 true DE102012222443A1 (en) | 2014-06-12 |
Family
ID=50778052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE201210222443 Ceased DE102012222443A1 (en) | 2012-12-06 | 2012-12-06 | Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012222443A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9937861B2 (en) | 2014-10-08 | 2018-04-10 | Ford Global Technologies, Llc | Vehicle blind spot system operation with trailer tow |
US10489662B2 (en) | 2016-07-27 | 2019-11-26 | Ford Global Technologies, Llc | Vehicle boundary detection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004051963A1 (en) | 2004-10-25 | 2006-05-04 | Robert Bosch Gmbh | Method for driver assistance |
DE102009032541A1 (en) | 2009-07-10 | 2011-01-13 | Audi Ag | Method for operating a driver assistance system of a vehicle |
-
2012
- 2012-12-06 DE DE201210222443 patent/DE102012222443A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004051963A1 (en) | 2004-10-25 | 2006-05-04 | Robert Bosch Gmbh | Method for driver assistance |
DE102009032541A1 (en) | 2009-07-10 | 2011-01-13 | Audi Ag | Method for operating a driver assistance system of a vehicle |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9937861B2 (en) | 2014-10-08 | 2018-04-10 | Ford Global Technologies, Llc | Vehicle blind spot system operation with trailer tow |
US10489662B2 (en) | 2016-07-27 | 2019-11-26 | Ford Global Technologies, Llc | Vehicle boundary detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2753533B1 (en) | Determination of the position of structural elements of a vehicle | |
DE112017002743T5 (en) | Parking assistance device and parking assistance method | |
DE102010062589A1 (en) | Camera-based method for distance determination in a stationary vehicle | |
DE112014003818T5 (en) | Object estimator and object estimation method | |
DE102010006521A1 (en) | Method for determining change of bending angle of vehicle locomotive set, involves scanning environment besides one or multiple vehicles by man with sensor | |
WO2019201565A1 (en) | Method, device and computer-readable storage medium having instructions for processing sensor data | |
DE102013202915A1 (en) | Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges | |
DE102018204451A1 (en) | Method and device for auto-calibration of a vehicle camera system | |
DE102015120014B4 (en) | Monitoring method and apparatus using a camera | |
EP2579228A1 (en) | Method and system for digital imaging of the vicinity of a vehicle | |
DE102016012345A1 (en) | Method for recognizing objects | |
DE102011010860A1 (en) | Method and driver assistance system for displaying images in a motor vehicle and motor vehicle | |
DE102011084588A1 (en) | Method for supporting driver while parking vehicle in e.g. parking region surrounded by boundary, involves determining objective parking position as function of object, and initiating park process to park vehicle at objective position | |
DE102013021840A1 (en) | Method for generating an environment model of a motor vehicle, driver assistance system and motor vehicle | |
EP3293971B1 (en) | Method for reproducing a section of an image | |
DE102017123226A1 (en) | A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer | |
DE102012222443A1 (en) | Method for recognition of tow-bar by camera system of driver assistance system in vehicle while parking vehicle, involves recognizing object in field of vision of camera due to image pixel comparison based on driving condition variable | |
DE112020000325T5 (en) | Estimation of trailer properties with vehicle sensors | |
DE102014208272A1 (en) | Method and apparatus for tracking-based visibility estimation | |
DE102011088167A1 (en) | Method for detecting e.g. oil loss, in motor car, involves detecting images, and recognizing load loss if images differ from each other by more than predetermined threshold value, and outputting warning signal if load loss is recognized | |
DE102015220467A1 (en) | A method of assisting a driver in parking a vehicle and a parking assistance system | |
EP3032517A1 (en) | Device and method for supporting a driver of a vehicle, in particular a commercial vehicle | |
EP4068223A1 (en) | Method and system for determining the ground level with an artificial neural network | |
DE102018202753A1 (en) | Method for determining a distance between a motor vehicle and an object | |
DE102019212124B4 (en) | Motor vehicle and method for operating a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |