DE102013222304A1

DE102013222304A1 - Method for determining object distances with a camera installed in a motor vehicle

Info

Publication number: DE102013222304A1
Application number: DE201310222304
Authority: DE
Inventors: Gerhard Müller
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2013-11-04
Filing date: 2013-11-04
Publication date: 2015-05-07

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug (2) verbauten Kamera (6), bei dem ein Objektiv (20) der Kamera (6) in mehrere Fokus-Positionen (F) verfahren wird, und eine Anzahl an Bildern (18) eines Objektes (10) in den Fokus-Positionen (F) aufgenommen werden, wobei Objektkanten des Objektes (10) in den Bildern (18) unterschiedlich scharf abgebildet sind, und dass mit Hilfe eines Auswertealgorithmus anhand der unterschiedlich scharf abgebildeten Objektkanten die Objektentfernung berechnet wird.The invention relates to a method for determining object distances with a camera (6) installed in a motor vehicle (2), in which an objective (20) of the camera (6) is moved into a plurality of focus positions (F), and a number Images (18) of an object (10) in the focus positions (F) are recorded, wherein object edges of the object (10) in the images (18) are shown differently sharply, and that with the aid of an evaluation algorithm based on the differently sharply imaged object edges the object distance is calculated.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera, insbesondere einer Monokamera eines Fahrerassistenzsystems. The invention relates to a method for determining object distances with a camera installed in a motor vehicle, in particular a monocamera of a driver assistance system.

Bei Kraftfahrzeugen sind heutzutage zunehmend Sensoren als Assistenzsysteme eingebaut, die den Fahrzeugnutzer beim Fahren des Fahrzeuges unterstützen. Als Assistenzsysteme sind beispielsweise kamerabasierte Systeme zur optischen Überwachung der Fahrzeugumgebung als Rückfahr- und Einparkhilfen oder als Spurhalteassistent bekannt. Derartige Assistenzsysteme umfassen typischerweise ein am Fahrzeugaußenbereich angeordnetes Kamerasystem zur optischen Erfassung und Aufnahme der Fahrzeugumgebung. Die Einbausituation des Kamerasystems richtet sich hierbei insbesondere nach der bestimmungsgebenden Assistenzfunktion, beispielsweise sind Kamerasysteme für Rückfahrhilfen typischerweise im Bereich des Fahrzeughecks oder Fahrzeugrückscheibe angeordnet. Das von den Kamerasystem erfasste Bild ist typischerweise auf einem Display in der Fahrzeugkabine für den Fahrzeugnutzer darstellbar. In motor vehicles, sensors are increasingly being installed today as assistance systems that assist the vehicle user when driving the vehicle. As assistance systems, for example, camera-based systems for optical monitoring of the vehicle environment are known as reversing and parking aids or as a lane departure warning system. Such assistance systems typically include a vehicle exterior mounted camera system for optically capturing and capturing the vehicle environment. The installation situation of the camera system here depends in particular on the intended assistance function; for example, camera systems for reversing aids are typically arranged in the area of the rear of the vehicle or the rear window of the vehicle. The image captured by the camera system can typically be displayed on a display in the vehicle cabin for the vehicle user.

Derartige Kameraassistenzsysteme können mittels Bildverarbeitung durch eine Auswerteeinheit im beobachteten Fahrzeugraum Objekte, beispielsweise spielende Kinder oder Fußgänger, sowie andere Hindernisse automatisch erkennen, und können in der Folge auch automatisch in die Fahrzeugdynamik eingreifen. Zweckmäßigerweise werden hierzu insbesondere dreidimensionale Tiefeninformationen aus den aufgenommenen Bildern benötigt, um beispielsweise insbesondere die Objektentfernung relativ zum Fahrzeug zu bestimmen. Such camera assistance systems can automatically detect objects, for example playing children or pedestrians, as well as other obstacles by means of image processing by an evaluation unit in the observed vehicle space, and can also automatically intervene in the vehicle dynamics as a result. For this purpose, three-dimensional depth information from the recorded images is expediently required in order, for example, in particular to determine the object distance relative to the vehicle.

Kamerasysteme mit lediglich einer einzelnen (Mono-)Kamera liefern für diesen Einsatzbereich bisher lediglich bedingt befriedigende Ergebnisse. Grund hierfür ist eine fehlende Tiefenwahrnehmung im Vergleich zu Kamerasystemen mit beispielsweise zwei (Stereo-)Kameras. Die fehlende Tiefeninformation kann von der Auswerteeinheit lediglich mit hohem technischem Aufwand aufwendig über Annahmen (beispielsweise ein ebener Untergrund) und Flussberechnungen über mehrere aufgenommene Bilder grob geschätzt werden. Camera systems with only a single (mono) camera provide only partially satisfactory results for this application. The reason for this is a lack of depth perception compared to camera systems with, for example, two (stereo) cameras. The missing depth information can be roughly estimated by the evaluation unit only with great technical effort by means of assumptions (for example, a flat background) and flow calculations over several recorded images.

Stereo-Kameras verwenden zwei gekoppelte Kameramodule, die mit einem festen Abstand und vorzugsweise gleicher Ausrichtung in einem gemeinsamen Kameragehäuse montiert sind. Zur Bestimmung der Tiefeninformationen wird typischerweise nach identischen Inhalten in den beiden Bildern der Kameras gesucht. Auf Basis der unterschiedlichen Ablage der gleichen Inhalte in den Bildern kann auf die Entfernung des Objektes geschlossen werden. Zum Zwecke einer möglichst verlässlichen Entfernungsauflösung sollte der Basisabstand (Abstand zwischen den beiden Kameramodulen) möglichst groß sein. Das steht jedoch im Widerspruch zur Anforderung, Fahrerassistenzkameras klein zu bauen um einen möglichst kleinen Bauraum zu nutzen. Der Aufbau einer Stereo-Kamera muss weiterhin mechanisch möglichst stabil sein, da eine Veränderung in der Ausrichtung der Kameramodule zueinander sich direkt auf die Verlässlichkeit der Entfernungsmessung auswirkt. Dadurch ist ein Aufbau mit zwei Kamera-Modulen nachteiligerweise sehr aufwendig und kostenintensiv in der Herstellung. Stereo cameras use two coupled camera modules which are mounted at a fixed distance and preferably in the same orientation in a common camera housing. In order to determine the depth information, it is typical to search for identical contents in the two images of the cameras. Based on the different storage of the same content in the images can be concluded on the distance of the object. For the purpose of the most reliable range resolution, the base distance (distance between the two camera modules) should be as large as possible. However, this is in contradiction to the requirement to build driver assistance cameras small in order to use the smallest possible space. The structure of a stereo camera must continue to be mechanically as stable as possible, since a change in the orientation of the camera modules to each other directly affects the reliability of the distance measurement. As a result, a structure with two camera modules disadvantageously very expensive and expensive to manufacture.

Dreidimensionale Bildinformationen sind auch mittels einer Bewegung von lediglich einer Kamera erzeugbar, wobei die Tiefeninformationen mittels der Auswerteeinheit berechnet werden können. Bei derartigen Kamerabewegungen erfasst die Kamera Objekte aus einer Anzahl an unterschiedlichen Blickwinkeln. Aus der bekannten Kamerabewegung und den aufgenommenen Bildern ist ähnlich zu einer Stereo-Kamera ein dreidimensionales Bild der beobachteten Fahrzeugumgebung generierbar. Three-dimensional image information can also be generated by means of a movement of only one camera, wherein the depth information can be calculated by means of the evaluation unit. In such camera movements, the camera captures objects from a number of different angles of view. From the known camera movement and the recorded images, similar to a stereo camera, a three-dimensional image of the observed vehicle environment can be generated.

Kameras für Assistenzsysteme sind typischerweise in einer Einbausituation verbaut, in der häufig aus platztechnischen Gründen kein Verfahren der Kamera möglich ist. Beispielsweise sind Kameras für Spurhalteassistenzsysteme hinter einer Windschutzscheibe des Fahrzeugs angeordnet. Dadurch ist nicht ausreichend Bauraum vorhanden, um die Kamera in eine ausreichend abweichende Position zu verfahren, um einen hinreichend großen Unterschied im erfassten Blickwinkel zu erzeugen. Bei einer stillstehenden Kamera können auch keine Tiefeninformationen durch die bekannten Verfahren gewonnen werden. Dadurch sind Assistenzsysteme bei einem stehenden oder sich lediglich langsam bewegenden Fahrzeug nicht wirksam einsetzbar, was sich auf jede Funktion auswirkt, die mit Objekterkennung arbeitet, beispielsweise auf Anwendungen im Bereich der Einparkhilfe. Cameras for assistance systems are typically installed in a mounting situation in which often no procedure of the camera is possible for space-technical reasons. For example, cameras for lane departure warning systems are arranged behind a windshield of the vehicle. As a result, there is not sufficient space available to move the camera into a sufficiently deviating position in order to generate a sufficiently large difference in the detected viewing angle. With a still camera, no depth information can be obtained by the known methods. As a result, assistance systems can not be used effectively in a stationary or only slowly moving vehicle, which has an effect on any function that works with object recognition, for example, in parking aid applications.

Aus der DE 10 2009 031 809 A1 ist hierfür ein Verfahren und eine Vorrichtung zur Bestimmung von Umfelddaten bei einem stehenden Kraftfahrzeug offenbart. Hierzu wird eine Kamera um einen bekannten Weg geschwenkt, um die gleiche Fahrzeugumgebung aus unterschiedlichen Blickwinkeln aufnehmen zu können. Anschließend werden anhand der bekannten Bildverarbeitungsalgorithmen die Tiefeinformationen erzeugt. Die Kamera ist beispielsweise im Bereich eines Außenspiegels des Fahrzeugs montiert, wobei bei einem Ein- oder Ausklappen des Spiegels eine definierte Bewegung vollführt wird. Alternativ kann die Kamera auch direkt an einer Tür des Fahrzeugs befestigt sein und durch das Öffnen und Schließen der Tür verschwenkt werden. Nachteilig bei dem bekannten Verfahren ist, dass es erfindungsgemäß lediglich für den seitlichen Fahrzeugbereich vorgesehen ist, und somit nicht für die eingangs genannten Assistenzsysteme im frontseitigen oder heckseitigen Fahrzeugbereich geeignet ist. From the DE 10 2009 031 809 A1 For this purpose, a method and a device for determining environmental data in a stationary motor vehicle is disclosed. For this purpose, a camera is swiveled around a known path to record the same vehicle environment from different angles. Subsequently, the low-level information is generated on the basis of the known image processing algorithms. The camera is mounted, for example, in the region of an exterior mirror of the vehicle, with a defined movement is performed when folding or folding the mirror. Alternatively, the camera may also be attached directly to a door of the vehicle and pivoted by opening and closing the door. A disadvantage of the known method is that it is provided according to the invention only for the lateral vehicle area, and thus is not suitable for the above-mentioned assistance systems in the front or rear-side vehicle area.

Die WO 2013/107561 A1 offenbart ein Verfahren zur Gewinnung von Tiefeninformationen mittels einer in einem Fahrzeug verbauten Kamera, wobei die Kamera mittels einer translatorischen und/oder rotatorischen Bewegung des Fahrzeugs relativ zu dessen Rädern in verschiedene Positionen gebracht wird. Nachteilig hierbei ist der große Betriebsaufwand, da das gesamte Fahrzeug bewegt werden muss um eine dreidimensionale Tiefeninformation zu generieren. The WO 2013/107561 A1 discloses a method for obtaining depth information by means of a camera installed in a vehicle, wherein the camera is brought by means of a translational and / or rotational movement of the vehicle relative to the wheels in different positions. The disadvantage here is the large operating costs, since the entire vehicle must be moved to generate a three-dimensional depth information.

Der Erfindung liegt daher die Aufgabe zugrunde ein Fahrerassistenzsystem mit einer Monokamera konstruktiv einfach zu ermöglichen. The invention is therefore the object of a driver assistance system with a mono camera structurally simple to enable.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 10. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche. Die im Hinblick auf das Verfahren angeführten Merkmale und bevorzugten Ausgestaltungen sind sinngemäß auch auf die Vorrichtung zu übertragen. This object is achieved by a method having the features of claim 1 and by a device having the features of claim 10. Advantageous developments are the subject of the dependent claims. The features mentioned with regard to the method and preferred embodiments are to be transferred analogously to the device.

Zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera wird ein Objektiv der Kamera in mehrere Fokus-Positionen gebracht. Hierunter wird allgemein eine Variation des Abstandes zwischen Objektiv und einem Bildsensor verstanden, wahlweise oder in Kombination durch ein Verfahren des Objektives und/oder des Bildsensors entlang eines Verstellweges. Während des Verfahrens wird eine Anzahl an Bildern des Objektes in den unterschiedlichen Fokus-Positionen aufgenommen. Dabei wird das Objekt in den verschiedenen Bildern unterschiedlich scharf abgebildet. Anhand des unterschiedlich scharf abgebildeten Objekts wird die Objektentfernung mit Hilfe eines Auswertealgorithmus berechnet. Hierzu wird eine optimale Fokus-Position bestimmt, bei der das Objekt scharf abgebildet ist. Da einer jeden Fokus-Position bei scharfer Abbildung eine definierte Objektentfernung aufgrund der Kameraparameter zugeordnet ist, lässt sich aus der Ermittlung der optimalen Fokus-Position die Objektentfernung bestimmen. For determining object distances with a camera installed in a motor vehicle, an objective of the camera is brought into a plurality of focus positions. This is generally understood to mean a variation of the distance between the objective and an image sensor, optionally or in combination by a method of the objective and / or the image sensor along an adjustment path. During the process, a number of images of the object are taken in the different focus positions. In the process, the object is displayed with different sharpness in the different images. The object distance is calculated by means of an evaluation algorithm on the basis of the differently sharply imaged object. For this purpose, an optimal focus position is determined, in which the object is in focus. Since a defined object distance is assigned to each focus position in the case of sharp imaging on the basis of the camera parameters, it is possible to determine the object distance from the determination of the optimum focus position.

Im Gegensatz zum Stand der Technik wird hierbei nicht die gesamte Kamera bewegt sondern lediglich das Objektiv in verschiedene Fokus-Positionen verfahren. Dadurch ist ein konstruktiv besonders einfaches und kostengünstiges Verfahren zur Bestimmung von Objektentfernungen bereitgestellt. Unter Objektentfernung sind im Allgemeinen Tiefeninformationen zu verstehen, die aus der Anzahl an Bildern mittels des Auswertealgorithmuses berechnet werden, mit denen eine relative Entfernung zwischen den Kraftfahrzeug und dem Objekt bestimmbar ist. In contrast to the prior art, in this case not the entire camera is moved but only the lens moved in different focus positions. This provides a structurally particularly simple and cost-effective method for determining object distances. Object distance is generally to be understood as depth information which is calculated from the number of images by means of the evaluation algorithm with which a relative distance between the motor vehicle and the object can be determined.

Bei der im Kraftfahrzeug verbauten Kamera handelt es sich vorzugsweise um eine Kamera für ein Fahrerassistenzsystem, welche beispielsweise im Wesentlichen hinter einer Windschutzscheibe oder im Bereich der vorderen Fahrzeugstoßstange angeordnet ist, und auf den frontseitigen Fahrzeugbereich fokussiert ist. Die Kamera ist insbesondere dazu geeignet und eingerichtet, ein Bild des Frontbereichs mit Tiefeninformation aufzunehmen und an eine Steuer- und Auswerteeinheit zu versenden. Die Steuer- und Auswerteeinheit wird nachfolgend kurz als Auswerteeinheit bezeichnet. Sie umfasst eine speziell für das Fahrerassistenzsystem designte Recheneinheit, wie beispielsweise Prozessor, ASIC-Baustein, DSP (digitaler Signalprozessor) oder FPGA (Field Programmable Gate Array). In dieser Recheneinheit ist der die Bildverarbeitung automatisch durchführende Auswertealgorithmus implementiert The camera installed in the motor vehicle is preferably a camera for a driver assistance system, which is arranged substantially behind a windshield or in the region of the front vehicle bumper, for example, and is focused on the front vehicle area. In particular, the camera is suitable and configured to take a picture of the front area with depth information and to send it to a control and evaluation unit. The control and evaluation unit is referred to below as the evaluation unit. It comprises a computing unit specially designed for the driver assistance system, such as processor, ASIC module, DSP (digital signal processor) or FPGA (Field Programmable Gate Array). In this arithmetic unit, the image processing is automatically implemented evaluating algorithm implemented

Mit dem erfindungsgemäßen Verfahren ist es somit möglich, Tiefeninformationen mit lediglich einer Kamera aufzunehmen. Dadurch entfallen die Notwendigkeit eines Stereo-Kamerasystems und die notwendigerweise hochgenaue Ausrichtung der Stereo-Kameramodule zueinander. Das Kamerasystem umfasst daher lediglich eine Monokamera. Weiterhin wird durch den Verzicht auf eine weitere Kamera Bauraum gespart. Durch die Aufnahme einer größeren Anzahl von Bildern mit verschiedenen Fokuspositionen steht weiterhin für das Fahrerassistenzsystem, beispielsweise für eine Verkehrszeichenerkennung, stets ein Bild mit höherer Schärfe als bei einer Festfokuskamera zur Verfügung. Dadurch sind Hindernisse und Objekte deutlich einfacher und verlässlicher mittels lediglich einer Kamera identifizierbar, was für einen automatischen Eingriff in die Fahrzeugdynamik im Rahmen einer Fahrerassistenzfunktion unbedingt erforderlich ist. With the method according to the invention it is thus possible to record depth information with only one camera. This eliminates the need for a stereo camera system and the necessarily highly accurate alignment of the stereo camera modules with each other. The camera system therefore includes only a mono camera. Furthermore, by dispensing with another camera space is saved. By taking a larger number of images with different focus positions is still for the driver assistance system, for example, for a traffic sign recognition, always an image with higher sharpness than a solid focus camera available. As a result, obstacles and objects are much easier and more reliably identifiable by means of only one camera, which is absolutely necessary for automatic intervention in the vehicle dynamics in the context of a driver assistance function.

Die Kamera ist vorzugsweise nach Art einer Autofokuskamera ausgeführt, bei der das Kameraobjektiv in mehrere Objektiveinstellungen beziehungsweise Fokus-Positionen verfahrbar ist um ein Objekt scharf abzubilden. Dadurch entfällt ein Fokussierungs-Justage-Schritt der Kamera während der Herstellung, wie es beispielsweise bei Kameras mit lediglich einer festen Objektiveinstellung notwendig ist. Unter einer Fokus-Position ist im Wesentlichen der Abstand zwischen dem Objektiv der Kamera und einem Kamerabildsensor zu verstehen. Wesentlich für die Kamera sind im Zusammenhang mit dem erfindungsgemäßen Verfahren eine schnelle Verfahrbarkeit der Fokus-Position sowie eine hohe Langlebigkeit der beteiligten Verfahrmechanik. The camera is preferably designed in the manner of an autofocus camera in which the camera lens can be moved into a plurality of lens settings or focus positions in order to sharply image an object. This eliminates a focus adjustment step of the camera during manufacture, as is necessary, for example, in cameras with only a fixed lens setting. A focus position is essentially the distance between the lens of the camera and a camera image sensor to understand. Essential for the camera are, in connection with the method according to the invention, a fast movability of the focus position as well as a high longevity of the traversing mechanism involved.

Ist in einer Fokus-Position das Objekt scharf abgebildet, ist anhand dieser Fokus-Position die Objektentfernung zum scharfgestellten Objekt mittels des Auswertealgorithmus problemlos bestimmbar. Der Auswertealgorithmus wertet die Bildschärfe einer Fokus-Position bevorzugt anhand von abgebildeten Objektkanten aus. Insbesondere wird hierzu die Breite eines Hell-Dunkelübergangs in dem jeweiligen Bild ausgewertet, je schmaler die Breite desto schärfer ist das Objekt im Bild abgebildet. If the object is in focus position in a focus position, the focus position is the Object distance to the armed object can be easily determined by means of the evaluation algorithm. The evaluation algorithm preferably evaluates the focus of a focus position based on imaged object edges. In particular, for this purpose, the width of a light-dark transition in the respective image is evaluated, the narrower the width the sharper the object is shown in the image.

Zum Zwecke einer möglichst genauen Entfernungsbestimmung werden mehrere Bilder in verschiedenen Fokus-Positionen aufgenommen und jeweils die (Kanten)Schärfe mittels des Auswertealgorithmuses bestimmt. In einer bevorzugten Weiterbildung wird die Objektentfernung insbesondere anhand einer sich hieraus ergebenden Schärfekurve der Kamera berechnet, bei der ein Schärfekennwert, insbesondere die Breite des Hell-Dunkelübergangs, gegenüber der Fokus-Position aufgetragen ist. For the purpose of the most accurate determination of the distance, several images are recorded in different focus positions and the (edge) sharpness is determined in each case by means of the evaluation algorithm. In a preferred development, the object distance is calculated in particular on the basis of a resulting sharpness curve of the camera in which a sharpness parameter, in particular the width of the light-dark transition, is plotted against the focus position.

Die Schärfekurve wird bevorzugt mit einer mathematischen Funktion im Bereich der betrachteten Verschiebung angenähert. Zur Bestimmung der optimalen Fokus-Position wird vorzugsweise anhand der mathematischen Funktion ein lokaler Extremwert, insbesondere ein lokales Minimum bestimmt, also die minimale Breite des Hell-Dunkelübergangs. The sharpness curve is preferably approximated with a mathematical function in the range of the considered displacement. To determine the optimum focus position, a local extreme value, in particular a local minimum, ie the minimum width of the light-dark transition, is preferably determined on the basis of the mathematical function.

Als einfachste mathematische Funktion wird die Schärfekurve insbesondere mit einem Polynom angenähert. Bei einem kleinen Verschiebebereich um die optimale Fokus-Position, also um diejenige Fokus-Position, bei der im dazugehörigen Bild eine minimale Kantenbreite im Hell-Dunkelübergang festgestellt wurde, wird vorzugsweise ein Polynom beispielsweise zweiten Grades zur Annäherung verwendet. As the simplest mathematical function, the sharpness curve is approximated in particular by a polynomial. In the case of a small shift range around the optimum focus position, that is to say the focus position at which a minimal edge width in the light-dark transition has been determined in the associated image, a polynomial of, for example, second degree is preferably used for the approach.

In einer bevorzugten Ausgestaltung wird die Schärfekurve anhand der Schärfekennwerte aus mehreren aufeinanderfolgenden Bilder innerhalb eines Auswertezeitraums ermittelt. Der Auswertezeitraum beträgt dabei vorzugsweise lediglich einige 10ms, beispielsweise 20 bis 100 ms, um eine ausreichend schnelle Bestimmung der Objektentfernung zu gewährleisten. Innerhalb des Auswertezeitraums werden vorzugsweise lediglich wenige Bilder aufgenommen, beispielsweise weniger als 5, da sich hieraus in ausreichend guter Näherung die optimale Fokusposition ableiten lässt. In a preferred embodiment, the sharpness curve is determined on the basis of the sharpness parameters from a plurality of successive images within an evaluation period. The evaluation period is preferably only a few 10 ms, for example 20 to 100 ms, in order to ensure a sufficiently fast determination of the object distance. Within the evaluation period, preferably only a few images are taken, for example less than 5, since the optimum focus position can be derived from this in a sufficiently good approximation.

Zweckdienlicherweise erfolgt die Bestimmung der Objektentfernung kontinuierlich oder zumindest aufeinanderfolgend, so dass laufend oder zumindest mehrere aufeinanderfolgende Schärfekurven ermittelt werden und die jeweilige optimale Fokusposition bestimmt wird. The determination of the object distance is expediently carried out continuously or at least successively so that continuous or at least a plurality of successive sharpness curves are determined and the respective optimum focus position is determined.

Vorzugsweise ist ergänzend vorgesehen, dass sich aufeinanderfolgende Auswertezeiträume überlappen, wodurch eine verbesserte Taktfrequenz für die Bestimmung der Objektentfernung erreicht ist. Zumindest ein Bild des vorhergehenden Auswertezeitraums wird daher auch für den nachfolgenden Auswertezeitraum herangezogen. Preferably, it is additionally provided that successive evaluation periods overlap, whereby an improved clock frequency for the determination of the object distance is achieved. At least one image of the previous evaluation period is therefore also used for the subsequent evaluation period.

Für die tatsächliche Bestimmung der Schärfekurve sind unterschiedliche Verfahren bekannt. Bevorzugt wird jedoch eine Objektkante innerhalb der aufgenommenen Bilder hinsichtlich des Hell-Dunkelübergangs betrachtet. Dessen Breite wird als Schärfekennwert mit der zugehörigen Fokus-Position in einem Diagramm aufgetragen und die Schärfekurve an die Messpunkte angefittet. Relevant für die Bestimmung der Objektentfernung ist hierbei lediglich die Position des lokalen Minimums der Schärfekurve. Anhand der bekannten Objektivparameter kann aus dieser Position direkt auf die Entfernung der ausgewerteten Objektkante geschlossen werden. For the actual determination of the sharpness curve different methods are known. However, an object edge within the recorded images is preferably considered with regard to the light-dark transition. Its width is plotted as a sharpness parameter with the associated focus position in a diagram and the sharpness curve is fitted to the measuring points. Relevant for the determination of the object distance is here only the position of the local minimum of the sharpness curve. Based on the known lens parameters can be concluded from this position directly on the distance of the evaluated object edge.

In einer vorteilhaften Ausgestaltung wird die Fokus-Position kontinuierlich verstellt, insbesondere durch ein kontinuierliches Verfahren des Objektives entlang eines Verstellweges. Dies lässt sich konstruktiv mit hoher Genauigkeit umsetzen. Die Veränderung der Fokus-Position erfolgt daher auch während der jeweiligen Aufnahme eines Bildes. Dies stellt eine Art Filterung dar, die die Schärfekurve in Ihrer Position verschiebt. Diese Verschiebung wird bei der Bestimmung der optimalen Fokus-Position beziehungsweise der Entfernungsberechnung berücksichtigt. In an advantageous embodiment, the focus position is adjusted continuously, in particular by a continuous movement of the objective along an adjustment path. This can be implemented constructively with high accuracy. The change of the focus position is therefore also during the respective recording of an image. This is a type of filtering that shifts the sharpening curve in your position. This shift is taken into account when determining the optimum focus position or the distance calculation.

Da für die Bilder mit verschiedenen Fokus-Positionen in einer relativ schnellen Abfolge aufgenommen werden müssen, wird die Fokus-Position in einer vorteilhaften Weiterbildung entsprechend einer oszillierenden Bewegung variiert. Die Periode der Oszillation liegt dabei im Bereich von einigen 10ms, beispielsweise von 20–100ms. Since for the images with different focus positions must be recorded in a relatively fast sequence, the focus position is varied in an advantageous development according to an oscillating motion. The period of the oscillation is in the range of a few 10 ms, for example 20-100 ms.

Da bei Fahrerassistenzkameras mit kleinen Bildsensoren und Brennweiten gearbeitet wird, reichen typischerweise kleine Verschiebungen des Objektivs aus, um eine verlässliche Schärfekurve zu ermitteln. In einer besonders vorteilhaften Ausführung wird als Verstellweg eine Strecke kürzer oder gleich 50 µm gewählt. Bei einer entsprechenden Ausgestaltung der Optik, zum Beispiel wenn nur eine oder wenige der Linsen verschoben werden, kann der Verstellweg auch größer sein. As driver assistance cameras operate with small image sensors and focal lengths, typically small displacements of the lens are sufficient to establish a reliable sharpness curve. In a particularly advantageous embodiment, a distance shorter or equal to 50 microns is selected as adjustment. In a corresponding embodiment of the optics, for example, if only one or a few of the lenses are moved, the adjustment can also be greater.

Der Ablauf der Entfernungsbestimmung von Objekten kann unterschiedlich ausgestaltet werden. In einer möglichen Ausführung wird eine Objekterkennung des Objektes in den Bildern der Ermittlung der optimalen Fokusposition ausgeführt. Hierzu wird das Objekt in jedem der aufgenommenen Bilder mittels eines Objekterkennungsalgorithmus automatisch erkannt, und das Objekt über mehrere Bilder hinweg verfolgt. Dadurch können mehrere Objektkanten die zu einem gemeinsamen Objekt gehören gemeinsam im Zuge der Entfernungsbestimmung ausgewertet werden. Dadurch wird die Genauigkeit der Entfernungsbestimmung verbessert. Für die Fahrerassistenzfunktion ist der Objekterkennungsalgorithmus zweckmäßigerweise bereits in der Auswerteeinheit integriert, sodass kein zusätzlicher Rechenaufwand notwendig ist. The sequence of the distance determination of objects can be configured differently. In one possible embodiment, an object recognition of the object is carried out in the images of the determination of the optimum focus position. For this purpose, the object is automatically detected in each of the recorded images by means of an object recognition algorithm, and the object over several images followed. As a result, several object edges that belong to a common object can be evaluated together in the course of the distance determination. This improves the accuracy of the distance determination. For the driver assistance function, the object recognition algorithm is expediently already integrated in the evaluation unit, so that no additional calculation effort is necessary.

Alternativ werden in zweckdienlicher Ausgestaltung zunächst lediglich die Objektkanten aus den Bildern extrahiert. Anschließend werden die Objektkanten über mehrere Bilder hinweg verfolgt und die Schärfenkurvenbestimmung auf immer der identischen Kante durchgeführt. Es wird zu mehreren Objektkanten die optimale Fokusposition (F_M) und damit die Entfernung der jeweiligen Objektkanten ermittelt. Diese Informationen werden anschließend für eine Objektbildung oder Objektabgrenzung, also insgesamt zur Objekterkennung zum Zwecke der Fahrerassistenzfunktion herangezogen. Alternatively, in an expedient embodiment, initially only the object edges are extracted from the images. Subsequently, the object edges are tracked over several images and the sharpness curve determination is carried out on the identical edge. The optimal focus position (F _M ) and thus the distance of the respective object edges is determined for several object edges. This information is then used for object formation or object delineation, that is to say overall for object recognition for the purpose of the driver assistance function.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Es zeigen in schematischen und vereinfachten Darstellungen: An embodiment of the invention will be explained in more detail with reference to a drawing. In schematic and simplified representations:

1 in Seitenansicht ein Kraftfahrzeug mit Windschutzscheibe und einer dahinter angeordneten Kamera mit einem verfahrbaren Objektiv als Fahrerassistenzsystem zur Bestimmung von Objektentfernungen, 1 in side view, a motor vehicle with a windshield and a camera arranged behind it with a moveable lens as a driver assistance system for determining object distances,

2 in Diagrammdarstellung die Änderung einer Fokus-Position des Objektivs der Kamera in Abhängigkeit der Zeit während eines Verfahrens, 2 Diagram showing the change of a focus position of the lens of the camera as a function of time during a method,

3 in Diagrammdarstellung die Bestimmung einer Schärfekurve anhand der Schärfe von Objektkanten in Bildern der Kamera in Abhängigkeit der Fokus-Position, 3 in diagram representation, the determination of a sharpness curve based on the sharpness of object edges in images of the camera as a function of the focus position,

4 in Flussdiagrammdarstellung ein Verfahren zur Bestimmung der Objektentfernung mit der Kamera, und 4 a flowchart representation of a method for determining the object distance with the camera, and

5 in Flussdiagrammdarstellung ein alternatives Verfahren zur Bestimmung der Objektentfernung mit der Kamera. 5 In flowchart representation, an alternative method for determining the object distance with the camera.

Einander entsprechende Teile und Größen sind in allen Figuren stets mit den gleichen Bezugszeichen versehen. Corresponding parts and sizes are always provided with the same reference numerals in all figures.

In 1 ist der Frontbereich eines Kraftfahrzeugs 2 dargestellt. Das Kraftfahrzeug 2 weist frontseitig eine Windschutzscheibe 4 auf. Im oberen Mittelbereich der Windschutzscheibe 4 ist eine Kamera 6 angeordnet, die auf einen Fernbereich 8 fokussiert ist, und in diesem Objekte 10 erfasst. Die Kamera 6 ist signaltechnisch mit einer Auswerteeinheit 12 als Teil eines Fahrerassistenzsystems 14 verbunden und über diese mit einem Bildschirm 16 gekoppelt. Die Kamera 6 und die Auswerteeinheit 12 sind bevorzugt als eine Baueinheit in einem gemeinsamen Gehäuse integriert. In 1 is the front area of a motor vehicle 2 shown. The car 2 has front windshield 4 on. In the upper middle of the windshield 4 is a camera 6 arranged on a long-range area 8th is focused, and in this objects 10 detected. The camera 6 is signal technology with an evaluation unit 12 as part of a driver assistance system 14 connected and via this with a screen 16 coupled. The camera 6 and the evaluation unit 12 are preferably integrated as a structural unit in a common housing.

Das Fahrerassistenzsystem 14 erfasst mittels der Auswerteeinheit 12 mit der Kamera 6 das Objekt 10. Bei dem Objekt 10 handelt es sich beispielsweise um Fahrspurmarkierungen, andere Fahrzeuge, Fußgänger oder – wie in der 1 schematisch dargestellt – Verkehrsschilder. Die Auswerteeinheit 12 ist signaltechnisch an den Bildschirm 16 innerhalb des Fahrgastraums angekoppelt, so dass von der Kamera 6 aufgenommene Bilder 18 des Objekts 10 des Fernbereichs 8 darstellbar sind. The driver assistance system 14 detected by means of the evaluation unit 12 with the camera 6 the object 10 , At the object 10 These are, for example, lane markings, other vehicles, pedestrians or - as in the 1 shown schematically - road signs. The evaluation unit 12 is signal technically to the screen 16 docked inside the passenger compartment, leaving from the camera 6 taken pictures 18 of the object 10 of the far field 8th are representable.

Bei der Kamera 6 handelt es sich vorzugsweise um eine Autofokus-Kamera die hinter der Windschutzscheibe 4 des Kraftfahrzeugs 2 angeordnet ist, und den Fernbereich 8 in der Fahrzeugfront erfasst. Die Kamera 6 ist insbesondere dazu geeignet und eingerichtet, die Bilder 18 des Fernbereichs 8 aufzunehmen und an die Auswerteeinheit 12 zu übermitteln. Die Auswerteeinheit 12 ist insbesondere als eine speziell designte Recheneinheit ausgeführt, in der ein die Bildverarbeitung automatisch durchführender Auswertealgorithmus implementiert ist. At the camera 6 it is preferably an autofocus camera behind the windshield 4 of the motor vehicle 2 is arranged, and the far range 8th detected in the vehicle front. The camera 6 is particularly suitable and furnished, the pictures 18 of the far field 8th and to the evaluation unit 12 to convey. The evaluation unit 12 is in particular designed as a specially designed arithmetic unit in which an image processing automatically performing evaluation algorithm is implemented.

Ein Objektiv 20 der Kamera 6 ist in mehrere Objektiveinstellungen beziehungsweise Fokus-Positionen F entlang eines Verstellweges 22 verfahrbar, um das Objekt 10 im Fernbereich 8 stets scharf abzubilden. Unter einer Fokus-Position F ist in diesem Zusammenhang der Abstand zwischen dem Objektiv 20 der Kamera 6 und einem hier nicht näher dargestellten Kamerabildsensor zu verstehen. A lens 20 the camera 6 is in several lens settings or focus positions F along an adjustment path 22 movable to the object 10 in the distance 8th always sharp. Under a focus position F in this context is the distance between the lens 20 the camera 6 and to understand a camera image sensor not shown here.

Das Sichtfeld der Kamera 6 ist in der 1 mit gestrichelten Linien angedeutet, wobei mit Fernbereich 8 insbesondere ein Bildschärfebereich zwischen 2m undunendlich für die optische Überwachung der Fahrzeugumgebung bezeichnet ist. Objekte im Fernbereich 8 der Kamera 6 werden aufgrund der automatischen Kamerafokussierung zumindest teilweise scharf von der Kamera 6 erfasst. The field of view of the camera 6 is in the 1 indicated by dashed lines, with long range 8th In particular, a focus range between 2m and infinity is designated for the optical monitoring of the vehicle environment. Objects in the far range 8th the camera 6 are at least partially focused on the camera due to automatic camera focusing 6 detected.

Zur Ermittlung der Entfernung des Objekts 10 wir allgemein wie folgt vorgegangen: Es werden mehrere, vorzugsweise kontinuierlich Bilder 18 mit der Kamera 6 an unterschiedlichen Fokus-Positionen F aufgenommen. Hierzu wird also der Abstand zwischen Objektiv 20 und dem Kamerabildsensor insbesondere kontinuierlich variiert. Die so erhaltenen Bilder 18 werden von der Auswerteeinheit 12 ausgewertet, um das Bild 18 mit der besten Schärfe zu ermitteln. Die zugeordnete Fokus-Position F wird als eine optimale Fokus-Position F_M angesehen. Da einer jeweiligen Fokus-Position F, in der das Objekt 10 scharf dargestellt ist, eine definierte Entfernung des Objekts 10 zugeordnet ist, lässt sich unmittelbar aus der optimalen Fokus-Position F_M die tatsächliche Entfernung des Objekts 10 ermitteln. To determine the distance of the object 10 We generally proceeded as follows: There are several, preferably continuous images 18 with the camera 6 recorded at different focus positions F. For this purpose, so the distance between the lens 20 and the camera image sensor in particular varies continuously. The pictures thus obtained 18 be from the evaluation unit 12 evaluated the image 18 to determine with the best sharpness. The associated focus position F is considered to be an optimal focus position F _M. As one respective focus position F in which the object 10 Sharp is a defined distance of the object 10 is assigned, can be directly from the optimal focus position F _M, the actual distance of the object 10 determine.

Die Kamera 6 arbeitet bevorzugt mit einer Bildfrequenz von etwa 30Hz bis 50 Hz oder auch bis hin zu 100Hz. Innerhalb einer Zykluszeit von mehreren 10ms, beispielsweise von etwa 60ms werden daher mehrere Bilder mit einem jeweiligen Belichtungszeitraum A, B, C, D aufgenommen. Bevorzugterweise wird für jedes dieser Bilder eine andere Fokus-Position F der Kamera 6 eingestellt. Dadurch ist das Objekt 10 in den Bildern 18 unterschiedlich scharf abgebildet. Innerhalb eines Zyklus erfolgt dabei jeweils ein Auswertedurchlauf, also Bildaufnahmen sowie Bildauswertung. The camera 6 works preferably with a frame rate of about 30Hz to 50Hz or up to 100Hz. Within a cycle time of several 10 ms, for example of about 60 ms, therefore, a plurality of images are recorded with a respective exposure period A, B, C, D. Preferably, for each of these images, a different focus position F of the camera 6 set. This is the object 10 in the pictures 18 shown in different colors. Within each cycle, there is an evaluation pass, ie image acquisition as well as image evaluation.

Insgesamt ist daher mit dem Auswertealgorithmus 12 die relative Objektentfernung vom Kraftfahrzeug 2 zum Objekt 10 direkt anhand des unterschiedlich scharf abgebildeten Objektes 10 aus den Bildern 18 bestimmbar. Der Auswertealgorithmus 12 wertet die Bildschärfe der jeweiligen Fokus-Position F anhand von abgebildeten Kanten des Objektes 10 aus. Insbesondere wird hierzu die Breite ∆ eines Hell-Dunkelübergangs in dem jeweiligen Bild ausgewertet. Overall, therefore, with the evaluation algorithm 12 the relative object distance from the motor vehicle 2 to the object 10 directly from the differently sharply displayed object 10 from the pictures 18 determinable. The evaluation algorithm 12 evaluates the focus of the respective focus position F based on imaged edges of the object 10 out. In particular, the width Δ of a light-dark transition in the respective image is evaluated for this purpose.

Zum Zwecke einer möglichst genauen Entfernungsbestimmung werden mehrere Bilder in verschiedenen Fokus-Positionen F aufgenommen und jeweils die Kantenschärfe mittels des Auswertealgorithmuses bestimmt. Anhand dieser Bildreihe wird die Objektentfernung anhand einer sich hieraus ergebenden Schärfekurve der Kamera 6 berechnet. For the purpose of the most accurate determination of the distance, several images are taken in different focus positions F and the edge sharpness is determined in each case by means of the evaluation algorithm. Based on this image series, the object distance is determined by a resulting sharpness curve of the camera 6 calculated.

Wie in 2 ersichtlich wird das Objektiv 20 der Kamera 6 im Wesentlichen kontinuierlich mit einer schwingenden Bewegung während der Bildaufnahme entlang des Verstellweges 22 verfahren. Die schwingende Bewegung hat einen Zyklus oder Periode von typischerweise einigen 10 ms, beispielsweise im Bereich von 30–100 ms, insbesondere von 64ms. Die Bilder werden dabei im Ausführungsbeispiel in vier Belichtungszeiträumen A, B, C und D aufgenommen. In 2 sind Belichtungszeiträume darauffolgender Zyklen mit A‘, B‘... usw. bezeichnet. In der in 2 dargestellte Ausführungen werden jeweils ein Bild in der Nähe des maximalen Ausschlags (A, C) und eines zwischen diesen beiden Positionen (B, D) aufgenommen. As in 2 the lens becomes visible 20 the camera 6 essentially continuously with a swinging motion during image acquisition along the adjustment path 22 method. The oscillatory motion has a cycle or period of typically several tens of ms, for example in the range of 30-100 ms, in particular of 64 ms. The images are recorded in the embodiment in four exposure periods A, B, C and D. In 2 Shutter periods of subsequent cycles are labeled A ', B' ..., etc. In the in 2 As shown, one image is taken near the maximum deflection (A, C) and one between these two positions (B, D).

Zur Bestimmung der Schärfekurve S werden innerhalb eines Auswertezeitraums N₁, N₂ und N₃ Bilder 18 an unterschiedlichen Fokus-Positionen F aufgenommen. Im Ausführungsbeispiel umfasst der jeweilige Auswertezeitraum N₁, N₂ und N₃ jeweils drei Belichtungszeiträume. Der erste Auswertezeitraum N₁ umfasst die Belichtungszeiträume A, B und C, der zweite Auswertezeitraum N₂ überlappt zumindest teilweise mit dem ersten Auswertezeitraum N₁ und umfasst die Belichtungszeiträume C, D und A‘ aus dem darauffolgenden Zyklus der oszillierenden Bewegung. Der dritte Auswertezeitraum N₃ umfasst die Belichtungszeiträume A‘, B‘ und C‘ des zweiten Bewegungszyklus. Dadurch wird jeweils ein Bild für den nächsten Auswertezeitraum mitverwendet, wodurch die Zykluszeit für einen Auswertezeitraum lediglich zwei Bildzyklen beträgt. Die im Hinblick auf einen Auswertezeitraum angeführten Merkmale sind sinngemäß auch auf Auswertezeiträume darauffolgender Bewegungszyklen zu übertragen. In order to determine the sharpness curve S, N ₁ , N ₂ and N _{3 are} images within an evaluation period 18 recorded at different focus positions F. In the exemplary embodiment, the respective evaluation period N ₁ , N ₂ and N ₃ each comprise three exposure periods. The first evaluation period N ₁ comprises the exposure periods A, B and C, the second evaluation period N ₂ at least partially overlaps with the first evaluation period N ₁ and comprises the exposure periods C, D and A 'from the subsequent cycle of the oscillating movement. The third evaluation period N ₃ comprises the exposure periods A ', B' and C 'of the second movement cycle. As a result, in each case one image is used for the next evaluation period, whereby the cycle time for an evaluation period is only two image cycles. The features mentioned with regard to an evaluation period are to be transferred analogously to evaluation periods of subsequent movement cycles.

Wie in 3 ersichtlich wird, kann die Schärfekurve S für diese Ausführung mit einem Polynom P zweiten Grades angenähert werden. Die Bestimmung der Schärfekurve S erfolgt für einzelne Kanten des Objektes 10 durch die Auswertung von drei aufeinanderfolgenden Bildern, beispielhaft dargestellt für den Auswertezeitraum N₁ mit den Bildern der Belichtungszeiträume A, B und C. In dem dargestellten einfachen Fall ist die Schärfekurve beispielhaft mit dem Polynom P zweiten Grades annäherbar. Hierzu wird die Breite ∆ eines Hell-Dunkelübergangs in den drei Bildern bestimmt und gegen die Objektiv-Position beziehungsweise Fokus-Position F aufgetragen. Für die Bestimmung der Entfernung der auszuwertenden Bildkante ist dabei der absolute Kontrast, der sich lediglich auf die Krümmung und die Ordinaten-Position (Breite ∆ des Hell-Dunkelübergangs) der Kurve auswirkt nicht relevant. Lediglich die Position eines lokalen Minimums M wird zur Bestimmung einer optimalen Fokus-Position F_M und damit zur Bestimmung der Objektentfernung von der Auswerteeinheit 12 ermittelt. As in 3 can be seen, the sharpness curve S for this embodiment can be approximated with a polynomial P second degree. The determination of the sharpness curve S takes place for individual edges of the object 10 by the evaluation of three consecutive images, exemplified for the evaluation period N ₁ with the images of the exposure periods A, B and C. In the illustrated simple case, the sharpness curve can be approached, for example, with the polynomial P of the second degree. For this purpose, the width Δ of a light-dark transition in the three images is determined and plotted against the lens position or focus position F. For the determination of the distance of the image edge to be evaluated, the absolute contrast, which only affects the curvature and the ordinate position (width Δ of the light-dark transition) of the curve, is not relevant. Only the position of a local minimum M is used to determine an optimal focus position F _M and thus to determine the object distance from the evaluation unit 12 determined.

In einem nicht näher dargestellten Speicherelement der Auswerteeinheit 12 sind Parameter des Objektives 10 hinterlegt, anhand derer die Auswerteeinheit 12 in Kombination mit der optimalen Fokus-Position F_M direkt die Entfernung einer ausgewerteten Kante vor der Kamera 6 bestimmt. In a memory element, not shown, of the evaluation unit 12 are parameters of the lens 10 deposited, on the basis of which the evaluation unit 12 in combination with the optimal focus position F _M directly the distance of an evaluated edge in front of the camera 6 certainly.

Der Ablauf der Entfernungsbestimmung des Objektes 10 kann unterschiedlich gestaltet werden. Anhand der 4 und 5 werden im Folgenden zwei Beispiele der Entfernungsbestimmung näher erläutert. The process of determining the distance of the object 10 can be designed differently. Based on 4 and 5 In the following, two examples of the distance determination are explained in more detail.

In dem in 4 dargestellten Beispiel werden in einem ersten Schritt von der Auswerteeinheit 12 zunächst in den in den Aufnahmezeiträumen A, B, C aufgenommenen Bildern 18 Kantenextraktionen B_A (k₁...k_n); B_B (k₁...k_n); B_C (k₁...k_n) durchgeführt. Dabei werden vorzugsweise in jedem Bild mehrere Kanten extrahiert. In the in 4 Example shown are in a first step by the evaluation unit 12 first in the recorded in the recording periods A, B, C images 18 Edge Extractions B _A (k ₁ ... k _n ); B _B (k ₁ ... k _n ); B _C (k ₁ ... k _n ) performed. In this case, preferably, several edges are extracted in each image.

Im nächsten Verfahrensschritt werden dann die extrahierten Kanten der einzelnen Bilder 18 über die Bilder hinweg in einem Kantentracking T_K nachverfolgt, so dass die gleichen Kanten verwendet werden. Schließlich folgt im nächsten Verfahrensschritt die eigentliche Bestimmung der Schärfekurve S und zwar für eine jeweilige Kante. Es wird daher für jede Kante der Schärfekennwert ∆ (k₁), ∆ (k₂)...∆ (k_n) bestimmt. Es werden allgemein in bevorzugter Ausgestaltung mehrere Kanten für die Bestimmung von mehreren Schärfekurven S herangezogen und damit mehrere Kanten für die Ermittlung der Objektentfernungen. Schließlich erfolgt im nächsten Verfahrensschritt erst die eigentliche Objektbildung, also die automatische Erkennung und Identifizierung eines Objekts in den aufgenommenen Bildern 18, was für die Fahrerassistenzfunktion erforderlich ist. Hierbei sind bevorzugt die zu jeder Kante errechnete Entfernung für die Objektbildung, aber auch für die Objektabgrenzung herangezogen. In the next process step then the extracted edges of the individual images 18 tracked across the images in an edge tracking T _K so that the same edges are used. Finally, in the next method step, the actual determination of the sharpness curve S follows, specifically for a respective edge. Therefore, the sharpness parameter Δ (k ₁ ), Δ (k ₂ )... Δ (k _n ) is determined for each edge. In general, in a preferred embodiment, several edges are used for the determination of a plurality of sharpness curves S and thus several edges for the determination of the object distances. Finally, in the next method step, only the actual object formation takes place, ie the automatic recognition and identification of an object in the recorded images 18 What is required for the driver assistance function. In this case, the distance calculated for each edge is preferably used for the object formation, but also for the object delineation.

In dem in 5 dargestellten Beispiel wird im ersten Verfahrensschritt zunächst eine jeweilige Objektbildung O_A, O_B, O_C in dem zum jeweiligen Aufnahmezeitraum A, B, C aufgenommenen Bild 18 durchgeführt. In the in 5 In the first method step, a respective object formation O _A , O _B , O _{C is} initially shown in the image recorded for the respective recording period A, B, C 18 carried out.

Im nachfolgenden Schritt werden die Kanten k₁...k_n in einem jeweiligen Bild 18 extrahiert, es wird also eine Kantenextraktion in einem jeweiligen Bild O_A (k₁...k_n); O_B (k₁...k_n); O_C (k₁...k_n) durchgeführt. Im anschließenden Verfahrensschritt wird ein Objekttracking T_O durchgeführt, um die einzelnen Objekte in verschiedenen Bildern nachzuverfolgen. In the following step, the edges k ₁ ... k _n in a respective image 18 extracted, so it is an edge extraction in a respective image O _A (k ₁ ... k _n ); O _B (k ₁ ... k _n ); O _C (k ₁ ... k _n ) performed. In the subsequent method step, an object tracking T _{O is} performed in order to track the individual objects in different images.

Erst im anschließenden Verfahrensschritt erfolgt dann die Bestimmung der Schärfekennwerte ∆ (O₁), ∆ (O₂)...∆ (O_n) anhand der Kanten eines jeweiligen Objekts O₁...O_n. Determining the sharpness characteristic values Δ then only takes place in the subsequent process step (O _1), Δ (O ₂₎ ... Δ (O _n) based on the edges of a respective object O ₁ ... O _n.

Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den verschiedenen Ausführungsbeispielen beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen. The invention is not limited to the embodiments described above. On the contrary, other variants of the invention can be derived therefrom by the person skilled in the art without departing from the subject matter of the invention. In particular, furthermore, all individual features described in connection with the various exemplary embodiments can also be combined with one another in other ways, without departing from the subject matter of the invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

2 2: Kraftfahrzeug motor vehicle
4 4: Windschutzscheibe Windshield
6 6: Kamera camera
8 8th: Fernbereich remote area
10 10: Objekt object
12 12: Auswerteeinheit evaluation
14 14: Fahrerassistenzsystem Driver assistance system
16 16: Bildschirm screen
18 18: Bilder images
20 20: Objektiv lens
22 22: Verstellweg adjustment
∆ Δ: Breite width
F F: Fokus-Position Focus position
F_M F _M: optimale Fokus-Position optimal focus position
A, B, C, D, A‘, B‘, C‘ A, B, C, D, A ', B', C ': Belichtungszeitraum Exposure period
N₁, N₂, N₃ N ₁ , N ₂ , N ₃: Auswertezeitraum evaluation period
M M: Minimum minimum
P P: Polynom polynomial
S S: Schärfekurve focus curve

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102009031809 A1 [0008]
WO 2013/107561 A1 [0009]

Claims

Method for determining object distances with a vehicle in a vehicle ( 2 ) built-in camera ( 6 ) with a lens ( 20 ), characterized in that a plurality of focus positions (F) for the lens ( 20 ) and in each focus position (F) an image ( 18 ) of an object ( 10 ), so that the object ( 10 ) in the pictures ( 18 ) is shown in different degrees of sharpness, whereby an optimal focus position (F _M ) is determined, in which the object ( 10 ) and that from the optimum focus position (F _M ) the object distance is determined.

A method according to claim 1, characterized in that for determining the optimal focus position (F _M ) object edges of the object ( 10 ) and in particular a width (Δ) of a light-dark transition is determined.

A method according to claim 1 or 2, characterized in that the object distance is calculated on the basis of a sharpness curve (S) which determines the profile of a sharpness parameter (Δ) of the respective image ( 18 ) relative to the associated focus position (F).

A method according to claim 3, characterized in that the sharpness curve (S) is determined by a mathematical function and from a local extreme value for determining the optimum focus position (F _M ) is calculated.

A method according to claim 3 or 4, characterized in that the sharpness parameters (Δ) of a sharpness curve of a plurality of successive images (A, B, C, D, A ', B', C ') within an evaluation period (N ₁ , N ₂ , N ₃ ), wherein successive evaluation periods (N ₁ , N ₂ , N ₃ ) overlap.

Method according to one of the preceding claims, characterized in that the focus position (F) continuously along a Verstellwegs ( 22 ) is adjusted.

A method according to claim 6, characterized in that the focus position (F) is varied according to an oscillating movement.

A method according to claim 6 or 7, characterized in that as adjustment ( 22 ) a distance shorter or equal to 50 microns is selected.

Method according to one of the preceding claims, characterized in that before the determination of the optimal focus position (F _M ) an object recognition of the object ( 10 ) in the pictures ( 18 ) is performed.

Method according to one of claims 1 to 8, characterized in that for several object edges, the optimal focus position (F _M ) and thus the distance of the respective object edges is determined and this is used for object formation or object delineation.

Contraption ( 14 ) for determining object distances for a driver assistance system of a motor vehicle, comprising a camera ( 6 ) with a lens ( 20 ) characterized in that a plurality of focus positions (F) are adjustable and that a control and evaluation unit ( 12 ) is designed such that the camera ( 6 ) in different focus positions (F) one image at a time ( 18 ) of an object ( 10 ), so that the objects ( 10 ) in the pictures ( 18 ) are shown in different sharpness and that an optimal focus position (F _M ) is determined, in which the object is in focus, with the object distance is derived from the optimal focus position.