DE102012204175A1

DE102012204175A1 - Image processing method for driving assistance system of vehicle, involves calculating optical flux on camera images of preferred regions and/or preferred directions determined based on information of environment of vehicle

Info

Publication number: DE102012204175A1
Application number: DE201210204175
Authority: DE
Inventors: Philipp Lehner; Michael Schumann; Volker NIEMZ; Pascal Kanter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-03-16
Filing date: 2012-03-16
Publication date: 2013-09-19

Abstract

The method involves using a camera (1) for detecting the environment of vehicle. The preferred regions and/or preferential directions are determined, based on the information of environment of vehicle. The optical flux on the camera images of the preferred regions and/or preferred directions is calculated. Independent claims are included for the following: (1) image processing program for driving assistance system; and (2) driving assistance system.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Bildverarbeitung für ein Fahrassistenzsystem und ein Fahrassistenzsystem. The invention relates to a method for image processing for a driver assistance system and a driver assistance system.

EP 2 256 690 A1 zeigt ein Verfahren zur Detektion von dynamischen Objekten in einem Fahrassistenzsystem eines Fahrzeugs, wobei Signale von Kameras empfangen und dem Fahrassistenzsystem zugeführt werden und ein Umgebungsmodell unter Verwendung von 3D-Weltpositionen auf Basis der Sensordaten erzeugt wird. Dabei werden 3D-Warping-Verfahren und Verfahren, die auf dem optischen Fluss basieren, so miteinander kombiniert, dass ein Suchraum der jeweiligen Methode basierend auf den Ergebnissen der anderen Methode beschränkt wird. EP 2 256 690 A1 shows a method for detecting dynamic objects in a driver assistance system of a vehicle, wherein signals from cameras are received and supplied to the driving assistance system and an environment model is generated using 3D world positions based on the sensor data. In doing so, 3D warping methods and methods based on the optical flow are combined in such a way that a search space of the respective method is limited based on the results of the other method.

Aus der DE 10 2004 046 101 A1 ist ein Verfahren zur Früherkennung von Fahrzeugkollisionen bekannt, wobei auf Basis eines optischen Flusses einer oder mehrere sogenannte focus of expansion (FOE) berechnet werden, d.h. Punkte in der Bildebene, aus denen sich nähernde Objekte in unendlicher Entfernung zu entspringen scheinen. Dabei wird zur Verringerung des Rechenaufwands die Position eines FOEs nur in vertikaler Richtung ermittelt, weil davon ausgegangen wird, dass eine horizontale Position des FOEs konstant ist, weil sich die erfassten bewegten Objekte auf einer gemeinsamen Höhe mit dem eigenen Kraftfahrzeug befinden. From the DE 10 2004 046 101 A1 For example, a method for early detection of vehicle collisions is known, wherein one or more so-called focus of expansion (FOE) are calculated based on an optical flow, ie points in the image plane from which approaching objects seem to spring at an infinite distance. In this case, to reduce the computational effort, the position of a FOE is determined only in the vertical direction, because it is assumed that a horizontal position of the FOEs is constant, because the detected moving objects are at a common height with the own motor vehicle.

Der Erfindung geht das Problem voraus, dass die Berechnung eines optischen Flussfeldes in Echtzeitsystemen sehr teuer, d.h. Laufzeitintensiv ist. Die Berechnung erhöht sich auch dann signifikant, wenn das Flussfeld nicht nur pixelgenau sondern auch sogenannter Subpixelfluss zu bestimmen ist, vor allem dort, wo nur sehr kleine Veränderungen wahrgenommen werden müssen, z.B. in der Nähe des FOE oder auch dort, wo ein sehr genauer Fluss von Vorteil ist, z.B. bei der Detektion von Fußgängern, da diese im Vergleich zu festen Strukturen, wie sie z.B. bei Fahrzeugen vorliegen, sehr viele Bewegungen in unterschiedlichen Richtungen haben, insbesondere bei Armen und Beinen. The invention anticipates the problem that the calculation of an optical flow field in real time systems is very expensive, i. Runtime is intensive. The calculation also increases significantly if the flow field is to be determined not only pixel-precise but also so-called sub-pixel flow, especially where only very small changes have to be detected, e.g. near the FOE or even where a very accurate flow is beneficial, e.g. in the detection of pedestrians, since these compared to solid structures, as e.g. present on vehicles, have very many movements in different directions, especially in the arms and legs.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß wird ein Verfahren mit den Merkmalen nach dem Anspruch 1 vorgeschlagen und ein Fahrassistenzsystem gemäß Anspruch 10. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. According to the invention, a method with the features according to claim 1 is proposed and a driver assistance system according to claim 10. Advantageous developments of the invention are specified in the dependent claims.

Dabei ist vorgesehen, dass eine Kamera eine Umgebung eines Fahrzeugs erfasst und anhand von Informationen über die Umgebung eines Fahrzeugs Vorzugsbereiche und/oder Vorzugsrichtungen ermittelt werden und ein optischer Fluss auf den Kamerabildern nur in den Vorzugsbereichen und/oder Vorzugsrichtungen berechnet wird, beziehungsweise mehr Rechenzeit für die Vorzugsbereiche und/oder Vorzugsrichtungen zur Verfügung gestellt wird.It is provided that a camera detects an environment of a vehicle and based on information about the environment of a vehicle preferred ranges and / or preferred directions are determined and an optical flow is calculated on the camera images only in the preferred areas and / or preferred directions, or more computing time for the preferred areas and / or preferred directions are provided.

Vorteile der ErfindungAdvantages of the invention

Es wird vorgeschlagen, die Aufmerksamkeit des Flussberechnungsmoduls anhand von Umweltinformationen zu steuern. In solchen Bereichen des Bildes soll verhältnismäßig mehr Rechenzeit in die Flussberechnung und damit in die Genauigkeit des Flussfeldes investiert werden, wo erwartet wird, dass dort mehr Informationen im Feld gebraucht werden.It is proposed to control the attention of the flow calculation module based on environmental information. In such areas of the image, relatively more computing time should be invested in the flow calculation and thus in the accuracy of the flow field, where it is expected that more information will be needed in the field.

Bei der Berechnung des Flusses wird üblicherweise für ein Pixel eine Umgebung des Pixel, beispielsweise dessen nächste Nachbarn, betrachtet und dem Pixel eine Signatur zugeordnet, die eine Umgebungsinformation codiert. Die Signatur dient dazu, den Weltpunkt, den das Pixel kodiert, im nächsten für das Flussfeld relevanten Bild wiederzufinden. Hierbei gilt, dass pro Signaturblock nur ein Vektor bestimmt werden kann. Die Signaturblöcke können disjunkt sein oder sich überlagern. Hierbei kann der optische Fluss in verschiedenen Dichten berechnet werden, wobei ein dichtester Fall derart definiert werden kann, dass für jedes Pixel des Bildes einzeln eine Signatur bestimmt wird, und ein weniger dichter Fall derart, dass weniger Pixel ausgewählt werden, beispielsweise jedes n-te, wobei n eine natürliche Zahl ist, wenn der Fluss nur pixelgenau berechnet werden soll. Für einen subpixelgenauen Fluss wird noch zwischen den Signaturblöcken interpoliert. Über das Bild wird also zu einem Netz von Pixeln jeweils die Signatur berechnet, wobei der Netzpunktabstand horizontal und vertikal gleich oder verschieden gewählt sein kann, je nach Zweckmäßigkeit. When calculating the flow, a pixel's environment, for example its nearest neighbor, is usually considered for a pixel, and a signature is assigned to the pixel that encodes environmental information. The signature serves to retrieve the world point that the pixel encodes in the next image relevant to the flow field. In this case, only one vector can be determined per signature block. The signature blocks can be disjoint or superimposed. Here, the optical flux can be calculated in different densities, with a closest case defined such that one signature is determined for each pixel of the image, and a less dense case such that fewer pixels are selected, for example every nth , where n is a natural number if the flow is to be calculated with pixel accuracy. For a subpixel-accurate flow, interpolation is still done between the signature blocks. The image is thus in each case the signature calculated for a network of pixels, wherein the network point distance can be selected horizontally and vertically the same or different, depending on the expediency.

Die Signatur zu jedem Pixel oder eine ähnliche Signatur wird darauf hin in einem Folgebild wiedergesucht. Bei der Berechnung des optischen Flusses auf Digitalbildern wird also ein Vektorfeld berechnet, welches die Bewegung eines Pixels zwischen zwei Zeitpunkten t und t-x, insbesondere zu den Zeitpunkten t und t-1 beschreibt. The signature for each pixel or a similar signature is then retrieved in a subsequent image. In the calculation of the optical flow on digital images, therefore, a vector field is calculated which describes the movement of a pixel between two times t and t-x, in particular at the times t and t-1.

Nach einer Ausführungsform der Erfindung können die Vorzugsbereiche und/oder Vorzugsrichtungen priorisiert berechnet werden. Es kann vorgesehen sein, dass beispielsweise nur Vorzugsrichtungen und/oder Vorzugsbereiche berechnet werden oder es kann vorgesehen sein, dass zunächst Vorzugsrichtungen und/oder Vorzugsbereiche berechnet werden und anschließend über das gesamte Bild ein Fluss berechnet wird, um Objekte zu detektieren, die sich außerhalb der Vorzugsbereiche oder Vorzugsrichtungen befinden. Dabei kann auch ein Abbruch der Berechnung des Flusses auf dem Gesamtbild vorgesehen sein, wenn ein echtzeitfähiges System beabsichtigt wird. Es kann auch vorgesehen sein, den Fluss auf dem Gesamtbild dann noch einmal zu berechnen, wenn noch Zeit verbleibt, bevor das nächste Bild ausgewertet werden muss. Es kann darüber hinaus auch vorgesehen sein, den Fluss nach Berechnung der Vorzugsbereiche und/oder Vorzugsrichtungen weniger dicht zu berechnen und/oder die Dichte an eine verbliebene Rechenzeit anzupassen.According to one embodiment of the invention, the preferred ranges and / or preferred directions can be calculated prioritized. It can be provided that, for example, only preferred directions and / or preferred ranges are calculated, or it can be provided that initially preferred directions and / or preferred ranges are calculated and then a flux is calculated over the entire image in order to detect objects that are outside the Preferred ranges or preferred directions are located. It can also be a Abort the calculation of the flow to be provided on the overall picture, if a real-time capable system is intended. It can also be provided to recalculate the flow on the overall image if there is still time left before the next image has to be evaluated. In addition, it may also be provided to calculate the flow less densely after calculating the preferred ranges and / or preferred directions and / or to adapt the density to a remaining computing time.

Es kann vorgesehen sein, dass der optische Fluss nur in den Vorzugsrichtungen und/oder Vorzugsbereichen in Bezug auf mehrere zurückliegende Bilder berechnet wird. Beispielsweise kann der optische Fluss in Vorzugsrichtungen und/oder Vorzugsbereichen zu drei Zeitpunkten t, t-1 und t-2 berechnet werden, bevor anschließend über das gesamte Bild ein Fluss zu den Zeitpunkten t und t-1 berechnet wird, um Objekte zu detektieren, die sich außerhalb der Vorzugsbereiche oder Vorzugsrichtungen befinden. Über wie viele Bilder hinweg das Feld berechnet wird, hängt insbesondere von den zur Verfügung stehenden Ressourcen ab. In der Regel wird der Fluss über zwei aufeinander folgende Bilder berechnet, wobei bei Systemen mit mehreren Belichtungszeiten berücksichtigt werden muss, dass die Bilder, über die ein Flussfeld berechnet wird, jeweils mit derselben Belichtungsstrategie aufgenommen worden sind.It can be provided that the optical flow is calculated only in the preferred directions and / or preferred ranges with respect to a plurality of past images. For example, the optical flow in preferred directions and / or preferential ranges can be calculated at three times t, t-1 and t-2, before subsequently calculating a flow at the times t and t-1 over the entire image in order to detect objects. which are outside the preferred areas or preferred directions. How many images the field is calculated on depends in particular on the available resources. In general, the flow is calculated over two successive images, and in systems with multiple exposure times, it must be taken into account that the images over which a flow field is calculated were each taken with the same exposure strategy.

Es kann vorgesehen sein, dass beispielsweise nur Vorzugsrichtungen und/oder Vorzugsbereiche Subpixelfluss-genau berechnet werden. Bei selbstbewegten Objekten und bei Objekten in der Nähe des FOE kann es beispielsweise notwendig sein, aus Subpixelfluss Informationen zu gewinnen. It may be provided that, for example, only preferred directions and / or preferred ranges are calculated with subpixel flux accuracy. For example, with self-moving objects and with objects near the FOE, it may be necessary to extract information from sub-pixel flow.

Nach einer Ausführungsform der Erfindung werden die Informationen über die Umgebung des Fahrzeugs anhand von Karten der Umgebung ermittelt. Derartige Umgebungskarten können beispielsweise über ein Navigationssystem und GPS-Daten verfügbar sein, welches auf einem maschinenlesbaren Speichermedium gespeichert sein kann, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Das Kartenmaterial kann zusätzlich oder alternativ dazu auf einer Computereinrichtung wie etwa auf einem Server zum Herunterladen bereitgestellt sein, z.B. über ein Datennetzwerk wie etwa das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung oder einer eigenen gelernten Karte entnommen sein.According to one embodiment of the invention, the information about the environment of the vehicle is determined by means of maps of the environment. Such environment maps may be available for example via a navigation system and GPS data which may be stored on a machine-readable storage medium, such as a permanent or rewritable storage medium or in association with a computer device or on a removable CD-ROM, DVD or USB stick , The map material may additionally or alternatively be provided for download on a computing device, such as a server, e.g. be taken over a data network such as the Internet or a communication connection such as a telephone line or a wireless connection or its own learned card.

Nach einer Ausführungsform der Erfindung wird auf den Kamerabildern eine Szenerie erkannt. Die Informationen über die Umgebung des Fahrzeugs werden anhand der Szenerie ermittelt. Derartige Szenerien können beispielsweise anhand von geometrischen Anordnungen und/oder charakteristischen Farben erkannt werden. Sie können Kreuzungsbereiche umfassen, wobei diese beispielsweise anhand von Ampeln oder Verkehrsschildern erkannt werden können und/oder Zebrastreifen wobei diese beispielsweise anhand von Fahrspurmarkierungen erkannt werden können. Derartige Szenerien können auch mehrspurige Straßen umfassen, welche beispielsweise anhand von Fahrbahnbegrenzungselementen und/oder Fahrspurmarkierungen erkannt werden können, oder Reihen geparkter Autos. Derartige Szenerien können auch Räume umfassen, beispielsweise eine Garage, was beispielsweise anhand des Verlaufs von Kanten, an denen die Garagenwände aneinander oder an die Garagendecke stoßen, ermittelt werden kann. Eine weitere Möglichkeit zur Erkennung von Szenerien wäre eine texturbasierte Erkennung gewisser Objekte von Interesse, so zum Beispiel Fahrzeugen oder Fußgänger. Ist für derartige Objekte noch Bewegungsinformation relevant, so zum Beispiel für ein seitliches Tracking oder für eine Skalierungsschätzung, so ist deren Flussfeld von Bedeutung. Durch ein texturbasiertes Verfahren erkannte Bildregionen, können dem Flussberechnungsmodul zurückgespeist werden, um dort einen exakteren Fluss zu berechnen. Es ist denkbar, einen ähnlichen Ansatz mit einem Stereo- oder mit einem Radarsystem vorzunehmen. Eine weitere Informationsquelle zur Interpretation von durch die Umwelt bereitgestellten Informationen, sind beispielsweise Verkehrsschilder, wie zum Beispiel Zebrastreifenschilder oder Schülerlotsen-Hinweisschilder.According to one embodiment of the invention, a scene is detected on the camera images. The information about the surroundings of the vehicle is determined from the scenery. Such scenes can be recognized, for example, by means of geometric arrangements and / or characteristic colors. They may include intersections, which can be detected, for example, by means of traffic lights or traffic signs and / or crosswalks, which can be recognized, for example, by means of lane markings. Such sceneries may also comprise multi-lane roads, which can be recognized, for example, by means of lane boundary elements and / or lane markings, or rows of parked cars. Such scenarios may also include rooms, such as a garage, which can be determined, for example, based on the course of edges at which the garage walls abut each other or to the garage ceiling. Another way to detect sceneries would be a texture-based recognition of certain objects of interest, such as vehicles or pedestrians. If motion information is still relevant for such objects, for example for a lateral tracking or for a scaling estimate, then its flow field is of importance. Image regions detected by a texture-based method may be fed back to the flow calculation module to calculate a more accurate flow there. It is conceivable to undertake a similar approach with a stereo or with a radar system. Another source of information for interpreting information provided by the environment is, for example, traffic signs, such as pedestrian signage or student pilot information signs.

Nach einer Ausführungsform werden die Informationen über die Umgebung des Fahrzeugs anhand eines Einsatzes des Fahrassistenzsystems als Spurassistent oder als Parkassistent ermittelt. Bei einem Einsatz des Fahrassistenzsystems als Spurassistent oder als Parkassistent kann das Verfahren fest parametriert angewendet werden. According to one embodiment, the information about the surroundings of the vehicle is determined by using the driver assistance system as a lane assistant or as a parking assistant. If the driver assistance system is used as a lane assistant or as a parking assistant, the method can be used with fixed parametrization.

Spurassistenten werden beispielsweise bei Autobahnfahrten eingesetzt, um den Fahrer auf längeren Strecken ohne starkes Verkehrsaufkommen bei der Spurhaltung zu entlasten (LKA, lane keeping assistant). Spurassistenten benötigen Informationen über den Verlauf der Fahrspur, in welcher sich das Fahrzeug befindet. Die Informationen werden dabei durch Bildmaterial und/oder durch Kartenmaterial bereitgestellt. Sobald ein Verlassen der Spur droht, wird dem Fahrer im Allgemeinen ein akustisches Signal übermittelt, so dass dessen Aufmerksamkeit auf das Halten der Spur gerichtet wird. Bei der Berechnung des optischen Flusses kann diese Richtung ressourcensparend als eine fest parametrisierte Vorzugsrichtung definiert werden.Lane assistants are used, for example, in highway driving to relieve the driver on longer journeys without heavy traffic during tracking (LKA, lane keeping assistant). Lane assistants require information about the course of the lane in which the vehicle is located. The information is provided by visual material and / or by map material. As soon as there is a threat of leaving the lane, an acoustic signal is generally transmitted to the driver, so that his attention is focused on holding the lane. When calculating the optical flow, this direction can be defined as resource-saving as a fixed parameterized preferred direction.

Bei dem Parkassistenten ist eine sehr genaue dreidimensionale Rekonstruktion der Umgebung gewünscht. Daher sind optimierte Modi für das Einparken in eine Parklücke, welche sich in eine Reihe hintereinander parkender Fahrzeuge befindet, oder für das Einparken in eine Reihe nebeneinander oder schräg nebeneinander geparkter Fahrzeuge oder in Garagen denkbar. Es wäre ebenfalls denkbar, neben den Vorzugsrichtungen das gesamte Flussberechnungsmodul umzuparametrisieren. Da in der Regel beim Einparken nur sehr langsame Geschwindigkeiten vorliegen, so dass sich die aufgenommene Umwelt zwischen zwei Bildern nur wenig ändert, besteht die Möglichkeit, hier anhand der Odometrie nur dann ein neues Flussfeld bereitzustellen, wenn das Fahrzeug eine gewisse Strecke, so zum Beispiel in der Größenordnung von 0,1 m zurückgelegt hat. Hierdurch steht für das Flussberechnungsmodul wesentlich mehr Zeit zur Verfügung, um ein einzelnes Flussfeld auszuwerten, welches in diesem Falle in einer höheren Genauigkeit vorläge. In the park assistant, a very accurate three-dimensional reconstruction of the environment is desired. Therefore, optimized modes for parking in a parking space, which is located in a series of consecutively parked vehicles, or for parking in a series of side by side or obliquely parked side by side vehicles or garages are conceivable. It would also be conceivable to reconfigure the entire flow calculation module in addition to the preferred directions. Since usually only very slow speeds are present when parking, so that the recorded environment changes only slightly between two images, it is possible to provide here only a new flow field using the odometry, if the vehicle has a certain distance, such as on the order of 0.1 m. As a result, considerably more time is available for the flow calculation module in order to evaluate a single flow field, which in this case would be available with a higher accuracy.

Nach einer Ausführungsform umfassen die Informationen über die Umgebung, dass das Fahrzeug sich in einem Raum befindet. Ein Vorzugsbereich umfasst in dieser Situation einen Bildrandbereich und ein optischer Fluss wird in dem Bildrandbereich berechnet. Dies ermöglicht eine bessere 3D-Rekonstruktion des Raums. In einem geschlossenen Raum wie beispielsweise in einer Garage werden eher statische Objekte vermutet und weniger dynamische, d.h. selbstbewegliche Objekte. Auf Basis dieser Informationen über die Umgebung kann Rechenzeit gespart werden, die durch eine Berechnung eines pixelgenauen oder subpixelgenauen optischen Flusses auf dem Vollbild entstehen würde. Stattdessen werden Raumrandbereiche, die für die 3D-Rekonstruktion des Raums nötig sind, exakt ermittelt.In one embodiment, the information about the environment includes the vehicle being in a room. A preferential area in this situation includes an image border area and an optical flux is calculated in the image border area. This allows a better 3D reconstruction of the room. In a closed room such as a garage, static objects are more likely to be suspected and less dynamic, i. E. self-moving objects. On the basis of this information about the environment, computing time can be saved, which would result from calculating a pixel-precise or subpixel-accurate optical flow on the full screen. Instead, room edge areas, which are necessary for the 3D reconstruction of the room, are determined exactly.

Nach einer Ausführungsform umfassen die Informationen über die Umgebung eine Existenz von querendem Verkehr. Eine Vorzugsrichtung umfasst in dieser Situation eine Richtung des querenden Verkehrs. In dem Fall, wenn querender Verkehr erwartet wird, wird ein optischer Fluss bevorzugt in der Bewegungsrichtung des querenden Verkehrs berechnet. Der querende Verkehr kann darüber hinaus auch einen Vorzugsbereich definieren, in dem die Informationen verarbeitet wird, bis zu welcher Höhe querende Objekte auf dem Bild erwartet werden. Somit wird effektiv ein Streifen in dem Bild berechnet, welcher dem potentiellen querenden Verkehr entspricht. Die Informationen über die Existenz des querenden Verkehrs können aus einer beliebigen Quelle stammen. In dem Fall, wenn querender Verkehr erwartet wird, kann beispielsweise zunächst die Vorzugsrichtung und/oder der Vorzugsbereich berechnet werden und, sobald ein gefährdetes Objekt ausgemacht werden, in der Nähe des gefährdeten Objekts eine genauere Berechnung, beispielsweise eine Subpixelflussberechnung ausgeführt werden. Danach kann gegebenenfalls noch eine Berechnung des Gesamtflusses, beispielsweise mit einer verringerten Genauigkeit erfolgen. In one embodiment, the information about the environment includes an existence of crossing traffic. A preferred direction in this situation comprises a direction of the crossing traffic. In the case when crossing traffic is expected, optical flow is preferably calculated in the direction of movement of the crossing traffic. The trailing traffic may also define a preference area in which the information is processed, up to which height traversing objects are expected on the image. Thus, effectively a band is calculated in the image corresponding to the potential crossing traffic. The information about the existence of the crossing traffic can come from any source. In the case when crossing traffic is expected, for example, first the preferred direction and / or the preferred range can be calculated and, as soon as an endangered object is identified, a more accurate calculation, for example a subpixel flux calculation, can be made in the vicinity of the vulnerable object. Thereafter, if necessary, a calculation of the total flow, for example, with a reduced accuracy.

Nach einer Ausführungsform der Erfindung können die Informationen über die Umgebung eine Existenz und eine Geschwindigkeit eines bewegten Objekts umfassen. Eine Vorzugsrichtung umfasst in dieser Situation eine prädizierte Trajektorie des bewegten Objekts. Verfahren zur Prädiktion von Trajektorien von bewegten Objekten, beispielsweise Fußgänger, Fahrradfahrer oder weitere Fahrzeuge, sind bekannt und umfassen z.B. die Anwendung von Kalman-Filtern. Für die Berechnung des optischen Flusses wird das Ergebnis derartiger Prädiktionen, d. h. den zukünftigen Ort des bewegten Objekts betreffend, verwendet. In dem dadurch definierten Vorzugsbereich kann der Fluss pixelgenau und/oder subpixelgenau berechnet werden. Werden mehrere Objekte auf dem Bild erkannt, so kann eine Priorität festgelegt werden, welche durch den Abstand des bewegten Objekts zum Fahrzeug und/oder durch die Wahrscheinlichkeit einer Kollision mit dem bewegten Objekt bestimmt sein kann. Sofern das Objekt klassifiziert worden ist, beispielsweise wenn bekannt ist, ob es sich um ein Fahrzeug, einen Fußgänger oder einen Radfahrer handelt, dann kann anhand dieser Information dem bewegten Objekt ein potentieller Bewegungsradius und somit ein Vorzugsbereich zugeordnet werden. Der Bewegungsradius kann so bestimmt sein, dass sich unter normalen Umständen das Objekt sich auf einem Folgebild nicht weiter als bis zu dem Radius bewegen sollte.According to one embodiment of the invention, the information about the environment may include an existence and a speed of a moving object. A preferred direction in this situation comprises a predicted trajectory of the moving object. Methods for predicting trajectories of moving objects, for example pedestrians, cyclists or other vehicles, are known and include e.g. the application of Kalman filters. For the calculation of the optical flow, the result of such predictions, i. H. concerning the future location of the moving object. In the preferred range defined thereby, the flux can be calculated with pixel precision and / or subpixel accuracy. If a plurality of objects are detected on the image, then a priority can be defined, which can be determined by the distance of the moving object to the vehicle and / or by the probability of a collision with the moving object. If the object has been classified, for example if it is known whether it is a vehicle, a pedestrian or a cyclist, then with reference to this information the moving object can be assigned a potential radius of movement and thus a preferential area. The radius of motion may be determined so that under normal circumstances the object should not move further than the radius on a subsequent image.

Weiter ist vorgesehen, dass auch anhand der Odometrie des Ego-Fahrzeugs gewisse Vorzugsrichtungen berechnet werden können, um den Rechenaufwand zu reduzieren. Die Eigenbewegung des Ego-Fahrzeugs erzeugt für ein Objekt, dessen Abstand und Größe zum Fahrzeug bekannt ist, einen optischen Fluss auf den Bildern der Umgebung. Anhand der Eigenbewegung des Ego-Fahrzeugs kann beispielsweise erkannt werden, dass eine Spurhaltung erfolgt oder dass eine Einparksituation vorliegt. It is further provided that certain preferred directions can also be calculated on the basis of the odometry of the ego vehicle in order to reduce the computational effort. The self-motion of the ego vehicle generates an optical flow on the images of the environment for an object whose distance and size to the vehicle is known. On the basis of the proper motion of the ego vehicle, it can be recognized, for example, that tracking is taking place or that a parking situation is present.

Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln oder um eine Applikation für Fahrassistenzfunktionen, welche auf einem Smartphone ausführbar ist. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa auf einem Server zum Herunterladen bereitgestellt werden, z.B. über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung. According to the invention, a computer program is also proposed according to which one of the methods described herein is performed when the computer program is executed on a programmable computer device. The computer program can be, for example, a module for implementing a driver assistance system or a subsystem thereof in a vehicle or an application for driver assistance functions that can be executed on a smartphone. The computer program can be stored on a machine-readable storage medium, such as on a permanent or rewritable storage medium or in Assignment to a computer device or on a removable CD-Rom, DVD or USB stick. Additionally or alternatively, the computer program may be provided for download on a computing device such as a server, eg via a data network such as the Internet or a communication link such as a telephone line or a wireless link.

Erfindungsgemäß ist außerdem ein Fahrassistenzsystem zur Ausführung eines der beschriebenen Verfahren vorgesehen, aufweisend

– eine Kamera zur Erfassung einer Fahrzeugumgebung,
– ein Modul zur Ermittlung von Informationen über die Umgebung des Fahrzeugs,
– ein Modul zur Ermittlung von Vorzugsbereichen und/oder Vorzugsrichtungen aus den Informationen über die Umgebung des Fahrzeugs und
– ein Modul zur Berechnung eines optischen Flusses in den Vorzugsbereichen und/oder Vorzugsrichtungen.

According to the invention, a driver assistance system is also provided for carrying out one of the described methods, comprising

A camera for detecting a vehicle environment,
A module for determining information about the surroundings of the vehicle,
A module for determining preferred ranges and / or preferred directions from the information about the surroundings of the vehicle and
A module for calculating an optical flow in the preferred ranges and / or preferred directions.

Bevorzugt ist die Kamera zur Erfassung der Fahrzeugumgebung als ein Teil eines Videosystems ausgebildet, welches Bilder einer Umgebung des Fahrzeugs aufnimmt. Die Kamera kann eine Monokularkamera oder eine in einem Stereokamerasystem verwendete Kamera sein. Das Fahrassistenzsystem kann weitere Sensoren zur Aufnahme der Fahrzeugumgebung aufweisen, insbesondere Ultraschallsensoren, Radarsensoren und/oder LIDAR-Sensoren und Fusionsmodule aufweisen, welche Daten der verschiedenen Systeme geeignet zusammenfügen.Preferably, the camera for detecting the vehicle environment is formed as a part of a video system, which receives images of an environment of the vehicle. The camera may be a monocular camera or a camera used in a stereo camera system. The driver assistance system can have further sensors for recording the vehicle surroundings, in particular ultrasound sensors, radar sensors and / or LIDAR sensors and fusion modules which suitably combine data of the various systems.

Das Fahrassistenzsystem kann zum Datenaustausch mit weiteren Fahrassistenzsystemen, insbesondere mit einem Kollisionsvermeidungsassistenten, einem Einparkassistenten, einem Spurhalterassistenten eingerichtet sein.The driver assistance system can be set up for data exchange with further driver assistance systems, in particular with a collision avoidance assistant, a parking assistant, a lane keeping assistant.

Weitere Ausführungsbeispiele und Vorteile der Erfindung werden nachfolgend mit Bezug auf die Zeichnung beschrieben.Further embodiments and advantages of the invention will be described below with reference to the drawing.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Es zeigenShow it

1 eine schematische Darstellung funktionaler Komponenten eines Fahrassistenzsystems in einem Fahrzeug, 1 a schematic representation of functional components of a driver assistance system in a vehicle,

2 ein Bild einer Fahrzeugumgebung mit einer Kreuzung, 2 an image of a vehicle environment with an intersection,

3 ein Bild einer Fahrzeugumgebung mit einem Zebrastreifen und 3 a picture of a vehicle environment with a zebra crossing and

4 ein Bild einer Fahrzeugumgebung mit einem Raum. 4 an image of a vehicle environment with a room.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine schematische Darstellung funktionaler Komponenten eines Fahrassistenzsystems, welches dazu ausgebildet ist, ein Verfahren zur Bildverarbeitung auszuführen, wobei aus Informationen über die Umgebung eines Fahrzeugs Vorzugsbereiche und/oder Vorzugsrichtungen ermittelt werden und ein optischer Fluss auf den Kamerabildern in den Vorzugsbereichen und/oder Vorzugsrichtungen berechnet wird. 1 shows a schematic representation of functional components of a driver assistance system, which is adapted to perform a method for image processing, wherein from information about the environment of a vehicle preferred ranges and / or preferred directions are determined and calculates an optical flow on the camera images in the preferred areas and / or preferred directions becomes.

Das Fahrassistenzsystem umfasst hierzu zumindest eine Kamera 1 eines optischen Sensorsystems, welches Monokular- oder Stereovideokameras umfassen kann. Das Fahrassistenzsystem kann weiterhin weitere Sensoren 2 umfassen, insbesondere weitere Kameras, Ultraschallsensoren, Radarsensoren und/oder LIDAR-Sensoren. Das Fahrassistenzsystem kann weiterhin eine GPS-Empfänger 3 aufweisen und eine Kommunikationsschnittstelle 4, beispielsweise eine Internetverbindung und/oder eine Telefonleitung und/oder eine drahtlose Verbindung. Die Signale der Kamera 1, der weiteren Sensoren 2, des GPS-Empfängers 3 und der Kommunikationsschnittstelle 4 werden in einer Eingangsschaltung 5 empfangen. Die Eingangsschaltung 5 ist mit einem Bussystem 6 zum Datenaustausch mit einer Datenverarbeitungseinrichtung 7 verbunden.The driver assistance system comprises at least one camera for this purpose 1 an optical sensor system which may comprise monocular or stereo video cameras. The driver assistance system may further include other sensors 2 include, in particular other cameras, ultrasonic sensors, radar sensors and / or LIDAR sensors. The driver assistance system may further include a GPS receiver 3 have and a communication interface 4 For example, an Internet connection and / or a telephone line and / or a wireless connection. The signals of the camera 1 , the other sensors 2 , the GPS receiver 3 and the communication interface 4 be in an input circuit 5 receive. The input circuit 5 is with a bus system 6 for data exchange with a data processing device 7 connected.

Die Datenverarbeitungseinrichtung 7 umfasst eine Komponente 10 zur Ermittlung von Informationen über eine Fahrzeugumgebung. Die Komponente 10 zur Ermittlung von Informationen kann Daten der Kamera 1, der weiteren Sensoren 2, des GPS-Empfängers 3 und/oder der Kommunikationsschnittstelle 4 verarbeiten und ermittelt beispielsweise das Vorhandensein von querendem Verkehr, Kreuzungssituationen, Stausituationen, Einparksituationen, Autobahnfahrt, ob sich das Fahrzeug in geschlossenen Räumen oder beispielsweise auf registrierten oder auf nicht registrierten Straßen befindet. The data processing device 7 includes a component 10 to determine information about a vehicle environment. The component 10 to gather information can be data from the camera 1 , the other sensors 2 , the GPS receiver 3 and / or the communication interface 4 process and determine, for example, the presence of cross-traffic, intersection situations, traffic jams, parking situations, highway driving, whether the vehicle is in enclosed spaces or, for example, on registered or unregistered roads.

Aus den Daten der Kamera 1 und/oder aus den Daten der weiteren Sensoren 2 kann die Komponente 10 zur Ermittlung von Informationen Szenerien erkennen und anhand der Szenerien Informationen über die Umgebung ermitteln. Alternativ dazu oder zusätzlich dazu kann die Komponente 10 zur Ermittlung von Informationen aus Daten der GPS-Einrichtung 3 und/oder aus Daten der Kommunikationsschnittstelle 4 Informationen über die Umgebung ermitteln. Alternativ dazu oder zusätzlich dazu kann die Komponente 10 zur Ermittlung von Informationen von Fahrerassistenzsystemen wie einem Parkassistenten oder einem Spurassistenten Informationen darüber ermitteln, ob diese aktiviert sind oder anhand von Odometrie auf eine Fahrsituation schließen.From the data of the camera 1 and / or from the data of the other sensors 2 can the component 10 Detect sceneries to determine information and use the sceneries to determine information about the environment. Alternatively, or in addition, the component 10 to obtain information from GPS facility data 3 and / or from data of the communication interface 4 Get information about the environment. Alternatively, or in addition, the component 10 for determining information from driver assistance systems such as a parking assistant or a lane assistant information determine whether they are activated or use odometry to conclude a driving situation.

Die Datenverarbeitungseinrichtung 7 umfasst weiterhin eine Komponente 11 zur Ermittlung von Vorzugsbereichen und/oder Vorzugsrichtungen auf den Bildern der Umgebung. Die Komponente 11 zur Ermittlung der Vorzugsbereiche und/oder Vorzugsrichtungen verarbeitet insbesondere Daten der Komponente 10 zur Ermittlung von Informationen und Daten der Kamera 1. Die Daten der Kamera 1 werden benötigt, um Vorzugsbereiche auf den Bildern zu verankern und um beispielsweise Informationen aus Karten zu eichen. Beispielsweise ist ein Bereich auf dem Bild zu bestimmen, in welchem ein Querverkehr zu erwarten ist. The data processing device 7 further comprises a component 11 for determining preferred ranges and / or preferred directions in the images of the environment. The component 11 For determining the preferred ranges and / or preferred directions, in particular processes data of the component 10 to determine information and data of the camera 1 , The data of the camera 1 are needed to anchor preferred areas in the images and to calibrate information from maps, for example. For example, an area on the image in which a cross traffic is to be expected is to be determined.

Die Datenverarbeitungseinrichtung 7 umfasst darüber hinaus ein Modul 12 zur Ermittlung des optischen Flusses auf den Bildern der Kamera 1. Das Modul 12 zur Ermittlung des optischen Flusses empfängt Daten des Moduls 11 zur Ermittlung von Vorzugsbereichen und/oder Vorzugsrichtungen auf den Bildern der Umgebung und Bilder der Kamera 1. Das Modul 11 zur Ermittlung von Vorzugsbereichen und/oder Vorzugsrichtungen auf den Bildern der Umgebung steuert somit die Aufmerksamkeit des Moduls 12 zur Berechnung des optischen Flusses. The data processing device 7 also includes a module 12 for determining the optical flow on the images of the camera 1 , The module 12 for detecting the optical flow receives data of the module 11 for determining preferred ranges and / or preferred directions on the images of the environment and images of the camera 1 , The module 11 to determine preferred ranges and / or preferred directions on the images of the environment thus controls the attention of the module 12 for the calculation of the optical flow.

Es kann vorgesehen sein, dass das Modul 12 zur Ermittlung des optischen Flusses auf den Bildern der Kamera Vorzugsbereiche und/oder Vorzugsrichtungen priorisiert berechnet und/oder den Fluss nur in den Vorzugsrichtungen und/oder Vorzugsbereichen in Bezug auf mehrere zurückliegende Bilder berechnet und/oder nur Vorzugsrichtungen und/oder Vorzugsbereiche Subpixelfluss-genau berechnet. It can be provided that the module 12 For determining the optical flow on the images of the camera, preferred ranges and / or preferred directions are calculated prioritized and / or the flow is calculated only in the preferred directions and / or preferred ranges with respect to a plurality of past images and / or only preferred directions and / or preferred ranges subpixel flow-accurately calculated ,

Wenn sich eine Ansammlung von Flussvektoren, d.h. ein segmentierter zusammenhängender Bereich, deutlich anders bewegt als das umgebende, insbesondere von einer Eigenbewegung des Fahrzeugs bereinigte Feld, dann kann hieraus auf ein sich selbst bewegtes Objekt geschlossen werden. Da bei der Berechnung des eigenbewegungsbereinigten Flussfeldes auch eine Oberflächenannahme gemacht wird, stechen auch statische und gleichzeitig erhabene Objekte aus dem Flussfeld heraus. Somit ist eine Unterscheidung von selbstbewegten Objekten von statischen Objekten in der Regel möglich.When a collection of flow vectors, i. a segmented contiguous area, clearly different than the surrounding field, in particular cleared by a self-motion of the vehicle field, then it can be concluded that a self-moving object. Since a surface assumption is also made when calculating the self-motion-corrected flow field, static and at the same time elevated objects also stick out of the flow field. Thus, a distinction of self-moving objects of static objects is usually possible.

Objekte, welche von Modul 12 zur Berechnung des optischen Flusses erkannt wurden, können Fahrassistenzsystemen 13 wie Kollisionsvermeidungssystemen und/oder Einparkhilfen und/oder Spurhalterassistenten zur Weiterverarbeitung bereitgestellt oder übergeben werden und/oder auf Anzeigen 14 wie beispielsweise auf einem head-up-display und/oder einem head-down-display dem Fahrer angezeigt werden und/oder über eine Kommunikationsschnittstelle 15 übertragen werden. Objects, which by Modul 12 For the calculation of the optical flow were detected, driver assistance systems 13 such as collision avoidance systems and / or parking aids and / or track assistants are provided or handed over for further processing and / or on displays 14 such as displayed on a head-up display and / or a head-down display the driver and / or via a communication interface 15 be transmitted.

2 zeigt ein Bild 20 einer Fahrzeugumgebung mit einem Kreuzungsbereich. Das Bild 20 wurde beispielsweise mit einer Frontkamera eines Ego-Fahrzeugs aufgenommen, welches mit einem in Bezug auf die 1 beschriebenen Fahrassistenzsystem ausgestattet ist. Auf dem Bild 20 ist eine Querstraße 21 zu erkennen, welche eine Straße 22 kreuzt, auf der sich das Ego-Fahrzeug befindet. Im Kreuzungsbereich befindet sich eine Ampelanlage 24. 2 shows a picture 20 a vehicle environment with a crossing area. The picture 20 was recorded, for example, with a front camera of an ego vehicle, which with a respect to the 1 equipped driving assistance system is described. In the picture 20 is a cross street 21 to recognize which one street 22 cruising on which the ego vehicle is located. In the crossing area there is a traffic light system 24 ,

Das Fahrassistenzsystem hat beispielsweise anhand einer Auswertung des Kamerabildes 20, beispielsweise über die Detektion der Ampelanlage 24 und/oder anhand von Karten der Umgebung die Szenerie der Kreuzung mit potenziellem Querverkehr erkannt und verwendet diese Information über die Umgebung des Fahrzeugs bei der Berechnung des optischen Flusses. Zunächst werden anhand der Informationen über die Umgebung eines Fahrzeugs Vorzugsbereiche und/oder Vorzugsrichtungen ermittelt. Durch einen Doppelpfeil ist eine Bewegungsrichtung des Querverkehrs verdeutlicht, welche eine Vorzugsrichtung 23 definiert. Weiterhin wird durch eine Annahme einer Höhe von potentiell querendem Verkehr ein Vorzugsbereich 25 mit einer relativen Bildhöhe 26 definiert. Erfindungsgemäß kann vorgesehen sein, den optischen Fluss priorisiert in dem Vorzugsbereich 25 und in der Vorzugsrichtung 23 zu berechnen oder in dem Vorzugsbereich 25 und in der Vorzugsrichtung 23 in Bezug auf mehrere zurückliegende Bilder zu berechnen oder Subpixel-genau. Hierdurch wird der Rechenaufwand bei der Berechnung des optischen Flusses signifikant vermindert.The driver assistance system has, for example, based on an evaluation of the camera image 20 , for example via the detection of the traffic light system 24 and / or recognizes the scenery of the intersection with potential cross traffic from maps of the environment and uses this information about the environment of the vehicle in the calculation of the optical flow. First, preferred ranges and / or preferred directions are determined on the basis of the information about the environment of a vehicle. By a double arrow, a direction of movement of the transverse traffic is clarified, which is a preferred direction 23 Are defined. Further, by assuming an amount of potentially crossing traffic, a preference area becomes 25 with a relative picture height 26 Are defined. According to the invention, it may be provided that the optical flow is prioritized in the preferred range 25 and in the preferred direction 23 to calculate or in the preferential area 25 and in the preferred direction 23 to calculate in terms of multiple past images or subpixel-accurate. As a result, the computational effort in the calculation of the optical flow is significantly reduced.

3 zeigt ein Bild 30 einer Fahrzeugumgebung mit einem Zebrastreifen. Das Fahrassistenzsystem hat beispielsweise anhand einer Auswertung des Kamerabildes 30, beispielsweise über die Detektion der Fahrbahnmarkierungen 31 des Zebrastreifens oder erkannter Straßenschilder 32 und/oder anhand von Karten der Umgebung die Szenerie des Zebrastreifens erkannt und verwendet diese Information über die Umgebung des Fahrzeugs bei der Berechnung des optischen Flusses. Aus der Annahme einer Höhe von potentiell querendem Verkehr wird eine relative Bildhöhe 37 berechnet. Außerdem kann hier eine relevante Breite 34 des Zebrastreifens 31 definiert werden, so dass ein rechteckiger Vorzugsbereich 35 definiert werden kann. Erfindungsgemäß kann vorgesehen sein, den optischen Fluss priorisiert in dem Vorzugsbereich 35 zu berechnen oder in dem Vorzugsbereich 35 in Bezug auf mehrere zurückliegende Bilder zu berechnen oder Subpixelgenau. 3 shows a picture 30 a vehicle environment with a crosswalk. The driver assistance system has, for example, based on an evaluation of the camera image 30 , for example via the detection of the lane markings 31 the zebra crossing or recognized street signs 32 and / or using maps of the environment the scenery of the crosswalk detected and uses this information about the environment of the vehicle in the calculation of the optical flow. Assuming a height of potentially crossing traffic becomes a relative image height 37 calculated. Also, here is a relevant width 34 of the crosswalk 31 be defined, leaving a rectangular preferential area 35 can be defined. According to the invention, it may be provided that the optical flow is prioritized in the preferred range 35 to calculate or in the preferential area 35 to calculate in terms of multiple past images or subpixel accurate.

Auf dem Zebrastreifen befindet sich ein bewegtes Objekt 36. Das Fahrassistenzsystem detektiert beispielsweise anhand einer Auswertung des Kamerabildes 30 die Existenz und eine Geschwindigkeit des bewegten Objekts 36 und prädiziert eine Trajektorie des bewegten Objekts 36. Aus der Trajektorie kann eine Vorzugsrichtung 33 sowie gegebenenfalls ein Vorzugsbereich ermittelt werden, in welchem der optische Fluss priorisiert oder in Bezug auf mehrere zurückliegende Bilder oder Subpixel-genau berechnet werden kann. There is a moving object on the crosswalk 36 , The driver assistance system detects, for example, based on an evaluation of the camera image 30 the existence and speed of the moving object 36 and predicts a trajectory of the moving object 36 , From the trajectory can be a preferred direction 33 and, if appropriate, a preferred range can be determined in which the optical flow can be prioritized or calculated with respect to a plurality of past images or subpixel-accurate.

4 zeigt ein weiteres Bild 40 einer Fahrzeugumgebung mit einer Garage. Anhand der Auswertung des Bildes und/oder anhand von Kartenmaterial und/oder anhand von Informationen eines GPS-Systems und/oder anhand der Tatsache, dass ein Garageneinparkassistent gestartet wurde, ist dem Fahrassistenzsystem bekannt, dass sich das Fahrzeug in einem Raum 42 befindet. Für die Ermittlung des optischen Flusses können insbesondere die Ecken 41 relevant sein. Auf Grund der Odometrie des Fahrzeugs kann vorhergesagt werden, wohin sich die Ecken 41 bei einer Vorwärtsfahrt bewegen. Hierdurch können Vorzugsrichtungen 43 oder Vorzugsbereiche 45 definiert werden, in denen der optische Fluss priorisiert berechnet wird. Außerdem bildet in dieser Umgebung ein Bildrandbereich 46 einen weiteren Vorzugsbereich 45, in dem bevorzugt eine Auswertung des optischen Flusses erfolgt, um möglichst gute 3D-Information über den Raum zu gewinnen. Insbesondere unter der gegebenen Anforderung einer 3D-Rekonstruktion aus dem optischen Fluss sind ein gesamter seitlicher Wandbereich 47 und eine Bodenebene 48 von Interesse. Ausgespart werden können eine Wand 49 in Blickrichtung, insbesondere der Bildbereich um den FOE 50. 4 shows another picture 40 a vehicle environment with a garage. On the basis of the evaluation of the image and / or on the basis of map material and / or on the basis of information from a GPS system and / or on the fact that a garage parking assistant has been started, the driver assistance system is aware that the vehicle is in a room 42 located. For the determination of the optical flow, in particular the corners 41 to be relevant. Due to the odometry of the vehicle can be predicted where the corners go 41 move on a forward drive. As a result, preferred directions 43 or preferred areas 45 be defined, in which the optical flow is calculated prioritized. Moreover, in this environment forms a picture edge area 46 another preferred area 45 , in which preferably an evaluation of the optical flow takes place in order to obtain the best possible 3D information about the space. In particular, given the requirement of 3D reconstruction from the optical flow, there is an entire lateral wall area 47 and a floor level 48 of interest. Can be spared a wall 49 in view, especially the image area around the FOE 50 ,

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.The invention is not limited to the embodiments described herein and the aspects highlighted therein. Rather, within the scope given by the claims a variety of modifications are possible, which are within the scope of expert action.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2256690 A1 [0002]
DE 102004046101 A1 [0003]

Claims

Method for image processing for a driver assistance system, in which a camera ( 1 ) detects an environment of a vehicle, with reference to information about the environment of the vehicle preferred ranges ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ) and an optical flow on the camera images ( 20 . 30 . 40 ) in the priority areas ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ) is calculated.

Method according to claim 1, characterized in that the preferential ranges ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ) are prioritized and / or only preferred areas ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ) are calculated on several past images and / or subpixel flow-accurately calculated.

Method according to one of the preceding claims, characterized in that the information about the environment of the vehicle are determined by means of maps of the environment.

Method according to one of the preceding claims, characterized in that on the camera images ( 20 . 30 . 40 ) a scene is detected and the information about the environment of the vehicle is determined by the scenery.

Method according to one of the preceding claims, characterized in that the information about the environment of the vehicle based on an employment of the driving assistance system as lane assistant or parking assistant are determined.

Method according to one of the preceding claims, characterized in that the information about the environment comprises that the vehicle is in a room ( 42 ) and a preferential area ( 45 ) an image border area ( 46 ).

Method according to one of the preceding claims, characterized in that the information about the environment comprises an existence of crossing traffic and a preferred direction ( 23 ) comprises a direction of the crossing traffic.

Method according to one of the preceding claims, characterized in that the information about the environment indicates an existence and a speed of a moving object ( 36 ) and a preferred direction ( 33 ) of a predicted trajectory of the moving object ( 36 ).

A computer program for performing any of the methods of any one of claims 1 to 8 when the computer program is executed on a programmable computing device.

Driver assistance system, in particular for carrying out one of the methods according to one of claims 1 to 8, comprising - a camera ( 1 ) for detecting a vehicle environment, - a module ( 10 ) for determining information about the environment of the vehicle, - a module ( 11 ) for the identification of preferential areas ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ) from the information about the environment of the vehicle and - a module ( 12 ) for the calculation of an optical flow in the preferential ranges ( 25 . 35 . 45 ) and / or preferred directions ( 23 . 33 . 43 ).