DE102015216352A1

DE102015216352A1 - Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings

Info

Publication number: DE102015216352A1
Application number: DE102015216352.0A
Authority: DE
Inventors: Nina Brouwer; Felix Klanner; Horst Klöden
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-08-27
Filing date: 2015-08-27
Publication date: 2017-03-02

Abstract

Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger mittels einer Auswerteeinrichtung, aufweisend die folgenden Schritte: – Bereitstellen eines ersten Bildes, das eine erste Auflösung aufweist und das eine Abbildung zumindest eines Fußgängers aufweisen kann, einer Szene um das Kraftfahrzeug; – Ermitteln der Anzahl möglicher Abbildungen von Fußgängern im ersten Bild; – Markieren einer möglichen Abbildung eines Fußgängern im ersten Bild als Region von Interesse; – Ermitteln der derzeit verfügbaren Auswertekapazität der Auswerteeinrichtung; – Bereitstellen eines zweiten Bildes, das eine zweite Auflösung aufweist, die höher als die erste Auflösung ist, der Szene um das Kraftfahrzeug; – Ermitteln der maximalen Anzahl von Regionen von Interesse, die mit der derzeit verfügbaren Auswertekapazität ausgewertet werden können; – falls die maximale Anzahl von Regionen von Interesse größer als die Anzahl möglicher Abbildungen von Fußgängern ist, Durchführen der folgenden vier Schritte: – Priorisieren der möglichen Abbildungen von Fußgängern als Regionen von Interesse im ersten Bild; – Auswerten der Regionen von Interesse im zweiten Bild in Abhängigkeit der Priorisierung; – Ermitteln, ob das Gefahrenpotential eines Fußgängers einen vorbestimmten Schwellenwert überschreitet; und – Ausgeben einer Warnung, falls das Gefahrenpotential des Fußgängers einen vorbestimmten Schwellenwert überschreitet.A method for detecting a possible collision of a vehicle with a pedestrian by means of an evaluation device, comprising the following steps: - providing a first image having a first resolution and which may have an image of at least one pedestrian, a scene around the motor vehicle; - determining the number of possible pictures of pedestrians in the first picture; - marking a possible image of a pedestrian in the first image as a region of interest; - Determining the currently available evaluation capacity of the evaluation device; Providing a second image having a second resolution higher than the first resolution of the scene around the motor vehicle; - determining the maximum number of regions of interest that can be evaluated with the currently available evaluation capacity; If the maximum number of regions of interest is greater than the number of possible images of pedestrians, performing the following four steps: - prioritizing the possible images of pedestrians as regions of interest in the first image; - evaluating the regions of interest in the second image depending on the prioritization; - Determine whether the potential danger of a pedestrian exceeds a predetermined threshold; and issuing a warning if the hazard potential of the pedestrian exceeds a predetermined threshold.

Description

Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage von hochaufgelöster Aufnahmen, bei dem die Ressourcen effizient verwendet werden. The present invention relates to a method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution images, in which the resources are used efficiently.

Bei der Umfelderfassung von Fahrzeugen ist es erforderlich, kritische Objekte in dem Umfeld des Fahrzeuges zu erfassen und nachzuverfolgen. Eine Möglichkeit ist die Verwendung eines isolierten Sensors, beispielsweise einer Kamera. Im Stand der Technik ist bekannt, dafür hoch auflösende Kameras zu verwenden. Auf Grundlage eines hochaufgelösten Bildes können neben dem gesamten Fußgänger auch Teilmerkmale ermittelt werden, was die Ermittlung eines teilweise verdeckten Fußgängers ermöglicht. Je höher die Auflösung eines Bildes ist, desto höher die Auswertezeit bzw. der Aufwand zum Auswerten eines Bildes. Für ein echtzeitfähiges System ist es wichtig, die Zeit, die erforderlich ist, um das Bild der Fußgänger zu untersuchen, möglichst gering zu halten. When detecting the surroundings of vehicles, it is necessary to detect and track critical objects in the environment of the vehicle. One possibility is the use of an isolated sensor, such as a camera. It is known in the art to use high resolution cameras for this purpose. Based on a high-resolution image, partial characteristics can be determined in addition to the entire pedestrian, which makes it possible to identify a partially covered pedestrian. The higher the resolution of an image, the higher the evaluation time or the effort required to evaluate an image. For a real-time capable system, it is important to minimize the time required to study the image of pedestrians.

Im Stand der Technik werden aus dem Bereich der Bildverarbeitung Ansätze vorgeschlagen, bei denen das Verfahren ohne zusätzliche Informationen anderer Sensoren optimiert wird. Dabei werden eine Optimierung bei einem Überlappen, unterschiedliche Ansätze mit einem gleitenden Fenster oder ein intelligentes Suchen des Bildes nach menschlichem Vorbild verwendet. Derartige Ansätze sind beispielsweise in Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video; David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Hg.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 11–20 sowie Lampert, Christoph H.; Blaschko, Matthew B.; Hofmann, Thomas: Beyond sliding windows: Object localization by efficient subwindow search; 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, USA, S. 1–8 und Kapsalas, P.; Rapantzikos, K.; Sofou, A.; Avrithis, Y.: Regions of interest for accurate object detection; 2008 International Workshop on Content-Based Multimedia Indexing, London, UK, S. 147–154 beschrieben. In the prior art approaches are proposed in the field of image processing, in which the method is optimized without additional information from other sensors. It uses overlap optimization, different approaches with a sliding window, or intelligently locates the image on a human model. Such approaches are for example in Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video; David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Ed.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), pp. 11-20 such as Lampert, Christoph H .; Blaschko, Matthew B .; Hofmann, Thomas: Object localization by efficient subwindow search; 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, USA, pp. 1-8 and Kapsalas, P .; Rapantzikos, K .; Sofou, A .; Avrithis, Y .: Regions of interest for accurate object detection; 2008 International Workshop on Content-Based Multimedia Indexing, London, UK, pp. 147-154 described.

Ferner sind im Stand der Technik Ansätze bekannt, bei dem die Information eines weiteren Sensors, beispielsweise eines Laserscanners, verwendet wird, um parkende Fahrzeuge am Fahrbahnrand zu ermitteln. Anschließend wird gezielt in den Bereichen zwischen Fahrzeugen nach Fußgängern gesucht. Ferner kann die Klassifikation bei der Bildverarbeitung durch Information von einem LIDAR-Sensor unterstützt werden. Es werden Ansätze vorgeschlagen, bei denen eine Information einer Stereo-Kamera (beispielsweise Dichte-Karten) verwendet werden, um relevante Bereiche (ROI; Regions of Interest) zu ermitteln. Das Ziel dieser Ansätze ist, die Genauigkeit der Klassifikation von gesuchten Objekten mittels eines visuellen Systems zu verbessern. Furthermore, approaches are known in the prior art in which the information of a further sensor, for example a laser scanner, is used to detect parked vehicles at the edge of the roadway. Subsequently, targeted searches are made in the areas between vehicles for pedestrians. Furthermore, the classification in image processing may be supported by information from a LIDAR sensor. Approaches are proposed that use information from a stereo camera (such as density maps) to determine regions of interest (ROI). The goal of these approaches is to improve the accuracy of the classification of searched objects by means of a visual system.

Im Stand der Technik sind auch Ansätze bekannt, die mittels eines visuellen Systems semantische Information aus der Umgebung des Fahrzeuges extrahieren. Dadurch lassen sich unterschiedliche Bereiche, beispielsweise eine Straße, ein Bordstein und ein Gehweg unterscheiden. Ferner können weitere Objekte, beispielsweise parkende Fahrzeuge, klassifiziert werden. The prior art also discloses approaches that extract semantic information from the environment of the vehicle by means of a visual system. This allows different areas, such as a street, a curb and a walkway differ. Further, other objects, such as parked vehicles, can be classified.

Um rechtzeitig vor einem kritischen Fußgänger warnen zu können, ist es erforderlich, diesen frühzeitig zu ermitteln und seine Kritikalität zu bewerten. Mithilfe eines Systems mit einer hoch auflösenden Kamera, beispielsweise 12 MPx, ist es möglich, Details des Fußgängers zu ermitteln und daraus eine Aussage hinsichtlich eines Vorhabens des Fußgängers zu treffen. Beispielsweise kann aus der Stellung des Kopfes eines Fußgängers abgeleitet werden, ob er beabsichtigt, eine Straße zu überqueren. Dabei entsteht eine frühe Warnung vor einem kritischen Fußgänger bei einer gleichzeitigen Verringerung von falschen Alarmen eines warnenden Systems in einem Zielkonflikt hinsichtlich der Zeit und des Rechenaufwandes, der benötigt wird, um das hochaufgelöste Bild auszuwerten und um ein System zu schaffen, das eine Verarbeitung in Echtzeit garantiert. Im Rahmen der Anwendung bei der Warnung vor Fußgängern ist die Verarbeitung und Auswertung hochaufgelöster Bilder in einem Zeitraum unter 100 ms erforderlich, um die Anforderungen an Echtzeit zu erfüllen. Das ist mit derzeit eingesetzten Auswerteeinrichtung im Fahrzeug, beispielsweise Steuergeräten oder PC nicht möglich. Eine Steigerung der Leistung dieser Auswerteeinrichtungen wäre mit nicht angemessenen zusätzlichen Aufwänden verbunden. In order to warn in time of a critical pedestrian, it is necessary to identify it early and to assess its criticality. Using a system with a high-resolution camera, such as 12 MPx, it is possible to identify details of the pedestrian and to make a statement about a project of the pedestrian. For example, it can be deduced from the position of the head of a pedestrian whether he intends to cross a road. This provides an early warning of a critical pedestrian while simultaneously reducing false alerts of a warning system in a trade-off of the time and computational effort needed to evaluate the high-resolution image and to provide a real-time processing system guaranteed. The Pedestrian Warning application requires processing and evaluation of high-resolution images in less than 100 ms to meet real-time requirements. This is not possible with currently used evaluation device in the vehicle, such as control units or PC. An increase in the performance of these evaluation devices would be associated with unreasonable additional expenses.

Die DE 102 55 797A1 offenbart das Aufteilen eines von der Kamera erfassten Bereichs in Teilbereiche. In den Teilbereichen können spezifische Auswertungen erfolgen. Die Auswertung kann in einem nahen Bereich mit einer höheren Priorität als in einem entfernten Bereich erfolgen. Ferner können für unterschiedliche Teilbereiche verschiedene Rechenleistungen zur Verfügung gestellt werden, beispielsweise aufwändige mehrstufige Algorithmen. The DE 102 55 797A1 discloses splitting an area captured by the camera into subregions. Specific evaluations can be made in the subareas. The evaluation can be done in a near area with a higher priority than in a remote area. Furthermore, different computing powers can be made available for different subregions, for example complex multilevel algorithms.

Die DE 103 19 700 A1 offenbart, dass eine Priorisierung entsprechend der Kollisionswahrscheinlichkeit und/oder der geschätzten Dauer bis zur Kollision erfolgen kann. Ferner kann die Priorisierung entsprechend der zeitlichen Reihenfolge zu erwartender Kollisionen erfolgen. The DE 103 19 700 A1 discloses that prioritization according to the collision probability and / or the estimated duration to to collision can take place. Furthermore, the prioritization can take place according to the chronological order of expected collisions.

Die Erfindung stellt sich zur Aufgabe, ein verbessertes Verfahren zum Erkennen von kritischen Fußgängern anzugeben, das die Ressourcen einer Recheneinrichtung effizient genutzt. The invention has for its object to provide an improved method for detecting critical pedestrians, which efficiently uses the resources of a computing device.

Die Aufgabe der Erfindung wird durch ein Verfahren nach Anspruch 1 gelöst. Die abhängigen Ansprüche geben bevorzugte Ausführungsformen an. The object of the invention is achieved by a method according to claim 1. The dependent claims indicate preferred embodiments.

Ein erfindungsgemäßes Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger mittels einer Auswerteeinrichtung umfasst den Schritt des Bereitstellens eines ersten Bildes, das eine erste Auflösung aufweist und das eine Abbildung zumindest eines Fußgängers aufweisen kann. Das erste Bild kann eine Abbildung einer Szene um das Kraftfahrzeug sein. Das Verfahren ermittelt die Anzahl möglicher Abbildungen von Fußgängern im ersten Bild. Eine mögliche Abbildung eines Fußgängers im ersten Bild wird als Regionen von Interesse markiert. Das Verfahren ermittelt die derzeit verfügbare Auswertekapazität der Auswerteeinrichtung. Mit anderen Worten, das Verfahren ermittelt, wie viel Rechenzeit für die Auswertung bereitsteht. Das Verfahren stellt ein zweites Bild bereit, das eine Auflösung aufweist, die höher als die erste Auflösung ist. Das erste und zweite Bild können mit der gleichen Kamera oder mit zwei unterschiedlichen Kameras aufgenommen werden. Das zweite Bild stellt die gleiche Szene um das Kraftfahrzeug dar. Das Verfahren ermittelt die maximale Anzahl von Regionen von Interesse, die mit der derzeit verfügbaren Auswertekapazität ausgewertet werden können. Die zuvor genannten Schritte müssen nicht in der genannten Reihenfolge ausgeführt werden. Sie können in einer beliebigen sinnvollen Reihenfolge ausgeführt werden. Sie können auch, sofern möglich, „gleichzeitig“ im Sinne eines Multitasking ausgeführt werden. An inventive method for detecting a possible collision of a vehicle with a pedestrian by means of an evaluation device comprises the step of providing a first image having a first resolution and which may have an image of at least one pedestrian. The first image may be an illustration of a scene around the motor vehicle. The method determines the number of possible images of pedestrians in the first image. A possible image of a pedestrian in the first image is marked as regions of interest. The method determines the currently available evaluation capacity of the evaluation device. In other words, the method determines how much computing time is available for the evaluation. The method provides a second image having a resolution that is higher than the first resolution. The first and second images can be taken with the same camera or with two different cameras. The second image represents the same scene around the motor vehicle. The method determines the maximum number of regions of interest that can be evaluated with the currently available evaluation capacity. The above steps do not have to be performed in the order mentioned. They can be executed in any meaningful order. If possible, they can also be executed "simultaneously" in the sense of multitasking.

Falls die maximale Anzahl von Regionen von Interesse größer als die Anzahl möglicher Abbildungen von Fußgängern ist, werden die möglichen Abbildungen von Fußgängern als Regionen von Interesse im ersten Bild priorisiert. Anschließend werden die Regionen von Interesse im zweiten Bild in Abhängigkeit der Priorisierung ausgewertet. Anschließend wird auf Grundlage der Auswertung der Regionen von Interesse im zweiten Bild ermittelt, ob das Gefahrenpotenzial eines Fußgängers einen vorbestimmten Schwellenwert überschreitet. Anschließend wird eine Warnung ausgegeben, falls das Gefahrenpotenzial eines Fußgängers einen vorbestimmten Schwellenwert überschreitet. If the maximum number of regions of interest is greater than the number of possible images of pedestrians, the possible images of pedestrians are prioritized as regions of interest in the first image. Subsequently, the regions of interest in the second image are evaluated depending on the prioritization. Subsequently, it is determined on the basis of the evaluation of the regions of interest in the second image, whether the hazard potential of a pedestrian exceeds a predetermined threshold. Subsequently, a warning is issued if the danger potential of a pedestrian exceeds a predetermined threshold.

Erfindungsgemäß wird in einem ersten Bild mit einer ersten, niedrigeren Auflösung nach Fußgängern gesucht. Die Bereiche, in denen ein Fußgänger erkannt wird, werden als Regionen von Interesse markiert. Bevor alle Regionen von Interesse im einen zusätzlich aufgenommen Bild mit einer zweiten, höheren Auflösung ressourcenintensiv durchsucht werden, wird überprüft, wie viel Auswertekapazität derzeit in der Auswerteeinrichtung verfügbar ist. Anhand der verfügbaren Auswertekapazität wird geprüft, wie viele Regionen von Interesse maximal untersucht werden, ohne die verfügbaren Auswertekapazität zu überschreiten und/oder ohne die Echtzeitbedingung zu verletzen. Falls im ersten Bild mehr Regionen von Interesse erkannt werden, als bei der derzeit verfügbaren Auswertekapazität ausgewertet werden können, werden die Regionen von Interesse priorisiert. Die Priorisierung legt fest, ob und/oder in welcher Reihenfolge Regionen von Interesse in dem zweiten, höher aufgelösten Bild analysiert werden. According to the invention, a first, lower resolution pedestrian is sought in a first image. The areas where a pedestrian is detected are marked as regions of interest. Before all regions of interest in an additionally recorded image are searched in a resource-intensive manner with a second, higher resolution, it is checked how much evaluation capacity is currently available in the evaluation device. On the basis of the available evaluation capacity, it is checked how many regions of interest are maximally examined, without exceeding the available evaluation capacity and / or without violating the real-time condition. If more regions of interest are identified in the first image than can be evaluated with the currently available evaluation capacity, the regions of interest are prioritized. The prioritization determines whether and / or in what order regions of interest are analyzed in the second, higher-resolution image.

Falls die maximale Anzahl von Regionen von Interesse nicht größer als die Anzahl möglicher Abbildungen von Fußgängern ist, werden die folgenden Schritte durchgeführt. Es werden alle Regionen von Interesse im zweiten Bild ausgewertet, sofern eine Auswertung mit einer höheren Auflösung sinnvoll ist. Eine Auswertung mit einer höheren Auflösung ist nicht sinnvoll, falls ein Fußgänger einen vorbestimmten Schwellenwert für eine Kritikalität überschritten hat und sofort gewarnt werden muss, so dass aufgrund der Verkehrssituation keine weitere Verzögerung durch eine Auswertung bei höherer Auflösung toleriert werden kann. Falls eine Region von Interesse im zweiten, höher aufgelösten Bild ausgewertet werden soll, wird auf Grundlage des zweiten Bildes ermittelt, ob das Gefahrenpotenzial eines Fußgängers einen vorbestimmten Schwellenwert überschreitet. If the maximum number of regions of interest is not greater than the number of possible images of pedestrians, the following steps are performed. All regions of interest in the second image are evaluated, provided an evaluation with a higher resolution makes sense. An evaluation with a higher resolution is not useful if a pedestrian has exceeded a predetermined threshold for a criticality and must be warned immediately, so that due to the traffic situation no further delay can be tolerated by an evaluation at higher resolution. If a region of interest is to be evaluated in the second, higher-resolution image, it is determined on the basis of the second image whether the danger potential of a pedestrian exceeds a predetermined threshold.

Der Schritt des Priorisierens möglicher Abbildungen von Fußgängern als Regionen von Interesse im ersten Bild kann zumindest einen der folgenden Schritte aufweisen. Das Verfahren kann ermitteln, ob der Fußgänger beabsichtigt, eine Fahrbahn zu betreten. Ferner kann das Verfahren ermitteln, ob der Fußgänger mit dem Fahrzeug kollidieren könnte. Es kann eine Kritikalität des Fußgängers ermittelt werden. Ferner kann die Position des Fußgängers ermittelt werden. Das Verfahren kann die aktuelle Trajektorie des Fußgängers und/oder eine prädizierte Trajektorie des Fußgängers ermitteln. Anhand der ermittelten Werte können die Regionen von Interesse priorisiert werden. The step of prioritizing possible images of pedestrians as regions of interest in the first image may include at least one of the following steps. The procedure can determine if the Pedestrian intends to enter a carriageway. Further, the method may determine if the pedestrian could collide with the vehicle. It can be determined a criticality of the pedestrian. Furthermore, the position of the pedestrian can be determined. The method may determine the current trajectory of the pedestrian and / or a predicted trajectory of the pedestrian. Based on the determined values, the regions of interest can be prioritized.

Der Schritt des Ermittelns, ob das Gefahrenpotenzial des Fußgängers einen vorbestimmten Schwellenwert überschreitet, kann zumindest einen der im Folgenden genannten Schritte aufweisen. Im zweiten Bild kann ermittelt werden, ob der Fußgänger beabsichtigt, eine Fahrbahn zu betreten. Im zweiten Bild kann ermittelt werden, ob der Fußgänger mit dem Fahrzeug kollidieren könnte. Aus dem zweiten Bild kann eine aktuelle Trajektorie und/oder eine prädizierte Trajektorie des Fußgängers ermittelt werden. Die zuvor genannten Kriterien können anhand von Detailmerkmalen des Fußgängers im zweiten Bild genauer erfasst werden als im ersten Bild, da das zweite Bild eine höhere Auflösung aufweist. Die Detailmerkmale können beispielsweise die Blickrichtung, die Kopforientierung, die Oberkörperausrichtung, einer Beinstellung und/oder eine Beinrichtung des Fußgängers im zweiten Bild umfassen. Durch die Auswertung von Regionen von Interesse im zweiten Bild mit der höheren Auflösung als das erste Bild kann die Erkennungsgenauigkeit verbessert werden, wodurch einerseits mehr kritische Fußgänger entdeckt werden und/oder andererseits die Anzahl falscher Alarme reduziert wird. The step of determining whether the potential dangers of the pedestrian exceeds a predetermined threshold may include at least one of the following steps. In the second picture it can be determined whether the pedestrian intends to enter a carriageway. In the second picture it can be determined whether the pedestrian could collide with the vehicle. From the second image, a current trajectory and / or a predicted trajectory of the pedestrian can be determined. The above-mentioned criteria can be more accurately detected on the basis of detail features of the pedestrian in the second image than in the first image, since the second image has a higher resolution. The detailed features may include, for example, the viewing direction, the head orientation, the upper body alignment, a leg position and / or a Beinrichtung of the pedestrian in the second image. By evaluating regions of interest in the second image with the higher resolution than the first image, the recognition accuracy can be improved, which on the one hand detects more critical pedestrians and / or reduces the number of false alarms.

Der Schritt des Priorisierens der möglichen Abbildungen von Fußgängern als Regionen von Interesse im ersten Bild kann das Zuweisen einer ersten Priorität für einen Fußgänger, der in Richtung Fahrbahn geht oder parallel zur Fahrbahn geht und bei dem der Zeitraum bis zu einer potentiellen Kollision länger als ein erster vorbestimmter Zeitraum ist, aufweisen. Bei diesem Fußgänger ist es sinnvoll, anhand von Detailmerkmalen, beispielsweise Kopforientierung, Blickrichtung, Oberkörperausrichtung eine eventuelle Absicht, eine Fahrbahn zu betreten, anhand des höher aufgelösten zweiten Bildes zu untersuchen. The step of prioritizing the possible images of pedestrians as regions of interest in the first image may include assigning a first priority to a pedestrian heading toward or parallel to the roadway and having the time to potential collision be longer than a first is predetermined period, have. With this pedestrian, it is useful to examine on the basis of detail features, such as head orientation, viewing direction, upper body alignment, a possible intention to enter a lane on the basis of the higher-resolution second image.

Das Verfahren kann eine erste Priorität einem Fußgänger zuweisen, der in einem Abstand, der kleiner als ein vorbestimmter Abstand ist, von einem Fahrschlauch des Kraftfahrzeuges entfernt steht und bei dem der Zeitraum bis zu einer potentiellen Kollision länger als ein zweiter vorbestimmter Zeitraum ist. Ein Fußgänger, der nahe an einem Fahrschlauch eines Fahrzeuges steht, stellt ein potentielles Risiko dar. Da der Zeitraum bis zu einer Kollision länger als ein zweiter vorbestimmter Zeitraum ist, kann eine Auswertung des höher aufgelösten Bildes zusätzliche Information liefern, die die Intention des Fußgängers erkennen lässt. Der erste vorbestimmte Zeitraum und der zweite vorbestimmte Zeitraum können länger als 5 s sein. The method may assign a first priority to a pedestrian located at a distance less than a predetermined distance from a drive tube of the motor vehicle and wherein the time to potential collision is greater than a second predetermined time period. A pedestrian standing close to a driving line of a vehicle poses a potential risk. Since the time to collision is longer than a second predetermined period of time, an evaluation of the higher resolution image can provide additional information that recognizes the intention of the pedestrian leaves. The first predetermined period and the second predetermined period may be longer than 5 seconds.

Das Verfahren umfasst ferner den Schritt des Zuweisen einer zweiten Priorität für einen Fußgänger, der in einem Abstand, der kleiner als ein vorbestimmter Abstand ist, von einem Fahrschlauch des Kraftfahrzeuges entfernt steht und bei dem der Zeitraum bis zu einer potentiellen Kollision kürzer als ein zweiter Zeitraum ist. Der zweite vorbestimmte Zeitraum kann etwa 5 sec. sein. Da der Zeitraum bis zu einer potentiellen Kollision kürzer als ein vorbestimmter Zeitraum ist, ist unsicher, ob innerhalb des verbleibenden Zeitraumes bis zur potentiellen Kollision genügend Information hinsichtlich der Absichten des Fußgängers aus der höher aufgelösten Bildern extrahiert werden kann und der Fahrer rechtzeitig gewarnt werden kann. Daher kann eine Region von Interesse mit einem zuvor beschriebenen Fußgänger mit einer zweiten Priorität verarbeitet werden, die niedriger als die erste Priorität ist. The method further comprises the step of assigning a second priority to a pedestrian who is at a distance less than a predetermined distance away from a drive tube of the motor vehicle and wherein the time to potential collision is shorter than a second time period is. The second predetermined period may be about 5 seconds. Since the time to a potential collision is shorter than a predetermined period, it is uncertain whether enough information regarding the intentions of the pedestrian can be extracted from the higher resolution images within the remaining time to potential collision and the driver can be warned in time. Therefore, a region of interest may be processed with a previously described pedestrian having a second priority that is lower than the first priority.

Das Verfahren kann eine zweite Priorität einem Fußgänger zuweisen, der in Richtung Fahrbahn geht oder parallel zur Fahrbahn geht und bei dem der Zeitraum bis zu einer potentiellen Kollision kürzer als ein zweiter vorbestimmter Zeitraum ist. Da in diesem Fall der Zeitraum bis zu einer Kollision kürzer als der vorbestimmte Zeitraum ist, ist unsicher, ob innerhalb der verbleibenden Zeit, einschließlich der Zeit zum Warnen des Fahrers, genügend Information aus dem höher aufgelösten Bild extrahiert werden kann, um die Absicht des Fußgängers zu erkennen. The method may assign a second priority to a pedestrian going towards the lane or going parallel to the lane and having the time to a potential collision shorter than a second predetermined time period. In this case, since the time to collision is shorter than the predetermined period, it is uncertain whether enough information can be extracted from the higher-resolution image within the remaining time, including the driver's warning time, to the intention of the pedestrian to recognize.

Das Verfahren umfasst ferner den Schritt des Zuweisens einer dritten Priorität für einen Fußgänger, der in einem Abstand, der größer als ein vorbestimmter Abstand ist, von einem Fahrschlauch des Kraftfahrzeuges entfernt steht und/oder den Schritt des Zuweisen einer dritten Priorität für einen Fußgänger, dessen Bewegungsrichtung von der Fahrbahn weg führt. Die dritte Priorität kann niedriger als die zweite Priorität sein. Der vorbestimmte Abstand zum Schlauch kann mehr als etwa 2 m betrachten. Fußgänger, dessen Bewegungsrichtung von der Fahrbahn bzw. vom Fahrschlauch weg führt, werden als weniger kritisch angesehen und daher mit einer niedrigeren Priorität betrachtet. The method further comprises the step of assigning a third priority to a pedestrian located at a distance greater than a predetermined distance away from a drive tube of the motor vehicle and / or the step of assigning a third priority to a pedestrian Moving direction leads away from the roadway. The third priority may be lower than the second priority. The predetermined distance to the tube may be more than about 2 meters. Pedestrians whose direction of movement away from the road or the driving route are considered less critical and therefore considered with a lower priority.

Das Verfahren kann ferner den Schritt des Zuweisens einer vierten Priorität für einen Fußgänger, der sich in einem größeren Abstand von der Fahrbahn befindet, als er in der verbleibenden Zeit bis zu einer potentiellen Kollision zurücklegen kann. In diesem Fall ist der Fußgänger so weit vom Fahrerschlauch des Fahrzeuges entfernt, dass er keine Kollision verursachen kann. Daher wird dieser Fußgänger und die entsprechende Regionen von Interesse nicht weiter betrachtet. Das Verfahren kann ferner den Schritt des Zuweisen einer vierten Priorität für einen Fußgänger aufweisen, der sich an einem Ort befindet, an dem die verbleibende Zeit bis zu einer potentiellen Kollision niedriger als ein dritter Zeitraum ist. Der dritte Zeitraum, beispielsweise etwa 2 sec., ist so niedrig, dass zu wenig Zeit verbleibt, um das zweite, höher aufgelöste Bild verarbeiten zu können. Daher wird sofort eine Warnung ausgegeben und das zweite, höher aufgelöste Bild wird nicht weiter untersucht. The method may further comprise the step of assigning a fourth priority to a pedestrian who is located a greater distance from the roadway than he can travel in the remaining time to a potential collision. In this case, the pedestrian is so far away from the driver's hose of the vehicle that he can not cause a collision. Therefore, this pedestrian and the corresponding regions of interest will not be considered further. The method may further comprise the step of assigning a fourth priority to a pedestrian located at a location where the remaining time to a potential collision is less than a third time period. The third period, for example about 2 seconds, is so low that too little time remains to process the second, higher-resolution image. Therefore, a warning is issued immediately and the second, higher-resolution image is not further investigated.

Die Regionen von Interesse mit der ersten Priorität werden vor den Regionen von Interesse mit der zweiten Priorität im zweiten Bild ausgewertet. Die Regionen von Interesse mit der zweiten Priorität werden vor den Regionen von Interesse mit der dritten Priorität im zweiten Bild ausgewertet. Die Regionen von Interesse mit der vierten Priorität werden im zweiten Bild nicht ausgewertet. The regions of interest with the first priority will be before the Regions of interest with the second priority in the second image evaluated. The regions of interest with the second priority are evaluated before the regions of interest with the third priority in the second image. The regions of interest with the fourth priority are not evaluated in the second picture.

Das erste Bild und das zweite Bild sind dynamische Bilder, wie sie beispielsweise von einer Videokamera aufgenommen werden können. Das erste Bild und/oder das zweite Bild können Teil eines kontinuierlichen Bilddatenstroms sein. Der Vorteil der hoch auflösenden Kamera, die das zweite Bild erzeugt, liegt darin, dass Detailmerkmale des Fußgängers erkannt werden können und dadurch dessen Kritikalität früherer und genauer bestimmt werden kann, als es Systeme des Standes der Technik ermöglichen. Durch das Ermitteln der verfügbaren Auswertekapazität einer Auswerteeinrichtung kann bestimmt werden, wie viele Regionen von Interesse mit einem Fußgänger in einem Bild mit einer höheren Auflösung untersucht werden sollen, ohne dass die Echtzeitbedingung verletzt wird. Aus dem ersten, niedriger aufgelösten Bild wird eine Information zur Priorisierung der Regionen von Interesse vorgenommen, so dass lediglich so viele Regionen von Interesse untersucht werden können, wie die ermittelte Auswertekapazität zulässt. The first image and the second image are dynamic images, such as may be captured by a video camera. The first image and / or the second image may be part of a continuous image data stream. The advantage of the high-resolution camera that produces the second image is that it can detect detail features of the pedestrian and thereby determine its criticality earlier and more accurately than systems of the prior art. By determining the available evaluation capacity of an evaluation device, it can be determined how many regions of interest are to be examined with a pedestrian in a picture with a higher resolution, without the real-time condition being violated. The first, lower-resolution image is used to prioritize the regions of interest, so that only as many regions of interest as the determined evaluation capacity permits can be examined.

Die Erfindung wird nun unter Bezugnahme auf die beigefügten Figuren erläutert, die eine exemplarische und nicht beschränkende Ausführungsform der Erfindung darstellen, wobei The invention will now be elucidated with reference to the accompanying figures, which illustrate an exemplary and non-limiting embodiment of the invention, wherein

1 ein Flussdiagramm des erfindungsgemäßen Verfahrens zeigt; 1 shows a flowchart of the method according to the invention;

2 ein Szenario zeigt, in sich ich einen Fußgänger parallel zur Fahrtrichtung des Fahrzeuges bewegt; 2 a scenario in which I move a pedestrian parallel to the direction of travel of the vehicle;

3 ein Szenario darstellt, in dem sich der Fußgänger quer zum Fahrzeug bewegt; 3 a scenario in which the pedestrian moves across the vehicle;

4 ein Szenario zeigt, bei dem der Fußgänger die Straße, auf der ein Kraftfahrzeug fährt, überquert; 4 a scenario in which the pedestrian crosses the road on which a motor vehicle drives;

5 eine Auswertung von Details mittels einer hoch auflösenden Kamera zeigt; 5 shows an evaluation of details by means of a high-resolution camera;

6 ein Szenario zeigt, bei dem sich der Fußgänger einem Fahrschlauch des Kraftfahrzeuges nähert; und 6 a scenario in which the pedestrian approaches a driving tube of the motor vehicle; and

7 eine Auswertung von Details des Fußgängers zeigt. 7 an evaluation of details of the pedestrian shows.

Es wird auf 1 Bezug genommen, die ein Flussdiagramm des erfindungsgemäßen Verfahrens zeigt. Im ersten Schritt 10 wird aus einem ersten Bild, das mit einer niedrigeren Auflösung bereitgestellt wird, eine Liste von Fußgängern, die im Bild erkannt werden, erzeugt. Ein derartiges Verfahren ist im Stand der Technik bekannt. Gleichzeitig kann im zweiten Schritt 12 ein zweites Bild mit einer höheren Auflösung, beispielsweise 12 Mpx, aufgenommen werden. Im dritten Schritt 14 wird geprüft, wie viel Auswertekapazität der Computer bereitstellen kann, auf dem das in 1 gezeigte Verfahren läuft, so dass die Voraussetzungen für eine Verarbeitung in Echtzeit eingehalten werden. Die Voraussetzungen für eine Verarbeitung in Echtzeit ist, dass das Verfahren in 100 ms für die Verarbeitung einer erfassten Szene, d. h. für ein erstes Bild mit niedriger Auflösung und ein zweites Bild mit höherer Auflösung, abgeschlossen ist. It will open 1 Reference is made, which shows a flow chart of the method according to the invention. In the first step 10 From a first image provided at a lower resolution, a list of pedestrians recognized in the image is generated. Such a method is known in the art. At the same time, in the second step 12 a second image with a higher resolution, for example, 12 Mpx recorded. In the third step 14 It is checked how much evaluation capacity the computer can provide, on which the in 1 The procedure shown is running so that the conditions for real-time processing are met. The prerequisite for real-time processing is that the process be completed in 100 ms for processing a captured scene, ie for a first low resolution image and a second higher resolution image.

Anhand der verfügbaren Auswertekapazität wird die maximale Anzahl der Regionen von Interesse festgelegt, damit das Verfahren in Echtzeit durchgeführt werden kann. Falls die Liste von Fußgängern eine höhere Anzahl von Fußgängern aufweist als die maximale Anzahl von Regionen von Interesse zulässt, wird die Priorisierung der Fußgänger, die in der Liste der Fußgänger enthalten sind, wie zuvor beschrieben wurde, durchgeführt. The available evaluation capacity determines the maximum number of regions of interest so that the procedure can be performed in real time. If the list of pedestrians has a higher number of pedestrians than the maximum number of regions of interest allows, the prioritization of the pedestrians included in the list of pedestrians as described above is performed.

Im Schritt 18 werden Detailmerkmale von Fußgängern, die sich in den priorisierten Regionen von Interesse befinden, im zweiten, höher aufgelösten Bild ermittelt, wie zuvor beschrieben wurde. Anschließend werden im Schritt 20 die Kritikalität der Fußgänger in den priorisierten Regionen von Interesse bewertet, wie im Stand der Technik bekannt ist. Schließlich wird im Schritt 22 eine Warnung ausgegeben, wenn ein Fußgänger, dessen Regionen von Interesse ausgewertet wird, einen Schwellenwert für eine Kritikalität überschreitet, wie im Stand der Technik bekannt ist. In step 18 Detailed features of pedestrians of interest in the prioritized regions are determined in the second, higher resolution image as previously described. Subsequently, in the step 20 evaluates the criticality of pedestrians in the prioritized regions of interest, as known in the art. Finally, in step 22 a warning is issued when a pedestrian whose regions of interest are evaluated exceeds a criticality threshold, as known in the art.

2 zeigt ein Szenario, bei dem ein Kraftfahrzeug 102 auf einer Fahrbahn 112 fährt. Eine nach vorne gerichtete Kamera erfasst den Fußgänger 104, der sich auf dem Gehsteig 116 in Richtung Punkt 106 bewegt. Der Abstand des Fußgängers 104 von der Fahrbahn bzw. Straße 112, auf dem das Kraftfahrzeug 102 fährt, befindet sich vom Fahrschlauch des Kraftfahrzeuges 102 um eine Distanz entfernt, die größer als ein Schwellenwert ist, beispielsweise 2 m. Bei dem in 2 gezeigten Szenario ist der Fußgänger soweit von der Fahrbahn entfernt, dass er diese nicht mehr betreten kann, bevor das Fahrzeug 102 am Fußgänger vorbeigefahren ist. Folglich wird, nachdem mit der nach vorne gerichteten Kamera ein erstes Bild mit der ersten, niedrigeren Auflösung aufgenommen wurde, eine vierte Priorität zugewiesen. Falls eine Region von Interesse die vierte Priorität aufweist, wird keiner Auswertung der Regionen von Interesse, in der sich der Fußgänger befindet, des zweiten Bildes mit der höheren Auflösung durchgeführt. 2 shows a scenario in which a motor vehicle 102 on a roadway 112 moves. A forward facing camera captures the pedestrian 104 standing on the sidewalk 116 towards the point 106 emotional. The distance of the pedestrian 104 from the lane or street 112 on which the motor vehicle 102 drives, is located from the driving hose of the motor vehicle 102 removed by a distance greater than a threshold, for example 2 m. At the in 2 In the scenario shown, the pedestrian is so far from the road that he can not enter them before the vehicle 102 passed the pedestrian. Thus, after a first image having the first, lower resolution was taken with the front-facing camera, a fourth priority is assigned. If a region of interest has the fourth priority, no evaluation of the regions in which the pedestrian is interested will be of interest is performed, the second image with the higher resolution.

Es wird auf 3 Bezug genommen, die ein Szenario zeigt, bei der sich ein Fußgänger 108 in Richtung. 110 bewegt. Der Fußgänger 108 befindet sich so nahe am Kraftfahrzeug 102, dass der Fahrer des Kraftfahrzeuges 102 sofort gewarnt wird. Die Regionen von Interesse, in der der Fußgänger 108 erkannt wird, wird folglich nicht im zweiten Bild, dass die höhere Auflösung aufweist, analysiert. Folglich wird der Regionen von Interesse, in der sich der Fußgänger 108 befindet, die vierte Priorität zugewiesen. It will open 3 Reference, which shows a scenario in which a pedestrian 108 in the direction. 110 emotional. The pedestrian 108 is so close to the motor vehicle 102 that the driver of the motor vehicle 102 be warned immediately. The regions of interest in which the pedestrian 108 is thus not analyzed in the second image having the higher resolution. Consequently, the regions of interest in which the pedestrian 108 is assigned the fourth priority.

Es wird auf 4 Bezug genommen, in der gezeigt ist, dass ein Fußgänger 204 zuerst parallel zur Fahrtrichtung des Kraftfahrzeuges 202 läuft und beabsichtigt, die Straße 112 kurz vor dem Kraftfahrzeug 202 zu überqueren. Diese Szenario entspricht teilweise dem in 2 gezeigten Szenario. Wenn sich der Fußgänger 204 an der in 4 gezeigten Position befindet, ermittelt das Verfahren, dass der Fußgänger 204 parallel zur Fahrbahn 112 geht und innerhalb eines Zeitraumes, der länger als ein vorbestimmter Zeitraum ist, die Straße 112 betreten kann, wodurch eine Kollision mit dem Kraftfahrzeug 202 entstehen kann. Folglich weist das Verfahren dem Fußgänger 204 die erste Priorität zu. Folglich werden die Teilmerkmale des Fußgängers 204 in dem zweiten Bild mit der höheren Auflösung erfasst. It will open 4 Reference is made in which it is shown that a pedestrian 204 first parallel to the direction of travel of the motor vehicle 202 runs and intends the road 112 just before the car 202 to cross. This scenario is partly the same as in 2 shown scenario. When the pedestrian 204 at the in 4 position shown, the procedure determines that the pedestrian 204 parallel to the roadway 112 and within a time period that is longer than a predetermined period of time, the road goes 112 can enter, causing a collision with the motor vehicle 202 can arise. Consequently, the method points to the pedestrian 204 the first priority too. Consequently, the partial characteristics of the pedestrian 204 recorded in the second image with the higher resolution.

Es wir auf 5 Bezug genommen, die einen Graph mit der Geschwindigkeit des Fußgängers 204 in X-Richtung 206, einen Graph mit der Geschwindigkeit des Fußgängers in Y-Richtung 208 und einen Graph des Kopfwinkels 210 zeigt. Die Geschwindigkeit in X-Richtung 206 und die Geschwindigkeit in Y-Richtung 208 können bereits aus dem ersten Bild mit der niedrigeren Auflösung ermittelt werden. Der Winkel des Kopfes 210 kann lediglich aus dem zweiten Bild mit der höheren Auflösung ermittelt werden, wenn der Fußgänger 204 bzw. dessen Region von Interesse hoch genug priorisiert sind, was bei dem in 4 dargestellten Szenario der Fall ist. We open it 5 Reference made a graph with the speed of the pedestrian 204 in X direction 206 , a graph showing pedestrian speed in the Y direction 208 and a graph of the head angle 210 shows. The speed in the X direction 206 and the speed in the Y direction 208 can already be determined from the first image with the lower resolution. The angle of the head 210 can only be determined from the second image with the higher resolution when the pedestrian 204 or whose region of interest are prioritized with high enough 4 the scenario presented is the case.

Zum Zeitpunkt von etwa 8 sec. ermittelt das Verfahren und eine starke Bewegung des Kopfes. Daraus schließt das Verfahren, dass der Fußgänger 204 beabsichtigt, die Straße 112 zu überqueren. Folglich hat die Kritikalität des Fußgängers 204 einen Schwellenwert überschritten, so dass eine Warnung einen Fahrer des Kraftfahrzeuges 202 ausgegeben wird. At the time of about 8 sec. Determines the procedure and a strong movement of the head. From this concludes the procedure that the pedestrian 204 intends the road 112 to cross. Consequently, the criticality of the pedestrian has 204 exceeded a threshold, so that a warning a driver of the motor vehicle 202 is issued.

Es wird auf 6 Bezug genommen, die zeigt, dass sich ein Kraftfahrzeug 203 einem Fußgänger 304 nähert, der in einem Abstand in der Nähe der Fahrbahn 112 steht, die niedriger als ein vorbestimmter Abstand ist, beispielsweise niedriger als etwa 2 m. Mit anderen Worten, der Fußgänger 304 befindet sich nahe am Fahrschlauch des Kraftfahrzeuges 203. Der Zeitpunkt bis zu einer potentiellen Kollision ist höher als ein vorbestimmter Zeitraum, beispielsweise 5 sec., so dass die zeitaufwändige Auswertung des zweiten Bildes und die anschließende Warnung des Fahrers noch möglich sind. Das erfindungsgemäße Verfahren ordnet dem Fußgänger 304 bei der Analyse des ersten Bildes mit einer niedrigeren Auflösung folglich die erste, höchste Priorität zu. It will open 6 Reference, which shows that a motor vehicle 203 a pedestrian 304 approaching, at a distance near the roadway 112 is less than a predetermined distance, for example, less than about 2 m. In other words, the pedestrian 304 is located near the drive tube of the motor vehicle 203 , The time to a potential collision is higher than a predetermined period, for example 5 sec., So that the time-consuming evaluation of the second image and the subsequent warning of the driver are still possible. The inventive method assigns the pedestrian 304 Consequently, when analyzing the first image with a lower resolution, the first, highest priority is assigned to it.

Das erfindungsgemäße Verfahren wertet auch die Teilmerkmale in der Region von Interesse, in der sich der Fußgänger 304 befindet, im zweiten, höher aufgelösten Bild aus, beispielsweise den Kopfwinkel 310, wie in 7 dargestellt ist. In 7 ist auch die Geschwindigkeit des Fußgängers in Y-Richtung 308 und die Geschwindigkeit des Fußgängers in X-Richtung 306 dargestellt. Die Geschwindigkeit des Fußgängers 304 in X-Richtung 306 und die Geschwindigkeit des Fußgängers 304 in Y-Richtung können bereits durch das Auswerten des ersten Bildes mit der niedrigeren Auflösung ermittelt werden. The method according to the invention also evaluates the partial features in the region of interest in which the pedestrian 304 located in the second, higher-resolution image, for example, the head angle 310 , as in 7 is shown. In 7 is also the speed of the pedestrian in the Y direction 308 and the speed of the pedestrian in the X direction 306 shown. The speed of the pedestrian 304 in X direction 306 and the speed of the pedestrian 304 in the Y direction can already be determined by evaluating the first image with the lower resolution.

Zum Zeitpunkt von etwa 8 sec. ermittelt das Verfahren bei der Analyse der Kopforientierung bei der Auswertung des zweiten Bildes mit der höheren Auflösung, dass der Fußgänger seinen Kopf bewegt. Gleichzeitig verändert sich die Geschwindigkeit in Y-Richtung 308, also auf die Straße zu stark, und die Geschwindigkeiten X-Richtung 306 weniger stark. Folglich nimmt das Verfahren an, dass der Fußgänger 304 eine hohe Kritikalität erreicht hat und beabsichtigt, die Straße 112 zu überqueren. Folglich gibt das Verfahren eine Warnung an den Fahrer des Kraftfahrzeuges 302 aus. At the time of about 8 seconds, in the analysis of the head orientation in the evaluation of the second image with the higher resolution, the method determines that the pedestrian moves his head. At the same time, the speed changes in the Y direction 308 So too high on the road, and the speeds X-direction 306 less strong. Consequently, the procedure assumes that the pedestrian 304 has reached a high criticality and intends the road 112 to cross. Consequently, the method gives a warning to the driver of the motor vehicle 302 out.

Die vorliegende Erfindung hat den Vorteil, dass die hoch auflösende Kamera ermöglicht, die Teilmerkmale von Fußgängern zu ermitteln, die ermöglichen, die Absicht des Fußgängers und die Kritikalität zu einem früheren Zeitpunkt zu bewerten. Mittels des erfindungsgemäßen Verfahrens werden lediglich die Teilmerkmale von denjenigen Fußgängern ermittelt, die grundsätzlich als kritisch eingestuft werden, und bei denen eine Betrachtung der Detailmerkmale einen zusätzlichen Vorteil bei der Erkennung erzielt. Im Vergleich zu einer Auswertung des gesamten Bildes bei einer hohen Auflösung, werden durch das erfindungsgemäße Verfahren mit einer Fokussierung auf kritische Fußgänger die Zusatzkosten für eine Erhöhung der Leistung der Auswerteneinheit bzw. des Computers vermieden. The present invention has the advantage that the high-resolution camera makes it possible to determine the partial characteristics of pedestrians which make it possible to evaluate the intention of the pedestrian and the criticality at an earlier point in time. By means of the method according to the invention, only the partial features of those pedestrians are determined which are fundamentally classified as critical and in which a consideration of the detail features achieves an additional advantage in the recognition. Compared to an evaluation of the entire image at a high resolution, the additional costs for an increase in the performance of the evaluation unit or the computer are avoided by the inventive method with a focus on critical pedestrians.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10255797 A1 [0008]
DE 10319700 A1 [0009]

Zitierte Nicht-PatentliteraturCited non-patent literature

Sudowe, Patrick; Leibe, Bastian (2011): Efficient Use of Geometric Constraints for Sliding-Window Object Detection in Video; David Hutchison, Takeo Kanade, Josef Kittler, Jon M. Kleinberg, Friedemann Mattern, John C. Mitchell et al. (Ed.): Computer Vision Systems, Bd. 6962. Berlin, Heidelberg: Springer Berlin Heidelberg (Lecture Notes in Computer Science), pp. 11-20 [0004]
Lampert, Christoph H .; Blaschko, Matthew B .; Hofmann, Thomas: Object localization by efficient subwindow search; 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, USA, pp. 1-8 [0004]
Kapsalas, P .; Rapantzikos, K .; Sofou, A .; Avrithis, Y .: Regions of interest for accurate object detection; 2008 International Workshop on Content-Based Multimedia Indexing, London, UK, pp. 147-154 [0004]

Claims

Method for detecting a possible collision of a vehicle ( 102 ; 202 ; 302 ) with a pedestrian ( 104 . 108 ; 204 ; 304 ) by means of an evaluation device, comprising the following steps: providing a first image having a first resolution and comprising an image of at least one pedestrian ( 104 . 108 ; 204 ; 304 ), a scene around the motor vehicle; - Determining the number of possible pictures of pedestrians in the first picture ( 10 ); - mark a possible image of a pedestrian in the first image as a region of interest ( 10 ); Determining the currently available evaluation capacity of the evaluation device ( 14 ); Providing a second image having a second resolution higher than the first resolution of the scene around the motor vehicle ( 12 ); Determining the maximum number of regions of interest that can be evaluated with the currently available evaluation capacity ( 14 ); - if the maximum number of regions of interest is greater than the number of possible images of pedestrians ( 104 . 108 ; 204 ; 304 ), performing the following four steps: - prioritizing the possible images of pedestrians as regions of interest in the first image ( 16 ); - Evaluating the regions of interest in the second image depending on the prioritization ( 18 ); Determine whether the hazard potential of a pedestrian exceeds a predetermined threshold ( 20 ); and issuing a warning if the hazard potential of the pedestrian exceeds a predetermined threshold ( 22 ).

A method according to claim 1, characterized in that the step of prioritizing the possible images of pedestrians ( 104 . 108 ; 204 ; 304 ) has as regions of interest in the first image at least one of the following steps: - determining whether the pedestrian ( 204 ; 304 ) intends to use a carriageway ( 112 ) to enter; - Determine whether the pedestrian with the vehicle ( 102 ; 202 ; 302 ) could collide; - Determining the criticality of the pedestrian ( 104 . 108 ; 204 ; 304 ); Determining the position of the pedestrian ( 104 . 108 ; 204 ; 304 ); Determining a current trajectory of the pedestrian ( 104 . 108 ; 204 ; 304 ); Determining a predicted trajectory of the pedestrian ( 104 . 108 ; 204 ; 304 ).

A method according to claim 1 or 2, characterized in that the step of determining whether the potential dangers of the pedestrian ( 104 . 108 ; 204 ; 304 ) exceeds a predetermined threshold, comprises at least one of the following steps: - determining in the second image whether the pedestrian ( 204 ; 304 ) intends to enter a carriageway; - In the second picture, determine whether the pedestrian ( 204 ; 304 ) could collide with the vehicle; - Determining the criticality of the pedestrian ( 204 ; 304 ) In the second picture; Determine in the second image, a current trajectory of the pedestrian ( 204 ; 304 ); Determine in the second image, a predicted trajectory of the pedestrian ( 204 ; 304 ); Determining details of the pedestrian ( 204 ; 304 ) In the second picture; Determining a viewing direction, head orientation, upper body alignment, a leg position and / or a Beinrichtung of the pedestrian ( 204 ; 304 ) In the second picture.

Method according to one of claims 1 to 3, characterized in that the step of prioritizing the possible images of pedestrians ( 204 ; 304 ) as regions of interest in the first image comprises the following steps: assigning a first priority to a pedestrian ( 204 ; 304 ) in the direction of the lane ( 112 ) or parallel to the road and where the time to potential collision is longer than a first predetermined time period.

Method according to one of claims 1 to 4, characterized in that the step of prioritizing the possible images of pedestrians as regions of interest in the first image comprises the following steps: assigning a first priority to a pedestrian which is less than is a predetermined distance away from a drive tube of the motor vehicle and wherein the time to potential collision is longer than a second predetermined time period.

Method according to one of claims 1 to 5, characterized in that the step of prioritizing the possible images of pedestrians as regions of interest in the first image comprises the steps of: - assigning a second priority to a pedestrian that is less than is a predetermined distance away from a drive tube of the motor vehicle and wherein the time to potential collision is shorter than a second predetermined time period; and / or - assigning a second priority to a pedestrian moving towards the lane or parallel to the lane and having the time to a potential collision shorter than a second predetermined time period.

Method according to one of claims 1 to 6, characterized in that the step of prioritizing the possible images of pedestrians as regions of interest in the first image comprises at least one of the following steps: assigning a third priority to a pedestrian at a distance, which is greater than a predetermined distance away from a driving tube of the motor vehicle; and / or - assigning a third priority to a pedestrian whose direction of movement leads away from the roadway.

Method according to one of claims 1 to 7, characterized in that the step of prioritizing the possible images of pedestrians as regions of interest in the first image comprises at least one of the following steps: - assigning a fourth priority to a pedestrian ( 104 ) located at a greater distance from the road ( 112 ), as he can travel in the remaining time to a potential collision; and / or - assigning a fourth priority to a pedestrian ( 108 ) located in a location where the remaining time to a potential collision is lower than a third time period.

Method according to one of claims 1 to 8, characterized by the following steps: - determining a pedestrian ( 108 ) located in a location where the remaining time to a potential collision is lower than a third time period; Issuing a warning if it is determined that the pedestrian is in a location where the remaining time to a potential collision is less than a third time period.

Method according to one of claims 4 to 9, characterized in that - a region of interest having the first priority is evaluated before a region of interest having the second priority in the second image; - a region of interest with the second priority is evaluated before a region of interest with the third priority in the second image; and - a region of interest with the fourth priority in the second image will not be evaluated.