DE102023103171A1

DE102023103171A1 - VERFAHREN UND VORRICHTUNG ZUM BESTIMMEN DER POSITION EINES FUßGÄNGERS

Info

Publication number: DE102023103171A1
Application number: DE102023103171.6A
Authority: DE
Inventors: Ji Won Seo; Myoung Hoon Cho; Yong Uk Lee
Original assignee: 42Dot Inc
Current assignee: 42Dot Inc
Priority date: 2022-02-09
Filing date: 2023-02-09
Publication date: 2023-08-10
Also published as: KR20230120615A; JP2023116424A; US20230251366A1; KR102513382B1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen der Position eines Fußgängers. Nach dem Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung können mehrere Bilder der Außenseite des Fahrzeugs von einer Kamera erhalten werden und mehrere Radarmesswerte der Außenseite des Fahrzeugs von einem Radar erhalten werden. Außerdem kann nach dem Verfahren ein in einem Bild enthaltenen Fußgängerobjekt bestimmt werden, und mehrere Objektgrößen-Kandidatenwerte für das Fußgängerobjekt festgeleg und einen Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte bestimmt werden. Außerdem kann nach dem Verfahren ein Radarmesswert, der innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert sich befindet, ausgewählt werden, und ein endgültiger Längspositionswert des Fußgängerobjekts kann aufgrund des ausgewählten Radarmesswertes bestimmt werden.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen der Position eines Fußgängers.
Stand der Technik
Durch die Konvergenz von Informations- und Kommunikationstechnologie und Fahrzeugindustrie schreitet die Smartisierung von Fahrzeugen rasant voran. Aufgrund der Smartisierung entwickeln sich Fahrzeuge von einfachen mechanischen Geräten zu intelligenten Autos, und autonomes Fahren erregt Aufmerksamkeit als Kerntechnologie von intelligenten Autos. Autonomes Fahren ist eine Technologie, die es einem Fahrzeug ermöglicht, sein Ziel selbstständig zu erreichen, ohne dass der Fahrer Lenkrad, Gaspedal oder Bremse betätigt.
Geforscht werden soll ein Verfahren zur Erkennung eines Fußgängers und Berechnung eines Abstands zwischen einem Fahrzeug und einem Fußgänger beim autonomen Fahren.
Bei der Fußgängererkennung und Entfernungsschätzung durch eine Kamera gehen viele Entfernungsinformationen verloren, weil Objekte in der realen Welt auf ein 2D-Bild projiziert werden. Insbesondere ist der Fehler groß, weil die Abweichung der Merkmale, die häufig zur Berechnung der Fußgängerposition verwendet werden (die Höhe des Fußgängers oder der Kontaktpunkt mit dem Boden), groß ist.
Bei der Fußgängererkennung und Entfernungsschätzung durch Radar ist es schwierig festzustellen, ob ein Objekt ein Fußgänger ist oder nicht, da das Radar ein Objekt schlecht klassifizieren kann, und insbesondere ist die Feststellung schwieriger, da die Signalstärke der Fußgänger klein ist.
Der vorstehende Stand der Technik ist technische Information, die der Erfinder zur Ableitung der vorliegenden Erfindung besaß oder während des Ableitungsvorgangs der vorliegenden Erfindung erlangte, und kann nicht notwendigerweise als bekannter Stand der Technik bezeichnet werden, der der allgemeinen Öffentlichkeit vor dem Einreichen der vorliegenden Erfindung offenbart wurde.
Beschreibung der Erfindung
Technische Aufgabe
Die vorliegende Erfindung stellt ein Verfahren und eine Vorrichtung zum Bestimmen der Position eines Fußgängers bereit. Die durch die vorliegende Erfindung zu lösende Aufgabe ist nicht auf die oben erwähnte Aufgabe beschränkt, und andere Aufgaben und Vorteile der vorliegenden Erfindung, die nicht erwähnt sind, können durch die folgende Beschreibung verstanden und durch die Ausführungsformen der vorliegenden Erfindung klarer verstanden werden. Außerdem versteht es sich, dass die durch die vorliegende Erfindung zu lösenden Aufgaben und Vorteile durch die in den Ansprüchen angegebenen Mittel und Kombinationen verwirklicht werden können.
Mittel zur Lösung
Es wird gemäß einem ersten Aspekt der vorliegenden Erfindung ein Verfahren zum Bestimmen der Position eines Fußgängers bereitgestellt, wobei das Verfahren umfasst: Erhalten der mehreren aufgenommenen Bilder der Außenseite eines Fahrzeugs, von einer Kamera, und Erhalten der mehreren Radarmesswerte für die Außenseite des Fahrzeugs, von einem Radar; Bestimmen eines Fußgängerobjekts, das in den Bildern enthalten ist; Festlegen der mehreren Objektgrößen-Kandidatenwerte für das Fußgängerobjekt und Bestimmen eines Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte; Auswählen eines Radarmesswertes, der sich innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert befindet; und Bestimmen eines endgültigen Längspositionswert des Fußgängerobjekts, aufgrund des ausgewählten Radarmesswertes.
Es wird gemäß einem zweiten Aspekt der vorliegenden Erfindung eine Vorrichtung zum Bestimmen der Position eines Fußgängers bereitgestellt, wobei die Vorrichtung umasst: einen Speicher, auf welchem mindestens ein Programm gespeichert ist; und einen Prozessor, der Berechnungen durch Ausführen mindestens eines Programms durchführt, wobei der Prozessor die mehreren, aufgenommenen Bilder der Außenseite eines Fahrzeugs, von einer Kamera erhält, und die mehreren Radarmesswerte für die Außenseite des Fahrzeugs, von einem Radar, erhält; ein Fußgängerobjekt, das in den Bildern enthalten ist, bestimmt; mehrere Objektgrößen-Kandidatenwerte für das Fußgängerobjekt festlegt und einen Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte bestimmt; einen Radarmesswertes, der innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert sich befindet, auswählt; und aufgrund des ausgewählten Radarmesswertes einen endgültigen Längspositionswert des Fußgängerobjekts bestimmt.
Es wird gemäß einem dritten Aspekt der vorliegenden Erfindung ein Computerlesbares Aufzeichnungsmedium bereitgestellt, auf welchem ein Programm zum Ausführen des Verfahrens nach Anspruch 1 auf einem Computer aufgezeichnet ist.
Außerdem können ferner ein anderes Verfahren zum Implementieren der vorliegenden Erfindung, ein anderes System und ein computerlesbares Aufzeichnungsmedium, das ein Computerprogramm zum Ausführen des Verfahrens speichert, bereitgestellt werden.
Andere Aspekte, Merkmale und Vorteile als die oben beschriebenen werden aus den folgenden Zeichnungen, Ansprüchen und der ausführlichen Beschreibung der Erfindung ersichtlich.
Auswirkung der Erfindung
Gemäß den oben erwähnten Problemlösungsmitteln der vorliegenden Offenbarung ist es in der vorliegenden Offenbarung durch Radar-Kamera-Sensor-Fusion möglich, ein Fußgängerobjekt zu identifizieren, welches aus einem Radarmesswert schwer zu bestätigen ist, und und der Abstand zwischen einem Fahrzeug und einem Fußgänger, welcher aus einem Kamerabild schwierig zu berechnen ist, kann genauer gemessen werden.
Außerdem können gemäß den Problemlösungsmittels der vorliegenden Offenbarung die Bestimmung einer Bewegung oder eines Halts in einer Längsrichtung, die unter Verwendung einer Kamera schwer zu bestimmen ist, und die Bestimmung einer Bewegung oder eines Halts in einer Querrichtung, die unter Verwendung eines Radars schwierig zu bestimmen ist, verbessert werden.
Figurenliste

1 bis 3 sind Ansichten zum Erläutern eines autonomen Fahrverfahrens gemäß einer Ausführungsform.
4A bis 4B sind Ansichten, die sich auf eine Kamera beziehen, die die Außenseite eines Fahrzeugs gemäß einer Ausführungsform erfasst.
5 ist ein Flussdiagramm, das ein Objekterkennungsverfahren gemäß einer Ausführungsform darstellt.
6 ist ein Flussdiagramm, das ein Objektverfolgungsverfahren gemäß einer Ausführungsform darstellt.
7 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Bestimmen eines Längspositionskandidatenwerts eines Objekts, gemäß einer Ausführungsform.
8 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Auswählen eines Radarmesswerts unter Berücksichtigung eines Längspositionskandidatenwerts, gemäß einer Ausführungsform.
9 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Entfernen von Ausreißern, gemäß einer Ausführungsform.
10 ist ein Flussdiagramm zum Erläutern eines Verfahrens zum Bestimmen eines Zustands eines Fußgängerobjekts, gemäß einer Ausführungsform.
11 ist ein Flussdiagramm eines Verfahrens zum Bestimmen eine Position eines Fußgängers gemäß einer Ausführungsform.
12 ist ein Blockdiagramm einer Fußgängerpositionsbestimmungsvorrichtung gemäß einer Ausführungsform.

Beschreibung der Ausführungsformen
Vorteile und Merkmale der vorliegenden Erfindung und Verfahren zu deren Erreichung werden unter Bezugnahme auf die ausführliche Beschreibung von Ausführungsformen in Verbindung mit den beigefügten Zeichnungen deutlich. Es sollte jedoch verstanden werden, dass die vorliegende Erfindung nicht auf die unten vorgestellten Ausführungsformen beschränkt ist, sondern in einer Vielzahl unterschiedlicher Formen implementiert werden kann und alle Umwandlungen, Äquivalente und Substitute umfasst, die im Geist und Umfang der vorliegenden Erfindung enthalten sind. Die unten dargestellten Ausführungsformen werden bereitgestellt, um die Offenbarung der vorliegenden Erfindung zu vervollständigen und den Fachmann vollständig über den Umfang der Erfindung zu informieren, zu dem die vorliegende Erfindung gehört. Wenn bei der Beschreibung der vorliegenden Erfindung bestimmt wird, dass die ausführliche Beschreibung verwandter bekannter Technologien den Kern der vorliegenden Erfindung verschleiern kann, wird die ausführliche Beschreibung weggelassen.
In dieser Anmeldung verwendete Begriffe werden nur verwendet, um bestimmte Ausführungsformen zu beschreiben, und sollen die vorliegende Erfindung nicht einschränken. In den folgenden Ausführungsformen umfasst ein Ausdruck von Singular einen Ausdruck von Plural, sofern der Kontext nicht eindeutig etwas anderes anzeigt. In den folgenden Ausführungsformen bedeuten die Begriffe wie „umfassen“ oder „haben“, dass die in der Beschreibung beschriebenen Merkmale oder Bestandteile vorhanden sind, und die Möglichkeit, ein oder mehrere andere Merkmale oder Bestandteile hinzuzufügen, ist nicht im Voraus ausgescholossen.
Einige Ausführungsformen der vorliegenden Offenbarung können als Funktionsblockstrukturen und verschiedene Verarbeitungsschritte dargestellt werden. Einige oder alle dieser Funktionsblöcke können als eine unterschiedliche Anzahl von Hardware- und/oder Softwarekomponenten implementiert werden, die bestimmte Funktionen ausführen. Beispielsweise können Funktionsblöcke der vorliegenden Offenbarung durch einen oder mehrere Mikroprozessoren oder Schaltungskonfigurationen für eine vorbestimmte Funktion implementiert werden. Außerdem können beispielsweise die Funktionsblöcke dieser Offenbarung in verschiedenen Programmier- oder Skriptsprachen implementiert werden. Funktionsblöcke können als Algorithmus implementiert werden, der auf einem oder mehreren Prozessoren läuft. Außerdem kann die vorliegende Offenbarung den Stand der Technik für die Einrichtung einer elektronischen Umgebung, Signalverarbeitung und/oder Datenverarbeitung usw. verwenden. Begriffe wie „Mechanismus“, „Element“, „Mittel“ und „Konfiguration“ werden breit verwendet, und sind nicht auf mechanische und physikalische Konfigurationen beschränkt.
Außerdem sind in den Zeichnungen gezeigte Verbindungsleitungen oder Verbindungselemente zwischen Bestandteilen nur Beispiele für funktionale Verbindungen und/oder physische oder Schaltungsverbindungen. In einem tatsächlichen Gerät können Verbindungen zwischen Bestandteilen durch verschiedene funktionale Verbindungen, physische Verbindungen oder Schaltungsverbindungen dargestellt werden, die ersetzt oder hinzugefügt sind.
Im Folgenden kann sich „Fahrzeug“ auf alle Arten von Transportmitteln beziehen, die verwendet werden, um Personen oder Gegenstände mit einem Motor zu bewegen, wie beispielsweise ein Auto, Bus, Motorrad, Kickboard oder Lastwagen.
Nachfolgend wird die vorliegende Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben.
1 bis 3 sind Ansichten zum Erläutern eines autonomen Fahrverfahrens gemäß einer Ausführungsform.
Unter Bezugnahme auf 1 kann eine autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung an einem Fahrzeug angebracht sein, um ein autonomes Fahrzeug 10 zu verwirklichen. Eine an dem autonomen Fahrzeug 10 angebrachten, autonome Fahrvorrichtung kann verschiedene Sensoren zum Sammeln von Situationsinformationen der Umgebung umfassen. Beispielsweise kann die autonome Fahrvorrichtung die Bewegung eines vorausfahrenden Fahrzeugs 20, das vorne fährt, durch einen Bildsensor und/oder einen Ereignissensor erfassen, dier an der Vorderseite des autonomen Fahrzeugs 10 angebracht sind. Die autonome Fahrvorrichtung kann ferner Sensoren zum Erfassen eines auf einer Seitenstraße fahrenden, anderen Fahrzeugs 30, und der Fußgängern um das autonome Fahrzeug 10 herum, neben der Vorderseite des autonomen Fahrzeugs 10, umfassen.
Mindestens einer der Sensoren zum Sammeln von Situationsinformationen der Umgebung des autonomen Fahrzeugs kann ein vorbestimmtes, wie in 1 gezeigtes Sichtfeld (FoV) aufweisen. Wenn zum Beispiel ein an der Vorderseite des autonomen Fahrzeugs 10 angebrachten Sensor einen wie in 1 gezeigten Blickwinkel (FoV) hat, können Informationen, die aus der Mitte des Sensors erfasst werden, eine relativ hohe Wichtigkeit haben. Dies kann daran liegen, dass die meisten Informationen, die der Bewegung des vorausfahrenden Fahrzeugs 20 entsprechen, in den Informationen enthalten sind, die aus der Mitte des Sensors erfasst werden.
Die autonome Fahrvorrichtung kann die Informationen, die von Sensoren des autonomen Fahrzeugs 10 gesammelt werden, in Echtzeit verarbeiten und die Bewegung des autonomen Fahrzeugs 10 steuern, und kann andererseits zumindest einige der von den Sensoren gesammelten Informationen in einer Speichervorrichtung speichern.
Unter Bezugnahme auf 2 kann eine autonome Fahrvorrichtung 40 eine Sensoreinheit 41, einen Prozessor 46, ein Speichersystem 47, ein Karosseriesteuermodul 48, und dergleichen aufweisen. Die Sensoreinheit 41 kann mehrere Sensoren 42 bis 45 aufweisen, und die mehreren Sensoren 42 bis 45 können einen Bildsensor, einen Ereignissensor, einen Beleuchtungssensor, ein GPS-Gerät, einen Beschleunigungssensor, und dergleichen aufweisen.
Von den Sensoren 42 bis 45 gesammelte Daten können an den Prozessor 46 weitergeleitet werden. Der Prozessor 46 kann die von den Sensoren 42 bis 45 gesammelten Daten in dem Speichersystem 47 speichern und das Karosseriesteuermodul 48 basierend auf den von den Sensoren 42 bis 45 gesammelten Daten steuern, um eine Fahrzeugbewegung zu bestimmen. Das Speichersystem 47 kann zwei oder mehrere Speichervorrichtungen und eine Systemsteuerung zum Steuern der Speichervorrichtungen aufweisen. Jede der Speichervorrichtungen kann als ein einzelner Halbleiterchip vorgesehen werden.
Zusätzlich zu der Systemsteuerung des Speichersystems 47 kann jede der Speichervorrichtungen, die in dem Speichersystem 47 enthalten sind, eine Speichersteuerung aufweisen, und die Speichersteuerung kann eine Berechnungsschaltung für künstliche Intelligenz (AI) wie etwa ein neuronales Netzwerk umfassen. Die Speichersteuerung kann Berechnungsdaten erzeugen, indem sie den von den Sensoren 42 bis 45 oder dem Prozessor 46 empfangenen Daten ein vorbestimmtes Gewicht zuordnet, und die Berechnungsdaten in einem Speicherchip speichern.
3 ist eine Ansicht, die ein Beispiel von Bilddaten darstellt, die von einem Sensor eines mit einer autonomen Fahrvorrichtung ausgestatteten, autonomen Fahrzeugs erfasst werden. Unter Bezugnahme auf 3 können Bilddaten 50 Daten sein, die von einem Sensor erfasst werden, der an der Vorderseite eines autonomen Fahrzeugs angebracht ist. Dementsprechend können die Bilddaten 50 den vorderen Teil 51 des autonomen Fahrzeugs, ein vorausfahrendes Fahrzeug 52 auf derselben Fahrspur wie das autonome Fahrzeug, ein Fahrzeug 53, das um das autonome Fahrzeug herumfährt, und einen nicht interessierenden Bereich 54, usw. enthalten.
Aus den Bilddaten 50 gemäß der in 3 gezeigten Ausführungsform können die Daten der Bereiche, in denen der vordere Teil 51 des autonomen Fahrzeugs und der nicht interessierende Bereich 54 erscheinen, kaum den Betrieb des autonomen Fahrzeugs beeinflussen. Mit anderen Worten können der vordere Teil 51 des autonomen Fahrzeugs und der nicht interessierende Bereich 54 als Daten mit einer relativ geringen Wichtigkeit betrachtet werden.
Andererseits können der Abstand zum vorausfahrenden Fahrzeug 52 und die Bewegung des fahrenden Fahrzeugs 53 zum Spurwechsel sehr wichtige Faktoren für einen sicheren Betrieb des autonomen Fahrzeugs sein. Dementsprechend können beim Fahren des autonomen Fahrzeugs Daten eines Bereichs, der das vorausfahrende Fahrzeug 52 und das fahrende Fahrzeug 53 in den Bilddaten 50 enthält, eine relativ hohe Wichtigkeit haben.
Die Speichervorrichtung der autonomen Fahrvorrichtung kann die von dem Sensor empfangenen Bilddaten 50 speichern, indem jedem Bereich unterschiedliche Gewichte zugewiesen werden. Beispielsweise kann Daten in einem Bereich, der das vorausfahrende Fahrzeug 52 und das fahrende Fahrzeug 53 enthält, ein hohes Gewicht zugewiesen werden, und Daten in einem Bereich, in dem der vordere Teil 51 des autonomen Fahrzeugs und der nicht interessierende Bereich 54 erscheinen, kann ein geringeres Gewicht zugewiesen werden.
4A bis 4B sind Ansichten, die sich auf eine Kamera beziehen, die die Außenseite eines Fahrzeugs gemäß einer Ausführungsform erfasst.
Die Kamera kann an einem Fahrzeug angebracht sein, um die Außenseite des Fahrzeugs zu erfassen. Die Kamera kann Bilder von der Vorderseite, Seite und Rückseite des Fahrzeugs aufnehmen. Eine Vorrichtung zum Bestimmen der Position eines Fußgängers (im Folgenden „Fußgängerpositionsbestimmungsvorrichtung“) kann eine Vielzahl von Bildern erhalten, die von einer Kamera erfasst werden. Die durch eine Kamera erfassten Bilder können mehrere Objekte enthalten.
Informationen über Objekte umfassen Objekttypinformationen und Objekteigenschaftsinformationen. Hier sind die Objekttypinformationen Indexinformationen, die den Objekttyp angeben, und bestehen aus einer Gruppe, die einen großen Bereich darstellt, und einer Klasse, die einen detaillierten Bereich darstellt. Und die Objekteigenschaftsinformationen stellen Eigenschaftsinformationen über den aktuellen Zustand eines Objekts dar und enthalten Bewegungsinformationen, Rotationsinformationen, Verkehrsinformationen, Farbinformationen und Sichtbarkeitsinformationen.

In einer Ausführungsform können Gruppen und Klassen, die in den Objekttypinformationen enthalten sind, wie in Tabelle 1 unten gezeigt sein, sind aber nicht darauf beschränkt. [Tabelle 1]

Gruppe	Klasse
Flach	Straße, Gehsteig, Parkplatz, Erdboden, Fußgängerüberweg
Menschen	Fußgänger, Fahrer
Fahrzeug	Auto, Lastwagen, Bus, Fahrrad, Mobilität
Bauwerk	Gebäude, Mauer, Geländer, Tunnel, Zaun, Lärmschutzwand, Tankstelle, IC, pylon
Objekt	Pfosten, Verkehrszeichen, Verkehrsampel, Verkehrskegel
Natur	Vegetation, Terrain, Reisfeld, Feld, Fluss, See
Leere	statisch
Linie	punktierte Linie, durchgezogene Linie, punktierte und durchgezogene Linie, doppelt durchgezogene Linie
Himmel	Himmel
Tiere	Hund, Katze, Vogel, usw.

Außerdem können Informationen, die in Objekteigenschaftsinformationen enthalten sind, Aktionsinformationen, Rotationsinformationen, Verkehrsinformationen, Farbinformationen und Sichtbarkeitsinformationen umfassen.
Aktionsinformationen drücken Bewegungsinformationen eines Objekts aus und können als Anhalten, Parken, und Bewegung, usw. definiert werden. Im Fall eines Fahrzeugs können Anhalten, Parken und Bewegung durch Objekteigenschaftsinformationen bestimmt werden. Im Fall eines Fußgängers können „Bewegung‟, „Anhalten‟, und „Unbekannt‟ durch Objekteigenschaftsinformationen bestimmt werden. In Fall eines unbewegbaren Objektes wie Ampel, deren Objekteigenschaftsinformationen können mit einem Default-Wert von ,Anhalten` bestimmt werden.
Rotationsinformationen drücken Rotationsinformationen eines Objekts aus und können als vorne, hinten, horizontal, vertikal und seitlich definiert werden. Im Fall eines Fahrzeugs können Objekteigenschafteninformationen für die Vorderseite, Rückseite und Seite bestimmt werden, und Objekteigenschafteninformationen können für Ampeln in horizontaler oder vertikaler Richtung in horizontaler bzw. vertikaler Richtung bestimmt werden.
Verkehrsinformationen beziehen sich auf Verkehrsinformationen eines Objekts und können als Einweisungen, Vorsichtsmaßnahmen, Vorschriften und Hilfszeichen von Verkehrszeichen definiert werden. Farbinformationen bedeuten die Farbinformationen eines Objekts und können die Farbe eines Objekts, Ampeln und Verkehrszeichen ausdrücken.
Unter Bezugnahme auf 4A kann ein Objekt 411 ein Fußgänger sein. Das Bild 410 kann eine vorbestimmte Größe haben. Die mehreren Bilder 410 können das gleiche Objekt 411 enthalten, aber wenn das Fahrzeug entlang der Straße fährt, ändern sich die relative Positionen des Fahrzeugs und des Objekts 411 weiter, und das Objekt 411 bewegt sich auch im Laufe der Zeit, und dementsprechend hat sogar dasselbbe Objekt 411 eine andere Position in jeweiligem Bild.
Wenn die ganze Bilder zur Bestimmung verwendet werden, um zu bestimmen, welches Objekt in jedem Bild gleich ist, wird die Menge an Datenübertragung und Berechnung beträchtlich groß. Dementsprechend ist es schwierig, sie durch Edge-Computing in einer an einem Fahrzeug montierten Vorrichtung zu verarbeiten, und es ist auch schwierig, eine Echtzeitanalyse durchzuführen.
Unter Bezugnahme auf 4B ist ein Begrenzungsrechteck 421 gezeigt, der in einem Bild 420 enthalten ist. Der Begrenzungsrechteck 421 sind Metadaten über das Objekt 411, und die Begrenzungsrechteckinformationen können Objekttypinformationen (Gruppe, Klasse usw.), Positionsinformationen auf dem Bild 420, Größeninformationen und dergleichen enthalten.
Unter Bezugnahme auf 4B können die Begrenzungsrechteckinformationen Informationen enthalten, die es andeuten, dass das entsprechende Objekt 411 der Fußgängerklasse entspricht, Informationen, die es andeuten, dass sich der obere linke Eckpunkt des Objekts 411 bei (x, y) auf dem Bild befindet, und Informationen, die es andeuten, dass die Größe des Objekts 411 w * h ist, und aktuelle Zustandsinformationen, die es andeuten, dass sich das Objekt 411 bewegt (d.h. Aktionsinformationen).
5 ist ein Flussdiagramm, das ein Objekterkennungsverfahren gemäß einer Ausführungsform darstellt.
Die Fußgängerpositionsbestimmungsvorrichtung kann von einer Kamera mehrere Bilder erhalten. Die mehreren Bilder können ein vorheriges Bild 510 und ein aktuelles Bild 520 umfassen.
Die Fußgängerpositionsbestimmungsvorrichtung kann einen in dem vorherigen Bild 510 enthaltenen Fußgängerobjekt 511 erkennen.
In einer Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung das Bild in Gitter gleicher Größe unterteilen, die Anzahl von Begrenzungsrechtecken voraussagen, die in einer vordefinierten Form um die Mitte des Gitters herum für jedes Gitter bezeichnet sind, und die Zuverlässigkeit basierend auf den vorhandenen Begrenzungsrechtecken berechnen. Die Fußgängerpositionsbestimmungsvorrichtung kann bestimmen, ob ein Objekt in einem Bild enthalten ist, oder nur ein Hintergrund vorhanden ist, und eine Position mit einer hohen Objektzuverlässigkeit auswählen, und eine Objektkategorie erkennen, wodurch schließlich das Objekt erkannt wird. Jedoch ist das Verfahren zum Erkennen eines Objekts in der vorliegenden Offenbarung nicht darauf beschränkt.
Die Fußgängerpositionsbestimmungsvorrichtung kann eine erste Positionsinformation des ersten Fußgängerobjekts 511 erhalten, das aus dem vorherigen Bild 510 erkannt wurde. Wie oben unter Bezugnahme auf die 4A und 4B beschrieben, kann die erste Positionsinformation Koordinateninformationen irgendeines Scheitels (z. B. oberer linker Scheitel) des Begrenzungsrechtecks, der dem ersten Fußgängerobjekt 511 auf dem vorherigen Bild 510 entspricht, und Informationen der horizontalen und vertikale Längen enthalten.
Außerdem kann die Fußgängerpositionsbestimmungsvorrichtung eine zweite Positionsinformation eines zweiten Fußgängerobjekts 521 erhalten, das aus dem aktuellen Bild 520 erkannt wurde.
Die Fußgängerpositionsbestimmungsvorrichtung kann die Ähnlichkeit zwischen der ersten Positionsinformation des ersten Fußgängerobjekts 511, die aus dem vorherigen Bild 510 erkannt wurde, und der zweiten Positionsinformation des zweiten Fußgängerobjekts 521, die aus dem aktuellen Bild 520 erkannt wurde, berechnen.
Unter Bezugnahme auf 5 kann die Fußgängerpositionsbestimmungsvorrichtung unter Verwendung der ersten Positionsinformation und der zweiten Positionsinformation eine Schnittmenge und eine Vereinigung zwischen dem ersten Fußgängerobjekt 511 und dem zweiten Fußgängerobjekt 521 berechnen. Die Fußgängerpositionsbestimmungsvorrichtung kann einen Wert des Schnittmengenbereichs gegenüber dem Vereinigungsbereich berechnen, und bestimmen, dass das erste Fußgängerobjekt 511 und das zweite Fußgängerobjekt 521 das gleiche Fußgängerobjekt sind, wenn der berechnete Wert größer oder gleich einem Schwellenwert ist.
Jedoch ist das Verfahren zum Bestimmen der Identität zwischen Fußgängerobjekten nicht auf das oben beschriebene Verfahren beschränkt.
6 ist ein Flussdiagramm, das ein Objektverfolgungsverfahren gemäß einer Ausführungsform darstellt.
Objektverfolgung bedeutet, dasselbe Objekt über kontinuerlicher Zeit hinweg zu erkennen. Objektverfolgung (object tracking) ist ein Vorgang zum Empfangen von Informationen von Sensoren wie Lidar und Kamera, um die Position, die Geschwindigkeit und den Typ eines Objekts (z. B. gegenüberstehender Fahrzeug, Fußgänger, Hindernis) zu erfassen. Die Datenverarbeitung der Objektverfolgung kann in Erfassungsdatenfilterung und - verfolgung eingeteilt werden. Die Verfolgung umfasst Clustering, Datenverknüpfung, Objektbewegungsvorhersage, optionale Aktualisierung der Verfolgungsliste, und einen Objektverfolgungsvorgang. Hier umfasst der Objektverfolgungsvorgang das Zusammenführen (merge), die Objektverfolgungsklassifizierung, und das Starten der Objektverfolgung.
Im Schritt 610 kann die Fußgängerpositionsbestimmungsvorrichtung Rohdaten von dem Sensor empfangen und die Erfassungsdaten filtern.
Filtern ist ein Vorgang der Verarbeitung roher Sensordaten vor dem Verfolgen. Die Fußgängerpositionsbestimmungsvorrichtung kann einen interessierenden Bereich festlegen, um die Anzahl von Erfassungspunkten zu reduzieren, und nur Objektpunkte klassifizieren, die zum Verfolgen erforderlich sind, indem Bodenrauschen entfernt wird.
Im Schritt 620 kann die Fußgängerpositionsbestimmungsvorrichtung die gefilterten Erfassungsdaten clustern und einen Verknüpfungsbetrieb durchführen.
Die Fußgängerpositionsbestimmungsvorrichtung kann durch Clustering einen einzelnen Punkt erzeugen, indem sie mehrere Punkte gruppiert, die in einem Objekt erzeugt wurden. Damit die Fußgängerpositionsbestimmungsvorrichtung ein Objekt verfolgen kann, ist zusätzlich ein Vorgang zum Verknüpfen der Daten eines durch Clustering erzeugten Punktes zu Daten von zuvor verfolgten Punkten erforderlich. Zum Beispiel kann die Fußgängerpositionsbestimmungsvorrichtung vorab verfolgte Objekte überqueren, und einen Punkt eines geclusterten Objekt mit dem geringsten Abstand zu den Punkten der vorab verfolgten Objekte aus den Punkten der geclusterten Objekte, durch einen aktuellen Sensor auswählen, und beide Daten miteinander verknüpfen. Um die Genauigkeit des Objektverfolgungsalgorithmus in diesem Datenverknüpfungsvorgang zu verbessern, selbst wenn der Punkt des geclusterten Objekts mit dem geringsten Abstand ausgewählt ist, wenn die Bewegung des geclusterten Objekts ungewiss oder unvorhersehbar ist, kann die die Fußgängerpositionsbestimmungsvorrichtung den ausgewählten Punkt entfernen. Dazu kann ein wahrscheinlichkeitsbasierter Algorithmus verwendet werden.
Im Schritt 630 kann die Fußgängerpositionsbestimmungsvorrichtung die Bewegung des Objekts vorhersagen. Genauer gesagt kann die Fußgängerpositionsbestimmungsvorrichtung die Positionen von zu verfolgenden Objekten durch Werte in Bezug auf die Bewegung der gemessenen Objekte durch Schritte 610 und 620 vorhersagen. Dazu kann ein wahrscheinlichkeitsbasierter Algorithmus verwendet werden. Wenn es keinen Wert gibt, der sich auf die Bewegung des gemessenen Objekts bezieht, kann die Bewegung des vorhergesagten Objekts ein Wert sein, der sich auf die Bewegung des gemessenen Objekts bezieht. Wenn es alternativ einen Wert gibt, der sich auf die Bewegung des gemessenen Objekts bezieht, kann der Wert, der sich auf die Bewegung des Objekts bezieht, durch den Schritt des Vorhersagens der Bewegung des Objekts aktualisiert werden.
Im Schritt 640 kann die Fußgängerpositionsbestimmungsvorrichtung die Verfolgungsliste selektiv aktualisieren und einen Objektverfolgungsvorgang durchführen.
Wie oben beschrieben, wenn es einen Wert gibt, der sich auf die Bewegung des gemessenen Objekts bezieht, kann die Fußgängerpositionsbestimmungsvorrichtung eine für jedes Objekt verwaltete Verfolgungsliste (track list) aktualisieren. Dazu kann ein Kalman-Filter verwendet werden. Um den Objektverfolgungsvorgang durchzuführen, kann die Fußgängerpositionsbestimmungsvorrichtung Objekte, die sich mit einer ähnlichen Geschwindigkeit in einem bestimmten Abstand von dem zu verfolgenden Objekt bewegen, zu einem einzigen Objekt zusammenfassen, und wenn die Anzahl der Punkte der Erfassungsdaten, die mit dem zu verfolgenden Objekt übereinstimmen, kleiner oder gleich dem kritischen Punkt ist, kann kann die Fußgängerpositionsbestimmungsvorrichtung einen Objektverfolgungsklassifizierungsvorgang zum Stoppen der Verfolgung durchführen, und dann die Objektverfolgung beginnen. Aber auch in diesem Fall, um zu bestimmen, ob der Punkt der erfassten Daten ein Geisterbild ist, kann die Objektverfolgung nach der Prüfung des Punkt der erfassten Daten, die nicht datenverknüpft sind, gestartet werden.
In der vorliegenden Offenbarung ist das Objektverfolgungsverfahren nicht auf die obige Vorgänge beschränkt, und ein Objektverfolgungsalgorithmus für einen ähnlichen Zweck kann auch enthalten sein.
Aufgrund des oben unter Bezugnahme auf 6 beschriebenen Verfahrens kann die Fußgängerpositionsbestimmungsvorrichtung ein Objekt erkennen, das in mehreren Bildern enthalten ist, und die Trajektorie des Objekts verfolgen.
7 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Bestimmen eines Längspositionskandidatenwerts eines Objekts, gemäß einer Ausführungsform.
Die Fußgängerpositionsbestimmungsvorrichtung kann ein in einem Bild 710 enthaltenes Fußgängerobjekt 711 bestimmen. Die Fußgängerpositionsbestimmungsvorrichtung kann die Positionsinformation des Fußgängerobjekts 711 erhalten. Die Positionsinformation kann Informationen über die Koordinaten eines beliebigen Scheitelpunkts des Begrenzungsrechtecks, der dem Fußgängerobjekt 711 entspricht, und Informationen der horizontalen und vertikale Längen enthalten.
Die Fußgängerpositionsbestimmungsvorrichtung kann mehrere Objektgrößen-Kandidatenwerte für das Fußgängerobjekt 711 festlegen. In einer Ausführungsform können die mehreren Objektgrößen-Kandidatenwerten Werte sein, die erhalten werden, indem ein Höhenbereich, den ein Fußgänger haben kann, durch ein vorbestimmtes Intervall unterteilt wird. Unter Bezugnahme auf 7 können die mehreren Objektgrößen-Kandidatenwerte 1,5 m, 1,6 m, 1,7 m, 1,8 m und 1,9 m sein.
Die Fußgängerpositionsbestimmungsvorrichtung kann einen Längspositionskandidatenwert unter Verwendung des Objektgrößen-Kandidatenwerts, des Pixelwerts des Objekts, und der Brennweite der Kamera bestimmen. Insbesondere kann die Fußgängerpositionsbestimmungsvorrichtung einen Längspositionskandidatenwert unter Verwendung der nachstehenden Gleichung 1 bestimmen. In Gleichung 1 bedeutet die Pixelhöhe des Objekts die Pixelhöhe des Begrenzungsrechtecks, der dem Fußgängerobjekt 711 entspricht. $L \ddot{a} ngspositionskandidatenwert = Objektr \ddot{o} ß en - Kandidatenwert \times \frac{Brennweitte der Kamera}{Pixelh \ddot{o} he des Objekts}$
Unter Bezugnahme auf 7, wenn die Brennweite der Kamera und die Pixelhöhe des Objekts voreingestellte Werte sind, sind die Längspositionskandidatenwerte, die jeweils den Objektgrößen-Kandidatenwerten von 1,5 m, 1,6 m, 1,7 m, 1,8 m, bzw. 1,9 m entsprechen, 14,6 m, 15,3 m, 16,0 m, 16,7 m, und 17,4 m. Das heißt, selbst wenn die Positionen und Größen des Begrenzungsrechtecks, der dem Fußgängerobjekt in dem Bild entspricht, gleich sind, je größer die tatsächliche Körperhöhe des Fußgängerobjekts, desto weiter ist der Fußgänger von dem mit der Kamera ausgestatteten Fahrzeug entfernt. Die Zahlenwerte für die Brennweite der Kamera und die Pixelhöhe des Objekts sind nur Beispiele und können sich bei einem anderen Kameratyp ändern.
Unterdessen kann die Fußgängerpositionsbestimmungsvorrichtung den bestimmten Längspositionskandidatenwert unter Berücksichtigung der Position der Kamera korrigieren. Hier kann die Position ein Wert sein, der verschiedene Faktoren umfasst, die ein aufgenommenes Bild ändern können, wie beispielsweise eine Fotografierrichtung, ein Winkel (angle), und eine Aufnahme (shot).
Beispielsweise kann sich die Position einer Kamera im Laufe der Zeit ändern. Alternativ kann sich die Position der Kamera als Reaktion auf das Eintreten eines bestimmten Ereignisses ändern. Alternativ kann sich die Position der Kamera als Antwort auf eine externe Eingabe ändern.
Die Fußgängerpositionsbestimmungsvorrichtung kann den Längspositionskandidatenwert korrigieren, indem berücksichtigt wird, ob der Winkel der Kamera zum Himmel oder zum Boden gerichtet ist oder ob die Aufnahmerichtung der Kamera nach vorne oder zur Seite gerichtet ist.
8 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Auswählen eines Radarmesswerts unter Berücksichtigung eines Längspositionskandidatenwerts, gemäß einer Ausführungsform.
Unter Bezugnahme auf 8 sind Vogelperspektivekoordinaten 800 gezeigt, die einem von einer Kamera erfassten, aktuellen Bild entsprechen. In den Vogelperspektivekoordinaten 800 zeigt die erste Position 810 die Position der Kamera. Alternativ zeigt die erste Position 810 die Position eines Fahrzeugs, an dem die Kamera angebracht ist.
In den Vogelperspektivekoordinaten 800 zeigt der dritte Positionssatz 830 jeden der mehreren Längspositionskandidatenwerten für das Fußgängerobjekt. Unter Bezugnahme auf 7, wenn die Objektgrößen-Kandidatenwerte für ein Fußgängerobjekt auf 1,5 m, 1,6 m, 1,7 m, 1,8 m und 1,9 m eingestellt sind, sind die Längspositionskandidatenwerte, die jeweils den Objektgrößen-Kandidatenwerte entsprechen, 14,6 m, 15,3 m, 16,0 m, 16,7 m und 17,4 m. Das heißt, die Fußgängerpositionsbestimmungsvorrichtung kann den Wert des dritten Positionssatzes 830, der der ersten Position 810 in den Vogelperspektivenkoordinaten 800 am nächsten liegt, als dem Objektgrößen-Kandidatenwert ‚1,5 m‘ entsprechend bestimmen, und den Wert des dritten Positionssatzes 830, der am weitesten von der Position 810 entfernt ist, als dem Objektgrößen-Kandidatenwert ‚1,9 m‘ entsprechend bestimmen. Außerdem kann die Fußgängerpositionsbestimmungsvorrichtung die verbleibenden drei Werte des dritten Positionssatzes 830 jeweils als den Objektgrößen-Kandidatenwerten „1,6 m“, „1,7 m“ und „1,8 m“ entsprechend bestimmen.
Unterdessen kann ein Radar an einem Fahrzeug angebracht sein, um ein Objekt außerhalb des Fahrzeugs zu erfassen. Das Radar kann die Vorderseite, Seite, und Rückseite des Fahrzeugs erfassen. Die Fußgängerpositionsbestimmungsvorrichtung kann mehrere Radarmesswerte für die Außenseite des Fahrzeugs von dem Radar erhalten.
Auf den Vogelperspektivekoordinaten 800 können mehrere Radarmesswerte angezeigt werden.
Die Fußgängerpositionsbestimmungsvorrichtung kann einen Radarmesswert auswählen, der sich innerhalb einer vorbestimmten Abstand von einem Längspositionskandidatenwert aus einer Vielzahl von Radarmesswerten befindet. Unter Bezugnahme auf 8 kann die Fußgängerpositionsbestimmungsvorrichtung aus einer Vielzahl von Radarmesswerten, die an Vogelperspektivekoordinaten 800 angezeigt sind, einen Radarmesswert auswählen, der an einer zweiten Position 820 um den dritten Positionssatz 830 herum angezeigt ist.
Die Fußgängerpositionsbestimmungsvorrichtung kann einen endgültigen Längspositionswert des Fußgängerobjekts basierend auf dem an der zweiten Position 820 angezeigten Radarmesswert bestimmen.
In einer Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung die zweite Position 820 als den endgültigen Längspositionswert des Fußgängerobjekts bestimmen.
In einer anderen Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung den an der zweiten Position 820 angezeigten Radarmesswert auf ein Kalman-Filter anwenden und einen von dem Kalman-Filter abgeleiteten Wert als endgültigen Längspositionswert bestimmen.
In der vorliegenden Offenbarung kann der Abstand zwischen einem Fahrzeug und einem Fußgängerobjekt genauer gemessen werden, indem das Fußgängerobjekt mittels eines von einer Kamera erfassten Bildes erkannt wird und ein passender Radarmesswert basierend auf einem Längspositionskandidatenwert des Fußgängerobjekts bestimmt wird.
9 ist ein beispielhaftes Diagramm zum Erläutern eines Verfahrens zum Entfernen von Ausreißern, gemäß einer Ausführungsform.
Unter Bezugnahme auf 9 sind Vogelperspektivekoordinaten 900 gezeigt, die einem von einer Kamera erfassten aktuellen Bild entsprechen. In den Vogelperspektivekoordinaten 900 zeigt eine erste Position 910 die Position der Kamera. Alternativ zeigt die erste Position 910 die Position eines Fahrzeugs, an dem eine Kamera angebracht ist.
Auf den Vogelperspektivekoordinaten 900 entspricht der auf der zweiten Position 920 angezeigten Radarmesswert dem auf der zweiten Position 820 angezeigten Radarmesswert. Die Fußgängerpositionsbestimmungsvorrichtung kann den endgültigen Längspositionswert des Fußgängerobjekts basierend auf dem an der zweiten Position 920 angezeigten Radarmesswert bestimmen.
Wenn vorbestimmte Bedingungen erfüllt sind, kann die Fußgängerpositionsbestimmungsvorrichtung einen Ausreißer für den Radarmesswert entfernen.
Da der Ausreißer gemäß nachstehend beschriebenen, verschiedenen Ausführungsformen entfernt wird, kann die Fußgängerpositionsbestimmungsvorrichtung den an der zweiten Position 920 angezeigten Radarmesswert auf die dritte Position 921 korrigieren.
In einer Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung einen Ausreißer eines Radarmesswerts für ein aktuelles Bild unter Berücksichtigung eines endgültigen Längspositionswerts eines Fußgängerobjekts, der für ein vorheriges Bild bestimmt wurde, entfernen.
Gemäß dem oben unter Bezugnahme auf 5 beschriebenen Verfahren kann die Fußgängerpositionsbestimmungsvorrichtung bestimmen, dass das erste Fußgängerobjekt, das in dem vorherigen Bild enthalten ist, und das zweite Fußgängerobjekt, das in dem aktuellen Bild enthalten ist, dasselbe Objekt sind. Außerdem kann die Fußgängerpositionsbestimmungsvorrichtung den endgültigen Längspositionswert des ersten Fußgängerobjekts, der in dem vorherigen Bild enthalten ist, verwenden, um einen Ausreißer des Radarmesswerts des aktuellen Bilds zu entfernen.
Insbesondere kann die Fußgängerpositionsbestimmungsvorrichtung den ersten endgültigen Längspositionswert des Fußgängerobjekts in Bezug auf das vorherige Bild erhalten. Außerdem kann die Fußgängerpositionsbestimmungsvorrichtung einen ausgewählten Radarmesswert für das aktuelle Bild erhalten.
Wenn der erste endgültige Längspositionswert und der ausgewählte Radarmesswert innerhalb eines vorbestimmten Abstands liegen, kann die Fußgängerpositionsbestimmungsvorrichtung einen zweiten endgültigen Längspositionswert für das aktuelle Bild aufgrund des ausgewählten Radarmesswertes bestimmen. Wenn andererseits der erste endgültige Längspositionswert und der ausgewählte Radarmesswert nicht innerhalb eines vorbestimmten Abstands liegen, kann die Fußgängerpositionsbestimmungsvorrichtung den ausgewählten Radarmesswert nicht verwenden, um den zweiten endgültigen Längspositionswert für das aktuelle Bild zu bestimmen.
Das heißt, wenn sich der ausgewählte Radarmesswert für das aktuelle Bild nicht innerhalb eines vorbestimmten Abstands von dem ersten endgültigen Längspositionswert des vorherigen Bilds befindet, kann der ausgewählte Radarmesswert ein fehlerhafter Wert sein, und so kann die Fußgängerpositionsbestimmungsvorrichtung in diesem Fall den ausgewählten Radarmesswert nicht zum Bestimmen des zweiten endgültigen Längspositionswert für das aktuelle Bild verwenden.
Unterdessen kann die vorbestimmte Abstand unter Berücksichtigung des aktuellen Bildes und des vorherigen Bildes, des Fotografierzeitintervalls und der Bewegungsgeschwindigkeit des Fußgängerobjekts bestimmt werden.
In einer Ausführungsform, wenn die Anzahl von Radarmesswerten, die sich innerhalb einer vorbestimmten Abstand von dem Längspositionskandidatenwert befinden, kleiner oder gleich dem ersten Schwellenwert oder größer oder gleich dem zweiten Schwellenwert ist, kann die Fußgängerpositionsbestimmungsvorrichtung kein Radarmesswert auswählen. Der erste Schwellenwert kann kleiner als der zweite Schwellenwert sein.
Die Anzahl der Radarmesswerte ändert sich je nach Objekt. Da beispielsweise ein Fahrzeug eine größere Signalreflexionsstärke und eine größere Reflexionsfläche als die eines Fußgängers hat, ist die Anzahl der Radarmesswerte für das Fahrzeug größer als die Anzahl der Radarmesswerte für den Fußgänger.
Das heißt, um zu verhindern, dass die Fußgängerpositionsbestimmungsvorrichtung einen Radarmesswert für ein anderes Objekt (z. B. ein Fahrzeug) als einen Fußgänger auswählt, kann die Fußgängerpositionsbestimmungsvorrichtung einen Radarmesswert auswählen, nur wenn die Anzahl von Radarmesswerten innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert den ersten Schwellenwert überschreitet und kleiner als der zweite Schwellenwertist ist.
In einer Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung die Dopplergeschwindigkeit des Fußgängerobjekts aus dem ausgewählten Radarmesswert berechnen. Insbesondere wenn sich das Fußgängerobjekt bewegt, wird eine Dopplerkomponente aufgrund der Bewegung erzeugt, so dass die Dopplergeschwindigkeit des Fußgängerobjekts berechnet werden kann.
Wenn die Dopplergeschwindigkeit innerhalb eines Geschwindigkeitsbereichs liegt, den der Fußgänger haben kann, kann die Fußgängerpositionsbestimmungsvorrichtung den endgültigen Längspositionswert des Fußgängerobjekts aufgrund des ausgewählten Radarmesswerts bestimmen. Wenn andererseits die Dopplergeschwindigkeit außerhalb des Geschwindigkeitsbereichs liegt, den der Fußgänger haben kann, kann die Fußgängerpositionsbestimmungsvorrichtung den ausgewählten Radarmesswert nicht verwenden.
10 ist ein Flussdiagramm zum Erläutern eines Verfahrens zum Bestimmen eines Zustands eines Fußgängerobjekts, gemäß einer Ausführungsform.
Unter Bezugnahme auf 10, im Schritt 1010 kann die Fußgängerpositionsbestimmungsvorrichtung die Dopplergeschwindigkeit des Fußgängerobjekts aus dem ausgewählten Radarmesswert berechnen. Insbesondere wenn sich das Fußgängerobjekt bewegt, wird eine Dopplerkomponente aufgrund der Bewegung erzeugt, so dass die Dopplergeschwindigkeit des Fußgängerobjekts berechnet werden kann.
Im Schritt 1020 kann die Fußgängerpositionsbestimmungsvorrichtung einen Zwischenzustand des Fußgängerobjekts basierend auf der Bewegung des Fußgängerobjekts in einem Bild bestimmen.
Insbesondere wenn die Bewegung des Fußgängerobjekts, das in den mehreren von der Kamera erfassten Bildern enthalten ist, bestätigt wird, kann die Fußgängerpositionsbestimmungsvorrichtung einen Zwischenzustand des Fußgängerobjekts als „sich bewegend“ bestimmen, und wenn die Bewegung des Fußgängerobjekts nicht bestätigt ist, kann den Zwischenzustand des Fußgängerobjekts als ,gestoppt` bestimmen.
Wenn im Schritt 1030 die im Schritt 1010 berechnete Dopplergeschwindigkeit größer oder gleich einem vorbestimmten Wert ist, wird Schritt 1050 durchgeführt, und die Fußgängerpositionsbestimmungsvorrichtung kann den Endzustand des Fußgängerobjekts als „sich bewegend“ bestimmen. Wenn andererseits die im Schritt 1010 berechnete Dopplergeschwindigkeit kleiner als ein vorbestimmter Wert ist, kann Schritt 1040 durchgeführt werden.
Wenn im Schritt 1040 der im Schritt 1020 bestimmte Zwischenzustand des Fußgängerobjekts „sich bewegend“ ist, wird Schritt 1050 durchgeführt, und die Fußgängerpositionsbestimmungsvorrichtung kann den Endzustand des Fußgängerobjekts als „sich bewegend“ bestimmen. Wenn andererseits der im Schritt 1020 bestimmte Zwischenzustand des Fußgängerobjekts nicht „sich bewegend“ ist, kann Schritt 1060 durchgeführt werden.
Im Schritt 1060 kann die Fußgängerpositionsbestimmungsvorrichtung den Endzustand des Fußgängerobjekts als „gestoppt“ bestimmen. Das heißt, wenn die im Schritt 1010 berechnete Dopplergeschwindigkeit kleiner als ein vorbestimmter Wert ist und der im Schritt 1020 bestimmte Zwischenzustand des Fußgängerobjekts „gestoppt“ ist, kann die Fußgängerpositionsbestimmungsvorrichtung den Endzustand des Fußgängerobjekts als „gestoppt“ bestimmen.
Wenn sich der Fußgänger bewegt, tritt eine Bewegung auf.
Eine Kamera kann die Bewegung, die erzeugt wird, wenn sich ein Fußgänger in Querrichtung bewegt, leicht erfassen, und genau bestimmen, ob sich der Fußgänger in Querrichtung bewegt oder anhält. Andererseits wird eine Bewegung, die auftritt, wenn sich der Fußgänger in Längsrichtung bewegt, kann durch eine Kamera nicht leicht erfasst werden, und daher kann die Bestimmung, ob sich der Fußgänger in Längsrichtung bewegt/anhält, relativ ungenau sein.
Im Falle eines Radars, wenn sich der Fußgänger in Längsrichtung bewegt, erfolgt die Bewegung in Richtung des Radars, wodurch eine Dopplerkomponente erzeugt, sodass das Radar genau bestimmen kann, ob sich der Fußgänger in Längsrichtung bewegt/anhält. Aber wenn sich der Fußgänger andererseits in Querrichtung bewegt, wird keine Dopplerkomponente erzeugt, da die Bewegung senkrecht zur Richtung des Radars ist, und somit kann die Bestimmung, ob sich der Fußgänger in Querrichtung bewegt/anhält, relativ ungenau sein.
Wenn in einer Ausführungsform die Dopplergeschwindigkeit gleich oder größer als ein vorbestimmter Wert ist und der aufgrund eines Bilds bestimmte Zwischenzustand des Fußgängerobjekts „sich bewegt“ ist, kann die Fußgängerpositionsbestimmungsvorrichtung bestimmen, dass sich das Fußgängerobjekt in Längsrichtung und Querrichtung bewegt.
Wenn alternativ der aufgrund des Bildes bestimmte Zwischenzustand des Fußgängerobjekts „gestoppt“ ist, obwohl die Dopplergeschwindigkeit größer oder gleich einem vorbestimmten Wert ist, kann die Fußgängerpositionsbestimmungsvorrichtung bestimmen, dass sich das Fußgängerobjekt in Längsrichtung bewegt, sich aber in Querrichtung gestoppt ist.
Wenn alternativ der aufgrund des Bildes bestimmte Zwischenzustand des Fußgängerobjekts „sich bewegend“ ist, obwohl die Dopplergeschwindigkeit kleiner als einem vorbestimmten Wert ist, kann die Fußgängerpositionsbestimmungsvorrichtung bestimmen, dass sich das Fußgängerobjekt in Querrichtung bewegt, sich aber in Längsrichtung gestoppt ist.
In der vorliegenden Offenbarung ist es durch Radar-Kamera-Sensor-Fusion möglich, ein Fußgängerobjekt zu identifizieren, das aus einem Radarmesswert schwer zu identifizieren ist, und der Abstand zwischen einem Fahrzeug und einem Fußgänger, der aus einem Kamerabild schwierig zu berechnen ist, kann genauer gemessen werden. Außerdem können die Bestimmung einer Bewegung oder eines Halts in einer Längsrichtung, die mittels einer Kamera schwer zu bestimmen ist, und die Bestimmung einer Bewegung oder eines Halts in einer Querrichtung, die mittels eines Radars schwierig zu bestimmen ist, verbessert werden.
11 ist ein Flussdiagramm eines Verfahrens zum Bestimmen der Position eines Fußgängers gemäß einer Ausführungsform.
Da das in 11 gezeigte Verfahren zum Bestimmen der Position des Fußgängers sich auf die in den oben beschriebenen Zeichnungen beschriebenen Ausführungsformen bezieht, können die mit Bezug auf den Zeichnungen beschriebenen Informationen auch auf das Verfahren von 11 angewendet werden, selbst wenn sie unten weggelassen sind.
Unter Bezugnahme auf 11 kann der Prozessor im Schritt 1110 mehrere Bilder der Außenseite des Fahrzeugs von einer Kamera erhalten und mehrere Radarmesswerte der Außenseite des Fahrzeugs von einem Radar erhalten.
Die Kamera kann an einem Fahrzeug angebracht sein, um die Außenseite des Fahrzeugs zu erfassen. Die Kamera kann Bilder von der Vorderseite, Seite und Rückseite des Fahrzeugs aufnehmen. Ein Prozessor kann durch die Kamera aufgenommenen, mehrere Bilder erhalten. Die durch die Kamera erfassten Bilder können mehrere Objekte enthalten.
Ein Radar kann an einem Fahrzeug angebracht sein, um ein Objekt außerhalb des Fahrzeugs zu erfassen. Das Radar kann Bilder von der Vorderseite, Seite und Rückseite des Fahrzeugs erfassen. Der Prozessor kann mehrere Radarmesswerte für die Außenseite des Fahrzeugs von dem Radar erhalten.
Im Schritt 1120 kann der Prozessor ein in einem Bild enthaltenen Fußgängerobjekt bestimmen.
Die mehreren Bilder können ein vorheriges Bild und ein aktuelles Bild umfassen. Der Prozessor kann die erste Positionsinformation eines aus einem vorherigen Bild erkannten ersten Fußgängerobjekts und die zweite Positionsinformation eines aus einem aktuellen Bild erkannten zweiten Fußgängerobjekts erhalten. Der Prozessor kann basierend auf dem Ähnlichkeitsgrad zwischen der ersten Positionsinformation und der zweiten Positionsinformation bestimmen, ob das erste Fußgängerobjekt und das zweite Fußgängerobjekt das gleiche Fußgängerobjekt sind.
Der Prozessor kann Rohdaten von einem Sensor empfangen und die Erfassungsdaten filtern. Außerdem kann der Prozessor die gefilterten Erfassungsdaten clustern und einen Verknüpfungsvorgang durchführen. Außerdem kann der Prozessor die Bewegung des Objekts vorhersagen. Außerdem kann der Prozessor wahlweise die Verfolgungsliste aktualisieren und einen Objektverfolgungsvorgang durchführen.
Im Schritt 1130 kann der Prozessor mehrere Objektgrößen-Kandidatenwerte für das Fußgängerobjekt festlegen und einen Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte bestimmen.
Die mehreren Objektgrößen-Kandidatenwerten können Werte sein, die erhalten werden, indem ein Höhenbereich, den ein Fußgänger haben kann, durch ein vorbestimmtes Intervall unterteilt wird.
Der Prozessor kann einen Längspositionskandidatenwert unter Verwendung eines Objektgrößen-Kandidatenwerts, eines Pixelwerts des Objekts, und der Brennweite der Kamera bestimmen.
Im Schritt 1140 kann der Prozessor einen Radarmesswert auswählen, der innerhalb eines vorbestimmten Abstand von einer Längspositionskandidatenwert ist.
Der Prozessor kann einen Ausreißer für den Radarmesswert entfernen.
In einer Ausführung kann der Prozessor einen ersten endgültigen Längspositionswert des Fußgängerobjekts in Bezug auf das vorherige Bild erhalten. Der Prozessor kann einen Radarmesswert, der für ein aktuelles Bild ausgewählt ist, erhalten. Wenn der erste endgültige Längspositionswert und der ausgewählte Radarmesswert innerhalb eines vorbestimmten Abstands liegen, kann der Prozessor einen zweiten endgültigen Längspositionswert für das aktuelle Bild aufgrund des ausgewählten Radarmesswerts bestimmen.
In einer Ausführungsform, wenn die Anzahl von Radarmesswerten, die sich innerhalb einer vorbestimmten Abstand von dem Längspositionskandidatenwert befinden, kleiner oder gleich dem ersten Schwellenwert oder größer oder gleich dem zweiten Schwellenwert sind, kann der Prozessor kein Radarmesswert auswählen.
In einer Ausführungsform kann der Prozessor aus dem ausgewählten Radarmesswert die Dopplergeschwindigkeit berechnen. Wenn die Dopplergeschwindigkeit innerhalb eines Geschwindigkeitsbereichs liegt, den der Fußgänger haben kann, kann der Prozessor einen endgültigen Längspositionswert des Fußgängerobjekts aufgrund des ausgewählten Radarmesswerts bestimmen.
Im Schritt 1150 kann der Prozessor einen endgültigen Längspositionswert des Fußgängerobjekts aufgrund des ausgewählten Radarmesswerts bestimmen.
Der Prozessor kann einen Wert, der durch Anwenden des ausgewählten Radarmesswerts auf ein Kalman-Filter abgeleitet ist, als den endgültigen Längspositionswert bestimmen.
In einer Ausführungsform kann der Prozessor eine Dopplergeschwindigkeit aus dem ausgewählten Radarmesswert berechnen, und einen Zwischenzustand des Fußgängerobjekts basierend auf der Bewegung des Fußgängerobjekts in dem Bild bestimmen.
Wenn die Dopplergeschwindigkeit größer oder gleich einem vorbestimmten Wert ist oder der Zwischenzustand des Fußgängerobjekts „sich bewegend“ ist, kann der Prozessor den Endzustand des Fußgängerobjekts als „sich bewegend“ bestimmen. Wenn die Dopplergeschwindigkeit kleiner als ein vorbestimmter Wert ist und der Zwischenzustand des Fußgängerobjekts „gestoppt“ ist, kann der Prozessor den Endzustand des Fußgängerobjekts als „gestoppt“ bestimmen.
12 ist ein Blockdiagramm einer Fußgängerpositionsbestimmungsvorrichtung gemäß einer Ausführungsform.
Unter Bezugnahme auf 12 kann die Fußgängerpositionsbestimmungsvorrichtung 1200 eine Kommunikationseinheit 1210, einen Prozessor 1220, und eine DB 1230 aufweisen. In der Fußgängerpositionsbestimmungsvorrichtung 1200 von 12 sind nur Bestandteile gezeigt, die sich auf die Ausführungsform beziehen. Dementsprechend können Fachleute verstehen, dass zusätzlich zu den in 12 gezeigten Bestandteile weitere Allzweckbestandteile enthalten sein können.
Die Kommunikationseinheit 1210 kann eine oder mehrere Bestandteile aufweisen, die eine drahtgebundene/drahtlose Kommunikation mit einem externen Server oder einer externen Vorrichtung ermöglichen. Beispielsweise kann die Kommunikationseinheit 1210 zumindest eine von einer Nahbereichskommunikationseinheit (nicht gezeigt), einer Mobilkommunikationseinheit (nicht gezeigt), und einer Rundfunkempfangseinheit (nicht gezeigt) aufweisen.
Die DB 1230 ist Hardware zum Speichern verschiedener Daten, die in der Fußgängerpositionsbestimmungsvorrichtung 1200 verarbeitet werden, und kann Programme zum Verarbeiten und Steuern des Prozessors 1220 speichern.
Die DB 1230 kann Direktzugriffsspeicher (RAM) wie dynamischen Direktzugriffsspeicher (DRAM) und statischen Direktzugriffsspeicher (SRAM), Nur-Lese-Speicher (ROM), elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), CD-ROM, Blu-ray oder anderer optischer Speicher, Festplattenlaufwerk (HDD), Solid-State-Laufwerk (SSD) oder Flash-Speicher aufweisen.
Der Prozessor 1220 steuert den Gesamtbetrieb der Fußgängerpositionsbestimmungsvorrichtung 1200. Beispielsweise kann der Prozessor 1220 insgesamt eine Eingabeeinheit (nicht gezeigt), eine Anzeige (nicht gezeigt), die Kommunikationseinheit 1210, und die DB 1230 steuern, indem er in der DB 1230 gespeicherte Programme ausführt. Der Prozessor 1220 kann den Betrieb der Fußgängerpositionsbestimmungsvorrichtung 1200 durch Ausführen von in der DB 1230 gespeicherten Programmen steuern.
Der Prozessor 1220 kann zumindest einige der Vorgänge der oben unter Bezugnahme auf 1 bis 11 beschriebenen Fußgängerpositionsbestimmungsvorrichtung 1200 steuern.
Außerdem kann der Prozessor 1220 die Position des Fußgängers gemäß dem oben unter Bezugnahme auf die 1 bis 11 beschriebenen Verfahren bestimmen und das Fahren des Fahrzeugs aufgrund der Bestimmung steuern.
Der Prozessor 1220 kann das Fahren des Fahrzeugs aufgrund der mindestens zwei Faktoren der Geschwindigkeit des Fahrzeugs, des Abstands zwischen dem Fahrzeug und dem Fußgängerobjekt, des Endzustands des Fußgängerobjekts, und der Breite der Straße, auf der sich das Fahrzeug befindet, steuern.
Unterdessen sind der Prozessor zum Bestimmen der Position eines Fußgängers und der Prozessor zum Steuern des Fahrens des Fahrzeugs hinsichtlich der Hardware geteilt und können in getrennte Vorrichtungen eingebaut sein, aber zur Vereinfachung der Beschreibung wird beschrieben, dass sie von dem Prozessor 1220 ausgeführt werden.
Wenn zum Beispiel die Geschwindigkeit des Fahrzeugs größer oder gleich einer vorbestimmten Geschwindigkeit (z. B. 30 km/h) ist und der Abstand zwischen dem Fahrzeug und einem Fußgängerobjekt kleiner oder gleich einem vorbestimmten Abstand (z. B. 50 m) ist, kann der Prozessor 1220 das Fahrzeug so steuern, dass es angehalten wird.
Oder, wenn unabhängig von der Geschwindigkeit des Fahrzeugs der Abstand zwischen dem Fahrzeug und dem Fußgängerobjekt kleiner oder gleich einem vorbestimmten Abstand (z. B. 50 m) ist, und die Breite der Straße ist kleiner oder gleich einer vorbestimmten Breite (z. B. 3 m) ist, und das Fußgängerobjekt „sich bewegt,“ kann der Prozessor 1220 das Fahrzeug so steuern, dass es stoppt.
Der Prozessor 1220 kann mittels mindestens eines der anwendungsspezifischen integrierten Schaltungen (ASICs), digitale Signalprozessoren (DSPs), digitale Signalverarbeitungsvorrichtungen (DSPDs), programmierbare Logikvorrichtungen (PLDs), feldprogrammierbare Gate-Arrays (FPGAs), Controller, Mikrocontroller, Mikroprozessoren, elektrischen Einheiten zum Durchführen anderer Funktionen verwirklicht werden.
In einer Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung 1200 eine elektronische Vorrichtung mit Mobilität sein. Beispielsweise kann die Fußgängerpositionsbestimmungsvorrichtung 1200 als ein Smartphone, ein Tablet-PC, ein PC, ein Smart-TV, ein persönlicher digitaler Assistent (PDA), ein Laptop, ein Mediaplayer, ein Navigationsgerät, ein mit einer Kamera ausgestattetes Gerät, oder andere mobile elektronische Geräte verwirklicht werden. Außerdem kann die Fußgängerpositionsbestimmungsvorrichtung 1200 als eine tragbare Vorrichtung wie etwa eine Uhr, eine Brille, ein Haarband, und ein Ring mit einer Kommunikationsfunktion und einer Datenverarbeitungsfunktion verwirklicht werden.
In einer anderen Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung 1200 eine elektronische Vorrichtung sein, die in ein Fahrzeug eingebettet ist. Zum Beispiel kann die Fußgängerpositionsbestimmungsvorrichtung 1200 eine elektronische Vorrichtung sein, die durch Tuning nach der Herstellung in ein Fahrzeug eingefügt wird.
Als eine weitere Ausführungsform kann die Fußgängerpositionsbestimmungsvorrichtung 1200 ein Server sein, der sich außerhalb eines Fahrzeugs befindet. Ein Server kann als ein Computergerät oder eine Vielzahl von Computergeräten verwirklicht werden, die über ein Netzwerk kommunizieren, um Anweisungen, Codes, Dateien, Inhalte, Dienste und dergleichen bereitzustellen. Der Server kann von an dem Fahrzeug angebrachten Vorrichtungen Daten empfangen, die zum Bestimmen eines Bewegungswegs des Fahrzeugs erforderlich sind, und den Bewegungsweg des Fahrzeugs basierend auf den empfangenen Daten bestimmen.
Gemäß einer anderen Ausführungsform kann ein Prozess, der von der Fußgängerpositionsbestimmungsvorrichtung 1200 durchgeführt wird, von mindestens einigen von einem mobilen elektronischen Gerät, einem in einem Fahrzeug eingebetteten elektronischen Gerät, und einem Server, der sich außerhalb des Fahrzeugs befindet, durchgeführt werden.
Ausführungsformen gemäß der vorliegenden Erfindung können in Form eines Computerprogramms verwirklicht werden, das auf einem Computer durch verschiedene Komponenten ausgeführt werden kann, und ein solches Computerprogramm kann auf einem computerlesbaren Medium aufgezeichnet werden. Hier kann das Medium ein magnetisches Medium, wie etwa eine Festplatte, eine Floppy Disk, und ein Magnetband, ein optisches Aufzeichnungsmedium, wie etwa eine CD-ROM und eine DVD, ein magnetooptisches Medium, wie etwa eine floptische Diskette, und ein Hardwaregeräte, die speziell zum Speichern und Ausführen von Programmanweisungen konfiguriert sind (z. B. ROM, RAM, Flash-Speicher usw.).
Unterdessen kann das Computerprogramm speziell für die vorliegende Erfindung entworfen und konfiguriert sein oder kann Fachleuten auf dem Gebiet der Computersoftware bekannt und verwendbar sein. Ein Beispiel eines Computerprogramms kann nicht nur von einem Compiler erzeugte Maschinensprachencodes umfassen, sondern auch Hochsprachencodes, die von einem Computer unter Verwendung eines Interpreters oder dergleichen ausgeführt werden können.
Gemäß einer Ausführungsform kann das Verfahren gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung in einem Computerprogrammprodukt enthalten sein und bereitgestellt werden. Computerprogrammprodukte können zwischen Verkäufern und Käufern als Waren gehandelt werden. Das Computerprogrammprodukt kann in Form eines maschinenlesbaren Speichermediums (z. B. compact disc read only memory (CD-ROM)) oder zwischen zwei Benutzergeräten über einen Geschäft für Anwendungen (z. B. Play Store™) direkt oder online vertrieben werden (z.B. herunterladen oder hinaufladen). Im Falle einer Online-Verteilung kann zumindest ein Teil des Computerprogrammprodukts temporär in einem maschinenlesbaren Speichermedium gespeichert oder vorübergehend erzeugt werden, wie etwa einem Server eines Herstellers, einem Server eines Anwendungsspeichers oder einem Speichermedium eines Relaisservers.
Die Schritte, die das Verfahren gemäß der vorliegenden Erfindung bilden, können in jeder geeigneten Reihenfolge durchgeführt werden, es sei denn, eine Reihenfolge ist explizit angegeben oder anderweitig angegeben. Die vorliegende Erfindung ist nicht notwendigerweise auf die Reihenfolge der Beschreibung der Schritte beschränkt. Die Verwendung aller Beispiele oder beispielhaften Begriffe (z. B. „usw.“) in der vorliegenden Erfindung dient lediglich dazu, die vorliegende Erfindung ausführlich zu erläutern, und der Umfang der vorliegenden Erfindung ist aufgrund der Beispiele oder beispielhaften Begriffe beschränkt, sofern er nicht durch die Ansprüche begrenzt ist. Darüber hinaus können Fachleute erkennen, dass verschiedene Modifikationen, Kombinationen und Änderungen gemäß Konstruktionsbedingungen und -faktoren innerhalb des Umfangs der beigefügten Ansprüche oder Äquivalente davon vorgenommen werden können.
Daher sollte die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt bestimmt werden, und alle Schutzbereiche, die den Ansprüchen äquivalent sind oder von diesen geändert werden, sowie die unten beschriebenen Ansprüche liegen innerhalb des Schutzbereichs des Geistes von der vorliegenden Erfindung zugehörig sein.

Claims

Verfahren zum Bestimmen der Position eines Fußgängers umfassend: Erhalten der mehreren aufgenommenen Bilder der Außenseite eines Fahrzeugs, von einer Kamera, und Erhalten der mehreren Radarmesswerte für die Außenseite des Fahrzeugs, von einem Radar; Bestimmen eines Fußgängerobjekts, das in den Bildern enthalten ist; Festlegen der mehreren Objektgrößen-Kandidatenwerte für das Fußgängerobjekt und Bestimmen eines Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte; Auswählen eines Radarmesswertes, der sich innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert befindet; und Bestimmen eines endgültigen Längspositionswert des Fußgängerobjekts, aufgrund des ausgewählten Radarmesswertes.
Verfahren nach Anspruch 1, wobei die mehreren Bilder ein vorheriges Bild und ein aktuelles Bild umfassen, und das Besitmmen des Fußgängerobjekts umfasst: Erhalten einer ersten Positionsinformation eines ersten Fußgängerobjekts, das aus dem vorherigen Bild erkannt ist; Erhalten einer zweiten Positionsinformation eines zweiten Fußgängerobjekts, das aus dem aktuellen Bild erkannt ist; und Bestimmen, basierend auf dem Ähnlichkeitsgrad zwischen der ersten Positionsinformation und der zweiten Positionsinformation, ob das erste Fußgängerobjekt und das zweite Fußgängerobjekt das gleiche Fußgängerobjekt sind.
Verfahren nach Anspruch 1, wobei die mehreren Objektgrößen-Kandidatenwerten Werte sein, die erhalten werden, indem ein Höhenbereich, den ein Fußgänger haben kann, durch ein vorbestimmtes Intervall unterteilt wird.
Verfahren nach Anspruch 3, wobei das Bestimmen des Längspositionskandidatenwerts das Bestimmen eines Längspositionskandidatenwerts unter Verwendung des Objektgrößen-Kandidatenwerts, eines Pixelwerts des Objekts, und der Brennweite der Kamera umfasst.
Verfahren nach Anspruch 2, ferner umfassend: Erhalten eines ersten endgültigen Längspositionswertes des Fußgängerobjekts für das vorherige Bild; Erhalten eines Radarmesswert, der für das aktuelle Bild ausgewählt ist; und wenn der erste endgültige Längspositionswert und der ausgewählte Radarmesswert innerhalb eines vorbestimmten Abstands liegen, Bestimmen eines zweiten endgültigen Längspositionswert für das aktuelle Bild, aufgrund des ausgewählten Radarmesswertes.
Verfahren nach Anspruch 1, wobei bei dem Auswählen der mehreren Radarmesswerte, wenn die Anzahl von Radarmesswerten, die sich innerhalb einer vorbestimmten Abstand von dem Längspositionskandidatenwert befinden, kleiner oder gleich einem ersten Schwellenwert oder größer oder gleich einem zweiten Schwellenwert ist, kein Radarmesswert ausgewählt wird, wobei der erste Schwellenwert kleiner als der zweite Schwellenwert ist.
Verfahren nach Anspruch 1, wobei das Bestimmen des endgültigen Längspositionswert umasst: Berechnen einer Dopplergeschwindigkeit aus dem ausgewählten Radarmesswert; und wenn die Dopplergeschwindigkeit innerhalb eines Geschwindigkeitsbereichs liegt, den der Fußgänger haben kann, Bestimmen des endgültigen Längspositionswert des Fußgängerobjekts, aufgrund des ausgewählten Radarmesswerts.
Verfahren nach Anspruch 1, ferner umfassend: Berechnen einer Dopplergeschwindigkeit aus dem ausgewählten Radarmesswert; Bestimmen eines Zwischenzustands des Fußgängerobjekts aufgrund der Bewegung der Armen und Beine des Fußgängerobjekts in dem Bild; und wenn die Dopplergeschwindigkeit größer als oder gleich wie ein vorbestimmter Wert ist und der Zwischenzustand des Fußgängerobjekts „sich bewegend‟ ist, Bestimmen eines Endzustand des Fußgängerobjekts als „sich bewegend‟.
Verfahren nach Anspruch 8, wobei, wenn die Dopplergeschwindigkeit kleiner als ein vorbestimmter Wert ist und der Zwischenzustand des Fußgängerobjekts ,gestoppt` ist, das Besitmmen des Endzustands ferner Bestimmen des Endzustand des Fußgängerobjekts als „gestoppt‟ umfasst.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen eines Wertes, der durch Anwenden des ausgewählten Radarmesswerts auf ein Kalman-Filter abgeleitet ist, als den endgültigen Längspositionswert.
Vorrichtung zum Bestimmen der Position eines Fußgängers umfassend: einen Speicher, auf welchem mindestens ein Programm gespeichert ist; und einen Prozessor, der Berechnungen durch Ausführen mindestens eines Programms durchführt, wobei der Prozessor die mehreren, aufgenommenen Bilder der Außenseite eines Fahrzeugs, von einer Kamera erhält, und die mehreren Radarmesswerte für die Außenseite des Fahrzeugs, von einem Radar, erhält; ein Fußgängerobjekt, das in den Bildern enthalten ist, bestimmt; mehrere Objektgrößen-Kandidatenwerte für das Fußgängerobjekt festlegt und einen Längspositionskandidatenwert jeweils für die mehreren Objektgrößen-Kandidatenwerte bestimmt; einen Radarmesswertes, der innerhalb eines vorbestimmten Abstands von dem Längspositionskandidatenwert sich befindet, auswählt; und aufgrund des ausgewählten Radarmesswertes einen endgültigen Längspositionswert des Fußgängerobjekts bestimmt.
Computerlesbares Aufzeichnungsmedium, auf welchem ein Programm zum Ausführen des Verfahrens nach Anspruch 1 auf einem Computer aufgezeichnet ist.