DE112017000643T5

DE112017000643T5 - Detektion eines teilweise verdeckten Objekts unter Verwendung von Kontext und Tiefenordnung

Info

Publication number: DE112017000643T5
Application number: DE112017000643.0T
Authority: DE
Inventors: Alper Ayvaci; Bernd Heisele; Jingjing Zheng
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2016-02-03
Filing date: 2017-02-02
Publication date: 2018-10-25
Also published as: WO2017136578A1; JP2019509552A; US20170220874A1; JP6942712B2; US9805274B2; CN108604405A

Abstract

System und Verfahren zum Verifizieren der Detektion von teilweise verdeckten Objekten (z.B. Fußgängern) in der Nähe eines Fahrzeugs. Eine Bildeingabevorrichtung erfasst ein Bild und/oder ein Video von Umgebungen. Ein Objektdetektor detektiert teilweise verdeckte Fußgänger und andere Objekte in den empfangenen Bildinformationen. Die Detektion eines teilweise verdeckten Fußgängers wird verifiziert, wenn ein Detektionsfenster des teilweise verdeckten Fußgängers mit einem Detektionsfenster eines verdeckenden Objekts überlappt und das Fenster des verdeckenden Objekts näher an der Bildeingabevorrichtung liegt als das Fenster des teilweise verdeckten Objekts. Optional bestimmt ein Entfernungsmesssensor, wie z.B. eine LIDAR-Vorrichtung, eine Entfernung zu Objekten, die sich in der Richtung des teilweise verdeckten Objekts befinden. Die Detektion des teilweise verdeckten Objekts wird verifiziert, wenn die Entfernung eines der anderen Objekte, die sich in der Richtung des teilweise verdeckten Objekts befinden, kleiner ist als der des teilweise verdeckten Objekts.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der US-Patentanmeldung Nummer 15/015,033 mit dem Titel „PARTIALLY OCCLUDED OBJECT DETECTION USING CONTEXT AND DEPTH ORDERING“, welche am 3. Februar 2016 von dem Anmelder der vorliegenden Anmeldung angemeldet wurde und durch Bezugnahme in seiner Gesamtheit aufgenommen wird.
TECHNISCHES GEBIET
Die Offenbarung bezieht sich im Allgemeinen auf Fahrerassistenzsysteme und insbesondere auf ein System zur Detektion eines teilweise verdeckten Objekts in einer Fahrszene.
HINTERGRUND
Fahrerassistenzsysteme sind Systeme, die im Allgemeinen einem Fahrer in einem Fahrzeug während des Fahrprozesses helfen. Einige Beispiele von Fahrerassistenzsystemen können In-Fahrzeug-Navigationssysteme, adaptive Geschwindigkeitsregelungssysteme (ACC), Spurhaltewamsysteme, Kollisionsvermeidungssysteme, automatische Parksysteme und Totwinkeldetektionssysteme umfassen, ohne darauf beschränkt zu sein. Fahrerassistenzsysteme können verwendet werden, um die Fahrzeug- und Verkehrssicherheit zu erhöhen.
Moderne Fahrzeugsysteme wie zum Beispiel, aber nicht darauf beschränkt, Fahrerassistenzsysteme, sind auf die Computervision-basierte Fußgängerdetektion angewiesen. In vision-basierten Detektionssystemen können Sensoren in Fahrzeugen ausgestattet sein, um Daten aus der Umgebung zu sammeln, und eine Entscheidung kann basierend auf sensorischen Daten getroffen werden. Typische Sensoren zum Detektieren der Fußgänger können Kamera sein, die Bilder von Umgebungen erfassen. Fußgänger können teilweise durch Objekte wie zum Beispiel Autos, Bäume, Gebüsch, Schilder, unter anderem in einer Fahrszene verdeckt werden. Dementsprechend können Fahrzeugsysteme Computervision-Techniken verwenden, zum Beispiel teilbasierte Modelle, die mit Oberkörper-Fußgängerbildern trainiert werden, um teilweise verdeckte Fußgänger zu detektieren. Ein bildbasierter Detektor, der mit Bildern von Teilen eines Objekts trainiert wird, kann jedoch eine geringere Genauigkeit aufweisen als die eines bildbasierten Detektors, der mit Bildern eines gesamten Objekts trainiert wird. Somit besteht in der Technik ein Bedarf nach einem Detektionssystem für ein teilweise verdecktes Objekt, welches auch verifiziert, ob eine Detektion eines teilweise verdeckten Objekts korrekt ist, um falsch-positive Ergebnisse zu reduzieren.
ZUSAMMENFASSUNG
Gemäß einem Aspekt stellt die Offenbarung ein computerimplementiertes Verfahren und System zum Verifizieren der Detektion eines ersten Objekts bereit, das teilweise durch ein zweites Objekt relativ zu einem Fahrzeug verdeckt ist. Eine Bildeingabevorrichtung an einem Fahrzeug, für die eine Verifikation gesucht wird, erfasst ein Bild und/oder ein Video von Umgebungen. Ein Objektdetektor detektiert ein erstes Objekt, wie zum Beispiel ein teilweise verdecktes Objekt (z. B. einen Fußgänger), welches die Verwendung eines trainierten teilbasierten Modells (z. B. eines Satzes von Oberkörperbildern von Fußgängern) umfassen kann, und erfasst ein zweites Objekt oder Objekte (z. B. ein Fahrzeug) einschließlich etwaiger verdeckenden Objekte in Bild- und/oder Videoinformationen, die empfangen worden sind. In einer Verifikationsprozedur wird die Detektion eines teilweise verdeckten Objekts verifiziert, wenn ein Detektionsfenster des teilweise verdeckten Objekts und ein Detektionsfenster eines der anderen Objekte sich überlappen oder sich in unmittelbarer Nähe zueinander befinden, und der Abstand des Detektionsfensters des teilweise verdeckten Objekts zu der Bildeingabevorrichtung größer ist als der Abstand des Detektionsfensters eines der anderen verdeckenden Objekte zu der Bildeingabevorrichtung.
Gemäß einer anderen Verifikationsprozedur bestimmt ein Entfemungsmesssensor am Fahrzeug eine Entfernung zu anderen Fahrzeugen und/oder anderen verdeckenden Objekten, welche sich in der Richtung des teilweise verdeckten Fußgängers befinden, der von dem Objektdetektor detektiert wird. Die Detektion des teilweise verdeckten Fußgängers wird verifiziert, wenn die Entfernung eines der Fahrzeuge oder anderer verdeckenden Objekte in der Richtung des teilweise verdeckten Objekts (z. B. Fußgängers) kleiner ist als der Abstand des Detektionsfensters des teilweise verdeckten Objekts zu der Bildeingabevorrichtung.
Zusätzliche Vorteile und neuartige Merkmale dieser Aspekte werden zum Teil in der folgenden Beschreibung dargelegt und zum Teil für Fachleute auf dem Gebiet bei der Untersuchung des Folgenden oder beim Erlernen der Offenbarung durch die Praxis deutlicher.
Figurenliste
Die neuartigen Merkmale, von denen angenommen wird, dass sie für Aspekte der Offenbarung charakteristisch sind, sind in den beigefügten Ansprüchen dargelegt. In den folgenden Beschreibungen sind gleiche Teile in der gesamten Beschreibung und in den Zeichnungen jeweils mit den gleichen Bezugszeichen versehen. Die Zeichnungsfiguren sind nicht notwendigerweise maßstabsgetreu gezeichnet, und bestimmte Figuren können im Interesse der Klarheit und Prägnanz in übertriebener oder verallgemeinerter Form gezeigt werden. Die Offenbarung selbst sowie eine bevorzugte Art der Verwendung, weitere Merkmale und Fortschritte davon werden jedoch am besten unter Bezugnahme auf die folgende detaillierte Beschreibung veranschaulichender Aspekte der Offenbarung verstanden, wenn sie in Verbindung mit den begleitenden Zeichnungen gelesen wird, wobei:

1 ist ein schematisches Diagramm einer beispielhaften Betriebsumgebung zum Implementieren von Systemen und Verfahren zum Detektieren von teilweise verdeckten Objekten gemäß Aspekten der vorliegenden Offenbarung.
2 ist ein beispielhaftes Bild von verschiedenen Merkmalen, die sich gemäß Aspekten der vorliegenden Offenbarung auf die Detektion von teilweise verdeckten Objekten beziehen.
3 ist ein beispielhaftes Prozessflussdiagramm eines Verfahrens zum Verifizieren der Detektion von teilweise verdeckten Objekten unter Verwendung von Grundebenenschätzung gemäß Aspekten der vorliegenden Offenbarung.
4 ist ein beispielhaftes Prozessflussdiagramm eines Verfahrens zum Verifizieren der Detektion von teilweise verdeckten Objekten unter Verwendung von Tiefenerfassung gemäß Aspekten der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG
Das Folgende umfasst Definitionen ausgewählter Begriffe, die hierin verwendet werden. Die Definitionen umfassen verschiedene Beispiele und/oder Formen von Komponenten, die in den Anwendungsbereich eines Begriffs fallen und für die Implementierung verwendet werden können. Die Beispiele sollen nicht einschränkend sein.
Ein „Bus“, wie hierin verwendet, bezieht sich auf eine miteinander verbundene Architektur, die operativ mit anderen Computerkomponenten innerhalb eines Computers oder zwischen Computern verbunden ist. Der Bus kann Daten zwischen den Computerkomponenten übertragen. Der Bus kann unter anderem ein Speicherbus, ein Speichercontroller, ein Peripheriebus, ein externer Bus, ein Kreuzschienenschalter und/oder ein lokaler Bus sein. Der Bus kann auch ein Fahrzeugbus sein, der Komponenten innerhalb eines Fahrzeugs unter Verwendung von Protokollen miteinander verbindet, wie z. B. unter anderem Media Oriented Systems Transport (MOST), Controller Area Network (CAN), Local Interconnect Network (LIN).
„Computerkommunikation“, wie hierin verwendet, bezieht sich auf eine Kommunikation zwischen zwei oder mehr Computervorrichtungen (z. B. Computer, persönlicher digitaler Assistent, Mobiltelefon, Netzwerkgerät) und kann zum Beispiel eine Netzwerkübertragung, eine Dateiübertragung, eine Applet-Übertragung, eine E-Mail, eine Hypertext-Transfer-Protocol-Übertragung (HTTP) und so weiter umfassen. Eine Computerkommunikation kann beispielsweise unter anderem über ein drahtloses System (z. B. IEEE 802.11), ein Ethernet-System (z. B. IEEE 802.3), ein Token Ring System (z. B. IEEE 802.5), ein Local Area Network (LAN), ein Wide Area Network (WAN), ein Punkt-zu-Punkt-System, ein Durchschaltevermittlungssystem, ein Paketvermittlungssystem erfolgen.
Ein „Datenträger“, wie hierin verwendet, kann zum Beispiel ein Magnetplattenlaufwerk, ein Solid-State-Festplattenlaufwerk, ein Diskettenlaufwerk, ein Bandlaufwerk, ein Zip-Laufwerk, eine Flash-Speicherkarte und/oder einen Speicherstick umfassen. Ferner kann der Datenträger ein CD-ROM (Compact Disk ROM), ein beschreibbares CD-Laufwerk (CD-R-Laufwerk), ein wiederbeschreibbares CD-Laufwerk (CD-RW-Laufwerk) und/oder ein digitales Video-ROM-Laufwerk (DVD-ROM) sein. Der Datenträger kann ein Betriebssystem speichern, das Ressourcen einer Computervorrichtung steuert oder zuweist.
Eine „Datenbank“ oder „Datenbank-Repository“, wie hierin verwendet, bezieht sich auf eine Tabelle, einen Satz von Tabellen, einen Satz von Datenspeichern und/oder Verfahren zum Zugreifen auf diese Datenspeicher und/oder Manipulieren dieser Datenspeicher. Einige Datenbanken können in einem wie oben definierten Datenträger eingebaut sein.
Ein „Speicher“, wie hier verwendet, kann einen flüchtigen Speicher und/oder einen nichtflüchtigen Speicher umfassen. Ein nichtflüchtiger Speicher kann zum Beispiel einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer PROM) und einen EEPROM (elektrisch löschbarer PROM) umfassen. Ein flüchtiger Speicher kann zum Beispiel einen RAM (Direktzugriffsspeicher), einen synchronen RAM (SRAM), einen dynamischen RAM (DRAM), einen synchronen DRAM (SDRAM), einen DRAM mit doppelter Datenrate (DDR SDRAM) und einen direkten RAM-Bus-RAM (DRRAM) umfassen. Der Speicher kann ein Betriebssystem speichern, das Ressourcen eines Computergeräts steuert oder zuweist.
Ein „Modul“, wie hierin verwendet, umfasst, ohne jedoch darauf beschränkt zu sein, ein nichttransitorisches computerlesbares Medium, das Anweisungen, Anweisungen in Ausführung auf einer Maschine, Hardware, Firmware, Software in Ausführung auf einer Maschine und/oder Kombinationen davon speichert, um eine Funktion (Funktionen) oder eine Aktion (Aktionen) auszuführen und/oder um eine Funktion oder Aktion von einem anderen Modul, Verfahren und/oder System auszulösen. Ein Modul kann auch eine Logik, einen softwaregesteuerten Mikroprozessor, eine diskrete Logikschaltung, eine Analogschaltung, eine Digitalschaltung, eine programmierte Logikvorrichtung, eine Speichervorrichtung, welche Ausführungsanweisungen, Logikgatter, eine Kombination von Gattern und/oder andere Schaltungskomponenten umfassen. Mehrere Module können zu einem Modul kombiniert werden und einzelne Module können auf mehrere Module verteilt werden.
Eine „betriebsfähige Verbindung“ oder eine Verbindung, durch die Einheiten „operativ verbunden“ sind, ist eine Verbindung, in der Signale, physikalische Kommunikationen und/oder logische Kommunikationen gesendet und/oder empfangen werden können. Eine betriebsfähige Verbindung kann eine drahtlose Schnittstelle, eine physikalische Schnittstelle, eine Datenschnittstelle und/oder eine elektrische Schnittstelle umfassen.
Ein „Prozessor“, wie hier verwendet, verarbeitet Signale und führt allgemeine Rechenfunktionen und arithmetische Funktionen aus. Signale, die von dem Prozessor verarbeitet werden, können digitale Signale, Datensignale, Computeranweisungen, Prozessoranweisungen, Nachrichten, ein Bit, einen Bitstrom oder andere Merkmale umfassen, die empfangen, gesendet und/oder detektiert werden können. Im Allgemeinen kann der Prozessor eine Vielzahl von verschiedenen Prozessoren umfassen, einschließlich mehrerer Einzel- und Mehrkemprozessoren und Co-Prozessoren und mehrerer anderer Einzel- und Mehrkemprozessor- und Co-Prozessor-Architekturen. Der Prozessor kann verschiedene Module umfassen, um verschiedene Funktionen auszuführen.
Ein „Fahrzeug“, wie hierin verwendet, bezieht sich auf irgendein sich bewegendes Fahrzeug, das in der Lage ist, einen oder mehrere menschliche Insassen zu tragen und durch irgendeine Form von Energie angetrieben wird. Der Begriff „Fahrzeug“ umfasst, ohne jedoch darauf beschränkt zu sein, Autos, Lastkraftwagen, Lieferwagen, Minivans, Sport Utility Vehicles (SUVs), Motorräder, Roller, Boote, Go-Karts, Vergnügungsfahrgeschäfte, Eisenbahntransport, Wassermotorräder und Flugzeuge. In einigen Fällen umfasst ein Kraftfahrzeug einen oder mehrere Motoren. Ferner kann sich der Begriff „Fahrzeug“ auf ein elektrisches Fahrzeug (EV) beziehen, das einen oder mehrere menschliche Insassen tragen kann und vollständig oder teilweise von einem oder mehreren Elektromotoren betrieben wird, die von einer elektrischen Batterie angetrieben werden. Das EV kann batterieelektrische Fahrzeuge (BEV) und Plug-in-Hybridelektrofahrzeuge (PHEV) umfassen. Der Begriff „Fahrzeug“ kann sich auch auf ein autonomes Fahrzeug und/oder ein selbstfahrendes Fahrzeug beziehen, das durch irgendeine Energieform angetrieben wird. Das autonome Fahrzeug kann einen oder mehrere menschliche Insassen tragen oder nicht. Ferner kann der Begriff „Fahrzeug“ Fahrzeuge, die mit vorbestimmten Bahnen automatisiert oder nicht automatisiert sind, oder sich frei bewegende Fahrzeuge umfassen.
SYSTEMÜBERBLICK
Im Allgemeinen sind die hier offenbarten Systeme und Verfahren unter anderem darauf gerichtet, teilweise verdeckte Objekte (z. B. Fußgänger, Motorradfahrer, Radfahrer und/oder Tiere) in der Nähe eines Fahrzeugs zu detektieren und zu verifizieren, ob die Detektionen der teilweise verdeckten Objekte korrekt sind, um falsch positive Detektionsergebnisse zu reduzieren. Es wird nun auf die Zeichnungen Bezug genommen, in denen die Darstellungen zu Zwecken der Veranschaulichung eines oder mehrerer Beispielaspekte und nicht zu Zwecken der Beschränkung derselben dienen. 1 ist ein schematisches Diagramm einer Betriebsumgebung 100 zum Implementieren von Systemen und Verfahren zum Detektieren von teilweise verdeckten Objekten. Die Komponenten der Umgebung 100 sowie die Komponenten anderer Systeme, Hardwarearchitekturen und Softwarearchitekturen, welche hier diskutiert werden, können für verschiedene Aspekte kombiniert, ausgelassen oder in verschiedene Architekturen organisiert werden. Ferner können die Komponenten der Betriebsumgebung 100 in einem Fahrzeug (nicht gezeigt) zur Detektion eines teilweise verdeckten Fußgängers, beispielsweise durch ein fortgeschrittenes Fahrerassistenzsystem (Advanced Driver Assistance System, ADAS) implementiert oder mit dem Fahrzeug assoziiert werden.
1 zeigt eine Beispielumgebung 100, die gemäß Aspekten der vorliegenden Offenbarung verwendbar ist. Die Umgebung 100 umfasst eine Fahrzeugcomputervorrichtung 102 (VCD) mit Einrichtungen zum Verarbeiten, Kommunizieren und Interagieren mit verschiedenen Komponenten eines Fahrzeugs und anderen Komponenten der Umgebung 100. In einem Aspekt kann die VCD 102 unter anderem (nicht gezeigt) als Teil einer Telematikeinheit, einer Kopfeinheit, einer Navigationseinheit, einer Infotainment-Einheit, einer elektronischen Steuereinheit integriert sein. In anderen Aspekten können die Komponenten und Funktionen der VCD 102 mindestens teilweise entfernt von einem Fahrzeug implementiert werden, zum Beispiel in Verbindung mit der Verwendung einer tragbaren Vorrichtung (nicht gezeigt) oder einer anderen Vorrichtung, welche über ein Netzwerk (z. B. ein Netzwerk 144) verbunden ist.
Im Allgemeinen umfasst die VCD 102 einen Prozessor 120, einen Speicher 106, einen Datenträger 108, einen teilbasierten Körperdetektor 110, einen Objektdetektor 112 und eine Eingabe/Ausgabe (I/O)-Schnittstelle 140, welche jeweils operativ zur Computerkommunikation über einen Bus 104 und/oder andere drahtgebundene und/oder drahtlose Technologien verbunden sind. Die I/O-Schnittstelle 140 stellt Software und Hardware bereit, um die Dateneingabe und -ausgabe zwischen den Komponenten der VCD 102 und anderen Komponenten, Netzwerken und Datenquellen, die hierin beschrieben werden, zu ermöglichen. Zusätzlich umfasst der Prozessor 120 ein erstes Verifikationsmodul 122 und ein zweites Verifikationsmodul 124, die geeignet sind, eine Verifikation der Detektion von teilweise verdeckten Objekten bereitzustellen, welche durch die Komponenten der Umgebung 100 ermöglicht ist.
Die VCD 102 ist auch operativ zur Computerkommunikation (z. B. über den Bus 104 und/oder die I/O-Schnittstelle 140) mit einem oder mehreren Fahrzeugsystemen 130 verbunden. Fahrzeugsysteme können alle automatische oder manuelle Systeme umfassen, die verwendet werden können, um die Fahrzeugsysteme, das Fahren und/oder die Sicherheit zu verbessern, ohne jedoch darauf beschränkt zu sein. Zum Beispiel können die Fahrzeugsysteme 130 ADAS umfassen (ohne jedoch darauf beschränkt zu sein), die sich auf eine Computervision-basierte Fußgängerdetektion stützen können. Die Fahrzeugsysteme 130 können zur Computerkommunikation verschiedene Fahrzeugsensoren (z. B. die Bildeingabevorrichtung 132) umfassen oder operativ mit denen gekoppelt sein, welche Informationen bereitstellen und/oder erfassen, die mit dem Fahrzeug, der Fahrzeugumgebung und/oder den Fahrzeugsystemen 130 assoziiert sind.
Ein Objektdetektor, der die Bildeingabevorrichtung 132 umfassen kann, kann ein Eingabebild empfangen. Die Bildeingabevorrichtung 132 kann irgendeine Art von Bildsensor und/oder -vorrichtung sein, um ein Bild und/oder ein Video zu erfassen. In einigen Aspekten ist die Bildeingabevorrichtung 132 Teil eines Fahrzeugsystems 130 oder eines Computervision-Systems (nicht gezeigt). In anderen Aspekten ist die Bildeingabevorrichtung 132 eine entfernte Vorrichtung, auf die beispielsweise über das Netzwerk 144 zugegriffen wird. Das Netzwerk 144 kann beispielsweise ein Datennetzwerk, das Internet, ein Wide Area Network oder ein Lokal Area Network umfassen. Das Netzwerk 144 kann als ein Kommunikationsmedium für verschiedene entfernte Vorrichtungen (z. B. Datenbanken, Webserver, entfernte Server, Anwendungsserver, zwischengeschaltete Server, Client-Rechner, andere tragbare Vorrichtungen) dienen.
Die VCD 102 kann auch operativ zur Kommunikation mit einem Tiefensensor 142 und, wie oben erwähnt, dem Netzwerk 144 gekoppelt sein. Die Verbindung von der I/O-Schnittstelle 140 zu dem Tiefensensor 142 und dem Netzwerk 144 kann auf verschiedene Arten ermöglicht werden, beispielsweise durch unter anderem eine Netzwerkkopplung (z. B. drahtgebunden und/oder drahtlos), ein zellulares Datennetzwerk von einer tragbaren Vorrichtung (nicht gezeigt), ein Fahrzeug-zu-Fahrzeug-Ad-hoc-Netzwerk (nicht gezeigt), ein In-Fahrzeug-Netzwerk (nicht gezeigt) oder irgendeine Kombination davon.
Der Tiefensensor 142 kann Hindernisse um ein Fahrzeug detektieren und Entfernungsmessungen zu diesen Hindernissen bereitstellen. Der Tiefensensor 142 kann ein beliebiger Typ von Entfemungsmesssensor und/oder -vorrichtung sein, wie z. B. ein Light Detection and Ranging Sensor (LIDAR-Sensor), eine Stereokamera und/oder eine Radio Detection and Ranging (RADAR) Sensor. Zum Beispiel werden für einen Typ eines LIDAR-Sensors, der gemäß Aspekten der vorliegenden Offenbarung verwendbar ist, Reflexionen von einem Objekt als ein Abtastpunkt als Teil einer Punktwolke zurückgegeben. Ein separater Abtastpunkt kann beispielsweise für jeden ${\frac{1}{2}}^{°}$
über das Sichtfeld des Sensors bereitgestellt werden. In einem Aspekt kann ein Fahrzeug mehrere Tiefensensoren 142 aufweisen, um ein bis zu 360° Sichtfeld um das Fahrzeug bereitzustellen. Diese mehreren Tiefensensoren 142 können seitwärts blickende Sensoren, rückwärts blickende Sensoren und vorwärts blickende Sensoren umfassen. Jeder der Tiefensensoren 142 detektiert Objekte in seinem Sichtfeld unabhängig von den anderen Tiefensensoren 142. Unter Verwendung des von dem Tiefensensor oder den Tiefensensoren 142 zurückgegebenen Abtastpunktes wird die Punktwolke erzeugt, um Objekte in der Nähe des Fahrzeugs zu detektieren. Für ein Fahrzeug mit mehreren Tiefensensoren 142 können mehrere Punktwolken zurückgegeben werden, und für überlappende Sensorsichtfelder können einige Tiefensensoren 142 das gleiche Objekt detektieren. In diesem Fall ist es notwendig, die Punktwolken der Tiefensensoren 142 zu kombinieren, so dass das gleiche Objekt, das von den Tiefensensoren 142 detektiert wird, als ein einzelnes Objekt verarbeitet wird. In einigen Aspekten kann/können der Tiefensensor / die Tiefensensoren 142 eine entfernte Vorrichtung umfassen, auf die beispielsweise über das Netzwerk 144 zugegriffen wird. In anderen Aspekten können der Tiefensensor oder die Tiefensensoren 142 Teil des Fahrzeugsystems 130 sein.
Das in 1 gezeigte System wird nun gemäß einer beispielhaften Implementierung gemäß Aspekten der vorliegenden Offenbarung beschrieben. Wie oben erwähnt, umfasst das System dieser beispielhaften Implementierung eine Bildeingabevorrichtung 132. Die Bildeingabevorrichtung empfängt ein Eingabebild. Zum Beispiel in 1 empfängt die Bildeingabevorrichtung 132 ein Eingabebild. Das Eingabebild kann beispielsweise ein Fahrszenenbild umfassen, das einen oder mehrere Fußgänger oder andere Objekte zur Objektdetektion umfasst. 2, welche hier ausführlicher beschrieben wird, veranschaulicht ein beispielhaftes Eingabebild 202.
Wie in 1 angezeigt, kann der teilbasierte Körperdetektor 110 ein oder mehrere Körperteil-Detektionsfenster des Eingabebildes bestimmen. Wie hier diskutiert wird, kann das Körperteil-Detektionsfenster ein „gleitendes“ Fenster (z. B. ein kastenförmiges Fenster, das auf dem Bild gestellt ist, das eine variable Länge und/oder Breite aufweisen kann) zur Detektion von teilweise verdeckten Objekten (z. B. teilweise verdeckten Fußgängern) basierend auf einem trainierten Modell (z. B. einem Satz von Oberkörperbildern von Fußgängern) umfassen. Aspekte der Detektion von teilweise verdeckten Objekten auf der Grundlage eines trainierten Modells sind beispielsweise in der gleichzeitig anhängigen US-Patentanmeldung Nr. 14/641,506 , des Anmelders beschrieben, auf die hiermit in ihrer Gesamtheit Bezug genommen wird. Das trainierte Modell (nicht gezeigt) kann zum Beispiel in dem Speicher 106 und/oder einem anderen Speicher gespeichert sein, der in dem Netzwerk 144 zugänglich ist. Das trainierte Modell kann Daten (z. B. Vorlagen) verwenden, um die Beziehungen zwischen beobachteten Bilddaten (z. B. dem Eingabebild) zu lernen und Aspekte der Bilddaten und der Bildszene abzuschätzen, um aus den Bilddaten neue Rückschlüsse auf die Bildszene zu ziehen. Darüber hinaus kann der Objektdetektor 112 ein oder mehrere Objektdetektionsfenster (z. B. Fahrzeugdetektion und/oder andere verdeckende Objektfenster) des Eingabebildes bestimmen. Obwohl in 1 als separate Komponenten dargestellt, ist es zu beachten, dass der teilbasierte Körperdetektor 110 und der Objektdetektor 112 zu einer einzigen Komponente kombiniert werden können.
Unter erneuter Bezugnahme auf 1 umfasst das System auch einen Prozessor, der operativ zur Kommunikation mit der Bildeingabevorrichtung, dem Tiefensensor, dem teilbasierten Körperdetektor und dem Objektdetektor verbunden ist. Wie oben erwähnt, kann der Prozessor 104 zur Computerkommunikation (z. B. über die I/O-Schnittstelle 140 und/oder das Netzwerk 144) operativ mit der Bildeingabevorrichtung 132, dem Tiefensensor 142, dem teilbasierten Körperdetektor 110 und dem Objektdetektor 112 gekoppelt sein. Ferner kann der Prozessor 104 Aspekte des Betriebs des ersten Verifikationsmoduls 122 und des zweiten Verifikationsmoduls 124 umfassen und/oder ausführen, welche beispielsweise verwendet werden können, um zu verifizieren, ob eine Detektion eines teilweise verdeckten Fußgängers durch den teilbasierten Körperdetektor 110 korrekt ist. Wie hierin erörtert wird, kann das erste Verifikationsmodul 122 relative Abstände von einem teilweise verdeckten Fußgänger, der durch den teilbasierten Körperdetektor 110 detektiert wird, und einem Fahrzeug oder einem anderem Objekt, das von dem Objektdetektor 112 detektiert wird, basierend auf der von der Bildeingabevorrichtung 132 empfangenen Bildinformationen vergleichen. Alternativ oder zusätzlich kann das zweite Verifikationsmodul 124 (1) den Abstand zu einem teilweise verdeckten Fußgänger, der durch den teilbasierten Körperdetektor 110 basierend auf die Informationen in dem ersten Verifikationsmodul 122 detektiert wird; und 2) den Abstand zu einem Fahrzeug oder einem anderen Objekt, welches durch den Tiefensensor 142 detektiert wird, vergleichen.
II. VERIFIKATIONSVERFAHREN
Unter Bezugnahme auf 3 wird ein Verfahren zum Verifizieren der Detektion von teilweise verdeckten und anderen Objekten gemäß einem beispielhaften Aspekt der vorliegenden Offenbarung diskutiert. 3 wird unter Bezugnahme auf die Komponenten von 1 und 2 beschrieben. Zusätzlich werden die Verfahren unter Bezugnahme auf Algorithmen beschrieben, die ebenfalls mit dem in 1 dargestellten System implementiert werden können und in Verbindung damit und mit anderen Systemen und Verfahren beschrieben. Im Block 302 umfasst das Verfahren das Empfangen eines Eingabebilds von der Bildeingabevorrichtung 132 (1). Das Eingabebild kann ein Graustufenbild sein, ausgedrückt als I: Λ ⊂ ℤ → [0,255], wobei Λ ein Gitter ist. Das Eingabebild kann beispielsweise einen Teil einer Fahrszene umfassen, die von der Bildeingabevorrichtung 132 (1) erfasst wurde. Ferner kann das Eingabebild ein oder mehrere teilweise verdeckte Objekte umfassen. Zum Beispiel kann das Eingabebild 202, wie in 2 gezeigt, zwei Fußgänger umfassen (siehe Kasten 204, 206), die jeweils teilweise von einem Fahrzeug verdeckt sind.
Im Block 304 umfasst das Verfahren das Detektieren und das Identifizieren eines teilweise verdeckten Objekts (z. B. eines teilweise verdeckten Fußgängers) in dem Eingabebild. In einem Aspekt kann der teilbasierte Körperdetektor 110 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) einen Satz von Körperteil-Detektionsfenstern (z. B. Oberkörper-Detektionsfenstem) auf dem Eingabebild basierend auf einem Trainingssatz von Körperteilbildern (z. B. Oberkörperbildern von Fußgängern) bestimmen. Der teilbasierte Körperdetektor 110 (1) kann beispielsweise einen Gleitfensterdetektor umfassen. Der Satz von Oberkörper-Detektionsfenstern, die durch den teilbbasierten Körperdetektor 110 (1) identifiziert werden, kann als ${u_{i}}_{i = 1}^{U}$
ausgedrückt werden. Ferner kann jedes Oberkörper-Detektionsfenster $u_{i} = [u_{i}^{x}, u_{i}^{y}, u_{i}^{w}, u_{i}^{h}]$
als einen Oberkörper-Begrenzungskasten auf dem Eingabebild dargestellt werden, wobei die Position der oberen linken Ecke des Oberkörper-Begrenzungskastens als $(u_{i}^{x}, u_{i}^{y})$
ausgedrückt ist und die Breite und Höhe des Oberkörper-Begrenzungskastens als $(u_{i}^{w}, u_{i}^{h})$
ausgedrückt ist. Zum Beispiel kann der teilbasierte Körperdetektor 110 (1) zwei Oberkörper-Detektionsfenster 204, 206 auf dem Eingabebild 202 detektieren, wie in 2 gezeigt.
Im Block 306 umfasst das Verfahren das Erweitern jedes Oberkörper-Begrenzungskastens auf etwa die volle Körpergröße eines Fußgängers. In einem Aspekt kann der teilbasierte Körperdetektor 110 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) jeden Oberkörper-Begrenzungskasten u_i um einen Faktor von σ zu ũ_i erweitern, wobei ${\tilde{u}}_{i} = [u_{i}^{x}, u_{i}^{y}, u_{i}^{w}, σ u_{i}^{h}]$
und σ basierend auf einem Trainingssatz von Oberkörperbildern von Fußgängern gesetzt ist. Wenn beispielsweise Bilder, die jeweils einen Drittel der Körpergröße eines Fußgängers umfassen, zum Trainieren des teilbasierten Körperdetektors 110 verwendet werden, dann kann σ auf drei gesetzt werden, so dass sich jeder der oberen Begrenzungskasten von einem Drittel der Körpergröße eines Fußgängers auf etwa die volle Größe des Fußgängers erweitert. Zum Beispiel können die Oberkörper-Begrenzungskasten 204, 206 (2) auf die ungefähre Größe des Ganzkörpers erweitert werden, wie in 3 gezeigt. Dementsprechend stellt der Mittelpunkt des Bodens eines Oberkörper-Begrenzungskastens, wenn er einmal erweitert ist, etwa den Ort dar, an dem der Fußgänger die Grundebene berührt.
Im Block 308 umfasst das Verfahren das Detektieren eines Objekts (z. B. verdeckende und/oder nicht verdeckende Fahrzeuge oder andere Objekte) auf dem Eingabebild. In einem Aspekt kann der Objektdetektor 112 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) einen Satz von Objekt-Detektionsfenstern (z. B. Fahrzeug-Detektionsfenstern) auf dem Eingangsbild I bestimmen. Der Satz von Fahrzeug-Detektionsfenstern, die durch den Objektdetektor 112 (1) identifiziert werden, kann als ${c_{j}}_{j = 1}^{C}$
ausgedrückt werden. Ferner kann jedes Fahrzeug-Detektionsfenster als ein Fahrzeug-Begrenzungskasten auf dem Eingabebild dargestellt werden. Zum Beispiel kann der Objektdetektor 112 zwei Fahrzeug-Detektionsfenster 208, 210 auf dem Eingangsbild 202 detektieren, wie in 2 gezeigt. Der Mittelpunkt des Bodens eines Fahrzeugbegrenzungskastens stellt den Ort dar, an dem das Fahrzeug die Grundebene berührt.
Im Block 310 umfasst das Verfahren das Bestimmen, ob ein erweiterter Oberkörper-Begrenzungskasten und ein Fahrzeug-Begrenzungskasten auf dem Eingabebild sich überlappen oder nicht. In einem Aspekt kann das erste Verifikationsmodul 122 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) bestimmen, ob ein Fahrzeug-Begrenzungskasten c_j existiert oder nicht, so dass ein erweiterter Oberkörper-Begrenzungskasten ũ_i und der Fahrzeug-Begrenzungskasten c_j sich überlappen oder sich in unmittelbarer Nähe zueinander befinden. Zum Beispiel kann das erste Verifikationsmodul 122 (1) bestimmen, dass der Oberkörper-Begrenzungskasten 204 und der Fahrzeug-Begrenzungskasten 210 sich überlappen, wie in 2 gezeigt. Wenn in einem Aspekt das erste Verifikationsmodul 122 (1) bestimmt, dass ein erweiterter Oberkörper-Begrenzungskasten mit einem Fahrzeug-Begrenzungskasten überlappt, fährt das Verfahren mit Block 312 fort. Andernfalls bestimmt das erste Verifikationsmodul 122, dass die Detektion des teilweise verdeckten Fußgängers durch den teilbasierte-Körperdetektor 110 nicht korrekt ist, und das Verfahren endet im Block 320.
Im Block 312 umfasst das Verfahren das Bestimmen des Abstands des Oberkörper-Begrenzungskastens von der Bildeingabevorrichtung. In einem Aspekt kann das erste Verifikationsmodul 122 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) den Abstand des Oberkörper-Begrenzungskastens von der Bildeingabevorrichtung 132 (1) bestimmen. In einem Aspekt kann der Ort der Bildeingabevorrichtung 132 (1) durch [0,0,0]^T gegeben sein, und die intrinsischen Parameter der Bildeingabevorrichtung 132 ( 1) können gegeben sein durch: $K = [\begin{matrix} f_{x} & 0 & o_{x} \\ 0 & f_{y} & o_{y} \end{matrix}]$
wobei f_x und f_y die Brennweiten und o_x und o_y die Hauptpunktverschiebungen der Bildeingabevorrichtung sind. Darüber hinaus kann die Basis der Grundebene G geschätzt und als g₀ ∈ ℝ und g₁ ∈ ℝ ausgedrückt werden. Hier kann ein Punkt auf der Grundebene G der Bedingung n_xX + n_yY + n_zZ + b = 0 befolgen, wobei die Normale der Grundebene G durch [n_x, n_y, n_z] = g₀ × g₁ gegeben ist. Dementsprechend können die dreidimensionalen (3-D) Koordinaten eines Pixels (p, q) ∈ Λ auf der Grundebene G berechnet werden durch: $ϕ (p, q) = [\frac{(p - o_{x})}{f_{x}} Z_{p q}, \frac{(q - o_{y})}{f_{y}} Z_{p q,} Z_{p q}]$
wobei $Z_{p q} = \frac{- b}{n_{x} \frac{(p - o_{x})}{f_{x}} + n_{y} \frac{(p - o_{y})}{f_{y}} + n_{z}}$
Für ein detektiertes Objekt kann angenommen werden, dass der Mittelpunkt des Bodens eines Detektionsfensters des Objekts der Punkt ist, an dem das detektierte Objekt die Grundebene G berührt. Zum Beispiel ist bei einem Detektionsfenster d = [x,y,w,h] der Ort, an dem das Objekt die Grundebene G berührt, durch $(x + \frac{w}{2}, y + h)$
gegeben. In diesem Beispiel sind die 3D-Koordinaten des Punktes, an dem das detektierte Objekt die Grundebene G berührt, durch $ϕ (x + \frac{w}{2}, y + h)$
gemäß den obigen Gleichungen (2) und (3) gegeben. Der Einfachheit halber kann der Punkt, an dem das detektierte Objekt die Grundebene G berührt, alternativ als ϕ(d) ausgedrückt werden. Basierend auf dem Ort, an dem das teilweise verdeckte Objekt (z. B. der teilweise verdeckte Fußgänger) die Grundebene G berührt, kann das erste Verifikationsmodul 122 (1) den Abstand des teilweise verdeckten Objekts von der Bildeingabevorrichtung 132 (1) bestimmen. In einem Aspekt kann das erste Verifikationsmodul 122 (1) den Abstand des teilweise verdeckten Objekts von der Bildeingabevorrichtung 142 (1) durch Berechnen einer Norm eines 3D-Vektors bestimmen, der in Bezug auf den Ort der Bildeingabevorrichtung 132 ( 1) die Position des Ortes darstellt, an dem das teilweise verdeckte Objekt die Grundebene G berührt. Zum Beispiel kann das erste Verifikationsmodul 122 (1) den Abstand des erweiterten Oberkörper-Begrenzungskastens ũ_i von der Bildeingabevorrichtung 132 (1) durch Berechnen des Wertes von ||ϕ(ũ_i)|| bestimmen, wobei ϕ(ũ_i) durch die obigen Gleichungen (2) und (3) gegeben ist und wobei ${\tilde{u}}_{i} = [u_{i}^{x}, u_{i}^{y}, u_{i}^{w}, σ u_{i}^{h}]$
ist.
Unter erneuter Bezugnahme auf das Verfahren von 3 umfasst das Verfahren im Block 314 das Bestimmen des Abstands eines Fahrzeug-Begrenzungskastens von einer Bildeingabevorrichtung. In einem Aspekt kann das erste Verifikationsmodul 122 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) den Abstand des Fahrzeug-Begrenzungskastens c_j von der Bildeingabevorrichtung 142 (1) bestimmen. Wie oben in Bezug auf Block 312 beschrieben, kann das erste Verifikationsmodul 122 (1) den Abstand des Fahrzeug-Begrenzungskastens c_j von der Bildeingabevorrichtung 142 (1) durch Berechnen des Werts von ||ϕ(c_j)|| bestimmen.
Im Block 316 umfasst das Verfahren das Bestimmen, ob ein Fahrzeug-Begrenzungskasten näher an einer Bildeingabevorrichtung liegt als ein erweiterter Oberkörper-Begrenzungskasten oder nicht. In einem Aspekt kann das erste Verifikationsmodul 122 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) bestimmen, dass der Fahrzeug-Begrenzungskastens c_j näher an der Eingabebildvorrichtung 132 (1) liegt als der Oberkörper-Begrenzungskasten c_j, wenn die folgende Bedingung erfüllt ist: $‖ ϕ ({\tilde{u}}_{i}) ‖ > ‖ ϕ (c_{j}) ‖,$
wobei ϕ(ũ_i) und ϕ(c_j) gemäß den Gleichungen (2) und (3) berechnet werden können. Wenn das erste Verifikationsmodul 122 (1) bestimmt, dass der Fahrzeug-Begrenzungskasten c_j näher an der Bildeingabevorrichtung 142 (1) liegt als der Oberkörper-Begrenzungskasten ũ_i, dann verifiziert das erste Verifikationsmodul 122 (1) im Block 318, dass die Detektion des teilweise verdeckten Fußgängers durch den teilbasierten Körperdetektor 110 (1) korrekt ist. Andernfalls bestimmt das erste Verifikationsmodul 122 (1) im Block 320, dass die Detektion des teilweise verdeckten Fußgängers durch den teilbasierten Körperdetektor 110 (1) nicht korrekt ist.
Bezugnehmend auf 4 wird ein Verfahren zum Verifizieren der Detektion von teilweise verdeckten Objekten zusätzlich zu (oder als Alternative zu) dem Verfahren von 3 diskutiert. Zum Beispiel kann das Verfahren von 4 als ein zusätzliches Verifikationsverfahren verwendet werden, welches vor oder nach dem Verfahren von 3 durchgeführt wird. Das Verfahren von 4 kann auch als eine Alternative zu dem Verfahren von 3 verwendet werden, wenn z. B. der Objektdetektor 112 (1) ein Fahrzeug-Detektionsfenster nicht identifizieren kann, weil das Eingangsbild ein abgeschnittenes Bild des Fahrzeugs umfasst und/oder der Objektdetektor 112 (1) nicht trainiert ist, diese Klasse von Objekten (z. B. Fahrzeuge) zu detektieren. 4 wird unter Bezugnahme auf die Komponenten von 1 und 2 beschrieben. Zusätzlich werden die Verfahren unter Bezugnahme auf Algorithmen beschrieben, die auch mit dem System, welches oben unter Bezugnahme auf 1 beschrieben ist, und anderen Systemen und Verfahren implementiert werden können.
Blöcke 402, 404 und 406 von 4 entsprechen jeweils den Blöcken 302, 304 und 306, die oben in Bezug auf 3 beschrieben werden. In einem Aspekt können die Blöcke 402, 404 und 406 durch das erste Verifikationsmodul 122 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) und/oder durch das zweite Verifikationsmodul 124 (z.B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) durchgeführt werden.
Im Block 408 umfasst das Verfahren von 4 ferner das Bestimmen eines Abstands eines erweiterten Körperteil-Begrenzungskastens von einer Bildeingabevorrichtung. In einem Aspekt kann das zweite Verifikationsmodul 124 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) den Abstand des erweiterten Oberkörper-Begrenzungskastens ũ_i von der Bildeingabevorrichtung 132 (1) bestimmen. Der Abstand des erweiterten Oberkörper-Begrenzungskastens ũ_i von der Bildeingabevorrichtung 132 (1) kann durch ||ϕ(ũ_i)|| gegeben sein, wobei ϕ(ũ_i) durch das zweite Verifikationsmodul 124 gemäß den obigen Gleichungen (2) und (3) berechnet wird.
Im Block 410 umfasst das Verfahren das Durchführen einer Tiefenerfassung, um einen Abstand eines verdeckenden Objekts von einer Bildeingabevorrichtung zu messen. In einem Aspekt kann der Tiefensensor 142 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) eine Tiefenerfassung durchführen, um den Abstand eines verdeckenden Objekts (z. B. eines Fahrzeugs) von der Bildeingabevorrichtung 132 zu messen (1). Der Tiefensensor 142 (1) kann ein LIDAR-Sensor, eine Stereokamera und/oder ein RADAR-Sensor, der eine Punktwolke einer Szene erzeugt, sein oder einen solchen umfassen, ohne jedoch darauf beschränkt zu sein. In einem Aspekt kann der Tiefensensor 142 (1) die Tiefenerfassung gleichzeitig oder ungefähr zur gleichen Zeit durchführen, zu der die Bildeingabevorrichtung 132 (1) das Eingabebild I erfasst. Während der Tiefenerfassung, z. B. über LIDARs, werden Reflexionen von jedem Objekt in einer Szene als ein Abtastpunkt als Teil einer Punktwolke zurückgegeben, wobei ein separater Abtastpunkt beispielsweise für jedes ${\frac{1}{2}}^{°}$
über das Sichtfeld des Tiefensensors vorgesehen ist. Der Tiefensensor kann dann basierend auf der zurückgegebenen Punktwolke einen Satz von Tiefenmessungen für jedes Objekt in der Szene berechnen. In einem Aspekt kann der Satz von Tiefenmessungen, der durch den Tiefensensor 142 berechnet wird, als ${s_{j}}_{j = 1}^{S}$
ausgedrückt werden, wobei s_j ∈ ℝ³ ist.
In einem Aspekt kann das zweite Verifikationsmodul 124 (z. B. in Verbindung mit dem Tiefensensor 142, dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) einen Teilsatz des Satzes von Tiefenmessungen S auswählen, die durch den Tiefensensor 142 in der Richtung eines erweiterten Körperteil-Begrenzungskastens gemessen werden. In einem Aspekt kann das zweite Verifikationsmodul 142 einen Teilsatz des Satzes von Tiefenmessungen S auswählen, die in der Richtung des erweiterten Oberkörper-Begrenzungskastens ũ_i gemessen werden. Zum Beispiel kann das zweite Verifikationsmodul 124 den Satz von Tiefenmessungen auswählen, die der LIDAR-Punktwolke 212 entsprechen, die durch das Fahrzeug in der Nähe des erweiterten Oberkörper-Begrenzungskastens 206 reflektiert wird, wie in 2 gezeigt. Der ausgewählte Teilsatz S_u
i ⊂ S kann ausgedrückt werden als: $S_{u_{i}} = {s_{j} | s_{j} \in S and α ({\tilde{u}}_{i}^{L}, g_{0}) \leq α (p r o j_{G} (s_{j}), g_{0}) \leq α ({\tilde{u}}_{i}^{R}, g_{0})}$
wobei α den Winkel zwischen den dreidimensionalen Koordinaten der unteren linken Ecke ${\tilde{u}}_{i}^{L} = \emptyset ({\tilde{u}}_{i}^{x}, {\tilde{u}}_{i}^{y} + {\tilde{u}}_{i}^{h})$
und der unteren rechten Ecke ${\tilde{u}}_{i}^{L} = \emptyset ({\tilde{u}}_{i}^{x} + {\tilde{u}}_{i}^{w}, {\tilde{u}}_{i}^{y} + {\tilde{u}}_{i}^{h})$
des erweiterten Oberkörper-Begrenzungskastens ũ_i darstellt, und proj_G(s) die Projektion des Punktes s auf die Grundebene G darstellt. Ferner kann ein Teilsatz von Punkten, die mit einem Objekt assoziiert sind, das an der Bildeingabevorrichtung 142 (1) am nächsten liegt, durch das zweite Verifikationsmodul 124 (1) ausgewählt werden, da ein verdeckendes Objekt ein näheres oder das der Bildeingabevorrichtung 132 (1) am nächsten liegendes Objekt sein kann. Das heißt, das zweite Verifikationsmodul 124 kann den ausgewählten Teilsatz S_u
i in einen Satz von disjunkten Teilsätzen wie $S_{u_{i}} = U_{i = n}^{N} S_{u_{n}}$
partitionieren, wobei die Punkte in einem disjunkten Untersatz gruppiert werden können, wenn der Abstand zwischen benachbarten Punkten kleiner als ein Schwellenwert (z. B. 1 Meter) ist. In einem Aspekt messt das zweite Verifikationsmodul 124 den Abstand des verdeckenden Objekts (hier auch austauschbar als „Verdeckungsobjekt“ bezeichnet) von der Bildeingabevorrichtung 132 (1) basierend auf dem ausgewählten Teilsatz S_u
i von Tiefenmessungen. Das heißt, das zweite Verifikationsmodul 124 kann den Abstand des verdeckenden Objekts von der Bildeingabevorrichtung 132 (1) messen, indem es den Wert von: ${min}_{n} {‖ a v g (S_{u_{i}}^{n}) ‖ | 1 \leq n \leq N},$
berechnet, wobei avg(.) den Mittelpunkt in einer Punktwolke darstellt und ${min}_{n} {‖ a v g (S_{u_{i}}^{n}) ‖ | 1 \leq n \leq N}$
die Tiefe des Objekts darstellt, das in der Richtung des erweiterten Oberkörper-Begrenzungskastens ũ_i der Bildeingabevorrichtung am nächsten liegt.
Unter erneuter Bezugnahme auf das Verfahren von 4 umfasst das Verfahren im Block 412 das Bestimmen, ob ein verdeckendes Objekt näher an einer Bildeingabevorrichtung liegt als ein erweiterter Körperteil-Begrenzungskasten oder nicht. In einem Aspekt kann das zweite Verifikationsmodul 124 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) bestimmen, ob das verdeckende Objekt näher an der Bildeingabevorrichtung 132 (1) liegt als der erweiterte Oberkörper-Begrenzungskasten ũ_i oder nicht. Das zweite Verifikationsmodul 124 bestimmt, dass das verdeckende Objekt näher an der Bildeingabevorrichtung 132 (1) liegt als der erweiterte Oberkörper-Begrenzungskasten ũ_i, wenn die folgende Bedingung erfüllt ist: ${min}_{n} {‖ a v g (S_{u_{i}}^{n}) ‖ | 1 \leq n \leq N} < ‖ ϕ ({\tilde{u}}_{i}) ‖,$
wobei avg(.) den Mittelpunkt in einer Punktwolke darstellt. Wenn das zweite Verifikationsmodul 124 gemäß der Gleichung (7) bestimmt, dass das verdeckende Objekt näher an der Bildeingabevorrichtung 132 (1) liegt als der erweiterte Oberkörper-Begrenzungskasten ũ_i, dann wird die Detektion des teilweise verdeckten Objekts durch den teilbasierten Körperdetektor 110 (1) im Block 414 als korrekt verifiziert. Ansonsten wird die Detektion des teilweise verdeckten Objekts durch den teilbasierten Körperdetektor 110 (1) im Block 416 als falsch bestimmt.
Es ist zu beachten, dass die Verfahren zum Verifizieren der Detektion von teilweise verdeckten Objekten, wie oben in Bezug auf 3 und 4 diskutiert, zusammen implementiert werden können, oder getrennt implementiert werden können. Wenn beispielsweise die Verfahren von 3 und 4 zusammen implementiert werden, kann die Detektion eines teilweise verdeckten Objekts verifiziert werden, wenn mindestens eines von dem ersten Verifikationsmodul 122 oder dem zweiten Verifikationsmodul 124 (z. B. in Verbindung mit dem Prozessor 120 und/oder dem Speicher 106, wie in 1 gezeigt) verifiziert, dass die Detektion des teilweise verdeckten Objekts korrekt ist.
Gemäß verschiedenen Aspekten der vorliegenden Offenbarung kann die Detektion und Verifizieren von teilweise verdeckten Objekten (z. B. teilweise verdeckten Fußgängern) in einer Fahrszene an Fahrzeugsysteme 130 (z. B. ADAS) übertragen und von diesen verwendet werden, um verschiedene Fahrzeugsysteme einzustellen und/oder andere Maßnahmen entsprechend zu ergreifen.
Die Aspekte der hier diskutierten Offenbarung können auch im Kontext eines nichttransitorischen computerlesbaren Speichermediums, das computerausführbare Anweisungen speichert, beschrieben und implementiert werden. Nicht-transitorische computerlesbare Speichermedien umfassen Computerspeichermedien und Kommunikationsmedien, z. B. Flash-Speicherlaufwerke, Digital Versatile Discs (DVDs), Compact Discs (CDs), Disketten und Bandkassetten. Nicht-transitorische computerlesbare Speichermedien können flüchtige und nichtflüchtige, entfernbare und nicht entfernbare Medien umfassen, die in einem beliebigen Verfahren oder einer beliebigen Technologie zum Speichern von Informationen wie computerlesbaren Anweisungen, Datenstrukturen, Modulen oder anderen Daten implementiert sind. Nicht-transitorische computerlesbare Speichermedien schließen transitorische und propagierte Datensignale aus.
Es ist zu beachten, dass verschiedene Implementierungen der oben offenbarten und anderen Merkmale und Funktionen oder Alternativen oder Varianten davon wünschenswerterweise zu vielen anderen unterschiedlichen Systemen oder Anwendungen kombiniert werden können. Auch können verschiedene derzeit unvorhergesehene oder unerwartete Alternativen, Modifikationen, Variationen oder Verbesserungen davon von Fachleuten vorgenommen werden, welche ebenfalls von den folgenden Ansprüchen umfasst sein sollen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 15015033 [0001]
US 14641506 [0027]

Claims

Verfahren zum Verifizieren einer Detektion eines ersten Objekts, welches teilweise durch ein zweites Objekt relativ zu einem Fahrzeug verdeckt ist, wobei das Verfahren umfasst: Empfangen von Bildinformationen über eine Bildeingabevorrichtung; Bestimmen eines ersten Detektionsfensters, welches ein erstes Bild in den Bildinformationen begrenzt, welche dem ersten Objekt entsprechen; Bestimmen eines zweiten Detektionsfensters, welches ein zweites Bild in den Bildinformationen begrenzt, welche dem zweiten Objekt entsprechen; Bestimmen, ob das erste Fenster und das zweite Fenster sich überlappen; Bestimmen eines ersten Abstands zu dem ersten Detektionsfenster und eines zweiten Abstands zu dem zweiten Detektionsfenster; Vergleichen des ersten Abstands mit dem zweiten Abstand; und Verifizieren, dass das erste Objekt teilweise durch das zweite Objekt verdeckt ist, wenn der erste Abstand größer als der zweite Abstand ist.
Verfahren nach Anspruch 1, wobei das Verifizieren, dass das erste Objekt teilweise durch das zweite Objekt verdeckt ist, ferner umfasst: Empfangen einer Eingabe von einem Tiefensensor, wobei die Tiefensensoreingabe einem gemessenen Abstand zwischen dem Tiefensensor und dem zweiten Objekt entspricht; Vergleichen des ersten Abstands mit dem gemessenen Abstand; und Verifizieren, dass der erste Abstand größer als der gemessene Abstand ist.
Verfahren nach Anspruch 1, wobei das erste Objekt ein Mensch ist.
Verfahren nach Anspruch 1, wobei das erste Objekt aus einer Gruppe ausgewählt ist, welche aus einem Menschen, einem Fahrrad, einem Motorrad und einem Tier besteht.
Verfahren nach Anspruch 1, wobei die Bildeingabevorrichtung eine Kamera ist.
Verfahren nach Anspruch 5, wobei die Kamera an dem Fahrzeug montiert ist.
Verfahren nach Anspruch 1, wobei das Bestimmen, ob sich das erste Fenster und das zweite Fenster überlappen, umfasst: Bestimmen, ob das erste Bild ein Teilbild ist.
Verfahren nach Anspruch 7, wobei das erste Bild ein Mensch ist und wobei das Bestimmen, ob das erste Bild ein Teilbild ist, umfasst: Anwenden menschlicher Erkennung auf mindestens einen Teil des ersten Bildes.
Verfahren nach Anspruch 2, wobei der Tiefensensor aus einer Gruppe ausgewählt ist, welche aus einer LIDAR-Vorrichtung, einer RADAR-Vorrichtung und einem Stereokamerasystem besteht.
Verfahren zum Verifizieren einer Detektion eines ersten Objekts, welches teilweise durch ein zweites Objekt relativ zu einem Fahrzeug verdeckt ist, wobei das Verfahren umfasst: Empfangen von Bildinformationen über eine Bildeingabevorrichtung; Bestimmen eines ersten Detektionsfensters, welches ein erstes Bild in den Bildinformationen begrenzt, welche dem ersten Objekt entsprechen; Bestimmen eines zweiten Detektionsfensters, welches ein zweites Bild in den Bildinformationen begrenzt, welche dem zweiten Objekt entsprechen; Bestimmen, ob das erste Fenster und das zweite Fenster sich überlappen; Bestimmen eines ersten Abstands zu dem ersten Detektionsfenster; Empfangen einer Eingabe von einem Tiefensensor, wobei die Tiefensensoreingabe einem gemessenen Abstand zwischen dem Tiefensensor und dem zweiten Objekt entspricht; Vergleichen des ersten Abstands mit dem gemessenen Abstand; und Verifizieren, dass das erste Objekt teilweise durch das zweite Objekt verdeckt ist, wenn der erste Abstand größer als der gemessene Abstand ist.
System zum Verifizieren einer Detektion eines ersten Objekts, welches teilweise durch ein zweites Objekt relativ zu einem Fahrzeug verdeckt ist, wobei das System umfasst: eine Bildeingabevorrichtung zum Empfangen von Bildinformationen; einen Objektdetektor zum Bestimmen eines ersten Detektionsfensters, welches ein erstes Bild in den Bildinformationen begrenzt, welche dem ersten Objekt entsprechen, und eines zweiten Detektionsfensters, welches ein zweites Bild in den Bildinformationen begrenzt, welche dem zweiten Objekt entsprechen; und einen Prozessor, welcher zur Computerkommunikation operativ mit der Bildeingabevorrichtung und dem Objektdetektor verbunden ist, wobei der Prozessor eingerichtet ist, um: zu bestimmen, ob das erste Detektionsfenster und das zweite Detektionsfenster sich überlappen; einen ersten Abstand zu dem ersten Objekt zu bestimmen und einen zweiten Abstand zu dem zweiten Objekt zu bestimmen, wenn das erste und das zweite Erfassungsfenster sich überlappen; zu verifizieren, dass das erste Objekt teilweise verdeckt ist, wenn der erste Abstand größer als der zweite Abstand ist.
System nach Anspruch 11, wobei, dass der Prozessor dazu eingerichtet ist, einen ersten Abstand zu dem ersten Objekt zu bestimmen und einen zweiten Abstand zu dem zweiten Objekt zu bestimmen, umfasst: Bestimmen eines ersten Abstands zu dem ersten Objekt unter Verwendung der empfangenen Bildinformationen und Standortinformationen für das erste Detektionsfenster.
System nach Anspruch 12, wobei, dass der Prozessor dazu eingerichtet ist, einen ersten Abstand zu dem ersten Objekt zu bestimmen und einen zweiten Abstand zu dem zweiten Objekt zu bestimmen, umfasst: Bestimmen eines zweiten Abstands zu dem zweiten Objekt unter Verwendung der empfangenen Bildinformationen und Standortinformationen für das zweite Detektionsfenster.
System nach Anspruch 12, ferner umfassend: einen Tiefensensor; wobei, dass der Prozessor dazu eingerichtet ist, einen ersten Abstand zu dem ersten Objekt zu bestimmen und einen zweiten Abstand zu dem zweiten Objekt zu bestimmen, umfasst: Empfangen einer Tiefensensoreingabe, welche als der zweite Abstand dem Abstand zwischen dem Tiefensensor und dem zweiten Objekt entspricht.
System nach Anspruch 11, wobei das erste Objekt ein Mensch ist.
System nach Anspruch 11, wobei die Bildeingabevorrichtung eine Kamera ist.
System nach Anspruch 16, wobei die Kamera an dem Fahrzeug montiert ist.
System nach Anspruch 11, wobei das Bestimmen, ob das erste Fenster und das zweite Fenster sich überlappen, umfasst: Bestimmen, ob das erste Bild ein Teilbild ist.
System nach Anspruch 18, wobei das erste Bild ein Mensch ist und wobei das Bestimmen, ob das erste Bild ein Teilbild ist, umfasst: Anwenden menschlicher Erkennung auf mindestens einen Teil des ersten Bildes.
System nach Anspruch 14, wobei der Tiefensensor aus einer Gruppe ausgewählt ist, welche aus einer LIDAR-Vorrichtung, einer RADAR-Vorrichtung und einem Stereokamerasystem besteht.