DE112021002953T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm - Google Patents

Abstract

Die vorliegende Technologie betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, mit denen sich der Abstand zu einem Objekt genauer ermitteln lässt.Eine Extraktionseinheit extrahiert auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter durch einen Entfernungsmesssensor erhaltenen Sensordaten. Die vorliegende Technologie kann beispielsweise auf eine Auswertevorrichtung für Abstandsinformationen angewendet werden.

Description

• TECHNISCHES GEBIET
• Die vorliegende Technologie betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm und betrifft insbesondere eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die in der Lage sind, einen Abstand zu einem Objekt genauer zu ermitteln.
• STAND DER TECHNIK
• Patentdokument 1 offenbart eine Technologie zum Erzeugen von Entfernungsmessinformationen für ein Objekt auf Grundlage eines Entfernungsmesspunkts in einer Entfernungsmesspunkt-Anordnungsregion, der in einer Objektregion festgelegt ist, bei einer Abstandsmessung unter Verwendung eines Stereobilds.
• LISTE BEKANNTER SCHRIFTEN
• PATENTDOKUMENT
• Patentdokument 1: Internationale Veröffentlichung mit der Nr. 2020/017172
• KURZDARSTELLUNG DER ERFINDUNG
• DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
• Es besteht jedoch die Möglichkeit, dass der genaue Abstand zu einem Objekt abhängig vom Zustand des in dem Bild erkannten Objekts nicht allein unter Verwendung des in der Objektregion festgelegten Entfernungsmesspunkts ermittelt werden kann.
• Die vorliegende Technologie wurde im Hinblick auf eine solche Situation entwickelt und ermöglicht es, den Abstand zu einem Objekt genauer zu ermitteln.
• LÖSUNGEN DER PROBLEME
• Eine Informationsverarbeitungseinrichtung der vorliegenden Technologie ist eine Informationsverarbeitungseinrichtung, die eine Extraktionseinheit umfasst, die auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
• Ein Informationsverarbeitungsverfahren der vorliegenden Technologie ist ein Informationsverarbeitungsverfahren, bei dem eine Informationsverarbeitungseinrichtung auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
• Ein Programm der vorliegenden Technologie ist ein Programm zum Veranlassen eines Computers zum Ausführen einer Verarbeitung zum Extrahieren, auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts, von Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten.
• In der vorliegenden Technologie werden auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
• Figurenliste
• 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Fahrzeugsteuersystems veranschaulicht.
• 2 ist eine Ansicht, die ein Beispiel einer Erfassungsregion veranschaulicht.
• 3 ist eine Ansicht, die die Auswertung von Abstandsinformationen eines Erkennungssystems veranschaulicht.
• 4 ist ein Blockdiagramm, das eine Konfiguration einer Auswertungseinrichtung veranschaulicht.
• 5 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 6 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 7 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 8 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 9 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 10 ist eine Ansicht zur Erläuterung eines Beispiels einer Punktwolkendatenextraktion.
• 11 ist ein Flussdiagramm, das die Auswertungsverarbeitung von Abstandsinformationen erläutert.
• 12 ist ein Flussdiagramm, das die Extraktionsbedingungseinstellungsverarbeitung für Punktwolkendaten erläutert.
• 13 ist ein Flussdiagramm, das die Extraktionsbedingungseinstellungsverarbeitung für Punktwolkendaten erläutert.
• 14 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 15 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 16 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 17 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 18 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 19 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 20 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 21 ist eine Ansicht, die eine Modifikation der Punktwolkendatenextraktion erläutert.
• 22 ist ein Blockdiagramm, das eine Konfiguration einer Informationsverarbeitungseinrichtung veranschaulicht.
• 23 ist ein Flussdiagramm, das die Entfernungsmessverarbeitung eines Objekts erläutert.
• 24 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Computers veranschaulicht.
• AUSFÜHRUNGSMODUS DER ERFINDUNG
• Modi zum Ausführen der vorliegenden Technologie (im Folgenden Ausführungsformen) werden nachstehend beschrieben. Es sei angemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
1. 1. Konfigurationsbeispiel des Fahrzeugsteuersystems
2. 2. Auswertung der Abstandsinformationen des Erkennungssystems
3. 3. Konfiguration und Betrieb der Auswertungseinrichtung
4. 4. Modifikation der Punktwolkendatenextraktion
5. 5. Konfiguration und Betrieb der Informationsverarbeitungseinrichtung
6. 6. Konfigurationsbeispiel eines Computers
• <1. Konfigurationsbeispiel des
• Fahrzeugsteuersystems>
• 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Fahrzeugsteuersystems 11 zeigt, das ein Beispiel für ein Mobileinrichtungssteuersystem ist, auf das die vorliegende Technologie angewendet wird.
• Das Fahrzeugsteuersystem 11 ist in einem Fahrzeug 1 bereitgestellt und führt eine Verarbeitung in Bezug auf Fahrassistenz und automatisiertes Fahren des Fahrzeugs 1 durch.
• Das Fahrzeugsteuersystem 11 weist einen Prozessor 21, eine Kommunikationseinheit 22, eine Karteninformationsakkumulationseinheit 23, eine GNSS-Empfangseinheit 24 (GNSS: Globales Navigationssatellitensystem), einen externen Erkennungssensor 25, einen fahrzeuginternen Sensor 26, einen Fahrzeugsensor 27, eine Aufzeichnungseinheit 28, eine Steuereinheit 29 für Fahrassistenz/automatisiertes Fahren, ein Fahrerüberwachungssystem (DMS) 30, eine Mensch-Maschine-Schnittstelle (HMI) 31 und eine Fahrzeugsteuereinheit 32 auf.
• Der Prozessor 21, die Kommunikationseinheit 22, die Karteninformationsakkumulationseinheit 23, die GNSS-Empfangseinheit 24, der externe Erkennungssensor 25, der fahrzeuginterne Sensor 26, der Fahrzeugsensor 27, die Aufzeichnungseinheit 28, die Steuereinheit 29 für Fahrassistenz/automatisiertes Fahren, das Fahrerüberwachungssystem (DMS) 30, die Mensch-Maschine-Schnittstelle (HMI) 31 und die Fahrzeugsteuereinheit 32 sind über ein Kommunikationsnetzwerk 41 miteinander verbunden. Das Kommunikationsnetzwerk 41 umfasst zum Beispiel ein fahrzeuginternes Kommunikationsnetzwerk, das einem beliebigen Standard entspricht, wie etwa ein Controller Area Network (CAN), ein Local Interconnect Network (LIN), ein Local Area Network (LAN), FlexRay (eingetragenes Markenzeichen) oder Ethernet (eingetragenes Markenzeichen), einen Bus und dergleichen. Es sei angemerkt, dass es einen Fall gibt, in dem jede Einheit des Fahrzeugsteuersystems 11 beispielsweise direkt durch Nahfeldkommunikation (NFC), Bluetooth (eingetragenes Markenzeichen) und dergleichen ohne über das Kommunikationsnetzwerk 41 verbunden ist.
• Es sei angemerkt, dass im Folgenden in einem Fall, in dem jede Einheit des Fahrzeugsteuersystems 11 eine Kommunikation über das Kommunikationsnetzwerk 41 durchführt, eine Beschreibung des Kommunikationsnetzwerks 41 weggelassen wird. Beispielsweise wird in einem Fall, in dem der Prozessor 21 und die Kommunikationseinheit 22 eine Kommunikation über das Kommunikationsnetzwerk 41 durchführen, einfach beschrieben, dass der Prozessor 21 und die Kommunikationseinheit 22 eine Kommunikation durchführen.
• Der Prozessor 21 umfasst verschiedene Prozessoren, wie etwa eine zentrale Verarbeitungseinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und eine elektronische Steuereinheit (ECU). Der Prozessor 21 steuert das gesamte Fahrzeugsteuersystem 11.
• Die Kommunikationseinheit 22 kommuniziert mit verschiedenen Geräten innerhalb und außerhalb des Fahrzeugs, anderen Fahrzeugen, Servern, Basisstationen und dergleichen und sendet und empfängt verschiedene Daten. Als Kommunikation mit der äußeren Umgebung des Fahrzeugs empfängt die Kommunikationseinheit 22 beispielsweise von außen ein Programm zum Aktualisieren von Software zum Steuern des Betriebs des Fahrzeugsteuersystems 11, Karteninformationen, Verkehrsinformationen, Informationen im Umfeld des Fahrzeugs 1 und dergleichen. Beispielsweise überträgt die Kommunikationseinheit 22 nach außen Informationen bezüglich des Fahrzeugs 1 (beispielsweise Daten, die einen Zustand des Fahrzeugs 1 angeben, ein Erkennungsergebnis durch eine Erkennungseinheit 73 und dergleichen), Informationen im Umfeld des Fahrzeugs 1 und dergleichen. Beispielsweise führt die Kommunikationseinheit 22 eine Kommunikation durch, die einem Fahrzeug-Notrufsystem wie einem eCall entspricht.
• Es sei angemerkt, dass das Kommunikationsverfahren der Kommunikationseinheit 22 nicht speziell beschränkt ist. Des Weiteren können mehrere Kommunikationsverfahren verwendet werden.
• Als Kommunikation mit dem Innenraum des Fahrzeugs führt die Kommunikationseinheit 22 beispielsweise eine drahtlose Kommunikation mit fahrzeuginternen Geräten durch ein Kommunikationsverfahren wie drahtloses LAN, Bluetooth, NFC oder drahtloses USB (WUSB) durch. Beispielsweise führt die Kommunikationseinheit 22 eine drahtgebundene Kommunikation mit fahrzeuginternen Geräten durch ein Kommunikationsverfahren wie Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI, eingetragenes Markenzeichen) oder Mobile High-Definition Link (MHL) über einen nicht veranschaulichten Verbindungsanschluss (und gegebenenfalls ein Kabel) durch.
• Hier handelt es sich bei den fahrzeuginternen Geräten beispielsweise um Geräte, die nicht mit dem Kommunikationsnetzwerk 41 in dem Fahrzeug verbunden sind. Zum Beispiel werden mobile Geräte oder Wearable-Geräte, die von einem Insassen wie einem Fahrer mitgeführt werden, Informationsgeräte, die in das Fahrzeug gebracht und vorübergehend installiert werden, und dergleichen angenommen.
• Beispielsweise kommuniziert die Kommunikationseinheit 22 über eine Basisstation oder einen Zugangspunkt durch ein Drahtloskommunikationsverfahren wie das Mobilkommunikationssystem der vierten Generation (4G), das Mobilkommunikationssystem der fünften Generation (5G), Long Term Evolution (LTE) oder Dedicated Short Range Communications (DSRC) mit einem in einem externen Netzwerk (beispielsweise dem Internet, einem Cloud-Netzwerk oder einem unternehmensspezifischen Netzwerk) vorhandenen Server und dergleichen.
• Beispielsweise kommuniziert die Kommunikationseinheit 22 mit einem Endgerät (z. B. einem Endgerät eines Fußgängers oder eines Geschäfts oder einem MTC-Endgerät (Machine Type Communication - Maschinentypkommunikation)), das in der Nähe des betreffenden Fahrzeugs vorhanden ist, unter Verwendung einer Peer-zu-Peer(P2P)-Technologie. Beispielsweise führt die Kommunikationseinheit 22 eine V2X-Kommunikation durch. Die V2X-Kommunikation ist beispielsweise eine Fahrzeug-zu-Fahrzeug-Kommunikation mit einem anderen Fahrzeug, eine Fahrzeug-zu-Infrastruktur-Kommunikation mit einer Straßenrandvorrichtung und dergleichen, eine Fahrzeug-zu-Haus-Kommunikation, eine Fahrzeug-zu-Fußgänger-Kommunikation mit einem Endgerät und dergleichen, das ein Fußgänger mitführt, und dergleichen.
• Beispielsweise empfängt die Kommunikationseinheit 22 eine elektromagnetische Welle, die durch ein Vehicle Information and Communication System (VICS, eingetragenes Markenzeichen) übertragen wird, wie etwa eine Funkwellenbake, eine optische Bake oder FM-Multiplex-Rundfunk.
• Die Karteninformationsakkumulationseinheit 23 akkumuliert eine von außen erworbene Karte und eine durch das Fahrzeug 1 erstellte Karte. Beispielsweise akkumuliert die Karteninformationsakkumulationseinheit 23 eine dreidimensionale hochgenaue Karte, eine globale Karte, die eine geringere Genauigkeit als die hochgenaue Karte hat und einen großen Bereich abdeckt, und dergleichen.
• Die hochgenaue Karte ist beispielsweise eine dynamische Karte, eine Punktwolkenkarte, eine Vektorkarte (auch als Fahrerassistenzsystem(FAS)-Karte bezeichnet) und dergleichen. Die dynamische Karte ist beispielsweise eine Karte mit vier Schichten aus dynamischen Informationen, halbdynamischen Informationen, halbstatischen Informationen und statischen Informationen und wird von einem externen Server oder dergleichen bereitgestellt. Die Punktwolkenkarte ist eine Karte, die ein Punktwolken (Punktwolkendaten) umfasst. Die Vektorkarte ist eine Karte, in der Informationen wie eine Fahrspur und eine Position einer Ampel mit der Punktwolkenkarte assoziiert sind. Die Punktwolkenkarte und die Vektorkarte können beispielsweise von einem externen Server oder dergleichen bereitgestellt werden oder können durch das Fahrzeug 1 als eine Karte zum Durchführen eines Abgleichs mit einer später beschriebenen lokalen Karte auf Grundlage eines Erfassungsergebnisses durch ein Radar 52, ein LiDAR 53 und dergleichen erstellt werden und können in der Karteninformationsakkumulationseinheit 23 akkumuliert werden. Ferner werden in einem Fall, in dem die hochgenaue Karte von einem externen Server und dergleichen bereitgestellt wird, um die Kommunikationskapazität zu reduzieren, Kartendaten von beispielsweise mehreren hundert Quadratmetern bezüglich eines geplanten Pfads, auf dem das Fahrzeug 1 ab jetzt fährt, von dem Server und dergleichen erfasst.
• Die GNSS-Empfangseinheit 24 empfängt ein GNSS-Signal von einem GNSS-Satelliten und liefert das GNSS-Signal an die Steuereinheit 29 für Fahrassistenz/automatisiertes Fahren.
• Der externe Erkennungssensor 25 umfasst verschiedene Sensoren, die zur Erkennung einer Situation außerhalb des Fahrzeugs 1 verwendet werden, und liefert Sensordaten von jedem Sensor an jede Einheit des Fahrzeugsteuersystems 11. Die Art und Anzahl von in dem externen Erkennungssensor 25 enthaltenen Sensoren sind beliebig.
• Zum Beispiel umfasst der externe Erkennungssensor 25 eine Kamera 51, das Radar 52, die Lichtdetektion und Entfernungsmessung und Laserbildgebungsdetektion und Entfernungsmessung (LiDAR) 53 und einen Ultraschallsensor 54. Die Anzahl der Kamera 51, des Radars 52, des LiDAR 53 und des Ultraschallsensors 54 ist beliebig, und ein Beispiel einer Erfassungsregion jedes Sensors wird später beschrieben.
• Es sei angemerkt, dass als Kamera 51 zum Beispiel eine Kamera eines beliebigen Bildgebungssystems wie etwa eine Laufzeit(ToF)-Kamera, eine Stereokamera, eine Monokularkamera oder eine Infrarotkamera nach Bedarf verwendet wird.
• Ferner umfasst der externe Erkennungssensor 25 beispielsweise einen Umweltsensor zum Detektieren von Wetter, einem meteorologischen Phänomen, Helligkeit und dergleichen. Der Umweltsensor umfasst beispielsweise einen Regentropfensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor, einen Beleuchtungsstärkesensor und dergleichen.
• Darüber hinaus umfasst der externe Erkennungssensor 25 beispielsweise ein Mikrofon auf, das zur Detektion von Tönen im Umfeld des Fahrzeugs 1, einer Position einer Tonquelle und dergleichen verwendet wird.
• Der fahrzeuginterne Sensor 26 umfasst verschiedene Sensoren zum Detektieren von Informationen im Innenraum des Fahrzeugs und liefert Sensordaten von jedem Sensor an jede Einheit des Fahrzeugsteuersystems 11. Die Art und Anzahl von in dem fahrzeuginternen Sensor 26 enthaltenen Sensoren sind beliebig.
• Beispielsweise weist der fahrzeuginterne Sensor 26 eine Kamera, ein Radar, einen Sitzsensor, einen Lenkradsensor, ein Mikrofon, einen biologischen Sensor und dergleichen auf. Als Kamera kann beispielsweise eine Kamera eines beliebigen Bildgebungssystems wie etwa eine ToF-Kamera, eine Stereokamera, eine Monokularkameram, eine Infrarotkamera und dergleichen verwendet werden. Der biologische Sensor ist beispielsweise in einem Sitz, einem Lenkrad und dergleichen bereitgestellt und detektiert verschiedene Arten von biologischen Informationen eines Insassen, wie etwa eines Fahrers.
• Der Fahrzeugsensor 27 umfasst verschiedene Sensoren zum Detektieren eines Zustands des Fahrzeugs 1 und liefert Sensordaten von jedem Sensor an jede Einheit des Fahrzeugsteuersystems 11. Die Art und Anzahl von in dem Fahrzeugsensor 27 enthaltenen Sensoren sind beliebig.
• Beispielsweise umfasst der Fahrzeugsensor 27 einen Geschwindigkeitssensor, einen Beschleunigungssensor, einen Winkelgeschwindigkeitssensor (Gyrosensor) und eine inertiale Messeinheit (IMU). Beispielsweise umfasst der Fahrzeugsensor 27 einen Lenkwinkelsensor, der einen Lenkwinkel eines Lenkrads detektiert, einen Gierratensensor, einen Beschleunigungssensor, der ein Betätigungsausmaß eines Gaspedals detektiert, und einen Bremssensor, der ein Betätigungsausmaß eines Bremspedals detektiert. Beispielsweise umfasst der Fahrzeugsensor 27 einen Rotationssensor, der die Drehzahl der Kraftmaschine oder des Elektromotors detektiert, einen Luftdrucksensor, der den Luftdruck des Reifens detektiert, einen Schlupfratensensor, der die Schlupfrate des Reifens detektiert, und einen Raddrehzahlsensor, der die Drehzahl des Rads detektiert. Beispielsweise umfasst der Fahrzeugsensor 27 einen Batteriesensor, der eine verbleibende Menge und eine Temperatur der Batterie detektiert, und einen Aufprallsensor, der einen externen Aufprall detektiert.
• Die Aufzeichnungseinheit 28 umfasst beispielsweise einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (R_AM), eine magnetische Speicherungsvorrichtung wie ein Festplattenlaufwerk (HDD), eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung, eine magnetooptische Speicherungsvorrichtung und dergleichen. Die Aufzeichnungseinheit 28 zeichnet verschiedene Programme, Daten und dergleichen auf, die durch jede Einheit des Fahrzeugsteuersystems 11 verwendet werden. Beispielsweise zeichnet die Aufzeichnungseinheit 28 eine rosbag-Datei auf, die eine Nachricht umfasst, übertragen und empfangen durch ein Robot Operating System (ROS), in dem ein Anwendungsprogramm bezüglich automatisierten Fahrens arbeitet. Beispielsweise umfasst die Aufzeichnungseinheit 28 einen Event Data Recorder (EDR) und ein Data Storage System for Automated Driving (DSSAD) und zeichnet Informationen des Fahrzeugs 1 vor und nach einem Ereignis wie einem Unfall auf.
• Die Steuereinheit 29 für Fahrassistenz/automatisiertes Fahren steuert die Fahrassistenz und das automatisierte Fahren des Fahrzeugs 1. Zum Beispiel umfasst die Steuereinheit 29 für Fahrassistenz/automatisiertes Fahren eine Analyseeinheit 61, eine Verhaltensplanungseinheit 62 und eine Betriebssteuereinheit 63.
• Die Analyseeinheit 61 führt eine Analyseverarbeitung der Situation des Fahrzeugs 1 und der Umgebung durch. Die Analyseeinheit 61 umfasst eine Eigenpositionsschätzungseinheit 71, eine Sensorfusionseinheit 72 und eine Erkennungseinheit 73.
• Die Eigenpositionsschätzungseinheit 71 schätzt die Eigenposition des Fahrzeugs 1 auf Grundlage der Sensordaten von dem externen Erkennungssensor 25 und der in der Karteninformationsakkumulationseinheit 23 akkumulierten hochgenauen Karte. Beispielsweise erzeugt die Eigenpositionsschätzungseinheit 71 eine lokale Karte auf der Grundlage von Sensordaten von dem externen Erkennungssensor 25 und schätzt die Eigenposition des Fahrzeugs 1 durch Abgleichen der lokalen Karte mit der hochgenauen Karte. Die Position des Fahrzeugs 1 basiert beispielsweise auf dem Mittelpunkt einer Hinterradpaarachse.
• Die lokale Karte ist zum Beispiel eine dreidimensionale hochgenaue Karte, die unter Verwendung einer Technik wie etwa SLAM (Simultaneous Localization and Mapping - simultane Lokalisation und Kartenerstellung), einer Belegungsrasterkarte und dergleichen erstellt wurde. Die dreidimensionale hochgenaue Karte ist beispielsweise die oben beschriebene Punktwolkenkarte und dergleichen. Die Belegungsrasterkarte ist eine Karte, in der ein dreidimensionaler oder zweidimensionaler Raum im Umfeld des Fahrzeugs 1 in Raster einer vorbestimmten Größe unterteilt ist, um einen Belegungszustand eines Objekts in Einheiten von Raster anzugeben. Der Belegungszustand eines Objekts wird beispielsweise durch das Vorhandensein oder Nichtvorhandensein oder eine Existenzwahrscheinlichkeit des Objekts angegeben. Die lokale Karte wird beispielsweise auch zur Detektionsverarbeitung und Erkennungsverarbeitung einer Situation außerhalb des Fahrzeugs 1 durch die Erkennungseinheit 73 verwendet.
• Es sei angemerkt, dass die Eigenpositionsschätzungseinheit 71 die Eigenposition des Fahrzeugs 1 auf der Grundlage eines GNSS-Signals und von Sensordaten von dem Fahrzeugsensor 27 schätzen kann.
• Die Sensorfusionseinheit 72 führt eine Sensorfusionsverarbeitung zum Erhalten von neuen Informationen durch Kombinieren mehrerer verschiedener Arten von Sensordaten (zum Beispiel Bilddaten, die von der Kamera 51 geliefert werden, und Sensordaten, die von dem Radar 52 geliefert werden) durch. Zu Verfahren zum Kombinieren verschiedener Arten von Sensordaten gehören Integration, Fusion, Assoziation und dergleichen.
• Die Erkennungseinheit 73 führt eine Detektionsverarbeitung und eine Erkennungsverarbeitung der Situation außerhalb des Fahrzeugs 1 durch.
• Beispielsweise führt die Erkennungseinheit 73 eine Detektionsverarbeitung und eine Erkennungsverarbeitung der Situation außerhalb des Fahrzeugs 1 auf der Grundlage von Informationen von dem externen Erkennungssensor 25, Informationen von der Eigenpositionsschätzungseinheit 71, Informationen von der Sensorfusionseinheit 72, und dergleichen durch.
• Insbesondere führt die Erkennungseinheit 73 beispielsweise eine Detektionsverarbeitung, eine Erkennungsverarbeitung und dergleichen eines Objekts im Umfeld des Fahrzeugs 1 durch. Die Detektionsverarbeitung eines Objekts ist beispielsweise eine Verarbeitung zum Detektieren des Vorhandenseins oder Nichtvorhandenseins, der Größe, der Form, der Position, der Bewegung und dergleichen des Objekts. Die Erkennungsverarbeitung eines Objekts ist beispielsweise eine Verarbeitung zum Erkennen eines Attributs, wie etwa einer Art des Objekts, oder zum Identifizieren eines bestimmten Objekts. Die Detektionsverarbeitung und die Erkennungsverarbeitung sind jedoch nicht notwendigerweise klar getrennt und können sich überschneiden.
• Beispielsweise detektiert die Erkennungseinheit 73 ein Objekt im Umfeld des Fahrzeugs 1, indem sie Clustering zum Klassifizieren von Punktwolken basierend auf Sensordaten wie LiDAR oder Radar für jedes Cluster von Punktwolken durchführt. Somit werden das Vorhandensein oder Nichtvorhandensein, die Größe, die Form und die Position des Objekts im Umfeld des Fahrzeugs 1 detektiert.
• Beispielsweise detektiert die Erkennungseinheit 73 die Bewegung des Objekts im Umfeld des Fahrzeugs 1, indem sie eine Verfolgung durchführt, die der Bewegung des Clusters der mittels Clustering klassifizierten Punktwolke folgt. Somit werden die Geschwindigkeit und die Fortbewegungsrichtung (Bewegungsvektor) des Objekts im Umfeld des Fahrzeugs 1 detektiert.
• Beispielsweise erkennt die Erkennungseinheit 73 die Art des Objekts im Umfeld des Fahrzeugs 1 durch Durchführen einer Objekterkennungsverarbeitung, wie etwa einer semantischen Segmentierung, an den von der Kamera 51 gelieferten Bilddaten.
• Es sei angemerkt, dass als zu detektierendes oder zu erkennendes Objekt beispielsweise ein Fahrzeug, ein Mensch, ein Fahrrad, ein Hindernis, eine Struktur, eine Straße, eine Ampel, ein Verkehrszeichen, ein Straßenschild und dergleichen angenommen werden.
• Beispielsweise führt die Erkennungseinheit 73 eine Erkennungsverarbeitung von Verkehrsregeln im Umfeld des Fahrzeugs 1 auf Grundlage der in der Karteninformationsakkumulationseinheit 23 akkumulierten Karte, des Schätzergebnisses der Eigenposition und des Erkennungsergebnisses des Objekts im Umfeld des Fahrzeugs 1 durch. Durch diese Verarbeitung werden beispielsweise die Position und der Zustand einer Ampel, der Inhalt eines Verkehrszeichens und eines Straßenschilds, der Inhalt einer Verkehrsregelung, eine befahrbare Fahrspur und dergleichen erkannt.
• Beispielsweise führt die Erkennungseinheit 73 eine Erkennungsverarbeitung der Umweltbedingungen im Umfeld des Fahrzeugs 1 durch. Als zu erkennende Umgebung werden beispielsweise Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit, ein Zustand einer Straßenoberfläche und dergleichen angenommen.
• Die Verhaltensplanungseinheit 62 erstellt einen Verhaltensplan des Fahrzeugs 1. Beispielsweise erstellt die Verhaltensplanungseinheit 62 einen Verhaltensplan, indem sie eine Verarbeitung zur Pfadplanung und Pfadverfolgung durchführt.
• Es sei angemerkt, dass die globale Pfadplanung eine Verarbeitung zum Planen eines groben Pfads vom Start zum Ziel ist. Diese Pfadplanung umfasst eine Verarbeitung zur lokalen Pfadplanung, die als Trajektorieplanung bezeichnet wird und die ein sicheres und reibungsloses Fahren in der Nähe des Fahrzeugs 1 ermöglicht, unter Berücksichtigung der Bewegungseigenschaften des Fahrzeugs 1 auf dem mittels des Pfadplans geplanten Pfad.
• Die Pfadverfolgung ist eine Verarbeitung zum Planen eines Betriebs zum sicheren und genauen Befahren eines mittels einer Pfadplanung geplanten Pfads innerhalb einer geplanten Zeit. Beispielsweise werden die Sollgeschwindigkeit und die Sollwinkelgeschwindigkeit des Fahrzeugs 1 berechnet.
• Die Betriebssteuereinheit 63 steuert den Betrieb des Fahrzeugs 1, um den durch die Verhaltensplanungseinheit 62 erstellten Verhaltensplan zu erzielen.
• Beispielsweise steuert die Betriebssteuereinheit 63 eine Lenksteuereinheit 81, eine Bremssteuereinheit 82 und eine Antriebssteuereinheit 83, um eine Beschleunigungs-/Verzögerungssteuerung und eine Richtungssteuerung durchzuführen, sodass das Fahrzeug 1 auf der mittels der Trajektorieplanung berechneten Trajektorie fährt. Beispielsweise führt die Betriebssteuereinheit 63 eine kooperative Steuerung zum Implementieren von Funktionen des FAS durch, wie etwa Kollisionsvermeidung oder Aufprallabschwächung, Folgefahrt, Fahren mit Geschwindigkeitsbeibehaltung, Kollisionswarnung des betreffenden Fahrzeugs, Fahrspurverlassenswarnung des betreffenden Fahrzeugs und dergleichen. Beispielsweise führt die Betriebssteuereinheit 63 eine kooperative Steuerung zum Zweck des automatisierten Fahrens und dergleichen durch, bei der das Fahrzeug autonom ohne Abhängigkeit von der Bedienung des Fahrers fährt.
• Das DMS 30 führt eine Authentifizierungsverarbeitung eines Fahrers, eine Erkennungsverarbeitung eines Fahrerzustands und dergleichen auf Grundlage von Sensordaten von dem fahrzeuginternen Sensor 26, Eingabedaten, die in die HMI 31 eingegeben werden, und dergleichen durch. Als zu erkennender Zustand des Fahrers können beispielsweise eine körperliche Verfassung, ein Wachheitsgrad, ein Konzentrationsgrad, ein Ermüdungsgrad, eine Blickrichtung, ein Trunkenheitsgrad, ein Fahrbedienvorgang, eine Körperhaltung und dergleichen angenommen werden.
• Es sei angemerkt, dass das DMS 30 eine Authentifizierungsverarbeitung eines anderen Insassen als des Fahrers und eine Erkennungsverarbeitung des Zustands des Insassen durchführen kann. Ferner kann das DMS 30 beispielsweise eine Erkennungsverarbeitung der Situation im Innenraum des Fahrzeugs auf Grundlage von Sensordaten von dem fahrzeuginternen Sensor 26 durchführen. Als zu erkennende Situation im Innenraum des Fahrzeugs werden beispielsweise Temperatur, Luftfeuchtigkeit, Helligkeit, Geruch und dergleichen angenommen.
• Die HMI 31 wird zum Eingeben verschiedener Daten, Anweisungen und dergleichen verwendet, erzeugt ein Eingabesignal auf Grundlage der eingegebenen Daten, Anweisungen und dergleichen und führt das Eingabesignal jeder Einheit des Fahrzeugsteuersystems 11 zu. Die HMI 31 umfasst zum Beispiel eine Bedienvorrichtung wie einen Berührungsbildschirm, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, eine Bedienvorrichtung, die eine Eingabe durch ein anderes Verfahren als eine manuelle Bedienung durch Sprache, Geste ermöglicht und dergleichen. Es sei angemerkt, dass die HMI 31 beispielsweise eine Fernsteuereinrichtung sein kann, die Infrarotstrahlen oder andere Funkwellen verwendet, oder ein externes Verbindungsgerät, wie etwa ein mobiles Gerät oder ein Wearable-Gerät, das mit dem Betrieb des Fahrzeugsteuersystems 11 kompatibel ist.
• Des Weiteren führt die HMI 31 eine Ausgabesteuerung zum Steuern einer Erzeugung und Ausgabe von visuellen Informationen, akustischen Informationen und taktilen Informationen an den Insassen oder das Umfeld des Fahrzeugs sowie eines Ausgabeinhalts, Ausgabetimings, Ausgabeverfahrens und dergleichen durch. Die visuellen Informationen sind zum Beispiel Informationen, die durch ein Bild oder Licht angegeben werden, wie etwa einen Bedienungsbildschirm, eine Zustandsanzeige des Fahrzeugs 1, eine Warnanzeige oder ein Monitorbild, das die Situation im Umfeld des Fahrzeugs 1 angibt. Die akustischen Informationen sind beispielsweise durch Sprache angegebene Informationen, wie etwa eine Führung, ein Warnton, eine Warnmeldung und dergleichen. Die taktilen Informationen sind beispielsweise Informationen, die dem taktilen Empfinden des Insassen mittels Kraft, Vibration, Bewegung und dergleichen bereitgestellt werden.
• Als eine Vorrichtung, die visuelle Informationen ausgibt, werden beispielsweise eine Anzeigevorrichtung, ein Projektor, eine Navigationseinrichtung, ein Instrumentenpanel, ein Kameraüberwachungssystem (CMS: Camera Monitoring System), ein elektronischer Spiegel, eine Leuchte und dergleichen angenommen. Die Anzeigevorrichtung kann eine Einrichtung sein, die visuelle Informationen im Sichtfeld des Insassen anzeigt, wie etwa ein Head-Up-Display, eine durchlässige Anzeige, eine Wearable-Vorrichtung mit AR-Funktion (AR: Augmented Reality - erweiterte Realität) und dergleichen, zusätzlich zu der Einrichtung mit normaler Anzeige.
• Als eine Vorrichtung, die akustische Informationen ausgibt, werden beispielsweise ein Audiolautsprecher, ein Kopfhörer, ein Ohrhörer und dergleichen angenommen.
• Als eine Vorrichtung, die taktile Informationen ausgibt, werden beispielsweise ein Haptikelement, das eine Haptiktechnologie verwendet, und dergleichen angenommen. Das Haptikelement ist beispielsweise am Lenkrad, am Sitz und dergleichen bereitgestellt.
• Die Fahrzeugsteuereinheit 32 steuert jede Einheit des Fahrzeugs 1. Die Fahrzeugsteuereinheit 32 umfasst die Lenksteuereinheit 81, die Bremssteuereinheit 82, die Antriebssteuereinheit 83, eine Karosseriesystemsteuereinheit 84, eine Lichtsteuereinheit 85 und eine Hupensteuereinheit 86.
• Die Lenksteuereinheit 81 führt eine Detektion, Steuerung und dergleichen des Zustands eines Lenksystems des Fahrzeugs 1 durch. Das Lenksystem umfasst beispielsweise einen Lenkmechanismus mit einem Lenkrad und dergleichen, eine Servolenkung und dergleichen. Die Lenksteuereinheit 81 umfasst beispielsweise eine Steuereinheit, wie etwa eine ECU, die das Lenksystem steuert, einen Aktor, der das Lenksystem antreibt, und dergleichen auf.
• Die Bremssteuereinheit 82 detektiert und steuert den Zustand eines Bremssystems des Fahrzeugs 1. Das Bremssystem umfasst beispielsweise einen Bremsmechanismus mit einem Bremspedal, einem Antiblockiersystem (ABS) und dergleichen auf. Die Bremssteuereinheit 82 umfasst zum Beispiel eine Steuereinheit, wie etwa eine ECU, die ein Bremssystem steuert, einen Aktor, der das Bremssystem antreibt, und dergleichen.
• Die Antriebssteuereinheit 83 detektiert und steuert den Zustand eines Antriebssystems des Fahrzeugs 1. Das Antriebssystem umfasst zum Beispiel ein Gaspedal, eine Antriebskrafterzeugungseinrichtung zum Erzeugen einer Antriebskraft, wie etwa eine Brennkraftmaschine, einen Antriebsmotor und dergleichen, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder und dergleichen. Die Antriebssteuereinheit 83 umfasst zum Beispiel eine Steuereinheit, wie etwa eine ECU, die das Antriebssystem steuert, einen Aktor, der das Antriebssystem antreibt, und dergleichen.
• Die Karosseriesystemsteuereinheit 84 detektiert und steuert den Zustand eines Karosseriesystems des Fahrzeugs 1. Das Karosseriesystem umfasst zum Beispiel ein schlüsselloses Zugangssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung, einen elektrisch verstellbaren Sitz, eine Klimaanlage, einen Airbag, einen Sicherheitsgurt, einen Schalthebel und dergleichen. Die Karosseriesystemsteuereinheit 84 umfasst zum Beispiel eine Steuereinheit, wie etwa eine ECU, die das Karosseriesystem steuert, einen Aktor, der das Karosseriesystem antreibt, und dergleichen.
• Die Lichtsteuereinheit 85 detektiert und steuert Zustände verschiedener Lichter des Fahrzeugs 1. Als zu steuernde Lichter werden beispielsweise ein Scheinwerfer, ein Rücklicht, ein Nebellicht, ein Blinker, ein Bremslicht, eine Projektion, eine Anzeige einer Stoßstange und dergleichen angenommen. Die Lichtsteuereinheit 85 umfasst eine Steuereinheit, wie etwa eine ECU, die Lichter steuert, einen Aktor, der Lichter antreibt, und dergleichen.
• Die Hupensteuereinheit 86 detektiert und steuert den Zustand einer Autohupe des Fahrzeugs 1. Die Hupensteuereinheit 86 umfasst zum Beispiel eine Steuereinheit, wie etwa eine ECU, die die Autohupe steuert, einen Aktor, der die Autohupe antreibt, und dergleichen.
• 2 ist eine Ansicht, die ein Beispiel einer Erfassungsregion durch die Kamera 51, das Radar 52, das LiDAR 53 und den Ultraschallsensor 54 des externen Erkennungssensors 25 in 1 veranschaulicht.
• Eine Erfassungsregion 101F und eine Erfassungsregion 101B veranschaulichen Beispiele der Erfassungsregion des Ultraschallsensors 54. Die Erfassungsregion 101F deckt die Peripherie des vorderen Endes des Fahrzeugs 1 ab. Die Erfassungsregion 101B deckt die Peripherie des hinteren Endes des Fahrzeugs 1 ab.
• Die Erfassungsergebnisse in der Erfassungsregion 101F und der Erfassungsregion 101B werden beispielsweise zur Einparkhilfe des Fahrzeugs 1 verwendet.
• Erfassungsregionen 102F bis 102B veranschaulichen Beispiele von Erfassungsregionen des Radars 52 für eine kurze Distanz oder eine mittlere Distanz. Die Erfassungsregion 102F deckt eine Position weiter vor dem Fahrzeug 1 als die Erfassungsregion 101F ab. Die Erfassungsregion 102B deckt eine Position weiter hinter dem Fahrzeug 1 als die Erfassungsregion 101B ab. Die Erfassungsregion 102L deckt die Peripherie hinter der linken Seitenfläche des Fahrzeugs 1 ab. Die Erfassungsregion 102R deckt die Peripherie hinter der rechten Seitenfläche des Fahrzeugs 1 ab.
• Das Erfassungsergebnis in der Erfassungsregion 102F wird beispielsweise zur Detektion eines Fahrzeugs, eines Fußgängers und dergleichen, das bzw. der sich vor dem Fahrzeug 1 befindet, verwendet. Das Erfassungsergebnis in der Erfassungsregion 102B wird beispielsweise für eine Kollisionsverhinderungsfunktion und dergleichen hinter dem Fahrzeug 1 verwendet. Die Erfassungsergebnisse in der Erfassungsregion 102L und der Erfassungsregion 102R werden beispielsweise zur Detektion eines Objekts in einem toten Winkel auf der Seite des Fahrzeugs 1 verwendet.
• Erfassungsregionen 103F bis 103B veranschaulichen Beispiele von Erfassungsregionen durch die Kamera 51. Die Erfassungsregion 103F deckt eine Position weiter vor dem Fahrzeug 1 als die Erfassungsregion 102F ab. Die Erfassungsregion 103B deckt eine Position weiter hinter dem Fahrzeug 1 als die Erfassungsregion 102B ab. Die Erfassungsregion 103L deckt die Peripherie der linken Seitenfläche des Fahrzeugs 1 ab. Die Erfassungsregion 103R deckt die Peripherie der rechten Seitenfläche des Fahrzeugs 1 ab.
• Das Erfassungsergebnis in der Erfassungsregion 103F wird beispielsweise zur Erkennung einer Ampel und eines Verkehrszeichens, für ein Spurhalteassistenzsystem und dergleichen verwendet. Das Erfassungsergebnis in der Erfassungsregion 103B wird beispielsweise für eine Einparkhilfe, ein Surround-View-System und dergleichen verwendet. Die Erfassungsergebnisse in der Erfassungsregion 103L und der Erfassungsregion 103R werden beispielsweise in einem Surround-View-System und dergleichen verwendet.
• Eine Erfassungsregion 104 veranschaulicht ein Beispiel einer Erfassungsregion des LiDAR 53. Die Erfassungsregion 104 deckt eine Position weiter vor dem Fahrzeug 1 als die Erfassungsregion 103F ab. Andererseits weist die Erfassungsregion 104 einen schmaleren Bereich in der Links-Rechts-Richtung als die Erfassungsregion 103F auf.
• Das Erfassungsergebnis in der Erfassungsregion 104 wird beispielsweise zur Notbremsung, Kollisionsvermeidung, Fußgängerdetektion und dergleichen verwendet.
• Eine Erfassungsregion 105 veranschaulicht ein Beispiel der Erfassungsregion eines Radars 52 für einen große Reichweite. Die Erfassungsregion 105 deckt eine Position weiter vor dem Fahrzeug 1 als die Erfassungsregion 104 ab. Andererseits weist die Erfassungsregion 105 einen schmaleren Bereich in der Links-Rechts-Richtung als die Erfassungsregion 104 auf.
• Das Erfassungsergebnis in der Erfassungsregion 105 wird beispielsweise zur adaptiven Geschwindigkeitsregelung (ACC) verwendet.
• Es sei angemerkt, dass die Erfassungsregion jedes Sensors verschiedene andere Konfigurationen als die in 2 aufweisen kann. Insbesondere kann der Ultraschallsensor 54 auch die Seite des Fahrzeugs 1 erfassen, oder das LiDAR 53 kann hinter dem Fahrzeug 1 erfassen.
• <2. Auswertung der Abstandsinformationen des Erkennungssystems>
• Beispielsweise ist es, wie in 3 veranschaulicht, als ein Verfahren zum Auswerten von Abstandsinformationen, die durch ein Erkennungssystem 210 ausgegeben werden, das durch Durchführen der oben beschriebenen Sensorfusionsverarbeitung ein Objekt in der Umgebung des Fahrzeugs 1 erkennt, denkbar, die Punktwolkendaten eines LiDAR 220 zu vergleichen und als korrekten Wert auszuwerten. Jedoch nimmt dies in einem Fall, in dem ein Benutzer U die Abstandsinformationen des Erkennungssystems 210 visuell Bild für Bild mit den LiDAR-Punktwolkendaten vergleicht, sehr viel Zeit in Anspruch.
• Daher wird im Folgenden eine Konfiguration beschrieben, bei der die Abstandsinformationen des Erkennungssystems und die LiDAR-Punktwolkendaten automatisch verglichen werden.
• <3. Konfiguration und Betrieb der
• Auswertungseinrichtung>
• (Konfiguration der Auswertungseinrichtung)
• 4 ist ein Blockdiagramm, das die Konfiguration einer Auswertungseinrichtung veranschaulicht, die Abstandsinformationen des Erkennungssystems wie oben beschrieben auswertet.
• 4 veranschaulicht ein Erkennungssystem 320 und eine Auswertungseinrichtung 340.
• Das Erkennungssystem 320 erkennt ein Objekt in der Umgebung des Fahrzeugs 1 auf Grundlage eines durch die Kamera 311 erhaltenen aufgenommenen Bilds und von Millimeterwellendaten, die durch das Millimeterwellenradar 312 erhalten werden. Die Kamera 311 und das Millimeterwellenradar 312 entsprechen der Kamera 51 bzw. dem Radar 52 in 1.
• Das Erkennungssystem 320 umfasst eine Sensorfusionseinheit 321 und eine Erkennungseinheit 322.
• Die Sensorfusionseinheit 321 entspricht der Sensorfusionseinheit 72 in 1 und führt eine Sensorfusionsverarbeitung unter Verwendung des aufgenommenen Bilds von der Kamera 311 und der Millimeterwellendaten von dem Millimeterwellenradar 312 durch.
• Die Erkennungseinheit 322 entspricht der Erkennungseinheit 73 in 1 und führt eine Erkennungsverarbeitung (Detektionsverarbeitung) eines Objekts in der Umgebung des Fahrzeugs 1 auf Grundlage eines Verarbeitungsergebnisses der Sensorfusionsverarbeitung durch die Sensorfusionseinheit 321 durch.
• Das Erkennungsergebnis des Objekts in der Umgebung des Fahrzeugs 1 wird durch die Sensorfusionsverarbeitung durch die Sensorfusionseinheit 321 und die Erkennungsverarbeitung durch die Erkennungseinheit 322 ausgegeben.
• Das während der Fahrt des Fahrzeugs 1 erhaltene Erkennungsergebnis des Objekts wird als Datenprotokoll aufgezeichnet und in die Auswertungseinrichtung 340 eingegeben. Es sei angemerkt, dass das Erkennungsergebnis des Objekts Abstandsinformationen, die den Abstand zu dem Objekt in der Umgebung des Fahrzeug 1 angeben, Objektinformationen, die die Art und das Attribut des Objekts angeben, Geschwindigkeitsinformationen, die die Geschwindigkeit des Objekts angeben, und dergleichen umfasst.
• Gleichermaßen werden, während das Fahrzeug 1 fährt, Punktwolkendaten durch ein LiDAR 331 erhalten, das in der vorliegenden Ausführungsform als Entfernungsmesssensor dient, und zudem werden verschiedene Fahrzeuginformationen bezüglich des Fahrzeugs 1 über ein CAN 332 erhalten. Das LiDAR 331 und das CAN 332 entsprechen dem LiDAR 53 bzw. dem Kommunikationsnetzwerk 41 in 1. Die während der Fahrt des Fahrzeugs 1 erhaltenen Punktwolkendaten und Fahrzeuginformationen werden ebenfalls als Datenprotokoll aufgezeichnet und in die Auswertungseinrichtung 340 eingegeben.
• Die Auswertungseinrichtung 340 umfasst eine Umwandlungseinheit 341, eine Extraktionseinheit 342 und eine Vergleichseinheit 343.
• Die Umwandlungseinheit 341 wandelt die Punktwolkendaten, also die Daten in einem dreidimensionalen xyz-Koordinatensystem, die durch das LiDAR 331 erhalten werden, in ein Kamerakoordinatensystem der Kamera 311 um und liefert die umgewandelten Punktwolkendaten an die Extraktionseinheit 342.
• Unter Verwendung des Erkennungsergebnisses von dem Erkennungssystem 320 und der Punktwolkendaten von der Umwandlungseinheit 341 extrahiert die Extraktionseinheit 342 unter Punktwolkendaten die Punktwolkendaten, die einer Objektregion in dem aufgenommenen Bild entsprechen, die das Objekt enthält, auf Grundlage des im dem aufgenommenen Bild erkannten Objekts. Mit anderen Worten, die Extraktionseinheit 342 führt ein Clustering an den Punktwolkendaten, die dem erkannten Objekt entsprechen, unter den Punktwolkendaten durch.
• Insbesondere assoziiert die Extraktionseinheit 342 das aufgenommene Bild einschließlich eines rechteckigen Rahmens, der die Objektregion des erkannten Objekts angibt, das von dem Erkennungssystem 320 geliefert wird, als das Erkennungsergebnis mit den Punktwolkendaten von der Umwandlungseinheit 341 und extrahiert die in dem rechteckigen Rahmen vorhandenen Punktwolkendaten. Hierbei stellt die Extraktionseinheit 342 eine Extraktionsbedingung der Punktwolkendaten auf Grundlage des erkannten Objekts ein und extrahiert die in dem rechteckigen Rahmen vorhandenen Punktwolkendaten auf Grundlage der Extraktionsbedingung. Die extrahierten Punktwolkendaten werden als Punktwolkendaten, die dem Objekt entsprechen, das das Auswertungsziel für die Abstandsinformationen ist, an die Vergleichseinheit 343 geliefert.
• Mit den Punktwolkendaten von der Extraktionseinheit 342 als korrektem Wert vergleicht die Vergleichseinheit 343 die Punktwolkendaten mit den Abstandsinformationen, die in dem Erkennungsergebnis von dem Erkennungssystem 320 enthalten sind. Insbesondere wird bestimmt, ob eine Differenz zwischen den Abstandsinformationen von dem Erkennungssystem 320 und einem korrekten Wert (Punktwolkendaten) in einen vorbestimmten Referenzwert fällt oder nicht. Das Vergleichsergebnis wird als Auswertungsergebnis der Abstandsinformationen von dem Erkennungssystem 320 ausgegeben. Es sei angemerkt, dass die Genauigkeit des korrekten Werts weiter verbessert werden kann, indem der Modus der in dem rechteckigen Rahmen vorhandenen Punktwolkendaten als die als korrekter Wert verwendeten Punktwolkendaten verwendet wird.
• Herkömmlicherweise wurde beispielsweise, wie im oberen Teil von 5 veranschaulicht, visuell bestätigt, welche Punktwolkendaten 371 der durch LiDAR erhaltenen Punktwolkendaten 371 einem rechteckigen Rahmen 361F entsprechen, der das in einem aufgenommenen Bild 360 erkannte Fahrzeug angibt.
• Andererseits werden gemäß der Auswertungseinrichtung 340, wie im unteren Teil von 5 veranschaulicht, die Punktwolkendaten 371, die dem rechteckigen Rahmen 361F entsprechen, der das in dem aufgenommenen Bild 360 erkannte Fahrzeug angibt, aus den von dem LiDAR erhalten Punktwolkendaten 371 extrahiert. Daher ist es möglich, die dem Auswertungsziel entsprechenden Punktwolkendaten einzugrenzen, und es wird möglich, einen Vergleich zwischen den Abstandsinformationen des Erkennungssystems und den LiDAR-Punktwolkendaten mit geringer Last genau durchzuführen.
• (Beispiel der Extraktion von Punktwolkendaten)
• Wie oben beschrieben, kann die Extraktionseinheit 342 die Extraktionsbedingung (Clustering-Bedingung) der Punktwolkendaten beispielsweise auf Grundlage des erkannten Objekts gemäß dem Zustand des erkannten Objekts einstellen.
• (Beispiel 1)
• Wie auf der oberen linken Seite von 6 veranschaulicht, überlappt in einem Fall, in dem ein anderes Fahrzeug 412 näher an dem betreffenden Fahrzeug als an einem Fahrzeug 411, das ein Auswertungsziel in einem aufgenommenen Bild 410 ist, vorhanden ist, ein rechteckiger Rahmen 411F für das Fahrzeug 411 einen rechteckigen Rahmen 412F für das andere Fahrzeug 412. In einem Fall, in dem Punktwolkendaten, die in dem rechteckigen Rahmen 411F vorhanden sind, in diesem Zustand extrahiert werden, werden Punktwolkendaten extrahiert, die nicht dem Auswertungsziel entsprechen, wie in einer Vogelperspektive auf der oberen rechten Seite von 6 veranschaulicht. In der Vogelperspektive wie oben rechts in 6 sind die durch das LiDAR 331 erhaltenen Punktwolkendaten der dreidimensionalen Koordinaten zusammen mit dem entsprechenden Objekt veranschaulicht.
• Daher schließt die Extraktionseinheit 342, wie auf der unteren linken Seite von 6 veranschaulicht, durch Maskieren der Region, die dem rechteckigen Rahmen 412F für das andere Fahrzeug 412 entspricht, die Punktwolkendaten, die der Region in dem rechteckigen Rahmen 411F entsprechen, die den rechteckigen Rahmen 412F überlappt, aus dem Extraktionsziel aus. Daher können, wie in der Vogelperspektive auf der rechten Seite des unteren Teils von 6 veranschaulicht, nur die dem Auswertungsziel entsprechenden Punktwolkendaten extrahiert werden.
• Es sei angemerkt, dass der rechteckige Rahmen beispielsweise durch die Breite und Höhe eines rechteckigen Rahmens mit den Koordinaten des oberen linken Eckpunkts des rechteckigen Rahmens als Referenzpunkt definiert ist und die Tatsache, ob die rechteckigen Rahmen einander überlappen oder nicht, auf Grundlage des Bezugspunkts, der Breite und der Höhe jedes rechteckigen Rahmens bestimmt wird.
• (Beispiel 2)
• Wie in der oberen linken Seite von 7 veranschaulicht, werden in einem Fall, in dem ein Hindernis 422, wie etwa ein Strommast, hinter dem Fahrzeug 421 vorhanden ist, bei dem es sich um das Auswertungsziel in einem aufgenommenen Bild 420a handelt, wenn Punktwolkendaten, die in einem rechteckigen Rahmen 421F des Fahrzeugs 421 vorhanden sind, extrahiert werden, Punktwolkendaten, die dem Auswertungsziel nicht entsprechen, als eine Vogelperspektive in der oberen rechten Seite von 7 extrahiert.
• Gleichermaßen werden, wie in der unteren linken Seite von 7 veranschaulicht, in einem Fall, in dem ein Hindernis 423, wie etwa ein Strommast, näher bei dem betreffenden Fahrzeug als bei dem Fahrzeug 421 vorhanden ist, bei dem es sich um das Auswertungsziel in einem aufgenommenen Bild 420b handelt, wenn Punktwolkendaten, die in einem rechteckigen Rahmen 421F des Fahrzeugs 421 vorhanden sind, extrahiert werden, Punktwolkendaten, die dem Auswertungsziel nicht entsprechen, als eine Vogelperspektive in der unteren rechten Seite von 7 extrahiert.
• Andererseits extrahiert, wie auf der linken Seite von 8 veranschaulicht, die Extraktionseinheit 342 die Punktwolkendaten, in denen der Abstand zum Auswertungsziel innerhalb eines vorbestimmten Bereichs liegt, indem sie die Punktwolkendaten aus dem Extraktionsziel ausschließt, bei denen der Abstand zu dem Objekt, das das Auswertungsziel (erkannte Objekt) ist, größer als eine vorbestimmte Abstandsschwelle ist. Es sei angemerkt, dass der Abstand zum Auswertungsziel aus Abstandsinformationen erfasst wird, die in dem durch das Erkennungssystem 320 ausgegebenen Erkennungsergebnis enthalten sind.
• Hierbei stellt die Extraktionseinheit 342 die Abstandsschwelle gemäß dem Objekt ein, das das Auswertungsziel ist (der Art des Objekts). Die Abstandsschwelle wird beispielsweise auf einen größeren Wert eingestellt, wenn die Bewegungsgeschwindigkeit des Objekts, das das Auswertungsziel ist, höher ist. Es sei angemerkt, dass die Art des Objekts, das das Auswertungsziel ist, auch aus den Objektinformationen erfasst wird, die in dem durch das Erkennungssystem 320 ausgegebenen Erkennungsergebnis enthalten sind.
• Beispielsweise werden in einem Fall, in dem das Auswertungsziel ein Fahrzeug ist, durch Einstellen der Abstandsschwelle auf 1,5 m Punktwolkendaten, in denen der Abstand zum Fahrzeug größer als 1,5 m ist, aus dem Extraktionsziel ausgeschlossen. Ferner werden in einem Fall, in dem das Auswertungsziel ein Motorrad ist, durch Einstellen der Abstandsschwelle auf 1 m Punktwolkendaten, in denen der Abstand zum Motorrad größer als 1 m ist, aus dem Extraktionsziel ausgeschlossen. Zudem werden in einem Fall, in dem das Auswertungsziel ein Fahrrad oder ein Fußgänger ist, durch Einstellen der Abstandsschwelle auf 50 cm Punktwolkendaten, in denen der Abstand zum Fahrrad oder zum Fußgänger größer als 50 cm ist, aus dem Extraktionsziel ausgeschlossen.
• Es sei angemerkt, dass die Extraktionseinheit 342 die eingestellte Abstandsschwelle gemäß der Bewegungsgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 1 ändern kann, an dem die Kamera 311 und das Millimeterwellenradar 312 montiert sind. Im Allgemeinen nimmt der Fahrzeugabstand zwischen Fahrzeugen während einer Fahrt mit hoher Geschwindigkeit zu, und der Fahrzeugabstand nimmt während einer Fahrt mit niedriger Geschwindigkeit ab. Fährt das Fahrzeug 1 mit hoher Geschwindigkeit, wird somit die Abstandsschwelle auf einen größeren Wert geändert. Beispielsweise wird in einem Fall, in dem das Fahrzeug 1 mit 40 km/h oder mehr fährt, wenn das Auswertungsziel ein Fahrzeug ist, die Abstandsschwelle von 1,5 m auf 3 m geändert. In einem Fall, in dem das Fahrzeug 1 mit 40 km/h oder mehr fährt, wenn das Auswertungsziel ein Motorrad ist, wird die Abstandsschwelle von 1 m auf 2 m geändert. Es sei angemerkt, dass die Fahrzeuggeschwindigkeit des Fahrzeugs 1 aus Fahrzeuginformationen erfasst wird, die über das CAN 332 erhalten werden.
• (Beispiel 3)
• Zudem extrahiert, wie auf der rechten Seite von 8 veranschaulicht, die Extraktionseinheit 342 die Punktwolkendaten, in denen die Geschwindigkeitsdifferenz zu dem Auswertungsziel innerhalb eines vorbestimmten Bereichs liegt, indem sie die Punktwolkendaten aus dem Extraktionsziel ausschließt, in denen die Differenz zwischen der Geschwindigkeit des Objekts (erkanntes Objekt), das das Auswertungsziel ist, und der Geschwindigkeit, die auf Grundlage einer Zeitreihenänderung in den Punktwolkendaten berechnet wird, größer als eine vorbestimmte Geschwindigkeitsschwelle ist. Die Geschwindigkeit von Punktwolkendaten wird durch eine Änderung der Position der Punktwolkendaten in Zeitreihen berechnet. Die Geschwindigkeit des Auswertungsziels wird aus Geschwindigkeitsinformationen erfasst, die in durch das Erkennungssystem 320 ausgegebenen Erkennungsergebnis enthalten sind.
• In dem Beispiel auf der rechten Seite von 8 werden die Punktwolkendaten bei einer Geschwindigkeit von 0 km/h, die hinter dem Objekt, das das Auswertungsziel ist, vorhanden sind, und die Punktwolkendaten bei einer Geschwindigkeit von 0 km/h, die näher zu dem betreffenden Fahrzeug als zu dem Objekt, das das Auswertungsziel ist, vorhanden sind, aus dem Extraktionsziel ausgeschlossen, und die Punktwolkendaten bei einer Geschwindigkeit von 15 km/h, die in der Nähe des Objekts, das das Auswertungsziel ist, vorhanden sind, werden extrahiert.
• (Beispiel 4)
• Die Extraktionseinheit 342 kann auch die Extraktionsregion von Punktwolkendaten gemäß dem Abstand zu dem Objekt, das das Auswertungsziel ist, mit anderen Worten, die Größe der Objektregion in dem aufgenommenen Bild, ändern.
• Beispielsweise wird, wie in 9 veranschaulicht, in einem aufgenommenen Bild 440 ein rechteckiger Rahmen 441F für ein in großem Abstand positioniertes Fahrzeug 441 klein, und ein rechteckiger Rahmen 442F für ein in kleinem Abstand positioniertes Fahrzeug 442 wird groß. In diesem Fall ist in dem rechteckigen Rahmen 441F die Anzahl dem Fahrzeug 441 entsprechender Punktwolkendaten klein. Andererseits sind in dem rechteckigen Rahmen 442F viele Punktwolkendaten enthalten, die dem Hintergrund und der Straßenoberfläche entsprechen, obgleich die Anzahl dem Fahrzeug 441 entsprechender Punktwolkendaten groß ist.
• Daher stellt die Extraktionseinheit 342 in einem Fall, in dem der rechteckige Rahmen größer als ein vorbestimmter Bereich ist, nur die Punktwolkendaten, die der näheren Umgebung des Mittelpunkts des rechteckigen Rahmens entsprechen, als das Extraktionsziel ein, und in einem Fall, in dem der rechteckige Rahmen kleiner als der vorbestimmte Bereich ist, stellt die Extraktionseinheit die dem gesamten rechteckigen Rahmen entsprechenden Punktwolkendaten als das Extraktionsziel ein.
• Das heißt, wie in 10 veranschaulicht, in dem rechteckigen Rahmen 441F mit einer kleinen Fläche werden die Punktwolkendaten extrahiert, die dem gesamten rechteckigen Rahmen 441F entsprechen. Andererseits werden in dem rechteckigen Rahmen 442F mit einer großen Fläche nur die Punktwolkendaten extrahiert, die einer Region C442F nahe dem Mittelpunkt des rechteckigen Rahmens 442F entsprechen. Daher können dem Hintergrund und der Straßenoberfläche entsprechende Punktwolkendaten aus dem Extraktionsziel ausgeschlossen werden.
• Ferner umfasst auch in einem Fall, in dem das Auswertungsziel ein Fahrrad, ein Fußgänger, ein Motorrad und dergleichen ist, der rechteckige Rahmen für diese viele Punktwolkendaten, die dem Hintergrund und der Straßenoberfläche entsprechen. Daher können in einem Fall, in dem die Art des Objekts, das aus den Objektinformationen erfasst wird, die in dem durch das Erkennungssystem 320 ausgegebenen Erkennungsergebnis enthalten sind, ein Fahrrad, ein Fußgänger, ein Motorrad und dergleichen ist, nur die der näheren Umgebung des Mittelpunkts des rechteckigen Rahmens entsprechenden Punktwolkendaten als Extraktionsziel eingestellt werden.
• Wie oben beschrieben, ist es durch Einstellen der Extraktionsbedingung (Clustering-Bedingung) der Punktwolkendaten auf Grundlage des Objekts, das das Auswertungsziel ist, möglich, die Punktwolkendaten, die dem Objekt entsprechen, das das Auswertungsziel ist, zuverlässiger zu extrahieren.
• (Auswertungsverarbeitung von Abstandsinformationen)
• Hier wird die Auswertungsverarbeitung von Abstandsinformationen durch die Auswertungseinrichtung 340 unter Bezugnahme auf das Flussdiagramm von 11 beschrieben.
• In Schritt S1 erfasst die Extraktionseinheit 342 das Erkennungsergebnis des in einem aufgenommenen Bild erkannten Objekts von dem Erkennungssystem 320.
• In Schritt S2 führt die Umwandlungseinheit 341 eine Koordinatenumwandlung an den durch das LiDAR 331 erhaltenen Punktwolkendaten durch.
• In Schritt S3 stellt die Extraktionseinheit 342 auf Grundlage des Objekts eine Extraktionsbedingung der Punktwolkendaten, die der Objektregion des in dem aufgenommenen Bild durch das Erkennungssystem 320 erkannten Objekts entsprechen, unter den in das Kamerakoordinatensystem umgewandelten Punktwolkendaten ein.
• In Schritt S4 extrahiert die Extraktionseinheit 342 die Punktwolkendaten, die der Objektregion für das erkannte Objekt entsprechen, auf Grundlage der eingestellten Extraktionsbedingung.
• In Schritt S6, mit den durch die Extraktionseinheit 342 extrahierten Punktwolkendaten als korrektem Wert, vergleicht die Vergleichseinheit 343 die Punktwolkendaten mit den Abstandsinformationen, die in dem Erkennungsergebnis von dem Erkennungssystem 320 enthalten sind. Das Vergleichsergebnis wird als Auswertungsergebnis der Abstandsinformationen von dem Erkennungssystem 320 ausgegeben.
• Gemäß der vorstehenden Verarbeitung ist es bei der Auswertung der Abstandsinformationen von dem Erkennungssystem 320 möglich, die dem Auswertungsziel entsprechenden Punktwolkendaten einzugrenzen, und es wird möglich, einen Vergleich zwischen den Abstandsinformationen des Erkennungssystems und den LiDAR-Punktwolkendaten mit geringer Last genau durchzuführen.
• (Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten)
• Als Nächstes wird die in Schritt S3 der vorstehend beschriebenen Auswertungsverarbeitung von Abstandsinformationen ausgeführte Extraktionsbedingungseinstellungsverarbeitung von Punktwolkendaten unter Bezugnahme auf 12 und 13 beschrieben. Diese Verarbeitung wird in einem Zustand gestartet, in dem die Punktwolkendaten, die der Objektregion des erkannten Objekts (Objekts, das das Auswertungsziel ist) in den Punktwolkendaten entsprechen, spezifiziert sind.
• In Schritt S11 bestimmt die Extraktionseinheit 342, ob die Objektregion des erkannten Objekts (Objekts, das das Auswertungsziel ist) eine andere Objektregion für ein anderes Objekt überlappt oder nicht.
• Wird bestimmt, dass die Objektregion eine andere Objektregion überlappt, fährt der Prozess mit Schritt S12 fort, und die Extraktionseinheit 342 schließt aus dem Extraktionsziel die Punktwolkendaten aus, die der Region entsprechen, die eine andere Objektregion überlappt, wie unter Bezugnahme auf 6 beschrieben. Danach fährt der Prozess mit Schritt S13 fort.
• Dagegen wird, falls bestimmt wird, dass die Objektregion keine andere Objektregion überlappt, Schritt S12 übersprungen, und der Prozess fährt mit Schritt S13 fort.
• In Schritt S13 bestimmt die Extraktionseinheit 342, ob die Objektregion größer als ein vorbestimmter Bereich ist oder nicht.
• Wird bestimmt, dass die Objektregion größer als der vorbestimmte Bereich ist, fährt der Prozess mit Schritt S14 fort, und die Extraktionseinheit 342 stellt die Punktwolkendaten nahe dem Mittelpunkt der Objektregion als das Extraktionsziel ein, wie unter Bezugnahme auf 9 und 10 beschrieben. Danach fährt der Prozess mit Schritt S15 fort.
• Dagegen wird, falls bestimmt wird, dass die Objektregion nicht größer als der vorbestimmte Bereich ist, die Objektregion also kleiner als der vorbestimmte Bereich ist, Schritt S14 übersprungen, und der Prozess fährt mit Schritt S15 fort.
• In Schritt S15 bestimmt die Extraktionseinheit 342, ob eine Geschwindigkeitsdifferenz von dem erkannten Objekt größer als eine Geschwindigkeitsschwelle für jede der Punktwolkendaten ist, die der Objektregion entsprechen.
• Wird bestimmt, dass die Geschwindigkeitsdifferenz von dem erkannten Objekt größer als die Geschwindigkeitsschwelle ist, fährt der Prozess mit Schritt S16 fort, und die Extraktionseinheit 342 schließt die entsprechenden Punktwolkendaten aus dem Extraktionsziel aus, wie unter Bezugnahme auf 8 beschrieben. Danach fährt der Prozess mit Schritt S17 in 13 fort.
• Dagegen wird, falls bestimmt wird, dass die Geschwindigkeitsdifferenz von dem erkannten Objekt größer als die Geschwindigkeitsschwelle ist, falls also die Geschwindigkeitsdifferenz von dem erkannten Objekt kleiner als die Geschwindigkeitsschwelle ist, Schritt S16 übersprungen, und der Prozess fährt mit Schritt S17 fort.
• In Schritt S17 stellt die Extraktionseinheit 342 den Abstandsschwelle gemäß dem erkannten Objekt (der Art des Objekts) ein, das aus den in dem Erkennungsergebnis enthaltenen Objektinformationen erfasst wird.
• Als Nächstes ändert die Extraktionseinheit 342 in Schritt S18 die eingestellte Abstandsschwelle gemäß der aus den Fahrzeuginformationen erfassten Fahrzeuggeschwindigkeit des Fahrzeugs 1.
• Dann bestimmt die Extraktionseinheit 342 in Schritt S19, ob der Abstand zu dem erkannten Objekt größer als eine Abstandsschwelle für jede der Punktwolkendaten ist, die der Objektregion entsprechen.
• Wird bestimmt, dass der Abstand zu dem erkannten Objekt größer als die Abstandsschwelle ist, fährt der Prozess mit Schritt S20 fort, und die Extraktionseinheit 342 schließt die entsprechenden Punktwolkendaten aus dem Extraktionsziel aus, wie unter Bezugnahme auf 8 beschrieben. Die Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten endet.
• Dagegen wird, falls bestimmt wird, dass der Abstand zu dem erkannten Objekt größer als die Abstandsschwelle ist, falls also der Abstand zu dem erkannten Objekt kleiner als die Abstandsschwelle ist, Schritt S20 übersprungen und die Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten endet.
• Gemäß der vorstehenden Verarbeitung ist, da die Extraktionsbedingung (Clustering-Bedingung) der Punktwolkendaten gemäß dem Zustand des Objekts, das das Auswertungsziel ist, eingestellt wird, möglich, die Punktwolkendaten, die dem Objekt entsprechen, das das Auswertungsziel ist, zuverlässiger zu extrahieren. Folglich ist es möglich, Abstandsinformationen genauer auszuwerten, und schließlich lässt sich der Abstand zu dem Objekt genauer erhalten.
• <4. Modifikation der Punktwolkendatenextraktion>
• Im Folgenden wird eine Modifikation der Punktwolkendatenextraktion beschrieben.
• (Modifikation 1)
• Normalerweise ändert sich in einem Fall, in dem das Fahrzeug mit einer bestimmten Geschwindigkeit vorwärts fährt, das Erscheinungsbild eines Objekts, das sich mit einer anderen Geschwindigkeit als das Fahrzeug bewegt, unter Objekten in der Umgebung des Fahrzeugs. In diesem Fall ändern sich auch die dem Objekt entsprechenden Punktwolkendaten gemäß der Änderung des Erscheinungsbilds des Objekts in der Umgebung des Fahrzeugs.
• Beispielsweise wird, wie in 14 veranschaulicht, angenommen, dass ein Fahrzeug 511, das auf einer Spur neben einer Spur fährt, auf der das betreffende Fahrzeug fährt, in den aufgenommenen Bildern 510a und 510b erkannt wird, die aufgenommen werden, während das betreffende Fahrzeug auf einer Straße mit zwei Fahrspuren auf jeder Seite fährt. In dem aufgenommenen Bild 510a fährt das Fahrzeug 511 in der Nähe des betreffenden Fahrzeugs auf der angrenzenden Fahrspur, und in dem aufgenommenen Bild 510b fährt das Fahrzeug 511 auf der angrenzenden Fahrspur an einer Position weiter vor dem betreffenden Fahrzeug.
• In einem Fall, in dem das Fahrzeug 511 in der Nähe des betreffenden Fahrzeugs fährt, wie in dem aufgenommenen Bild 510a, werden als Punktwolkendaten, die einem rechteckigen Bereich 511Fa für das Fahrzeug 511 entsprechen, nicht nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs 511, sondern auch viele Punktwolkendaten der Seitenfläche des Fahrzeugs 511 extrahiert.
• Dagegen werden in einem Fall, in dem das Fahrzeug 511 wie in dem aufgenommenen Bild 510b entfernt von dem betreffenden Fahrzeug fährt, nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs 511 als die einer rechteckigen Region 511Fb für das Fahrzeug 511 entsprechenden Punktwolkendaten extrahiert.
• In einem Fall, in dem die Punktwolkendaten der Seitenfläche des Fahrzeugs 511 in den extrahierten Punktwolkendaten enthalten sind, wie in dem aufgenommenen Bild 510a, besteht die Möglichkeit, dass kein genauer Abstand zum Fahrzeug 511 erhalten werden kann.
• Daher sind in einem Fall, in dem das Fahrzeug 511 in der Nähe des betreffenden Fahrzeugs fährt, nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs 511 das Extraktionsziel, und die Punktwolkendaten der Seitenfläche des Fahrzeugs 511 werden aus dem Extraktionsziel ausgeschlossen.
• Beispielsweise wird bei der Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten die in dem Flussdiagramm von 15 veranschaulichte Verarbeitung ausgeführt.
• In Schritt S31 bestimmt die Extraktionseinheit 342, ob die Punktwolkendaten in einer vorbestimmten Positionsbeziehung stehen oder nicht.
• Wird bestimmt, dass die Punktwolkendaten in der vorbestimmten Positionsbeziehung stehen, fährt der Prozess mit Schritt S32 fort, und die Extraktionseinheit 342 stellt nur die Punktwolkendaten, die einem Teil der Objektregion entsprechen, als das Extraktionsziel ein.
• Insbesondere in einem Fall, in dem eine Region einer angrenzenden Fahrspur in der Nähe des betreffenden Fahrzeugs eingestellt ist, und Punktwolkendaten, die der Objektregion entsprechen, so angeordnet sind, dass sie ein Objekt mit einer Größe von beispielsweise 5 m in Tiefenrichtung und 3 m in horizontaler Richtung in der Region der angrenzenden Fahrspur angeben, wird davon ausgegangen, dass das Fahrzeug in der Nähe des betreffenden Fahrzeugs fährt, und nur die Punktwolkendaten, die der horizontalen Richtung entsprechen (Punktwolkendaten der Fahrzeugrückfläche), werden extrahiert.
• Dagegen wird, falls bestimmt wird, dass die Punktwolkendaten nicht in der vorbestimmten Positionsbeziehung stehen, Schritt S32 übersprungen, und die Punktwolkendaten, die den gesamten Objektregionen entsprechen, werden als das Extraktionsziel eingestellt.
• Wie oben beschrieben, können in einem Fall, in dem das Fahrzeug in der Nähe des betreffenden Fahrzeugs fährt, nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs als das Extraktionsziel eingestellt werden.
• Es sei angemerkt, dass in einem anderen Fall, in dem außerdem eine allgemeine Clustering-Verarbeitung der Punktwolkendaten, die der Objektregion entsprechen, ausgeführt wird und die Punktwolkendaten kontinuierlich in einer L-Form in der Tiefenrichtung und der horizontalen Richtung extrahiert werden, angenommen wird, dass das Fahrzeug in der Nähe des betreffenden Fahrzeugs fährt, und nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs extrahiert werden können. Ferner wird in einem Fall, in dem die Abweichung des Abstands, der durch die der Objektregion entsprechenden Punktwolkendaten angegeben wird, größer als eine vorbestimmte Schwelle ist, angenommen, dass das Fahrzeug in der Nähe des betreffenden Fahrzeugs fährt, und nur die Punktwolkendaten der hinteren Fläche des Fahrzeugs können extrahiert werden.
• (Modifikation 2)
• In der Regel werden, wie beispielsweise in 16 veranschaulicht, die Punktwolkendaten von LiDAR in einem aufgenommenen Bild 520 dichter, wenn sie näher an der Straßenoberfläche sind, und spärlicher, wenn sie weiter von der Straßenoberfläche entfernt sind. In dem Beispiel von 16 werden die Abstandsinformationen eines Verkehrszeichens 521, das an einer von der Straßenoberfläche entfernten Position vorhanden ist, auf Grundlage der Punktwolkendaten erzeugt, die seinem rechteckigen Rahmen 521F entsprechen. Jedoch ist die Anzahl von Punktwolkendaten, die dem Objekt wie dem Verkehrszeichen 521 oder der nicht veranschaulichten Verkehrsampel entsprechen, das an einer Position entfernt von der Straßenoberfläche vorhanden ist, kleiner als die anderer Objekte, die an der Position nahe der Straßenoberfläche vorhanden sind, und es besteht die Möglichkeit, dass die Zuverlässigkeit der Punktwolkendaten gering wird.
• Daher wird für ein Objekt, das an einer von der Straßenoberfläche entfernten Position vorhanden ist, die Anzahl von Punktwolkendaten, die dem Objekt entsprechen, erhöht, indem mehrere Einzelbilder von Punktwolkendaten verwendet werden.
• Beispielsweise wird bei der Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten die in dem Flussdiagramm von 17 veranschaulichte Verarbeitung ausgeführt.
• In Schritt S51 bestimmt die Extraktionseinheit 342, ob die Objektregion des erkannten Objekts höher als eine vorbestimmte Höhe in dem aufgenommenen Bild vorhanden ist oder nicht. Die hier erwähnte Höhe bezieht sich auf einen Abstand vom unteren Ende zur Richtung des oberen Endes des aufgenommenen Bilds.
• Wird bestimmt, dass die Objektregion höher als die vorbestimmte Höhe in dem aufgenommenen Bild vorhanden ist, fährt der Prozess mit Schritt S52 fort, und die Extraktionseinheit 342 stellt die Punktwolkendaten der mehreren Einzelbilder, die der Objektregion entsprechen, als das Extraktionsziel ein.
• Beispielsweise werden, wie in 18 veranschaulicht, Punktwolkendaten 531(t), die zum Zeitpunkt t erhalten wurden, Punktwolkendaten 531(t-1), die zum Zeitpunkt t-1 erhalten wurden, der ein Einzelbild vor Zeitpunkt t liegt, und Punktwolkendaten 531(t-2), die zum Zeitpunkt t-2 erhalten wurden, der zwei Einzelbilder vor Zeitpunkt t liegt, einem aufgenommenen Bild 520(t) zum aktuellen Zeitpunkt t überlagert. Dann werden unter den Punktwolkendaten 531(t), 531(t-1) und 531(t-2) die Punktwolkendaten, die der Objektregion des aufgenommenen Bilds 520(t) entsprechen, als das Extraktionsziel eingestellt. Es sei angemerkt, dass in einem Fall, in dem das betreffende Fahrzeug mit hoher Geschwindigkeit fährt, der Abstand zu dem erkannten Objekt um die Zeit des verstrichenen Einzelbilds näher wird. Daher unterscheiden sich in den Punktwolkendaten 531(t-1) und 531(t-2) die Abstandsinformationen der Punktwolkendaten, die der Objektregion entsprechen, von denen der Punktwolkendaten 531(t). Daher werden die Abstandsinformationen der Punktwolkendaten 531(t-1) und 531(t-2) auf Grundlage der zum Zeitpunkt des verstrichenen Einzelbilds durch das betreffende Fahrzeug zurückgelegten Distanz korrigiert.
• Dagegen wird, falls bestimmt wird, dass die Objektregion nicht höher als die vorbestimmte Höhe in dem aufgenommenen Bild vorhanden ist, Schritt S52 übersprungen, und die der Objektregion entsprechenden Punktwolkendaten eines Einzelbilds zum aktuellen Zeitpunkt werden als das Extraktionsziel eingestellt.
• Wie oben beschrieben, wird für ein Objekt, das an einer von der Straßenoberfläche entfernten Position vorhanden ist, die Anzahl von Punktwolkendaten, die dem Objekt entsprechen, erhöht, indem mehrere Einzelbilder von Punktwolkendaten verwendet werden, und eine Verringerung der Zuverlässigkeit der Punktwolkendaten kann verhindert werden.
• (Modifikation 3)
• Beispielsweise ist, wie in 19 veranschaulicht, in einem Fall, in dem in einem aufgenommenen Bild 540 ein Wegweiser 542 über einem Fahrzeug 541, das vor dem betreffenden Fahrzeug fährt, positioniert ist, der Wegweiser 542 mitunter in einem rechteckigen Rahmen 541F für das Fahrzeug enthalten 541. In diesem Fall werden als die dem rechteckigen Rahmen 541F entsprechenden Punktwolkendaten zusätzlich zu den dem Fahrzeug 541 entsprechenden Punktwolkendaten auch die dem Wegweiser 542 entsprechenden Punktwolkendaten extrahiert.
• In diesem Fall werden, da sich das Fahrzeug 541 mit einer vorbestimmten Geschwindigkeit bewegt, während sich der Wegweiser 542 nicht bewegt, die Punktwolkendaten für das Objekt, das sich nicht bewegt, aus dem Extraktionsziel ausgeschlossen.
• Beispielsweise wird bei der Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten die in dem Flussdiagramm von 20 veranschaulichte Verarbeitung ausgeführt.
• In Schritt S71 bestimmt die Extraktionseinheit 342, ob die auf Grundlage der Zeitreihenänderung der Punktwolkendaten berechnete Geschwindigkeitsdifferenz zwischen dem oberen Teil und dem unteren Teil der Objektregion für das in dem aufgenommenen Bild erkannte Objekt größer als ein vorbestimmter Schwellenwert ist oder nicht.
• Hier wird bestimmt, ob die auf Grundlage der Punktwolkendaten berechnete Geschwindigkeit im oberen Teil der Objektregion im Wesentlichen 0 beträgt oder nicht, und zudem eine Differenz zwischen der auf Grundlage der Punktwolkendaten im oberen Teil der Objektregion berechneten Geschwindigkeit und der auf Grundlage der Punktwolkendaten im unteren Teil der Objektregion berechneten Geschwindigkeit erhalten.
• Wird bestimmt, dass die Geschwindigkeitsdifferenz zwischen dem oberen Teil und dem unteren Teil der Objektregion größer als die vorbestimmte Schwelle ist, fährt der Prozess mit Schritt S72 fort, und die Extraktionseinheit 342 schließt die Punktwolkendaten, die dem oberen Teil der Objektregion entsprechen, aus dem Extraktionsziel aus.
• Dagegen wird, falls bestimmt wird, dass die Geschwindigkeitsdifferenz zwischen dem oberen Teil und dem unteren Teil der Objektregion nicht größer als die vorbestimmte Schwelle ist, Schritt S72 übersprungen, und die den gesamten Objektregionen entsprechenden Punktwolkendaten werden als Extraktionsziel eingestellt.
• Wie oben beschrieben, können die Punktwolkendaten für ein Objekt, das sich nicht bewegt, wie etwa ein Wegweiser oder ein Schild über dem Fahrzeug, aus dem Extraktionsziel ausgeschlossen werden.
• (Modifikation 4)
• Da LiDAR anfällig gegenüber Regen, Nebel und Staub ist, verschlechtert sich bei Regenwetter die Entfernungsmessleistungsfähigkeit von LiDAR, und die Zuverlässigkeit der extrahierten Punktwolkendaten, die der Objektregion entsprechen, nimmt ebenfalls ab.
• Daher werden durch Verwendung der Punktwolkendaten mehrerer Einzelbilder in Abhängigkeit vom Wetter die extrahierten Punktwolkendaten, die der Objektregion entsprechen, erhöht, und eine Abnahme der Zuverlässigkeit der Punktwolkendaten wird verhindert.
• Beispielsweise wird bei der Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten die in dem Flussdiagramm von 21 veranschaulichte Verarbeitung ausgeführt.
• In Schritt S91 bestimmt die Extraktionseinheit 342, ob das Wetter regnerisch ist oder nicht.
• Beispielsweise bestimmt die Extraktionseinheit 342 als die über das CAN 332 erhaltenen Fahrzeuginformationen auf der Grundlage von Detektionsinformationen von einem Regentropfensensor, der Regentropfen in einem Detektionsbereich der Windschutzscheibe detektiert, ob es regnet oder nicht. Außerdem kann die Extraktionseinheit 342 auf Grundlage des Betriebszustands des Scheibenwischers bestimmen, ob es regnet oder nicht. Der Scheibenwischer kann auf Grundlage von Detektionsinformationen von dem Regentropfensensor betrieben werden oder kann als Reaktion auf eine Betätigung des Fahrers betrieben werden.
• Wird bestimmt, dass das Wetter regnerisch ist, fährt der Prozess mit Schritt S92 fort, und die Extraktionseinheit 342 stellt die Punktwolkendaten mehrerer Einzelbilder, die der Objektregion entsprechen, als das Extraktionsziel ein, wie unter Bezugnahme auf 18 beschrieben.
• Dagegen wird, falls bestimmt wird, dass das Wetter nicht regnerisch ist, Schritt S92 übersprungen, und die der Objektregion entsprechenden Punktwolkendaten eines Einzelbilds zum aktuellen Zeitpunkt werden als das Extraktionsziel eingestellt.
• Wie oben beschrieben, ist es bei regnerischem Wetter unter Verwendung der Punktwolkendaten mehrerer Einzelbilder möglich, extrahierte Punktwolkendaten, die der Objektregion entsprechen, zu erhöhen und eine Verringerung der Zuverlässigkeit der Punktwolkendaten zu verhindern.
• <5. Konfiguration und Betrieb der Informationsverarbeitungseinrichtung>
• Oben wurde ein Beispiel beschrieben, in dem die vorliegende Technologie auf eine Auswertungseinrichtung angewendet wird, die Abstandsinformationen des Erkennungssystems mit Punktwolkendaten des LiDAR auf sogenannte Off-Board-Weise vergleicht.
• Die vorliegende Technologie ist nicht darauf beschränkt und kann auch auf eine Konfiguration angewendet werden, bei der eine Objekterkennung in Echtzeit (On-Board) in einem fahrenden Fahrzeug durchgeführt wird.
• (Konfiguration der Informationsverarbeitungseinrichtung)
• 22 ist ein Blockdiagramm, das die Konfiguration einer Informationsverarbeitungseinrichtung 600 veranschaulicht, die eine On-Board-Objekterkennung durchführt.
• 22 veranschaulicht eine erste Informationsverarbeitungseinheit 620 und eine zweite Informationsverarbeitungseinheit 640, die die Informationsverarbeitungseinrichtung 600 bilden. Beispielsweise ist die Informationsverarbeitungseinrichtung 600 als ein Teil der Analyseeinheit 61 in 1 konfiguriert und erkennt ein Objekt in der Umgebung des Fahrzeugs 1 durch Durchführen einer Sensorfusionsverarbeitung.
• Die erste Informationsverarbeitungseinheit 620 erkennt das Objekt in der Umgebung des Fahrzeugs 1 auf Grundlage eines durch die Kamera 311 erhaltenen aufgenommenen Bilds und von Millimeterwellendaten, die durch das Millimeterwellenradar 312 erhalten werden.
• Die erste Informationsverarbeitungseinheit 620 umfasst eine Sensorfusionseinheit 621 und eine Erkennungseinheit 622. Die Sensorfusionseinheit 621 und die Erkennungseinheit 622 haben ähnliche Funktionen wie die Sensorfusionseinheit 321 und die Erkennungseinheit 322 in 4.
• Die zweite Informationsverarbeitungseinheit 640 umfasst eine Umwandlungseinheit 641, eine Extraktionseinheit 642 und eine Korrektureinheit 643. Die Umwandlungseinheit 641 und die Extraktionseinheit 642 haben ähnliche Funktionen wie die Umwandlungseinheit 341 und die Extraktionseinheit 342 in 4.
• Die Korrektureinheit 643 korrigiert Abstandsinformationen, die in einem Erkennungsergebnis von der ersten Informationsverarbeitungseinheit 620 enthalten sind, auf Grundlage von Punktwolkendaten von der Extraktionseinheit 642. Die korrigierten Abstandsinformationen werden als Entfernungsmessergebnis des Objekts ausgegeben, das zum Erkennungsziel wird. Es sei angemerkt, dass die Genauigkeit der korrigierten Abstandsinformationen weiter verbessert werden kann, indem der Moduswert der in dem rechteckigen Rahmen vorhandenen Punktwolkendaten als die zur Korrektur verwendeten Punktwolkendaten verwendet wird.
• (Entfernungsmessverarbeitung eines Objekts)
• Als Nächstes wird eine Entfernungsmessverarbeitung eines Objekts durch die Informationsverarbeitungseinrichtung 600 unter Bezugnahme auf das Flussdiagramm in 23 beschrieben. Die Verarbeitung in 23 wird an Bord eines fahrenden Fahrzeugs ausgeführt.
• In Schritt S101 erfasst die Extraktionseinheit 642 das Erkennungsergebnis des in dem aufgenommenen Bild erkannten Objekts von der ersten Informationsverarbeitungseinheit 620.
• In Schritt S102 führt die Umwandlungseinheit 641 eine Koordinatenumwandlung an den durch das LiDAR 331 erhaltenen Punktwolkendaten durch.
• In Schritt S103 stellt die Extraktionseinheit 642 auf Grundlage des Objekts eine Extraktionsbedingung der Punktwolkendaten, die der Objektregion des in dem aufgenommenen Bild durch die erste Informationsverarbeitungseinheit 20 erkannten Objekts entsprechen, unter den in das Kamerakoordinatensystem umgewandelten Punktwolkendaten ein.
• Insbesondere wird die unter Bezugnahme auf die Flussdiagramme von 12 und 13 beschriebene Extraktionsbedingungseinstellungsverarbeitung der Punktwolkendaten ausgeführt wird.
• In Schritt S104 extrahiert die Extraktionseinheit 642 die Punktwolkendaten, die der Objektregion für das erkannte Objekt entsprechen, auf Grundlage der eingestellten Extraktionsbedingung.
• In Schritt S105 korrigiert die Korrektureinheit 643 die Abstandsinformationen von der ersten Informationsverarbeitungseinheit 620 auf Grundlage der durch die Extraktionseinheit 642 extrahierten Punktwolkendaten. Die korrigierten Abstandsinformationen werden als Entfernungsmessergebnis des Objekts ausgegeben, das zum Erkennungsziel wird.
• Gemäß der obigen Verarbeitung ist es möglich, die dem Erkennungsziel entsprechenden Punktwolkendaten einzugrenzen, und es wird möglich, einen Vergleich zwischen der Abstandsinformationskorrektur mit einer geringen Last genau durchzuführen. Des Weiteren ist es, da die Extraktionsbedingung (Clustering-Bedingung) der Punktwolkendaten gemäß dem Zustand des Objekts, das das Erkennungsziel ist, eingestellt wird, möglich, die Punktwolkendaten, die dem Objekt entsprechen, das das Erkennungsziel ist, zuverlässiger zu extrahieren. Als Ergebnis ist es möglich, Abstandsinformationen genauer zu korrigieren, und schließlich lässt sich der Abstand zu dem Objekt genauer erhalten, und es wird möglich, eine falsche Erkennung (falsche Detektion) des Objekts zu unterdrücken und eine Nichtdetektion des zu detektierenden Objekts zu verhindern.
• In der oben beschriebenen Ausführungsform ist der bei der Sensorfusionsverarbeitung verwendete Sensor nicht auf das Millimeterwellenradar beschränkt und kann ein LiDAR- oder ein Ultraschallsensor sein. Ferner sind die durch den Entfernungsmesssensor erhaltenen Sensordaten nicht auf durch das LiDAR erhaltene Punktwolkendaten beschränkt, und es können Abstandsinformationen verwendet werden, die den durch das Millimeterwellenradar erhaltenen Abstand zu dem Objekt angeben.
• Obgleich oben hauptsächlich ein Beispiel beschrieben wurde, bei dem das Fahrzeug das Erkennungsziel ist, kann ein beliebiges anderes Objekt als ein Fahrzeug das Erkennungsziel sein.
• Ferner kann die vorliegende Technologie auch auf einen Fall angewendet werden, in dem mehrere Arten von Objekten erkannt werden.
• Ferner wurde in der obigen Beschreibung ein Beispiel zum Erkennen eines Objekts vor dem Fahrzeug 1 beschrieben, wobei die vorliegende Technologie jedoch auch auf einen Fall angewendet werden kann, in dem ein Objekt in einer anderen Richtung um das Fahrzeug 1 herum erkannt wird.
• Zudem kann die vorliegende Technologie auch auf einen Fall angewendet werden, in dem ein Objekt in der Umgebung eines sich bewegenden Körpers, bei dem es sich nicht um ein Fahrzeug handelt, erkannt wird. Beispielsweise werden sich bewegende Körper wie ein Motorrad, ein Fahrrad, ein Elektrokleinstfahrzeug, ein Flugzeug, ein Schiff, eine Baumaschine und eine landwirtschaftliche Maschine (ein Traktor) angenommen. Ferner umfasst der sich bewegende Körper, auf den die vorliegende Technologie angewendet werden kann, beispielsweise einen sich bewegenden Körper, der ferngesteuert (fernbetrieben) wird, ohne dass sich ein Benutzer darin befindet, wie etwa eine Drohne oder ein Roboter.
• Ferner kann die vorliegende Technologie auch auf einen Fall angewendet werden, in dem eine Erkennungsverarbeitung eines Ziels an einem festen Ort wie beispielsweise einem Überwachungssystem durchgeführt wird.
• <6. Konfigurationsbeispiel eines Computers>
• Die oben beschriebene Verarbeitungsfolge kann durch Hardware ausgeführt werden und kann durch Software ausgeführt werden. Falls die Verarbeitungsfolge durch Software ausgeführt wird, wird ein Programm, das die Software darstellt, von einem Programmaufzeichnungsmedium auf einem Computer installiert, der in dedizierter Hardware, einem Mehrzweck-PC und dergleichen eingebunden ist.
• 24 ist ein Blockdiagramm, das das Konfigurationsbeispiel einer Hardware eines Computers veranschaulicht, der die oben beschriebene Verarbeitungsfolge durch ein Programm ausführt.
• Die Auswertungseinrichtung 340 und die Informationsverarbeitungseinrichtung 600, die die oben beschrieben werden, werden durch einen Computer 1000 erreicht, der die in 24 veranschaulichte Konfiguration hat.
• Eine CPU 1001, ein ROM 1002 und ein RAM 1003 sind durch einen Bus 1004 miteinander verbunden.
• Eine Eingabe/Ausgabe-Schnittstelle 1005 ist ferner mit dem Bus 1004 verbunden. Eine Eingabeeinheit 1006, die eine Tastatur und eine Maus umfasst, und eine Ausgabeeinheit 1007, die eine Anzeige und einen Lautsprecher umfasst, sind mit der Eingabe/Ausgabe-Schnittstelle 1005 verbunden. Ferner sind eine Speicherungseinheit 1008, die eine Festplatte und einen nichtflüchtigen Speicher umfasst, eine Kommunikationseinheit 1009, die eine Netzwerkschnittstelle umfasst, und ein Laufwerk 1010, das einen Wechseldatenträger 1011 antreibt, mit der Eingabe/Ausgabe-Schnittstelle 1005 verbunden.
• In dem wie oben beschrieben konfigurierten Computer 1000 lädt beispielsweise die CPU 1001 ein in der Speicherungseinheit 1008 gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 1005 und den Bus 1004 in den RAM 1003 und führt es aus, wodurch die oben beschriebene Verarbeitungsfolge durchgeführt wird.
• Das durch die CPU 1001 ausgeführte Programm wird beispielsweise durch Aufzeichnen auf dem Wechseldatenträger 1011 oder über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein lokales Netzwerk, das Internet oder digitales Broadcasting, bereitgestellt und wird auf der Speicherungseinheit 1008 installiert.
• Es sei angemerkt, dass das durch den Computer 1000 ausgeführte Programm ein Programm sein kann, bei dem eine Verarbeitung zeitlich seriell in der in der vorliegenden Beschreibung beschriebenen Reihenfolge durchgeführt wird, oder ein Programm sein kann, bei dem eine Verarbeitung parallel oder mit einem erforderlichen Timing, wie etwa wenn ein Aufruf erfolgt, durchgeführt wird.
• In der vorliegenden Beschreibung bedeutet ein System einen Satz aus mehreren Bestandteilen (Einrichtungen, Modulen (Komponenten) und dergleichen), und es spielt keine Rolle, ob sich alle Bestandteile in demselben Gehäuse befinden oder nicht. Daher handelt es sich sowohl bei mehreren Einrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk verbunden sind, als auch bei einer Einrichtung, bei der mehrere Module in einem Gehäuse untergebracht sind, um Systeme.
• Die Ausführungsform der vorliegenden Technologie ist nicht auf die oben beschriebene Ausführungsform beschränkt und verschiedene Modifikationen können vorgenommen werden, ohne von der Idee der vorliegenden Technologie abzuweichen.
• Ferner sind die in der vorliegenden Beschreibung beschriebenen Wirkungen lediglich Beispiele und nicht darauf beschränkt, und andere Wirkungen können vorliegen.
• Zudem kann die vorliegende Technologie die folgenden Konfigurationen aufweisen.
• (1) Eine Informationsverarbeitungseinrichtung, die Folgendes umfasst:
  • eine Extraktionseinheit, die auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
• (2) Die Informationsverarbeitungseinrichtung nach (1), wobei die Extraktionseinheit eine Extraktionsbedingung der Sensordaten auf Grundlage des erkannten Objekts einstellt.
• (3) Die Informationsverarbeitungseinrichtung nach (2), wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, die einer Region entsprechen, die eine andere Objektregion für ein anderes Objekt in der Objektregion überlappt.
• (4) Die Informationsverarbeitungseinrichtung nach (2) oder (3), wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, bei denen eine Differenz zwischen einer Geschwindigkeit des erkannten Objekts und einer Geschwindigkeit, die auf Grundlage einer Zeitreihenänderung der Sensordaten berechnet wurde, größer als eine vorbestimmte Geschwindigkeitsschwelle ist.
• (5) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (4), wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, bei denen ein Abstand zu dem erkannten Objekt größer als eine vorbestimmte Abstandsschwelle ist.
• (6) Die Informationsverarbeitungseinrichtung nach (5), wobei die Extraktionseinheit die Abstandsschwelle gemäß dem erkannten Objekt einstellt.
• (7) Die Informationsverarbeitungseinrichtung nach (6), wobei die Kamera und der Entfernungsmesssensor an einem sich bewegenden Körper angebracht sind, und die Extraktionseinheit die Abstandsschwelle gemäß einer Bewegungsgeschwindigkeit des sich bewegenden Körpers ändert.
• (8) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (7), wobei in einem Fall, in dem die Objektregion größer als ein vorbestimmter Bereich ist, die Extraktionseinheit nur Sensordaten, die einer näheren Umgebung eines Mittelpunkts der Objektregion entsprechen, als ein Extraktionsziel einstellt.
• (9) Die Informationsverarbeitungseinrichtung nach (8), wobei in einem Fall, in dem die Objektregion kleiner als ein vorbestimmter Bereich ist, die Extraktionseinheit Sensordaten, die der gesamten Objektregion entsprechen, als ein Extraktionsziel einstellt.
• (10) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (9), wobei in einem Fall, in dem die der Objektregion entsprechenden Sensordaten in einer vorbestimmten Positionsbeziehung stehen, die Extraktionseinheit nur die Sensordaten, die einem Teil der Objektregion entsprechen, als ein Extraktionsziel einstellt.
• (11) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (10), wobei in einem Fall, in dem die Objektregion höher als eine vorbestimmte Höhe in dem aufgenommenen Bild vorhanden ist, die Extraktionseinheit Sensordaten mehrerer Einzelbilder, die der Objektregion entsprechen, als ein Extraktionsziel einstellt.
• (12) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (11), wobei in einem Fall, in dem eine Geschwindigkeitsdifferenz, die auf Grundlage einer Zeitreihenänderung in den Sensordaten zwischen einem oberen Teil und einem unteren Teil der Objektregion berechnet wird, größer als eine vorbestimmte Schwelle ist, die Extraktionseinheit die Sensordaten, die einem oberen Teil der Objektregion entsprechen, aus einem Extraktionsziel ausschließt.
• (13) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (12), wobei die Extraktionseinheit Sensordaten mehrerer Einzelbilder, die der Objektregion entsprechen, gemäß dem Wetter als ein Extraktionsziel einstellt.
• (14) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (13), die ferner Folgendes umfasst:
  • eine Vergleichseinheit, die die durch die Extraktionseinheit extrahierten Sensordaten mit Abstandsinformationen vergleicht, die durch Sensorfusionsverarbeitung basierend auf dem aufgenommenen Bild und anderen Sensordaten erhalten werden.
• (15) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (13), die ferner Folgendes umfasst:
  • eine Sensorfusionseinheit, die eine Sensorfusionsverarbeitung basierend auf dem aufgenommenen Bild und anderen Sensordaten durchführt; und
  • eine Korrektureinheit, die Abstandsinformationen, die durch die Sensorfusionsverarbeitung erhalten wurden, auf Grundlage der durch die Extraktionseinheit extrahierten Sensordaten korrigiert.
• (16) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (15), wobei der Entfernungsmesssensor ein LiDAR umfasst, und die Sensordaten Punktwolkendaten sind.
• (17) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (15), wobei der Entfernungsmesssensor ein Millimeterwellenradar umfasst, und die Sensordaten Abstandsinformationen sind, die einen Abstand zu dem Objekt angeben.
• (18) Ein Informationsverarbeitungsverfahren, wobei eine Informationsverarbeitungseinrichtung auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
• (19) Ein Programm zum Bewirken, dass ein Computer Folgendes ausführt:
  • eine Verarbeitung zum Extrahieren, auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts, von Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten.
• Bezugszeichenliste

1

Fahrzeug

61

Analyseeinheit

311

Kamera

312

Millimeterwellenradar

320

Erkennungssystem

321

Sensorfusionseinheit

322

Erkennungseinheit

331

LiDAR

332

CAN

340

Auswertungseinrichtung

341

Umwandlungseinheit

342

Extraktionseinheit

343

Vergleichseinheit

600

Informationsverarbeitungseinrichtung

620

Erste Informationsverarbeitungseinheit

621

Sensorfusionseinheit

622

Erkennungseinheit

640

Zweite Informationsverarbeitungseinheit

641

Umwandlungseinheit

642

Extraktionseinheit

643

Korrektureinheit

Claims (19)

1. Informationsverarbeitungseinrichtung, die Folgendes umfasst: eine Extraktionseinheit, die auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Extraktionseinheit eine Extraktionsbedingung der Sensordaten auf Grundlage des erkannten Objekts einstellt.
3. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, die einer Region entsprechen, die eine andere Objektregion für ein anderes Objekt in der Objektregion überlappt.
4. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, bei denen eine Differenz zwischen einer Geschwindigkeit des erkannten Objekts und einer Geschwindigkeit, die auf Grundlage einer Zeitreihenänderung der Sensordaten berechnet wurde, größer als eine vorbestimmte Geschwindigkeitsschwelle ist.
5. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Extraktionseinheit die Sensordaten aus einem Extraktionsziel ausschließt, bei denen ein Abstand zu dem erkannten Objekt größer als eine vorbestimmte Abstandsschwelle ist.
6. Informationsverarbeitungseinrichtung nach Anspruch 5, wobei die Extraktionseinheit die Abstandsschwelle gemäß dem erkannten Objekt einstellt.
7. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei die Kamera und der Entfernungsmesssensor an einem sich bewegenden Körper angebracht sind, und die Extraktionseinheit die Abstandsschwelle gemäß einer Bewegungsgeschwindigkeit des sich bewegenden Körpers ändert.
8. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem die Objektregion größer als ein vorbestimmter Bereich ist, die Extraktionseinheit nur Sensordaten, die einer näheren Umgebung eines Mittelpunkts der Objektregion entsprechen, als ein Extraktionsziel einstellt.
9. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei in einem Fall, in dem die Objektregion kleiner als ein vorbestimmter Bereich ist, die Extraktionseinheit Sensordaten, die der gesamten Objektregion entsprechen, als ein Extraktionsziel einstellt.
10. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem die der Objektregion entsprechenden Sensordaten in einer vorbestimmten Positionsbeziehung stehen, die Extraktionseinheit nur die Sensordaten, die einem Teil der Objektregion entsprechen, als ein Extraktionsziel einstellt.
11. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem die Objektregion höher als eine vorbestimmte Höhe in dem aufgenommenen Bild vorhanden ist, die Extraktionseinheit Sensordaten mehrerer Einzelbilder, die der Objektregion entsprechen, als ein Extraktionsziel einstellt.
12. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem eine Geschwindigkeitsdifferenz, die auf Grundlage einer Zeitreihenänderung in den Sensordaten zwischen einem oberen Teil und einem unteren Teil der Objektregion berechnet wird, größer als eine vorbestimmte Schwelle ist, die Extraktionseinheit die Sensordaten, die einem oberen Teil der Objektregion entsprechen, aus einem Extraktionsziel ausschließt.
13. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Extraktionseinheit Sensordaten mehrerer Einzelbilder, die der Objektregion entsprechen, gemäß dem Wetter als ein Extraktionsziel einstellt.
14. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Vergleichseinheit, die die durch die Extraktionseinheit extrahierten Sensordaten mit Abstandsinformationen vergleicht, die durch Sensorfusionsverarbeitung basierend auf dem aufgenommenen Bild und anderen Sensordaten erhalten werden.
15. Informationsverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Sensorfusionseinheit, die eine Sensorfusionsverarbeitung basierend auf dem aufgenommenen Bild und anderen Sensordaten durchführt; und eine Korrektureinheit, die Abstandsinformationen, die durch die Sensorfusionsverarbeitung erhalten wurden, auf Grundlage der durch die Extraktionseinheit extrahierten Sensordaten korrigiert.
16. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Entfernungsmesssensor ein LiDAR umfasst, und die Sensordaten Punktwolkendaten sind.
17. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Entfernungsmesssensor ein Millimeterwellenradar umfasst, und die Sensordaten Abstandsinformationen sind, die einen Abstand zu dem Objekt angeben.
18. Informationsverarbeitungsverfahren, wobei eine Informationsverarbeitungseinrichtung auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten extrahiert.
19. Programm zum Bewirken, dass ein Computer Folgendes ausführt: eine Verarbeitung zum Extrahieren, auf Grundlage eines in einem durch eine Kamera erhaltenen aufgenommenen Bild erkannten Objekts, von Sensordaten, die einer Objektregion entsprechen, die das Objekt in dem aufgenommenen Bild enthält, unter den durch einen Entfernungsmesssensor erhaltenen Sensordaten.

Images