DE112020006362T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren Download PDF

Info

Publication number
DE112020006362T5
DE112020006362T5 DE112020006362.3T DE112020006362T DE112020006362T5 DE 112020006362 T5 DE112020006362 T5 DE 112020006362T5 DE 112020006362 T DE112020006362 T DE 112020006362T DE 112020006362 T5 DE112020006362 T5 DE 112020006362T5
Authority
DE
Germany
Prior art keywords
sensor
data
image
unit
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020006362.3T
Other languages
English (en)
Inventor
Dai Matsunaga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112020006362T5 publication Critical patent/DE112020006362T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Das Ziel der vorliegenden Erfindung besteht darin, eine Reduzierung der Verarbeitungslast zu ermöglichen, wenn mehrere unterschiedliche Sensoren verwendet werden. Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung ist mit einer Erkennungsverarbeitungseinheit (15, 40b) ausgestattet, die eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchführt durch Hinzufügen, zu der Ausgabe eines ersten Sensors (23), von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die im Laufe einer Objekterkennungsverarbeitung basierend auf der Ausgabe eines zweiten Sensors (21), der sich vom ersten Sensor unterscheidet, detektiert wird.

Description

  • Gebiet
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungssystem, ein Informationsverarbeitungsprogramm und ein Informationsverarbeitungsverfahren.
  • Hintergrund
  • Technologien zum Detektieren eines Objekts mit einem Sensor wie etwa einem Bildsensor oder einem Millimeterwellenradar sind bekannt. Als Sensoren zum Detektieren eines Objekts gibt es Sensoren verschiedener Detektionsverfahren, und die Sensoren sind in manchen Fällen für unterschiedliche Situationen geeignet. Somit wurden Technologien zum Detektieren eines Objekts durch eine kombinierte Verwendung der Sensoren, die sich im Detektionsverfahren unterscheiden, vorgeschlagen.
  • Zitierliste
  • Patentliteratur
  • Patentliteratur 1: WO 17/057056 A
  • Kurzdarstellung
  • Technisches Problem
  • Im Gebrauch kann bei der Kombination mehrerer Sensoren, die sich im Detektionsverfahren unterscheiden, wenn eine Detektionsverarbeitung unter Verwendung aller Ausgaben der Sensoren durchgeführt wird, die Detektionsverarbeitungslast zunehmen. Um die Zunahme der Detektionsverarbeitungslast zu vermeiden, ist es möglich, ein Verfahren zu verwenden, bei dem ein Detektionsfenster für die Ausgabe der Sensoren festgelegt und der Umfang der Detektionsverarbeitung beschränkt wird. Das Verfahren zum Festlegen des Detektionsfensters ist jedoch nicht definiert worden.
  • Ein Ziel der vorliegenden Offenbarung liegt darin, eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungssystem, ein Informationsverarbeitungsprogramm und ein Informationsverarbeitungsverfahren bereitzustellen, die in der Lage sind, die Verarbeitungslast in einem Fall zu reduzieren, bei dem mehrere unterschiedliche Sensoren verwendet werden.
  • Lösung des Problems
  • Zum Lösen des oben beschriebenen Problems weist eine Informationsverarbeitungseinrichtung gemäß einem Aspekt der vorliegenden Offenbarung eine Erkennungsverarbeitungseinheit auf, die dazu ausgebildet ist, eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchzuführen durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das ein Beispiel für eine schematische Konfiguration eines Fahrzeugsteuersystems veranschaulicht.
    • 2 ist ein Funktionsblockdiagramm eines Beispiels zum Erläutern der Funktionen einer Fahrzeugaußeninformationen-Detektionseinheit in einem Fahrzeugsteuersystem.
    • 3 ist ein Diagramm, das ein Beispiel für die Konfiguration eines Objekterkennungsmodells veranschaulicht, das in einer Erkennungsverarbeitungseinheit verwendet wird.
    • 4 ist ein Blockdiagramm, das ein Beispiel für die Konfiguration eines Lernsystems veranschaulicht.
    • 5 ist ein Blockdiagramm, das ein Beispiel für die Hardwarekonfiguration einer Fahrzeugaußeninformationen-Detektionseinheit veranschaulicht, die bei jeder Ausführungsform gilt.
    • 6 ist ein Diagramm, das schematisch ein Objekterkennungsmodell gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • 7 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß einer ersten Ausführungsform veranschaulicht.
    • 8 ist ein Diagramm, das eine Konfiguration eines Beispiels für eine Kombiniereinheit gemäß der ersten Ausführungsform veranschaulicht.
    • 9 ist ein schematisches Diagramm zum Erläutern eines ersten Beispiels einer Aufmerksamkeitskarte gemäß einem Objekterkennungsmodell der ersten Ausführungsform.
    • 10 ist ein schematisches Diagramm zum Erläutern eines zweiten Beispiels einer Aufmerksamkeitskarte gemäß einem Objekterkennungsmodell der ersten Ausführungsform.
    • 11 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß einer zweiten Ausführungsform veranschaulicht.
    • 12 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß einer dritten Ausführungsform veranschaulicht.
    • 13 ist ein Diagramm, das eine Konfiguration eines Beispiels für eine Kombiniereinheit gemäß der dritten Ausführungsform veranschaulicht.
    • 14 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß einer vierten Ausführungsform veranschaulicht.
    • 15 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß einer fünften Ausführungsform veranschaulicht.
    • 16 ist ein Blockdiagramm eines Beispiels, das ein erstes Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß einer sechsten Ausführungsform veranschaulicht.
    • 17 ist ein Blockdiagramm eines Beispiels, das ein zweites Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht.
    • 18 ist ein Blockdiagramm eines Beispiels, das ein drittes Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht.
    • 19 ist ein Blockdiagramm eines Beispiels, das ein viertes Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht.
  • Beschreibung von Ausführungsformen
  • Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung ausführlich mit Bezug auf die Zeichnungen beschrieben. In den folgenden Ausführungsformen werden die gleichen Teile mit den gleichen Bezugsziffern bezeichnet, und eine wiederholte Erläuterung dieser Teile wird weggelassen.
  • Nachfolgend werden die Ausführungsformen der vorliegenden Offenbarung in der folgenden Reihenfolge beschrieben.
    1. 1. Für jede Ausführungsform geltende Technologie
      • 1-1. Beispiel für ein fahrzeugbefestigtes System
      • 1-2. Überblick der Funktionen
      • 1-3. Beispiel für die Hardwarekonfiguration
    2. 2. Überblick der Ausführungsformen der vorliegenden Offenbarung
    3. 3. Erste Ausführungsform
      • 3-1. Spezifische Beispiele
    4. 4. Zweite Ausführungsform
    5. 5. Dritte Ausführungsform
    6. 6. Vierte Ausführungsform
    7. 7. Fünfte Ausführungsform
    8. 8. Sechste Ausführungsform
      • 8-1. Erstes Beispiel
      • 8-2. Zweites Beispiel
      • 8-3. Drittes Beispiel
      • 8-4. Viertes Beispiel
      • 8-5. Fünftes Beispiel
      • 8-6. Sechstes Beispiel
  • [1. Für jede Ausführungsform geltende Technologie]
  • Vor der Beschreibung jeder Ausführungsform der vorliegenden Offenbarung wird eine für jede Ausführungsform der vorliegenden Offenbarung geltende Technologie für ein leichtes Verständnis beschrieben.
  • (1-1. Beispiel für ein fahrzeugbefestigtes System)
  • Zunächst wird schematisch ein fahrzeugbefestigtes System beschrieben, das für jede Ausführungsform der vorliegenden Offenbarung gilt. 1 ist ein Blockdiagramm, das ein Beispiel für eine schematische Konfiguration eines Fahrzeugsteuersystems veranschaulicht, das ein Beispiel des fahrzeugbefestigten Systems ist, das für jede Ausführungsform gemäß der vorliegenden Offenbarung gilt.
  • Ein Fahrzeugsteuersystem 12000 weist mehrere elektronische Steuereinheiten auf, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. In dem in 1 veranschaulichten Beispiel weist das Fahrzeugsteuersystem 12000 eine Fahrsystemsteuereinheit 12010, eine Karosseriesystemsteuereinheit 12020, eine Fahrzeugaußeninformationen-Detektionseinheit 10, eine Fahrzeuginneninformationen-Detektionseinheit 12040 und eine integrierte Steuereinheit 12050 auf. Ferner, als die Funktionskonfiguration der integrierten Steuereinheit 12050, sind ein Mikrocomputer 12051, eine Ton-/Bildausgabeeinheit 12052 und eine fahrzeugbefestigte Netzwerkschnittstelle (Netzwerk-Schn.) 12053 veranschaulicht.
  • Die Fahrsystemsteuereinheit 12010 steuert den Betrieb von Vorrichtungen, die dem Fahrsystem eines Fahrzeugs zugehörig sind, gemäß einer Vielfalt von Programmen. Beispielsweise fungiert die Fahrsystemsteuereinheit 12010 als eine Steuervorrichtung für eine Antriebskrafterzeugungseinheit, wie etwa einen Verbrennungsmotor und einen Antriebsmotor, die eine Antriebskraft des Fahrzeugs erzeugt, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, einen Lenkmechanismus zum Anpassen des Lenkwinkels des Fahrzeugs und eine Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs.
  • Die Karosseriesystemsteuereinheit 12020 steuert den Betrieb einer Vielfalt von Vorrichtungen, die in der Fahrzeugkarosserie eingerichtet sind, gemäß einer Vielfalt von Programmen. Beispielsweise fungiert die Karosseriesystemsteuereinheit 12020 als eine Steuervorrichtung für ein schlüsselloses Zugangssystem, ein Smart-Schlüssel-System, eine Fensterhebervorrichtung oder verschiedene Leuchten einschließlich eines Scheinwerfers, einer Rückleuchte, einer Bremsleuchte, eines Blinkers und einer Nebelleuchte. In einem solchen Fall empfängt die Karosseriesystemsteuereinheit 12020 eine Eingabe einer Funkwelle, die von einer mobilen Vorrichtung gesendet wird, die als ein Schlüssel fungiert, oder Signale der Schalter. Die Karosseriesystemsteuereinheit 12020 empfängt die Eingaben der Funkwelle oder der Signale zum Steuern einer Türverriegelungsvorrichtung, der Fensterhebervorrichtung, der Leuchten und so weiter des Fahrzeugs.
  • Die Fahrzeugaußeninformationen-Detektionseinheit 10 detektiert Informationen bezüglich der Außenseite des Fahrzeugs, an dem das Fahrzeugsteuersystem 12000 befestigt ist. Beispielsweise ist die Datenerfassungseinheit 20 mit der Fahrzeugaußeninformationen-Detektionseinheit 10 verbunden. In der Fahrzeugaußeninformationen-Detektionseinheit 10 weist die Datenerfassungseinheit 20 eine Vielfalt von Sensoren auf, mit denen die Situation außerhalb des Fahrzeugs zu überwachen ist. Beispielsweise kann die Datenerfassungseinheit 20 einen optischen Sensor aufweisen, der sichtbares Licht oder nicht sichtbares Licht wie etwa einen Infrarotstrahl empfängt und ein elektrisches Signal basierend auf der Menge an empfangenem Licht ausgibt, und die Fahrzeugaußeninformationen-Detektionseinheit 10 empfängt ein durch den optischen Sensor aufgenommenes Bild. Ferner kann die Datenerfassungseinheit 20 einen Sensor aufweisen, der die externe Situation in einem anderen Verfahren überwacht, wie etwa ein Millimeterwellenradar, Lichtdetektion und -entfernungsmessung oder Laserbelichtungsdetektion und -entfernungsmessung (LiDAR), oder einen Ultraschallsensor.
  • Die Datenerfassungseinheit 20 ist zum Beispiel in einer Bugnase eines Fahrzeugs 12100, einem Seitenspiegel davon, einem oberen Teil einer Frontscheibe innerhalb des Fahrzeugs oder dergleichen bereitgestellt, wobei ein Gebiet vor dem Fahrzeug als die Datenerfassungsrichtung angesehen wird. Die Fahrzeugaußeninformationen-Detektionseinheit 10 kann eine Abstandsdetektionsverarbeitung oder eine Detektionsverarbeitung eines Objekts wie etwa einer Person, eines Fahrzeugs, eines Hindernisses, eines Schildes oder eines Zeichens auf der Straßenoberfläche auf Basis von Ausgaben der Sensoren, die von der Datenerfassungseinheit 20 empfangen werden, durchführen.
  • Die Fahrzeuginneninformationen-Detektionseinheit 12040 detektiert Informationen bezüglich der Innenseite des Fahrzeugs. Beispielsweise ist eine Fahrerzustand-Detektionseinheit 12041 zum Detektieren des Zustands des Fahrers mit der Fahrzeuginneninformationen-Detektionseinheit 12040 verbunden. Die Fahrerzustand-Detektionseinheit 12041 weist zum Beispiel eine Kamera zum Aufnehmen eines Bildes des Fahrers auf, und die Fahrzeuginneninformationen-Detektionseinheit 12040 kann einen Ermüdungsgrad oder einen Konzentrationsgrad des Fahrers berechnen oder kann alternativ beurteilen, ob der Fahrer einschläft oder nicht, auf Basis von Detektionsinformationen, die von der Fahrerzustand-Detektionseinheit 12041 eingegeben werden.
  • Der Mikrocomputer 12051 kann einen Steuerzielwert der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung auf Basis von Fahrzeugaußeninformationen und Fahrzeuginneninformationen, die durch die Fahrzeugaußeninformationen-Detektionseinheit 10 oder die Fahrzeuginneninformationen-Detektionseinheit 12040 erfasst werden, berechnen und einen Steuerbefehl an die Fahrsystemsteuereinheit 12010 ausgeben. Beispielweise kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, die die Funktionen eines fortschrittlichen Fahrerassistenzsystems (ADAS) implementieren soll, einschließlich Kollisionsvermeidung oder Stoßunterdrückung für das Fahrzeug, Fahren hinter einem führenden Fahrzeug basierend auf einem Abstand zwischen Fahrzeugen, Fahren während des Beibehaltens einer Fahrzeuggeschwindigkeit, einer Kollisionswarnung des Fahrzeugs, einer Spurabweichungswarnung des Fahrzeugs und dergleichen.
  • Ferner kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, die ein automatisiertes Fahren erreichen soll, das heißt autonomes Fahren ohne einen durch eine Fahrer durchgeführte Bedienung durch Steuern der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung auf Basis der Informationen bezüglich der Umgebung des Fahrzeugs, die durch die Fahrzeugaußeninformationen-Detektionseinheit 10 oder die Fahrzeuginneninformationen-Detektionseinheit 12040 erfasst werden.
  • Der Mikrocomputer 12051 kann auch einen Steuerbefehl an die Karosseriesystemsteuereinheit 12020 auf Basis der durch die Fahrzeugaußeninformationen-Detektionseinheit 10 erfassten Fahrzeugaußeninformationen ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, die Blendung verhindern soll, wie etwa Wechseln von Fernlicht auf Abblendlicht durch Steuern des Scheinwerfers in Abhängigkeit von der Position eines führenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das durch die Fahrzeugaußeninformationen-Detektionseinheit 10 detektiert wird.
  • Die Ton-/Bildausgabeeinheit 12052 sendet, für eine Person an Bord des Fahrzeugs oder außerhalb des Fahrzeugs, ein Ausgabesignal eines Tons und/oder eines Bildes zu einer Ausgabevorrichtung, zu der visuelle oder auditive Informationen gesendet werden können. 1 stellt beispielhaft als die Ausgabevorrichtung einen Audiolautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 dar. Die Anzeigeeinheit 12062 kann zum Beispiel eine bordinterne Anzeige und/oder ein Head-Up-Display aufweisen.
  • (1-2. Überblick der Funktionen)
  • Als Nächstes wird ein Beispiel der Funktionen der Fahrzeugaußeninformationen-Detektionseinheit 10, die für jede Ausführungsformen der vorliegenden Offenbarung gelten, schematisch beschrieben.
  • 2 ist ein Funktionsblockdiagramm eines Beispiels zum Erläutern der Funktionen der Fahrzeugaußeninformationen-Detektionseinheit 10 in dem Fahrzeugsteuersystem 12000 von 1. In 2 weist die Datenerfassungseinheit 20 eine Kamera 21 und ein Millimeterwellenradar 23 auf. Die Fahrzeugaußeninformationen-Detektionseinheit 10 weist eine Informationsverarbeitungseinheit 11 auf. Die Informationsverarbeitungseinheit 11 weist eine Bildverarbeitungseinheit 12, eine Signalverarbeitungseinheit 13, eine geometrische Transformationseinheit 14 und eine Erkennungsverarbeitungseinheit 15 auf.
  • Die Kamera 21 weist einen Bildsensor 22 auf. Der Bildsensor 22 kann ein beliebiger Typ von Bildsensor sein, wie etwa ein CMOS-Bildsensor oder ein CCD-Bildsensor. Die Kamera 21 (der Bildsensor 22) nimmt ein Bild eines vor dem Fahrzeug, an dem das Fahrzeugsteuersystem 12000 befestigt ist, liegenden Gebiets auf und liefert das erhaltene Bild (nachfolgend als ein aufgenommenes Bild bezeichnet) an die Bildverarbeitungseinheit 12.
  • Das Millimeterwellenradar 23 erfasst das vor dem Fahrzeug liegende Gebiet, und der Erfassungsbereich und der Erfassungsbereich der Kamera 21 überlappen sich zumindest teilweise. Beispielsweise sendet das Millimeterwellenradar 23 ein Übertragungssignal einschließlich einer Millimeterwelle zu der Vorderseite des Fahrzeugs und empfängt, unter Verwendung einer Empfangsantenne, ein empfangenes Signal, das ein von einem vor dem Fahrzeug vorhandenen Objekt (Reflektor) reflektiertes Signal ist. Beispielsweise sind mehrere Empfangsantennen mit vorbestimmten Intervallen in die laterale Richtung (Breitenrichtung) des Fahrzeugs bereitgestellt. Ferner können auch mehrere Empfangsantennen in die Höhenrichtung bereitgestellt sein. Das Millimeterwellenradar 23 liefert der Signalverarbeitungseinheit 13 Daten (nachfolgend als Millimeterwellendaten bezeichnet), die chronologisch die Stärke eines empfangenen Signals angeben, das durch jede Empfangsantenne empfangen wird.
  • Es ist anzumerken, dass das Übertragungssignal des Millimeterwellenradars 23 in einem vorbestimmten Winkelbereich gescannt wird, zum Beispiel in einer zweidimensionalen Ebene, um einen fächerförmigen erfassten Bereich zu bilden. Dies wird in die vertikale Richtung gescannt, um eine Vogelperspektive mit dreidimensionalen Informationen zu erhalten.
  • Die Bildverarbeitungseinheit 12 führt eine vorbestimmte Bildverarbeitung an dem aufgenommenen Bild durch. Beispielsweise führt die Bildverarbeitungseinheit 12 eine Ausdünnungsverarbeitung, eine Filterverarbeitung oder dergleichen an Pixeln des aufgenommenen Bildes gemäß der Größe eines Bildes durch, das die Erkennungsverarbeitungseinheit 15 verarbeiten kann, und reduziert die Anzahl von Pixeln des aufgenommenen Bildes (reduziert die Auflösung). Die Bildverarbeitungseinheit 12 liefert das aufgenommene Bild mit gesenkter Auflösung (nachfolgend als ein Bild mit niedriger Auflösung bezeichnet) an die Erkennungsverarbeitungseinheit 15.
  • Die Signalverarbeitungseinheit 13 führt eine vorbestimmte Signalverarbeitung an den Millimeterwellendaten durch, um ein Millimeterwellenbild zu erzeugen, das ein Bild ist, das das Ergebnis der durch das Millimeterwellenradar 23 durchgeführten Erfassung angibt. Es ist anzumerken, dass die Signalverarbeitungseinheit 13 zum Beispiel ein Mehrkanal(Mehr-Kan.)-Millimeterwellenbild einschließlich eines Signalstärkebildes und eines Geschwindigkeitsbildes erzeugt. Das Signalstärkebild ist ein Millimeterwellenbild, das die Position jedes Objekts, das vor dem Fahrzeug vorhanden ist, und die Stärke eines Signals, das von jedem Objekt reflektiert wird (empfangenes Signal), angibt. Das Geschwindigkeitsbild ist ein Millimeterwellenbild, das die Position jedes Objekts, das vor dem Fahrzeug vorhanden ist, und eine relative Geschwindigkeit jedes Objekts zu dem Fahrzeug angibt.
  • Die geometrische Transformationseinheit 14 führt eine geometrische Transformation an dem Millimeterwellenbild durch, um das Millimeterwellenbild in ein Bild mit dem gleichen Koordinatensystem wie das des aufgenommenen Bildes zu transformieren. Mit anderen Worten transformiert die geometrische Transformationseinheit 14 das Millimeterwellenbild in ein Bild, das von dem gleichen Blickpunkt aus angesehen wird wie das aufgenommene Bild (nachfolgend als ein geometrisch transformiertes Millimeterwellenbild bezeichnet). Insbesondere transformiert die geometrische Transformationseinheit 14 das Koordinatensystem des Signalstärkebildes und des Geschwindigkeitsbildes vom Koordinatensystem des Millimeterwellenbildes zu dem Koordinatensystem des aufgenommenen Bildes. Es ist anzumerken, dass das Signalstärkebild und das Geschwindigkeitsbild, die der geometrischen Transformation unterzogen wurden, als ein geometrisch transformiertes Signalstärkebild bzw. ein geometrisch transformiertes Geschwindigkeitsbild bezeichnet werden. Die geometrische Transformationseinheit 14 liefert das geometrisch transformierte Signalstärkebild und das geometrisch transformierte Geschwindigkeitsbild an die Erkennungsverarbeitungseinheit 15.
  • Die Erkennungsverarbeitungseinheit 15 verwendet ein Erkennungsmodell, das im Voraus durch maschinelles Lernen erhalten wird, um eine Verarbeitung zum Erkennen eines Zielobjekts, das vor dem Fahrzeug vorhanden ist, auf Basis des Bildes mit niedriger Auflösung, des geometrisch transformierten Signalstärkebildes und des geometrisch transformierten Geschwindigkeitsbildes durchzuführen. Die Erkennungsverarbeitungseinheit 15 liefert Daten, die das Erkennungsergebnis des Zielobjekts angeben, über das Kommunikationsnetzwerk 12001 an die integrierte Steuereinheit 12050.
  • Es ist anzumerken, dass das Zielobjekt ein durch die Erkennungsverarbeitungseinheit 15 zu erkennendes Objekt ist, und ein beliebiges Objekt als das Zielobjekt festgelegt werden kann. Es ist jedoch wünschenswert, dass ein Objekt, das einen Abschnitt mit einem hohen Reflexionsgrad eines Übertragungssignals des Millimeterwellenradars 23 aufweist, als das Zielobjekt festgelegt wird. Nachfolgend wird der Fall, in dem das Zielobjekt ein Fahrzeug ist, als ein geeignetes Beispiel beschrieben.
  • 3 veranschaulicht ein Beispiel für die Konfiguration des Objekterkennungsmodells 40, das in der Erkennungsverarbeitungseinheit 15 verwendet wird.
  • Das Objekterkennungsmodell 40 ist ein Modell, das durch maschinelles Lernen erhalten wird. Insbesondere ist das Objekterkennungsmodell 40 ein Modell, das durch Deep Learning (tiefes Lernen) erhalten wird, das eine Art von maschinellem Lernen unter Verwendung eines tiefen neuronalen Netzwerks ist. Genauer gesagt weist das Objekterkennungsmodell 40 einen Single-Shot-Multibox-Detektor (SSD) auf, der eines der Objekterkennungsmodelle ist, die das tiefe neuronale Netzwerk verwenden. Das Objekterkennungsmodell 40 weist eine Merkmalsmengenextraktionseinheit 44 und eine Erkennungseinheit 45 auf.
  • Die Merkmalsmengenextraktionseinheit 44 weist eine Merkmalsextraktionsschicht 41a bis zu einer Merkmalsextraktionsschicht 41c, die Faltungsschichten sind, die ein faltendes neuronales Netzwerk verwenden, und eine Additionseinheit 42 auf. Die Merkmalsextraktionsschicht 41a extrahiert eine Merkmalsmenge eines aufgenommenen Bildes Pa, um eine Merkmalskarte zu erzeugen, die die Verteilung der Merkmalsmenge zweidimensional repräsentiert (nachfolgend als eine Aufgenommenes-Bild-Merkmalskarte bezeichnet). Die Merkmalsextraktionsschicht 41a liefert die Aufgenommenes-Bild-Merkmalskarte an die Additionseinheit 42.
  • Die Merkmalsextraktionsschicht 41b extrahiert eine Merkmalsmenge eines geometrisch transformierten Signalstärkebildes Pb, um eine Merkmalskarte zu erzeugen, die die Verteilung der Merkmalsmenge zweidimensional repräsentiert (nachfolgend als eine Signalstärkebild-Merkmalskarte bezeichnet). Die Merkmalsextraktionsschicht 41b liefert die Signalstärkebild-Merkmalskarte an die Additionseinheit 42.
  • Die Merkmalsextraktionsschicht 41c extrahiert eine Merkmalsmenge eines geometrisch transformierten Geschwindigkeitsbildes Pc, um eine Merkmalskarte zu erzeugen, die die Verteilung der Merkmalsmenge zweidimensional repräsentiert (nachfolgend als eine Geschwindigkeitsbild-Merkmalskarte bezeichnet). Die Merkmalsextraktionsschicht 41c liefert die Geschwindigkeitsbild-Merkmalskarte an die Additionseinheit 42.
  • Die Additionseinheit 42 addiert die Aufgenommenes-Bild-Merkmalskarte, die Signalstärkebild-Merkmalskarte und die Geschwindigkeitsbild-Merkmalskarte miteinander, um eine kombinierte Merkmalskarte zu erzeugen. Die Additionseinheit 42 liefert die kombinierte Merkmalskarte zu der Erkennungseinheit 45.
  • Die Erkennungseinheit 45 weist ein faltendes neuronales Netzwerk auf. Insbesondere weist die Erkennungseinheit 45 eine Faltungsschicht 43a bis zu einer Faltungsschicht 43c auf.
  • Die Faltungsschicht 43a führt eine Faltungsoperation an der kombinierten Merkmalskarte durch. Die Faltungsschicht 43a führt eine Verarbeitung zum Erkennen des Zielobjekts auf Basis der kombinierten Merkmalskarte durch, an der die Faltungsoperation durchgeführt wurde. Die Faltungsschicht 43a liefert der Faltungsschicht 43b die kombinierte Merkmalskarte, an der die Faltungsoperation durchgeführt wurde.
  • Die Faltungsschicht 43b führt eine Faltungsoperation an der kombinierten Merkmalskarte durch, die durch die Faltungsschicht 43a bereitgestellt wird. Die Faltungsschicht 43b führt eine Verarbeitung zum Erkennen des Zielobjekts auf Basis der kombinierten Merkmalskarte durch, an der die Faltungsoperation durchgeführt wurde. Die Faltungsschicht 43a liefert der Faltungsschicht 43c die kombinierte Merkmalskarte, an der die Faltungsoperation durchgeführt wurde.
  • Die Faltungsschicht 43c führt eine Faltungsoperation an der kombinierten Merkmalskarte durch, die durch die Faltungsschicht 43b bereitgestellt wird. Die Faltungsschicht 43b führt eine Verarbeitung zum Erkennen des Zielobjekts auf Basis der kombinierten Merkmalskarte durch, an der die Faltungsoperation durchgeführt wurde.
  • Das Objekterkennungsmodell 40 gibt Daten aus, die ein Ergebnis der Erkennung des Zielobjekts angeben, die durch die Faltungsschicht 43a bis zur Faltungsschicht 43c durchgeführt wird.
  • Es ist anzumerken, dass die Größe (die Anzahl von Pixeln) der kombinierten Merkmalskarte in der Reihenfolge von der Faltungsschicht 43a abnimmt, und die kleinste in der Faltungsschicht 43c ist. Ferner nimmt bei zunehmender Größe der kombinierten Merkmalskarte die Erkennungsgenauigkeit eines Zielobjekts mit einer kleinen Größe, wie vom Fahrzeug (Kamera) aus gesehen, zu, und nimmt bei abnehmender Größe der kombinierten Merkmalskarte die Erkennungsgenauigkeit eines Zielobjekts mit einer großen Größe, wie vom Fahrzeug aus gesehen, zu. Somit wird, zum Beispiel in einem Fall, bei dem das Zielobjekt ein Fahrzeug ist, ein kleines Fahrzeug an einem entfernten Ort leicht in der kombinierten Merkmalskarte mit einer großen Größe erkannt, und ein großes naheliegendes Fahrzeug wird leicht in der kombinierten Merkmalskarte mit einer kleinen Größe erkannt.
  • 4 ist ein Blockdiagramm, das ein Beispiel für die Konfiguration eines Lernsystems 30 veranschaulicht. Das Lernsystem 30 führt eine Lernverarbeitung an dem Objekterkennungsmodell 40 von 3 durch. Das Lernsystem 30 weist eine Eingabeeinheit 31, eine Bildverarbeitungseinheit 32, eine Richtige-Antwort-Datenerzeugungseinheit 33, eine Signalverarbeitungseinheit 34, eine geometrische Transformationseinheit 35, eine Trainingsdatenerzeugungseinheit 36 und eine Lerneinheit 37 auf.
  • Die Eingabeeinheit 31 weist verschiedene Eingabevorrichtungen auf und wird zur Eingabe von Daten verwendet, die zum Erzeugen von Trainingsdaten, einer Benutzerbedienung und so weiter notwendig sind. Beispielsweise in einem Fall, bei dem ein aufgenommenes Bild eingegeben wird, liefert die Eingabeeinheit 31 das aufgenommene Bild an die Bildverarbeitungseinheit 32. Beispielsweise in einem Fall, bei dem Millimeterwellendaten eingegeben werden, liefert die Eingabeeinheit 31 die Millimeterwellendaten an die Signalverarbeitungseinheit 34. Beispielsweise liefert die Eingabeeinheit 31 der Richtige-Antwort-Datenerzeugungseinheit 33 und der Trainingsdatenerzeugungseinheit 36 Daten, die eine Anweisung eines Benutzers angeben, die durch eine durch den Benutzer durchgeführten Operation eingegeben wird.
  • Die Bildverarbeitungseinheit 32 führt eine Verarbeitung ähnlich zu der durch die Bildverarbeitungseinheit 12 von 2 durchgeführten Verarbeitung durch. Insbesondere führt die Bildverarbeitungseinheit 32 eine vorbestimmte Bildverarbeitung an einem aufgenommenen Bild durch, um ein Bild mit niedriger Auflösung zu erzeugen. Die Bildverarbeitungseinheit 32 liefert das Bild mit niedriger Auflösung an die Richtige-Antwort-Datenerzeugungseinheit 33 und die Trainingsdatenerzeugungseinheit 36.
  • Die Richtige-Antwort-Datenerzeugungseinheit 33 erzeugt Richtige-Antwort-Daten auf Basis des Bildes mit niedriger Auflösung. Beispielsweise designiert der Benutzer einen Ort eines Fahrzeugs in dem Bild mit niedriger Auflösung durch die Eingabeeinheit 31. Die Richtige-Antwort-Datenerzeugungseinheit 33 erzeugt Richtige-Antwort-Daten, die den Ort des Fahrzeugs in dem Bild mit niedriger Auflösung angeben, auf Basis des Ortes des Fahrzeugs, der durch den Benutzer designiert wird. Die Richtige-Antwort-Datenerzeugungseinheit 33 liefert die Richtige-Antwort-Daten an die Trainingsdatenerzeugungseinheit 36.
  • Die Signalverarbeitungseinheit 34 führt eine Verarbeitung ähnlich zu der durch die Signalverarbeitungseinheit 13 von 2 durchgeführten Verarbeitung durch. Insbesondere führt die Signalverarbeitungseinheit 34 eine vorbestimmte Signalverarbeitung an den Millimeterwellendaten durch, um ein Signalstärkebild und ein Geschwindigkeitsbild zu erzeugen. Die Signalverarbeitungseinheit 34 liefert das Signalstärkebild und das Geschwindigkeitsbild an die geometrische Transformationseinheit 35.
  • Die geometrische Transformationseinheit 35 führt eine Verarbeitung ähnlich zu der durch die geometrische Transformationseinheit 14 von 2 durchgeführten Verarbeitung durch. Insbesondere führt die geometrische Transformationseinheit 35 eine geometrische Transformation an dem Signalstärkebild und dem Geschwindigkeitsbild durch. Die geometrische Transformationseinheit 35 liefert das geometrisch transformierte Signalstärkebild und das geometrisch transformierte Geschwindigkeitsbild, die der geometrischen Transformation unterzogen wurden, an die Trainingsdatenerzeugungseinheit 36.
  • Die Trainingsdatenerzeugungseinheit 36 erzeugt Eingabedaten einschließlich des Bildes mit niedriger Auflösung, des geometrisch transformierten Signalstärkebildes und des geometrisch transformierten Geschwindigkeitsbildes und Trainingsdaten einschließlich der Richtige-Antwort-Daten. Die Trainingsdatenerzeugungseinheit 36 liefert die Trainingsdaten an die Lerneinheit 37.
  • Die Lerneinheit 37 verwendet die Trainingsdaten, um eine Lernverarbeitung an dem Objekterkennungsmodell 40 durchzuführen. Die Lerneinheit 37 gibt das angelernte Objekterkennungsmodell 40 aus.
  • Hier wird die Lernverarbeitung an einem Objekterkennungsmodell beschrieben, die durch das Lernsystem 30 durchgeführt wird.
  • Es ist anzumerken, dass vor dem Start der Verarbeitung Daten gesammelt werden, die zum Erzeugen von Trainingsdaten verwendet werden. Beispielsweise in einem Zustand, bei dem das Fahrzeug tatsächlich fährt, führen die Kamera 21 und das Millimeterwellenradar 23, die im Fahrzeug bereitgestellt sind, eine Erfassung bezüglich eines vor dem Fahrzeug liegenden Gebiets durch. Insbesondere nimmt die Kamera 21 ein Bild des vor dem Fahrzeug liegenden Gebiets auf und speichert das somit erhaltene, aufgenommene Bild in eine Speicherungseinheit. Das Millimeterwellenradar 23 detektiert ein vor dem Fahrzeug vorhandenes Objekt und speichert die somit erhaltenen Millimeterwellendaten in der Speicherungseinheit. Die Trainingsdaten werden auf Basis des aufgenommenen Bildes und der Millimeterwellendaten, die in der Speicherungseinheit angesammelt werden, erzeugt.
  • Zunächst erzeugt das Lernsystem 30 Trainingsdaten. Beispielsweise gibt der Benutzer über die Eingabeeinheit 31 das aufgenommene Bild und die Millimeterwellendaten, die im Wesentlichen gleichzeitig erfasst werden, in das Lernsystem 30 ein. Mit anderen Worten werden das aufgenommene Bild und die Millimeterwellendaten, die durch Durchführen der Erfassung zu einem im Wesentlichen gleichen Zeitpunkt erhalten werden, in das Lernsystem 30 eingegeben. Das aufgenommene Bild wird an die Bildverarbeitungseinheit 32 geliefert und die Millimeterwellendaten werden an die Signalverarbeitungseinheit 34 geliefert.
  • Die Bildverarbeitungseinheit 32 führt eine Bildverarbeitung wie etwa die Ausdünnungsverarbeitung an dem aufgenommenen Bild durch, um ein Bild mit niedriger Auflösung zu erzeugen. Die Bildverarbeitungseinheit 32 liefert das Bild mit niedriger Auflösung an die Richtige-Antwort-Datenerzeugungseinheit 33 und die Trainingsdatenerzeugungseinheit 36.
  • Die Signalverarbeitungseinheit 34 führt eine vorbestimmte Signalverarbeitung an den Millimeterwellendaten durch, um die Position und Geschwindigkeit des Objekts, das das Übertragungssignal reflektiert hat, vor dem Fahrzeug zu schätzen. Die Position des Objekts wird zum Beispiel durch einen Abstand vom Fahrzeug zu dem Objekt und eine Richtung (Winkel) des Objekts bezüglich einer optischen Achsenrichtung (Fahrtrichtung des Fahrzeugs) des Millimeterwellenradars 23 repräsentiert. Es ist anzumerken, dass die optische Achsenrichtung des Millimeterwellenradars 23 gleich der Mittenrichtung des Bereichs ist, in den das Übertragungssignal ausgestrahlt wird, zum Beispiel in einem Fall, bei dem das Übertragungssignal radial übertragen wird, und ist gleich der Mittenrichtung des Bereichs, in dem das Übertragungssignal gescannt wird, in einem Fall, bei dem das Übertragungssignal gescannt wird. Die Geschwindigkeit des Objekts wird zum Beispiel durch eine relative Geschwindigkeit des Objekts zu dem Fahrzeug repräsentiert.
  • Die Signalverarbeitungseinheit 34 erzeugt ein Signalstärkebild und ein Geschwindigkeitsbild auf Basis eines Ergebnisses der Schätzung der Position und Geschwindigkeit des Objekts. Die Signalverarbeitungseinheit 34 liefert das Signalstärkebild und das Geschwindigkeitsbild an die geometrische Transformationseinheit 35. Obwohl nicht veranschaulicht, ist das Geschwindigkeitsbild ein Bild, das die Position des vor dem Fahrzeug vorhandenen Objekts und die Verteilung der relativen Geschwindigkeit jedes Objekts in einer Vogelperspektive ähnlich zu dem Signalstärkebild zeigt.
  • Die geometrische Transformationseinheit 35 führt eine geometrische Transformation an dem Signalstärkebild und dem Geschwindigkeitsbild durch und transformiert das Signalstärkebild und das Geschwindigkeitsbild in ein Bild mit dem gleichen Koordinatensystem wie das des aufgenommenen Bildes, und erzeugt dadurch ein geometrisch transformiertes Signalstärkebild und ein geometrisch transformiertes Geschwindigkeitsbild. Die geometrische Transformationseinheit 35 liefert das geometrisch transformierte Signalstärkebild und das geometrisch transformierte Geschwindigkeitsbild an die Trainingsdatenerzeugungseinheit 36.
  • In dem geometrisch transformierten Signalstärkebild ist ein Abschnitt mit einer höheren Signalstärke heller und ist ein Abschnitt mit einer niedrigeren Signalstärke dunkler. In dem geometrisch transformierten Geschwindigkeitsbild ist ein Abschnitt mit einer höheren relativen Geschwindigkeit heller, ist ein Abschnitt mit einer niedrigeren relativen Geschwindigkeit dunkler und ist ein Abschnitt, in dem die relative Geschwindigkeit nicht detektierbar ist (kein Objekt vorhanden ist), in schwarz eingefüllt. Wie oben beschrieben, repräsentiert die geometrische Transformation an dem Millimeterwellenbild (dem Signalstärkebild und dem Geschwindigkeitsbild) nicht nur die Position des Objekts in die Querrichtung und die Tiefenrichtung, sondern auch die Position des Objekts in die Höhenrichtung.
  • Die Auflösung des Millimeterwellenradars 23 in die Höhenrichtung nimmt jedoch bei zunehmendem Abstand ab. Somit wird die Höhe eines weit entfernten Objekts manchmal als größer als die tatsächliche Höhe detektiert.
  • Im Gegensatz dazu, in einem Fall einer geometrischen Transformation an dem Millimeterwellenbild, beschränkt die geometrische Transformationseinheit 35 die Höhe des Objekts, das einen vorbestimmten Abstand oder mehr entfernt vorhanden ist. Insbesondere in dem Fall einer geometrischen Transformation an dem Millimeterwellenbild, in einem Fall, bei dem die Höhe des Objekts, das einen vorbestimmten Abstand oder mehr entfernt vorhanden ist, einen vorbestimmten oberen Grenzwert überschreitet, beschränkt die geometrische Transformationseinheit 35 die Höhe des Objekts auf den oberen Grenzwert und führt die geometrische Transformation durch. Dies verhindert zum Beispiel in einem Fall, bei dem das Zielobjekt ein Fahrzeug ist, das Auftreten einer fehlerhaften Erkennung aufgrund der Detektion der Höhe eines Fahrzeugs an einem entfernten Ort als größer als die tatsächliche Höhe.
  • Die Trainingsdatenerzeugungseinheit 36 erzeugt Eingabedaten einschließlich des aufgenommenen Bildes, des geometrisch transformierten Signalstärkebildes und des geometrisch transformierten Geschwindigkeitsbildes und Trainingsdaten einschließlich der Richtige-Antwort-Daten. Die Trainingsdatenerzeugungseinheit 36 liefert die somit erzeugten Trainingsdaten an die Lerneinheit 37.
  • Als Nächstes bewirkt die Lerneinheit 37, dass das Objekterkennungsmodell 40 Lernen durchführt. Insbesondere gibt die Lerneinheit 37 die in den Trainingsdaten enthaltenen Eingabedaten in das Objekterkennungsmodell 40 ein. Das Objekterkennungsmodell 40 führt eine Verarbeitung zum Erkennen des Zielobjekts durch, um Daten auszugeben, die ein Ergebnis der Erkennung angeben. Die Lerneinheit 37 vergleicht das Ergebnis der Erkennung des Objekterkennungsmodells 40 mit den Richtige-Antwort-Daten und passt Parameter und dergleichen des Objekterkennungsmodells 40 an, sodass der Fehler reduziert wird.
  • Als Nächstes bestimmt die Lerneinheit 37, ob das Lernen kontinuierlich durchgeführt werden soll oder nicht. Beispielsweise in einem Fall, bei dem das durch das Objekterkennungsmodell 40 durchgeführte Lernen nicht geendet hat, bestimmt die Lerneinheit 37, dass das Lernen kontinuierlich durchgeführt werden soll, und die Verarbeitung kehrt zu der am Anfang durchgeführten Lerndatenerzeugungsverarbeitung zurück. Danach wird jede oben beschriebene Verarbeitung wiederholt ausgeführt, bis bestimmt wird, dass das Lernen zu beenden ist.
  • Andererseits, infolge der Bestimmung durch die Lerneinheit 37, zum Beispiel in einem Fall, bei dem das Lernen durch das Objekterkennungsmodell 40 geendet hat, bestimmt die Lerneinheit 37, dass das Lernen zu beenden ist, und die Objekterkennungsmodell-Lernverarbeitung wird beendet. Wie oben beschrieben, wird das Objekterkennungsmodell 40 erzeugt, das Lernen durchgeführt hat.
  • (1-3. Beispiel für die Hardwarekonfiguration)
  • Die Beschreibung geht zu einem Beispiel der Hardwarekonfiguration der Fahrzeugaußeninformationen-Detektionseinheit 10 über, die für jede Ausführungsformen der vorliegenden Offenbarung gilt. 5 ist ein Blockdiagramm, das ein Beispiel für die Hardwarekonfiguration der Fahrzeugaußeninformationen-Detektionseinheit 10 veranschaulicht, die bei jeder Ausführungsform gilt. In 5 weist die Fahrzeugaußeninformationen-Detektionseinheit 10 eine Zentralverarbeitungseinheit (CPU) 400, einen Nurlesespeicher (ROM) 401, einen Direktzugriffsspeicher (RAM) 402 und Schnittstellen (Schn.) 403, 404 und 405 auf, die über einen Bus 410 zur Kommunikation miteinander verbunden sind. Es ist anzumerken, dass die Fahrzeugaußeninformationen-Detektionseinheit 10 ferner eine Speicherungsvorrichtung wie etwa einen Flash-Speicher aufweisen kann.
  • Die CPU 400 steuert den gesamten Betrieb der Fahrzeugaußeninformationen-Detektionseinheit 10 unter Verwendung des RAM 402 als einen Arbeitsspeicher gemäß einem Programm oder Daten, die im Voraus im ROM 401 gespeichert werden. Hier speichert der ROM 401 oder der RAM 402 im Voraus das Programm und die Daten zum Implementieren des Objekterkennungsmodells 40, das mit Bezug auf die 2 bis 4 beschrieben ist. Das Programm wird durch die CPU 400 ausgeführt, die das Objekterkennungsmodell 40 in der Fahrzeugaußeninformationen-Detektionseinheit 10 konstruiert.
  • Die Schnittstelle 403 ist eine Schnittstelle zum Verbinden der Kamera 21. Die Schnittstelle 404 ist eine Schnittstelle zum Verbinden des Millimeterwellenradars 23. Die Fahrzeugaußeninformationen-Detektionseinheit 10 steuert die Kamera 21 und das Millimeterwellenradar 23 über die Schnittstellen 403 und 404 und erfasst aufgenommene Bilddaten (nachfolgend als Bilddaten bezeichnet), die durch die Kamera 21 aufgenommen werden, und Millimeterwellendaten, die durch das Millimeterwellenradar 23 erfasst werden. Die Fahrzeugaußeninformationen-Detektionseinheit 10 führt eine Verarbeitung zum Erkennen eines Objekts durch Anwenden, als die Eingabedaten, der Bilddaten und der Millimeterwellendaten an dem Objekterkennungsmodell 40 aus.
  • In 5 ist die Schnittstelle 405 eine Schnittstelle zum Durchführen einer Kommunikation zwischen der Fahrzeugaußeninformationen-Detektionseinheit 10 und dem Kommunikationsnetzwerk 12001. Die Fahrzeugaußeninformationen-Detektionseinheit 10 sendet Informationen, die das Ergebnis der durch das Objekterkennungsmodell 40 ausgegebenen Objekterkennung angeben, von der Schnittstelle 405 an das Kommunikationsnetzwerk 12001.
  • [2. Überblick der Ausführungsformen der vorliegenden Offenbarung]
  • Die Beschreibung geht zu einem Überblick der Ausführungsformen der vorliegenden Offenbarung über. In jeder Ausführungsform der vorliegenden Offenbarung wird ein Detektionsfenster zum Detektieren des Zielobjekts auf Basis einer Ausgabe eines ersten Sensors zum Detektieren des Zielobjekts auf Basis einer Ausgabe eines zweiten Sensors zum Detektieren des Zielobjekts auf eine Weise, die sich von der des ersten Sensors unterscheidet, festgelegt und die Verarbeitung zum Erkennen des Zielobjekts wird auf Basis einer Ausgabe eines Gebiets entsprechend dem Detektionsfenster in der Ausgabe des zweiten Sensors durchgeführt.
  • 6 ist ein Diagramm, das schematisch das Objekterkennungsmodell 40 gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. In einem Objekterkennungsmodell 40a werden Bilddaten 100, die von der Kamera 21 erfasst werden, in eine Merkmalsextraktionsschicht 110 eingegeben. Ferner werden Millimeterwellenbilddaten 200 basierend auf dem vom Millimeterwellenradar 23 erfassten Millimeterwellenbild in eine Merkmalsextraktionsschicht 210 eingegeben.
  • Die in das Objekterkennungsmodell 40a eingegebenen Bilddaten 110 werden in Daten, die eine Merkmalsmenge von 1 Kan. oder mehr aufweisen, zum Beispiel in der Bildverarbeitungseinheit 12 geformt. Die Bilddaten 100 sind Daten, in denen Merkmale durch die Merkmalsextraktionsschicht 110 im Objekterkennungsmodell 40a extrahiert werden, die Größe bei Bedarf geändert wird und Kan. der Merkmalsmenge hinzugefügt wird. Die Bilddaten 100, von denen Merkmale durch die Merkmalsextraktionsschicht 110 extrahiert werden, werden einer Faltungsverarbeitung in einer Objekterkennungsschicht 120 unterzogen, und mehrere Sätze von Objekterkennungsschichtdaten, die sequenziell gefaltet sind, werden erzeugt.
  • Das Objekterkennungsmodell 40a erzeugt eine Aufmerksamkeitskarte 130 auf Basis der mehreren Sätze von Objekterkennungsschichtdaten. Die Aufmerksamkeitskarte 130 weist zum Beispiel Informationen auf, die ein Detektionsfenster zum Beschränken eines Zielgebiets für die Objekterkennung bezüglich eines in den Bilddaten 100 angegebenen Bereichs angeben. Die somit erzeugte Aufmerksamkeitskarte 130 wird in eine Multiplikationseinheit 220 eingegeben.
  • Im Gegensatz dazu werden die in das Objekterkennungsmodell 40a eingegebenen Millimeterwellenbilddaten 200 in Daten, die eine Merkmalsmenge von 1 Kan. oder mehr aufweisen, zum Beispiel durch die Signalverarbeitungseinheit 13 und die geometrische Transformationseinheit 14 geformt. Die Millimeterwellenbilddaten 200 sind Daten, in denen Merkmale durch die Merkmalsextraktionsschicht 210 im Objekterkennungsmodell 40a extrahiert werden, die Größe bei Bedarf geändert wird (zum Beispiel die Größe auf die gleiche wie die der Bilddaten 100 gesetzt wird) und Kan. der Merkmalsmenge hinzugefügt wird. Die Millimeterwellenbilddaten 200 jedes Kan., von dem Merkmale durch die Merkmalsextraktionsschicht extrahiert werden, werden in die Multiplikationseinheit 220 eingegeben und werden für jedes Pixel mit der Aufmerksamkeitskarte 130 multipliziert. Infolgedessen wird ein Bereich, in dem die Objekterkennung durchgeführt wird, in den Millimeterwellenbilddaten 200 beschränkt. Ferner wird die Ausgabe der Multiplikationseinheit 220 in eine Additionseinheit 221 eingegeben und die Ausgabe der Merkmalsextraktionsschicht 210 wird addiert. Die Ausgabe der Additionseinheit 221 wird in die Objekterkennungsschicht 230 eingegeben und der Faltungsverarbeitung unterzogen.
  • Wie oben beschrieben, wird die Objekterkennungsverarbeitung an dem durch die Aufmerksamkeitskarte 130 beschränkten Gebiet durchgeführt, was zu der Reduzierung der Verarbeitungsmenge der Objekterkennungsverarbeitung führt.
  • Es ist anzumerken, dass die Verarbeitungsgeschwindigkeit durch das Verwenden von Daten über ein vergangenes Frame 101 als die Bilddaten 100 erhöht werden kann.
  • [3. Erste Ausführungsform]
  • Die Beschreibung geht zu der ersten Ausführungsform der vorliegenden Offenbarung über. 7 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß der ersten Ausführungsform veranschaulicht. Mit Bezug auf 7 ist in einem Objekterkennungsmodell 40b eine Verarbeitung in den Merkmalsextraktionsschichten 110 und 210 und der Objekterkennungsschichten 120 und 230, die auf der linken Seite von 7 veranschaulicht sind, äquivalent zu der in 6, und somit wird eine Beschreibung davon hierin weggelassen.
  • 7 veranschaulicht schematisch, auf der rechten Seite davon, die Objekterkennungsschicht 230 basierend auf den Millimeterwellenbilddaten 200 und die Objekterkennungsschicht 120 basierend auf den Bilddaten 100. Die Objekterkennungsschicht 230 weist Sätze von Objekterkennungsschichtdaten 2300, 2301, 2302, 2303, 2304, 2305 und bis 2306 auf, die sequenziell auf Basis der Millimeterwellenbilddaten 200 gefaltet werden. Ferner weist die Objekterkennungsschicht 120 Sätze von Objekterkennungsschichtdaten 1200, 1201, 1202, 1203, 1204, 1205 und 1206 auf, die sequenziell auf Basis der Bilddaten 100 gefaltet werden.
  • Es ist anzumerken, dass in der folgenden Beschreibung in einem Fall, bei dem es nicht notwendig ist, insbesondere die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 voneinander zu unterscheiden, Objekterkennungsschichtdaten 120x als eine Repräsentation beschrieben sind. Gleichermaßen in einem Fall, bei dem es nicht notwendig ist, insbesondere die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 voneinander zu unterscheiden, sind Objekterkennungsschichtdaten 230x als eine Repräsentation beschrieben.
  • In 7 sind spezifische Beispiele der Objekterkennungsschichtdaten 1200 bis 1207 als Schichtbilder (Schicht) #0, #1, #2, #3, #4, #5 und #6 entsprechend der Aufmerksamkeitskarte veranschaulicht. Obwohl die Einzelheiten später beschrieben sind, zeigen weiße Abschnitte der Schichtbilder #1 und #2 der Schichtbilder Detektionsfenster.
  • Das heißt, die Objekterkennungsschicht 120 erhält eine Objektwahrscheinlichkeit auf Basis der Merkmale der Schichtbilder #0, #1, #2, #3, #4, # 5 und #6 und bestimmt ein Gebiet mit einer somit erhaltenen hohen Objektwahrscheinlichkeit. Die Objekterkennungsschicht 120 erhält zum Beispiel für das Schichtbild #1 eine Objektwahrscheinlichkeit auf Basis der Pixelinformationen. Dann wird die erhaltene Objektwahrscheinlichkeit mit einer Schwelle verglichen und ein Gebiet wird bestimmt, in dem die Objektwahrscheinlichkeit höher ist als die Schwelle. In dem Beispiel von 7 gibt ein Gebiet, das im Schichtbild #1 in weiß gezeigt ist, ein Gebiet mit der Objektwahrscheinlichkeit höher als die Schwelle an. Die Objekterkennungsschicht 120 erzeugt Gebietsinformationen, die das Gebiet angeben. Die Gebietsinformationen weisen Informationen, die eine Position im Schichtbild #1 angeben, und einen Wert, der die Objektwahrscheinlichkeit an der Position angibt, auf. Die Objekterkennungsschicht 120 legt ein Detektionsfenster auf Basis des in den Gebietsinformationen angegebenen Gebiets fest und erzeugt eine Aufmerksamkeitskarte.
  • Hier wird die Größe der Sätze von Objekterkennungsschichtdaten 1200 bis 1206 sequenziell durch Faltung reduziert. Beispielsweise wird in dem Beispiel von 7 die Größe des Schichtbildes #0 (Objekterkennungsschichtdaten 1200) auf 1/2 durch Faltung für eine Schicht gesetzt. Beispielsweise unter der Annahme, dass die Größe des Schichtbildes #0 640 Pixel × 384 Pixel beträgt, beträgt die Größe des Schichtbildes #6 1 Pixel × 1 Pixel durch Faltung (und Formungsverarbeitung) von sieben Schichten.
  • Wie oben beschrieben, kann ein Schichtbild mit einer kleinen Anzahl von Faltungen und einer größeren Größe ein kleineres (entferntes) Zielobjekt detektieren, und ein Schichtbild mit einer großen Anzahl von Faltungen und einer kleinen Größe kann ein größeres (näher liegendes) Zielobjekt detektieren. Das gleiche gilt für die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 basierend auf den Millimeterwellendaten.
  • Ein Schichtbild mit einer großen Anzahl von Faltungen und einer kleinen Anzahl von Pixeln oder ein Schichtbild mit einer kleinen Anzahl von Faltungen, in dem ein Objekt als ein kleines Objekt erkannt wird, ist in manchen Fällen nicht zur Verwendung bei der Objekterkennungsverarbeitung geeignet. Daher kann in dem Beispiel von 7 die Aufmerksamkeitskarte unter Verwendung der Anzahl von Schichtbildern (zum Beispiel drei Schichten der Schichtbilder #1 bis #3) gemäß dem Zweck erzeugt werden, anstatt die Aufmerksamkeitskarte für alle sieben Schichten zu erzeugen.
  • Die Sätze von Objekterkennungsschichtdaten 1200 bis 1207 werden in die entsprechenden Kombiniereinheiten 300 eingegeben. Ferner werden die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 basierend auf den Millimeterwellenbilddaten 200 in die entsprechenden Kombiniereinheiten 300 eingegeben. Die Kombiniereinheiten 300 kombinieren die somit eingegebenen Sätze von Objekterkennungsschichtdaten 1200 bis 1207 und Sätze von Objekterkennungsschichtdaten 2300 bis 2306, um kombinierte Objekterkennungsschichtdaten 3100 bis 3106 zu erzeugen.
  • 8 ist ein Diagramm, das eine Konfiguration eines Beispiels für die Kombiniereinheit 300 gemäß der ersten Ausführungsform veranschaulicht. Die Kombiniereinheit 300 weist die Multiplikationseinheit 220 und die Additionseinheit 221 auf. Die Multiplikationseinheit 220 empfängt, an einem Eingabeende, die Objekterkennungsschichtdaten 120x basierend auf der Aufmerksamkeitskarte basierend auf den Bilddaten 100. Die Multiplikationseinheit 220 empfängt, an dem anderen Eingabeende, die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200. Die Multiplikationseinheit 220 berechnet, für jedes Pixel, ein Produkt der Objekterkennungsschichtdaten 120x, die in ein Eingabeende davon eingegeben werden, und der Objekterkennungsschichtdaten 230x, die in das andere Eingabeende davon eingegeben werden. Die Berechnung durch die Multiplikationseinheit 220 hebt ein Gebiet entsprechend dem Detektionsfenster in den Millimeterwellenbilddaten 200 (Objekterkennungsschichtdaten 230x) hervor.
  • Die vorliegende Erfindung ist nicht darauf beschränkt, und das Objekterkennungsmodell 40a kann ein Gebiet außerhalb des Detektionsfensters in den Millimeterwellenbilddaten 200 reduzieren.
  • Das Ergebnis der Multiplikation durch die Multiplikationseinheit 220 wird in ein Eingabeende der Additionseinheit 221 eingegeben. Die Additionseinheit 221 empfängt, an dem anderen Eingabeende, die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200. Die Additionseinheit 221 berechnet eine Summe von Matrizen für das Ergebnis der Multiplikation durch die Multiplikationseinheit 220, das in ein Eingabeende eingegeben wird, und die Objekterkennungsschichtdaten 230x.
  • Wie oben beschrieben, fügt die Verarbeitung durch die Multiplikationseinheit 220 und die Additionseinheit 221, zu den Millimeterwellenbilddaten 200 durch das Millimeterwellenradar 23 als den ersten Sensor, Gebietsinformationen hinzu, die gemäß der Objektwahrscheinlichkeit erzeugt werden, die in dem Prozess der Objekterkennungsverarbeitung basierend auf den Bilddaten 100 durch die Kamera 21 als der zweite Sensor, der sich vom ersten Sensor unterscheidet, detektiert wird.
  • Hier führt die Additionseinheit 221 eine Verarbeitung zum Addieren des ursprünglichen Bildes zu dem Ergebnis der Multiplikation durch die Multiplikationseinheit 220 durch. Zum Beispiel in einem Fall, bei dem die Aufmerksamkeitskarte durch einen Wert von 0 oder 1 für jedes Pixel repräsentiert wird, beispielsweise in einem Fall, bei dem alle Aufmerksamkeitskarten in einem gewissen Schichtbild 0 sind, oder in einem Gebiet von 0 in der Aufmerksamkeitskarte, gehen Informationen verloren. Daher kann bei der Verarbeitung durch eine später beschriebene Vorhersageeinheit 150 die Erkennungsverarbeitung an dem Gebiet nicht durchgeführt werden. Hinsichtlich des Obigen addiert die Additionseinheit 221 die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200, um eine Situation zu vermeiden, bei der Daten in dem Gebiet verloren gehen.
  • Erneut mit Bezug auf 7 werden die kombinierten Objekterkennungsschichtdaten 3100 bis 3106 , die von den Kombiniereinheiten 300 ausgegeben werden, in die Vorhersageeinheit 150 eingegeben. Die Vorhersageeinheit 150 führt eine Objekterkennungsverarbeitung auf Basis der somit eingegebenen Sätze kombinierter Objekterkennungsschichtdaten 3100 bis 3106 durch und sagt eine Klasse oder dergleichen des erkannten Objekts vorher. Das Ergebnis der Vorhersage durch die Vorhersageeinheit 150 wird von der Fahrzeugaußeninformationen-Detektionseinheit 10 als Daten ausgegeben, die das Erkennungsergebnis des Zielobjekts angeben, und wird zum Beispiel über das Kommunikationsnetzwerk 12001 an die integrierte Steuereinheit 12050 übermittelt.
  • (3-1. Spezifisches Beispiel)
  • Eine Aufmerksamkeitskarte durch das Objekterkennungsmodell 40a gemäß der ersten Ausführungsform wird genauer mit Bezug auf die 9 und 10 beschrieben.
  • 9 ist ein schematisches Diagramm zum Erläutern eines ersten Beispiels der Aufmerksamkeitskarte gemäß dem Objekterkennungsmodell 40a der ersten Ausführungsform.
  • 9 veranschaulicht, auf der linken Seite, ein Beispiel für ursprüngliche Bilddaten 100a. 9 veranschaulicht, auf der rechten Seite, die Objekterkennungsschichtdaten 230x, die Objekterkennungsschichtdaten 230x und die kombinierten Objekterkennungsschichtdaten 310x von oben nach unten. Ferner sind, von links nach rechts, die Objekterkennungsschichtdaten 230x, die Objekterkennungsschichtdaten 230x und die kombinierten Objekterkennungsschichtdaten 310x so veranschaulicht, dass sie dem Schichtbild #1 (Objekterkennungsschichtdaten 1201), dem Schichtbild #2 (Objekterkennungsschichtdaten 1202) und dem Schichtbild #3 (Objekterkennungsschichtdaten 1203) entsprechen.
  • Anders ausgedrückt, das rechte Diagramm von 9 veranschaulicht, im oberen Teil, eine Merkmalskarte, die die Merkmale der Millimeterwellenbilddaten 200 angibt, und veranschaulicht im mittleren Teil eine Aufmerksamkeitskarte, die auf Basis der Merkmale der Bilddaten 100 erzeugt wird. Zusätzlich ist der untere Teil des rechten Diagramms von 9 die kombinierten Objekterkennungsschichtdaten 310x, die durch Kombinieren der Merkmalskarte basierend auf den Millimeterwellenbilddaten 200 und der Aufmerksamkeitskarte basierend auf den Bilddaten 100 durch die Kombiniereinheit 300 erhalten werden.
  • Nachfolgend werden die Objekterkennungsschichtdaten 230x entsprechend dem Schichtbild #X als die Objekterkennungsschichtdaten 230x des Schichtbildes #X bezeichnet. Die kombinierten Objekterkennungsschichtdaten 310x entsprechend dem Schichtbild #X werden als die kombinierten Objekterkennungsschichtdaten 310x des Schichtbildes #X bezeichnet.
  • Mit Bezug auf 9 wird in den Objekterkennungsschichtdaten 2301 des Schichtbildes #1, der Objekterkennungsschichtdaten 230x, ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23110 in der Zeichnung gezeigt ist. Ferner zeigt das Schichtbild #1 einen Zustand, bei dem eine Aufmerksamkeitskarte erzeugt wird, in der die Objektwahrscheinlichkeit der Gebiete 12110 und 12111 gleich oder größer als die Schwelle ist und die Gebiete 12110 und 12111 als die Detektionsfenster festgelegt werden. Andererseits, in den kombinierten Objekterkennungsschichtdaten 3101 des Schichtbildes #1, wird ein objektartiges Erkennungsergebnis in einem Gebiet 23010' entsprechend dem Gebiet 23110 und 12110' und 12111' entsprechend den Gebieten 12110 bzw. 12111 gesehen.
  • Gleichermaßen wird, im Schichtbild #2, in den Objekterkennungsschichtdaten 2302 des Schichtbildes #2 ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23111 gezeigt ist, und das Schichtbild #1 zeigt einen Zustand, in dem eine Aufmerksamkeitskarte erzeugt wird, in der die Objektwahrscheinlichkeit eines Gebiets 12113 gleich oder größer als die Schwelle ist und das Gebiet 12113 als das Detektionsfenster gesetzt wird. Andererseits, in den kombinierten Objekterkennungsschichtdaten 3102 des Schichtbildes #2, wird ein objektartiges Erkennungsergebnis in einem Gebiet 23011' entsprechend dem Gebiet 23111 und 12113' entsprechend dem Gebiet 12113 gesehen.
  • Bezüglich des Schichtbildes #3 wird in den Objekterkennungsschichtdaten 2303 des Schichtbildes #3 ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23112 gezeigt ist, und, im Schichtbild #1, wird kein Gebiet mit der Objektwahrscheinlichkeit gleich oder größer als die Schwelle detektiert und wird kein Detektionsfenster erzeugt. In den kombinierten Objekterkennungsschichtdaten 3103 des Schichtbildes #3 wird ein objektartiges Erkennungsergebnis in einem Gebiet 23012' entsprechend dem Gebiet 23112 gesehen.
  • Ferner entsprechen in den Gebieten 12110 und 12111 und dem Gebiet 12113 weiße und graue Gebiete den Detektionsfenstern. In einem solchen Fall weist zum Beispiel ein Gebiet mit einem höheren Grad an Weiß eine höhere Objektwahrscheinlichkeit auf. Als ein Beispiel ist in dem Gebiet 12113 ein Gebiet mit einem hohen Grad an Weiß, bei dem sich ein hellgraues Gebiet mit vertikaler rechteckiger Form und ein dunkelgraues Gebiet mit einer horizontalen rechteckigen Form schneiden, ein Gebiet mit der höchsten Objektwahrscheinlichkeit im Gebiet 12113. Wie oben beschrieben, wird das Detektionsfenster zum Beispiel auf Basis der Gebietsinformationen einschließlich Informationen, die die entsprechende Position im Schichtbild angeben, und des Wertes, der die Objektwahrscheinlichkeit angibt, festgelegt.
  • Wie oben beschrieben, in den Schichtbildern #1 und #2, ist es ohne das Berechnen der Objektwahrscheinlichkeit für die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200 möglich, die kombinierten Objekterkennungsschichtdaten 310x einschließlich des Gebiets des Detektionsfensters basierend auf den Bilddaten 100 zu erzeugen, während ein Gebiet hervorgehoben wird, in dem das objektartige Erkennungsergebnis auf Basis der Millimeterwellenbilddaten 200 gesehen wird.
  • Zusätzlich ist es, da die Additionseinheit 221 die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200 addiert, selbst in einem Fall, in dem kein Detektionsfenster im Schichtbild #2 festgelegt wird, wie im Schichtbild #3, möglich, ein Gebiet hervorzuheben, in dem das objektartige Erkennungsergebnis auf Basis der Millimeterwellenbilddaten 200 gesehen wird.
  • 10 ist ein schematisches Diagramm zum Erläutern eines zweiten Beispiels einer Aufmerksamkeitskarte gemäß dem Objekterkennungsmodell 40a der ersten Ausführungsform. Da die Bedeutung jeder Einheit in 10 der in der oben beschriebenen 9 ähnelt, wird deren Beschreibung hierin weggelassen. 10 veranschaulicht, auf der linken Seite, ein Beispiel für ursprüngliche Bilddaten 100b.
  • Mit Bezug auf 10 wird in den Objekterkennungsschichtdaten 2301 des Schichtbildes #1, der Objekterkennungsschichtdaten 230x, ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23120 in der Zeichnung gezeigt ist. Ferner zeigt das Schichtbild #1 einen Zustand, bei dem eine Aufmerksamkeitskarte erzeugt wird, in der die Objektwahrscheinlichkeit der Gebiete 12120 und 12121 gleich oder größer als die Schwelle ist und die Gebiete 12120 und 12121 als die Detektionsfenster festgelegt werden. Andererseits, in den kombinierten Objekterkennungsschichtdaten 3101 des Schichtbildes #1, wird ein objektartiges Erkennungsergebnis in einem Gebiet 23020' entsprechend dem Gebiet 23120 und 12120' und 12121' entsprechend den Gebieten 12120 bzw. 12121 gesehen.
  • Gleichermaßen wird, im Schichtbild #2, in den Objekterkennungsschichtdaten 2302 des Schichtbildes #2 ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23121 gezeigt ist, und das Schichtbild #2 zeigt einen Zustand, in dem eine Aufmerksamkeitskarte erzeugt wird, in der die Objektwahrscheinlichkeit eines Gebiets 12122 gleich oder größer als die Schwelle ist und das Gebiet 12122 als das Detektionsfenster gesetzt wird. Andererseits, in den kombinierten Objekterkennungsschichtdaten 3102 des Schichtbildes #2, wird ein objektartiges Erkennungsergebnis in einem Gebiet 23021' entsprechend dem Gebiet 23121 und 12122' entsprechend dem Gebiet 12122 gesehen.
  • Im Schichtbild #3 wird, in den Objekterkennungsschichtdaten 2303 des Schichtbildes #3, ein objektartiges Erkennungsergebnis in einem Teil gesehen, der in einem Gebiet 23122 gezeigt ist, und das Schichtbild #1 zeigt einen Zustand, in dem eine Aufmerksamkeitskarte erzeugt wird, in der die Objektwahrscheinlichkeit des Gebiets 12123 gleich oder größer als die Schwelle ist und das Gebiet 12123 als das Detektionsfenster gesetzt wird. Andererseits, in den kombinierten Objekterkennungsschichtdaten 3103 des Schichtbildes #3, wird ein objektartiges Erkennungsergebnis in einem Gebiet 23021' entsprechend einem Gebiet 23123 und 12123' entsprechend dem Gebiet 12123 gesehen.
  • Wie mit dem oben beschriebenen ersten Beispiel, ist es in dem zweiten Beispiel, in den Schichtbildern #1 bis #3, ohne das Berechnen der Objektwahrscheinlichkeit für die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200 möglich, die kombinierten Objekterkennungsschichtdaten 310x einschließlich des Gebiets des Detektionsfensters basierend auf den Bilddaten 100 zu erzeugen, während ein Gebiet hervorgehoben wird, in dem das objektartige Erkennungsergebnis auf Basis der Millimeterwellenbilddaten 200 gesehen wird.
  • Wie oben beschrieben, gemäß der ersten Ausführungsform, selbst wenn die Millimeterwellenbilddaten 200 alleine ein schwaches Merkmal sind, ist es möglich, die Leistungsfähigkeit der Objekterkennung durch Hervorheben des Merkmals unter Verwendung der Aufmerksamkeitskarte basierend auf den durch die Kamera 21 aufgenommenen Bilddaten 100 zu verbessern. Zusätzlich ermöglicht dies, die Last bezüglich der Erkennungsverarbeitung in einem Fall zu reduzieren, bei dem mehrere unterschiedliche Sensoren verwendet werden.
  • Es ist anzumerken, in dem Beispiel von 7, dass die Sätze kombinierter Objekterkennungsschichtdaten 310x der Faltungsschichten, die durch Kombinieren, durch die Kombiniereinheit 300, der Objekterkennungsschichtdaten 120x und der Objekterkennungsschichtdaten 230x erhalten werden, die einander entsprechende Faltungsschichten aufweisen, in die Vorhersageeinheit 150 eingegeben werden; dies ist jedoch nicht auf dieses Beispiel beschränkt. Beispielsweise können die kombinierten Objekterkennungsschichtdaten 310x, die durch Kombinieren, durch die Kombiniereinheit 300, der Objekterkennungsschichtdaten 120x und der Objekterkennungsschichtdaten 230x erhalten werden, die unterschiedliche Faltungsschichten aufweisen (zum Beispiel die Objekterkennungsschichtdaten 1201 und die Objekterkennungsschichtdaten 2302) in die Vorhersageeinheit 150 eingegeben werden. In einem solchen Fall wird bevorzugt, die Größen der Objekterkennungsschichtdaten 120x und der Objekterkennungsschichtdaten 230x, die durch die Kombiniereinheit 300 kombiniert werden sollen, die gleichen zu machen. Ferner ist es für die Kombiniereinheit 300 möglich, einen Teil der Sätze von Objekterkennungsschichtdaten 120x und der Sätze von Objekterkennungsschichtdaten 230x zu kombinieren, um die kombinierten Objekterkennungsschichtdaten 310x zu erzeugen. Zu dieser Zeit ist es möglich, Daten, in denen die Faltungsschichten einander eineindeutig entsprechen, aus den Sätzen von Objekterkennungsschichtdaten 120x und den Sätzen von Objekterkennungsschichtdaten 230x auszuwählen und die ausgewählten Daten in der Kombiniereinheit 300 zu kombinieren, oder es ist alternativ möglich, mehrere Sätze der jeweiligen Daten auszuwählen und die ausgewählten Daten in der Kombiniereinheit 300 zu kombinieren.
  • [4. Zweite Ausführungsform]
  • Die Beschreibung geht zu der zweiten Ausführungsform der vorliegenden Offenbarung über. In der zweiten Ausführungsform wird ein Beispiel beschrieben, in dem eine Aufmerksamkeitskarte in einem Verfahren erzeugt wird, das sich von dem der oben beschriebenen ersten Ausführungsform unterscheidet. 11 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß der zweiten Ausführungsform veranschaulicht.
  • In 11, wie oben beschrieben, in einem Objekterkennungsmodell 40c, führt eine Objekterkennungsschicht 120a eine Faltungsverarbeitung auf Basis der Bilddaten 100 durch, um die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 (nicht veranschaulicht) zu erzeugen. Hier verdoppelt die Objekterkennungsschicht 120a zum Beispiel die Größe der Objekterkennungsschichtdaten 1206 mit der tiefsten Faltungsschicht und der kleinsten Größe, um Objekterkennungsschichtdaten 1221 für die nächste Schicht zu erzeugen.
  • In einem solchen Fall, sind, da die neu erzeugten Objekterkennungsschichtdaten 1221 die Merkmale der Objekterkennungsschichtdaten 1206 mit der kleinsten Größe unter den Objekterkennungsschichten 1200 bis 1206 übernehmen, die Merkmale der Objekterkennungsschichtdaten 1221 schwach. Daher verbindet die Objekterkennungsschicht 120a, mit den Objekterkennungsschichtdaten 1206, die Objekterkennungsschichtdaten 1205, die die zweittiefste Faltungsschicht nach den Objekterkennungsschichtdaten 1206 aufweisen und zum Beispiel eine Größe von zweimal der Größe der Objekterkennungsschichtdaten 1206 aufweisen, und erzeugt die neuen Objekterkennungsschichtdaten 1221.
  • Als Nächstes verdoppelt gleichermaßen die Objekterkennungsschicht 120a zum Beispiel die Größe der erzeugten Objekterkennungsschichtdaten 1221 und verbindet das Resultat mit den entsprechenden Objekterkennungsschichtdaten 1205, um neue Objekterkennungsschichtdaten 1222 zu erzeugen. Wie oben beschrieben, wiederholt die Objekterkennungsschicht 120a gemäß der zweiten Ausführungsform die Verarbeitung von zum Beispiel der Verdopplung der Größe der erzeugten Objekterkennungsschichtdaten 122x und Kombinieren des Resultats und der entsprechenden Objekterkennungsschichtdaten 120x, um Objekterkennungsschichtdaten 122x+1 neu zu erzeugen.
  • Die Objekterkennungsschicht 120a erzeugt eine Aufmerksamkeitskarte auf Basis der Objekterkennungsschichtdaten 1206, 1221, 1222, 1223, 1224, 1225 und 1226, die durch sequenzielles Verdoppeln der Größe, wie oben beschrieben, erzeugt werden. Zu dieser Zeit werden die Objekterkennungsschichtdaten 1226 mit der größten Größe in das Schichtbild #0 eingegeben, um eine Aufmerksamkeitskarte für das Schichtbild #0 zu erzeugen. Die Objekterkennungsschichtdaten 1225 mit der zweitgrößten Größe werden in das Schichtbild #1 eingegeben, um eine Aufmerksamkeitskarte für das Schichtbild #1 zu erzeugen. Danach werden die Sätze von Objekterkennungsschichtdaten 1224, 1223, 1222, 1221 und 1206, in der Reihenfolge mit abnehmender Größe, in die Schichtbilder #2, #3, #4, #5 und #6 gegeben, um Aufmerksamkeitskarten für die Schichtbilder #2 bis #6 zu erzeugen.
  • Wie oben beschrieben, in der zweiten Ausführungsform, erzeugt die Objekterkennungsschicht 120a eine neue Aufmerksamkeitskarte durch Erstellen und Eingeben von dieser durch maschinelles Lernen. Infolgedessen ist es möglich, Falsch-Positive (FP) zu reduzieren, die durch ein anderes stark reflektierendes Objekt als das Erkennungsziel verursacht werden, wie etwa eine Leitplanke oder einen Bordstein, und die Leistungsfähigkeit der Objekterkennung durch die Millimeterwellenbilddaten 200 alleine zu verbessern. Andererseits sind in der zweiten Ausführungsform, da die Aufmerksamkeitskarte durch das Verbinden von Daten mit den Objekterkennungsschichtdaten 1206 erzeugt wird, an denen eine Faltung bis zu einer tiefen Faltungsschicht bezüglich der Bilddaten 100 durchgeführt wurde, die Merkmale eines Objekts, dessen Bild schwierig durch die Kamera 21 aufgenommen werden kann, geschwächt. Beispielsweise ist es schwierig, ein durch Wassertröpfchen, Nebel oder dergleichen verborgenes Objekt zu erkennen. Hinsichtlich des Obigen wird bevorzugt, in Abhängigkeit von der Umgebung zwischen dem Verfahren zum Erzeugen einer Aufmerksamkeitskarte gemäß der zweiten Ausführungsform und zum Beispiel dem Verfahren zum Erzeugen einer Aufmerksamkeitskarte gemäß der ersten Ausführungsform zu wechseln.
  • [5. Dritte Ausführungsform]
  • Die Beschreibung geht zu der dritten Ausführungsform der vorliegenden Offenbarung über. In der dritten Ausführungsform wird ein Beispiel beschrieben, in dem die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 basierend auf den Millimeterwellenbilddaten 200 mit den Aufmerksamkeitskarten (Sätze von Objekterkennungsschichtdaten 1200 bis 1206) basierend auf den Bilddaten 100 multipliziert werden. 12 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß der dritten Ausführungsform veranschaulicht.
  • In einem in 12 veranschaulichten Objekterkennungsmodell 40d erzeugt die Objekterkennungsschicht 230 die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 auf Basis der Millimeterwellenbilddaten 200 auf die gleiche Weise wie der in der ersten Ausführungsform. Andererseits erzeugt eine Objekterkennungsschicht 120b die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 und Sätze von Objekterkennungsschichtdaten 1200' bis 1206' auf Basis der Bilddaten 100.
  • Hier sind die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 Daten, in denen Parameter so angepasst werden, dass die Objekterkennung durch die Bilddaten 100 alleine durchgeführt wird. Andererseits sind die Sätze von Objekterkennungsschichtdaten 1200' bis 1206' Daten, in denen Parameter so angepasst werden, dass die Objekterkennung unter Verwendung sowohl der Millimeterwellenbilddaten 200 als auch der Bilddaten 100 durchgeführt wird. Beispielsweise in dem mit Bezug auf 4 beschriebenen Lernsystem 30 werden für identische Bilddaten 100 ein Lernen für die Objekterkennung mit den Bilddaten 100 alleine und ein Lernen für die Objekterkennung mit den Bilddaten 100 und den Millimeterwellenbilddaten 200 ausgeführt, und die jeweiligen Parameter werden erzeugt.
  • Ähnlich zu der ersten Ausführungsform kombinieren die Kombiniereinheiten 301 die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 und den Satz von Objekterkennungsschichtdaten 1200' bis 1206', die in der Objekterkennungsschicht 120b erzeugt werden, und die Sätze von Objekterkennungsschichtdaten 2300 bis 2306, die in der Objekterkennungsschicht 230 erzeugt werden, mit entsprechenden Sätzen von Daten.
  • 13 ist ein Diagramm, das eine Konfiguration eines Beispiels für die Kombiniereinheit 301 gemäß der dritten Ausführungsform veranschaulicht. Wie in 13 veranschaulicht, wird in der Kombiniereinheit 301 eine Verknüpfungseinheit 222 zu der Konfiguration der Multiplikationseinheit 220 und der Additionseinheit 221 der Kombiniereinheit 300 in 8 hinzugefügt.
  • In der Kombiniereinheit 301 empfängt die Multiplikationseinheit 220, an einem Eingabeende, die Objekterkennungsschichtdaten 120x, in denen Parameter so angepasst wurden, dass die Objekterkennung durch die Bilddaten 100 alleine durchgeführt wird, und empfängt, an dem anderen Eingabeende, die Objekterkennungsschichtdaten 230x. Die Multiplikationseinheit 220 berechnet, für jedes Pixel, ein Produkt der Objekterkennungsschichtdaten 120x, die in ein Eingabeende davon eingegeben werden, und der Objekterkennungsschichtdaten 230x, die in das andere Eingabeende davon eingegeben werden. Das Ergebnis der Multiplikation durch die Multiplikationseinheit 220 wird in ein Eingabeende der Additionseinheit 221 eingegeben. Die Additionseinheit 221 empfängt, an dem anderen Eingabeende, die Objekterkennungsschichtdaten 230x. Die Additionseinheit 221 berechnet eine Summe von Matrizen für das Ergebnis der Multiplikation durch die Multiplikationseinheit 220, das in ein Eingabeende eingegeben wird, und die Objekterkennungsschichtdaten 230x.
  • Die Ausgabe der Additionseinheit 221 wird in ein Eingabeende der Verknüpfungseinheit 222 eingegeben. Die Objekterkennungsschichtdaten 120x', in denen Parameter so angepasst wurden, dass die Objekterkennung unter Verwendung der Bilddaten 100 und der Millimeterwellenbilddaten 200 durchgeführt wird, werden in das andere Eingabeende der Verknüpfungseinheit 222 eingegeben. Die Verknüpfungseinheit 222 verknüpft die Ausgabe der Additionseinheit 221 und die Objekterkennungsschichtdaten 120x'.
  • Bei der Verknüpfungsverarbeitung werden Daten der Ausgabe der Additionseinheit 221 und die Objekterkennungsschichtdaten 120x' aufgelistet, und die Verknüpfungsverarbeitung beeinträchtigt weder die Ausgabe der Additionseinheit 221 noch die Objekterkennungsschichtdaten 120x. Infolgedessen sind die Daten, die von der Verknüpfungseinheit 222 ausgegeben werden, Daten einschließlich einer Merkmalsmenge, die durch Addieren der Merkmalsmenge der Ausgabe der Additionseinheit 221 erhalten wird, und der Merkmalsmenge der Objekterkennungsschichtdaten 120x.
  • Die Kombiniereinheit 301 führt die Kombinierverarbeitung durch, sodass eine Aufmerksamkeitskarte, die das Vorhandensein oder Nichtvorhandensein eines Objekts mit den Bilddaten 100 alleine zeigt, erzeugt werden kann und dass die erzeugte Aufmerksamkeitskarte mit nur der Merkmalsmenge basierend auf den Millimeterwellenbilddaten 200 multipliziert werden kann. Infolgedessen ist die Merkmalsmenge basierend auf den Millimeterwellenbilddaten 200 beschränkt und FP kann reduziert werden.
  • Somit ist es, gemäß dem Objekterkennungsmodell 40d der dritten Ausführungsform, möglich, eine Aufmerksamkeitskarte auf Basis der durch die Kamera 21 erfassten Bilddaten 100 alleine zu erzeugen und die Objekterkennung auf Basis der Ausgabe durchzuführen, die durch Kombinieren der Kamera 21 und des Millimeterwellenradars 23 erhalten wird.
  • [6. Vierte Ausführungsform]
  • Die Beschreibung geht zu der vierten Ausführungsform der vorliegenden Offenbarung über. In der vierten Ausführungsform wird ein Beispiel beschrieben, in dem verknüpfte Daten der Objekterkennungsschichtdaten 120x basierend auf den Bilddaten 100 und der Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200 erzeugt werden und die Objekterkennung unter Verwendung der verknüpften Daten durchgeführt wird.
  • 14 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß der vierten Ausführungsform veranschaulicht. In einem Objekterkennungsmodell 40e gemäß der vierten Ausführungsform weisen die Sätze verknüpfter Daten zum Durchführen der Objekterkennungsverarbeitung schon die Objekterkennungsschichtdaten 120x und die Objekterkennungsschichtdaten 230x auf. Daher ist es nicht möglich, ein Detektionsfenster für die Objekterkennungsschichtdaten 230x basierend auf den Millimeterwellenbilddaten 200 in den Sätzen verknüpfter Daten festzulegen. Somit wird in dem Objekterkennungsmodell 40e gemäß der vierten Ausführungsform eine Verarbeitung zum Reduzieren des Gebiets außerhalb des Detektionsfensters in den Millimeterwellenbilddaten 200 vor der Verknüpfungseinheit 222, die die Objekterkennungsschichtdaten 120x und die Objekterkennungsschichtdaten 230x verknüpft, durchgeführt.
  • Die Beschreibung wird noch spezifischer bereitgestellt. In dem in 14 veranschaulichten Objekterkennungsmodell 40e werden die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 (nicht veranschaulicht), die in der Objekterkennungsschicht 230 auf Basis der Millimeterwellenbilddaten 200 erzeugt werden, in die Kombiniereinheiten 300 eingegeben. Andererseits erzeugt eine Objekterkennungsschicht 120c die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 auf Basis der Bilddaten 100 und erzeugt eine Aufmerksamkeitskarte durch Überlagern einer vorbestimmten Anzahl von Sätzen von Daten der somit erzeugten Objekterkennungsschichtdaten 1200 bis 1206. Die Aufmerksamkeitskarte wird in die Kombiniereinheit 300 eingegeben.
  • Es ist anzumerken, dass, in dem Beispiel von 14, die Objekterkennungsschicht 120c die Aufmerksamkeitskarte unter Verwendung von Bilddaten 123 erzeugt, in denen, unter den Sätzen von Objekterkennungsschichtdaten 1200 bis 1206, drei Sätze von Objekterkennungsschichtdaten 1200, 1201 und 1202, in denen die Faltungsschichten sequenziell benachbart sind, überlagert sind. Dies ist nicht auf das Beispiel beschränkt und die Objekterkennungsschicht 120c kann zum Beispiel die Aufmerksamkeitskarte unter Verwendung der Bilddaten 123 erzeugen, in denen alle der Sätze von Objekterkennungsschichtdaten 1200 bis 1206 überlagert sind. Die vorliegende Erfindung ist nicht darauf beschränkt, und die Objekterkennungsschicht 120c kann die Aufmerksamkeitskarte unter Verwendung von Bilddaten erzeugen, in denen zwei oder vier oder mehr Sätze benachbarter Objekterkennungsschichtdaten 120x überlagert sind. Alternativ kann die Aufmerksamkeitskarte unter Verwendung der Bilddaten 123 erzeugt werden, in denen die mehreren Sätze von Objekterkennungsschichtdaten 120x, mit intermittierend ausgewählten Faltungsschichten, überlagert sind, anstelle der mehreren Sätze von Objekterkennungsschichtdaten 120x, mit benachbarten Faltungsschichten.
  • Ähnlich zu der Beschreibung unter Verwendung von 8 erhält die Kombiniereinheit 300 ein Produkt der Bilddaten 123 und der Sätze von Objekterkennungsschichtdaten 2300 bis 2306 mit der Multiplikationseinheit 220, und die Additionseinheit 221 addiert die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 zu dem erhaltenen Produkt. Die jeweiligen Sätze kombinierter Daten, die durch Kombinieren der Bilddaten 123 und der Sätze von Objekterkennungsschichtdaten 2300 bis 2306 durch die Kombiniereinheit 300 erhalten werden, werden in ein Eingabeende der Verknüpfungseinheit 222 eingegeben.
  • Die Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die durch die Objekterkennungsschicht 120c auf Basis der Bilddaten 100 erzeugt werden, werden in das andere Eingabeende der Verknüpfungseinheit 222 eingegeben. Die Verknüpfungseinheit 222 verknüpft die jeweiligen Sätze kombinierter Daten, die in ein Eingabeende eingegeben werden, und die Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die in das andere Eingabeende eingegeben werden, und erzeugt verknüpfte Daten 2420, 2421, 2422, 2423, 2424, 2425 und 2426 entsprechend den Sätzen von Objekterkennungsschichtdaten 1200 bis 12062.
  • Die verknüpften Daten 2420 bis 2426, die von der Verknüpfungseinheit 222 ausgegeben werden, werden in die Vorhersageeinheit 150 eingegeben.
  • Mit einer solchen Konfiguration ist es möglich, den Einfluss der Millimeterwellenbilddaten 200 außerhalb des Detektionsfensters an den Sätzen verknüpfter Daten 2420 bis 2426 für die Vorhersageeinheit 150 zum Durchführen der Objekterkennung zu verhindern. Somit ist es, gemäß dem Objekterkennungsmodell 40e der vierten Ausführungsform, möglich, eine Aufmerksamkeitskarte auf Basis der durch die Kamera 21 erfassten Bilddaten 100 alleine zu erzeugen und die Objekterkennung auf Basis der Ausgabe durchzuführen, die durch Kombinieren der Kamera 21 und des Millimeterwellenradars 23 erhalten wird.
  • [7. Fünfte Ausführungsform]
  • Die Beschreibung geht zu der fünften Ausführungsform der vorliegenden Offenbarung über. Das Objekterkennungsmodell gemäß der fünften Ausführungsform ist ein Beispiel, in dem die Bilddaten 100 ein Frame vorher als die Bilddaten 100 zum Erzeugen der Aufmerksamkeitskarte verwendet werden.
  • 15 ist ein Diagramm, das eine Konfiguration eines Beispiels für ein Objekterkennungsmodell gemäß der fünften Ausführungsform veranschaulicht. Es ist anzumerken, dass ein in 15 veranschaulichtes Objekterkennungsmodell 40f ein Beispiel ist, in dem die Konfiguration der fünften Ausführungsform an dem Objekterkennungsmodell 40d (siehe 12) gemäß der dritten Ausführungsform angewendet wird.
  • In dem in 15 veranschaulichten Objekterkennungsmodell 40f erzeugt eine Objekterkennungsschicht 120d, auf die gleiche Weise wie die oben beschriebene in 12, die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 auf Basis der Bilddaten 100 (als die Bilddaten 100 des aktuellen Frames bezeichnet), die als die Framebilddaten eines gewissen Frames (als das aktuelle Frame bezeichnet) durch die Kamera 21 in der Objekterkennungsschicht 120 erfasst werden. Ferner erzeugt die Objekterkennungsschicht 230 die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 auf Basis der Millimeterwellenbilddaten 200 (als die Millimeterwellenbilddaten 200 des aktuellen Frames bezeichnet), die durch das Millimeterwellenradar 23 entsprechend dem aktuellen Frame erfasst werden.
  • Zu dieser Zeit werden die Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die auf Basis der Bilddaten 100 des aktuellen Frames erzeugt werden, im Speicher 420 gespeichert. Beispielsweise kann der Speicher 420 der in 5 veranschaulichte RAM 402 sein. Hier wurde beschrieben, dass alle Sätze von Objekterkennungsschichtdaten 1200 bis 1206 im Speicher 420 gespeichert werden; dies ist jedoch nicht auf das Beispiel beschränkt. Beispielsweise werden möglicherweise nur die Objekterkennungsschichtdaten 1200 mit der flachsten Faltungsschicht im Speicher 420 gespeichert.
  • Andererseits erzeugt die Objekterkennungsschicht 120d die Aufmerksamkeitskarte auf Basis der Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die auf Basis der Bilddaten 100 (als die Bilddaten 100 des vergangenen Frames 101 bezeichnet) erzeugt und im Speicher 420 gespeichert werden, wobei die Bilddaten 100 in der Vergangenheit (zum Beispiel dem unmittelbar vorausgehenden Frame) für das aktuelle Frame durch die Kamera 21 erfasst werden. In einem Fall, in dem nur die Objekterkennungsschichtdaten 1200 mit der flachsten Faltungsschicht im Speicher 420 gespeichert werden, kann hier die Faltungsverarbeitung sequenziell an den Objekterkennungsschichtdaten 1200 durchgeführt werden, um die Sätze von Objekterkennungsschichtdaten 1201 bis 1206 zu erzeugen.
  • Die Sätze von Objekterkennungsschichtdaten 1200 bis 1206 und die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 entsprechend dem aktuellen Frame werden in die entsprechenden Kombiniereinheiten 301 eingegeben. Ferner werden die Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die auf Basis der Bilddaten 100 des vergangenen Frames 101 erzeugt werden, in die Kombiniereinheiten 301 als die Aufmerksamkeitskarten eingegeben.
  • Wie mit 13 beschrieben, erhält die Kombiniereinheit 301 Produkte der Sätze von Objekterkennungsschichtdaten 1200 bis 1206 und der Sätze von Objekterkennungsschichtdaten 2300 bis 2306 mit der Multiplikationseinheit 220, und die Additionseinheit 221 addiert die Sätze von Objekterkennungsschichtdaten 2300 bis 2306 zu dem erhaltenen Ergebnis. Die Verknüpfungseinheit 222 verknüpft die Sätze von Objekterkennungsschichtdaten 1200 bis 1206, die auf Basis der Bilddaten 100 des vergangenen Frames 101 erzeugt werden, mit jedem Additionsergebnis der Additionseinheit 221.
  • Auf diese Weise wird die Aufmerksamkeitskarte unter Verwendung der Daten des vergangenen Frames 101 als die Bilddaten 100 erzeugt, sodass eine oder mehrere Faltungsverarbeitungen in der Objekterkennungsschicht 120c weggelassen werden können, was die Verarbeitungsgeschwindigkeit verbessert.
  • [8. Sechste Ausführungsform]
  • Die Beschreibung geht zu der sechsten Ausführungsform der vorliegenden Offenbarung über. In der oben beschriebenen ersten bis fünften Ausführungsform weist die Datenerfassungseinheit 20 die Kamera 21 und das Millimeterwellenradar 23 als Sensoren auf; die Kombination von Sensoren, die in der Datenerfassungseinheit 20 enthalten sind, ist jedoch nicht auf dieses Beispiel beschränkt. In der sechsten Ausführungsform wird ein Beispiel für eine andere Kombination von Sensoren beschrieben, die in der Datenerfassungseinheit 20 enthalten sind.
  • (8-1. Erstes Beispiel)
  • 16 ist ein Blockdiagramm eines Beispiels, das das erste Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht. Wie in 16 veranschaulicht, ist das erste Beispiel ein Beispiel, in dem eine Datenerfassungseinheit 20a die Kamera 21 und ein LiDAR 24 als die Sensoren aufweist. Das LiDAR 24 ist ein Lichtreflexion-Abstandsmessungssensor zum Messen eines Abstands in einem LiDAR-Verfahren, das von einer Lichtquelle emittiertes Licht in einem Zielobjekt reflektiert und den Abstand misst, und das LiDAR 24 weist die Lichtquelle und eine Lichtempfangseinheit auf.
  • Eine Signalverarbeitungseinheit 13a erzeugt zum Beispiel dreidimensionale Punktgruppeninformationen auf Basis von RAW-Daten (Rohdaten), die vom LiDAR 24 ausgegeben werden. Eine geometrische Transformationseinheit 14a transformiert die durch die Signalverarbeitungseinheit 13a erzeugten dreidimensionalen Punktgruppeninformationen in ein Bild, das vom gleichen Blickpunkt aus wie das aufgenommene Bild durch die Kamera 21 angesehen wird. Insbesondere transformiert die geometrische Transformationseinheit 14a das Koordinatensystem der dreidimensionalen Punktgruppeninformationen basierend auf den vom LiDAR 24 ausgegebenen RAW-Daten in das Koordinatensystem des aufgenommenen Bildes. Die Ausgabedaten des LiDAR 24, in denen das Koordinatensystem durch die geometrische Transformationseinheit 14a in das Koordinatensystem des aufgenommenen Bildes transformiert wurde, werden an eine Erkennungsverarbeitungseinheit 15a geliefert. Die Erkennungsverarbeitungseinheit 15a führt die Objekterkennungsverarbeitung unter Verwendung der Ausgabedaten des LiDAR 24 durch, in denen das Koordinatensystem in das Koordinatensystem des aufgenommenen Bildes transformiert wurde, anstelle des Verwendens der Millimeterwellenbilddaten 200 in der oben beschriebenen Erkennungsverarbeitungseinheit 15.
  • (8-2. Zweites Beispiel)
  • 17 ist ein Blockdiagramm eines Beispiels, das das zweite Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht. Wie in 17 veranschaulicht, ist das zweite Beispiel ein Beispiel, in dem eine Datenerfassungseinheit 20b die Kamera 21 und einen Ultraschallsensor 25 als die Sensoren aufweist. Der Ultraschallsensor 25 sendet eine Schallwelle (Ultraschallwelle) in einem Frequenzband höher als ein hörbares Frequenzband und empfängt eine reflektierte Welle der Ultraschallwelle, um den Abstand zu messen, und der Ultraschallsensor 25 weist zum Beispiel ein Übertragungselement zum Senden einer Ultraschallwelle und ein Empfangselement zum Empfangen derselben auf. Die Übertragung und der Empfang von Ultraschallwellen kann durch ein Element durchgeführt werden. Beispielsweise kann der Ultraschallsensor 25 die dreidimensionalen Punktgruppeninformationen durch wiederholtes Übertragen und Empfangen einer Ultraschallwelle mit einem vorbestimmten Zyklus erhalten, während die Übertragungsrichtung der Ultraschallwelle gescannt wird.
  • Eine Signalverarbeitungseinheit 13b erzeugt zum Beispiel die dreidimensionalen Punktgruppeninformationen auf Basis von Daten, die vom Ultraschallsensor 25 ausgegeben werden. Eine geometrische Transformationseinheit 14b transformiert die durch die Signalverarbeitungseinheit 13b erzeugten dreidimensionalen Punktgruppeninformationen in ein Bild, das vom gleichen Blickpunkt aus wie das aufgenommene Bild durch die Kamera 21 angesehen wird. Insbesondere transformiert die geometrische Transformationseinheit 14b das Koordinatensystem der dreidimensionalen Punktgruppeninformationen basierend auf den vom Ultraschallsensor 25 ausgegebenen Daten in das Koordinatensystem des aufgenommenen Bildes. Die Ausgabedaten des Ultraschallsensors 25, in denen das Koordinatensystem durch die geometrische Transformationseinheit 14b in das Koordinatensystem des aufgenommenen Bildes transformiert wurde, werden an eine Erkennungsverarbeitungseinheit 15b geliefert. Die Erkennungsverarbeitungseinheit 15b führt die Objekterkennungsverarbeitung unter Verwendung der Ausgabedaten des Ultraschallsensors 25 durch, in denen das Koordinatensystem in das Koordinatensystem des aufgenommenen Bildes transformiert wurde, anstelle des Verwendens der Millimeterwellenbilddaten 200 in der oben beschriebenen Erkennungsverarbeitungseinheit 15.
  • (8-3. Drittes Beispiel)
  • 18 ist ein Blockdiagramm eines Beispiels, das das dritte Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht. Wie in 18 veranschaulicht, ist das dritte Beispiel ein Beispiel, in dem eine Datenerfassungseinheit 20c die Kamera 21, das Millimeterwellenradar 23 und das LiDAR 24 als Sensoren aufweist.
  • In der in 18 veranschaulichten Fahrzeugaußeninformationen-Detektionseinheit 10 werden die vom Millimeterwellenradar 23 ausgegebenen Millimeterwellendaten in die Signalverarbeitungseinheit 13 eingegeben. Die Signalverarbeitungseinheit 13 führt eine Verarbeitung ähnlich zu der mit Bezug auf 2 beschriebenen Verarbeitung an den Millimeterwellendaten durch, um ein Millimeterwellenbild zu erzeugen. Die geometrische Transformationseinheit 14 führt eine geometrische Transformation an dem durch die Signalverarbeitungseinheit 13 erzeugten Millimeterwellenbild durch, um das Millimeterwellenbild in ein Bild mit dem gleichen Koordinatensystem wie das des aufgenommenen Bildes zu transformieren. Das Bild (als ein transformiertes Millimeterwellenbild bezeichnet), das durch Transformieren des Millimeterwellenbildes durch die geometrische Transformationseinheit 14 erhalten wird, wird an eine Erkennungsverarbeitungseinheit 15c geliefert.
  • Ferner werden in der Fahrzeugaußeninformationen-Detektionseinheit 10 die von der Ausgabe des LiDAR 24 ausgegebenen RAW-Daten in eine Signalverarbeitungseinheit 13c eingegeben. Die Signalverarbeitungseinheit 13c erzeugt zum Beispiel die dreidimensionalen Punktgruppeninformationen auf Basis der RAW-Daten, die vom LiDAR 24 eingegeben werden. Eine geometrische Transformationseinheit 14c transformiert die durch die Signalverarbeitungseinheit 13c erzeugten dreidimensionalen Punktgruppeninformationen in ein Bild, das vom gleichen Blickpunkt aus wie das aufgenommene Bild durch die Kamera 21 angesehen wird. Das Bild (als ein transformiertes LiDAR-Bild bezeichnet), das durch Transformieren der dreidimensionalen Punktgruppeninformationen durch die geometrische Transformationseinheit 14 erhalten wird, wird an die Erkennungsverarbeitungseinheit 15c geliefert.
  • Die Erkennungsverarbeitungseinheit 15c kombiniert das transformierte Millimeterwellenbild und das transformierte LiDAR-Bild, die von jeder der geometrischen Transformationseinheiten 14 und 14c eingegeben werden, und führt die Objekterkennungsverarbeitung unter Verwendung des kombinierten Bildes durch, anstelle die Millimeterwellenbilddaten 200 in der Erkennungsverarbeitungseinheit 15 zu verwenden. Hier kann die Erkennungsverarbeitungseinheit 15c das transformierte Millimeterwellenbild und das transformierte LiDAR verknüpfen, um das transformierte Millimeterwellenbild und das transformierte LiDAR zu integrieren.
  • (8-4. Viertes Beispiel)
  • 19 ist ein Blockdiagramm eines Beispiels, das das vierte Beispiel für eine Fahrzeugaußeninformationen-Detektionseinheit und eine Datenerfassungseinheit gemäß der sechsten Ausführungsform veranschaulicht. Wie in 19 veranschaulicht, wird im vierten Beispiel die Datenerfassungseinheit 20a angewendet, die die Kamera 21 und das Millimeterwellenradar 23 aufweist, die mit Bezug auf 16 beschrieben sind. Andererseits sind in der Fahrzeugaußeninformationen-Detektionseinheit 10 die Bildverarbeitungseinheit 12 und eine geometrische Transformationseinheit 14d mit der Ausgabe der Kamera 21 verbunden, und nur die Signalverarbeitungseinheit 13 ist mit dem Millimeterwellenradar 23 verbunden.
  • In der Fahrzeugaußeninformationen-Detektionseinheit 10 führt die Bildverarbeitungseinheit 12 eine vorbestimmten Bildverarbeitung an dem aufgenommenen Bild durch, das von der Kamera 21 ausgegeben wird. Das aufgenommene Bild, das der Bildverarbeitung durch die Bildverarbeitungseinheit 12 unterzogen wurde, wird an die geometrische Transformationseinheit 14d geliefert. Die geometrische Transformationseinheit 14d transformiert das Koordinatensystem des aufgenommenen Bildes in das Koordinatensystem der Millimeterwellendaten, die vom Millimeterwellenradar 23 ausgegeben werden. Das aufgenommene Bild (als ein transformiertes aufgenommenes Bild bezeichnet), das durch Transformieren in das Koordinatensystem der Millimeterwellendaten durch die geometrische Transformationseinheit 14d erhalten wird, wird an eine Erkennungsverarbeitungseinheit 15d geliefert.
  • Andererseits werden in der Fahrzeugaußeninformationen-Detektionseinheit 10 die vom Millimeterwellenradar 23 ausgegebenen Millimeterwellendaten in die Signalverarbeitungseinheit 13 eingegeben. Die Signalverarbeitungseinheit 13 führt eine vorbestimmte Signalverarbeitung an den eingegebenen Millimeterwellendaten durch, um ein Millimeterwellenbild auf Basis der Millimeterwellendaten zu erzeugen. Das durch die Signalverarbeitungseinheit 13 erzeugte Millimeterwellenbild wird an die Erkennungsverarbeitungseinheit 15d geliefert.
  • Die Erkennungsverarbeitungseinheit 15d kann die Millimeterwellenbilddaten basierend auf dem durch die Signalverarbeitungseinheit 13 gelieferten Millimeterwellenbild verwenden, zum Beispiel anstelle die Bilddaten 100 in der Erkennungsverarbeitungseinheit 15 zu verwenden, und kann das transformierte aufgenommene Bild, das durch die geometrische Transformationseinheit 14d geliefert wird, verwenden, anstelle die Millimeterwellenbilddaten 200 zu verwenden. Beispielsweise in einem Fall, bei dem die Leistungsfähigkeit des Millimeterwellenradars 23 hoch ist und die Leistungsfähigkeit der Kamera 21 niedrig ist, kann die Konfiguration gemäß dem vierten Beispiel angenommen werden.
  • (8-5. Fünftes Beispiel)
  • In dem ersten bis vierten Beispiel der oben beschriebenen sechsten Ausführungsform werden die Kamera 21 und ein Sensor eines anderen Typs von dem der Kamera 21 kombiniert; dies ist jedoch nicht auf das Beispiel beschränkt. Beispielsweise kann, als das fünfte Beispiel der sechsten Ausführungsform, eine Kombination von Kameras 21 mit unterschiedlichen Charakteristiken angewendet werden. Als ein Beispiel ist es möglich, eine Kombination der ersten Kamera 21, die ein Teleobjektiv mit einem schmalen Sichtwinkel verwendet und zur Bildgebung über eine lange Distanz fähig ist, und der zweiten Kamera 21, die ein Weitwinkelobjekt mit einem weiten Sichtwinkel verwendet und zur Bildgebung eines weiten Bereichs fähig ist, anzuwenden.
  • (8-6. Sechstes Beispiel)
  • Die Beschreibung geht zu dem fünften Beispiel der sechsten Ausführungsform über. Das fünfte Beispiel ist ein Beispiel, bei dem die Konfiguration der Erkennungsverarbeitungseinheit 15 gemäß Bedingungen gewechselt wird. Es ist anzumerken, dass zum Zweck der Erläuterung die Erkennungsverarbeitungseinheit 15 (das Objekterkennungsmodell 40a) gemäß der ersten Ausführungsform unten als ein Beispiel beschrieben wird.
  • Als ein Beispiel kann die Verwendung/Nichtverwendung der Aufmerksamkeitskarte gemäß dem Wetter oder der Szene gewechselt werden. Beispielsweise kann es nachts und unter regnerischen Bedingungen schwierig sein, ein Objekt in einem durch die Kamera 21 aufgenommenen Bild zu erkennen. In einem solchen Fall wird die Objekterkennung nur unter Verwendung der Ausgabe des Millimeterwellenradars 23 durchgeführt. Als ein anderes Beispiel ist es ferner möglich, zu ändern, wie die Aufmerksamkeitskarte verwendet wird, in einem Fall, bei dem einer der mehreren in der Datenerfassungseinheit 20 enthaltenen Sensoren nicht normal arbeitet. Beispielsweise in einem Fall, bei dem die normalen Bilddaten 100 aufgrund einer Fehlfunktion der Kamera 21 oder dergleichen nicht ausgegeben werden, wird die Objekterkennung mit einem Erkennungsniveau ähnlich zu dem in einem Fall durchgeführt, bei dem die Aufmerksamkeitskarte nicht verwendet wird. Als noch ein anderes Beispiel in einem Fall, bei dem die Datenerfassungseinheit 20 drei oder mehr Sensoren aufweist, ist das Erzeugen mehrerer Aufmerksamkeitskarten auf Basis von Ausgaben der mehreren Sensoren möglich. In einem solchen Fall können mehrere Aufmerksamkeitskarten, die auf Basis der Ausgaben der Sensoren erzeugt werden, kombiniert werden.
  • Die in der vorliegenden Spezifikation beschriebenen Effekte sind lediglich Beispiele und nicht beschränkt, und andere Effekte können bereitgestellt werden.
  • Ferner kann die vorliegende Technologie auch wie nachfolgend ausgebildet sein.
    1. (1) Eine Informationsverarbeitungseinrichtung, aufweisend:
      • eine Erkennungsverarbeitungseinheit, die dazu ausgebildet ist, eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchzuführen durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
    2. (2) Die Informationsverarbeitungseinrichtung nach dem obigen (1), wobei
      • die Erkennungsverarbeitungseinheit
      • ein durch maschinelles Lernen erhaltenes Objekterkennungsmodell verwendet, um die Erkennungsverarbeitung durchzuführen, und
      • das Objekterkennungsmodell die Gebietsinformationen in einer Schicht einer ersten Faltungsschicht erzeugt, die auf Basis der Ausgabe des zweiten Sensors erzeugt wird, und die erzeugten Gebietsinformationen zu einer Schicht, entsprechend der Schicht, in der die Gebietsinformationen erzeugt wurden, einer zweiten Faltungsschicht hinzufügt, die auf Basis der Ausgabe des ersten Sensors erzeugt wird.
    3. (3) Die Informationsverarbeitungseinrichtung nach dem obigen (1), wobei
      • die Erkennungsverarbeitungseinheit
      • ein durch maschinelles Lernen erhaltenes Objekterkennungsmodell verwendet, um die Erkennungsverarbeitung durchzuführen, und
      • das Objekterkennungsmodell die Gebietsinformationen in mehreren Schichten erzeugt, die einer ersten Faltungsschicht enthalten sind, die auf Basis der Ausgabe des zweiten Sensors erzeugt wird, und die erzeugten Gebietsinformationen zu jeder mehrerer Schichten einer zweiten Faltungsschicht hinzufügt, entsprechend eineindeutig jeder der mehreren Schichten, in denen die Gebietsinformationen erzeugt wurden, die auf Basis der Ausgabe des ersten Sensors erzeugt wird.
    4. (4) Die Informationsverarbeitungseinrichtung nach dem obigen (3), wobei
      • die Erkennungsverarbeitungseinheit
      • die Gebietsinformationen in jeder einer vorbestimmten Anzahl erster Faltungsschichten der ersten Faltungsschicht erzeugt.
    5. (5) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (4), wobei
      • es sich bei dem zweiten Sensor um einen Bildsensor handelt.
    6. (6) Die Informationsverarbeitungseinrichtung nach dem obigen (5), wobei
      • es sich bei dem ersten Sensor um einen beliebigen eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors handelt.
    7. (7) Die Informationsverarbeitungseinrichtung nach dem obigen (5), wobei
      • der erste Sensor
      • zwei oder mehr Sensoren des Bildsensors, eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors aufweist und eine durch Kombinieren von Ausgaben der zwei oder mehr Sensoren erhaltene Ausgabe als die Ausgabe des ersten Sensors verwendet wird.
    8. (8) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (4), wobei
      • es sich bei dem ersten Sensor um einen Bildsensor handelt, und
      • es sich bei dem zweiten Sensor um einen beliebigen eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors handelt.
    9. (9) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (8), wobei
      • die Erkennungsverarbeitungseinheit
      • ein Gebiet der Ausgabe des ersten Sensors hervorhebt, das einem Gebiet entspricht, in dem die Objektwahrscheinlichkeit in der Ausgabe des zweiten Sensors gleich oder größer als eine erste Schwelle ist.
    10. (10) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (9), wobei
      • die Erkennungsverarbeitungseinheit
      • ein Gebiet der Ausgabe des ersten Sensors reduziert, das einem Gebiet entspricht, in dem die Objektwahrscheinlichkeit in der Ausgabe des zweiten Sensors kleiner als eine zweite Schwelle ist.
    11. (11) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (10), wobei
      • die Erkennungsverarbeitungseinheit
      • eine Ausgabe ein Frame vor dem zweiten Sensor verwendet, um die Gebietsinformationen zu erzeugen.
    12. (12) Die Informationsverarbeitungseinrichtung nach einem der obigen (1) bis (11), wobei
      • die Erkennungsverarbeitungseinheit
      • die Ausgabe des zweiten Sensors mit den Gebietsinformationen verknüpft.
    13. (13) Ein Informationsverarbeitungssystem, aufweisend:
      • einen ersten Sensor;
      • einen zweiten Sensor, der sich vom ersten Sensor unterscheidet; und
      • eine Informationsverarbeitungseinrichtung, die eine Erkennungsverarbeitungseinheit aufweist, die dazu ausgebildet ist, eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchzuführen durch Hinzufügen, zu einer Ausgabe des ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe des zweiten Sensors detektiert wird.
    14. (14) Ein Informationsverarbeitungsprogramm zum Bewirken, dass ein Computer eine Verarbeitung ausführt, die Folgendes aufweist:
      • einen Erkennungsverarbeitungsschritt zum Durchführen einer Erkennungsverarbeitung zum Erkennen eines Zielobjekts durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
    15. (15) Ein Informationsverarbeitungsverfahren, aufweisend:
      • Ausführen, durch einen Prozessor,
      • einen Erkennungsverarbeitungsschritt zum Durchführen einer Erkennungsverarbeitung zum Erkennen eines Zielobjekts durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
  • Bezugszeichenliste
    • 10
    FAHRZEUGAUSSENINFORMATIONEN-DETEKTIONSEINHEIT
    11
    INFORMATIONSVERARBEITUNGSEINHEIT
    12
    BILDVERARBEITUNGSEINHEIT
    13, 13a, 13b, 13c
    SIGNALVERARBEITUNGSEINHEIT
    14, 14a, 14b, 14c, 14d
    GEOMETRISCHE TRANSFORMATIONSEINHEIT
    15a, 15b, 15c, 15d
    ERKENNUNGSVERARBEITUNGSEINHEIT
    20, 20a, 20b, 20c
    DATENERFASSUNGSEINHEIT
    21
    KAMERA
    22
    BILDSENSOR
    23
    MILLIMETERWELLENRADAR
    24
    LIDAR
    25
    ULTRASCHALLSENSOR
    30
    LERNSYSTEM
    40, 40a, 40b, 40c, 40d, 40e, 40f
    OBJEKTERKENNUNGSMODELL
    41a, 41b, 41c, 110, 210
    MERKMALSEXTRAKTIONSSCHICHT
    100, 100a, 100b
    BILDDATEN
    120, 120a, 120b, 120c
    OBJEKTERKENNUNGSSCHICHT
    1200, 1201, 1202, 1203, 1204, 1205, 1206, 120x, 1200', 1201', 1202', 1203', 1204', 1205', 1206', 1221, 1222, 1223, 1224, 1225, 1226, 2300, 2301, 2302, 2303, 2304, 2305, 2306, 230x
    OBJEKTERKENNUNGSSCHICHTDATEN
    150
    VORHERSAGEEINHEIT
    200
    MILLIMETERWELLENBILDDATEN
    220
    MULTIPLIKATIONSEINHEIT
    221
    ADDITIONSEINHEIT
    222
    VERKNÜPFUNGSEINHEIT
    230
    OBJEKTERKENNUNGSSCHICHT
    2420, 2421, 2422, 2423, 2424, 2425, 2426
    VERKNÜPFTE DATEN
    300, 301
    KOMBINIEREINHEIT
    3100, 3101, 3102, 3103, 3104, 3105, 3106
    KOMBINIERTE OBJEKTERKENNUNGSSCHICHTDATEN
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 17/057056 A [0003]

Claims (15)

  1. Informationsverarbeitungseinrichtung, aufweisend: eine Erkennungsverarbeitungseinheit, die dazu ausgebildet ist, eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchzuführen durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit ein durch maschinelles Lernen erhaltenes Objekterkennungsmodell verwendet, um die Erkennungsverarbeitung durchzuführen, und das Objekterkennungsmodell die Gebietsinformationen in einer Schicht einer ersten Faltungsschicht erzeugt, die auf Basis der Ausgabe des zweiten Sensors erzeugt wird, und die erzeugten Gebietsinformationen zu einer Schicht, entsprechend der Schicht, in der die Gebietsinformationen erzeugt wurden, einer zweiten Faltungsschicht hinzufügt, die auf Basis der Ausgabe des ersten Sensors erzeugt wird.
  3. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit ein durch maschinelles Lernen erhaltenes Objekterkennungsmodell verwendet, um die Erkennungsverarbeitung durchzuführen, und das Objekterkennungsmodell die Gebietsinformationen in mehreren Schichten erzeugt, die einer ersten Faltungsschicht enthalten sind, die auf Basis der Ausgabe des zweiten Sensors erzeugt wird, und die erzeugten Gebietsinformationen zu jeder mehrerer Schichten einer zweiten Faltungsschicht hinzufügt, entsprechend eineindeutig jeder der mehreren Schichten, in denen die Gebietsinformationen erzeugt wurden, die auf Basis der Ausgabe des ersten Sensors erzeugt wird.
  4. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei die Erkennungsverarbeitungseinheit die Gebietsinformationen in jeder einer vorbestimmten Anzahl erster Faltungsschichten der ersten Faltungsschicht erzeugt.
  5. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei es sich bei dem zweiten Sensor um einen Bildsensor handelt.
  6. Informationsverarbeitungseinrichtung nach Anspruch 5, wobei es sich bei dem ersten Sensor um einen beliebigen eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors handelt.
  7. Informationsverarbeitungseinrichtung nach Anspruch 5, wobei der erste Sensor zwei oder mehr Sensoren des Bildsensors, eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors aufweist und eine durch Kombinieren von Ausgaben der zwei oder mehr Sensoren erhaltene Ausgabe als die Ausgabe des ersten Sensors verwendet wird.
  8. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei es sich bei dem ersten Sensor um einen Bildsensor handelt, und es sich bei dem zweiten Sensor um einen beliebigen eines Millimeterwellenradars, eines Lichtreflexion-Abstandsmessungssensors und eines Ultraschallsensors handelt.
  9. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit ein Gebiet der Ausgabe des ersten Sensors hervorhebt, das einem Gebiet entspricht, in dem die Objektwahrscheinlichkeit in der Ausgabe des zweiten Sensors gleich oder größer als eine erste Schwelle ist.
  10. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit ein Gebiet der Ausgabe des ersten Sensors reduziert, das einem Gebiet entspricht, in dem die Objektwahrscheinlichkeit in der Ausgabe des zweiten Sensors kleiner als eine zweite Schwelle ist.
  11. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit eine Ausgabe ein Frame vor dem zweiten Sensor verwendet, um die Gebietsinformationen zu erzeugen.
  12. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Erkennungsverarbeitungseinheit die Ausgabe des zweiten Sensors mit den Gebietsinformationen verknüpft.
  13. Informationsverarbeitungssystem, aufweisend: einen ersten Sensor; einen zweiten Sensor, der sich vom ersten Sensor unterscheidet; und eine Informationsverarbeitungseinrichtung, die eine Erkennungsverarbeitungseinheit aufweist, die dazu ausgebildet ist, eine Erkennungsverarbeitung zum Erkennen eines Zielobjekts durchzuführen durch Hinzufügen, zu einer Ausgabe des ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe des zweiten Sensors detektiert wird.
  14. Informationsverarbeitungsprogramm zum Bewirken, dass ein Computer eine Verarbeitung ausführt, die Folgendes aufweist: einen Erkennungsverarbeitungsschritt zum Durchführen einer Erkennungsverarbeitung zum Erkennen eines Zielobjekts durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
  15. Informationsverarbeitungsverfahren, aufweisend: Ausführen, durch einen Prozessor, eines Erkennungsverarbeitungsschritts zum Durchführen einer Erkennungsverarbeitung zum Erkennen eines Zielobjekts durch Hinzufügen, zu einer Ausgabe eines ersten Sensors, von Gebietsinformationen, die gemäß einer Objektwahrscheinlichkeit erzeugt werden, die in einem Prozess einer Objekterkennungsverarbeitung basierend auf einer Ausgabe eines zweiten Sensors, der sich vom ersten Sensor unterscheidet, detektiert wird.
DE112020006362.3T 2019-12-27 2020-12-16 Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren Pending DE112020006362T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-239265 2019-12-27
JP2019239265 2019-12-27
PCT/JP2020/046928 WO2021131953A1 (ja) 2019-12-27 2020-12-16 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Publications (1)

Publication Number Publication Date
DE112020006362T5 true DE112020006362T5 (de) 2022-10-20

Family

ID=76575520

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020006362.3T Pending DE112020006362T5 (de) 2019-12-27 2020-12-16 Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren

Country Status (6)

Country Link
US (1) US20230040994A1 (de)
JP (1) JPWO2021131953A1 (de)
KR (1) KR20220117218A (de)
CN (1) CN114868148A (de)
DE (1) DE112020006362T5 (de)
WO (1) WO2021131953A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
WO2023127616A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149089A1 (ja) * 2022-02-01 2023-08-10 ソニーセミコンダクタソリューションズ株式会社 学習装置、学習方法及び学習プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10591594B2 (en) * 2015-09-30 2020-03-17 Sony Corporation Information processing apparatus, information processing method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
CN114868148A (zh) 2022-08-05
KR20220117218A (ko) 2022-08-23
WO2021131953A1 (ja) 2021-07-01
JPWO2021131953A1 (de) 2021-07-01
US20230040994A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
DE112020006362T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren
EP3140813B1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102004035842B4 (de) Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem
DE112018000899T5 (de) Gemeinsame 3D-Objekterfassung und Ausrichtungsabschätzung über multimodale Fusion
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE112017002651T5 (de) Zielerfassungsvorrichtung
EP1634243B1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102013112916A1 (de) Fahrzeugfahrtunterstützungssteuerungsvorrichtung
DE102018117137B4 (de) Umgebungsüberwachungsvorrichtung
DE102018002955A1 (de) Verfahren und steueranordnung zur umgebungswahrnehmung
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102011077333A1 (de) Fahrerassistenzsystem mit Objektdetektion
DE112020002567T5 (de) Bilderkennungsvorrichtung und bilderkennungsverfahren
DE112020002746T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und abstandsmessmodul
DE112015002772T5 (de) Fahrunterstützungsvorrichtung
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
WO2018059630A1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE112018003025T5 (de) Bildgebungssystem für ein fahrzeug, serversystem und bildgebungsverfahren für ein fahrzeug
EP1419402A1 (de) Verfahren zur erkennung und verfolgung von objekten
DE112020004690T5 (de) Abstandsmesssensor, signalverarbeitungsverfahren und abstandsmessmodul
DE112020003845T5 (de) Vorrichtung, messungsvorrichtung, entfernungsmessungssystem und verfahren
EP3809316A1 (de) Vorhersage eines strassenverlaufs auf basis von radardaten
DE112022001403T5 (de) Lichtinterferenzdetektion während der fahrzeugnavigation