DE112020005642T5 - Informationsverarbeitungsvorrichtung - Google Patents

Informationsverarbeitungsvorrichtung Download PDF

Info

Publication number
DE112020005642T5
DE112020005642T5 DE112020005642.2T DE112020005642T DE112020005642T5 DE 112020005642 T5 DE112020005642 T5 DE 112020005642T5 DE 112020005642 T DE112020005642 T DE 112020005642T DE 112020005642 T5 DE112020005642 T5 DE 112020005642T5
Authority
DE
Germany
Prior art keywords
unit
determination unit
information
processing
dnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020005642.2T
Other languages
English (en)
Inventor
Sakie Komatsu
Hiroaki Ito
Koji Maeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of DE112020005642T5 publication Critical patent/DE112020005642T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein autonomes Fahrsystem für ein Fahrzeug reduziert die Menge der Berechnungen für die Objektextraktion, die von einem DNN durchgeführt werden, indem es Informationen über die fahrende Umgebung oder ähnliches verwendet. Eine Informationsverarbeitungsvorrichtung mit einem Prozessor, einem Speicher und einer Berechnungseinheit, die eine Berechnung unter Verwendung eines Inferenzmodells durchführt, ist vorgesehen. Die Informationsverarbeitungsvorrichtung enthält eine DNN-Verarbeitungseinheit, die externe Informationen empfängt, wobei die DNN-Verarbeitungseinheit ein externes Objekt aus den externen Informationen unter Verwendung des Inferenzmodells extrahiert, und eine Verarbeitungsinhaltssteuereinheit, die den Verarbeitungsinhalt der DNN-Verarbeitungseinheit steuert. Die DNN-Verarbeitungseinheit enthält eine Objektextraktionseinheit, die das Inferenzmodell in einem tiefgehenden neuronalen Netzwerk mit einer Vielzahl von Schichten von Neuronen ausführt, und die Verarbeitungsinhaltssteuereinheit enthält eine Ausführungsschichtbestimmungseinheit, die die von der Objektextraktionseinheit verwendeten Schichten bestimmt.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, die ein tiefgehendes neuronales Netzes (Deep Neural Network) verwendet.
  • Stand der Technik
  • In den letzten Jahren wurde eine Technik entwickelt, bei der ein Fahrzeug mit Hilfe von maschinellem Lernen durch Umgebungserkennung, automatisches Lenken und automatische Geschwindigkeitsregelung so gesteuert wird, dass es selbständig zu einem Ziel fährt. Darüber hinaus ist ein tiefgehendes neuronales Netz (DNN) heute als maschinelles Lernverfahren bekannt, das bei der Objekterkennung oder dergleichen eingesetzt wird.
  • Das DNN führt einen Lernprozess zur Erfassung von Merkmalen eines Objekts und einen Inferenzprozess zur Extraktion eines Objekts aus Bilddaten auf der Grundlage von Lernergebnissen durch. In einem konventionellen Fall, in dem das automatische Fahren eines Fahrzeugs mit Hilfe des DNN durchgeführt wird, werden Bilddaten der äußeren Umgebung von einer Kamera erfasst und in ein für das DNN verarbeitbares Datenformat umgewandelt. Beim Inferenzprozess werden die umgewandelten Bilddaten als Eingangsbild behandelt und ein Objekt daraus extrahiert, wobei ein DNN zum Einsatz kommt, das den Lernprozess bereits abgeschlossen hat. Danach wird aus den Ergebnissen der Objektextraktion eine Karte der umliegenden Umgebung erstellt, und auf der Grundlage der Karte der umliegenden Umgebung wird ein Aktionsplan zur Steuerung des Fahrzeugs erstellt.
  • PTL 1 offenbart eine Technik, mit der ein Objekt aus einem Eingangsbild von einer Kamera unter Verwendung eines neuronalen Netzes oder ähnlichem extrahiert wird und bestimmt wird, ob ein vor einem liegender Raum ein Raum ist, in dem das Fahrzeug fahren kann. PTL 2 offenbart eine Technik, mit der die Anzahl von Pixeln eines Eingangsbildes einer Kamera schrittweise in Abhängigkeit von einem Bewegungszustand reduziert wird.
  • Zitierungsliste
  • Patentliteratur
    • PTL 1: JP 2019-008796 A
    • PTL 2: JP 2018-056838 A
  • Zusammenfassung der Erfindung
  • TECHNISCHES PROBLEM
  • Das DNN führt wiederholt Faltungsoperationen durch, die Multiplikationen und Additionen umfassen. Der Umfang der Berechnungen durch das DNN ist daher enorm. Da das autonome Fahren eines Fahrzeugs die Aktualisierung eines Aktionsplans innerhalb sehr kurzer Zeitspannen erfordert, muss die Objektextraktion durch das DNN mit Hochgeschwindigkeits- Rechenleistung erfolgen. Wenn das DNN in einer Grafikverarbeitungseinheit (GPU), einem Field Programmable Gate Array (FPGA), einem Mikrocomputer, einer CPU oder ähnlichem installiert ist, die Berechnungseinheiten darstellen, die in ein Fahrzeug eingebaut sein können, sind der Stromverbrauch und die Wärmeerzeugung durch die Berechnungseinheit sehr hoch.
  • Um das autonome Fahren in jeder Situation fortzusetzen, ist außerdem eine hochpräzise Objekterkennung erforderlich. Es ist daher notwendig, ein Eingangsbild mit einer großen Anzahl von Pixeln zu verwenden, was zu einem hohen Stromverbrauch und einer hohen Wärmeentwicklung bei der Umwandlung des Eingangsbildes führt. Da die elektrische Leistung des Fahrzeugs begrenzt ist, führt ein Anstieg des Stromverbrauchs und der Wärmeentwicklung zu dem Problem, dass sich bei einem Elektrofahrzeug die Fahrleistung verkürzt und die Kühlkosten für die Berechnungseinheiten steigen.
  • PTL 1 berücksichtigt jedoch nicht die Notwendigkeit, den Stromverbrauch bei beiden Prozessen aus Umwandlung des Eingangsbildes und Objektextraktion zu senken. PTL 2 ermöglicht eine Verringerung des Stromverbrauchs bei der Bildumwandlung, indem ein Verfahren zur Umwandlung des Eingangsbildes entsprechend der Fahrtumgebung geändert wird. PTL 2 berücksichtigt jedoch nicht den Stromverbrauch beim Inferenzprozess mit dem DNN, der besonders viele Berechnungen erfordert, und dürfte daher keinen ausreichenden Stromverbrauchssenkungseffekt bieten.
  • Die vorliegende Erfindung wurde im Hinblick auf die obigen Punkte konzipiert, und eine Aufgabe der vorliegenden Erfindung ist es, zu bestimmen, ob basierend auf einem Berechnungslastzustand einer Berechnungseinheit und auf einer Fahrtumgebung ein Objektextraktionsprozess durch ein DNN ausgelassen werden kann, und eine Berechnungslast und den Energieverbrauch der Berechnungseinheit zu reduzieren und die Wärmeerzeugung der Berechnungseinheit ebenfalls zu unterdrücken.
  • Lösung des Problems
  • Die vorliegende Erfindung stellt eine Informationsverarbeitungsvorrichtung bereit, die einen Prozessor, einen Speicher und eine Berechnungseinheit umfasst, die eine Berechnung unter Verwendung eines Inferenzmodells ausführt. Die Informationsverarbeitungsvorrichtung umfasst: eine DNN-Verarbeitungseinheit, die externe Informationen empfängt, wobei die DNN-Verarbeitungseinheit unter Verwendung des Inferenzmodells ein externes Objekt aus den externen Informationen extrahiert; und eine Steuereinheit für den Verarbeitungsinhalt, die den Verarbeitungsinhalt der DNN-Verarbeitungseinheit steuert. Die DNN-Verarbeitungseinheit enthält eine Objektextraktionseinheit, die das Inferenzmodell in einem tiefgehenden neuronalen Netzwerk mit einer Vielzahl von Schichten von Neuronen ausführt, und die Verarbeitungsinhaltssteuereinheit enthält eine Ausführungsschichtbestimmungseinheit, die die von der Objektextraktionseinheit verwendeten Schichten bestimmt.
  • Vorteilhafte Wirkungen der Erfindung
  • Die Informationsverarbeitungsvorrichtung der vorliegenden Erfindung reduziert die Menge der Berechnungen des tiefgehenden neuronalen Netzes (DNN), basierend auf einer Fahrtumgebung, und ist somit in der Lage, den Stromverbrauch der Berechnungseinheit zu reduzieren und die Wärmeerzeugung der Berechnungseinheit zu unterdrücken, während die Präzision bei der Objektextraktion durch das DNN gewährleistet wird, wobei die Präzision für das autonome Fahren erforderlich ist. Dies ermöglicht eine Erhöhung der Fahrleistung des Elektrofahrzeugs und eine Reduzierung der Kosten für ein Kühlsystem.
  • Einzelheiten zu mindestens einer Ausführungsform des hierin offengelegten Gegenstands werden in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargestellt. Weitere Merkmale, Aspekte und Wirkungen des offengelegten Gegenstands werden aus der folgenden Beschreibung, den Zeichnungen und den Ansprüchen ersichtlich.
  • Figurenliste
    • 1 zeigt eine erste Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration eines autonomen Fahrsystems darstellt.
    • 2 zeigt die erste Ausführungsform der vorliegenden Erfindung, die einen Teil eines Prozesses zur Durchführung der Objektextraktion unter Verwendung eines DNN darstellt.
    • 3 zeigt eine zweite Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 4 zeigt eine dritte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 5 zeigt eine vierte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 6 zeigt eine fünfte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 7 zeigt eine sechste Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 8 zeigt eine siebte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 9 stellt die siebte Ausführungsform der vorliegenden Erfindung dar, die einen Teil eines Prozesses zur Durchführung der Objektextraktion zeigt.
    • 10 zeigt eine achte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 11 zeigt die achte Ausführungsform der vorliegenden Erfindung, die ein Bild von einer Kamera eines Fahrzeugs zeigt, das in einem Tunnel fährt.
    • 12 zeigt eine neunte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 13 zeigt eine zehnte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 14 zeigt eine elfte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
    • 15 zeigt eine zwölfte Ausführungsform der vorliegenden Erfindung, die ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems darstellt.
  • Beschreibung von Ausführungsformen
  • Ausführungsformen sind nachfolgend unter Bezugnahme auf die Zeichnungen beschrieben.
  • [Erste Ausführungsform]
  • Ein tiefgehendes neuronales Netzwerk (im Folgenden „DNN“) mit einer Vielzahl von Schichten von Neuronen führt wiederholt Faltungsoperationen aus, die Multiplikationen und Additionen einschließen. Der Umfang der Berechnungen des tiefgehenden neuronalen Netzes ist daher enorm. Dies hat zur Folge, dass der Stromverbrauch und die Wärmeerzeugung durch eine Berechnungseinheit, die das DNN ausführt, sehr hoch sind. Wenn eine Informationsverarbeitungsvorrichtung eines Fahrzeugs einen Objektextraktionsprozess unter Verwendung des DNN durchführt, ergibt sich daher das Problem, dass sich bei einem Elektrofahrzeug die Fahrleistung verringert oder die Kühlkosten steigen.
  • 1 ist ein Blockdiagramm eines Beispiels einer Konfiguration eines autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß einer ersten Ausführungsform.
  • Wie in 1 dargestellt, umfasst das autonome Fahrsystem, das die Informationsverarbeitungsvorrichtung 100 gemäß dieser Ausführungsform verwendet, die Informationsverarbeitungsvorrichtung 100, eine Kamera 200 und eine Fahrzeugsteuereinheit 300. Bei der Informationsverarbeitungsvorrichtung 100 handelt es sich um einen Computer mit einem Prozessor 10, einem Speicher 20 und einem feldprogrammierbaren Gate-Array (FPGA) 170.
  • Diese Ausführungsform wird als Beispiel beschrieben, bei dem das FPGA 170 als Berechnungseinheit eingesetzt wird, die das DNN ausführt. Es sei jedoch darauf hingewiesen, dass die Ausführungsform nicht auf dieses Beispiel beschränkt ist und eine Grafikverarbeitungseinheit (GPU) als Berechnungseinheit verwendet werden kann. Die Berechnungseinheit, die das DNN ausführt, kann in demselben Gehäuse untergebracht sein, in dem auch der Prozessor 10 untergebracht ist. Der Prozessor 10 und das FPGA 170 sind über eine Schnittstelle (nicht dargestellt) mit der Kamera 200 und der Fahrzeugsteuereinheit 300 verbunden.
  • In den Speicher 20 ist eine Aktionsplanungseinheit 130 als Programm geladen und wird vom Prozessor 10 ausgeführt. Der Prozessor 10 führt einen Prozess gemäß einem Programm jeder Funktionseinheit aus und arbeitet somit als Funktionseinheit, die eine bestimmte Funktion bereitstellt. Zum Beispiel führt der Prozessor 10 einen Prozess gemäß einem Aktionsplanungsprogramm aus und fungiert somit als Aktionsplanungseinheit 130. Der Prozessor 10 verarbeitet auch andere Programme auf dieselbe Weise. Darüber hinaus arbeitet der Prozessor 10 auch als Funktionseinheit, die die jeweiligen Funktionen einer Vielzahl von Prozessen bereitstellt, die von jedem Programm ausgeführt werden. Ein Computer und ein Computersystem sind eine Vorrichtung und ein System, die diese Funktionseinheiten enthalten.
  • Das FPGA 170 umfasst eine DNN-Verarbeitungseinheit 110 und eine Steuereinheit 120 für den Verarbeitungsinhalt. Das FPGA 170 enthält die Aktionsplanungseinheit 130. Die DNN-Verarbeitungseinheit 110 umfasst eine Objektextraktionseinheit 111. Die Steuereinheit 120 für den Verarbeitungsinhalt umfasst eine Einheit 121 zur Bestimmung der Ausführungsschicht. Die Kamera 200 kann in der Informationsverarbeitungsvorrichtung 100 enthalten sein oder auch nicht. Die Informationsverarbeitungsvorrichtung 100 kann in das Fahrzeug eingebaut sein oder auch nicht.
  • Zunächst werden Prozesse in der DNN-Verarbeitungseinheit 110 beschrieben. Die Objektextraktionseinheit 111 enthält ein DNN (Inferenzmodell), das für einen Inferenzprozess verwendet wird, der auf einen von einem PC oder Server durchgeführten Lernprozess folgt. Das FPGA 170 verarbeitet externe Informationen (Bilddaten), die von der Kamera 200 erfasst wurden, um ein Objekt aus den Bilddaten zu extrahieren, wobei ein DNN zum Einsatz kommt, das Informationen widerspiegelt, die von der Steuereinheit 120 für die Verarbeitung von Inhalten ausgegeben werden.
  • Die Kamera 200, die an einer bestimmten Position (nicht dargestellt) am Fahrzeug angebracht ist, nimmt ein Bild eines Raums vor dem Fahrzeug als externe Information zur Erkennung eines Objekts außerhalb (vor) dem Fahrzeug auf und gibt das Bild an die Informationsverarbeitungsvorrichtung 100 aus.
  • Die Aktionsplanungseinheit 130 erstellt einen Aktionsplan zum Einstellen einer Fahrtrichtung, einer Fahrgeschwindigkeit und dergleichen des Fahrzeugs unter Verwendung von Informationen über ein Objekt, das von der Objektextraktionseinheit 111 extrahiert wurde, und gibt den Aktionsplan an die Fahrzeugsteuereinheit 300 aus. Die Fahrzeugsteuereinheit 300 steuert das Fahrzeug auf der Grundlage der Ausgaben der Aktionsplanungseinheit 130. Die Fahrzeugsteuereinheit 300 führt ihre Prozesse unter Anwendung bekannter Techniken aus. Die von der Fahrzeugsteuereinheit 300 durchgeführten Prozesse werden daher in dieser Ausführungsform nicht im Detail beschrieben.
  • Anschließend werden Prozesse in der Steuereinheit 120 für die Verarbeitungsinhalte beschrieben. Die Ausführungsschicht-Bestimmungseinheit 121 speichert die Anzahl der Ausführungsschichten des DNN, die in dem Objektextraktionsprozess verwendet werden, und gibt Informationen über die Anzahl der Ausführungsschichten an die Objektextraktionseinheit 111 aus.
  • Die Prozesse in der Objektextraktionseinheit 111 werden im Folgenden anhand eines konkreten Beispiels beschrieben. Bei dem Objektextraktionsprozess unter Verwendung des DNN wird ein Objekt extrahiert, indem eine Vielzahl von Schichten mit unterschiedlicher Anzahl von Segmentierungen auf externe Informationen (Bilddaten) angewendet wird. Dies ermöglicht die Extraktion von Objekten unterschiedlicher Größe. 2 zeigt ein Beispiel für einen Ausschnitt eines Teils eines Prozesses, den die in 1 gezeigte Objektextraktionseinheit 111 durchführt, um ein Objekt aus den Informationen (Bilddaten) der Kamera 200 unter Verwendung des DNN zu extrahieren.
  • In 2 ist ein Kamerabild 500 ein Beispiel für ein Bild, das von der in 1 dargestellten Kamera 200 ausgegeben wird. Ein Bild 510 zeigt ein Beispiel für die Segmentierung des Kamerabildes 500 in einer ersten Schicht des DNN der Objektextraktionseinheit 111, und die Bilder 520, 530, 540 und 550 zeigen Muster der Segmentierung des Kamerabildes 500 in einer zweiten Schicht, einer dritten Schicht, einer vierten Schicht bzw. einer fünften Schicht.
  • 2 zeigt, dass die DNN-Verarbeitungseinheit 110 in der ersten Schicht ein kleines Objekt 511, z. B. eine entfernte Person oder ein Auto, extrahiert, indem sie das Kamerabild 500 in kleine Blöcke segmentiert, und dass die DNN-Verarbeitungseinheit 110 in der fünften Schicht ein großes Objekt 551, z. B. ein Auto in der Nähe, extrahiert, indem sie das Kamerabild 500 in einen großen Block segmentiert.
  • In dem Bild 510 segmentiert die DNN-Verarbeitungseinheit 110 das Eingangsbild (500) in 5x5=25 Blöcke, und die Objektextraktionseinheit 111 führt den Objektextraktionsprozess in jeder Blockeinheit durch. In ähnlicher Weise segmentiert die DNN-Verarbeitungseinheit 110 das Eingangsbild in 4x4=16 Blöcke im Bild 520, in 3x3=9 Blöcke im Bild 530, in 2x2=4 Blöcke im Bild 540 und in 1×1=1 Block im Bild 550 und führt den Objektextraktionsprozess in den jeweiligen Blockeinheiten durch
  • Daher beträgt die Häufigkeit, mit der die DNN-Verarbeitungseinheit 110 die Objektextraktionsprozesse auf dem in 2 gezeigten Bild ausführt, 25+16+9+ 4+ 1 =55 Mal. Es sei darauf hingewiesen, dass die Struktur des DNN nicht auf die in dieser Ausführungsform angenommene Struktur beschränkt ist, bei der zuerst ein kleines Objekt extrahiert wird und dann ein großes Objekt extrahiert wird. Jede Struktur, die die Extraktion von Objekten ermöglicht, kann übernommen werden. Darüber hinaus sind die Anzahl der Segmentierungsblöcke und die Anzahl der Schichten, die bei der Berechnung durch das DNN verwendet werden, nicht auf die in 2 angegebene Anzahl beschränkt. Es kann eine beliebige Anzahl von Blöcken und Schichten verwendet werden, die die für das autonome Fahren erforderliche Präzision gewährleisten.
  • Wenn zum Beispiel ein Fahrzeug oder ähnliches auf einer Straße auf einem Privatgrundstück, wie zum Beispiel einer Fabrik, fährt, die Straße eine gute Sicht bietet und nur eine begrenzte Anzahl von Fahrzeugen auf der Straße fahren darf, und zwar mit einer Geschwindigkeit, die ausreichend niedriger ist als die Geschwindigkeit, mit der das Fahrzeug auf einer gewöhnlichen Straße fährt, ist es unnötig, ein kleines, mehrere hundert Meter entferntes Objekt zu erkennen. In diesem Fall kann die Anzahl der Blöcke, in denen die Objektextraktion durchgeführt wird, reduziert werden, indem die Anzahl der Schichten des DNN verringert wird.
  • Zum Beispiel bestimmt die Ausführungsschicht-Bestimmungseinheit 121, dass die DNN-Schichten, die in dem Objektextraktionsprozess ausgeführt werden sollen, die zweite Schicht bis zur fünften Schicht sind, die nicht die erste Schicht zum Extrahieren des kleinsten Objekts umfassen, und sendet eine Anweisung, die die bestimmte zweite Schicht bis zur fünften Schicht angibt, an die Objektextraktionseinheit 111. Basierend auf dieser Information von der Ausführungsschichtbestimmungseinheit 121 führt die Objektextraktionseinheit 111 nur die zweite bis fünfte Schicht des DNN aus, um den Objektextraktionsprozess durchzuführen. In diesem Fall ist die Häufigkeit, mit der die Objektextraktionsprozesse durchgeführt werden, 16+9+4+1 =30, was das 25-fache weniger ist als in dem Fall, in dem die Objektextraktion in den gesamten Schichten durchgeführt wird, und daher können die Berechnungen der Prozesse um das 25-fache reduziert werden.
  • Zu Beginn der Fahrt legt die Einheit 121 zur Bestimmung der Ausführungsschicht die im Voraus auszuführenden Schichten entsprechend der Fahrtumgebung oder Ähnlichem fest und sendet eine Anweisung, die die festgelegten Schichten angibt, als Verarbeitungsbedingung an die Objektextraktionseinheit 111.
  • Auf diese Weise kann durch die Verringerung der DNN-Schichten (fester Wert), die von der Objektextraktionseinheit 111 verwendet werden, beispielsweise der Stromverbrauch von Berechnungseinheiten wie dem FPGA 170 und der GPU verringert werden, und auch die Wärmeentwicklung derselben kann unterdrückt werden. Dadurch erhöht sich die Fahrleistung des Elektrofahrzeugs und die Kühlkosten für die Berechnungseinheiten sinken.
  • Es sei darauf hingewiesen, dass in der obigen Beschreibung die Anzahl der DNN-Schichten und die Anzahl der Blöcke, die in 2 dargestellt sind, Werte sind, die zur einfacheren Erklärung verwendet werden, und dass in dem DNN, das für die tatsächliche Objektextraktion verwendet wird, externe Informationen in mehrere Tausend bis mehrere Zehntausend Blöcke segmentiert sind und die Anzahl der Schichten enthalten ist. Die tatsächliche Anzahl der Berechnungen ist also weitaus größer als im obigen Beispiel, so dass der Effekt einer Verringerung der Anzahl der Berechnungen, der durch die Verringerung der Anzahl der Schichten erreicht wird, ebenfalls weitaus größer ausfällt.
  • In dieser Ausführungsform wird die Kamera 200 als ein Sensor verwendet, der externe Informationen erfasst. Der Sensor ist jedoch nicht auf die Kamera 200 beschränkt, sondern kann jeder Sensor sein, der in der Lage ist, die Entfernung zu einem Objekt oder die Art eines Objekts zu erfassen, wie z. B. ein „Light Detection and Ranging“ (LiDAR), ein „Radio Detection and Ranging“ (RADAR) oder eine Ferninfrarotkamera. Darüber hinaus kann der Sensor als einzelner Sensor oder als Kombination von Sensoren bereitgestellt werden.
  • In der ersten Ausführungsform wurde ein Beispiel für die Objektextraktionseinheit 111 beschrieben, die ein durch das DNN-basierte maschinelle Lernen generiertes Inferenzmodell ausführt. Das Inferenzmodell ist jedoch nicht darauf beschränkt, und es kann auch ein Modell verwendet werden, das durch eine andere Art des maschinellen Lernens erstellt wurde.
  • [Zweite Ausführungsform]
  • Eine zweite Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 3 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der zweiten Ausführungsform. In 3 sind die gleichen Bestandteile wie in 1 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 1 haben.
  • Bei der zweiten Ausführungsform handelt es sich um ein Beispiel, bei dem der ersten Ausführungsform eine Verarbeitungsbedingungsbestimmungseinheit 122 und Sensoren, die Informationen über den externen Zustand erfassen, hinzugefügt werden und die Ausführungsschicht-Bestimmungseinheit 121 von dem FPGA 170 in die Verarbeitungsinhalt-Steuereinheit 120 außerhalb des FPGA 170 übertragen wird. Bei anderen Aspekten der Konfiguration ist die zweite Ausführungsform die gleiche wie die erste Ausführungsform.
  • In 3 bestimmt die neu zur ersten Ausführungsform hinzugefügte Verarbeitungsbedingungsbestimmungseinheit 122 die aktuelle Fahrumgebung unter Verwendung von Eingabeinformationen, die einen Fahrzustand anzeigen, wobei die Eingabeinformationen von einem Sensor oder dergleichen des fahrenden Fahrzeugs stammen. Basierend auf der von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Fahrtumgebung ändert die Ausführungsschicht-Bestimmungseinheit 121 dynamisch die Anzahl der DNN-Schichten (Verarbeitungsbedingung), die im Objektextraktionsprozess verwendet werden.
  • In dieser Ausführungsform sind ein Fahrzeuggeschwindigkeitssensor 30 und ein Beleuchtungsstärkesensor 40 als Sensoren, die einen Fahrzustand des Fahrzeugs erfassen, mit der Informationsverarbeitungsvorrichtung 100 verbunden. Ein Mittel zur Erfassung des Fahrzustands des Fahrzeugs ist jedoch nicht auf diese Sensoren beschränkt. Erforderlich ist die Erfassung mindestens einer Fahrzeuggeschwindigkeit, und die Fahrzeuggeschwindigkeit kann aus den Positionsdaten eines globalen Positionierungssystems (GPS) berechnet werden.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 der Informationsverarbeitungsvorrichtung 100 bestimmt die Fahrtumgebung aus Informationen des Fahrzeuggeschwindigkeitssensors 30 und des Beleuchtungsstärkesensors 40 und gibt die bestimmte Fahrtumgebung an die Ausführungsschicht-Bestimmungseinheit 121 aus. Basierend auf der eingegebenen Fahrtumgebung bestimmt die Ausführungsschicht-Bestimmungseinheit 121 die im DNN zu verwendenden Schichten als Verarbeitungsbedingung und sendet eine Anweisung, die die Verarbeitungsbedingung angibt, an die Objektextraktionseinheit 111.
  • Die erste Ausführungsform ist ein Beispiel, bei dem die Einheit 121 zur Bestimmung der Ausführungsschicht im FPGA 170 angeordnet ist, weil die Anzahl der Schichten (Verarbeitungsbedingung) ein fester Wert ist. In der zweiten Ausführungsform hingegen ändert die Einheit 121 zur Bestimmung der Ausführungsschicht dynamisch die Anzahl der Schichten (Verarbeitungsbedingung). Aus diesem Grund wird die Ausführungsschicht-Bestimmungseinheit 121 als Programm in den Speicher 20 geladen und vom Prozessor 10 ausgeführt.
  • Die erste Ausführungsform wird als ein Beispiel beschrieben, bei dem die Ausführungsschichten des DNN in einer begrenzten Fahrtumgebung statisch bestimmt werden. Beim autonomen Fahren des Fahrzeugs variiert jedoch die Fahrumgebung und ist kompliziert, und die Genauigkeit eines aus Bilddaten extrahierten Objekts ändert sich von Moment zu Moment. Es ist daher wünschenswert, dass die Ausführungsschichtn des DNN dynamisch entsprechend der Fahrtumgebung geändert werden.
  • Nachfolgend wird anhand eines konkreten Beispiels ein Verfahren der Verarbeitungsbedingungsbestimmungseinheit 122 beschrieben.
  • Ein Beispiel, bei dem eine vom Fahrzeuggeschwindigkeitssensor 30 erfasste Fahrzeuggeschwindigkeit als Information über einen Fahrzustand verwendet wird, wird als ein Beispiel vorgestellt. Es wird ein Beispiel beschrieben, bei dem die Einheit 122 zur Bestimmung des Verarbeitungszustands feststellt, dass es sich bei der aktuellen Fahrumgebung um eine überlastete Umgebung handelt, wenn sie herausfindet, dass die vom Fahrzeuggeschwindigkeitssensor 30 erfasste Fahrzeuggeschwindigkeit gleich oder niedriger als ein voreingestellter Schwellenwert für die Fahrzeuggeschwindigkeit ist.
  • In einem Fall, in dem das Fahrzeug mit einer sehr niedrigen Geschwindigkeit in einem Verkehrsstau fährt (z. B., 5 km/h), ist die Veränderung des von der Kamera 200 eingehenden Bildes gering. Die Objektextraktionseinheit 111 muss daher in diesem Fall nur ein Objekt in einigen zehn Metern Entfernung erkennen und muss die Objektextraktion nicht mit einer Genauigkeit durchführen, die hoch genug ist, um ein Objekt in mehreren hundert Metern Entfernung zu erkennen.
  • Die Einheit 121 zur Bestimmung der Ausführungsschicht bestimmt eine Verarbeitungsbedingung auf der Grundlage einer von der Einheit 122 zur Bestimmung der Verarbeitungsbedingung bestimmten Fahrtumgebung. Die Einheit 121 zur Bestimmung der Ausführungsschicht bestimmt die zweite Schicht (520) bis zur fünften Schicht (550), die die erste Schicht (das Bild 510 in 2) zur Erkennung des kleinsten Objekts nicht einschließen, als die DNN-Schichten, die von der Objektextraktionseinheit 111 ausgeführt werden sollen, d.h., die Verarbeitungsbedingung, so dass der Umfang der Berechnungen des DNN reduziert werden kann, während die für das autonome Fahren erforderliche Präzision der Objektextraktion gewährleistet ist.
  • Wie oben beschrieben, werden gemäß der zweiten Ausführungsform die Sensoren, die den Fahrzustand erfassen, und die Verarbeitungsbedingungsbestimmungseinheit 122, die die Fahrumgebung des Fahrzeugs aus Informationen, die den Fahrzustand anzeigen, bestimmt, zur Konfiguration der ersten Ausführungsform hinzugefügt, und die Ausführungsschicht-Bestimmungseinheit 121 bestimmt die für die Fahrumgebung geeignete Verarbeitungsbedingung. Folglich kann die Informationsverarbeitungsvorrichtung 100 der zweiten Ausführungsform im Vergleich zur ersten Ausführungsform die Verarbeitungsbedingung dynamisch in Übereinstimmung mit der Fahrtumgebung ändern, wobei die Verarbeitungsbedingung die Objektextraktionsgenauigkeit sowie den Stromverbrauch und die Wärmeerzeugung der Berechnungseinheit (FPGA 170) beeinflusst.
  • Es ist daher zu erwarten, dass die Fahrleistung des Elektrofahrzeugs höher ist als bei der ersten Ausführungsform und dass die Kühlkosten der Berechnungseinheit (FPGA 170) reduziert werden. Bei den oben genannten Mitteln zur Bestimmung der verkehrsreichen Umgebung muss es sich nicht unbedingt um den Fahrzeuggeschwindigkeitssensor 30 handeln, sondern kann es sich auch um Bildinformationen handeln, die eine Fahrgeschwindigkeit anzeigen, oder um Stauinformationen, die über ein Radio, das Internet oder ähnliches bereitgestellt werden.
  • Darüber hinaus wird der Beleuchtungsstärkesensor 40 als ein Sensor verwendet, der Informationen über den Fahrzustand liefert, und die Einheit 122 zur Bestimmung des Verarbeitungszustands schließt auf einen Fahrzustand bei Nacht, wenn sie feststellt, dass die Umgebungshelligkeit (Beleuchtungsstärke) gleich oder niedriger als ein voreingestellter Beleuchtungsstärkeschwellenwert ist. Bei Nacht ist die Umgebung des Fahrzeugs dunkel, und die Kamera 200 kann keine detaillierten externen Informationen erfassen, die bei heller Umgebung möglich sind. In diesem Fall führt die Objektextraktionseinheit 111 eine Berechnung mit einer Genauigkeit durch, die die Extraktion eines Objekts in einigen zehn Metern Entfernung ermöglicht, und muss keine Objektextraktion mit einer Genauigkeit durchführen, die die Erkennung eines Objekts in mehreren hundert Metern Entfernung ermöglicht, da externe Informationen, die die Extraktion eines Objekts in mehreren hundert Metern Entfernung ermöglichen, nicht verfügbar sind.
  • In diesem Fall bestimmt die Ausführungsschicht-Bestimmungseinheit 121 auf der Grundlage der von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Fahrtumgebung die von der Objektextraktionseinheit 111 auszuführenden DNN-Schichten als die zweite Schicht (520) bis zur fünften Schicht (550). Die Information über den Fahrzustand zur Bestimmung der aktuellen Umgebungshelligkeit ist nicht auf die Information des Beleuchtungsstärkesensors 40 beschränkt. Ob es Tag oder Nacht ist, kann beispielsweise anhand von Informationen eines Sensors, der die Helligkeit in der Umgebung der Kamera 200 erfasst, oder einer Vorrichtung, die Zeitinformationen liefert, wie z. B. ein Radio, das Internet oder ein GPS, bestimmt werden.
  • Eine fahrzeuginterne Kamera (nicht abgebildet) kann ebenfalls als Einheit verwendet werden, die Informationen über den Fahrzustand liefert. In diesem Fall bestimmt die Einheit 122, die den Verarbeitungszustand ermittelt, anhand der Bilddaten der fahrzeuginternen Kamera, ob der Fahrer das Lenkrad bedient, und wenn sie feststellt, dass der Fahrer das Lenkrad bedient, bestimmt sie, dass das autonome Fahren (AD) nicht ausgeführt wird. Wenn AD ausgeführt wird, wird das Fahrzeug nur vom automatischen Fahrsystem gesteuert. In diesem Fall ist eine Objektextraktion erforderlich, die genau genug ist, um die Erkennung eines kleinen Objekts zu ermöglichen. Wenn AD jedoch nicht ausgeführt wird, erkennt der Fahrer die Informationen über die äußere Umgebung selbst. In diesem Fall reicht es aus, die Präzision der Objektextraktion zu gewährleisten, die eine Fahrunterstützung ermöglicht (fortgeschrittene Fahrerassistenzsysteme oder ADAS.
  • Basierend auf der Fahrtumgebung, die von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt wird, bestimmt die Ausführungsschicht-Bestimmungseinheit 121 die DNN-Schichten, die von der Objektextraktionseinheit 111 ausgeführt werden sollen, als zweite Schicht (520) bis fünfte Schicht (550).
  • Die Einheit, die die Informationen liefert, auf deren Grundlage die Einheit 122 zur Bestimmung des Verarbeitungszustands feststellt, ob AD ausgeführt wird, ist nicht auf die bordeigene Kamera beschränkt. Jede Einheit, mit der festgestellt werden kann, ob sich der Fahrer auf dem Fahrersitz befindet, wie z. B. ein Sensor, der erkennt, dass der Fahrer das Lenkrad betätigt, kann diese Informationen liefern. Außerdem kann anhand von Daten, die das Vorhandensein oder Nichtvorhandensein eines Aktionsplans für das autonome Fahren anzeigen, bestimmt werden, ob AD ausgeführt wird, wobei der Aktionsplan von der Aktionsplanungseinheit 130 erstellt wird.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Verarbeitungszustand anhand einer beliebigen Informationsstücke über den Fahrzustand oder einer Vielzahl davon bestimmen.
  • [Dritte Ausführungsform]
  • Eine dritte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 4 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß einer dritten Ausführungsform. In 4 sind die gleichen Bestandteile wie in 3 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 3 haben.
  • Bei der dritten Ausführungsform handelt es sich um ein Beispiel, bei dem die Verarbeitungsbedingungsbestimmungseinheit 122 und eine Belastungserkennungsvorrichtung 50 zur ersten Ausführungsform hinzugefügt werden und die Ausführungsschicht-Bestimmungseinheit 121 vom FPGA 170 an die Verarbeitungsinhalt-Steuereinheit 120 außerhalb des FPGA 170 übertragen wird.
  • Bei anderen Aspekten der Konfiguration ist die zweite Ausführungsform die gleiche wie die erste Ausführungsform.
  • In der zweiten Ausführungsform bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 die aktuelle Fahrumgebung unter Verwendung von Eingabeinformationen, die den Fahrzustand anzeigen, wobei die Eingabeinformationen von dem Sensor oder dergleichen des fahrenden Fahrzeugs stammen. In der dritten Ausführungsform bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 in der Informationsverarbeitungsvorrichtung 100 einen aktuellen Belastungszustand des FPGA 170 unter Verwendung einer Berechnungslast der Objektextraktionseinheit 111 als Eingangsinformation. Basierend auf dem von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Belastungszustand bestimmt die Ausführungsschicht-Bestimmungseinheit 121 die Anzahl der DNN-Schichten (Verarbeitungsbedingung), die von der Objektextraktionseinheit 111 zu verwenden sind.
  • In 4 erkennt die neu zur ersten Ausführungsform hinzugefügte Belastungserkennungsvorrichtung 50 eine Berechnungslast des FPGA 170 und gibt die erkannte Berechnungslast an die Einheit 122 zur Bestimmung der Verarbeitungsbedingung aus. Die Belastungserkennungsvorrichtung 50 kann zum Beispiel einen Sensor enthalten, der den Stromverbrauch, den Versorgungsstrom und Ähnliches des FPGA 170 als Berechnungslast erkennt.
  • Die erste Ausführungsform ist das Beispiel, bei dem die Einheit 121 zur Bestimmung der Ausführungsschicht im FPGA 170 angeordnet ist, weil die Anzahl der Schichten (Verarbeitungsbedingung) ein fester Wert ist. In der dritten Ausführungsform hingegen ändert die Einheit 121 zur Bestimmung der Ausführungsschicht dynamisch die Anzahl der Schichten (Verarbeitungsbedingung). Aus diesem Grund wird die Ausführungsschicht-Bestimmungseinheit 121 als Programm in den Speicher 20 geladen und vom Prozessor 10 ausgeführt.
  • Nachfolgend wird anhand eines konkreten Beispiels ein Verfahren der Verarbeitungsbedingungsbestimmungseinheit 122 beschrieben.
  • Beispielsweise berechnet die Einheit 122 zur Bestimmung der Verarbeitungsbedingungen einen Belastungsfaktor des FPGA 170 als Berechnungslast und vergleicht den Belastungsfaktor mit einem vorgegebenen Schwellenwert für den Belastungsfaktor. Als Belastungsfaktor wird beispielsweise ein Wert (%) verwendet, der sich aus der Division der von der Belastungserkennungsvorrichtung 50 erfassten Leistungsaufnahme durch die vorgeschriebene maximale Leistung ergibt.
  • Wenn der Belastungsfaktor des FPGA 170 höher ist als der Schwellenwert für den Belastungsfaktor, bestimmt die Einheit 122 zur Bestimmung des Verarbeitungszustands, dass eine Reduzierung der Berechnungslast des FPGA 170 erforderlich ist. Basierend auf dem Bestimmungsergebnis von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt die Ausführungsschicht-Bestimmungseinheit 121 die DNN-Schichten, die von der Objektextraktionseinheit 111 verwendet werden, als die zweite Schicht (520) bis zur fünften Schicht (550), die nicht die erste Schicht (510) zum Erfassen des kleinsten Objekts enthalten, so dass der Belastungsfaktor des FPGA 170 gleich oder niedriger als der Belastungsfaktor-Schwellenwert wird.
  • Auf diese Weise wird die Einheit 122 zur Bestimmung des Verarbeitungszustands, die den Belastungszustand aus der Berechnungslast des FPGA 170 bestimmt, zur ersten Ausführungsform hinzugefügt. Infolgedessen bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 den Belastungszustand, der dem Belastungsfaktor des FPGA 170 entspricht, der in der Informationsverarbeitungsvorrichtung 100 enthalten ist, und die Ausführungsschicht-Bestimmungseinheit 121 kann die Verarbeitungsbedingung entsprechend dem bestimmten Belastungszustand dynamisch ändern. Daher kann die Informationsverarbeitungsvorrichtung 100 den Stromverbrauch des FPGA 170 dynamisch reduzieren und auch die Wärmeentwicklung des FPGA 170 unterdrücken, was ein Vorteil gegenüber der ersten Ausführungsform ist.
  • Darüber hinaus verhindert die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform mit den oben genannten Vorteilen ein Problem mit dem FPGA 170, das durch thermisches Durchgehen oder ähnliches verursacht wird, und ist somit in der Lage, einen Abfall der Berechnungsgenauigkeit der Berechnungseinheit zu verhindern. Daher kann im Vergleich zur ersten Ausführungsform die Fahrleistung des Elektrofahrzeugs erhöht werden, da die Kühlungskosten des FPGA 170 und dergleichen reduziert werden können.
  • Der Belastungsfaktor des FPGA 170, der in dieser Ausführungsform als Berechnungslast definiert ist, ist nicht auf den Stromverbrauch beschränkt. Die Temperatur o.ä. des FPGA 170 kann auch als Wert für die Berechnungslast verwendet werden. Berechnungslasten brauchen nicht nur den Belastungsfaktor des FPGA 170, sondern können auch eine Berechnungslast des Prozessors 10 umfassen.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Belastungszustand unter Verwendung einer beliebigen Berechnungslast oder mehrerer Berechnungslasten bestimmen.
  • [Vierte Ausführungsform]
  • Anschließend wird eine vierte Ausführungsform der vorliegenden Erfindung beschrieben. 5 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß einer vierten Ausführungsform. In 5 sind die gleichen Bestandteile wie in den 3 und 4 mit denselben Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie dieselben oder ähnliche Funktionen haben wie in den 3 und 4.
  • Die vierte Ausführungsform ist ein Beispiel, bei dem die Konfiguration der dritten Ausführungsform zur Konfiguration der zweiten Ausführungsform hinzugefügt wird. In anderen Aspekten der Konfiguration ist die vierte Ausführungsform die gleiche wie die zweite Ausführungsform.
  • In der zweiten Ausführungsform wird die aktuelle Fahrumgebung unter Verwendung von Eingabeinformationen bestimmt, die den Fahrzustand anzeigen, wobei die Eingabeinformationen von dem Sensor oder dergleichen des fahrenden Fahrzeugs stammen, während in der dritten Ausführungsform der aktuelle Belastungszustand unter Verwendung der Berechnungslast der Informationsverarbeitungsvorrichtung 100 als Eingabeinformationen bestimmt wird. Die vierte Ausführungsform ist ein Beispiel, bei dem die zweite Ausführungsform und die dritte Ausführungsform miteinander kombiniert werden.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt eine Fahrtumgebung und einen Belastungszustand, wobei sie Informationen, die sowohl einen Fahrtzustand als auch eine Berechnungslast des FPGA 170 anzeigen, als Eingangsinformationen verwendet, und gibt das Bestimmungsergebnis an die Ausführungsschicht-Bestimmungseinheit 121 aus. Basierend auf dem Bestimmungsergebnis der Einheit 122 zur Bestimmung der Verarbeitungsbedingung bestimmt die Einheit 121 zur Bestimmung der Ausführungsschicht die Anzahl der DNN-Schichten (Verarbeitungsbedingung), die von der Objektextraktionseinheit 111 verwendet werden.
  • Auf diese Weise bestimmt die Einheit 122 zur Bestimmung der Verarbeitungsbedingungen die Fahrumgebung und den Belastungszustand unter Verwendung der Informationen, die den Fahrzustand und die Berechnungslast des FPGA 170 angeben. Durch diesen Prozess können im Vergleich zur zweiten und dritten Ausführungsform die Präzision der Objektextraktion und die Reduzierung des Stromverbrauchs und der Wärmeentwicklung dynamisch verändert werden.
  • Es wird daher erwartet, dass die daraus resultierenden Effekte die Vorteile der zweiten und dritten Ausführungsform kombinieren. Mit anderen Worten, es ist möglich, dass die Belastung des FPGA 170 in einem normalen Zustand gehalten wird, da die Genauigkeit der Objektextraktion in verschiedenen Fahrumgebungen beibehalten wird.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Verarbeitungszustand entweder anhand der Informationen über den Fahrzustand oder die Berechnungslast oder anhand beider Informationen bestimmen.
  • Fünfte Ausführungsform
  • Eine fünfte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 6 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der fünften Ausführungsform. In 6 sind die gleichen Bestandteile wie in 5 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 5 haben.
  • Die fünfte Ausführungsform umfasst ein LiDAR 400, eine Erkennungssensoreinheit 140 und eine Einheit zur Bestimmung der Erkennungsgenauigkeit 150, die zu den Bestandteilen der vierten Ausführungsform hinzugefügt werden. In anderen Aspekten der Konfiguration ist die fünfte Ausführungsform die gleiche wie die vierte Ausführungsform.
  • In 6 verarbeitet die in der vierten Ausführungsform neu hinzugefügte Erkennungssensoreinheit 140 Informationen (Abstand und Peilung) vom LiDAR 400, um ein Objekt zu erkennen. Die Einheit 150 zur Bestimmung der Erkennungsgenauigkeit bestimmt, ob die Objektextraktion durch die Objektextraktionseinheit 111 die erforderliche Genauigkeit beibehält, indem sie eine Differenz zwischen einem Objektextraktionsergebnis von der Objektextraktionseinheit 111 und einem Objekterkennungsergebnis von der Erkennungssensoreinheit 140 untersucht, und gibt das Bestimmungsergebnis an die Einheit 122 zur Bestimmung der Verarbeitungsbedingungen aus.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 aktualisiert dann einen Referenzwert, der als Bedingung für die Verringerung einer Berechnungslast der Objektextraktionseinheit 111 dient, basierend auf dem Bestimmungsergebnis von der Erkennungspräzisions-Bestimmungseinheit 150, einem Fahrzustand und einer Berechnungslast, wodurch ein übermäßiges Auslassen von Berechnungen verhindert wird, das die Objektextraktionspräzision aufgrund der übermäßig reduzierten Berechnungslast unzureichend macht.
  • In der Informationsverarbeitungsvorrichtung 100 der ersten, zweiten, dritten und vierten Ausführungsform ist der Referenzwert für die Steuerung der Anzahl der DNN-Schichten, die von der Objektextraktionseinheit 111 verwendet werden, statisch, wobei der Referenzwert gemäß den Informationen bestimmt wird, die den Fahrzustand und die Berechnungslast angeben. Es ist jedoch wünschenswert, dass der Referenzwert dynamisch ist, um die für das autonome Fahren erforderliche Genauigkeit der Objektextraktion zu gewährleisten.
  • Im Folgenden wird anhand eines konkreten Beispiels ein Verfahren der Erkennungsgenauigkeitsbestimmungseinheit 150 beschrieben.
  • Es wird ein Fall angenommen, in dem beispielsweise die Objektextraktionseinheit 111, in die Bilddaten von der Kamera 200 eingegeben werden, 5 Objekte extrahiert, während die Erkennungssensoreinheit 140, die Informationen vom LiDAR 400 verarbeitet, 7 Objekte erkennt, so dass die Anzahl der von der Objektextraktionseinheit 111 extrahierten Objekte kleiner ist als die Anzahl der von der Erkennungssensoreinheit 140 erkannten Objekte.
  • Da es der Extraktionseinheit 111 in diesem Fall nicht gelungen ist, die von der Erkennungssensoreinheit 140 erkannten Objekte zu extrahieren, stellt die Einheit 150 zur Bestimmung der Erkennungsgenauigkeit fest, dass die Objektextraktionseinheit 111 die für das autonome Fahren erforderliche Genauigkeit der Objektextraktion nicht einhält.
  • Basierend auf Informationen von der Objektextraktionseinheit 111 und der Erkennungssensoreinheit 140 gibt die Erkennungspräzisionsbestimmungseinheit 150 eine Anweisung an die Verarbeitungsbedingungsbestimmungseinheit 122 aus, wobei die Anweisung die Verarbeitungsbedingungsbestimmungseinheit 122 anweist, eine Verarbeitungsbedingung so zu ändern, dass die Objektextraktionspräzision verbessert wird, und die Verarbeitungsbedingungsbestimmungseinheit 122 ändert den Referenzwert für die Bestimmung der Verarbeitungsbedingung.
  • Die Einheit 150 zur Bestimmung der Erkennungsgenauigkeit kann einen Wert, der sich aus der Division der Anzahl der von der Objektextraktionseinheit 111 extrahierten Objekte durch die Anzahl der von der Erkennungssensoreinheit 140 erkannten Objekte ergibt, als Erkennungsgenauigkeit berechnen, und kann, wenn herausgefunden wird, dass die berechnete Erkennungsgenauigkeit gleich oder niedriger als ein voreingestellter Genauigkeitsschwellenwert ist, bestimmen, dass die Erkennungsgenauigkeit gefallen ist, und kann das Bestimmungsergebnis an die Verarbeitungsbedingungsbestimmungseinheit 122 ausgeben.
  • In einem Fall, in dem der Referenzwert in dieser Ausführungsform beispielsweise als ein Wert für die Korrektur des Schwellenwerts für den Belastungsfaktor verwendet wird, erhöht die Einheit 122 zur Bestimmung der Verarbeitungsbedingung den Referenzwert um 5 %, um den Schwellenwert für den Belastungsfaktor zu erhöhen, wenn die Einheit 122 zur Bestimmung der Verarbeitungsbedingung von der Einheit zur Bestimmung der Erkennungsgenauigkeit 150 eine Anweisung zur Verbesserung der Genauigkeit der Objektextraktion erhält. Die Einheit 122 zur Bestimmung der Verarbeitungsbedingung teilt dann der Einheit 121 zur Bestimmung der Ausführungsschicht mit, dass der Schwellenwert für den Belastungsfaktor erhöht wurde.
  • Nach Erhalt der Mitteilung, dass der Schwellenwert für den Belastungsfaktor erhöht wurde, fügt die Einheit 121 zur Bestimmung der Ausführungsschicht der Anzahl der DNN-Schichten, die derzeit von der Objektextraktionseinheit 111 verwendet werden, einen gegebenen Wert hinzu und sendet eine Anweisung, die das Hinzufügen des gegebenen Wertes zur Anzahl der DNN-Schichten anzeigt, an die Objektextraktionseinheit 111 des FPGA 170. Der von der Einheit 121 zur Bestimmung der Ausführungsschicht hinzugefügte, gegebene Wert ist beispielsweise eine Schicht.
  • Auf diese Weise erhöht die Ausführungsschicht-Bestimmungseinheit 121 als Reaktion auf eine Anforderung der Erkennungspräzisions-Bestimmungseinheit 150 die Anzahl der DNN-Schichten, die von der Objektextraktionseinheit 111 verwendet werden, um die Präzision beim Extrahieren eines Objekts zu verbessern.
  • Wenn die Fahrtumgebung jedoch eine verkehrsreiche Umgebung oder eine Nachtsituation ist, ist die Auswirkung der Erhöhung der Anzahl der DNN-Schichten, die von der Objektextraktionseinheit 111 verwendet werden, gering. In diesem Fall kann die Ausführungsschicht-Bestimmungseinheit 121 die Mitteilung, dass der Schwellenwert für den Belastungsfaktor erhöht wurde, löschen.
  • Auf diese Weise kann durch die zusätzliche Bereitstellung der Erkennungssensoreinheit 140, die ein Objekt auf der Grundlage von Informationen aus dem LiDAR 400 erkennt, und der Erkennungspräzisionsbestimmungseinheit 150, die die Präzision der Objektextraktion durch die Objektextraktionseinheit 111 und die Erkennungssensoreinheit 140 bestimmt, eine übermäßige Reduzierung der Berechnungsprozesse (Schichten) verhindert werden, wodurch die für das autonome Fahren erforderliche Objektextraktionspräzision in der Objektextraktionseinheit 111 unzureichend wird.
  • Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 der fünften Ausführungsform die Verarbeitung mit einer höheren Präzision als die Präzision der Verarbeitung in der ersten, zweiten, dritten und vierten Ausführungsform aufrechterhalten. Daher kann die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform den Stromverbrauch weiter reduzieren als die Informationsverarbeitungsvorrichtung 100 der ersten, zweiten, dritten und vierten Ausführungsform.
  • In diesem Beispiel wird als Sensor zur Bestimmung der Genauigkeit der Objektextraktion das LiDAR 400 verwendet. Bei diesem Sensor kann es sich um einen beliebigen Sensor handeln, der die Entfernung zu einem Objekt oder die Art eines Objekts bestimmen kann, wie z. B. eine Kamera, ein RADAR, eine Ferninfrarotkamera, und der sich von einem Sensor unterscheidet, der externe Informationen an die Objektextraktionseinheit 111 ausgibt, und daher nicht auf das LiDAR beschränkt ist. Darüber hinaus kann der Sensor als einzelner Sensor oder als Kombination von Sensoren bereitgestellt werden.
  • In dieser Ausführungsform ist das Verfahren, mit dem die Erkennungsgenauigkeits-Bestimmungseinheit 150 die Objektextraktionsgenauigkeit bestimmt, ein statischer Prozess, bei dem bestimmt wird, ob das Extraktionsergebnis der Objektextraktionseinheit 111 mit dem Erkennungsergebnis der Erkennungssensoreinheit 140 übereinstimmt. Indem die Einheit zur Bestimmung der Erkennungsgenauigkeit 150 mit einer Lernfunktion ausgestattet wird, kann die Referenz für die Bestimmung der Objekt-Extraktionsgenauigkeit dynamisch geändert werden.
  • [Sechste Ausführungsform]
  • Eine sechste Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 7 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der sechsten Ausführungsform. In 7 sind die gleichen Bestandteile wie in 5 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 5 haben.
  • Bei der sechsten Ausführungsform handelt es sich um ein Beispiel, bei dem eine Einheit 123 zur Bestimmung der Informationsmenge zur Steuereinheit 120 für den Verarbeitungsinhalt der in 5 gezeigten vierten Ausführungsform und eine Einheit 112 zur Umwandlung externer Informationen zur DNN-Verarbeitungseinheit 110 hinzugefügt wird und die Anzahl der Pixel (oder die Auflösung) eines von der Kamera 200 eingegebenen Bildes der externen Umgebung in Abhängigkeit von einer Fahrtumgebung und einem Ladezustand geändert wird. In anderen Aspekten der Konfiguration ist die sechste Ausführungsform die gleiche wie die vierte Ausführungsform.
  • Unter Bezugnahme auf 7 werden die Einheit 123 zur Bestimmung der Informationsmenge und die Einheit 112 zur Umwandlung externer Informationen beschrieben, die bei der vierten Ausführungsform neu hinzugekommen sind. Basierend auf einem Bestimmungsergebnis von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt die Informationsmengen-Bestimmungseinheit 123 die Anzahl der Pixel (Auflösung) eines Bildes der externen Umgebung, das von der Kamera 200 erfasst wurde, wobei das Bild der externen Umgebung in die Objektextraktionseinheit 111 eingegeben wird, und sendet einen Befehl, der die Anzahl der Pixel angibt, an die Einheit zur Umwandlung externer Information 112 des FPGA 170.
  • Basierend auf dem Befehl der Informationsmengen-Bestimmungseinheit 123 wandelt die Einheit 112 zur Umwandlung externer Information das Format des von der Kamera 200 erfassten Bildes der externen Umgebung in ein Format um, das vom DNN verwendet werden kann. Infolgedessen führt die Objektextraktionseinheit 111 eine Objektextraktion durch, bei der die Anzahl der Pixel an eine Verarbeitungsbedingung (die Anzahl der Schichten) angepasst ist.
  • In der ersten, zweiten, dritten und vierten Ausführungsform variieren die Größen der Objekte, die in den jeweiligen Schichten (510 bis 550) von der Objektextraktionseinheit 111 extrahiert werden, und daher variiert auch die erforderliche Anzahl von Pixeln (Auflösung) des Bildes der externen Umgebung, je nach dem Verarbeitungsinhalt jeder Schicht der Objektextraktionseinheit 111. Es ist daher wünschenswert, dass die Anzahl der Pixel des in die Objektextraktionseinheit 111 eingegebenen Bildes entsprechend der Anzahl der bei der Objektextraktion verwendeten Schichten dynamisch geändert wird.
  • Im Folgenden wird anhand eines konkreten Beispiels ein Prozess der Einheit 112 zur Umwandlung externer Information beschrieben.
  • Als Beispiel wird angenommen, dass die Kamera 200 ein Bild mit 2 Millionen Pixeln ausgibt. Es wird auch angenommen, dass die Informationsmengen-Bestimmungseinheit 123 auf der Grundlage eines Bestimmungsergebnisses der Verarbeitungsbedingungsbestimmungseinheit 122 die Anzahl der für die Objektextraktion erforderlichen Pixel auf 250.000 Pixel bestimmt.
  • In diesem Fall wandelt die Einheit 112 zur Umwandlung externer Information das von der Kamera 200 ausgegebene Bild in ein Format um, bei dem die 2 Millionen Pixel auf 250.000 Pixel reduziert werden. Die Objektextraktionseinheit 111 extrahiert ein Objekt unter Verwendung des aus 250.000 Pixeln bestehenden Bildes, das von der Einheit 112 zur Umwandlung externer Information ausgegeben wird.
  • Auf diese Weise ändert die DNN-Verarbeitungseinheit 110 dynamisch die Anzahl der Pixel des Eingangsbildes für die Objektextraktionseinheit 111 auf der Grundlage des Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit 122, so dass sie in der Lage ist, das Bild zu verwenden, dessen Pixelanzahl an die Anzahl der Ausführungsschichten des von der Objektextraktionseinheit 111 verwendeten DNN angepasst ist. Auf diese Weise wird die Anzahl der Ausführungsschichten des DNN reduziert und die Anzahl der Pixel des Bildes für die Objektextraktionseinheit 111 wird ebenfalls reduziert, was eine Verringerung des Berechnungsbetrags ermöglicht.
  • Infolgedessen kann Die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform den Stromverbrauch reduzieren und die Wärmeentwicklung effektiver unterdrücken als in der ersten, zweiten, dritten und vierten Ausführungsform. Daher wird erwartet, dass die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform im Vergleich zur ersten, zweiten, dritten und vierten Ausführungsform den Effekt bietet, dass die Fahrleistung des Elektrofahrzeugs weiter erhöht wird und die Kühlungskosten des FPGA 170 und dergleichen weiter reduziert werden.
  • In dieser Ausführungsform ändert die Einheit 123, die die Informationsmenge bestimmt, die Anzahl der Pixel des Bildes der Kamera 200. Erforderlich ist jedoch eine Änderung (Reduzierung) der Menge an externen Informationen, die sich nicht auf die Anzahl der Pixel beschränkt. Handelt es sich bei der Einheit, die externe Informationen ausgibt, beispielsweise um LiDAR oder RADAR, ändert sich die Anzahl der Punktgruppen ebenso wie die Menge der externen Informationen.
  • [Siebte Ausführungsform]
  • 8 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß einer siebten Ausführungsform. In 8 sind die gleichen Bestandteile wie in 1 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 1 haben.
  • Die siebte Ausführungsform ist ein Beispiel, in dem die Einheit 121 zur Bestimmung der Ausführungsschicht der ersten Ausführungsform durch eine Einheit 124 zur Bestimmung des Blockbereichs ersetzt wird. Bei anderen Aspekten der Konfiguration ist die zweite Ausführungsform die gleiche wie die erste Ausführungsform.
  • Die neu hinzugefügte Blockbereich-Bestimmungseinheit 124, die in 8 dargestellt ist, hält einen Blockbereich fest, in dem der Objektextraktionsprozess des DNN ausgeführt wird, und gibt Informationen über den Blockbereich an die Objektextraktionseinheit 111 aus. Die Blockflächenbestimmungseinheit 124 dieser Ausführungsform hält eine voreingestellte Fläche als feste Blockfläche fest.
  • Die Abläufe in der Objektextraktionseinheit 111 werden im Folgenden anhand eines konkreten Beispiels beschrieben.
  • 9 zeigt ein Beispiel für einen Ausschnitt eines Prozesses, den die in 8 gezeigte Objektextraktionseinheit 111 unter Verwendung des DNN durchführt, um ein Objekt aus den von der Kamera 200 eingegebenen Bilddaten zu extrahieren.
  • In 9 ist ein Kamerabild 600 ein Kamerabild, das von der Kamera 200 in 8 ausgegeben wird. Ein Bild 610 zeigt einen Zustand der Segmentierung des Kamerabildes 600 in der ersten Schicht des DNN für die Objektextraktionseinheit 111, ein Bild 620 zeigt einen Zustand der Segmentierung in der zweiten Schicht, ein Bild 630 zeigt einen Zustand der Segmentierung in der dritten Schicht, ein Bild 640 zeigt einen Zustand der Segmentierung in der vierten Schicht und ein Bild 650 zeigt einen Zustand der Segmentierung in der fünften Schicht.
  • In dem Bild 610 segmentiert die DNN-Verarbeitungseinheit 110 das Kamerabild 600 in 5x5=25 Blöcke, und die Objektextraktionseinheit 111 führt den Objektextraktionsprozess in Einheiten von Blöcken durch. In ähnlicher Weise segmentiert die DNN-Verarbeitungseinheit 110 das Kamerabild 600 in 4x4=16 Blöcke im Bild 620, in 3x3=9 Blöcke im Bild 630, in 2x2=4 Blöcke im Bild 640 und in 1×1=1 Block im Bild 650 und führt den Objektextraktionsprozess in entsprechenden Blockeinheiten durch
  • Daher beträgt die Häufigkeit, mit der das DNN der ersten bis fünften Schicht, wie in 9 dargestellt, wobei das DNN die Objektextraktionseinheit 111 bildet, die Objektextraktionsprozesse durchführt, 25+16+9+ 4+ 1 =55 Mal. Die Struktur des DNN der Objektextraktionseinheit 111 ist nicht auf die in dieser Ausführungsform verwendete Struktur beschränkt, bei der zunächst ein kleines Objekt und dann ein großes Objekt extrahiert wird. Jede Struktur, in der ein Objekt aus dem Kamerabild 600 extrahiert werden kann, kann als Struktur des DNN verwendet werden. Die Anzahl der segmentierten Blöcke und die Anzahl der Schichten, die bei der DNN-Berechnung angenommen werden, sind nicht auf die in 9 dargestellten Zahlen beschränkt. Es kann eine beliebige Anzahl von Blöcken und Schichten verwendet werden, die die für das autonome Fahren erforderliche Präzision gewährleisten.
  • Nun gibt es einen Fall, in dem, wie in 9 dargestellt, das Kamerabild 600 der Kamera 200 ein Objekt wie die Motorhaube des Fahrzeugs oder den Himmel 601 enthalten kann. Bei diesen Objekten handelt es sich um Objekte, die bei der Steuerung des Fahrzeugs nicht aus dem Kamerabild 600 extrahiert werden müssen. Aus diesem Grund kann die Objektextraktionseinheit 111 einen Blockbereich festlegen, in dem das DNN ausgeführt wird, wodurch der Objektextraktionsprozess in einem Blockbereich übersprungen wird, der nur das Bild unnötiger Objekte enthält.
  • In 9 zum Beispiel, wenn das Fahrzeug ausschließlich auf einer ebenen Straße mit guter Sicht fährt, zeigt das Kamerabild 600 ein Objekt, das für das autonome Fahren nicht notwendig ist (Wolke oder Motorhaube) und das immer an der gleichen Stelle bleibt. In diesem Fall ist es nicht notwendig, den Objektextraktionsprozess in dem Blockbereich durchzuführen, der ein solches Objekt enthält. Die Objektextraktionseinheit 111 führt den Objektextraktionsprozess nur in dem Bereich durch, der als Blockbereich angegeben ist, in dem das DNN ausgeführt wird.
  • Im Fall von 9 wird ein Bereich, in dem der Objektextraktionsprozess nicht ausgeführt wird, als Ausschlussbereich und ein Bereich, in dem der Objektextraktionsprozess ausgeführt wird, als Blockbereich spezifiziert.
  • In dem Bild 610 der ersten Schicht der Objektextraktionseinheit 111 wird ein Bereich, in dem nur der Himmel im Kamerabild 600 erscheint, als Ausschlussbereich 611 -A und ein Bereich, in dem nur die Motorhaube im Kamerabild 600 erscheint, als Ausschlussbereich 611-B festgelegt. Wenn ein Ausschlussbereich angegeben ist, aber die Bereiche des Himmels und der Haube nicht im Einzelnen spezifiziert sind, wird ein solches Ausschlussbereich als „611“ ausgedrückt, indem „-A“ und „-B „weggelassen werden". Dieser Vermerk gilt auch für andere Ausschlussbereiche.
  • Der Bereich zwischen dem Ausschlussbereich 611 -A und dem Ausschlussbereich 611-B wird als Blockbereich 612 bezeichnet. Konkret führt die Objektextraktionseinheit 111 in der ersten Schicht eine Objektextraktion unter Verwendung des DNN in dem Blockbereich 612 durch, der die dritte und vierte Spalte von oben im Bild 610 enthält.
  • In dem Bild 620 der zweiten Schicht legt die Objektextraktionseinheit 111 einen Bereich des Kamerabildes 600, der nur das Bild des Himmels enthält, als Ausschlussbereich 621-A fest und legt einen Bereich des Kamerabildes 600, der nur das Bild der Motorhaube enthält, als Ausschlussbereich 621-B fest.
  • Dann wird der Bereich zwischen dem Ausschlussbereich 621-A und dem Ausschlussbereich 621-B als Blockbereich 622 festgelegt. In der zweiten Schicht führt die Objektextraktionseinheit 111 eine Objektextraktion mit Hilfe des DNN in dem Blockbereich durch, der die zweite und dritte Spalte von oben des Bildes 620 enthält.
  • In dem Bild 630 der dritten Ebene legt die Objektextraktionseinheit 111 einen Bereich des Kamerabildes 600, der nur das Bild des Himmels enthält, als Ausschlussbereich 631 -A fest. Dann wird der Bereich, der nicht der Ausschlussbereich 631 -A ist, als Blockbereich 632 festgelegt. In der dritten Schicht führt die Objektextraktionseinheit 111 eine Objektextraktion unter Verwendung des DNN in dem Blockbereich 632 durch, der die zweite und dritte Spalte von oben im Bild 660 enthält.
  • Im Bild 640 der vierten Schicht und im Bild 620 der fünften Schicht sind die gesamten Bereiche als Blockbereich 642 bzw. als Blockbereich 652 spezifiziert, so dass die Objektextraktion mit Hilfe des DNN in den gesamten Blöcken durchgeführt wird.
  • Auf diese Weise wird der Ausschlussbereich 611, in dem der Objektextraktionsprozess nicht ausgeführt wird, im Voraus in der Blockbereichsbestimmungseinheit 124 festgelegt. Infolgedessen beträgt die Häufigkeit der DNN-Berechnungen 9+8+6+4+1 =28 Mal, was 27 Mal weniger ist als die Häufigkeit der DNN-Berechnungen in dem Fall, in dem die Objektextraktion in den gesamten Blockbereichen des Kamerabildes 600 durchgeführt wird.
  • In dieser Ausführungsform kann durch das Überspringen des DNN-Berechnungsprozesses durch die Objektextraktionseinheit 111 in den festen Ausschlussbereichen des Kamerabildes 600 beispielsweise der Stromverbrauch der Berechnungseinheiten, wie des FPGA 170 und der GPU, reduziert und auch deren Wärmeentwicklung unterdrückt werden. Dadurch erhöht sich die Fahrleistung des Elektrofahrzeugs, und die Kühlkosten der Berechnungseinheiten, wie z. B. des FPGA 170, werden reduziert.
  • Es sollte beachtet werden, dass in dieser Ausführungsform die Anzahl der DNN-Schichten und die Anzahl der Blöcke, die in 9 dargestellt sind, Werte sind, die zur einfacheren Erklärung verwendet werden, und dass in dem DNN, das für die tatsächliche Objektextraktion verwendet wird, externe Informationen, d.h. das Kamerabild 600 in mehrere Tausend bis Zehntausende von Blöcken segmentiert wird, und es werden mehrere Schichten einbezogen. Die tatsächliche Anzahl der Berechnungen ist also weitaus größer als im obigen Beispiel, so dass ein Effekt der Verringerung der Anzahl der Berechnungen, der durch die Verringerung der Blockbereiche, in denen die Berechnungen ausgeführt werden, erreicht wird, ebenfalls weitaus größer ausfällt.
  • In dieser Ausführungsform werden die externen Informationen von der Kamera 200 erfasst, aber die Einheit, die die externen Informationen erfasst, ist nicht auf die Kamera 200 beschränkt. Bei der Einheit, die externe Informationen erfasst, kann es sich beispielsweise um einen beliebigen Sensor handeln, der die Entfernung zu einem Objekt oder die Art eines Objekts erfassen kann, wie z. B. ein LiDAR, ein RADAR oder eine Ferninfrarotkamera. Darüber hinaus kann der Sensor als einzelner Sensor oder als Kombination von Sensoren bereitgestellt werden.
  • Die Blockbereich-Bestimmungseinheit 124, die die Blockbereiche bestimmt, in denen das DNN der Objektextraktionseinheit 111 die Objektextraktion durchführt, kann die Anzahl der Schichten in derselben Weise reduzieren, wie die Anzahl der Schichten in der ersten, zweiten, dritten, vierten, fünften und sechsten Ausführungsform reduziert wird. In diesem Fall wird die Anzahl der DNN-Schichten sowie die Anzahl der von der Objektextraktionseinheit 111 verwendeten Blöcke reduziert, was eine weitere Senkung des Stromverbrauchs ermöglicht.
  • Achte Ausführungsform
  • Eine achte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 10 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der achten Ausführungsform. In 10 sind die gleichen Bestandteile wie in 8 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 8 haben.
  • Diese Ausführungsform ist ein Beispiel, bei dem die Einheit 122 zur Bestimmung der Verarbeitungsbedingung und Sensoren zur siebten Ausführungsform hinzugefügt werden und die Einheit 124 zur Bestimmung des Blockbereichs vom FPGA 170 in die Steuereinheit 120 für den Verarbeitungsinhalt übertragen wird. In anderen Aspekten der Konfiguration ist die achte Ausführungsform die gleiche wie die siebte Ausführungsform.
  • In 10 bestimmt die in der siebten Ausführungsform neu hinzugefügte Verarbeitungsbedingungsbestimmungseinheit 122 die aktuelle Fahrumgebung unter Verwendung von Eingabeinformationen, die einen Fahrzustand anzeigen, wobei die Eingabeinformationen von einem Sensor oder dergleichen des fahrenden Fahrzeugs stammen. Auf der Grundlage der von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Fahrtumgebung ändert die Blockbereich-Bestimmungseinheit 124 dynamisch die Blockbereiche (612, 622, 632, 642 und 652 in 9), in denen das DNN durch den Objektextraktionsprozess ausgeführt wird
  • Diese Ausführungsform ist ein Beispiel, bei dem der Fahrzeuggeschwindigkeitssensor 30 und der Beleuchtungsstärkesensor 40 mit der Informationsverarbeitungsvorrichtung 100 verbunden sind, wie die Sensoren, die den Fahrzustand des Fahrzeugs in der gleichen Weise wie bei der zweiten Ausführungsform erfassen. Die Sensoren sind jedoch nicht auf den Fahrzeuggeschwindigkeitssensor 30 und den Beleuchtungsstärkesensor 40 beschränkt.
  • In der gleichen Weise wie in der zweiten Ausführungsform bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 der Informationsverarbeitungsvorrichtung 100 die Fahrumgebung auf der Grundlage von Informationen des Fahrzeuggeschwindigkeitssensors 30 und des Beleuchtungsstärkesensors 40 und gibt die bestimmte Fahrumgebung an die Blockbereich-Bestimmungseinheit 124 aus. Basierend auf der eingehenden Fahrtumgebung bestimmt die Blockbereich-Bestimmungseinheit 124 einen vom DNN verwendeten Blockbereich (oder einen Ausschlussbereich) als Verarbeitungsbedingung und sendet eine Anweisung, die die Verarbeitungsbedingung angibt, an die Objektextraktionseinheit 111.
  • Bei der siebten Ausführungsform handelt es sich um ein Beispiel, bei dem die Einheit 124 zur Bestimmung des Blockbereichs im FPGA 170 angeordnet ist, da der Blockbereich ein fester Wert ist. In der achten Ausführungsform hingegen ändert die Blockbereichsbestimmungseinheit 124 dynamisch die Blockbereiche (oder die Ausschlussbereiche). Aus diesem Grund wird die Ausführungsschicht-Bestimmungseinheit 121 als Programm in den Speicher 20 geladen und vom Prozessor 10 ausgeführt.
  • Die siebte Ausführungsform ist ein Beispiel, bei dem der Blockbereich, in dem das DNN in der begrenzten Fahrtumgebung ausgeführt wird, statisch bestimmt wird. Beim autonomen Fahren des Fahrzeugs ändert sich jedoch die Fahrumgebung und ist kompliziert, da sich die Genauigkeit der Objektextraktion aus den Bilddaten von Moment zu Moment ändert. Es ist daher wünschenswert, dass der Blockbereich (oder der Ausschlussbereich), in dem das DNN ausgeführt wird, je nach Fahrumgebung dynamisch geändert werden kann.
  • Nachfolgend wird anhand eines konkreten Beispiels ein Verfahren der Verarbeitungsbedingungsbestimmungseinheit 122 beschrieben.
  • Ein Beispiel, bei dem eine vom Fahrzeuggeschwindigkeitssensor 30 erfasste Fahrzeuggeschwindigkeit als Information über einen Fahrzustand verwendet wird, wird als ein Beispiel vorgestellt. Wenn die vom Fahrzeuggeschwindigkeitssensor 30 erfasste Fahrzeuggeschwindigkeit gleich oder niedriger als ein voreingestellter Schwellenwert für die Fahrzeuggeschwindigkeit ist, bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122, dass die aktuelle Fahrumgebung eine überlastete Umgebung ist.
  • In einem Fall, in dem das Fahrzeug mit einer sehr niedrigen Geschwindigkeit in einem Verkehrsstau fährt (z. B. 5 km/h), ist die Veränderung des Eingangsbildes der Kamera 200 gering. In diesem Fall muss die Objektextraktionseinheit 111 nur über eine Objektextraktionspräzision verfügen, die es dem Fahrzeug ermöglicht, einem anderen, vor ihm fahrenden Fahrzeug zu folgen, und die Ausführung der Objektextraktion in den gesamten Bereichen des Bildes der Kamera 200 ist nicht erforderlich.
  • Die Blockbereich-Bestimmungseinheit 124 bestimmt eine Verarbeitungsbedingung auf der Grundlage der von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Fahrtumgebung. Die Blockbereich-Bestimmungseinheit 124 bestimmt die Verarbeitungsbedingung für eine Verringerung des Umfangs der DNN-Berechnungen bei gleichzeitiger Sicherstellung der für das autonome Fahren erforderlichen Präzision der Objektextraktion, wodurch Ausschlussbereiche 611, 621 und 631, in denen die Objektextraktion nicht durchgeführt wird, und Blockbereiche 612, 622, 632, 642 und 652, in denen die Objektextraktion unter Verwendung des DNN durchgeführt wird, bestimmt (spezifiziert) werden, wobei beide Bereiche in 9 gezeigt sind.
  • Die Objektextraktionseinheit 111 führt die Objektextraktion nur in den Blockbereichen 612, 622, 632, 642 und 652 durch, die von der Blockbereichsbestimmungseinheit 124 bestimmt wurden. Bereiche in einem Bild können einfach als Blockbereiche und Ausschlussbereiche angegeben werden.
  • Wie oben beschrieben, wird gemäß der achten Ausführungsform die Verarbeitungsbedingungsbestimmungseinheit 122, die die externe Umgebung (Fahrumgebung) aus Informationen über den Fahrtzustand bestimmt, zur Konfiguration der siebten Ausführungsform hinzugefügt, und die für die Fahrtumgebung geeignete Verarbeitungsbedingung wird bestimmt. Folglich kann die Informationsverarbeitungsvorrichtung 100 der achten Ausführungsform im Vergleich zur Informationsverarbeitungsvorrichtung 100 der siebten Ausführungsform die Objektextraktionsgenauigkeit sowie den Stromverbrauch und die Wärmeerzeugung des FPGA 170 in Abhängigkeit von der Fahrtumgebung dynamisch ändern.
  • Es wird daher erwartet, dass sich im Vergleich zur siebten Ausführungsform die Fahrleistung des Elektrofahrzeugs erhöht und die Kühlkosten des FPGA 170 verringert werden. Bei den oben genannten Mitteln zur Bestimmung der verkehrsreichen Umgebung muss es sich nicht unbedingt um den Fahrzeuggeschwindigkeitssensor 30 handeln, sondern kann es sich auch um Bildinformationen handeln, die eine Fahrgeschwindigkeit anzeigen, oder um Stauinformationen, die über ein Radio, das Internet oder ähnliches bereitgestellt werden.
  • Darüber hinaus wird der Beleuchtungsstärkesensor 40 als Sensor verwendet, der Informationen über den Fahrzustand liefert, und die Einheit 122 zur Bestimmung des Verarbeitungszustands bestimmt, dass sich die Fahrumgebung innerhalb eines Tunnels befindet, wenn die Umgebungshelligkeit (Beleuchtungsstärke) gleich oder niedriger als ein voreingestellter Beleuchtungsstärkeschwellenwert ist.
  • 11 zeigt ein Beispiel, in dem die Objektextraktionseinheit 111 eine DNN-Verarbeitung in einem Bereich des Kamerabildes 600 der Kamera 200 des in einem Tunnel fahrenden Fahrzeugs durchführt. Da das Innere des Tunnels von Wänden umgeben ist, müssen das linke und das rechte Ende des Kamerabildes 600 nicht der Objektextraktion unterzogen werden.
  • Wenn ein Bestimmungsergebnis der Einheit 122 zur Bestimmung des Verarbeitungszustands anzeigt, dass sich das Fahrzeug in einem Tunnel befindet, bestimmt die Einheit 124 zur Bestimmung des Blockbereichs einen Ausschlussbereich 603, in dem die Objektextraktion nicht durchgeführt wird, wie in 11 dargestellt. Als Verfahren zur Bestimmung der aktuellen Fahrumgebung für die Fahrt in einem Tunnel kann eine Vorrichtung verwendet werden, die in der Lage ist, die aktuelle Position anzugeben, z. B. ein GPS.
  • Die Blockbereich-Bestimmungseinheit 124 kann die Objektextraktionseinheit 111 anweisen, einen Bereich, in dem keine (oder nur eine geringe) Veränderung zwischen den Einzelbildern des Kamerabildes 600 auftritt, als Ausschlussbereich 603 festzulegen.
  • Eine fahrzeuginterne Kamera (nicht abgebildet) kann ebenfalls als Einheit verwendet werden, die Informationen über den Fahrzustand liefert. In diesem Fall bestimmt die Einheit 122, die den Verarbeitungszustand ermittelt, anhand der Bilddaten der fahrzeuginternen Kamera, ob der Fahrer das Lenkrad bedient, und wenn sie feststellt, dass der Fahrer das Lenkrad bedient, bestimmt sie, dass das autonome Fahren (AD) nicht ausgeführt wird. Wenn AD ausgeführt wird, wird das Fahrzeug nur vom automatischen Fahrsystem gesteuert. In diesem Fall ist eine Objektextraktion mit einer Genauigkeit erforderlich, die hoch genug ist, um die Erkennung eines kleinen Objekts zu ermöglichen. Wenn AD jedoch nicht ausgeführt wird, erkennt der Fahrer die Informationen über die äußere Umgebung selbst. In diesem Fall reicht es aus, die Präzision der Objektextraktion zu gewährleisten, die eine Fahrunterstützung ermöglicht (fortgeschrittene Fahrerassistenzsysteme oder ADAS.
  • Basierend auf der von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Fahrtumgebung bestimmt die Blockbereich-Bestimmungseinheit 124 einen Blockbereich, in dem das DNN von der Objektextraktionseinheit 111 ausgeführt wird. Alternativ dazu kann die Blockbereich-Bestimmungseinheit 124 einen Ausschlussbereich 611 oder ähnliches bestimmen, in dem der DNN nicht ausgeführt wird. Eine andere Einheit als die bordeigene Kamera kann als die Einheit verwendet werden, mit der festgestellt wird, ob eine AD ausgeführt wird. Ob AD ausgeführt wird, kann durch einen Sensor festgestellt werden, der die Betätigung des Lenkrads durch den Fahrer erkennt, durch eine Einheit, die feststellt, ob sich der Fahrer auf dem Fahrersitz befindet, oder durch Daten, die das Vorhandensein oder Nichtvorhandensein eines Aktionsplans für autonomes Fahren anzeigen, der von der Aktionsplanungseinheit 130 erstellt wurde.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Verarbeitungszustand anhand beliebiger Informationsstücke über den Fahrzustand oder einer Vielzahl davon bestimmen.
  • Neunte Ausführungsform
  • Eine neunte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 12 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der neunten Ausführungsform. In 12 sind die gleichen Bestandteile wie in 10 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 10 haben.
  • Die neunte Ausführungsform ist ein Beispiel, bei dem die Einheit 122 zur Bestimmung der Verarbeitungsbedingung und die Belastungserkennungsvorrichtung 50 zur siebten Ausführungsform hinzugefügt werden und die Einheit 124 zur Bestimmung des Blockbereichs vom FPGA 170 in die Steuereinheit 120 für den Verarbeitungsinhalt übertragen wird. In anderen Aspekten der Konfiguration ist die achte Ausführungsform die gleiche wie die siebte Ausführungsform.
  • In der achten Ausführungsform bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 die aktuelle Fahrumgebung auf der Grundlage der Eingabeinformationen, die den Fahrzustand angeben, wobei die Eingabeinformationen von dem Sensor oder dergleichen des fahrenden Fahrzeugs stammen. In der neunten Ausführungsform bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 den aktuellen Belastungszustand des FPGA 170 auf der Grundlage einer Berechnungslast der Informationsverarbeitungsvorrichtung 100, wobei die Berechnungslast eine Eingangsinformation ist. Basierend auf dem von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmten Belastungszustand bestimmt die Blockbereich-Bestimmungseinheit 124 einen DNN-Blockbereich, den die Objektextraktionseinheit 111 zur Ausführung der Objektextraktion verwendet.
  • In 12 erkennt die in der siebten Ausführungsform neu hinzugefügte Belastungserkennungsvorrichtung 50 eine Berechnungslast des FPGA 170 und gibt die erkannte Berechnungslast an die Einheit 122 zur Bestimmung des Verarbeitungszustands weiter. Die Belastungserkennungsvorrichtung 50 kann zum Beispiel einen Sensor enthalten, der den Stromverbrauch, den Versorgungsstrom und Ähnliches des FPGA 170 als Berechnungslast erkennt.
  • Die siebte Ausführungsform ist ein Beispiel, bei dem, da der Blockbereich, in dem das DNN ausgeführt wird (oder der Ausschlussbereich), ein fester Wert ist, die Blockbereichsbestimmungseinheit 124 im FPGA 170 angeordnet ist. In der neunten Ausführungsform wird, da die Blockbereichsbestimmungseinheit 124 den Blockbereich (oder die Verarbeitungsbedingung) dynamisch ändert, die Blockbereichsbestimmungseinheit 124 als Programm in den Speicher 20 geladen und vom Prozessor 10 ausgeführt.
  • Nachfolgend wird anhand eines konkreten Beispiels ein Verfahren der Verarbeitungsbedingungsbestimmungseinheit 122 beschrieben.
  • Beispielsweise berechnet die Einheit 122 zur Bestimmung der Verarbeitungsbedingungen einen Belastungsfaktor des FPGA 170 als Berechnungslast und vergleicht den Belastungsfaktor mit einem vorgegebenen Schwellenwert für den Belastungsfaktor. Als Belastungsfaktor wird beispielsweise ein Wert (%) verwendet, der sich aus der Division des von der Belastungserkennungsvorrichtung 50 erfassten Leistungsverbrauchs durch die vorgeschriebene Höchstleistung ergibt.
  • Wenn der Belastungsfaktor des FPGA 170 höher ist als der Schwellenwert für den Belastungsfaktor, bestimmt die Einheit 122 zur Bestimmung des Verarbeitungszustands, dass eine Reduzierung der Berechnungslast des FPGA 170 erforderlich ist. Basierend auf dem Bestimmungsergebnis von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt die Blockbereich-Bestimmungseinheit 124 einen Ausschlussbereich, in dem die Objektextraktion durch die Objektextraktionseinheit 111 nicht ausgeführt wird, so dass der Belastungsfaktor des FPGA 170 gleich oder niedriger als der Belastungsfaktor-Schwellenwert wird.
  • Die Blockbereich-Bestimmungseinheit 124 kann die Objektextraktionseinheit 111 anweisen, einen Bereich, in dem keine (oder nur eine geringe) Veränderung zwischen den Einzelbildern des Kamerabildes 600 auftritt, als Ausschlussbereich 603 festzulegen.
  • Auf diese Weise wird durch zusätzliches Bereitstellen der Verarbeitungsbedingungsbestimmungseinheit 122, die den Belastungszustand aus der Berechnungslast bestimmt, der Belastungszustand entsprechend dem Belastungsfaktor des FPGA 170, der in der Informationsverarbeitungsvorrichtung 100 enthalten ist, bestimmt. Auf diese Weise kann die Einheit 121 zur Bestimmung der Ausführungsschicht die Verarbeitungsbedingungen dynamisch entsprechend dem Belastungszustand ändern. Daher kann die Informationsverarbeitungsvorrichtung 100 den Stromverbrauch des FPGA 170 dynamisch reduzieren und auch die Wärmeentwicklung des FPGA 170 unterdrücken, was ein Vorteil gegenüber der ersten Ausführungsform ist.
  • Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform aufgrund der oben genannten Effekte ein Problem mit dem FPGA 170 verhindern, das durch thermisches Durchgehen oder Ähnliches verursacht wird, wodurch ein Abfall der Berechnungsgenauigkeit verhindert wird. Daher kann im Vergleich zur ersten Ausführungsform die Fahrleistung des Elektrofahrzeugs erhöht werden, da die Kühlungskosten des FPGA 170 und dergleichen reduziert werden können.
  • Der Belastungsfaktor des FPGA 170, der in dieser Ausführungsform als Berechnungslast definiert ist, ist nicht auf den Stromverbrauch beschränkt. Die Temperatur o.ä. des FPGA 170 kann auch als Wert für die Berechnungslast verwendet werden. Die Berechnungslast kann nicht nur den Belastungsfaktor des FPGA 170, sondern auch eine Berechnungslast des Prozessors 10 umfassen.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Belastungszustand unter Verwendung einer beliebigen Berechnungslast oder mehrerer Berechnungslasten bestimmen.
  • [Zehnte Ausführungsform]
  • Eine zehnte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 13 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der zehnten Ausführungsform. In 13 sind die gleichen Bestandteile wie in den 10 und 12 mit denselben Namen und Bezugszeichen bezeichnet und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie dieselben oder ähnliche Funktionen haben wie in den 10 und 12 dargestellt..
  • Die zehnte Ausführungsform ist ein Beispiel, bei dem die Konfiguration der neunten Ausführungsform zur Konfiguration der achten Ausführungsform hinzugefügt wird. In anderen Aspekten der Konfiguration ist die zehnte Ausführungsform die gleiche wie die achte Ausführungsform.
  • In der achten Ausführungsform wird die aktuelle Fahrumgebung auf der Grundlage der den Fahrzustand anzeigenden Eingabeinformationen bestimmt, wobei die Eingabeinformationen von dem Sensor oder dergleichen des fahrenden Fahrzeugs stammen. In der neunten Ausführungsform wird der aktuelle Belastungszustand auf der Grundlage der Berechnungslast der Informationsverarbeitungsvorrichtung 100 bestimmt, wobei die Berechnungslast die Eingangsinformationen sind. Die zehnte Ausführungsform ist ein Beispiel, bei dem die achte Ausführungsform und die neunte Ausführungsform miteinander kombiniert werden.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt eine Fahrumgebung und einen Belastungszustand, wobei sie sowohl Informationen, die einen Fahrzustand des fahrenden Fahrzeugs anzeigen, als auch eine Berechnungslast des FPGA 170 als Eingangsinformationen verwendet, und gibt das Bestimmungsergebnis an die Blockbereich-Bestimmungseinheit 124 aus. Basierend auf dem Bestimmungsergebnis der Einheit 122 zur Bestimmung der Verarbeitungsbedingungen bestimmt die Einheit 124 zur Bestimmung des Blockbereichs einen DNN-Blockbereich (Verarbeitungsbedingungen), der für die Objektextraktion verwendet wird. Die Blockbereichsermittlungseinheit 124 ermittelt den Blockbereich oder den Ausschlussbereich auf die gleiche Weise wie oben beschrieben.
  • Wie oben beschrieben, bestimmt in der Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform die Verarbeitungsbedingungsbestimmungseinheit 122 die Fahrumgebung und den Belastungszustand auf der Grundlage der den Fahrzustand anzeigenden Informationen und der Berechnungslast des FPGA 170. Die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform ist daher im Vergleich zur Informationsverarbeitungsvorrichtung 100 der achten und neunten Ausführungsform in der Lage, die Genauigkeit der Objektextraktion und das Ausmaß der Reduzierung des Stromverbrauchs und der Wärmeerzeugung dynamisch zu ändern.
  • Daher wird erwartet, dass Die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform einen Effekt bietet, der die Vorteile der achten und neunten Ausführungsform kombiniert. Mit anderen Worten, es ist möglich, dass die Belastung des FPGA 170 in einem normalen Zustand gehalten wird, da die Genauigkeit der Objektextraktion in verschiedenen Fahrumgebungen beibehalten wird.
  • Die Einheit 122 zur Bestimmung des Verarbeitungszustands kann den Verarbeitungszustand anhand der Informationen entweder über den Fahrzustand oder die Berechnungslast oder anhand beider Informationen bestimmen.
  • [Elfte Ausführungsform]
  • Eine elfte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 14 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der elften Ausführungsform. In 14 sind die gleichen Bestandteile wie in 13 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 13 haben.
  • In der elften Ausführungsform werden das LiDAR 400, die Erkennungssensoreinheit 140 und die Einheit zur Bestimmung der Erkennungsgenauigkeit 150 zu den Bestandteilen der zehnten Ausführungsform hinzugefügt. In anderen Aspekten der Konfiguration ist die fünfte Ausführungsform die gleiche wie die vierte Ausführungsform.
  • In 14 verarbeitet die in der zehnten Ausführungsform neu hinzugefügte Erkennungssensoreinheit 140 Informationen (Abstand und Peilung) vom LiDAR 400, um ein Objekt zu erkennen. Die Einheit 150 zur Bestimmung der Erkennungsgenauigkeit bestimmt, ob die Objektextraktion durch die Objektextraktionseinheit 111 die erforderliche Genauigkeit beibehält, indem sie eine Differenz zwischen einem Objektextraktionsergebnis von der Objektextraktionseinheit 111 und einem Objekterkennungsergebnis von der Erkennungssensoreinheit 140 untersucht, und gibt das Bestimmungsergebnis an die Einheit 122 zur Bestimmung der Verarbeitungsbedingungen aus.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 aktualisiert dann einen Referenzwert, der als Bedingung für die Verringerung einer Berechnungslast dient, wodurch ein übermäßiges Auslassen von Berechnungen verhindert wird, das die Präzision der Objektextraktion aufgrund der übermäßig verringerten Berechnungslast unzureichend macht.
  • Die Verarbeitungsbedingungsbestimmungseinheit 122 aktualisiert dann einen Referenzwert, der als Bedingung für die Verringerung einer Berechnungslast der Objektextraktionseinheit 111 dient, basierend auf dem Bestimmungsergebnis von der Erkennungspräzisions-Bestimmungseinheit 150, einem Fahrzustand und einer Berechnungslast, wodurch ein übermäßiges Auslassen von Berechnungen verhindert wird, das die Objektextraktionspräzision aufgrund der übermäßig reduzierten Berechnungslast unzureichend macht.
  • In der siebten, achten, neunten und zehnten Ausführungsform wird der Blockbereich, in dem die Objektextraktion mit Hilfe des DNN ausgeführt wird, auf der Grundlage der Informationen, die den Fahrzustand angeben, und der Berechnungslast statisch bestimmt. Es ist jedoch wünschenswert, dass der Referenzwert dynamisch bestimmt wird, um die für das autonome Fahren erforderliche Genauigkeit der Objektextraktion zu gewährleisten.
  • Im Folgenden wird anhand eines konkreten Beispiels ein Prozess der Erkennungsgenauigkeitsbestimmungseinheit 150 beschrieben.
  • Es wird ein Fall angenommen, in dem beispielsweise die Objektextraktionseinheit 111, in die Bilddaten von der Kamera 200 eingegeben werden, 5 Objekte extrahiert, während die Erkennungssensoreinheit 140, die Informationen vom LiDAR 400 verarbeitet, 7 Objekte erkennt, so dass die Anzahl der von der Objektextraktionseinheit 111 extrahierten Objekte kleiner ist als die Anzahl der von der Erkennungssensoreinheit 140 erkannten Objekte.
  • Da die Objektextraktionseinheit 111 in diesem Fall nicht in der Lage ist, die von der Erkennungssensoreinheit 140 erkannten Objekte zu extrahieren, wird festgestellt, dass die Objektextraktionseinheit 111 nicht die für das autonome Fahren erforderliche Präzision bei der Objektextraktion aufweist.
  • Basierend auf Informationen von der Objektextraktionseinheit 111 und der Erkennungssensoreinheit 140 gibt die Erkennungspräzisionsbestimmungseinheit 150 eine Anweisung an die Verarbeitungsbedingungsbestimmungseinheit 122 aus, wobei die Anweisung die Verarbeitungsbedingungsbestimmungseinheit 122 anweist, eine Verarbeitungsbedingung so zu ändern, dass die Objektextraktionspräzision verbessert wird, und die Verarbeitungsbedingungsbestimmungseinheit 122 ändert den Referenzwert für die Bestimmung der Verarbeitungsbedingung.
  • In einem Fall, in dem der Referenzwert in dieser Ausführungsform beispielsweise als ein Wert für die Korrektur des Schwellenwerts für den Belastungsfaktor verwendet wird, erhöht die Einheit 122 zur Bestimmung der Verarbeitungsbedingung den Referenzwert um 5 %, um den Schwellenwert für den Belastungsfaktor zu erhöhen, wenn die Einheit 122 zur Bestimmung der Verarbeitungsbedingung von der Einheit zur Bestimmung der Erkennungsgenauigkeit 150 eine Anweisung zur Verbesserung der Genauigkeit der Objektextraktion erhält. Die Einheit zur Bestimmung der Verarbeitungsbedingungen 122 meldet dann der Einheit 124 zur Bestimmung des Blockbereichs, dass der Schwellenwert für den Belastungsfaktor erhöht wurde.
  • Nach Erhalt der Mitteilung, dass der Schwellenwert für den Belastungsfaktor erhöht wurde, fügt die Blockbereich-Bestimmungseinheit 124 dem DNN-Blockbereich, der derzeit von der Objektextraktionseinheit 111 verwendet wird, einen gegebenen Wert hinzu und sendet eine Anweisung, die die Hinzufügung des gegebenen Wertes zum Blockbereich anzeigt, an die Objektextraktionseinheit 111 des FPGA 170. Der von der Blockbereichsermittlungseinheit 124 hinzugefügte Wert wird z. B. auf 1 festgelegt.
  • Auf diese Weise erhöht die Blockbereich-Bestimmungseinheit 124 als Reaktion auf eine Anforderung der Erkennungspräzisions-Bestimmungseinheit 150 die Anzahl der DNN-Blockbereiche, die von der Objektextraktionseinheit 111 verwendet werden, um die Präzision beim Extrahieren eines Objekts zu verbessern.
  • Wenn die Fahrtumgebung jedoch eine überfüllte Umgebung oder eine Nachtsituation ist, ist der Effekt der Erhöhung der Anzahl der DNN-Blockbereiche, die von der Objektextraktionseinheit 111 verwendet werden, gering. In diesem Fall kann die Ausführungsschicht-Bestimmungseinheit 121 die Mitteilung, dass der Schwellenwert für den Belastungsfaktor erhöht wurde, löschen.
  • Auf diese Weise kann durch die zusätzliche Bereitstellung der Erkennungssensoreinheit 140, die ein Objekt auf der Grundlage von Informationen aus dem LiDAR 400 erkennt, und der Erkennungspräzisionsbestimmungseinheit 150, die die Präzision der Objektextraktion durch die Objektextraktionseinheit 111 und die Erkennungssensoreinheit 140 bestimmt, eine übermäßige Reduzierung der Berechnungsprozesse (Schichten) verhindert werden, wodurch die für das autonome Fahren erforderliche Objektextraktionspräzision in der Objektextraktionseinheit 111 unzureichend wird.
  • Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 der elften Ausführungsform die Verarbeitung mit einer höheren Präzision als die Präzision der Verarbeitung in der siebten, achten, neunten und zehnten Ausführungsform aufrechterhalten. Daher kann die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform den Stromverbrauch des FPGA 170 weiter reduzieren als die Informationsverarbeitungsvorrichtung 100 der siebten, achten, neunten und zehnten Ausführungsform.
  • In dieser Ausführungsform wird als Sensor zur Bestimmung der Genauigkeit der Objektextraktion das LiDAR 400 verwendet. Bei diesem Sensor kann es sich um einen beliebigen Sensor handeln, der die Entfernung zu einem Objekt oder die Art des Objekts bestimmen kann, wie z. B. eine Kamera, ein RADAR und eine Ferninfrarotkamera, und der sich von einem Sensor unterscheidet, der externe Informationen an die Objektextraktionseinheit 111 ausgibt, und daher nicht auf das LiDAR beschränkt ist. Darüber hinaus kann der Sensor als einzelner Sensor oder als Kombination von Sensoren bereitgestellt werden.
  • In dieser Ausführungsform ist das Verfahren, mit dem die Erkennungsgenauigkeits-Bestimmungseinheit 150 die Objektextraktionsgenauigkeit bestimmt, ein statischer Prozess, bei dem bestimmt wird, ob das Extraktionsergebnis der Objektextraktionseinheit 111 mit dem Erkennungsergebnis der Erkennungssensoreinheit 140 übereinstimmt. Indem die Einheit zur Bestimmung der Erkennungsgenauigkeit 150 mit einer Lernfunktion ausgestattet wird, kann die Referenz für die Bestimmung der Objekt-Extraktionsgenauigkeit dynamisch geändert werden.
  • [Zwölfte Ausführungsform]
  • Eine zwölfte Ausführungsform der vorliegenden Erfindung ist im Folgenden beschrieben. 15 ist ein Blockdiagramm eines Beispiels für eine Konfiguration des autonomen Fahrsystems unter Verwendung einer Informationsverarbeitungsvorrichtung 100 gemäß der zwölften Ausführungsform. In 15 sind die gleichen Bestandteile wie in 13 mit den gleichen Namen und Bezugszeichen versehen und werden, sofern nicht anders angegeben, in der weiteren Beschreibung weggelassen, wobei davon ausgegangen wird, dass sie die gleichen oder ähnliche Funktionen wie in 13 haben.
  • Die zwölfte Ausführungsform ist ein Beispiel, bei dem die Einheit 123 zur Bestimmung der Informationsmenge und die Einheit 112 zur Umwandlung externer Informationen der Steuereinheit 120 für den Verarbeitungsinhalt bzw. der DNN-Verarbeitungseinheit 110 der zehnten Ausführungsform, die in 13 dargestellt ist, hinzugefügt werden und die Anzahl der Pixel (oder die Auflösung) eines Bildes der externen Umgebung, das von der Kamera 200 eingegeben wird, entsprechend einer Fahrtumgebung oder einem Belastungszustand geändert wird. In anderen Aspekten der Konfigurationen ist die zwölfte Ausführungsform die gleiche wie die zehnte Ausführungsform.
  • Die Einheit 123 zur Bestimmung der Informationsmenge und die Einheit 112 zur Umwandlung externer Informationen, die bei der zehnten Ausführungsform neu hinzugekommen sind, werden unter Bezugnahme auf 15 beschrieben. Basierend auf einem Bestimmungsergebnis von der Verarbeitungsbedingungsbestimmungseinheit 122 bestimmt die Informationsmengen-Bestimmungseinheit 123 die Anzahl der Pixel (Auflösung) eines Bildes der externen Umgebung, das von der Kamera 200 erfasst wurde, wobei das Bild der externen Umgebung in die Objektextraktionseinheit 111 eingegeben wird, und sendet einen Befehl, der die Anzahl der Pixel angibt, an die Einheit zur Umwandlung externer Information 112 des FPGA 170.
  • Basierend auf der Anweisung der Informationsmengen-Bestimmungseinheit 123 wandelt die Einheit 112 zur Umwandlung externer Information das Format des von der Kamera 200 erfassten Bildes der externen Umgebung in ein Format um, das vom DNN verwendet werden kann. Infolgedessen führt die Objektextraktionseinheit 111 eine Objektextraktion mit der Anzahl der Pixel durch, die mit einer Verarbeitungsbedingung (dem Blockbereich oder Ausschlussbereich) übereinstimmen.
  • Im Folgenden wird anhand eines konkreten Beispiels ein Prozess der Einheit 112 zur Umwandlung externer Information beschrieben.
  • Als Beispiel wird angenommen, dass die Kamera 200 ein Bild mit 2 Millionen Pixeln ausgibt. Es wird auch angenommen, dass die InformationsmengenBestimmungseinheit 123 auf der Grundlage eines Bestimmungsergebnisses der Verarbeitungsbedingungsbestimmungseinheit 122 die Anzahl der für die Objektextraktion erforderlichen Pixel auf 250.000 Pixel bestimmt. In diesem Fall wandelt die Einheit 112 zur Umwandlung externer Information das von der Kamera 200 ausgegebene Bild in ein Format um, bei dem die 2 Millionen Pixel auf 250.000 Pixel reduziert werden. Die Objektextraktionseinheit 111 extrahiert ein Objekt unter Verwendung des aus 250.000 Pixeln bestehenden Bildes, das von der Einheit 112 zur Umwandlung externer Information ausgegeben wird.
  • Auf diese Weise ändert die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform dynamisch die Anzahl der Pixel des Eingangsbildes auf der Grundlage des Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit 122, so dass sie in der Lage ist, das Bild zu verwenden, dessen Anzahl von Pixeln an die Anzahl von Blockbereichen angepasst ist, in denen das DNN von der Objektextraktionseinheit 111 ausgeführt wird. Auf diese Weise wird die Anzahl der Ausführungsschichten des DNN reduziert und die Anzahl der Pixel des Bildes, die einer Objektextraktion durch die Objektextraktionseinheit 111 unterzogen werden, wird ebenfalls reduziert, was eine Verringerung der Anzahl der Berechnungen zur Folge hat.
  • Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform den Stromverbrauch reduzieren und die Wärmeentwicklung effektiver unterdrücken als in der siebten, achten, neunten und zehnten Ausführungsform. Daher wird erwartet, dass die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform den Effekt bietet, dass die Fahrleistung des Elektrofahrzeugs erhöht wird, um länger als in der siebten, achten, neunten und zehnten Ausführungsform zu sein, und dass die Kühlungskosten des FPGA 170 reduziert werden.
  • In dieser Ausführungsform ändert die Einheit 123, die die Informationsmenge bestimmt, die Anzahl der Pixel des Bildes der Kamera 200. Erforderlich ist jedoch eine Änderung der Menge der externen Informationen, die sich nicht auf die Anzahl der Pixel beschränkt. Handelt es sich bei der Einheit, die externe Informationen ausgibt, beispielsweise um LiDAR oder RADAR, ändert sich die Anzahl der Punktgruppen ebenso wie die Menge der externen Informationen.
  • < Fazit >Gemäß der beschriebenen Beschreibung kann die Informationsverarbeitungsvorrichtung 100 der ersten bis sechsten Ausführungsform (siebte bis zwölfte Ausführungsform) auf folgende Weise konfiguriert sein.
  • (1) Eine Informationsverarbeitungsvorrichtung (100), die einen Prozessor (10), einen Speicher (20) und eine Berechnungseinheit (FPGA 170) enthält, die eine Berechnung unter Verwendung eines Inferenzmodells ausführt, wobei die Informationsverarbeitungsvorrichtung (100) umfasst: eine DNN-Verarbeitungseinheit (110), die externe Informationen (ausgegeben von einer Kamera 200) empfängt, wobei die DNN-Verarbeitungseinheit (110) unter Verwendung des Inferenzmodells ein externes Objekt aus den externen Informationen extrahiert; und eine Verarbeitungsinhalts-Steuereinheit (120), die den Verarbeitungsinhalt der DNN-Verarbeitungseinheit (110) steuert, wobei die DNN-Verarbeitungseinheit (110) eine Objektextraktionseinheit (111) enthält, die das Inferenzmodell in einem tiefgehenden neuronalen Netzwerk mit einer Vielzahl von Schichten von Neuronen ausführt, und wobei die Verarbeitungsinhalts-Steuereinheit (120) eine Ausführungsschicht-Bestimmungseinheit (121) enthält, die die von der Objektextraktionseinheit (111) verwendeten Schichten bestimmt.
  • Gemäß der obigen Konfiguration werden die Schichten des DNN (fester Wert), die von der Objektextraktionseinheit 111 verwendet werden, reduziert. Dadurch kann der Stromverbrauch der Berechnungseinheit, wie z. B. des FPGA 170 oder der GPU, gesenkt und die Wärmeentwicklung derselben unterdrückt werden. Dadurch erhöht sich die Fahrleistung des Elektrofahrzeugs und die Kühlkosten für die Berechnungseinheiten sinken.
  • (2) Informationsverarbeitungsvorrichtung nach (1), wobei die Verarbeitungsinhaltssteuereinheit (120) eine Verarbeitungsbedingungsbestimmungseinheit (122) enthält, die Informationen über den externen Zustand (Fahrtzustand) empfängt, wobei die Verarbeitungsbedingungsbestimmungseinheit (122) einen voreingestellten Schwellenwert mit einem Wert der Informationen über den externen Zustand vergleicht und eine externe Umgebung bestimmt, und wobei die Ausführungsschichtbestimmungseinheit (121) die Anzahl der von der DNN-Verarbeitungseinheit (110) zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit (122) bestimmt und die bestimmte Anzahl der Schichten an die DNN-Verarbeitungseinheit (110) ausgibt.
  • Gemäß der obigen Konfiguration sind zusätzlich ein Sensor, der einen Fahrzustand erfasst, und die Verarbeitungsbedingungsbestimmungseinheit 122, die eine Fahrumgebung für das Fahrzeug auf der Grundlage von Informationen, die den Fahrzustand anzeigen, bestimmt, vorgesehen, und die Ausführungsschicht-Bestimmungseinheit 121 bestimmt eine für die Fahrumgebung geeignete Verarbeitungsbedingung. Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 im Vergleich zur obigen Konfiguration von (1) die Verarbeitungsbedingung in Übereinstimmung mit der Fahrtumgebung dynamisch ändern, wobei die Verarbeitungsbedingung die Objektextraktionsgenauigkeit sowie den Stromverbrauch und die Wärmeerzeugung der Berechnungseinheit (FPGA 170) beeinflusst.
  • Es ist daher zu erwarten, dass die Fahrleistung des Elektrofahrzeugs höher ist als in der Konfiguration von (1) und die Kühlkosten der Berechnungseinheit (FPGA170) reduziert werden.
  • (3) Informationsverarbeitungsvorrichtung nach (1), die ferner eine Belastungserfassungsvorrichtung (50) umfasst, die eine Berechnungslast der Berechnungseinheit (170) erfasst, wobei die Verarbeitungsinhaltssteuereinheit (120) eine Verarbeitungsbedingungsbestimmungseinheit (122) enthält, die die Berechnungslast von der Belastungserfassungsvorrichtung (50) empfängt und die einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und wobei die Ausführungsschichtbestimmungseinheit (121) die Anzahl der von der DNN-Verarbeitungseinheit (110) zu verwendenden Schichten auf der Grundlage des Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit (122) bestimmt.
  • Gemäß der obigen Konfiguration wird ein Belastungszustand entsprechend einer Belastung des FPGA 170, das in der Informationsverarbeitungsvorrichtung 100 enthalten ist, bestimmt, und die Ausführungsschicht-Bestimmungseinheit 121 kann einen Verarbeitungszustand entsprechend der Belastung dynamisch ändern. Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 im Vergleich zur Konfiguration von (1) den Stromverbrauch des FPGA 170 dynamisch reduzieren und auch die Wärmeentwicklung desselben unterdrücken.
  • Darüber hinaus verhindert die Informationsverarbeitungsvorrichtung 100 dieser Ausführungsform mit den oben genannten Vorteilen ein Problem mit dem FPGA 170, das durch thermisches Durchgehen oder ähnliches verursacht wird, und ist somit in der Lage, einen Abfall der Berechnungsgenauigkeit der Berechnungseinheit zu verhindern. Daher kann im Vergleich zur ersten Ausführungsform die Fahrleistung des Elektrofahrzeugs erhöht werden, da die Kühlungskosten des FPGA 170 und dergleichen reduziert werden können.
  • (4) Informationsverarbeitungsvorrichtung nach (2), die ferner eine Belastungserfassungsvorrichtung (50) umfasst, die eine Berechnungslast der Berechnungseinheit (170) erfasst, wobei die Verarbeitungsbedingungsbestimmungseinheit (122) die Berechnungslast von der Belastungserfassungsvorrichtung (50) empfängt, einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und ein Ergebnis der Bestimmung der externen Umgebung und ein Ergebnis der Bestimmung des Belastungszustands an die Ausführungsschicht-Bestimmungseinheit (121) ausgibt, und wobei die Ausführungsschicht-Bestimmungseinheit (121) die Anzahl der von der DNN-Verarbeitungseinheit (110) zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit (122) bestimmt.
  • Gemäß der obigen Konfiguration bestimmt die Verarbeitungsbedingungsbestimmungseinheit 122 eine Fahrumgebung und einen Belastungszustand basierend auf Informationen, die einen Fahrzustand und eine Berechnungslast des FPGA 170 anzeigen. Im Vergleich zu den Konfigurationen (2) und (3) können somit die Genauigkeit der Objektextraktion und das Ausmaß der Verringerung des Stromverbrauchs und der Wärmeerzeugung dynamisch verändert werden. Es wird daher erwartet, dass ein Effekt erzielt wird, der die Vorteile der Konfigurationen von (2) und (3) kombiniert. Mit anderen Worten, es ist möglich, dass die Belastung des FPGA 170 in einem normalen Zustand gehalten wird, da die Genauigkeit der Objektextraktion in verschiedenen Fahrumgebungen beibehalten wird.
  • (5) Informationsverarbeitungsvorrichtung nach (4), wobei die Steuereinheit für den Verarbeitungsinhalt (120) weiterhin umfasst: eine Erkennungssensoreinheit (140), die Sensorinformationen (ausgegeben von einem LiDAR 400) zur Erfassung eines Objekts empfängt und das Objekt anhand der empfangenen Sensorinformationen erkennt; und eine Erkennungspräzisions-Bestimmungseinheit (150), die die Erkennungspräzision durch Vergleichen eines von der Erkennungssensoreinheit (140) erkannten Objekts mit einem von der DNN-Verarbeitungseinheit (110) extrahierten Objekt berechnet, wobei die Erkennungspräzisions-Bestimmungseinheit (150) bestimmt, dass die Erkennungspräzision gesunken ist, wenn die Erkennungspräzision gleich oder niedriger als ein voreingestellter Präzisionsschwellenwert ist, wobei die Verarbeitungsbedingungsbestimmungseinheit (122) ein Bestimmungsergebnis von der Erkennungspräzisions-Bestimmungseinheit (150) zu einem Ergebnis der Bestimmung der äußeren Umgebung und einem Ergebnis der Bestimmung des Belastungszustands addiert und die Bestimmungsergebnisse nach der Addition an die Ausführungsschicht-Bestimmungseinheit (121) ausgibt, und wobei die Ausführungsschicht-Bestimmungseinheit (121) die Anzahl der von der DNN-Verarbeitungseinheit (110) zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit (122) bestimmt.
  • Gemäß der obigen Konfiguration kann durch die zusätzliche Bereitstellung der Erkennungssensoreinheit 140, die ein Objekt auf der Grundlage von Informationen aus dem LiDAR 400 erkennt, und der Erkennungspräzisionsbestimmungseinheit 150, die die Präzision der Objektextraktion durch die Objektextraktionseinheit 111 und die Erkennungssensoreinheit 140 bestimmt, eine übermäßige Reduzierung der Berechnungsprozesse (Schichten) verhindert werden, wobei die übermäßige Reduzierung die für das autonome Fahren erforderliche Präzision der Objektextraktion in der Objektextraktionseinheit 111 unzureichend macht. Infolgedessen kann die Informationsverarbeitungsvorrichtung 100 die Verarbeitung mit einer höheren Präzision als die Präzision der Verarbeitung in den Konfigurationen von (1), (2), (3) und (4) aufrechterhalten. Dadurch kann der Stromverbrauch weiter gesenkt werden als bei den Konfigurationen (1), (2), (3) und (4).
  • (6) Informationsverarbeitungsvorrichtung nach (2), wobei die externen Informationen Bildinformationen sind, wobei die Verarbeitungsinhaltssteuereinheit (120) ferner eine Informationsmengenbestimmungseinheit (123) enthält, die eine Informationsmenge der Bildinformationen auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit (122) bestimmt, und wobei die DNN-Verarbeitungseinheit (110) ferner eine Einheit zur Umwandlung externer Information (112) enthält, die auf der Grundlage der von der Informationsmengenbestimmungseinheit (123) bestimmten Informationsmenge eine Informationsmenge der von der Objektextraktionseinheit (111) verwendeten Bildinformationen ändert.
  • Gemäß der obigen Konfiguration ändert die DNN-Verarbeitungseinheit 110 dynamisch die Anzahl der Pixel eines Eingangsbildes auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit 122, so dass sie in der Lage ist, ein Bild zu verwenden, dessen Anzahl von Pixeln an die Anzahl der Ausführungsschichten des DNN angepasst ist, die von der Objektextraktionseinheit 111 verwendet werden. Dadurch wird die Anzahl der Ausführungsschichten des DNN reduziert und die Anzahl der Pixel eines Bildes, die von der Objektextraktionseinheit 111 verwendet werden, wird ebenfalls reduziert, was eine Verringerung der Anzahl der Berechnungen ermöglicht. Infolgedessen wird der Stromverbrauch reduziert und die Wärmeentwicklung besser unterdrückt als bei den Konfigurationen von (1), (2), (3) und (4). Es wird daher erwartet, dass die Fahrleistung des Elektrofahrzeugs höher ist als in den Konfigurationen von (1), (2), (3) und (4) und dass die Kühlkosten des FPGA 170 oder dergleichen reduziert sind.
  • Es sei darauf hingewiesen, dass die vorliegende Erfindung nicht auf die oben genannten Ausführungsformen beschränkt ist, sondern verschiedene Modifikationen umfasst.
  • Die obigen Ausführungsbeispiele wurden zum besseren Verständnis der vorliegenden Erfindung detailliert beschrieben und sind nicht notwendigerweise auf Ausführungsformen beschränkt, die alle hierin beschriebenen Bestandteile enthalten. Einige Bestandteile einer bestimmten Ausführungsform können durch Bestandteile einer anderen Ausführungsform ersetzt werden, und ein Bestandteil einer anderen Ausführungsform kann zu einem Bestandteil einer bestimmten Ausführungsform hinzugefügt werden. Darüber hinaus können einige Bestandteile jeder Ausführungsform hinzugefügt, gelöscht oder durch Bestandteile einer anderen Ausführungsform ersetzt werden, wobei diese Hinzufügungen, Löschungen und Ersetzungen getrennt oder in kombinierter Form durchgeführt werden können.
  • Einige oder alle der oben genannten Bestandteile, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen können als Hardware bereitgestellt werden, z. B. als ordnungsgemäß ausgelegte integrierte Schaltungen. Darüber hinaus können die oben genannten Bestandteile, Funktionen und dergleichen als softwarebasierte Programme bereitgestellt werden, indem ein Prozessor veranlasst wird, Programme zur Implementierung der Bestandteile und Funktionen zu interpretieren und auszuführen. Informationen für die Implementierung von Funktionen, wie Programme, Tabellen und Dateien, können in einer Speichervorrichtung, wie einem Speicher, einer Festplatte und einem Solid-State-Laufwerk (SSD), oder in einem Aufzeichnungsmedium, wie einer IC-Karte, einer SD-Karte und einer DVD, gespeichert werden.
  • Eine Gruppe von Steuerlinien/Informationslinien, die für die Beschreibung als notwendig erachtet wird, ist abgebildet, und alle Steuerlinien /Informationslinien, aus denen das Produkt besteht, sind nicht unbedingt abgebildet. Es ist davon auszugehen, dass fast alle Bestandteile miteinander verbunden sind.
  • <Ergänzend>
  • Im Folgenden werden typische Aspekte der vorliegenden Erfindung beschrieben, die nicht in den Ansprüchen offenbart sind.
  • <7>
  • Informationsverarbeitungsvorrichtung mit einem Prozessor, einem Speicher und einer Berechnungseinheit, die eine Berechnung unter Verwendung eines Inferenzmodells ausführt, wobei die Informationsverarbeitungsvorrichtung umfasst: eine DNN-Verarbeitungseinheit, die externe Informationen empfängt, wobei die DNN-Verarbeitungseinheit unter Verwendung des Inferenzmodells ein externes Objekt aus den externen Informationen extrahiert; und eine Verarbeitungsinhalts-Steuereinheit, die den Verarbeitungsinhalt der DNN-Verarbeitungseinheit steuert, wobei die DNN-Verarbeitungseinheit die externen Informationen in eine Vielzahl von Blockbereichen zum Extrahieren von Objekten unterschiedlicher Größe segmentiert, wobei die DNN-Verarbeitungseinheit eine Objektextraktionseinheit aufweist, die das Inferenzmodell enthält, wobei die Objektextraktionseinheit das externe Objekt in jedem der Blockbereiche unter Verwendung eines tiefgehenden neuronalen Netzes extrahiert, und wobei die Verarbeitungsinhalts-Steuereinheit eine Blockbereich-Bestimmungseinheit enthält, die den von der Objektextraktionseinheit verwendeten Blockbereich bestimmt.
  • <8>
  • Informationsverarbeitungsvorrichtung nach <7>, wobei die Verarbeitungsinhaltssteuereinheit eine Verarbeitungsbedingungsbestimmungseinheit enthält, die Informationen über den externen Zustand empfängt, wobei die Verarbeitungsbedingungsbestimmungseinheit einen voreingestellten Schwellenwert mit einem Wert der Informationen über den externen Zustand vergleicht und eine externe Umgebung bestimmt, und wobei die Blockbereichsbestimmungseinheit den von der DNN-Verarbeitungseinheit zu verwendenden Blockbereich auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt und den bestimmten Blockbereich an die DNN-Verarbeitungseinheit ausgibt.
  • <9>
  • Informationsverarbeitungsvorrichtung nach <7>, die ferner eine Belastungserfassungsvorrichtung umfasst, die eine Berechnungslast der Berechnungseinheit erfasst, wobei die Verarbeitungsinhaltssteuereinheit eine Verarbeitungsbedingungsbestimmungseinheit enthält, die die Berechnungslast von der Belastungserfassungsvorrichtung empfängt, wobei die Verarbeitungsbedingungsbestimmungseinheit einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und wobei die Blockbereichsbestimmungseinheit den von der DNN-Verarbeitungseinheit zu verwendenden Blockbereich auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  • <10>
  • Informationsverarbeitungsvorrichtung nach <8>, die ferner eine Belastungserfassungsvorrichtung umfasst, die eine Berechnungslast der Berechnungseinheit erfasst, wobei die Verarbeitungsbedingungsbestimmungseinheit die Berechnungslast von der Belastungserfassungsvorrichtung empfängt, einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und ein Ergebnis der Bestimmung der externen Umgebung und ein Ergebnis der Bestimmung des Belastungszustands an die Blockbereich-Bestimmungseinheit ausgibt, und wobei die Blockbereich-Bestimmungseinheit den von der DNN-Verarbeitungseinheit zu verwendenden Blockbereich auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  • <11>
  • Informationsverarbeitungsvorrichtung nach <10>, wobei die Steuereinheit für den Verarbeitungsinhalt weiterhin enthält: eine Erkennungssensoreinheit, die Sensorinformationen zur Erfassung eines Objekts empfängt und das Objekt anhand der empfangenen Sensorinformationen erkennt; und eine Erkennungspräzisions-Bestimmungseinheit, die die Erkennungspräzision berechnet, indem sie ein von der Erkennungssensoreinheit erkanntes Objekt mit einem von der DNN-Verarbeitungseinheit extrahierten Objekt vergleicht, wobei die Erkennungspräzisions-Bestimmungseinheit bestimmt, dass die Erkennungspräzision abgenommen hat, wenn die Erkennungspräzision gleich oder niedriger als ein voreingestellter Präzisionsschwellenwert ist, wobei die Verarbeitungsbedingungsbestimmungseinheit ein Bestimmungsergebnis von der Erkennungspräzisions-Bestimmungseinheit zu einem Ergebnis der Bestimmung der äußeren Umgebung und einem Ergebnis der Bestimmung des Belastungszustands addiert und die Bestimmungsergebnisse nach der Addition an die Blockbereich-Bestimmungseinheit ausgibt, und wobei die Blockbereich-Bestimmungseinheit den von der DNN-Verarbeitungseinheit zu verwendenden Blockbereich auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  • <12>
  • Informationsverarbeitungsvorrichtung nach <8>, wobei die externen Informationen Bildinformationen sind, wobei die Verarbeitungsinhaltssteuereinheit ferner eine Informationsmengenbestimmungseinheit enthält, die eine Informationsmenge der Bildinformationen auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt, und wobei die DNN-Verarbeitungseinheit ferner eine Einheit zur Umwandlung externer Information enthält, die eine Informationsmenge der von der Objektextraktionseinheit verwendeten Bildinformationen auf der Grundlage der von der Informationsmengenbestimmungseinheit bestimmten Informationsmenge ändert.
  • Bezugszeichenliste
    • 100
    Informationsverarbeitungsvorrichtung
    110
    DNN-Verarbeitungseinheit
    111
    Objekt-Extraktionseinheit
    112
    Einheit zur Verarbeitung externer Information
    120
    Steuereinheit für die Verarbeitung von Inhalten
    121
    Einheit zur Bestimmung der Ausführungsschicht
    122
    Einheit zur Bestimmung der Verarbeitungsbedingungen
    123
    Einheit zur Ermittlung der Informationsmenge
    124
    Blockbereichsermittlungseinheit
    130
    Aktionsplanungseinheit
    140
    Erkennungssensoreinheit
    150
    Extraktionspräzisionsbestimmungseinheit
    200
    Kamera
    300
    Fahrzeug-Steuereinheit
    400
    LiDAR
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019008796 A [0004]
    • JP 2018056838 A [0004]

Claims (6)

  1. Informationsverarbeitungsvorrichtung mit einem Prozessor, einem Speicher und einer Berechnungseinheit, die eine Berechnung unter Verwendung eines Inferenzmodells ausführt, wobei die Informationsverarbeitungsvorrichtung umfasst: eine DNN-Verarbeitungseinheit, die externe Informationen empfängt, wobei die DNN-Verarbeitungseinheit unter Verwendung des Inferenzmodells ein externes Objekt aus den externen Informationen extrahiert; und eine Steuereinheit für den Verarbeitungsinhalt, die den Verarbeitungsinhalt der DNN-Verarbeitungseinheit steuert, wobei die DNN-Verarbeitungseinheit eine Objektextraktionseinheit enthält, die das Inferenzmodell in einem tiefgehenden neuronalen Netzwerk mit einer Vielzahl von Schichten von Neuronen ausführt, und wobei die Steuereinheit für den Verarbeitungsinhalt eine Einheit zur Bestimmung der Ausführungsschicht enthält, die die von der Objektextraktionseinheit verwendeten Schichten bestimmt.
  2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Verarbeitungsinhaltssteuereinheit eine Verarbeitungsbedingungsbestimmungseinheit enthält, die Informationen über den externen Zustand empfängt, wobei die Verarbeitungsbedingungsbestimmungseinheit einen voreingestellten Schwellenwert mit einem Wert der Informationen über den externen Zustand vergleicht und eine externe Umgebung bestimmt, und wobei die Ausführungsschicht-Bestimmungseinheit eine Anzahl der von der DNN-Verarbeitungseinheit zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt und die bestimmte Anzahl der Schichten an die DNN-Verarbeitungseinheit ausgibt.
  3. Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner mit einer Belastungserkennungsvorrichtung, die eine Berechnungslast der Berechnungseinheit erkennt, wobei die Verarbeitungsinhalts-Steuereinheit eine Verarbeitungsbedingungsbestimmungseinheit enthält, die die Berechnungslast von der Belastungserfassungsvorrichtung empfängt und einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und wobei die Ausführungsschicht-Bestimmungseinheit eine Anzahl der von der DNN-Verarbeitungseinheit zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  4. Informationsverarbeitungsvorrichtung nach Anspruch 2, ferner mit einer Belastungserkennungsvorrichtung, die eine Berechnungslast der Berechnungseinheit erkennt, wobei die Verarbeitungsbedingungsbestimmungseinheit die Berechnungslast von der Belastungserfassungsvorrichtung empfängt, einen voreingestellten Belastungsschwellenwert mit der Berechnungslast vergleicht, um einen Belastungszustand zu bestimmen, und ein Ergebnis der Bestimmung der externen Umgebung und ein Ergebnis der Bestimmung des Belastungszustands an die Ausführungsschicht-Bestimmungseinheit ausgibt, und wobei die Ausführungsschicht-Bestimmungseinheit eine Anzahl der von der DNN-Verarbeitungseinheit zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  5. Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Steuereinheit für die Verarbeitung von Inhalten weiterhin umfasst: eine Erkennungssensoreinheit, die Sensorinformationen zur Erfassung eines Objekts empfängt und das Objekt anhand der empfangenen Sensorinformationen erkennt; und eine Erkennungspräzisions-Bestimmungseinheit, die die Erkennungspräzision berechnet, indem sie ein von der Erkennungssensoreinheit erkanntes Objekt mit einem von der DNN-Verarbeitungseinheit extrahierten Objekt vergleicht, wobei die Erkennungspräzisions-Bestimmungseinheit bestimmt, dass die Erkennungspräzision abgenommen hat, wenn die Erkennungspräzision gleich oder niedriger als ein voreingestellter Präzisionsschwellenwert ist, wobei die Verarbeitungsbedingungsbestimmungseinheit ein Bestimmungsergebnis von der Erkennungspräzisions-Bestimmungseinheit zu dem Ergebnis der Bestimmung der äußeren Umgebung und dem Ergebnis der Bestimmung des Belastungszustands addiert und die Bestimmungsergebnisse nach der Addition an die Ausführungsschicht-Bestimmungseinheit ausgibt, und wobei die Ausführungsschicht-Bestimmungseinheit eine Anzahl der von der DNN-Verarbeitungseinheit zu verwendenden Schichten auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt.
  6. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die externen Informationen Bildinformationen sind, wobei die Verarbeitungsinhalts-Steuereinheit ferner eine Informationsmengen-Bestimmungseinheit enthält, die eine Informationsmenge der Bildinformationen auf der Grundlage eines Bestimmungsergebnisses von der Verarbeitungsbedingungsbestimmungseinheit bestimmt, und wobei die DNN-Verarbeitungseinheit ferner eine Einheit zur Umwandlung externer Information enthält, die eine Informationsmenge der von der Objektextraktionseinheit verwendeten Bildinformationen auf der Grundlage der von der Informationsmengenbestimmungseinheit bestimmten Informationsmenge ändert.
DE112020005642.2T 2020-01-30 2020-12-15 Informationsverarbeitungsvorrichtung Pending DE112020005642T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020013448 2020-01-30
JP2020-013448 2020-01-30
PCT/JP2020/046662 WO2021153049A1 (ja) 2020-01-30 2020-12-15 情報処理装置

Publications (1)

Publication Number Publication Date
DE112020005642T5 true DE112020005642T5 (de) 2022-09-01

Family

ID=77079733

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020005642.2T Pending DE112020005642T5 (de) 2020-01-30 2020-12-15 Informationsverarbeitungsvorrichtung

Country Status (5)

Country Link
US (1) US20230012843A1 (de)
JP (1) JP7239747B2 (de)
CN (1) CN114846505A (de)
DE (1) DE112020005642T5 (de)
WO (1) WO2021153049A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018056838A (ja) 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
JP2019008796A (ja) 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757094A (ja) * 1993-08-10 1995-03-03 Ricoh Co Ltd ニューラルネットワークによる画像認識装置
US20160328644A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
JP6756661B2 (ja) * 2017-04-28 2020-09-16 日立オートモティブシステムズ株式会社 車両電子制御装置
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
US11455538B2 (en) * 2018-12-20 2022-09-27 GM Global Technology Operations LLC Correctness preserving optimization of deep neural networks
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018056838A (ja) 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
JP2019008796A (ja) 2017-06-23 2019-01-17 ウーバー テクノロジーズ，インコーポレイテッド 自律可能車両用衝突回避システム

Also Published As

Publication number Publication date
WO2021153049A1 (ja) 2021-08-05
CN114846505A (zh) 2022-08-02
JP7239747B2 (ja) 2023-03-14
JPWO2021153049A1 (de) 2021-08-05
US20230012843A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
DE102018120635A1 (de) Geteilte verarbeitung mit tiefen neuronalen netzwerken
DE102017127346A1 (de) Bremslichterkennung
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102018103817A1 (de) Freiraumdetektion unter verwendung einer monokularen kamera und von deep learning
DE102018126664A1 (de) Domänenanpassung durch klassenausgeglichenes selbsttraining mit räumlichen prioren
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102020210379A1 (de) Computerimplementiertes Verfahren und Computerprogrammprodukt zum Erhalten einer Umfeldszenen-Repräsentation für ein automatisiertes Fahrsystem, computerimplementiertes Verfahren zum Lernen einer Prädiktion von Umfeldszenen für ein automatisiertes Fahrsystem und Steuergerät für ein automatisiertes Fahrsystem
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102018116036A1 (de) Training eines tiefen konvolutionellen neuronalen Netzwerks für individuelle Routen
WO2022053505A1 (de) Computerimplementiertes verfahren zur umfelderkennung für ein automatisiertes fahrsystem, maschinenlernverfahren, steuergerät für ein automatisiertes fahrsystem und computerprogramm für ein derartiges steuergerät
DE102019205079A1 (de) Selektive Deaktivierung von Recheneinheiten für künstliche neuronale Netzwerke
DE102019213547A1 (de) Vorrichtung und Verfahren zum Trainieren eines Modells sowie Fahrzeug
DE112019000342T5 (de) Parkunterstützungsvorrichtung
DE102018133457A1 (de) Verfahren und System zum Bereitstellen von Umgebungsdaten
DE112021006846T5 (de) Systeme und Verfahren zur szenarioabhängigen Trajektorienbewertung
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102021131054A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung einer Fahrsituation für die prädiktive Steuerung einer automatisierten Fahrfunktion
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
DE102021100853A1 (de) Elektronische Vorrichtung zur Fahrsteuerung eines Fahrzeugs und Betriebsverfahren der elektronischen Vorrichtung
EP4078238A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102017130418A1 (de) Überholzonen-beratungssysteme und -verfahren
DE112020005642T5 (de) Informationsverarbeitungsvorrichtung
DE102022107845A1 (de) Verfahren, System und Computerprogrammprodukt zur Auswahl von konkreten Szenarien
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102020200875A1 (de) Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed