DE112020001581T5

DE112020001581T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112020001581T5
Application number: DE112020001581.5T
Authority: DE
Inventors: Suguru Aoki; Ryuta SATOH
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-03-28
Filing date: 2020-03-13
Publication date: 2021-12-30
Also published as: US20220165066A1; JP7363890B2; CN113614782A; WO2020195965A1; JPWO2020195965A1

Abstract

Eine Informationsverarbeitungsvorrichtung weist eine Eingabeeinrichtung und eine Steuereinrichtung auf. Ein durch eine Kamera aufgenommenes Bild wird in die Eingabeeinrichtung eingegeben, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist. Die Steuereinrichtung erzeugt ein transformiertes aufgenommenes Bild, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird. Ferner ordnet die Steuereinrichtung ein Koordinatenpaar für ein Pixel des transformierten aufgenommenen Bildes einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes zu, das an einer Position der Kamera nach der Bewegung aufgenommen wurde, und die Steuereinrichtung identifiziert ein nicht zugeordnetes Pixel, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.

Description

Technisches Gebiet
Die vorliegende Technologie betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm, die zur Erkennung eines Objekts in einem aufgenommenen Bild angewendet werden.
Stand der Technik
Es besteht eine Technologie, die dazu verwendet wird, eine vorgegebene Objektregion aus einem Bild zu erkennen.
Die unten angegebene Patentliteratur 1 offenbart einen Hindernisdetektor, der ein Hindernis, das sich in der Umgebung eines sich bewegenden Fahrzeugs befindet, basierend auf einem Differenzbild erfasst, das auf einer Differenz zwischen einem Referenzteilbild und einem vorherigen Teilbild aus Teilbildern der Umgebung des Fahrzeugs basiert, wobei das Referenzteilbild zu einem Referenzzeitpunkt erfasst wird und das vorherige Teilbild zu einem Zeitpunkt vor dem Referenzzeitpunkt erfasst wird.
Die unten angegebene Patentliteratur 2 offenbart einen Objektdetektor, der einen Bewegungsvektor jedes Abschnitts eines Zielbildes unter Verwendung des Zielbildes und mindestens eines Referenzbildes aus einer Vielzahl von aufgenommenen Bildern erfasst, ein Differenzbild basierend auf einer Differenz zwischen zwei Bildern aus der Vielzahl von aufgenommenen Bildern berechnet und eine Objektregion, in der ein Objekt existiert, basierend auf dem Bewegungsvektor und dem Differenzbild erfasst.
Referenzliste
Patentliteratur

Patentliteratur 1: Japanisches Patent Anmeldung Offenbarungs-Nr. 2018-97777
Patentliteratur 2: Japanisches Patent Anmeldung Offenbarungs-Nr. 2015-138319

Offenbarung der Erfindung
Technisches Problem
In jeder der in den Patentschriften 1 und 2 jeweils offenbarten Technologien wird ein Objekt jedoch basierend auf einer Differenz zwischen den Gesamtheiten der Bilder erfasst, was zu einer Erhöhung des Rechenaufwands führt. Ferner ist es oft der Fall, dass die Verarbeitung an einem Bild durchgeführt wird, das ähnlich einem vorherigen Bild ist, und dies führt zu einer redundanten Verarbeitung.
In Anbetracht der oben beschriebenen Umstände ist es ein Ziel der vorliegenden Technologie, eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm bereitzustellen, die es ermöglichen, eine redundante Verarbeitung bezüglich aufgenommenen Bildern, die während einer Bewegung sequentiell erfasst werden, zu eliminieren und den Rechenaufwand zu reduzieren.
Lösung für das Problem
Um das oben beschriebene Ziel zu erreichen, weist eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie eine Eingabeeinrichtung und eine Steuereinrichtung auf. Ein durch eine Kamera aufgenommenes Bild wird in die Eingabeeinrichtung eingegeben, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist. Die Steuereinrichtung erzeugt ein transformiertes aufgenommenes Bild, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird. Ferner ordnet die Steuereinrichtung ein Koordinatenpaar für ein Pixel des transformierten aufgenommenen Bildes einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes zu, das an einer Position der Kamera nach der Bewegung aufgenommen wurde, und die Steuereinrichtung identifiziert ein nicht zugeordnetes Pixel, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
Demgemäß identifiziert die Informationsverarbeitungsvorrichtung ein Pixel des nach der Bewegung aufgenommenen Bildes, das nicht einem Pixel des aufgenommenen Bildes zugeordnet ist, und dies führt dazu, dass keine neue Verarbeitung in Bezug auf ein zugeordnetes Pixel durchgeführt werden muss. Dadurch ist es möglich, redundante Verarbeitungen auf den während der Bewegung sequentiell aufgenommenen Bildern zu eliminieren und den Rechenaufwand zu reduzieren.
Die Steuereinrichtung könnte eine Erkennungsverarbeitung zum Erkennen eines Attributs des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild durchführen und könnte ein Ergebnis der Erkennungsverarbeitung auf ein zugeordnetes Pixel in dem nach der Bewegung aufgenommenen Bild oder auf eine das zugeordnete Pixel enthaltende Region projizieren, wobei die Erkennungsverarbeitung in Bezug auf ein Pixel durchgeführt wird, das in dem aufgenommenen Bild enthalten ist und dem zugeordneten Pixel oder der das zugeordnete Pixel enthaltenden Region entspricht.
Demgemäß kann die Informationsverarbeitungsvorrichtung in Bezug auf ein zugehöriges Pixel eines aufgenommenen Bildes nach der Bewegung ein Ergebnis der Erkennungsverarbeitung, die in Bezug auf ein aufgenommenes Bild vor der Bewegung durchgeführt wurde, auf das aufgenommene Bild nach der Bewegung projizieren. Dadurch ist es möglich, die Erkennungsverarbeitung an dem zugeordneten Pixel wegzulassen und den Rechenaufwand zu reduzieren.
Zum Durchführen der Projektion könnte die Steuereinrichtung eine Abbildung erzeugen, die durch Zuordnen des Koordinatenpaares für das Pixel des nach der Bewegung aufgenommenen Bildes zu dem Koordinatenpaar für das Pixel des aufgenommenen Bildes erhalten wird.
Demgemäß kann die Informationsverarbeitungsvorrichtung anhand der erzeugten Abbildung auf einfache Weise ein Ergebnis der Erkennung, die in Bezug auf ein aufgenommenes Bild vor der Bewegung durchgeführt wurde, auf ein aufgenommenes Bild nach der Bewegung projizieren.
Die Steuereinrichtung könnte das aufgenommene Bild in dreidimensionale Punktwolkendaten transformieren, könnte basierend auf den Entfernungsinformationen für jedes Pixel Bewegungspunktwolkendaten erzeugen, die durch Transformieren in Bezug auf die dreidimensionalen Punktwolkendaten basierend auf dem Betrag der Bewegung erhalten werden, und könnte die Bewegungspunktwolkendaten auf eine Bildebene projizieren, um das transformierte aufgenommene Bild zu erzeugen.
Demgemäß transformiert die Informationsverarbeitungsvorrichtung ein aufgenommenes Bild basierend auf Entfernungsinformationen in dreidimensionale Punktwolkendaten und transformiert die dreidimensionalen Punktwolkendaten nach der Bewegung in ein ebenes Bild. Folglich kann die Informationsverarbeitungsvorrichtung ein entsprechendes Pixel genau identifizieren.
Die Steuereinrichtung könnte eine Priorität für die Durchführung der Erkennungsverarbeitung gemäß einer Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild festlegen.
Demgemäß legt die Informationsverarbeitungsvorrichtung die Häufigkeit der Durchführung der Erkennungsverarbeitung gemäß der Position einer Region fest, wie z. B. die Festlegung einer höheren Häufigkeit der Durchführung der Erkennungsverarbeitung für eine Region eines mittigen Abschnitts in einem aufgenommenen Bild als für eine Region eines Endabschnitts in dem aufgenommenen Bild. Dies ermöglicht es, den Rechenaufwand zu reduzieren.
Die Steuereinrichtung könnte die Priorität der Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß der Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild und gemäß einer Bewegungsgeschwindigkeit des mobilen Körpers festlegen.
Demgemäß kann die Informationsverarbeitungsvorrichtung eine Änderung einer wichtigen Region aufgrund einer Änderung der Bewegungsgeschwindigkeit bewältigen, wie z. B. das Festlegen einer höheren Häufigkeit der Durchführung der Erkennungsverarbeitung bei einer Bewegung mit hoher Geschwindigkeit für eine Region eines mittigen Abschnitts in einem Bild als für eine Region eines Endabschnitts in dem Bild, und das Festlegen der geringeren Häufigkeit der Durchführung der Erkennungsverarbeitung bei einer Bewegung mit niedriger Geschwindigkeit für die Region des mittigen Abschnitts in dem Bild als für die Region des Endabschnitts in dem Bild.
Die Steuereinrichtung könnte eine Priorität für die Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß den Entfernungsinformationen des nicht zugeordneten Pixels festlegen.
Demgemäß legt die Informationsverarbeitungsvorrichtung die Häufigkeit der Durchführung der Erkennungsverarbeitung in Abhängigkeit von der Entfernung so fest, dass die Häufigkeit der Durchführung der Erkennungsverarbeitung für eine Region nahe einer Kamera höher als für eine Region ist, die sich von der Kamera entfernt befindet. Dies ermöglicht es, den Rechenaufwand zu reduzieren.
Ein Bildverarbeitungsverfahren gemäß einer anderen Ausführungsform der vorliegenden Technologie weist auf:

Erfassen eines durch eine Kamera aufgenommenen Bildes, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist;
Erzeugen eines transformierten aufgenommenen Bildes, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird;
Zuordnen eines Koordinatenpaares für ein Pixel des transformierten aufgenommenen Bildes zu einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und
Identifizieren eines nicht zugeordneten Pixels, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.

Ein Programm gemäß einer weiteren Ausführungsform der vorliegenden Technologie veranlasst eine Informationsverarbeitungsvorrichtung, einen Prozess durchzuführen, der Folgendes aufweist:

Vorteilhafte Wirkungen der Erfindung
Wie oben beschrieben, ist es mit der vorliegenden Technologie möglich, redundante Verarbeitungen zu eliminieren, die in Bezug auf die während der Bewegung sequentiell aufgenommenen Bilder durchgeführt werden, und den Rechenaufwand zu reduzieren. Die vorliegende Technologie ist jedoch nicht auf diese Wirkung beschränkt.
Figurenliste

[1] 1 ist ein Blockdiagramm, das ein Beispiel für eine schematische Ausbildung eines Fahrzeugsteuerungssystems gemäß den Ausführungsformen der vorliegenden Technologie zeigt.
[2] 2 ist ein Hilfsdiagramm zur Erläuterung eines Beispiels für die Einbaupositionen eines Abschnitts zur Erkennung von Informationen außerhalb des Fahrzeugs und eines Bildaufnahmeabschnitts, die im Fahrzeugsteuerungssystem enthalten sind.
[3] 3 zeigt Ausbildungen von Funktionsblöcken, die in der integrierten Steuereinheit des Fahrzeugsteuerungssystems enthalten sind.
[4] 4 ist ein Flussdiagramm, das den Ablauf der Bilderkennungsverarbeitung durch das Fahrzeugsteuerungssystem zeigt.
[5] 5 ist ein Diagramm zur Beschreibung der Verarbeitung, die durch einen Projektionsabbildungsgenerator und einen Abschnitt zur Projektion der semantischen Segmentierung durchgeführt wird, die in der integrierten Steuereinheit enthalten sind.
[6] 6 ist ein Diagramm zur Beschreibung der Verarbeitung, die durch einen Abschnitt zur Festlegung einer unbeobachteten Region durchgeführt wird, die in der integrierten Steuereinheit enthalten ist.
[7] 7 zeigt Details der Verarbeitung durch den Projektionsabbildungsgenerator.
[8] 8 ist ein Flussdiagramm, das einen Ablauf der Verarbeitung durch den Projektionsabbildungsgenerator zeigt.
[9] 9 zeigt Details der Verarbeitung, die durch den Abschnitt zur Festlegung einer unbeobachteten Region durchgeführt wird.
[10] 10 ist ein Flussdiagramm, das den Ablauf der Verarbeitung durch den Abschnitt zur Festlegung einer unbeobachteten Region zeigt.
[11] 11 ist ein Diagramm zur Beschreibung der Verarbeitung, die durch einen Abschnitt zur Bestimmung der Region-Attribut-Beziehung und einen Abbildungsgenerator für Aktualisierungspriorität durchgeführt wird, die in der integrierten Steuereinheit enthalten sind.
[12] 12 ist ein Diagramm zur Beschreibung der Abbildungsintegrationsverarbeitung, die durch den Abbildungsgenerator für Aktualisierungspriorität durchgeführt wird.
[13] 13 ist ein Diagramm zur Beschreibung der Verarbeitung, die durch einen Abschnitt für semantische Segmentierung einer Region durchgeführt wird, die in der integrierten Steuereinheit enthalten ist.
[14] 14 zeigt ein Beispiel für die Festlegung der Aktualisierungshäufigkeit und einer Aktualisierungsregion in der Bilderkennungsverarbeitung, die durch das Fahrzeugsteuerungssystem gemäß einer Änderung der vorliegenden Technologie durchgeführt wird.
[15] 15 zeigt ein Beispiel für die Festlegung der Aktualisierungshäufigkeit und einer Aktualisierungsregion in der Bilderkennungsverarbeitung, die durch das Fahrzeugsteuerungssystem gemäß einer Änderung der vorliegenden Technologie durchgeführt wird.
[16] 16 zeigt ein Beispiel für die Festlegung der Aktualisierungshäufigkeit und einer Aktualisierungsregion in der Bilderkennungsverarbeitung, die durch das Fahrzeugsteuerungssystem gemäß einer Änderung der vorliegenden Technologie durchgeführt wird.
[17] 17 zeigt ein Beispiel für die Festlegung einer Aktualisierungsregion, die durch einen Abschnitt für semantische Segmentierung einer Region im Fahrzeugsteuerungssystem gemäß einer Änderung der vorliegenden Technologie durchgeführt wird.
[18] 18 ist ein Diagramm zur Beschreibung der Verarbeitung, die durch den Abschnitt für semantische Segmentierung einer Region im Fahrzeugsteuerungssystem gemäß der Änderung der vorliegenden Technologie durchgeführt wird.

Verfahren zum Ausführen der Erfindung
Nachfolgend werden Ausführungsformen der vorliegenden Technologie mit Bezug auf die Zeichnungen beschrieben.
[Ausbildung des Fahrzeugsteuerungssystems]
1 ist ein Blockdiagramm, das ein Beispiel für die schematische Ausbildung eines Fahrzeugsteuerungssystems 7000 als Beispiel für ein mobiles Steuerungssystem für mobile Körper darstellt, auf das die Technologie gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet werden kann. Das Fahrzeugsteuerungssystem 7000 weist eine Vielzahl von elektronischen Steuereinheiten auf, die über ein Kommunikationsnetzwerk 7010 miteinander verbunden sind. In dem in 1 dargestellten Beispiel weist das Fahrzeugsteuerungssystem 7000 eine Antriebssystemsteuereinheit 7100, eine Karosseriesystemsteuereinheit 7200, eine Batteriesteuereinheit 7300, eine Fahrzeugaußeninformationserfassungseinheit 7400, eine Fahrzeuginneninformationserfassungseinheit 7500 und eine integrierte Steuereinheit 7600. Das Kommunikationsnetzwerk 7010, das eine Vielzahl von Steuereinheiten miteinander verbindet, könnte zum Beispiel ein fahrzeugmontiertes Kommunikationsnetzwerk sein, das einem beliebigen Standard wie Controller Area Network (CAN), Local Interconnect Network (LIN), Local Area Network (LAN), FlexRay (eingetragene Marke) oder dergleichen entspricht.
Jede der Steuereinheiten weist auf: einen Mikrocomputer, der die Rechenverarbeitung gemäß verschiedenen Arten von Programmen durchführt; einen Speicherabschnitt, der die durch den Mikrocomputer ausgeführten Programme, die für verschiedene Arten von Vorgängen verwendeten Parameter oder dergleichen speichert, und eine Treiberschaltung, die verschiedene Arten von Steuerzieleinrichtungen ansteuert. Jede der Steuereinheiten weist ferner auf: eine Netzwerkschnittstelle (I/F) zur Durchführung der Kommunikation mit anderen Steuereinheiten über das Kommunikationsnetzwerk 7010; und eine Kommunikationsschnittstelle zur Durchführung der Kommunikation mit einer Einrichtung, einem Sensor oder dergleichen innerhalb und außerhalb des Fahrzeugs über Drahtkommunikation oder Funkkommunikation. Eine in 1 veranschaulichte Funktionsausbildung der integrierten Steuereinheit 7600 weist einen Mikrocomputer 7610, eine Universal-Kommunikationsschnittstelle 7620, eine spezielle Kommunikationsschnittstelle 7630, einen Positionierungsabschnitt 7640, einen Bakensignalempfangsabschnitt 7650, eine fahrzeuginterne Geräteschnittstelle 7660, einen Ton-/Bildausgabeabschnitt 7670, eine fahrzeugmontierte Netzwerkschnittstelle 7680 und einen Speicherabschnitt 7690 auf. Die anderen Steuereinheiten weisen ebenfalls einen Mikrocomputer, eine Kommunikationsschnittstelle, einen Speicherabschnitt und dergleichen auf.
Die Antriebssystemsteuereinheit 7100 steuert den Betrieb von Einrichtungen, die mit dem Antriebssystem des Fahrzeugs in Verbindung stehen, gemäß verschiedenen Arten von Programmen. Zum Beispiel fungiert die Antriebssystemsteuereinheit 7100 als Steuereinrichtung für eine Antriebskrafterzeugungseinrichtung zur Erzeugung der Antriebskraft des Fahrzeugs, wie zum Beispiel einen Verbrennungsmotor, einen Antriebsmotor oder dergleichen, einen Antriebskraftübertragungsmechanismus zur Übertragung der Antriebskraft auf die Räder, einen Lenkmechanismus zur Einstellung des Lenkwinkels des Fahrzeugs, eine Bremseinrichtung zur Erzeugung der Bremskraft des Fahrzeugs und dergleichen. Die Antriebssystemsteuereinheit 7100 könnte eine Funktion als Steuereinrichtung eines Antiblockiersystems (ABS), einer elektronischen Stabilitätssteuerung (ESC) oder dergleichen aufweisen.
Die Antriebssystemsteuereinheit 7100 ist mit einem Fahrzeugzustandserfassungsabschnitt 7110 verbunden. Der Fahrzeugzustandserfassungsabschnitt 7110 beispielsweise weist mindestens einen Kreiselsensor, der die Winkelgeschwindigkeit der axialen Drehbewegung einer Fahrzeugkarosserie erfasst, einen Beschleunigungssensor, der die Beschleunigung des Fahrzeugs erfasst, und Sensoren zum Erfassen eines Betätigungsbetrags eines Gaspedals, des Betätigungsbetrags eines Bremspedals, des Lenkwinkels eines Lenkrads, der Motordrehzahl oder der Drehgeschwindigkeit von Rädern und dergleichen auf. Die Antriebssystemsteuereinheit 7100 führt eine Rechenverarbeitung unter Verwendung eines Signaleingangs vom Fahrzeugzustandserfassungsabschnitt 7110 durch und steuert den Verbrennungsmotor, den Antriebsmotor, eine elektrische Servolenkung, die Bremseinrichtung und dergleichen.
Die Karosseriesystemsteuereinheit 7200 steuert den Betrieb der verschiedenen Arten von Einrichtungen, die der Fahrzeugkarosserie zur Verfügung gestellt werden, gemäß verschiedenen Arten von Programmen. Die Karosseriesystemsteuereinheit 7200 fungiert beispielsweise als Steuereinrichtung für ein Keyless-Entry-System, ein Smart-Key-System, eine elektrische Fensterhebereinrichtung oder verschiedene Arten von Lampen wie Scheinwerfer, Rückfahrscheinwerfer, Bremslicht, Fahrtrichtungsanzeiger, Nebelscheinwerfer oder dergleichen. In diesem Fall können Funkwellen, die von einer mobilen Einrichtung als Alternative zu einem Schlüssel übertragen werden, oder Signale verschiedener Arten von Schaltern in die Karosseriesystemsteuereinheit 7200 eingegeben werden. Die Karosseriesystemsteuereinheit 7200 empfängt diese Eingangsfunkwellen oder -signale und steuert eine Türverriegelung, die elektrische Fensterhebereinrichtung, die Lampen oder dergleichen des Fahrzeugs.
Die Batteriesteuereinheit 7300 steuert eine Sekundärbatterie 7310, die als Stromquelle für den Antriebsmotor dient, gemäß verschiedenen Arten von Programmen. Beispielsweise wird die Batteriesteuereinheit 7300 aus einer Batterieeinrichtung, die die Sekundärbatterie 7310 aufweist, mit Informationen über eine Batterietemperatur, eine Batterieausgangsspannung, eine in der Batterie verbleibende Ladungsmenge oder dergleichen versorgt. Die Batteriesteuereinheit 7300 führt anhand dieser Signale eine Rechenverarbeitung durch und führt eine Steuereinrichtung zur Regelung der Temperatur der Sekundärbatterie 7310 durch oder steuert eine der Batterieeinrichtung zugeordnete Kühleinrichtung oder dergleichen.
Die Fahrzeugaußeninformationserfassungseinheit 7400 erfasst Informationen über die Außenseite des Fahrzeugs einschließlich des Fahrzeugsteuerungssystems 7000. Zum Beispiel ist die Fahrzeugaußeninformationserfassungseinheit 7400 mit mindestens einem von einem Bildaufnahmeabschnitt 7410 und einem Fahrzeugaußeninformationserfassungsabschnitt 7420 verbunden. Der Bildaufnahmeabschnitt 7410 weist mindestens eines von einer Time-of-Flight(ToF)-Kamera, einer Stereokamera, einer Monokularkamera, einer Infrarotkamera und anderen Kameras auf. Der Fahrzeugaußeninformationserfassungsabschnitt 7420 weist beispielsweise mindestens eines von einem Umgebungssensor zur Erfassung der aktuellen atmosphärischen Bedingungen oder Wetterbedingungen und einem peripheren Informationserfassungssensor zur Erfassung eines anderen Fahrzeugs, eines Hindernisses, eines Fußgängers oder dergleichen an der Peripherie des Fahrzeugs, das das Fahrzeugsteuerungssystem 7000 aufweist, auf.
Der Umgebungssensor könnte beispielsweise mindestens eines von einem Regentropfensensor, der Regen erfasst, einem Nebelsensor, der Nebel erfasst, einem Sonnenscheinsensor, der einen Grad an Sonnenschein erfasst, und einem Schneesensor, der Schneefall erfasst, sein. Der periphere Informationserfassungssensor könnte mindestens eines von einem Ultraschallsensor, einer Radarvorrichtung und einer LIDAR-Vorrichtung (Light-Detection-and-Ranging-Vorrichtung oder Laser-Imaging-Detection-and-Ranging-Vorrichtung) sein. Der Bildaufnahmeabschnitt 7410 und der Fahrzeugaußeninformationserfassungsabschnitt 7420 könnten jeweils als unabhängiger Sensor oder unabhängige Einrichtung oder als Einrichtung, in der eine Vielzahl von Sensoren oder Einrichtungen integriert sind, bereitgestellt sein.
2 zeigt ein Beispiel für die Einbaupositionen des Bildaufnahmeabschnitts 7410 und des Fahrzeugaußeninformationserfassungsabschnitts 7420. Die Bildaufnahmeabschnitte 7910, 7912, 7914, 7916 und 7918 sind beispielsweise an mindestens einer der Positionen an der vorderen Nase, den Seitenspiegeln, der hinteren Stoßstange und der Hecktür des Fahrzeugs 7900 sowie an einer Position an einem oberen Teil einer Windschutzscheibe im Innenraum des Fahrzeugs angeordnet. Der Bildaufnahmeabschnitt 7910, der an der vorderen Nase vorgesehen ist, und der Bildaufnahmeabschnitt 7918, der am oberen Teil der Windschutzscheibe im Innenraum des Fahrzeugs vorgesehen ist, erhalten hauptsächlich ein Bild der Vorderseite des Fahrzeugs 7900. Die Bildaufnahmeabschnitte 7912 und 7914, die an den Seitenspiegeln vorgesehen sind, erhalten hauptsächlich ein Bild der Seiten des Fahrzeugs 7900. Der an der hinteren Stoßstange oder der Hecktür vorgesehene Bildaufnahmeabschnitt 7916 erhält hauptsächlich ein Bild vom Heck des Fahrzeugs 7900. Der Bildaufnahmeabschnitt 7918, der im oberen Teil der Windschutzscheibe im Innenraum des Fahrzeugs vorgesehen ist, dient hauptsächlich zur Erkennung eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, eines Signals, eines Verkehrszeichens, eines Fahrstreifens oder dergleichen.
2 zeigt zudem ein Beispiel für Aufnahmebereiche der jeweiligen Bildaufnahmeabschnitte 7910, 7912, 7914 und 7916. Ein Bildaufnahmebereich a stellt den Bildaufnahmebereich des Bildaufnahmeabschnitts 7910 dar, der an der vorderen Nase vorgesehen ist. Die Bildaufnahmebereiche b und c stellen jeweils die Bildaufnahmebereiche der Bildaufnahmeabschnitte 7912 und 7914 dar, die an den Seitenspiegeln vorgesehen sind. Ein Bildaufnahmebereich d stellt den Bildaufnahmebereich des Bildaufnahmeabschnitts 7916 dar, der an der hinteren Stoßstange oder der Hecktür vorgesehen ist. Ein Bild des Fahrzeugs 7900 aus der Vogelperspektive, wie es von oben gesehen wird, kann z. B. durch Überlagerung von Bilddaten, die die Bildaufnahmeabschnitte 7910, 7912, 7914 und 7916 aufgenommen wurden, erhalten werden.
Die Fahrzeugaußeninformationserfassungsabschnitte 7920, 7922, 7924, 7926, 7928 und 7930, die an der Vorderseite, der Rückseite, den Seiten und den Ecken des Fahrzeugs 7900 und dem oberen Teil der Windschutzscheibe im Innenraum des Fahrzeugs vorgesehen sind, könnten zum Beispiel ein Ultraschallsensor oder ein Radargerät sein. Die Fahrzeugaußeninformationserfassungsabschnitte 7920, 7926 und 7930, die an der vorderen Nase des Fahrzeugs 7900, der hinteren Stoßstange, der Hecktür des Fahrzeugs 7900 und dem oberen Teil der Windschutzscheibe im Innenraum des Fahrzeugs vorgesehen sind, könnten zum Beispiel eine LIDAR-Einrichtung sein. Diese Fahrzeugaußeninformationserfassungsabschnitte 7920 bis 7930 werden hauptsächlich zur Erkennung eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses oder dergleichen verwendet.
Zurück zu 1 wird die Beschreibung nun fortgesetzt. Die Fahrzeugaußeninformationserfassungseinheit 7400 lässt den Bildaufnahmeabschnitt 7410 ein Bild der Außenseite des Fahrzeugs erfassen und empfängt die erfassten Bilddaten. Darüber hinaus empfängt die Fahrzeugaußeninformationserfassungseinheit 7400 Erfassungsinformationen aus dem Fahrzeugaußeninformationserfassungsabschnitt 7420, der mit der Fahrzeugaußeninformationserfassungseinheit 7400 verbunden ist. Falls der Fahrzeugaußeninformationserfassungsabschnitt 7420 ein Ultraschallsensor, eine Radarvorrichtung oder eine LIDAR-Vorrichtung ist, sendet die Fahrzeugaußeninformationserfassungseinheit 7400 eine Ultraschallwelle, eine elektromagnetische Welle oder dergleichen aus und empfängt Informationen einer empfangenen reflektierten Welle. Basierend auf den empfangenen Informationen, könnte die Fahrzeugaußeninformationserfassungseinheit 7400 die Verarbeitung der Erkennung eines Objekts wie beispielsweise eines Menschen, eines Fahrzeugs, eines Hindernisses, eines Schildes, eines Zeichens auf einer Fahrbahn oder dergleichen oder die Verarbeitung der Erkennung einer Entfernung dorthin durchführen. Die Fahrzeugaußeninformationserfassungseinheit 7400 könnte basierend auf den empfangenen Informationen eine Umwelterkennungsverarbeitung zur Erkennung von Regen, Nebel, Fahrbahnbeschaffenheit oder dergleichen durchführen. Die Fahrzeugaußeninformationserfassungseinheit 7400 könnte anhand der empfangenen Informationen eine Entfernung zu einem Objekt außerhalb des Fahrzeugs berechnen.
Darüber hinaus könnte die Fahrzeugaußeninformationserfassungseinheit 7400 anhand der empfangenen Bilddaten eine Bilderkennungsverarbeitung zur Erkennung eines Menschen, eines Fahrzeugs, eines Hindernisses, eines Schildes, eines Zeichens auf einer Fahrbahn oder dergleichen oder eine Verarbeitung zur Erkennung einer Entfernung dazu durchführen. Die Fahrzeugaußeninformationserfassungseinheit 7400 könnte die empfangenen Bilddaten einer Verarbeitung wie Verzerrungskorrektur, Ausrichtung oder dergleichen unterziehen und die durch eine Vielzahl verschiedener Bildaufnahmeabschnitte 7410 aufgenommenen Bilddaten kombinieren, um ein Bild aus der Vogelperspektive oder ein Panoramabild zu erzeugen. Die Fahrzeugaußeninformationserfassungseinheit 7400 könnte eine Blickpunktkonvertierungsverarbeitung unter Verwendung der aufgenommenen Bilddaten durchführen, die durch den die verschiedenen Bildaufnahmeteile enthaltenden Bildaufnahmeabschnitt 7410, aufgenommen wurden.
Die Fahrzeuginneninformationserfassungseinheit 7500 erfasst Informationen über das Innere des Fahrzeugs. Die Fahrzeuginneninformationserfassungseinheit 7500 ist beispielsweise mit einem Fahrerzustandserfassungsabschnitt 7510 verbunden, der den Zustand eines Fahrers erfasst. Der Fahrerzustandserfassungsabschnitt 7510 könnte eine Kamera, die den Fahrer aufnimmt, einen Biosensor, der biologische Informationen des Fahrers erfasst, ein Mikrofon, das im Fahrzeuginnenraum Geräusche aufnimmt, oder dergleichen aufweisen. Der Biosensor ist zum Beispiel in einer Sitzfläche, im Lenkrad oder dergleichen angeordnet und erfasst biologische Informationen eines Insassen, der auf einem Sitz sitzt, oder des Fahrers, der das Lenkrad hält. Basierend auf den aus dem Fahrerzustandserfassungsabschnitt 7510 eingegebenen Erfassungsinformationen könnte die Fahrzeuginneninformationserfassungseinheit 7500 einen Ermüdungsgrad des Fahrers oder einen Konzentrationsgrad des Fahrers berechnen oder feststellen, ob der Fahrer schläft. Die Fahrzeuginneninformationserfassungseinheit 7500 könnte ein durch die Schallerfassung gewonnenes Audiosignal einer Verarbeitung wie beispielsweise einer Geräuschunterdrückung oder dergleichen unterziehen.
Die integrierte Steuereinheit 7600 steuert den allgemeinen Betrieb innerhalb des Fahrzeugsteuerungssystems 7000 gemäß verschiedenen Arten von Programmen. Die integrierte Steuereinheit 7600 ist mit einem Eingabeabschnitt 7800 verbunden. Der Eingabeabschnitt 7800 ist durch eine Einrichtung implementiert, die eine Eingabebedienung durch einen Insassen ermöglicht, wie zum Beispiel ein Touchpanel, eine Taste, ein Mikrofon, ein Schalter, ein Hebel oder dergleichen. Die integrierte Steuereinheit 7600 könnte mit Daten versorgt werden, die durch Spracherkennung der Spracheingabe über das Mikrofon erhalten werden. Der Eingabeabschnitt 7800 könnte zum Beispiel eine Fernbedienung mit Infrarotstrahlen oder anderen Funkwellen oder eine externe Anschlusseinrichtung wie ein Mobiltelefon, ein persönlicher digitaler Assistent (PDA) dergleichen, das die Bedienung des Fahrzeugsteuerungssystems 7000 unterstützt. Der Eingabeabschnitt 7800 könnte zum Beispiel eine Kamera sein. In diesem Fall könnte ein Insasse Informationen durch Gesten eingeben. Alternativ könnten Daten eingegeben werden, die durch Erfassen der Bewegung einer tragbaren Einrichtung, die ein Insasse am Körper trägt, gewonnen werden. Ferner könnte der Eingabeabschnitt 7800 zum Beispiel eine Eingabesteuerschaltung oder dergleichen aufweisen, die basierend auf der Eingabe von Informationen durch einen Insassen oder dergleichen ein Eingangssignal unter Verwendung des oben beschriebenen Eingabeabschnitts 7800 erzeugt und das erzeugte Eingangssignal an die integrierte Steuereinheit 7600 ausgibt. Ein Insasse oder dergleichen gibt durch Bedienen des Eingabeabschnitts 7800 verschiedene Arten von Daten ein oder gibt eine Anweisung zur Verarbeitung von Vorgängen an das Fahrzeugsteuerungssystem 7000.
Der Speicherabschnitt 7690 könnte einen Nur-Lese-Speicher (ROM), der verschiedene Arten von Programmen speichert, die durch den Mikrocomputer ausgeführt werden, und einen Direktzugriffsspeicher (RAM), der verschiedene Arten von Parametern, Betriebsergebnissen, Sensorwerten oder dergleichen speichert, aufweisen. Darüber hinaus könnte der Speicherabschnitt 7690 durch eine magnetische Speichervorrichtung wie beispielsweise ein Festplattenlaufwerk (HDD) oder dergleichen, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung oder dergleichen implementiert sein.
Die Universal-Kommunikationsschnittstelle 7620 ist eine weithin verwendete Kommunikationsschnittstelle, die die Kommunikation mit verschiedenen in einer Außenumgebung 7750 vorhandenen Vorrichtungen vermittelt. Die Universal-Kommunikationsschnittstelle 7620 könnte ein zellulares Kommunikationsprotokoll wie beispielsweise Global System for Mobile Communications (GSM (eingetragene Marke)), Worldwide Interoperability for Microwave Access (WiMAX (eingetragene Marke)), Long Term Evolution (LTE (eingetragene Marke)), LTE-advanced (LTE-A) oder dergleichen oder ein anderes drahtloses Kommunikationsprotokoll wie Wireless-LAN (auch als Wireless Fidelity (Wi-Fi (eingetragene Marke) bezeichnet), Bluetooth (eingetragene Marke) oder dergleichen implementieren. Die Universal-Kommunikationsschnittstelle 7620 könnte beispielsweise über eine Basisstation oder einen Zugangspunkt eine Verbindung zu einer Vorrichtung (zum Beispiel einem Anwendungs- oder Steuerungsserver) in einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netz oder einem firmenspezifischen Netzwerk) herstellen. Darüber hinaus könnte die Universal-Kommunikationsschnittstelle 7620 zum Beispiel über eine Peer-to-Peer(P2P)-Technologie eine Verbindung zu einem in der Nähe des Fahrzeugs vorhandenen Endgerät (zum Beispiel einem Endgerät des Fahrers, eines Fußgängers oder eines Geschäfts oder einem Machine Type Communication(MTC)-Endgerät) herstellen.
Die spezielle Kommunikationsschnittstelle 7630 ist eine Kommunikationsschnittstelle, die ein für die Verwendung in Fahrzeugen entwickeltes Kommunikationsprotokoll unterstützt. Die spezielle Kommunikationsschnittstelle 7630 könnte ein Standardprotokoll wie zum Beispiel Wireless Access in Vehicle Environment (WAVE), das eine Kombination aus Institute of Electrical and Electronic Engineers (IEEE) 802.11p als untere Schicht und IEEE 1609 als höhere Schicht ist, Dedicated Short Range Communications (DSRC) oder ein zellulares Kommunikationsprotokoll implementieren. Die spezielle Kommunikationsschnittstelle 7630 führt typischerweise die V2X-Kommunikation als ein Konzept durch, das eines oder Mehreres von Kommunikation zwischen einem Fahrzeug und einem Fahrzeug (Vehicle-to-Vehicle), Kommunikation zwischen einer Straße und einem Fahrzeug (Vehicle-to-Infrastructure), Kommunikation zwischen einem Fahrzeug und einem Haus (Vehicle-to-Home) und Kommunikation zwischen einem Fußgänger und einem Fahrzeug (Vehicle-to-Pedestrian) aufweist.
Der Positionierungsabschnitt 7640 führt beispielsweise die Positionierung durch den Empfang eines Global Navigation Satellite System(GNSS)-Signals von einem GNSS-Satelliten (zum Beispiel ein GPS-Signal von einem Global Positioning System(GPS)-Satelliten) durch und erzeugt Positionsinformationen, die den Breiten- und Längengrad sowie die geografische Höhe des Fahrzeugs aufweisen. Dabei könnte der Positionierungsabschnitt 7640 eine aktuelle Position durch Austausch von Signalen mit einem drahtlosen Zugangspunkt identifizieren oder die Positionsinformationen von einem Endgerät wie einem Mobiltelefon, einem persönlichen Handysystem (PHS) oder einem Smartphone mit Positionierungsfunktion erhalten.
Der Bakensignalempfangsabschnitt 7650 empfängt zum Beispiel eine Funkwelle oder eine elektromagnetische Welle, die aus einer an einer Straße oder dergleichen installierten Funkstation ausgesendet wird, und erhält dadurch Informationen über die aktuelle Position, Staus, eine gesperrte Straße, eine benötigte Zeit oder dergleichen. Dabei könnte die Funktion des Bakensignalempfangsabschnitts 7650 in der oben beschriebenen speziellen Kommunikationsschnittstelle 7630 enthalten sein.
Die fahrzeuginterne Geräteschnittstelle 7660 ist eine Kommunikationsschnittstelle, die die Verbindung zwischen dem Mikrocomputer 7610 und verschiedenen fahrzeuginternen Einrichtungen 7760 vermittelt. Die fahrzeuginterne Geräteschnittstelle 7660 könnte eine drahtlose Verbindung über ein drahtloses Kommunikationsprotokoll wie Wireless LAN, Bluetooth (eingetragene Marke), Near Field Communication (NFC) oder Wireless Universal Serial Bus (WUSB) herstellen. Darüber hinaus könnte die fahrzeuginterne Geräteschnittstelle 7660 über ein nicht in den Figuren dargestelltes Anschlussendgerät (und ggf. ein Kabel) eine kabelgebundene Verbindung über Universal Serial Bus (USB), High-Definition Multimedia Interface (HDMI (eingetragene Marke)), Mobile High-Definition Link (MHL) oder dergleichen herstellen. Die fahrzeuginternen Einrichtungen 7760 könnten zum Beispiel mindestens eines von einem Mobilgerät und einem tragbaren Gerät, das ein Insasse besitzt, und einer Informationsvorrichtung aufweisen, die in das Fahrzeug mitgeführt oder an diesem befestigt wird. Die fahrzeuginternen Einrichtungen 7760 könnten auch ein Navigationsgerät aufweisen, das einen Weg zu einem beliebigen Ziel sucht. Die fahrzeuginterne Geräteschnittstelle 7660 tauscht mit diesen fahrzeuginternen Einrichtungen 7760 Steuersignale oder Datensignale aus.
Die fahrzeugmontierte Netzwerkschnittstelle 7680 ist eine Schnittstelle, die die Kommunikation zwischen dem Mikrocomputer 7610 und dem Kommunikationsnetzwerk 7010 vermittelt. Die fahrzeugmontierte Netzwerkschnittstelle 7680 sendet und empfängt Signale oder dergleichen gemäß einem vorgegebenen Protokoll, das durch das Kommunikationsnetzwerk 7010 unterstützt wird.
Der Mikrocomputer 7610 der integrierten Steuereinheit 7600 steuert das Fahrzeugsteuerungssystem 7000 gemäß verschiedenen Arten von Programmen anhand von Informationen, die über mindestens eines von der Universal-Kommunikationsschnittstelle 7620, der speziellen Kommunikationsschnittstelle 7630, dem Positionierungsabschnitt 7640, dem Bakensignalempfangsabschnitt 7650, der fahrzeuginternen Geräteschnittstelle 7660 und der fahrzeugmontierten Netzwerkschnittstelle 7680 erhalten werden. Beispielsweise könnte der Mikrocomputer 7610 anhand der erhaltenen Informationen über das Innere und Äußere des Fahrzeugs einen Steuersollwert für die Antriebskrafterzeugungseinrichtung, den Lenkmechanismus oder die Bremseinrichtung berechnen und einen Steuerbefehl an die Antriebssystemsteuereinheit 7100 ausgeben. Beispielsweise könnte der Mikrocomputer 7610 eine kooperative Steuerung durchführen, die dazu dient, Funktionen eines Advanced Driver Assistance System (ADAS) zu implementieren, dessen Funktionen Kollisionsvermeidung oder Aufpralldämpfung für das Fahrzeug, Folgefahren basierend auf einer Folgeentfernung, Beibehaltung der Fahrzeuggeschwindigkeit, Warnung vor Kollision des Fahrzeugs, Warnung vor Fahrstreifenabweichung des Fahrzeugs oder dergleichen aufweisen. Darüber hinaus könnte der Mikrocomputer 7610 eine für automatisches Fahren bestimmte kooperative Steuerung durchführen, die das Fahrzeug autonom fahren lässt, ohne von der Bedienung des Fahrers oder dergleichen abhängig zu sein, indem sie die Antriebskrafterzeugungseinrichtung, den Lenkmechanismus, die Bremseinrichtung oder dergleichen basierend auf den erhaltenen Informationen über die Umgebung des Fahrzeugs steuert.
Der Mikrocomputer 7610 könnte dreidimensionale Entfernungsinformationen zwischen dem Fahrzeug und einem Objekt, wie zum Beispiel einem umgebenden Aufbau, einer Person oder dergleichen, und lokale Karteninformationen einschließlich Informationen über die Umgebung der aktuellen Position des Fahrzeugs anhand von Informationen erzeugen, die über mindestens eines von der Universal-Kommunikationsschnittstelle 7620, der speziellen Kommunikationsschnittstelle 7630, dem Positionierungsabschnitt 7640, dem Bakensignalempfangsabschnitt 7650, der fahrzeuginternen Geräteschnittstelle 7660 und der fahrzeugmontierten Netzwerkschnittstelle 7680 erhalten werden. Darüber hinaus könnte der Mikrocomputer 7610 anhand der erhaltenen Informationen Gefahren wie Kollision des Fahrzeugs, Annäherung eines Fußgängers oder dergleichen, Einfahrt in eine gesperrte Straße oder dergleichen vorhersagen und ein Warnsignal erzeugen. Das Warnsignal könnte zum Beispiel ein Signal zur Erzeugung eines Warntons oder zum Aufleuchten einer Warnlampe sein.
Der Ton-/Bildausgabeabschnitt 7670 überträgt ein Ausgangssignal aus mindestens einem von einem Ton und einem Bild an eine Ausgabeeinrichtung, die in der Lage ist, einem Fahrzeuginsassen oder der Außenseite des Fahrzeugs visuell oder akustisch Informationen mitzuteilen. Im Beispiel von 1 sind als Ausgabeeinrichtung ein Lautsprecher 7710, ein Anzeigeabschnitt 7720 und ein Armaturenbrett 7730 dargestellt. Der Anzeigeabschnitt 7720 könnte beispielsweise mindestens eines von einem Bord-Display oder einem Head-up-Display aufweisen. Der Anzeigeabschnitt 7720 könnte eine Augmented Reality(AR)-Anzeigefunktion aufweisen. Die Ausgabeeinrichtung könnte eine andere als diese Einrichtungen sein, und könnte eine andere Einrichtung wie beispielsweise ein Kopfhörer, eine am Körper tragbare Einrichtung wie beispielsweise eine durch einen Insassen getragene brillenartige Anzeige oder dergleichen, ein Projektor, eine Lampe oder dergleichen sein. Falls die Ausgabeeinrichtung eine Anzeigeeinrichtung ist, zeigt die Anzeigeeinrichtung visuell Ergebnisse an, die durch verschiedene Arten der Verarbeitung durch den Mikrocomputer 7610 erhalten wurden, oder Informationen in verschiedenen Formen wie Text, ein Bild, eine Tabelle, ein Diagramm oder dergleichen, die aus einer anderen Steuereinheit empfangen wurden. Außerdem, falls die Ausgabeeinrichtung eine Audioausgabeeinrichtung ist, wandelt die Audioausgabeeinrichtung ein Audiosignal, das aus reproduzierten Audiodaten oder Klangdaten oder dergleichen besteht, in ein analoges Signal um und gibt das analoge Signal hörbar aus.
Dabei könnten mindestens zwei Steuereinheiten, die über das Kommunikationsnetzwerk 7010 in dem in 1 dargestellten Beispiel miteinander verbunden sind, in eine einzelne Steuereinheit integriert sein. Alternativ könnte jede einzelne Steuereinheit eine Vielzahl von Steuereinheiten aufweisen. Ferner könnte das Fahrzeugsteuerungssystem 7000 eine weitere Steuereinheit aufweisen, die in den Figuren nicht dargestellt ist. Darüber hinaus könnte ein Teil oder die Gesamtheit der Funktionen, die durch eine der Steuereinheiten in der obigen Beschreibung ausgeführt werden, einer anderen Steuereinheit zugewiesen werden. Das heißt, eine vorgegebene Rechenverarbeitung könnte durch jede der Steuereinheiten durchgeführt werden, solange Informationen über das Kommunikationsnetzwerk 7010 gesendet und empfangen werden. Ebenso könnte ein Sensor oder eine Einrichtung, die an eine der Steuereinheiten angeschlossen ist, an eine andere Steuereinheit angeschlossen werden, und eine Vielzahl von Steuereinheiten könnten über das Kommunikationsnetzwerk 7010 gegenseitig Erfassungsinformationen senden und empfangen.
Ferner ist die integrierte Steuereinheit 7600 in der vorliegenden Ausführungsform in der Lage, eine semantische Segmentierung durchzuführen, die dazu verwendet wird, ein Attribut wie z. B. eine Fahrbahn, einen Bürgersteig, einen Fußgänger und ein Gebäude für jedes Pixel eines Bildes zu erkennen, das durch den Bildaufnahmeabschnitt 7410 aufgenommen wurde.
[Ausbildungen von Funktionsblöcken des Fahrzeugsteuerungssystems]
3 zeigt Ausbildungen von Funktionsblöcken eines Computerprogramms, das in der integrierten Steuereinheit 7600 implementiert ist. Das Computerprogramm könnte in Form eines computerlesbaren Aufzeichnungsmediums bereitgestellt werden, auf dem das Computerprogramm gespeichert ist. Beispiele für das Aufzeichnungsmedium sind eine Magnetplatte, eine optische Platte, eine magneto-optische Platte und ein Flashspeicher. Ferner könnte das Computerprogramm zum Beispiel über ein Netzwerk verteilt werden, ohne dass dazu ein Aufzeichnungsmedium verwendet wird.
In der vorliegenden Ausführungsform ist die integrierte Steuereinheit 7600 (der Mikrocomputer 7610) in der Lage, in Bezug auf aufgenommene Bilder, die sequentiell durch den Bildaufnahmeabschnitt 7410 erfasst wurden, eine semantische Segmentierung durchzuführen, die angewendet wird, um ein Attribut (wie z. B. eine Fahrbahn, einen Bürgersteig, einen Fußgänger und ein Gebäude) für jedes Pixel des aufgenommenen Bildes zu erkennen. Durch die semantische Segmentierung wird das Attribut für jede in einem erfassten Bild enthaltene Objektregion erkannt.
Basierend auf dem Attribut kann die integrierte Steuereinheit 7600 die Häufigkeit der Durchführung der Erkennungsverarbeitung (die Häufigkeit der Aktualisierung) und eine Region, d. h. ein Ziel für die Erkennungsverarbeitung, festlegen. Man beachte, dass bei der Verarbeitung die semantische Segmentierung in Bezug auf die Gesamtheit des ersten aufgenommenen Bildes aus einer Reihe von aufgenommenen Bildern durchgeführt wird, und die Häufigkeit der Aktualisierung für jede Region in den nachfolgenden aufgenommenen Bildern festgelegt wird.
Wie in 3 dargestellt, weist die integrierte Steuereinheit 7600 als Funktionsblöcke eine Relativbewegungsschätzeinrichtung 11, einen Projektionsabbildungsgenerator 12, einen Abschnitt zur Projektion der semantischen Segmentierung 13, einen Abschnitt zur Festlegung einer unbeobachteten Region 14, einen Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15, einen Abbildungsgenerator für Aktualisierungspriorität 16, einen Abschnitt für semantische Segmentierung einer Region 17 und einen Abschnitt zur Integration der semantischen Segmentierung 18 auf.
Basierend auf Positionsinformationen bezüglich einer Position eines Fahrzeugs zu einem Zeitpunkt (T-1) und Positionsinformationen bezüglich der Position des Fahrzeugs zu einem Zeitpunkt (T), die durch den Positionierungsabschnitt 7640 (dem Bildaufnahmeabschnitt 7410) erzeugt werden, erzeugt die Relativbewegungsschätzeinrichtung 11 Daten (Rt), die einen Betrag der Relativbewegung des Fahrzeugs darstellen, und gibt die erzeugten Daten an den Projektionsabbildungsgenerator 12 aus.
Basierend auf Daten (z) einer Entfernung zwischen dem Fahrzeug und einem Objekt zum Zeitpunkt (T-1) für jedes Paar von Aufnahmebildkoordinaten, wobei die Entfernung durch die Fahrzeugaußeninformationserfassungseinheit 7400 erfasst wird, und basierend auf den Relativbewegungsbetragsdaten (Rt), die aus der Relativbewegungsschätzeinrichtung 11 empfangen werden, erzeugt der Projektionsabbildungsgenerator 12 Projektionsabbildungsdaten und gibt die erzeugten Daten an den Abschnitt zur Projektion der semantischen Segmentierung 13 und an den Abschnitt zur Festlegung einer unbeobachteten Region 14 aus.
Konkret transformiert der Projektionsabbildungsgenerator 12 in Bezug auf die Entfernungsdaten (z) für jedes Paar von Aufnahmebildkoordinaten einen Satz aller Entfernungsdaten (z) für die jeweiligen Paare von Aufnahmebildkoordinaten (Tiefenbilddaten) in dreidimensionale Punktwolkendaten und führt eine Koordinatentransformation an den Punktwolkendaten unter Verwendung der Relativbewegungsbetragsdaten (Rt) durch. Anschließend erzeugt der Projektionsabbildungsgenerator 12 Tiefenbilddaten, die durch Projektion der nach der Koordinatentransformation erhaltenen Punktwolkendaten auf eine Aufnahmebildebene erhalten werden. Basierend auf den Entfernungsdaten (z) und den Bildkoordinaten zum Zeitpunkt (T-1) in den Tiefenbilddaten erzeugt der Projektionsabbildungsgenerator 12 Projektionsabbildungsdaten, die eine Position einer Projektionsquelle angeben und dazu verwendet werden, auf ein aufgenommenes Bild zum Zeitpunkt (T) einen Wert zu projizieren, der ein Ergebnis einer Bilderkennung (semantische Segmentierung) angibt, die in Bezug auf jedes Pixel eines aufgenommenen Bildes zum Zeitpunkt (T-1) durchgeführt wurde.
Basierend auf den aus dem Projektionsabbildungsgenerator 12 empfangenen Projektionsabbildungsdaten und dem Ergebnis der semantischen Segmentierung zum Zeitpunkt (T-1) erzeugt der Abschnitt zur Projektion der semantischen Segmentierung 13 Projektionsdaten für semantische Segmentierung, die durch Projizieren des Ergebnisses der semantischen Segmentierung auf ein aufgenommenes Bild zum Zeitpunkt (T) erhalten werden, und gibt die erzeugten Daten an den Abschnitt zur Integration der semantischen Segmentierung 18 aus.
Basierend auf den aus dem Projektionsabbildungsgenerator 12 empfangenen Projektionsabbildungsdaten erfasst der Abschnitt zur Festlegung einer unbeobachteten Region 14 in dem aufgenommenen Bild zum Zeitpunkt (T) eine Region, auf die das Ergebnis der semantischen Segmentierung zum Zeitpunkt (T-1) nicht projiziert wird, d. h. eine unbeobachtete Region, in der eine Position einer Projektionsquelle in den Projektionsabbildungsdaten nicht angegeben ist, und gibt Daten, die die unbeobachtete Region angeben, an den Abbildungsgenerator für Aktualisierungspriorität 16 aus.
Bezüglich einer Vielzahl von Regionen, die in einem aufgenommenen Bild enthalten sind, bestimmt der Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15 eine Beziehung zwischen den Attributen, die durch die durchgeführte semantische Segmentierung erkannt wurden. Zum Beispiel bestimmt der Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15, dass sich ein Fußgänger oder ein Fahrrad auf einem Bürgersteig oder einer Fahrbahn befindet, wenn sich eine Region eines Bürgersteigs oder einer Fahrbahn und eine Region eines Fußgängers oder eines Fahrrads überlappen.
Basierend auf der unbeobachteten Region, die durch den Abschnitt zur Festlegung einer unbeobachteten Region 14 erfasst wurde, und der Beziehung zwischen den Attributen der Regionen, die durch den Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15 bestimmt wurde, erzeugt der Abbildungsgenerator für Aktualisierungspriorität 16 eine Aktualisierungsprioritätsabbildung, in der die Aktualisierungspriorität der semantischen Segmentierung (die Aktualisierungshäufigkeit) für jede Region eines aufgenommenen Bildes festgelegt wird.
Der Abbildungsgenerator für Aktualisierungspriorität 16 erteilt z. B. einer unbeobachteten Region eine hohe Aktualisierungspriorität, einer Region eines Fußgängers auf einem Bürgersteig eine niedrige Aktualisierungspriorität und einer Region eines Fußgängers auf einer Fahrbahn eine hohe Aktualisierungspriorität.
Basierend auf der erzeugten Aktualisierungsprioritätsabbildung führt der Abschnitt für semantische Segmentierung einer Region 17 eine semantische Segmentierung in Bezug auf jede Region des aufgenommenen Bildes zum Zeitpunkt (T) durch und gibt ein Ergebnis der semantischen Segmentierung an den Abschnitt zur Integration der semantischen Segmentierung 18 aus.
Der Abschnitt zur Integration der semantischen Segmentierung integriert die Projektionsdaten für semantische Segmentierung zum Zeitpunkt (T), die aus dem Abschnitt zur Projektion der semantischen Segmentierung (13) empfangen werden, und die Daten der semantischen Segmentierung der Region zum Zeitpunkt (T), die aus dem Abschnitt für semantische Segmentierung einer Region (17) empfangen werden, und gibt Daten eines Ergebnisses der semantischen Segmentierung in Bezug auf die Gesamtheit des aufgenommenen Bildes zum Zeitpunkt (T) aus.
Die Ergebnisdaten der semantischen Segmentierung können dazu verwendet werden, beispielsweise eine kooperative Steuerung, die eine Funktion eines ADAS realisieren soll, oder eine kooperative Steuerung, die beispielsweise das automatisierte Fahren erreichen soll, durchzuführen.
Diese Funktionsblöcke (ein Computerprogramm) könnten anstelle der integrierten Steuereinheit 7600 in der Fahrzeugaußeninformationserfassungseinheit 7400 implementiert sein. In diesem Fall wird die kooperative Steuerung für ein ADAS oder automatisiertes Fahren durch die integrierte Steuereinheit 7600 basierend auf den Ergebnisdaten der semantischen Segmentierung durchgeführt, die durch die Fahrzeugaußeninformationserfassungseinheit ausgegeben werden.
[Betrieb des Fahrzeugsteuerungssystems]
Als Nächstes wird ein Betrieb des Fahrzeugsteuerungssystems mit der oben beschriebenen Ausbildung beschrieben. Dieser Betrieb wird durch Hardware wie dem Mikrocomputer 7600, der fahrzeugmontierten Netzwerkschnittstelle 7680 und der speziellen Kommunikationsschnittstelle 7630 der integrierten Steuereinheit 7600 und Software (die jeweiligen in 3 dargestellten Funktionsblöcke), die zum Beispiel im Speicherabschnitt 1690 gespeichert ist, durchgeführt, die zusammenarbeiten.
4 ist ein Flussdiagramm, das den Ablauf der Bilderkennungsverarbeitung durch das Fahrzeugsteuerungssystem zeigt.
Wie in der Figur dargestellt, erfasst die Relativbewegungsschätzeinrichtung 11 zunächst Positionsinformationen bezüglich einer Position eines Fahrzeugs zu einem Zeitpunkt (T-1) und Positionsinformationen bezüglich der Position des Fahrzeugs zu einem Zeitpunkt (T) (Schritt 101) und schätzt eine Entfernung einer Relativbewegung des Fahrzeugs (des Bildaufnahmeabschnitts) vom Zeitpunkt (T-1) bis zum Zeitpunkt (T) (Schritt 102).
Anschließend erfasst der Projektionsabbildungsgenerator 12 Daten einer Entfernung zwischen dem Fahrzeug und einem Objekt in einem aufgenommenen Bild zum Zeitpunkt (T-1) (Schritt 103) und erzeugt Projektionsabbildungsdaten basierend auf den Entfernungsdaten und den Daten der Relativbewegungsentfernung (Schritt 104).
Anschließend berechnet der Abschnitt zur Festlegung einer unbeobachteten Region 14 basierend auf den Projektionsabbildungsdaten eine unbeobachtete Region, die in einem aufgenommenen Bild zum Zeitpunkt (T) enthalten ist und durch Vergleichen des aufgenommenen Bildes zum Zeitpunkt (T) mit dem aufgenommenen Bild zum Zeitpunkt (T-1) erhalten wird (Schritt 105), und erzeugt eine Aktualisierungsprioritätsabbildung, in der der unbeobachteten Region eine hohe Aktualisierungspriorität erteilt wird (Schritt 106).
Basierend auf den Projektionsabbildungsdaten projiziert der Abschnitt zur Projektion der semantischen Segmentierung 13 auf das aufgenommene Bild zum Zeitpunkt (T) ein Ergebnis der semantischen Segmentierung zum Zeitpunkt (T-1) (Schritt 107).
5 zeigt die Projektionsverarbeitung unter Verwendung der Projektionsabbildungsdaten. In (B1) und (B2) der Figur und in den folgenden Figuren zeigen Regionen, die durch unterschiedliche Graustufen dargestellt sind, jeweils ein Ergebnis einer Erkennung an, die durch die durchgeführte semantische Segmentierung durchgeführt wird. Mit anderen Worten, dies zeigt, dass das gleiche Attribut in Bezug auf die in der gleichen Farbe dargestellten Abschnitte erkannt wird.
Es wird angenommen, dass in Bezug auf alle Pixel eines Eingangsteilbildes (B0) zu einem Zeitpunkt T=0 aus den Positionsinformationen und den Informationen bezüglich der Entfernung bestimmt wurde, welchem der Pixel eines Eingangsteilbildes zu einem Zeitpunkt T=1 ein Pixel des Eingangsteilbildes (B0) entspricht, wenn sich ein Fahrzeug, das zum Zeitpunkt T=0 durch einen in (A1) der Figur angegebenen Punkt fährt, zum Zeitpunkt T=1 zu einem in (A2) der Figur angegebenen Punkt bewegt, wie in der Figur dargestellt.
In diesem Fall wird ein Ergebnis (B 1) der semantischen Segmentierung in Bezug auf das Eingangsteilbild zum Zeitpunkt T=1 auf eine gesamte Region des Eingangsteilbildes zum Zeitpunkt T=1 projiziert, wie in (B2) der Figur dargestellt. Infolgedessen wird die redundante Verarbeitung der semantischen Segmentierung, die in Bezug auf das Eingangsteilbild zum Zeitpunkt T=1 durchgeführt wird, reduziert, der Rechenaufwand verringert und die Erkennungsgenauigkeit (Stabilität) verbessert.
6 zeigt die Berechnungsverarbeitung für eine unbeobachtete Region. Wenn sich ein Fahrzeug, das zu einem Zeitpunkt T=0 durch einen in (A1) der Figur angegebenen Punkt fährt, zu einem Zeitpunkt T=1 zu einem in (A2) der Figur angegebenen Punkt bewegt, ist eine unbeobachtete Region R, auf die ein Ergebnis (B1) der semantischen Segmentierung in Bezug auf ein Eingangsteilbild (B0) zum Zeitpunkt T=0 nicht projiziert wird, zum Zeitpunkt T=1 in einem Eingangsteilbild aufgetreten, wie in (B2) der Figur dargestellt. Dies unterscheidet sich von dem oben beschriebenen Fall von 5.
Wie oben beschrieben, kann abhängig von der Zusammensetzung eines durch eine Kamera aufgenommenen Bildes das gesamte Ergebnis der semantischen Segmentierung auf ein nächstes Teilbild projiziert werden, oder in einem nächsten Teilbild tritt eine unbeobachtete Region, auf die ein Teil des Ergebnisses der semantischen Segmentierung nicht projiziert wird, auf.
Hier wird die Verarbeitung der Projektionsabbildungserzeugung und die Verarbeitung der Festlegung der unbeobachteten Region im Detail beschrieben.
7 zeigt die Verarbeitung der Erzeugung der Projektionsabbildung im Detail, und 8 ist ein Flussdiagramm, das einen Ablauf der Verarbeitung der Erzeugung der Projektionsabbildung zeigt.
Wie in 7 dargestellt, weist der Projektionsabbildungsgenerator 12 als Funktionsblöcke einen Punktwolkentransformationsabschnitt 121, einen Koordinatentransformationsabschnitt 122, einen Ebenenprojektionsabschnitt 123 und einen Abbildungsgenerator 124 auf.
Zuerst erfasst der Punktwolkentransformationsabschnitt 121 Tiefenbilddaten D (ein aufgenommenes Bild, das Entfernungsinformationen für jedes Pixel aufweist) aus der Fahrzeugaußeninformationserfassungseinheit 7400. Die Tiefenbilddaten speichern darin Entfernungsdaten (z) für jedes Paar von Bildkoordinaten (u, v).
Anschließend transformiert der Punktwolkentransformationsabschnitt 121 alle Pixel des Tiefenbildes D in dreidimensionale Punktwolkendaten P basierend auf Entfernungsinformationen für jedes Koordinatenpaar des Pixels ((A) von 7 und Schritt 201 von 8). Die Punktwolkendaten P speichern darin ein Transformationsquellenpaar von Bildkoordinaten (u, v) für jeden Satz von Punktwolkenkoordinaten (x, y, z).
Anschließend führt der Koordinatentransformationsabschnitt 122 in Bezug auf alle in den Punktwolkendaten P enthaltenen Punktwolken eine Koordinatentransformation an den einzelnen Punktwolkendaten P basierend auf Relativbewegungsbetragsdaten (Rt) durch, die aus der Relativbewegungsschätzeinrichtung 11 erfasst werden, wobei die Relativbewegungsbetragsdaten (Rt) Daten eines Betrags der Relativbewegung einer Kamera ((B) von 7 und Schritt 202 von 8) sind. Die durch die Koordinatentransformation erhaltenen Punktwolkendaten P' speichern darin ein Paar von Bildkoordinaten (u, v) eines Transformationsquellentiefenbildes für jeden Satz von Punktwolkenkoordinaten (x, y, z), die durch die Koordinatentransformation erhalten wurden.
Anschließend projiziert der Ebenenprojektionsabschnitt 123 in Bezug auf alle in den durch die Koordinatentransformation erhaltenen Punktwolkendaten P' enthaltenen Punktwolken die Punktwolkendaten P' auf eine Bildebene ((C) von 7 und Schritt 203 von 8). Die Prozesse der Schritte 202 und 203 werden wiederholt, um Tiefenbilddaten D' nach der Koordinatentransformation zu erzeugen. Für jedes Bildkoordinatenpaar (u, v) speichern die Tiefenbilddaten D' nach der Koordinatentransformation darin Entfernungsdaten (z) nach der Koordinatentransformation und ein Transformationsquellenpaar von Bildkoordinaten (u, v).
Als Nächstes ordnet der Abbildungsgenerator 124 in Bezug auf alle Pixel des Tiefenbildes D' nach der Koordinatentransformation ein Koordinatenpaar für ein Pixel in einem Teilbild (nach der Bewegung) neben einem Transformationsquellenteilbild einem Koordinatenpaar für ein Pixel im Transformationsquellenteilbild (vor der Bewegung) zu, um Projektionsabbildungsdaten M zu erzeugen ((D) von 7 und Schritt 204 von 8).
Die Projektionsabbildungsdaten M speichern darin ein Paar von Bildkoordinaten (u, v) eines Transformationsquellenteilbildes für jedes Paar von Bildkoordinaten (u, v) eines Teilbildes nach der Bewegung. Die Projektionsabbildungsdaten M geben eine Korrespondenzbeziehung an, die angibt, welches Koordinatenpaar in einem Teilbild vor der Bewegung einem Koordinatenpaar in einem Teilbild nach der Bewegung zugeordnet werden soll, wenn ein Ergebnis semantischer Segmentierung eines Koordinatenpaares in einem Teilbild vor der Bewegung auf ein Koordinatenpaar in einem Teilbild nach der Bewegung projiziert wird.
9 zeigt detailliert die Verarbeitung der Festlegung einer unbeobachteten Region, und 10 ist ein Flussdiagramm, das den Ablauf der Verarbeitung der Festlegung einer unbeobachteten Region zeigt.
Wie in 9 dargestellt, weist der Abschnitt zur Festlegung einer unbeobachteten Region 14 einen Abschnitt zum Extrahieren nicht zugeordneter Pixel 141 als Funktionsblock auf.
In Bezug auf alle Koordinatenpaare für betreffende Pixel in den Projektionsabbildungsdaten M führt der Abschnitt zum Extrahieren nicht zugeordneter Pixel 141 die Verarbeitung der Zuordnung des Koordinatenpaars zu einem Koordinatenpaar für ein Pixel in einem nächsten Teilbild (T) durch, um als unbeobachtete Region R ein nicht zugeordnetes Pixel zu extrahieren, das in dem nächsten Teilbild (T) enthalten ist und nicht einem Pixel in den Projektionsabbildungsdaten M (oder einer Region, die das nicht zugeordnete Pixel aufweist) zugeordnet ist (Schritt 301).
Folglich wird in Bezug auf ein Pixel, das in einem nächsten Teilbild (T-1) enthalten ist und aufgrund der Zuordnungsverarbeitung einem Pixel in den Projektionsabbildungsdaten M zugeordnet ist (oder einer Region, die das zugeordnete Pixel aufweist), ein Ergebnis semantischer Segmentierung in Bezug auf ein ursprüngliches Teilbild (T-1) durch den Abschnitt zur Projektion der semantischen Segmentierung 13 auf das zugeordnete Pixel (oder die Region, die das zugeordnete Pixel aufweist) projiziert.
Andererseits wird in Bezug auf eine unbeobachtete Region R, die im nächsten Teilbild (T-1) enthalten ist und aufgrund der Zuordnungsverarbeitung nicht einem Pixel in den Projektionsabbildungsdaten M zugeordnet ist, die Verarbeitung der Erzeugung einer Aktualisierungsprioritätsabbildung durchgeführt, und die semantische Segmentierung wird durch den Abschnitt für semantische Segmentierung einer Region 17 neu durchgeführt, um ein Attribut jedes Pixels der unbeobachteten Region R zu erkennen.
Zurück zu 4, bestimmt der Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15 eine Beziehung zwischen den Attributen einer Vielzahl von Regionen in dem aufgenommenen Bild basierend auf Projektionsdaten für semantische Segmentierung, die auf den Projektionsabbildungsdaten basieren (Schritt 108).
Anschließend erzeugt der Abbildungsgenerator für Aktualisierungspriorität 16 eine Aktualisierungsprioritätsabbildung basierend auf der bestimmten Beziehung zwischen den Attributen der Regionen (Schritt 109).
11 ist ein Diagramm zur Beschreibung der Verarbeitung der Bestimmung einer Region-Attribut-Beziehung und der Verarbeitung der Erzeugung einer Aktualisierungsprioritätsabbildung.
Wenn ein Ergebnis der semantischen Segmentierung zu einem Zeitpunkt (T-1), das in (A) der Figur dargestellt ist, als ein Ergebnis semantischer Segmentierung zu einem Zeitpunkt (T), das in (B) der Figur dargestellt ist, projiziert wird, bestimmt der Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15, dass sich eine Region eines Fußgängers und eine Region eines Bürgersteigs auf der linken Seite in einem aufgenommenen Bild überlappen, und bestimmt auch, dass sich eine Region eines Fußgängers und einer Fahrbahn auf der rechten Seite in dem aufgenommenen Bild überlappen.
In diesem Fall ist nicht zu erwarten, dass sich ein Fußgänger und ein Fahrrad auf einem Bürgersteig in einem sehr gefährlichen Zustand befinden. Somit erteilt der Abbildungsgenerator für Aktualisierungspriorität 16 den Regionen eines Fußgängers und eines Fahrrads auf einem Bürgersteig eine niedrige Aktualisierungspriorität, wie in (C) der Figur dargestellt.
Andererseits ist zu erwarten, dass sich ein Fußgänger und ein Fahrrad auf einer Fahrbahn in einem gefährlichen Zustand befinden. Somit erteilt der Abbildungsgenerator für Aktualisierungspriorität 16 den Regionen eines Fußgängers und eines Fahrrads auf einer Fahrbahn eine hohe Aktualisierungspriorität. Man beachte, dass in einer Aktualisierungsprioritätsabbildung, die in (C) der Figur und in den folgenden Figuren dargestellt ist, ein dunkleres Grau eine höhere Aktualisierungspriorität anzeigt.
Darüber hinaus könnte der Abbildungsgenerator für Aktualisierungspriorität einer Region einer Grenze zwischen einer Region eines Bürgersteigs oder einer Fahrbahn und einer anderen Region eine hohe Aktualisierungspriorität erteilen, da die Grenzregion ein Ort außerhalb der Sichtweite sein könnte und ein anderes Objekt plötzlich aus der Grenzregion herauslaufen könnte.
Ferner ist der Abbildungsgenerator für Aktualisierungspriorität 16 nicht darauf beschränkt, eine Aktualisierungsprioritätsabbildung basierend auf einer Beziehung zwischen Attributen von zwei Regionen zu erzeugen, sondern könnte eine Aktualisierungsprioritätsabbildung basierend auf einer Beziehung zwischen Attributen von drei oder mehr Regionen erzeugen.
Beispielsweise könnte der Abbildungsgenerator für Aktualisierungspriorität 16 den Regionen eines Fußgängers und eines Fahrrads, die sich um eine Region eines Autos auf einer Fahrbahn befinden, eine hohe Aktualisierungspriorität erteilen. Der Grund dafür besteht darin, dass die Möglichkeit besteht, dass das Auto seine Bewegung ändert, um dem Fußgänger und dem Fahrrad auszuweichen.
Ferner könnte der Abbildungsgenerator für Aktualisierungspriorität 16 einer Region, in der sich Fußgänger und Fahrräder auf einer Fahrbahn nahe beieinander befinden, eine hohe Aktualisierungspriorität erteilen. Der Grund dafür ist, dass die Möglichkeit besteht, dass der Fußgänger und das Fahrrad ihre Bewegungen ändern, um einem anderen Fußgänger und einem anderen Fahrrad auszuweichen.
Zurück zu 4, integriert der Abbildungsgenerator für Aktualisierungspriorität 16 die Aktualisierungsprioritätsabbildung, die basierend auf einer unbeobachteten Region im oben beschriebenen Schritt 106 erzeugt wurde, und die Aktualisierungsprioritätsabbildung, die basierend auf einer Beziehung zwischen Attributen von Regionen im oben beschriebenen Schritt 109 erzeugt wurde (Schritt 110).
12 zeigt, wie die Aktualisierungsprioritätsabbildungen integriert werden. Es wird angenommen, dass aus einem in (A) der Figur dargestellten Ergebnis einer semantischen Segmentierung eine in (B) der Figur dargestellte Aktualisierungsprioritätsabbildung basierend auf einer unbeobachteten Region erhalten wird, und eine in (C) der Figur dargestellte Aktualisierungsprioritätsabbildung basierend auf einer Beziehung zwischen Attributen von Regionen erhalten wird.
Der Abbildungsgenerator für Aktualisierungspriorität 16 integriert die zwei Aktualisierungsprioritätsabbildungen, um eine Integrationsaktualisierungsprioritätsabbildung zu erzeugen, wie in (D) der Figur dargestellt. Als Ergebnis der Integration wird einer Region, in dem sich die in den zwei Aktualisierungsprioritätsabbildungen jeweils festgelegten Regionen überlappen, eine hohe Priorität zugeordnet, da die Prioritätsgrade in den jeweiligen Aktualisierungsprioritätsabbildungen kombiniert werden.
Hier könnte der Abbildungsgenerator für Aktualisierungspriorität 16 in der Aktualisierungsprioritätsabbildung, die auf einer unbeobachteten Region basiert, vor der Integration eine Region festlegen, die etwas größer als eine erfasste unbeobachtete Region ist, um die Erkennungsgenauigkeit zu verbessern.
Ferner könnte der Abbildungsgenerator für Aktualisierungspriorität 16 in der Aktualisierungsprioritätsabbildung, die auf einer Beziehung zwischen den Attributen von Regionen basiert, vor der Integration eine Region festlegen, die größer als eine Region ist, in der z. B. ein Fußgänger erfasst wird, um die Bewegung des Fußgängers zu berücksichtigen.
Zurück zu 4, führt der Abschnitt für semantische Segmentierung einer Region 17 anschließend die semantische Segmentierung in Bezug auf jede Region gemäß der Aktualisierungspriorität (der Häufigkeit der Aktualisierung) basierend auf der durch die Integration erhaltenen Aktualisierungsprioritätsabbildung durch (Schritt 111).
13 zeigt ein Beispiel für die Verarbeitung der semantischen Segmentierung, die basierend auf der durch die Integration erhaltenen Aktualisierungsprioritätsabbildung durchgeführt wird.
Wenn beispielsweise eine Aktualisierungsprioritätsabbildung, wie in (A) der Figur dargestellt, erhalten wird, legt der Abschnitt für semantische Segmentierung einer Region 17 ein Rechteck um eine Region mit hoher Priorität, wie in (B) der Figur dargestellt, und führt eine semantische Segmentierung in Bezug auf eine Region des Umrahmungsrechtecks durch.
Wie in (C) der Figur dargestellt, führt der Abschnitt für semantische Segmentierung einer Region 17 eine semantische Segmentierung in Bezug auf alle Regionen der festgelegten Umrahmungsrechtecke durch, wenn der Abschnitt für semantische Segmentierung einer Region 17 unter Berücksichtigung der Rechenressourcen bestimmt hat, dass auch bei einer Verarbeitung in Bezug auf alle Umrandungsrechtecke keine Verzögerung auftreten wird.
Andererseits könnte, wie in (D) und (E) der Figur dargestellt, eine Region mit niedriger Aktualisierungspriorität von den Zielen semantischer Segmentierung ausgeschlossen sein, wenn unter Berücksichtigung der Rechenressourcen bestimmt wurde, dass bei einer Verarbeitung in Bezug auf alle Umrahmungsrechtecke eine Verzögerung auftreten würde.
Zurück zu 4, integriert am Ende der Abschnitt zur Integration der semantischen Segmentierung 18 ein Ergebnis der semantischen Segmentierung zum Zeitpunkt T, das durch die Projektion (Schritt 107) erhalten wird, und ein Ergebnis der semantischen Segmentierung, die in Bezug auf die Regionen durchgeführt wird (Schritt 111), und gibt die Daten der integrierten semantischen Segmentierung aus. Anschließend wird die Reihe der semantischen Segmentierungen beendet (Schritt 112).
Wie oben beschrieben, führt die integrierte Steuereinheit 7600 des Fahrzeugsteuerungssystems 7000 gemäß der vorliegenden Ausführungsform die Erkennungsverarbeitung nicht gleichmäßig in Bezug auf jedes erfasste Bild (Teilbild) durch, sondern legt die Häufigkeit der Durchführung der semantischen Segmentierung basierend auf einem Attribut einer Region im Bild fest. Auf diese Weise lässt sich redundante Verarbeitung vermeiden und der Rechenaufwand reduzieren.
[Änderungen]
Die vorliegende Technologie ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und es könnten verschiedene Änderungen daran vorgenommen werden, ohne vom Anwendungsbereich der vorliegenden Technologie abzuweichen.
In den oben beschriebenen Ausführungsformen legen der Abschnitt zur Bestimmung der Region-Attribut-Beziehung 15 und der Abbildungsgenerator für Aktualisierungspriorität 16 die Aktualisierungspriorität basierend auf einer Beziehung zwischen den Attributen der Regionen fest, aber die Aktualisierungspriorität könnte auch basierend auf einem Attribut jeder Region selbst festgelegt werden. Zum Beispiel könnte einer Region eines Signals oder eines Schildes eine niedrige Aktualisierungspriorität erteilt werden. Unter Berücksichtigung der Bewegungsgeschwindigkeit könnte einer Region eines Fahrrads eine höhere Aktualisierungspriorität als einer Region eines Fußgängers erteilt werden, und einer Region eines Autos könnte eine höhere Aktualisierungspriorität als der Region eines Fahrrads erteilt werden.
Ferner integriert der Abbildungsgenerator für Aktualisierungspriorität 16 eine Aktualisierungsprioritätsabbildung, die auf einer unbeobachteten Region basiert, und eine Aktualisierungsprioritätsabbildung, die auf einer Beziehung zwischen Attributen von Regionen basiert, um eine Aktualisierungsprioritätsabbildung zu erzeugen, die zur Durchführung der semantischen Segmentierung verwendet wird. Zusätzlich zu den zwei Aktualisierungsprioritätsabbildungen oder anstelle einer der zwei Aktualisierungsprioritätsabbildungen könnte der Abbildungsgenerator für Aktualisierungspriorität 16 eine Aktualisierungsprioritätsabbildung integrieren, die unter Verwendung eines anderen Parameters erzeugt wurde. 14 bis 16 sind Diagramme zur Beschreibung einer solchen Aktualisierungsprioritätsabbildung.
Der Abbildungsgenerator für Aktualisierungspriorität 16 könnte die Aktualisierungspriorität gemäß der Position einer Region in einem aufgenommenen Bild festlegen.
Zum Beispiel könnte der Abbildungsgenerator für Aktualisierungspriorität 16, wie in 14 dargestellt, in Bezug auf ein in (A) der Figur dargestelltes Eingangsteilbild einer näher an einem mittigen Abschnitt in einem Bild befindlichen Region, die einer Fahrtrichtung eines Fahrzeugs entspricht, eine höhere Aktualisierungspriorität erteilen und einer näher an einem Endabschnitt in dem Bild befindlichen Region, die nicht der Fahrtrichtung des Fahrzeugs entspricht, eine niedrigere Aktualisierungspriorität erteilen und eine in (B) der Figur dargestellte Aktualisierungsprioritätsabbildung erzeugen.
Ferner könnte der Abbildungsgenerator für Aktualisierungspriorität 16 beispielsweise einem oberen Teil eines Bildes eine höhere Aktualisierungspriorität als einem unteren Teil des Bildes erteilen.
Ferner könnte der Abbildungsgenerator für Aktualisierungspriorität 16 die Aktualisierungspriorität gemäß der Bewegungsgeschwindigkeit (Fahrgeschwindigkeit) eines Fahrzeugs und gemäß der Position einer Region in einem aufgenommenen Bild festlegen.
Es wird zum Beispiel der in 15 dargestellte Fall erörtert, in dem ein in (A) der Figur dargestelltes Eingangsteilbild erfasst wird. Wenn sich ein Fahrzeug mit hoher Geschwindigkeit (mit einer Schwellengeschwindigkeit von beispielsweise 80 km/h oder mehr) bewegt, erteilt der Abbildungsgenerator für Aktualisierungspriorität 16 einer Region eines mittigen Bereichs eines Bildes eine hohe Aktualisierungspriorität und einem Endabschnitt des Bildes eine niedrige Aktualisierungspriorität, wie in (B) der Figur dargestellt. Der Grund dafür besteht darin, dass es in diesem Fall für einen Fahrer im Allgemeinen wichtiger ist, nach vorne zu schauen, als sich in einer Region in der Umgebung umzusehen.
Andererseits, wenn sich das Fahrzeug mit einer niedrigen Geschwindigkeit (mit einer Schwellengeschwindigkeit von beispielsweise 30 km/h oder weniger) bewegt, erteilt der Abbildungsgenerator für Aktualisierungspriorität 16 der Region des mittigen Abschnitts des Bildes eine niedrige Aktualisierungspriorität und erteilt einer Region des Endabschnitts des Bildes eine niedrige Aktualisierungspriorität, wie in (C) der Figur dargestellt. Der Grund dafür besteht darin, dass es in diesem Fall für den Fahrer in der Regel wichtiger ist, sich in der Region in der Umgebung umzusehen, als nach vorne zu schauen.
Ferner könnte der Abbildungsgenerator für Aktualisierungspriorität 16 die Aktualisierungspriorität gemäß der Entfernung (z) zwischen einem Objekt und einem Fahrzeug in einem aufgenommenen Bild festlegen.
Wenn beispielsweise, wie in 16 dargestellt, die in (B) der Figur dargestellten Tiefenbilddaten in Bezug auf ein in (A) der Figur dargestelltes Eingangsteilbild erhalten werden, könnte der Abbildungsgenerator für Aktualisierungspriorität 16 einer Region eines Pixels, das Informationen bezüglich einer geringeren Entfernung aufweist (eine Region eines näher am Fahrzeug befindlichen Objekts), eine höhere Aktualisierungspriorität erteilen und einer Region eines weiter vom Fahrzeug entfernten Objekts eine niedrigere Aktualisierungspriorität erteilen, wie in (C) der Figur dargestellt.
Wenn mindestens eine der Aktualisierungsprioritätsabbildungen von 14 bis 16 mit der Aktualisierungsprioritätsabbildung, die auf einer unbeobachteten Region basiert, oder der Aktualisierungsprioritätsabbildung, die auf einer Beziehung zwischen Attributen von Regionen basiert, integriert wird, wird einer Region, in der sich Regionen der integrierten Aktualisierungsprioritätsabbildungen überlappen (wie sich z. B. eine Region, in der sich eine unbeobachtete Region und eine Region in Bildmitte überlappen, und sich eine Region, in der sich eine unbeobachtete Region und eine Region, die Informationen bezüglich einer kleinen Entfernung aufweist, überlappen), eine hohe Aktualisierungspriorität erteilt.
In den oben beschriebenen Ausführungsformen führt der Abschnitt für semantische Segmentierung einer Region 17 keine semantische Segmentierung in Bezug auf das gesamte aufgenommene Bild durch, sondern nur in Bezug auf eine Region, die durch den Abbildungsgenerator für Aktualisierungspriorität 16 festgelegt wurde. Der Abschnitt für semantische Segmentierung einer Region 17 könnte jedoch periodisch eine semantische Segmentierung in Bezug auf alle Regionen eines aufgenommenen Bildes durchführen. Dies führt zu einer periodischen Ergänzung, die einen Fehler abdeckt, der durch teilweise Erkennungsverarbeitung für jede Region verursacht wird.
17 zeigt ein Beispiel für die Durchführung der semantischen Segmentierung in Bezug auf alle Regionen (im Folgenden als „Alle-Regionen-Verarbeitung“ bezeichnet) in diesem Fall. (A) der Figur zeigt ein Beispiel für die Verarbeitung von Zeitreihen, die durchgeführt wird, wenn die periodische Alle-Regionen-Verarbeitung in den oben beschriebenen Ausführungsformen nicht durchgeführt wird. Wenn hingegen die Alle-Regionen-Verarbeitung periodisch durchgeführt wird, kommt es zwar zu langen Verzögerungen, aber es wird ein genaues Erkennungsergebnis erzielt, nachdem die Alle-Regionen-Verarbeitung durchgeführt wurde, wie in (B) der Figur dargestellt.
Ferner könnte der Abschnitt für semantische Segmentierung einer Region 17 periodisch die Alle-Regionen-Verarbeitung durchführen und eine Verzögerung zulassen, wenn die semantische Segmentierung in Bezug auf begrenzte Regionen durchgeführt wird, die gemäß der Aktualisierungspriorität ausgewählt wurden, wie in (C) der Figur dargestellt. Dies führt zwar zu Verzögerungen, aber die Verarbeitung kann in Bezug auf alle Regionen durchgeführt werden, die für die Erkennung notwendig sind, wenn die semantische Segmentierung in Bezug auf begrenzte Regionen durchgeführt wird, ohne dass eine Verarbeitung aufgrund von Rechenressourcen ausgelassen wird.
Hier sind verschiedene Arten von Auslösern zur Durchführung der Alle-Regionen-Verarbeitung denkbar.
Der Abschnitt für semantische Segmentierung einer Region 17 könnte die Alle-Regionen-Verarbeitung durchführen, wenn der Anteil der Fläche einer unbeobachteten Region oder unbeobachteter Regionen (eine Region oder Regionen, auf die keine Projektion unter Verwendung einer Projektionsabbildung durchgeführt wird) gleich oder größer als ein vorgegebener Anteil ist. Wenn die Fläche einer unbeobachteten Region oder unbeobachteter Regionen groß ist, besteht eine kleine Differenz im Rechenaufwand zwischen der Alle-Regionen-Verarbeitung und der semantischen Segmentierung, die in Bezug auf begrenzte Regionen durchgeführt wird. Wenn also der Abschnitt für semantische Segmentierung einer Region 17 die Alle-Regionen-Verarbeitung durchführt, ermöglicht dies eine Verbesserung der Erkennungsgenauigkeit bei gleichzeitiger Unterdrückung eines Anstiegs des Rechenaufwands.
Der Abschnitt für semantische Segmentierung einer Region 17 könnte die Alle-Regionen-Verarbeitung durchführen, wenn ein Lenkwinkel für ein Fahrzeug, der durch den Fahrzeugzustandserfassungsabschnitt 7110 erfasst wird, gleich oder größer als ein vorgegebener Winkel ist. Es ist denkbar, dass es bei Erkennung eines großen Lenkwinkels zu einer großen Veränderung der Bildaufnahme-Ziel-Szenerie und zu einer Zunahme der unbeobachteten Region kommt. Wenn der Abschnitt für semantische Segmentierung einer Region (17) in einem solchen Fall die Alle-Regionen-Verarbeitung durchführt, ist es dadurch möglich, einen Rechenaufwand zu eliminieren, der speziell zur Erkennung einer unbeobachteten Region notwendig wäre, und die Erkennungsgenauigkeit zu verbessern.
Der Abschnitt für semantische Segmentierung einer Region 17 könnte die Alle-Regionen-Verarbeitung durchführen, wenn ein Fahrzeug durch einen vorgegebenen Punkt fährt. GPS-Informationen und Abbildungsinformationen, die durch den Positionierungsabschnitt 7640 erfasst werden, werden als Positionsinformationen verwendet.
Zum Beispiel könnte der Abschnitt für semantische Segmentierung einer Region 17 die Alle-Regionen-Verarbeitung durchführen, wenn der Abschnitt für semantische Segmentierung einer Region 17 erfasst, dass ein Fahrzeug einen Hügel hinauf- oder hinunterfährt, dessen Neigung einen Wert aufweist, der gleich oder größer als ein vorgegebener Wert ist. Es ist denkbar, dass es bei einer steilen Steigung oder einem steilen Gefälle zu einer großen Veränderung der Bildaufnahmezielszenerie und zu einer Vergrößerung der unbeobachteten Region kommt. Wenn der Abschnitt für semantische Segmentierung einer Region (17) in einem solchen Fall die Alle-Regionen-Verarbeitung durchführt, ist es dadurch möglich, einen Rechenaufwand zu eliminieren, der speziell zur Erkennung einer unbeobachteten Region notwendig wäre, und die Erkennungsgenauigkeit zu verbessern.
Ferner könnte der Abschnitt für semantische Segmentierung einer Region 17 die Alle-Regionen-Verarbeitung durchführen, wenn ein Fahrzeug in einen Tunnel einfährt oder aus einem Tunnel herausfährt, da sich auch in diesem Fall die Bildaufnahmezielszenerie stark verändert.
Ferner könnte der Abschnitt für semantische Segmentierung einer Region 17 die Alle-Regionen-Verarbeitung durchführen, wenn der Anteil der Fläche einer Region oder von Regionen in einem aufgenommenen Bild, in dem ein Ergebnis einer durch semantische Segmentierung durchgeführten Attributerkennung weniger zuverlässig ist, oder der Anteil der Fläche einer Region oder von Regionen in dem aufgenommenen Bild, von denen ein Attribut durch die durchgeführte semantische Segmentierung nicht erkannt wird, gleich oder größer als ein vorgegebener Anteil (z.B. 50%) ist.
In den oben beschriebenen Ausführungsformen legt der Abschnitt für semantische Segmentierung einer Region 17 ein Rechteck fest, das eine Region mit hoher Priorität umrahmt, wie in 13 dargestellt, und führt eine semantische Segmentierung in Bezug auf eine Region des Umrahmungsrechtecks durch. Ein Verfahren zum Festlegen einer Zielregion für semantische Segmentierung ist jedoch nicht darauf beschränkt. Zum Beispiel könnte der Abschnitt für semantische Segmentierung einer Region 17 nur eine Region eines Pixels als Ziel für semantische Segmentierung festlegen, von der angenommen wird, dass sie für die Durchführung der Berechnung bei der semantischen Segmentierung notwendig ist, anstatt einer Region, die entlang des Umrahmungsrechtecks ausgeschnitten wurde.
Mit anderen Worten, wenn eine Faltungsoperation auf einem Eingangsbild mehrfach durchgeführt wird, um ein endgültiges Ergebnis einer semantischen Segmentierung zu erhalten (Verarbeitung erfolgt durch Folgen von Pfeilen in einem oberen Abschnitt), ist es ausreichend, wenn eine Operation nur auf einer notwendigen Region durch Folgen der Umkehrung der Faltungsoperation durchgeführt wird (Verarbeitung erfolgt durch Folgen von Pfeilen in einem unteren Abschnitt), um eine Region zu berechnen, die für das endgültige Ergebnis notwendig ist, wie in (A) von 18 dargestellt.
Wenn also eine in (B) der Figur dargestellte Aktualisierungsprioritätsabbildung erhalten wird, könnte der Abschnitt für semantische Segmentierung einer Region 17 eine Rückberechnung durchführen, um eine Region zu erhalten, die notwendig ist, um als Endergebnis eine Region mit hoher Priorität zu erhalten, die durch die Aktualisierungsprioritätsabbildung angegeben wird, könnte eine Zielregion für semantische Segmentierung festlegen, wie in (C) der Figur dargestellt, und könnte eine semantische Segmentierung in Bezug auf die festgelegte Region durchführen.
In diesem Fall könnte der Abschnitt für semantische Segmentierung einer Region 17 auch eine Region mit niedriger Priorität von den Zielen für semantische Segmentierung ausschließen, wenn unter Berücksichtigung der Rechenressourcen bestimmt wurde, dass eine Verzögerung auftreten wird.
Das Beispiel, in dem ein Fahrzeug (ein Auto) eine mobiler Körper ist, auf der die integrierte Steuereinheit 7600, die als Informationsverarbeitungsvorrichtung dient, montiert ist, wurde in den oben beschriebenen Ausführungsformen beschrieben. Der mobile Körper, auf dem eine Informationsverarbeitungsvorrichtung montiert ist, die in der Lage ist, eine ähnliche Informationsverarbeitung wie die durch die integrierte Steuereinheit 7600 durchgeführte Informationsverarbeitung durchzuführen, ist jedoch nicht auf ein Fahrzeug beschränkt. Die Informationsverarbeitungsvorrichtung könnte zum Beispiel als eine Vorrichtung bereitgestellt werden, die auf einer beliebigen Art von mobilem Körper montiert ist, wie z. B. einem Motorrad, einem Fahrrad, einer persönlichen Mobilität, einem Flugzeug, einer Drohne, einem Schiff, einem Roboter, einer Baumaschine oder einer landwirtschaftlichen Maschine (einem Traktor). In diesem Fall wird die Beziehung zwischen den oben beschriebenen Attributen (z. B. Fußgänger, Fahrzeug, Fahrbahn und Bürgersteig) je nach mobilem Körper unterschiedlich erkannt.
Ferner ist ein Ziel, auf dem die oben beschriebene Informationsverarbeitungsvorrichtung montiert ist, nicht auf einen mobilen Körper beschränkt. Die vorliegende Technologie ist zum Beispiel auch in Bezug auf ein durch eine Überwachungskamera aufgenommenes Bild anwendbar. In diesem Fall wird die mit der Bewegung eines Fahrzeugs verknüpfte Verarbeitung, die in den oben beschriebenen Ausführungsformen beschrieben wurde, nicht durchgeführt, aber ein Bildaufnahmeziel könnte durch Schwenken, Neigen und Zoomen einer Überwachungskamera geändert werden. Daher ist die vorliegende Technologie auch anwendbar, wenn eine Aktualisierungsprioritätsabbildung basierend auf einer unbeobachteten Region zusätzlich zu einer Aktualisierungsprioritätsabbildung basierend auf den Attributen der zu erzeugenden Regionen erzeugt wird.
[Sonstiges]
Die vorliegende Technologie könnte auch die folgenden Ausbildungen annehmen.

(1) Informationsverarbeitungsvorrichtung, aufweisend:
- eine Eingabeeinrichtung, in die ein durch eine Kamera aufgenommenes Bild eingegeben wird, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist;
- und eine Steuereinrichtung, die
- ein transformiertes aufgenommenes Bild erzeugt, das durch Transformieren von Koordinatenpaaren für jeweilige Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder einem mobilen Körper, an dem die Kamera angebracht ist, erhalten wird,
- ein Koordinatenpaar für ein Pixel des transformierten aufgenommenen Bildes einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes zuordnet, das an einer Position der Kamera nach der Bewegung aufgenommen wurde, und
- ein nicht zugeordnetes Pixel identifiziert, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
(2) Informationsverarbeitungsvorrichtung gemäß (1), bei der die Steuereinrichtung eine Erkennungsverarbeitung zur Erkennung eines Attributs des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild durchführt und ein Ergebnis der Erkennungsverarbeitung auf ein zugeordnetes Pixel in dem nach der Bewegung aufgenommenen Bild oder auf eine das zugeordnete Pixel enthaltende Region projiziert, wobei die Erkennungsverarbeitung in Bezug auf ein Pixel durchgeführt wird, das in dem aufgenommenen Bild enthalten ist und dem zugeordneten Pixel oder der das zugeordnete Pixel enthaltenden Region entspricht.
(3) Informationsverarbeitungsvorrichtung gemäß (2), bei der die Steuereinrichtung eine Abbildung erzeugt, die durch Zuordnen des Koordinatenpaares für das Pixel des nach der Bewegung aufgenommenen Bildes zu dem Koordinatenpaar für das Pixel des aufgenommenen Bildes erhalten wird, um die Projektion durchzuführen.
(4) Informationsverarbeitungsvorrichtung gemäß einem von (1) bis (3), bei der die Steuereinrichtung das aufgenommene Bild in dreidimensionale Punktwolkendaten basierend auf den Entfernungsinformationen für jedes Pixel transformiert, Bewegungspunktwolkendaten, die durch Ausführen einer Transformation in Bezug auf die dreidimensionalen Punktwolkendaten basierend auf dem Betrag der Bewegung erhalten werden, erzeugt und die Bewegungspunktwolkendaten auf eine Bildebene projiziert, um das transformierte aufgenommene Bild zu erzeugen.
(5) Informationsverarbeitungsvorrichtung gemäß einem von (2) bis (4), bei der die Steuereinrichtung eine Priorität für die Durchführung der Erkennungsverarbeitung gemäß einer Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild festlegt.
(6) Informationsverarbeitungsvorrichtung gemäß (5), bei der die Steuereinrichtung die Priorität der Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß der Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild und gemäß einer Bewegungsgeschwindigkeit des mobilen Körpers festlegt.
(7) Informationsverarbeitungsvorrichtung gemäß einem von (2) bis (6), bei der die Steuereinrichtung eine Priorität für die Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß den Entfernungsinformationen des nicht zugeordneten Pixels festlegt.
(8) Informationsverarbeitungsverfahren, aufweisend:
- Erfassen eines aufgenommenen Bildes, das durch eine Kamera aufgenommen wurde, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist;
- Erzeugen eines transformierten aufgenommenen Bildes, das durch Transformieren von Koordinatenpaaren für jeweilige Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird;
- Zuordnen eines Koordinatenpaares für ein Pixel des transformierten aufgenommenen Bildes zu einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und Identifizieren eines nicht zugeordneten Pixels, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
(9) Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, einen Vorgang durchzuführen, aufweisend:
- Erfassen eines aufgenommenen Bildes, das durch eine Kamera aufgenommen wurde, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist;
- Erzeugen eines transformierten aufgenommenen Bildes, das durch Transformieren von Koordinatenpaaren für jeweilige Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird;
- Zuordnen eines Koordinatenpaares für ein Pixel des transformierten aufgenommenen Bildes zu einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und

Identifizieren eines nicht zugeordneten Pixels, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
Bezugszeichenliste

11: Relativbewegungsschätzeinrichtung
12: Projektionsabbildungsgenerator
13: Abschnitt zur Projektion der semantischen Segmentierung
14: Abschnitt zur Festlegung einer unbeobachteten Region
15: Abschnitt zur Bestimmung der Region-Attribut-Beziehung
16: Abbildungsgenerator für Aktualisierungspriorität
17: Abschnitt für semantische Segmentierung einer Region
18: Abschnitt zur Integration der semantischen Segmentierung
121: Punktwolkentransformationsabschnitt
122: Koordinatentransformationsabschnitt
123: Ebenenprojektionsabschnitt
124: Abbildungsgenerator
141: Abschnitt zum Extrahieren nicht zugeordneter Pixel
7000: Fahrzeugsteuerungssystem
7400: Fahrzeugaußeninformationserfassungseinheit
7600: Integrierte Steuereinheit
7610: Mikrocomputer
7680: Fahrzeugmontierte Netzwerkschnittstelle
7690: Speicherabschnitt
R: unbeobachtete Region

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201897777 [0004]
JP 2015138319 [0004]

Claims

Informationsverarbeitungsvorrichtung, aufweisend: eine Eingabeeinrichtung, in die ein durch eine Kamera aufgenommenes Bild eingegeben wird, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist; und eine Steuereinrichtung, die ein transformiertes aufgenommenes Bild erzeugt, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird, ein Koordinatenpaar für ein Pixel des transformierten aufgenommenen Bildes einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes zuordnet, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und ein nicht zugeordnetes Pixel identifiziert, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Steuereinrichtung eine Erkennungsverarbeitung des Erkennens eines Attributs des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild durchführt, und ein Ergebnis der Erkennungsverarbeitung auf ein zugeordnetes Pixel in dem nach der Bewegung aufgenommenen Bild oder auf eine das zugeordnete Pixel enthaltende Region projiziert, wobei die Erkennungsverarbeitung in Bezug auf ein Pixel durchgeführt wird, das in dem aufgenommenen Bild enthalten ist und dem zugeordneten Pixel oder der das zugeordnete Pixel enthaltenden Region entspricht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinrichtung eine Abbildung erzeugt, die durch Zuordnen des Koordinatenpaares für das Pixel des nach der Bewegung aufgenommenen Bildes zu dem Koordinatenpaar für das Pixel des aufgenommenen Bildes erhalten wird, um die Projektion durchzuführen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Steuereinrichtung das aufgenommene Bild basierend auf den Entfernungsinformationen für jedes Pixel in dreidimensionale Punktwolkendaten transformiert, Bewegungspunktwolkendaten, die durch Ausführen einer Transformation in Bezug auf die dreidimensionalen Punktwolkendaten basierend auf dem Betrag der Bewegung erhalten werden, erzeugt und die Bewegungspunktwolkendaten auf eine Bildebene projiziert, um das transformierte aufgenommene Bild zu erzeugen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinrichtung eine Priorität für die Durchführung der Erkennungsverarbeitung gemäß einer Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild festlegt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Steuereinrichtung die Priorität der Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß der Position des nicht zugeordneten Pixels in dem nach der Bewegung aufgenommenen Bild und gemäß einer Bewegungsgeschwindigkeit des mobilen Körpers festlegt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinrichtung eine Priorität für die Durchführung der Erkennungsverarbeitung für jedes nicht zugeordnete Pixel gemäß den Entfernungsinformationen des nicht zugeordneten Pixels festlegt.
Informationsverarbeitungsverfahren, aufweisend: Erfassen eines durch eine Kamera aufgenommenen Bildes, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist; Erzeugen eines transformierten aufgenommenen Bildes, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird; Zuordnen eines Koordinatenpaares für ein Pixel des transformierten aufgenommenen Bildes zu einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und Identifizieren eines nicht zugeordneten Pixels, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.
Programm, das eine Informationsverarbeitungsvorrichtung dazu veranlasst, einen Prozess durchzuführen, der Folgendes aufweist: Erfassen eines durch eine Kamera aufgenommenen Bildes, wobei das aufgenommene Bild Entfernungsinformationen für jedes Pixel aufweist; Erzeugen eines transformierten aufgenommenen Bildes, das durch Transformieren von Koordinatenpaaren für betreffende Pixel des aufgenommenen Bildes basierend auf einem Bewegungsbetrag der Kamera oder eines mobilen Körpers, an dem die Kamera angebracht ist, erhalten wird; Zuordnen eines Koordinatenpaares für ein Pixel des transformierten aufgenommenen Bildes zu einem Koordinatenpaar für ein Pixel eines nach der Bewegung aufgenommenen Bildes, das an einer Position der Kamera nach der Bewegung aufgenommen wurde; und Identifizieren eines nicht zugeordneten Pixels, das in dem nach der Bewegung aufgenommenen Bild enthalten ist und nicht dem Pixel des transformierten aufgenommenen Bildes zugeordnet ist.