DE112019001657T5

DE112019001657T5 - Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper

Info

Publication number: DE112019001657T5
Application number: DE112019001657.1T
Authority: DE
Inventors: Takuto MOTOYAMA
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-03-29
Filing date: 2019-03-15
Publication date: 2021-01-14
Also published as: US20210019536A1; JPWO2019188389A1; WO2019188389A1; US11860640B2; JP7351293B2; KR20200136905A; CN111886626A

Abstract

Die vorliegende Offenbarung bezieht sich auf eine Signalverarbeitungsvorrichtung und ein Signalverarbeitungsverfahren, ein Programm und einen mobilen Körper, die hochgenaue Erkennung eines Bewegungsbereichs des mobilen Körpers ermöglichen.Auf der Basis von semantischen Kennzeichnungsinformationen in einem von einer Kamera aufgenommenen Bild wird ein Bereich, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert, als eine Bildbewegungsbereichsgrenze geschätzt; auf der Basis eines von einem Tiefensensor erfassten Distanzbilds wird ein Bereich, in dem die Grenze des Bewegungsbereichs des mobilen Körpers in dem Distanzbild existiert, als eine Distanzbild-Bewegungsbereichsgrenze geschätzt; die Grenze des Bewegungsbereichs wird auf der Basis der Bildbewegungsbereichsgrenze und der Distanzbild-Bewegungsbereichsgrenze bestimmt, und eine Umgebungskarte wird auf der Basis der bestimmten Grenze des Bewegungsbereichs erzeugt. Die vorliegende Offenbarung kann auf ein fahrzeuginternes System angewandt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Signalverarbeitungsvorrichtung und ein Signalverarbeitungsverfahren, ein Programm und einen mobilen Körper, und insbesondere eine Signalverarbeitungsvorrichtung und ein Signalverarbeitungsverfahren, ein Programm und einen mobilen Körper, die in der Lage sind, einen Bewegungsbereich des mobilen Körpers mit hoher Genauigkeit zu erkennen.
STAND DER TECHNIK
Verschiedene Techniken, die einen mobilen Körper, wie z. B. ein Fahrzeug oder einen Roboter, veranlassen, sich autonom zu bewegen, sind vorgeschlagen worden.
Wenn ein mobiler Körper veranlasst wird, sich autonom zu bewegen, wird ein Bewegungsbereich von einem Bild der Bewegungsrichtung des mobilen Körpers, das von einer Kamera oder dergleichen aufgenommen wird, erkannt, eine lokale Karte, wie z. B. eine Belegungsgitterkarte, wird auf der Basis von Informationen des erkannten Bewegungsbereichs erzeugt, und eine Bewegung wird geplant.
Als eine Technik zum Erkennen eines Bewegungsbereichs ist eine Technik vorgeschlagen worden, um eine Straßenoberflächengrenze (befahrbarer Bereich) unter Verwendung von Punktwolkeninformationen (3D-Punktwolkeninformationen) durch ein Laserradar (einschließlich LiDAR) und ein von einer Kamera aufgenommenes Bild abzuschätzen (siehe Patentdokument 1).
Genauer gesagt, eine dreidimensionale Struktur wird auf der Basis von Höheninformationen in den Punktwolkeninformationen des Laserradars bestimmt, um die Belegungsgitterkarte zu erzeugen. Darüber hinaus werden Kanten, die sich in eine Fluchtpunktrichtung erstrecken, auf der Basis des von der Kamera aufgenommenen Bilds extrahiert. Dann wird die Grenze des befahrbaren Bereichs der Belegungsgitterkarte mit der Bildkante verglichen, und eine Kante, die eine Straßenoberflächengrenze am Fuß des dreidimensionalen Objekts sein soll, wird extrahiert. Der Bewegungsbereich wird auf der Basis der Straßenoberflächengrenze einschließlich der so erhaltenen Kanten erkannt.
LISTE DER ANFÜHRUNGEN
PATENTDOKUMENT
Patentdokument 1: Japanische Patentanmeldungs-Offenlegungsnummer 2014-006588
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Aber die Kantenerkennung, die gemäß der Technik von Patentdokument 1 auf dem von der Kamera aufgenommenen Bild basiert, wird leicht durch Schatten, Rauschen und dergleichen gestört, und auch die Belegungsgitterkarte wird aufgrund falscher Punkte des Laserradars ebenfalls leicht durch Rauschen beeinflusst.
Die vorliegende Offenbarung ist in Anbetracht solcher Umstände gemacht worden, und besonders, um die Grenze eines Bewegungsbereichs eines mobilen Körpers mit hoher Genauigkeit zu erkennen.
LÖSUNGEN DER PROBLEME
Eine Signalverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst Folgendes: eine Kennzeichnungsgrenzen-Schätzungseinheit, die auf der Basis von Kennzeichnungsinformationen gemäß einer Art von Objekt in einem aufgenommenen Bild einen Bereich, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert, als eine Kennzeichnungsinformationsgrenze abschätzt; eine Distanzbildgrenzen-Schätzungseinheit, die auf der Basis eines Distanzbilds einen Bereich, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert, als eine Distanzbildgrenze abschätzt; und eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt. Ein Signalverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung umfasst Folgendes: einen Kennzeichnungsgrenzen-Schätzungsprozess des Abschätzens, als eine Kennzeichnungsinformationsgrenze, auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem aufgenommenen Bild, eines Bereichs, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; einen Distanzbildgrenzen-Schätzungsprozess des Abschätzens, als eine Distanzbildgrenze, auf der Basis eines Distanzbilds, eines Bereichs, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und einen Bewegungsbereichsgrenzen-Bestimmungsprozess des Bestimmens der Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze.
Ein Programm gemäß einem Aspekt der vorliegenden Offenbarung ist ein Programm, das einen Computer veranlasst, als eine Kennzeichnungsgrenzen-Schätzungseinheit zu funktionieren, die auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem aufgenommenen Bild einen Bereich, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert, als eine Kennzeichnungsinformationsgrenze abschätzt; eine Distanzbildgrenzen-Schätzungseinheit, die auf der Basis eines Distanzbilds einen Bereich, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert, als eine Distanzbildgrenze abschätzt; und eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
Ein mobiler Körper gemäß einem Aspekt der vorliegenden Offenbarung umfasst eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze, auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem aufgenommenen Bild, einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert, eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze, auf der Basis eines Distanzbilds, einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert, eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt, eine Umgebungsabbildungseinheit, die eine Umgebungskarte auf der Basis der Grenze des Bewegungsbereichs erzeugt, der durch die Bewegungsbereichsgrenzen-Bestimmungseinheit bestimmt wird, eine Planungseinheit, die einen Aktionsplan auf der Basis der Umgebungskarte erzeugt, und eine Steuereinheit, welche den Betrieb des mobilen Körpers auf der Basis des erzeugten Aktionsplans steuert.
In einem Aspekt der vorliegenden Offenbarung wird, auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem aufgenommenen Bild, ein Bereich, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert, als eine Kennzeichnungsinformationsgrenze abgeschätzt, auf der Basis eines Distanzbilds wird ein Bereich, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert, als eine Distanzbildgrenze abgeschätzt, und die Grenze des Bewegungsbereichs wird auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
EFFEKTE DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Offenbarung ist es möglich, die Grenze eines Bewegungsbereichs eines mobilen Körpers mit hoher Genauigkeit zu erkennen.
Figurenliste

1 ist ein Diagramm, das einen Umriss eines Verfahrens zum Erkennen einer Grenze eines Bewegungsbereichs gemäß der vorliegenden Offenbarung beschreibt.
2 ist ein Diagramm, das einen Fehler in semantischer Segmentierung beschreibt.
3 ist ein Diagramm, das einen Erkennungsauslassungsfehler eines Hindernisses durch einen Tiefensensor beschreibt.
4 ist ein Diagramm, das ein Verfahren zum Erkennen eines Bewegungsbereichs unter Berücksichtigung eines Fehlers in der semantischen Segmentierung und eines Fehlers in dem Tiefensensor beschreibt.
5 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Fahrzeugsteuersystems beschreibt, das ein Beispiel eines Mobilkörper-Steuersystems in einem Fall ist, in dem ein mobiler Körper der vorliegenden Offenbarung ein Fahrzeug ist.
6 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Robotersteuersystems beschreibt, das ein Beispiel des Mobilkörper-Steuersystems in einem Fall ist, in dem der mobile Körper der vorliegenden Offenbarung ein Roboter ist.
7 ist ein Diagramm, das ein Konfigurationsbeispiel einer Situationserkennungseinheit in 5 oder 6 beschreibt.
8 ist ein Diagramm, das semantische Segmentierung beschreibt.
9 ist ein Diagramm, das Koordinatenkonvertierung eines Distanzbilds beschreibt.
10 ist ein Diagramm, das den Aufwand einer Tiefenbewegungsbereichsgrenze beschreibt.
11 ist ein Diagramm, das ein spezielles Verfahren zum Erhalten des Aufwands der Tiefenbewegungsbereichsgrenze beschreibt.
12 ist ein Diagramm, das einen Bildbewegungsbereichsgrenzenaufwand beschreibt.
13 ist ein Diagramm, das ein Verfahren zum Abschätzen einer Bewegungsbereichsgrenze beschreibt.
14 ist ein Diagramm, das ein Verfahren zum Erzeugen einer Umgebungskarte beschreibt.
15 ist ein Diagramm, das ein Verfahren zum Berechnen einer Distanz beschreibt, wenn die Umgebungskarte erzeugt wird.
16 ist ein Flussdiagramm, das einen Steuerprozess für autonomes Fahren beschreibt.
17 ist ein Flussdiagramm, das einen Umgebungskarten-Erzeugungsprozess beschreibt.
18 ist ein Diagramm, das ein Konfigurationsbeispiel eines Universalcomputers beschreibt.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Beachten Sie, dass in der Beschreibung und in den Zeichnungen Komponenten, die im Wesentlichen die gleiche Funktion und Konfiguration haben, durch die gleichen Bezugszeichen gekennzeichnet sind, und dass redundante Beschreibungen ausgelassen werden.
Im Folgenden werden Ausführungsformen zum Ausführen der vorliegenden Technologie beschrieben. Die Beschreibung erfolgt in der folgenden Reihenfolge.

1. Bevorzugte Ausführungsformen der vorliegenden Offenbarung
2. Beispiel einer Ausführung durch Software

<<1. Bevorzugte Ausführungsformen der vorliegenden Offenbarung>>
<Umriss des Verfahrens zum Erkennen der Grenze eines Bewegungsbereichs>
Zuerst wird unter Bezugnahme auf 1 ein Umriss eines Verfahrens zum Erkennen einer Grenze eines Bewegungsbereichs gemäß der vorliegenden Offenbarung beschrieben.
In einem mobilen Körper der vorliegenden Offenbarung sind eine monokulare Kamera 11 und ein Tiefensensor 12, der LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), Laserradar oder dergleichen aufweist, ein Time-of-Flight (ToF)-Sensor und eine Stereokamera enthalten, und ein von der Kamera 11 aufgenommenes Bild und ein Distanzbild (Tiefenbild), basierend auf den von dem Tiefensensor 12 erfassten Punktwolkeninformationen, werden verwendet, um einen Bewegungsbereich in dem Bild zu erhalten und eine geeignete Umgebungskarte zu erzeugen.
Genauer gesagt, wie in 1 dargestellt, wird unter Bezugnahme auf ein von der Kamera 11 aufgenommenes Bild P11 eine Art eines Objekts in Einheiten von Pixeln klassifiziert, und eine Kennzeichnung wird einem Klassifizierungsergebnis gegeben.
In einem Fall, in dem ein Bild, wie in einem Bild P11 von 1 dargestellt, aufgenommen wird, wie in einem Bild P13 dargestellt, wird jedem Pixel, der zu einem Bereich Z31 gehört, eine Kennzeichnung gegeben, die den Typ einer Straßenoberfläche 31 angibt, jedem Pixel, der zu den Bereichen Z32-1 und Z32-2 gehört, wird eine Kennzeichnung gegeben, die den Typ der Wände 32-1 und 32-2 angibt, und jedem Pixel, der zu den Bereichen Z33-1 und Z33-2 gehört, wird eine Kennzeichnung gegeben, die den Typ von stationären Strukturen 33-1 und 33-2 angibt. Darüber hinaus wird jedem Pixel, der zu einem Bereich Z34 gehört, eine Kennzeichnung gegeben, die den Typ eines Himmels 34 angibt, und jedem Pixel, der zu einem Bereich Z35 gehört, wird eine Kennzeichnung gegeben, die den Typ einer Person 35 angibt. Beachten Sie, dass angenommen wird, dass Objektivverzeichnung und dergleichen in dem Bild im Voraus korrigiert worden sind.
Darüber hinaus wird ein Distanzbild P12, in dem ein Pixelwert jedes Pixels Distanzinformationen zu einem Objekt enthält, auf der Basis der von dem Tiefensensor 12 erfassten Punktwolkeninformationen erhalten.
Beachten Sie, dass in dem Distanzbild P12 in einem unteren linken Teil von 1 Distanzinformationen zu einem Objekt in unterschiedlicher Helligkeit ausgedrückt werden, gemäß der Distanz in Einheiten von Pixeln, die durch Kreise angegeben sind.
Darüber hinaus sind in dem Distanzbild P12 Intervalle von Pixeln, welche die durch Kreise angegebenen Distanzinformationen enthalten, von niedriger Dichte, verglichen mit den Einheiten von Pixeln in dem Bild P11. Daher, unter Bezugnahme auf das Distanzbild P12, wird die gleiche Auflösung wie die der Kamera 11 durch Interpolieren und Erzeugen von Distanzinformationen für Pixel außer den Kreisen erhalten, indem die Distanzinformationen in Einheiten von Pixeln, die durch die Kreise angegeben sind, verwendet werden.
Darüber hinaus, da das Distanzbild P12 auf der Basis der Punktwolkeninformationen (dreidimensionalen Punktwolkeninformationen), die durch einen Blickpunkt des Tiefensensors 12 erfasst werden, erzeugt wird, wird das Koordinatensystem jedes Punkts in ein auf einem Blickpunkt der Kamera 11 basierendes Koordinatensystem umgewandelt.
Somit werden von dem Bild P11, in dem Kennzeichnungen in Einheiten von Pixeln gegeben werden, und dem Distanzbild P12, in dem Distanzinformationen in Einheiten von Pixeln gegeben werden, Kennzeichnungen und Distanzinformationen in dem Bild P13 in Einheiten von Pixeln gegeben.
Das heißt, auf der Basis des Bilds P13, in dem Kennzeichnungen und Distanzinformationen in Einheiten von Pixeln gegeben sind, wird ein Bereich, der als eine Straßenoberfläche klassifiziert ist, ein Boden, ein flacher Boden oder dergleichen als ein Bewegungsbereich des mobilen Körpers erhalten. In einem Fall des Bilds P13 in 1 wird der Bereich Z31, dem die Kennzeichnung der Straßenoberfläche 31 gegeben wird, als der Bewegungsbereich erhalten.
Wenn der Bewegungsbereich erhalten wird, wird die Umgebungskarte P14, die aus einer zweidimensionalen Belegungsgitterkarte besteht, auf der Basis von Grenzinformationen des Bewegungsbereichs und der Distanzinformationen in Einheiten von Pixeln erhalten. In der Umgebungskarte P14 von 1 ist ein weißer Bereich ein Bewegungsbereich, der dem Bereich Z31 entspricht, dem die Kennzeichnung der Straßenoberfläche 31 in dem Bild P13 gegeben ist, das von den Informationen des Bewegungsbereichs und den Distanzinformationen erhalten wird. Außerdem sind schwarze Bereiche die Bereiche von Hindernissen, die jeweils den Bereichen Z32-1, Z32-2, Z33-1, Z33-2 und Z35, den Wänden 32-1 und 32-2, den stationären Strukturen 33-1 und 33-2 und der Person 35 entsprechen, die auf der Basis der Grenzinformationen des Bewegungsbereichs und der Distanzinformationen erhalten werden. Überdies ist ein grauer Bereich ein unbekannter Bereich, der aufgrund eines Hindernisses nicht visuell erkannt werden kann.
Bei dem mobilen Körper der vorliegenden Offenbarung ist es durch Erzeugen der Umgebungskarte P14, die aus der in 1 dargestellten Belegungsgitterkarte besteht, möglich, den Bewegungsbereich zu erkennen und autonome Bewegung auf der Basis dieser Umgebungskarte P14 zu erzielen.
<Semantischer Segmentierungsfehler>
Als Nächstes wird ein Fehler der Kennzeichnung abhängig vom Typ des Objekts unter Bezugnahme auf 2 beschrieben.
Wie oben beschrieben, wird bei dem mobilen Körper der vorliegenden Offenbarung nach der Erzeugung der Umgebungskarte, welche die Belegungsgitterkarte einschließt, die eine Erkennung des Bewegungsbereichs gestattet, der Typ eines Objekts in dem von der Kamera 11 aufgenommenen Bild klassifiziert, und eine dem Klassifizierungsergebnis entsprechende Kennzeichnung wird in Einheiten von Pixeln gegeben. Der Prozess der Erteilung einer Kennzeichnung, die dem Klassifizierungsergebnis des Typs eines Objekts in Einheiten von Pixeln entspricht, wird durch den später beschriebenen Vorgang der semantischen Segmentierung erzielt. Die semantische Segmentierung ist ein Prozess, bei dem die Typen von Objekten in Einheiten von Pixeln auf der Basis von maschinellem Lernen durch Deep Learning klassifiziert werden, und bei dem eine semantische Kennzeichnung auf der Basis des Klassifizierungsergebnisses gegeben wird. Bezüglich der Erteilung der semantischen Kennzeichnung durch diese semantische Segmentierung kann abhängig von den Bedingungen des Bilds ein Fehler in der erteilten semantischen Kennzeichnung auftreten.
Das heißt, eine Grenze zwischen dem Bereich Z31, dem eine semantische Kennzeichnung von Straßenoberfläche 31 gegeben ist, und dem Bereich Z32-2, dem eine semantische Kennzeichnung von Wand 32-2 gegeben ist, wird ursprünglich in einer geraden Linie gebildet, wie in dem Bild P13 in einem unteren rechten Teil von 2 dargestellt.
Aber, aufgrund von Unterschieden in der Abbildungsumgebung, wie z. B. Empfindlichkeitseinstellung, Weißabgleich, Belichtungseinstellung und Rauschen in dem Bild des Bilds P11, durch Verwenden eines Bilds, dessen Abbildungsumgebung von der eines Lehrerbilds, das zum Beispiel zu einer Zeit des Lernens verwendet wird, abweicht, kann ein Fehler auftreten, wie durch eine durchgezogene Linie in dem Bild P13' im unteren rechten Teil von 2 angegeben. Das heißt, in dem Bereich des festen Kreises des Bilds P13' ist die Grenze zwischen dem Bereich Z31, dem die semantische Kennzeichnung Straßenoberfläche 31 gegeben ist, und dem Bereich Z32-2, dem die semantische Kennzeichnung Wand 32-2 gegeben ist, nicht linear gebildet, und die semantische Kennzeichnung ist nicht ordnungsgemäß gegeben.
Ein solcher Fehler in der semantischen Segmentierung kann selbst dann auftreten, wenn das Lehrerbild ein Computergrafik-(CG)-Bild ist, und kann selbst in einem Fall auftreten, in dem das Schülerbild ein fotografiertes Bild ist.
Das heißt, aufgrund des Auftretens eines Unterschieds zwischen der Abbildungsumgebung in dem Lehrerbild und der Abbildungsumgebung in dem Schülerbild ist es nicht möglich, den Typ des Objekts ordnungsgemäß zu klassifizieren, so dass ein Fehler auftreten kann.
Zusätzlich zu solchen Fällen tritt dieser semantische Segmentierungsfehler wahrscheinlich in dem Fall einer Textur auf, die derjenigen der Straßenoberfläche ähnlich ist, wie z. B. Erkennen als Straßenoberfläche, obwohl es nicht die Straßenoberfläche ist, oder in einem Fall, in dem Abbildung mit von dem Lehrerbild abweichenden Farbtönen an einem dunklen Ort oder durch Gegenlicht oder dergleichen auftritt.
<Auf den Tiefensensor zurückzuführender Fehler>
Als Nächstes wird ein durch den Tiefensensor 12 verursachter Fehler unter Bezugnahme auf 3 beschrieben.
In einem Fall, in dem der Tiefensensor 12 zum Beispiel ein LiDAR, ein Laserradar, einen ToF-Sensor oder dergleichen aufweist, während ein Lichtprojektionsteil, der an einer Vielzahl von Winkeln in der Vertikalrichtung in Bezug auf eine Bewegungsrichtung vor dem mobilen Körper angeordnet ist, wie in 3 dargestellt, in einer Horizontalrichtung und einer Vertikalrichtung gedreht wird, projiziert der Tiefensensor 12 einen Laserstrahl in jede der radialen Lichtprojektionsrichtungen L1 bis L8, empfängt von den Hindernissen 41 und 42 reflektierte Lichter, und erhält dadurch Distanzen von einer Umlaufzeit, die eine Differenz zwischen einer Lichtprojektionszeit und einer Reflexionslicht-Empfangszeit ist, um dadurch Distanzen und Richtungen zu den Hindernissen 41 und 42 zu messen.
Hier, wie in 3 dargestellt, in einem Fall, in dem ein Distanzbild durch den Tiefensensor 12 in Bezug auf einen Bereich erfasst wird, in dem die Hindernisse 41 und 42 existieren, die in einer Positionsbeziehung sind, so dass ein Bild, wie in einem Bild P21 dargestellt, von der Kamera 11 aufgenommen wird, kann ein Bereich in der Nähe des Tiefensensors 12 mit vorbestimmter Genauigkeit gemessen werden, indem Licht mit einer vorbestimmten Dichte, zum Beispiel, in den Lichtprojektionsrichtungen L1 bis L5 und dergleichen projiziert wird.
Andererseits, zum Beispiel, wie durch die Lichtprojektionsrichtungen L6 bis L8 dargestellt, in einem von dem Tiefensensor 12 weit entfernten Bereich, für ein großes Hindernis wie das Hindernis 41, können reflektierte Lichter wie in den Lichtprojektionsrichtungen L7 und L8 empfangen werden, und eine Distanz davon kann ebenfalls gemessen werden.
Aber, für ein kleines Hindernis wie das Hindernis 42 in dem von dem Tiefensensor 12 weit entfernten Bereich, da es zwischen den Lichtprojektionsrichtungen L6 und L7 liegt, kann die Distanzmessung selbst nicht durchgeführt werden. Mit anderen Worten, in den von dem Tiefensensor 12 erfassten Punktwolkeninformationen wird die Dichte des projizierten Lichts geringer, je weiter es von der Erfassungsposition des Tiefensensors 12 entfernt ist, so dass eine Abnahme der Auflösung auftritt. Daher ist es möglich, dass ein kleines Hindernis wie das Hindernis 42 nicht richtig erkannt werden kann. Folglich, selbst wenn die Auflösung durch Interpolieren des Distanzbilds basierend auf den Punktwolkeninformationen erhöht wird, wird ein kleines Hindernis nicht erkannt, was einen Fehler verursachen kann.
<Verfahren zum Erkennen eines Bewegungsbereichs unter Berücksichtigung eines Fehlers in semantischer Segmentierung und eines Fehlers im Tiefensensor>
Wie oben beschrieben, ist es nach dem Erkennen des Bewegungsbereichs notwendig, einen Fehler in der semantischen Segmentierung, die von dem von der Kamera 11 aufgenommenen Bild erhalten wird, und einen Fehler in dem durch den Tiefensensor 12 erfassten Distanzbild zu berücksichtigen.
Beispielsweise, wie in 4 dargestellt, für ein Bild P31, dem eine semantische Kennzeichnung in Einheiten von Pixeln durch die semantische Segmentierung auf der Basis des von der Kamera 11 aufgenommenen Bilds gegeben ist, wird die semantische Kennzeichnung durch die Abbildungsumgebung und Texturen beeinflusst, und ein Fehler kann auftreten, doch solange die Abbildungsumgebung organisiert ist, ist es relativ unwahrscheinlich, dass ein Fehler in Bezug auf Distanz sowohl im Nahbereich als auch im Fernbereich auftritt. Andererseits, in dem durch den Tiefensensor 12 erfassten Distanzbild, wie unter Bezugnahme auf 3 beschrieben, ist das Auftreten eines Fehlers in einem relativ nahen Bereich unwahrscheinlich, doch das Auftreten in einem Fernbereich ist wahrscheinlich, und das Auftreten eines Fehlers in Bezug auf eine Änderung in der Abbildungsumgebung ist unwahrscheinlich.
Daher kann der Bewegungsbereich mit hoher Genauigkeit erkannt werden, indem ein Bildbewegungsbereichsgrenzenaufwand, einschließlich einer Verteilung der Möglichkeit, dass die Grenze des Bewegungsbereichs unter Verwendung der semantischen Segmentierung existiert, festgelegt und benutzt werden, und ein Distanzbild-Bewegungsbereichsgrenzenaufwand, einschließlich einer Verteilung der Möglichkeit, dass die Grenze des Bewegungsbereichs unter Verwendung des Distanzbilds existiert.
Beispielsweise, wie in einem Bild P32 dargestellt, wird für einen Bereich, in dem die Möglichkeit einer Existenz einer Grenze des Bewegungsbereichs besteht, eine Vertikalbreite H, die einer Distanz entspricht, festgelegt, und der Bildbewegungsbereichsgrenzenaufwand wird festgelegt. Beachten Sie, dass das Bild P32, das einen Grenzenaufwand des Bewegungsbereichs basierend auf der semantischen Kennzeichnung des Bilds P31 angibt, im Folgenden einfach als ein Bildbewegungsbereichsgrenzenaufwand P32 bezeichnet wird.
In dem Bildbewegungsbereichsgrenzenaufwand P32 ist ein Bereich, in dem es sehr gut möglich ist, dass die Grenze des Bewegungsbereichs existiert (ein Bereich, in dem es sehr gut möglich ist, dass die Grenze existiert) in Weiß dargestellt, und ein Bereich, der mit hoher Wahrscheinlichkeit ein anderer als der Bereich ist, ist in Schwarz dargestellt.
In dem Bildbewegungsbereichsgrenzenaufwand P32 von 4 ist die vertikale Breite H des weißen Bereichs, der einer Distanz von der Abbildungsposition (Position des mobilen Körpers) entspricht, mit einer gestrichelten Linie B2 festgelegt, die einer Grenze mit der Straßenoberfläche 31 entspricht, die in der Mitte liegt, die gestrichelte Linie B2 einer gestrichelten Linie B1 entspricht, die eine Grenze des in dem Bild P31 dargestellten Bewegungsbereichs angibt (Grenze mit der Straßenoberfläche 31). Insbesondere die Breite H eines weißen Bereichs, wo der Aufwand niedriger ist, ist größer eingestellt, da die Distanz näher ist (ein Bereich, in dem es sehr gut möglich ist, dass die Grenze existiert), und die Breite H eines weißen Bereichs, wo der Aufwand niedriger ist, ist kleiner eingestellt, da die Distanz von der Abbildungsposition (Position des mobilen Körpers) weiter entfernt ist.
Dies liegt daran, dass in einem Fall, in dem der Bewegungsbereich anhand des Distanzbilds geschätzt wird, da ein durch den Tiefensensor 12 bedingter Fehler wahrscheinlich in einem Fernbereich auftreten wird, die Breite H für den Fernbereich eng gesetzt ist, um den Einsatz der Verteilung der Möglichkeit, dass die Grenze des Bewegungsbereichs unter Verwendung der semantischen Kennzeichnung basierend auf dem von der Kamera 11 aufgenommenen Bild mit weniger Fehlern existiert, zu erleichtern.
Darüber hinaus wird für einen Nahbereich, da das Auftreten eines Fehlers selbst in dem Tiefensensor 12 unwahrscheinlich ist, nicht nur die Möglichkeit, dass die Grenze des Bewegungsbereichs unter Verwendung der semantischen Kennzeichnung existiert, berücksichtigt, sondern auch die Möglichkeit, dass die Grenze des Bewegungsbereichs basierend auf dem Distanzbild existiert, berücksichtigt, und somit wird die Breite H der Grenze des Bewegungsbereichs unter Verwendung der semantischen Kennzeichnung breit gesetzt.
Andererseits unterscheidet sich das Koordinatensystem eines Distanzbilds P41, erhalten von den Punktwolkeninformationen, erfasst mit dem Tiefensensor 12 als ein Blickpunkt von dem Koordinatensystem des Bilds P31, aufgenommen mit der Kamera 11 als ein Blickpunkt, und somit wird eine Umwandlung zu einem der Koordinatensysteme durchgeführt. Hier wird angenommen, dass das Koordinatensystem des Distanzbilds P41, erfasst durch den Tiefensensor 12, in das Koordinatensystem des Bilds P31, aufgenommen mit der Kamera 11 als der Blickpunkt umgewandelt und in ein Distanzbild P42 umgewandelt wird. Das Distanzbild P42 stellt einen Zustand dar, wenn die Punktwolke, die koordinatenkonvertiert worden ist, auf das Bild P31 überlagert und angezeigt wird, und ein Distanzbild mit niedriger Auflösung wie ein Bild P43 tatsächlich erhalten wird. Darüber hinaus hat das Distanzbild P43, erhalten durch den Tiefensensor 12, eine niedrige Auflösung in Bezug auf das von der Kamera 11 aufgenommene Bild P31, und somit, wenn Distanzinformationen einer Pixelposition, an der keine Distanzinformationen in dem Distanzbild P43 existieren, notwendig ist, ist es möglich, die Distanzinformationen durch Interpolation von umliegenden Punkten, wo die Distanzinformationen existieren, zu erzeugen.
Daher, nach dem Festlegen der vertikalen Breite in dem Bildbewegungsbereichsgrenzenaufwand P32, werden die Distanzinformationen, erhalten mit dem gleichen Koordinatensystem wie die Kamera 11 und durch Interpolation von dem Distanzbild P43, verwendet, die Breite H wird auf der Basis der Distanzinformationen, erzeugt durch Interpolation von dem Bild P43, das jedem Pixel an der Grenze B2 in dem Bild P32 entspricht, festgelegt, und der Bildbewegungsbereichsgrenzenaufwand P32 wird festgelegt.
Darüber hinaus wird, auf der Basis von Spalteneinheits-Distanzinformationen D1, die Distanzinformationen (Punktwolkeninformationen) für jede Spalte in dem Distanzbild P43 sind, eine Verteilung D11 zwischen der Distanz und der Höhe erhalten, und wie in einer Verteilung D12 dargestellt, wird eine Suche nach einer Grenze zwischen der Straßenoberfläche 31 und einem Hindernis durchgeführt, wobei die Grenze ein Schnittpunkt ist, angegeben durch ein Kreuz zwischen einer horizontalen Verteilung DH, angenommen als die Straßenoberfläche 31, und einer vertikalen Verteilung DV, angenommen als ein Hindernis, das heißt, eine Grenze des Bewegungsbereichs, um eine Distanz der Grenze in Einheiten von Spalten zu erhalten.
Hier, bezüglich eines Tiefenbewegungsbereichsgrenzenaufwands P45, erhalten mit dem Distanzbild P43, da die Distanz weiter entfernt ist, ist die Genauigkeit des Tiefensensors 12 niedriger, und somit ist der Aufwand größer festgelegt, um eine geringe Möglichkeit anzugeben, dass die Grenze des Bewegungsbereichs in der Distanz, erfasst in Einheiten von Spalten, existiert. Darüber hinaus, bezüglich des Tiefenbewegungsbereichsgrenzenaufwands P45, da die Distanz näher ist, ist die Genauigkeit des Tiefensensors 12 höher, und somit ist der Aufwand kleiner festgelegt, um eine hohe Möglichkeit anzugeben, dass die Grenze des Bewegungsbereichs in der Distanz, erfasst in Einheiten von Spalten, existiert.
Das heißt, bezüglich des Bildbewegungsbereichsgrenzenaufwands P32, da die Distanz näher ist, ist die Breite eines Bereichs, wo der in Weiß dargestellte Aufwand niedriger ist und es sehr gut möglich ist, dass die Grenze existiert, größer festgelegt, und da die Distanz weiter ist, ist die Breite eines Bereichs, wo der in Weiß dargestellte Aufwand niedriger ist und es sehr gut möglich ist, dass die Grenze existiert, kleiner festgelegt.
Andererseits, bezüglich des Tiefenbewegungsbereichsgrenzenaufwands P45, da die Distanz näher ist, die Genauigkeit des Tiefensensors 12 höher ist und somit der Aufwand niedriger ist, wird die Grenze des Bewegungsbereichs in einer Farbe nahe an Weiß dargestellt, und sie wird als ein Bereich festgelegt, in dem eine hohe Möglichkeit besteht, dass die Grenze existiert, und da die Distanz weiter und der Aufwand höher ist, wird sie in einer Farbe nahe an Schwarz dargestellt, und sie wird als ein Bereich festgelegt, in dem die Möglichkeit, dass die Grenze existiert, gering ist.
Schließlich wird eine Grenze P51 des zu erhaltenden Bewegungsbereichs durch Integration durch Optimierungsverarbeitung unter Verwendung des Bildbewegungsbereichsgrenzenaufwands P32 und des Tiefenbewegungsbereichsgrenzenaufwands P45 identifiziert. Das heißt, in der integrierten Bewegungsbereichsgrenze P51 wird ein in Weiß dargestellter linearer Bereich als eine Grenze zwischen dem Bewegungsbereich und einem anderen Bereich erhalten. Das heißt, in der integrierten Bewegungsbereichsgrenze P51 wird dargestellt, dass ein Bereich unterhalb der Grenze des in Weiß dargestellten Bewegungsbereichs der Bewegungsbereich ist, und dass der Bereich oberhalb der Grenze ein anderer Bereich als der Bewegungsbereich ist.
<Konfigurationsbeispiel des Fahrzeugsteuersystems, das ein Beispiel des Mobilkörper-Steuersystems in einem Fall ist, in dem der mobile Körper ein Fahrzeug ist>
Als Nächstes wird ein Fahrzeugsteuersystem beschrieben, das ein Beispiel eines Mobilkörper-Steuersystems in einem Fall ist, in dem der mobile Körper, auf den die vorliegende Technologie angewandt werden kann, ein Fahrzeug ist.
5 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer schematischen Funktion eines Fahrzeugsteuersystems 100 eines Fahrzeugs 91 darstellt, das ein Beispiel eines Mobilkörper-Steuersystems ist, auf das die vorliegende Technologie angewandt werden kann.
Beachten Sie, dass im Folgenden, in einem Fall, in dem ein mit dem Fahrzeugsteuersystem 100 ausgestattetes Fahrzeug von anderen Fahrzeugen unterschieden wird, das Fahrzeug als eigenes Fahrzeug oder eigenes Kraftfahrzeug bezeichnet wird.
Das Fahrzeugsteuersystem 100 umfasst eine Eingabeeinheit 101, eine Datengewinnungseinheit 102, eine Kommunikationseinheit 103, eine fahrzeuginterne Einrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Antriebssystem-Steuereinheit 107, ein Antriebssystem 108, eine Karosseriesystem-Steuereinheit 109, ein Karosseriesystem 110, eine Speichereinheit 111 und eine Steuereinheit für autonomes Fahren 112. Die Eingabeeinheit 101, die Datengewinnungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Antriebssystem-Steuereinheit 107, die Karosseriesystem-Steuereinheit 109, die Speichereinheit 111 und die Steuereinheit für autonomes Fahren 112 sind über ein Kommunikationsnetz 121 miteinander verbunden. Das Kommunikationsnetz 121 ist zum Beispiel ein fahrzeuginternes Kommunikationsnetz, ein Bus oder dergleichen, das einem beliebigen Standard wie z. B. Controller Area Network (CAN), Local Interconnect Network (LIN), Local Area Network (LAN) oder FlexRay (eingetragenes Markenzeichen) entspricht. Beachten Sie, dass jede Einheit des Fahrzeugsteuersystems 100 ohne Umweg über das Kommunikationsnetz 121 direkt verbunden sein kann.
Beachten Sie, dass im Folgenden, in einem Fall, in dem jede Einheit des Fahrzeugsteuersystems 100 über das Kommunikationsnetz 121 kommuniziert, eine Beschreibung des Kommunikationsnetzes 121 ausgelassen wird. Beispielsweise wird in einem Fall, in dem die Eingabeeinheit 101 und die Steuereinheit für autonomes Fahren 112 über das Kommunikationsnetz 121 miteinander kommunizieren, einfach beschrieben, dass die Eingabeeinheit 101 und die Steuereinheit für autonomes Fahren 112 miteinander kommunizieren.
Die Eingabeeinheit 101 weist eine Vorrichtung auf, die von einem Insassen verwendet wird, um verschiedene Daten, Anweisungen und dergleichen einzugeben. Beispielsweise weist die Eingabeeinheit 101 Bedienungsvorrichtungen, wie z. B. ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter, einen Hebel und eine Betätigungsvorrichtung auf, die Eingabe durch ein anderes Verfahren als manuelle Betätigung mittels Sprache, einer Geste und dergleichen erlauben. Außerdem kann die Eingabeeinheit 101 zum Beispiel eine Fernbedienungsvorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder eine extern angeschlossene Vorrichtung, wie z. B. ein Mobilgerät oder ein tragbares Gerät, das mit dem Betrieb des Fahrzeugsteuersystems 100 kompatibel ist. Die Eingabeeinheit 101 erzeugt ein Eingangssignal auf der Basis von Daten oder Anweisungen oder dergleichen, die von einem Fahrgast eingegeben werden und liefert das Eingangssignal an jede Einheit des Fahrzeugsteuersystems 100.
Die Datengewinnungseinheit 102 weist verschiedene Sensoren oder dergleichen auf, die Daten erhalten, die in dem Fahrzeugsteuersystem 100 verarbeitet werden, und liefert die erhalten Daten an jede Einheit des Fahrzeugsteuersystems 100.
Beispielsweise weist die Datengewinnungseinheit 102 verschiedene Sensoren zum Erkennen eines Zustands oder dergleichen des eigenen Fahrzeugs auf. Insbesondere weist die Datengewinnungseinheit 102 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine inertiale Messeinheit (IMU) und einen Sensor oder dergleichen auf, um einen Betätigungsbetrag eines Fahrpedals, einen Betätigungsbetrag eines Bremspedals, einen Lenkwinkel eines Lenkrads, eine Drehzahl einer Kraftmaschine, eine Drehzahl eines Motors oder eine Drehgeschwindigkeit von Rädern oder dergleichen zu erkennen.
Außerdem weist die Datengewinnungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen außerhalb des eigenen Fahrzeugs auf. Insbesondere weist die Datengewinnungseinheit 102 zum Beispiel eine Bildaufnahmevorrichtung wie etwa eine Time-of-Flight (ToF)-Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera und andere Kameras auf. Darüber hinaus weist die Datengewinnungseinheit 102 zum Beispiel einen Umweltsensor zum Erfassen des Wetters oder Klimas oder dergleichen und einen Umgebungsinformationen-Erfassungssensor zum Erfassen von Objekten im Umfeld des eigenen Fahrzeugs auf. Der Umweltsensor weist zum Beispiel einen Regensensor, einen Nebelsensor, einen Sonnenscheinsensor, einen Schneesensor und dergleichen auf. Der Umgebungsinformationen-Erfassungssensor umfasst zum Beispiel einen Ultraschallsensor, ein Radar, ein LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), ein Sonar und dergleichen.
Beachten Sie, dass in dem Fahrzeugsteuersystem 100 der vorliegenden Offenbarung die Datengewinnungseinheit 102 die Kamera 11 von 1 als eine Bilderfassungsvorrichtung aufweist und als den Tiefensensor 12 von 2 zum Beispiel mindestens einen LiDAR, einen Laser-Entfernungsmesser, eine TOF-Kamera oder eine Stereokamera aufweist.
Darüber hinaus weist die Datengewinnungseinheit 102 zum Beispiel verschiedene Sensoren zum Erkennen einer aktuellen Position des eigenen Fahrzeugs auf. Insbesondere weist die Datengewinnungseinheit 102 zum Beispiel einen Global Navigation Satellite System (GNSS)-Empfänger auf, der ein GNSS-Signal von einem GNSS-Satellit empfängt, oder dergleichen.
Außerdem weist die Datengewinnungseinheit 102 zum Beispiel verschiedene Sensoren zum Erfassen von Informationen innerhalb des Fahrzeugs auf. Insbesondere umfasst die Datengewinnungseinheit 102 zum Beispiel eine Bilderfassungsvorrichtung, die ein Bild eines Fahrers erfasst, einen biologischen Sensor, der biologische Informationen des Fahrers erfasst, ein Mikrofon, das Schall in einem Fahrzeuginnenraum aufnimmt, und dergleichen. Der biometrische Sensor ist zum Beispiel an einer Sitzoberfläche oder einem Lenkrad oder dergleichen angebracht und erfasst biologische Informationen eines Fahrgasts, der auf dem Sitz sitzt, oder eines Fahrers, der das Lenkrad hält.
Die Kommunikationseinheit 103 kommuniziert mit dem fahrzeuginternen Gerät 104 und verschiedenen Geräten, einem Server, einer Basisstation und dergleichen außerhalb des Fahrzeugs, überträgt von jeder Einheit des Fahrzeugsteuersystems 100 gelieferte Daten und liefert die empfangenen Daten an jede Einheit des Fahrzeugsteuersystems 100. Beachten Sie, dass ein von der Kommunikationseinheit 103 unterstütztes Kommunikationsprotokoll nicht besonders beschränkt ist, und dass die Kommunikationseinheit 103 außerdem eine Vielzahl von Kommunikationsprotokolltypen unterstützen kann.
Beispielsweise führt die Kommunikationseinheit 103 Drahtloskommunikation mit dem fahrzeuginternen Gerät 104 mittels Drahtlos-LAN, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation (NFC), Drahtlos-USB (WUSB) oder dergleichen durch. Außerdem führt die Kommunikationseinheit 103 zum Beispiel verdrahtete Kommunikation mit dem fahrzeuginternen Gerät 104 mittels Universal Serial Bus (USB), High-Definition Multimedia Interface (HDMI) (eingetragenes Markenzeichen), Mobile High-Definition Link (MHL) oder dergleichen über eine Anschlussklemme (und nötigenfalls ein Kabel) (nicht dargestellt) durch.
Darüber hinaus kommuniziert die Kommunikationseinheit 103 zum Beispiel über eine Basisstation oder einen Zugangspunkt mit Vorrichtungen (zum Beispiel einem Anwendungsserver oder einem Steuerungsserver), die auf einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem betreiberspezifischen Netzwerk) vorhanden sind. Außerdem verwendet die Kommunikationseinheit 103 zum Beispiel eine Peer-to-Peer (P2P)-Technologie, um mit einem Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Ladens, oder einem Machine-Type Communication (MTC)-Endgerät), das in der Nähe des eigenen Fahrzeugs vorhanden ist, zu kommunizieren. Darüber hinaus führt die Kommunikationseinheit 103 zum Beispiel V2X-Kommunikation, wie z. B. Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Wohnung-Kommunikation und Fahrzeug-zu-Fußgänger-Kommunikation durch. Darüber hinaus enthält die Kommunikationseinheit 103 zum Beispiel eine Beacon-Empfangseinheit, um Funkwellen oder elektromagnetische Wellen, die von an der Straße installierten Funkstationen und dergleichen übertragen werden, zu empfangen, und um Informationen, z. B. über die aktuelle Position, Verkehrsstaus, Verkehrsregelung oder erforderliche Zeit, zu erhalten.
Das fahrzeuginterne Gerät 104 umfasst zum Beispiel ein Mobilgerät oder ein tragbares Gerät im Besitz eines Fahrgasts, ein Informationsgerät, das in dem eigenen Fahrzeug mitgeführt oder daran angebracht wird, und ein Navigationsgerät oder dergleichen, das eine Route zu einem beliebigen Zielort sucht.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Informationen zu einem Fahrgast des eigenen Fahrzeugs oder zur Außenseite des Fahrzeugs. Beispielsweise erzeugt die Ausgabesteuereinheit 105 ein Ausgangssignal, das mindestens ein Element von visuellen Informationen (zum Beispiel Bilddaten) oder auditorischen Informationen (zum Beispiel Audiodaten) aufweist, und liefert das Ausgangssignal zu der Ausgabeeinheit 106, um die Ausgabe der visuellen und auditorischen Informationen von der Ausgabeeinheit 106 zu steuern. Insbesondere erzeugt die Ausgabesteuereinheit 105 zum Beispiel ein Overhead-Bild oder ein Panoramabild oder dergleichen durch Kombinieren von Bilddaten, die von unterschiedlichen Bilderfassungsvorrichtungen der Datengewinnungseinheit 102 erfasst werden, und liefert ein Ausgangssignal, welches das erzeugte Bild enthält, zu der Ausgabeeinheit 106. Darüber hinaus erzeugt die Ausgabesteuereinheit 105 zum Beispiel Tondaten, die einen Warnton, eine Warnmeldung oder dergleichen in Bezug auf Gefahr, wie z. B. Kollision, Kontakt oder Eintritt in eine Gefahrenzone, enthalten, und liefert ein Ausgangssignal, das die erzeugten Tondaten enthält, an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Vorrichtung auf, die in der Lage ist, visuelle Informationen oder auditorische Informationen an einen Fahrgast des eigenen Fahrzeugs oder zur Außenseite des Fahrzeugs auszugeben. Beispielsweise weist die Ausgabeeinheit 106 eine Anzeigevorrichtung, eine Instrumententafel, einen Lautsprecher, einen Kopfhörer, ein tragbares Gerät, wie z. B. ein Display in Brillenausführung, das von einem Fahrgast getragen wird, einen Projektor, eine Lampe und dergleichen auf. Die in der Ausgabeeinheit 106 enthaltene Anzeigevorrichtung kann, zusätzlich zu einer Vorrichtung, die ein normales Display aufweist, zum Beispiel eine Vorrichtung sein, die visuelle Informationen im Sichtfeld eines Fahrers anzeigt, beispielsweise ein Head-up-Display, ein Display in Übertragungsausführung, eine Vorrichtung, die eine Augmented Reality (AR)-Anzeigefunktion oder dergleichen aufweist.
Die Antriebssystem-Steuereinheit 107 steuert das Antriebssystem 108, indem sie verschiedene Steuersignale erzeugt und diese dem Antriebssystem 108 zuführt. Darüber hinaus liefert die Antriebssystem-Steuereinheit 107 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Antriebssystem 108 und führt eine Benachrichtigung über einen Steuerungszustand des Antriebssystems 108 und dergleichen durch.
Das Antriebssystem 108 weist verschiedene, mit dem Antriebssystem des eigenen Fahrzeugs verbundene, Vorrichtungen auf. Beispielsweise weist das Antriebssystem 108 einen Antriebskrafterzeuger zum Erzeugen einer Antriebskraft für eine interne Brennkraftmaschine oder einen Antriebsmotor, einen Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, einen Lenkmechanismus zum Einstellen eines Lenkwinkels, eine Bremsvorrichtung zum Erzeugen einer Bremskraft, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektrische Servolenkvorrichtung und dergleichen auf.
Die Karosseriesystem-Steuereinheit 109 steuert das Karosseriesystem 110, indem sie verschiedene Steuersignale erzeugt und diese dem Karosseriesystem 110 zuführt. Außerdem liefert die Karosseriesystem-Steuereinheit 109 nach Bedarf ein Steuersignal zu jeder Einheit außer dem Karosseriesystem 110 und führt eine Benachrichtigung über einen Steuerungszustand des Karosseriesystems 110 oder dergleichen durch.
Das Karosseriesystem 110 weist verschiedene Karosserievorrichtungen auf, die an der Fahrzeugkarosserie montiert sind. Beispielsweise umfasst das Karosseriesystem 110 ein schlüsselloses Zugangssystem, ein intelligentes Schlüsselsystem, eine Fensterhebervorrichtung, einen elektrisch verstellbaren Sitz, ein Lenkrad, eine Klimaanlage und verschiedene Leuchten (zum Beispiel Scheinwerfer, Rückfahrscheinwerfer, Bremsleuchten, Blinkleuchten, Nebelscheinwerfer und dergleichen), und dergleichen.
Die Speichereinheit 111 umfasst zum Beispiel einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM), eine magnetische Speichervorrichtung, wie z. B. ein Festplattenlaufwerk (HDD), eine Halbleiter-Speichervorrichtung, eine optische Speichervorrichtung, eine magneto-optische Speichervorrichtung und dergleichen. Die Speichereinheit 111 speichert verschiedene Programmen, Daten und dergleichen, die von jeder Einheit des Fahrzeugsteuersystems 100 genutzt werden. Beispielsweise speichert die Speichereinheit 111 Kartendaten einer hochgenauen dreidimensionalen Karte, wie z. B. eine dynamische Karte, eine globale Karte, die weniger genau als die hochgenaue Karte ist, aber einen breiteren Bereich abdeckt, eine lokale Karte, die Informationen über die Umgebung des eigenen Fahrzeugs und dergleichen enthält.
Die Steuereinheit für autonomes Fahren 112 führt eine Steuerung in Bezug auf autonomes Fahren durch, wie z. B. autonome Fahrt oder Fahrassistenz. Insbesondere führt die Steuereinheit für autonomes Fahren 112 zum Beispiel kooperative Steuerung zum Erzielen von Advanced Driver Assistance System (ADAS)-Funktionen durch, die eine Kollisionsvermeidung oder Aufprallmilderung des eigenen Fahrzeugs, Verfolgungsfahren basierend auf dem Abstand zwischen Fahrzeugen, Fahren mit Fahrzeuggeschwindigkeits-Beibehaltung, Warnung vor einer Kollision des eigenen Fahrzeugs, Spurverlassenswarnung des eigenen Fahrzeugs oder dergleichen einschließen. Außerdem führt die Steuereinheit für autonomes Fahren 112 zum Beispiel kooperative Steuerung für autonomes Fahren oder dergleichen durch, um autonom zu fahren, ohne von einer Bedienung des Fahrers abhängig zu sein. Die Steuereinheit für autonomes Fahren 112 weist eine Erfassungseinheit 131, eine Eigenpositions-Schätzungseinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Operationssteuereinheit 135 auf.
Die Erfassungseinheit 131 erfasst verschiedene Informationen, die zum Steuern von autonomem Fahren notwendig sind. Die Erfassungseinheit 131 umfasst eine Fahrzeugaußenseiten-Informationserfassungseinheit 141, eine Fahrzeuginnenseiten-Informationserfassungseinheit 142 und eine Fahrzeugzustands-Erfassungseinheit 143.
Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 führt einen Erfassungsprozess von Informationen der Außenseite des eigenen Fahrzeugs auf der Basis von Daten oder Signalen von jeder einzelnen Einheit des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 einen Erfassungsprozess, einen Erkennungsprozess und einen Verfolgungsprozess von Objekten im Umfeld des eigenen Fahrzeugs und einen Erfassungsprozess des Abstands zu einem Objekt im Umfeld des eigenen Fahrzeugs durch. Beispiele von zu erfassenden Objekten enthalten Fahrzeuge, Personen, Hindernisse, Strukturen, Straßen, Verkehrsampeln, Verkehrsschilder, Fahrbahnmarkierungen und dergleichen. Außerdem führt die Fahrzeugaußenseiten-Informationserfassungseinheit 141 einen Erfassungsprozess einer Umgebung des eigenen Fahrzeugs durch. Die Umgebung als Erkennungsziel umfasst zum Beispiel Wetter, Temperatur, Feuchtigkeit, Helligkeit und Straßenoberflächenzustände und dergleichen. Die Fahrzeugaußenseiten-Informationserfassungseinheit 141 liefert Daten, die Ergebnisse der Erfassungsprozesse angeben, an die Eigenpositions-Schätzungseinheit 132, eine Kartenanalyseeinheit 151, eine Verkehrsregel-Erkennungseinheit 152 und eine Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und eine Operationssteuereinheit 135.
Die Fahrzeuginnenseiten-Informationserfassungseinheit 142 führt einen Erfassungsprozess von Informationen der Innenseite des Fahrzeugs auf der Basis von Daten oder Signalen von jeder einzelnen Einheit des Fahrzeugsteuersystems 100 durch. Beispielsweise führt die Fahrzeuginnenseiten-Informationserfassungseinheit 142 einen Authentifizierungsprozess und einen Erkennungsprozess eines Fahrers, einen Zustandserkennungsprozess des Fahrers, einen Erkennungsprozess eines Fahrgasts, einen Erkennungsprozess einer Fahrzeuginnenraumumgebung und dergleichen durch. Der zu erfassende Zustand des Fahrers umfasst zum Beispiel die körperliche Verfassung, den Wachzustand, das Konzentrationsniveau, das Ermüdungsniveau, die Sichtlinienrichtung und dergleichen. Die zu erfassende Fahrzeuginnenraumumgebung umfasst zum Beispiel Temperatur, Feuchtigkeit, Helligkeit, Geruch und dergleichen. Die Fahrzeuginnenseiten-Informationserfassungseinheit 142 liefert Daten, die ein Ergebnis eines Erfassungsprozesses angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und die Operationssteuereinheit 135.
Die Fahrzeugzustands-Erfassungseinheit 143 führt einen Erfassungsprozess des Zustands des eigenen Fahrzeugs auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100 durch. Der zu erfassende Zustand des eigenen Fahrzeugs umfasst zum Beispiel Geschwindigkeit, Beschleunigung, Lenkwinkel, Anwesenheit oder Abwesenheit und Inhalt von Abnormalität, Fahrbetriebszustand, Position und Neigung des elektrisch verstellbaren Sitzes, Türverriegelungszustand und Zustände von anderen fahrzeuginternen Vorrichtungen und dergleichen. Die Fahrzeugzustands-Erfassungseinheit 143 liefert Daten, die ein Ergebnis eines Erfassungsprozesses angeben, an die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und die Operationssteuereinheit 135.
Die Eigenpositions-Schätzungseinheit 132 führt einen Schätzungsprozess der Position, der Lage und dergleichen des eigenen Fahrzeugs auf der Basis von Daten oder Signalen von den jeweiligen Einheiten des Fahrzeugsteuersystems 100, wie z. B. der Fahrzeugaußenseiten-Informationserfassungseinheit 141 und der Situationserkennungseinheit 153 der Situationsanalyseeinheit 133, durch. Darüber hinaus erzeugt die Eigenpositions-Schätzungseinheit 132 eine lokale Karte (im Folgenden Situationserkennungskarte oder Umgebungskarte genannt), die nach Bedarf für die Schätzung der Eigenposition verwendet wird. Die lokale Karte ist zum Beispiel eine hochgenaue Karte, die eine Technik wie Simultane Lokalisierung und Kartenerstellung (SLAM) verwendet. Die Eigenpositions-Schätzungseinheit 132 liefert Daten, die ein Ergebnis des Schätzungsprozesses angeben, an die Kartenanalyseeinheit 151, die Verkehrsregel-Erkennungseinheit 152 und die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 und dergleichen. Darüber hinaus veranlasst die Eigenpositions-Schätzungseinheit 132 die Speichereinheit 111, die lokale Karte zu speichern.
Die Situationsanalyseeinheit 133 führt einen Analyseprozess des eigenen Fahrzeugs und der umgebenden Situation durch. Die Situationsanalyseeinheit 133 umfasst eine Kartenanalyseeinheit 151, eine Verkehrsregel-Erkennungseinheit 152, eine Situationserkennungseinheit 153 und eine Situationsprognoseeinheit 154.
Die Kartenanalyseeinheit 151 führt einen Analyseprozess von verschiedenen in der Speichereinheit 111 gespeicherten Kartentypen durch, indem sie nach Bedarf Daten oder Signale von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132 und der Fahrzeugaußenseiten-Informationserfassungseinheit 141, verwendet und eine Karte entwirft, die zur Verarbeitung von autonomem Fahren notwendige Informationen enthält. Die Kartenanalyseeinheit 151 liefert die entworfene Karte an die Verkehrsregel-Erkennungseinheit 152, die Situationserkennungseinheit 153, die Situationsprognoseeinheit 154 sowie eine Routenplanungseinheit 161, eine Aktionsplanungseinheit 162 und eine Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Verkehrsregel-Erkennungseinheit 152 führt einen Erkennungsprozess von Verkehrsregeln im Umfeld des eigenen Fahrzeugs auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußenseiten-Informationserfassungseinheit 141 und der Kartenanalyseeinheit 151, durch. Durch diesen Erkennungsprozess werden zum Beispiel Positionen und Zustände von Signalen im Umfeld des eigenen Fahrzeugs, Inhalte von Verkehrsbeschränkungen im Umfeld des eigenen Fahrzeugs und befahrbare Spuren und dergleichen erkannt. Die Verkehrsregel-Erkennungseinheit 152 liefert Daten, die ein Erkennungsverarbeitungsergebnis angeben, an die Situationsprognoseeinheit 154 und dergleichen.
Die Situationserkennungseinheit 153 führt einen Erkennungsprozess einer auf das eigene Fahrzeug bezogenen Situation auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Eigenpositions-Schätzungseinheit 132, der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenseiten-Informationserfassungseinheit 142, der Fahrzeugzustandserfassungseinheit 143 und der Kartenanalyseeinheit 151, durch. Beispielsweise führt die Situationserkennungseinheit 153 einen Erkennungsprozess einer Situation des eigenen Fahrzeugs, einer Situation im Umfeld des Fahrzeugs, einer Situation des Fahrers des Fahrzeugs und dergleichen durch. Außerdem erzeugt die Situationserkennungseinheit 153 nach Bedarf eine lokale Karte (im Folgenden Situationserkennungskarte oder Umgebungskarte genannt), die zum Erkennen der Situation im Umfeld des eigenen Fahrzeugs verwendet wird. Die Umgebungskarte ist zum Beispiel eine Belegungsgitterkarte.
Die zu erkennende Situation des eigenen Fahrzeugs umfasst zum Beispiel Position, Lage und Bewegung (zum Beispiel Geschwindigkeit, Beschleunigung, Bewegungsrichtung und dergleichen) des eigenen Fahrzeugs, Anwesenheit oder Abwesenheit und Inhalt von Abnormalität und dergleichen. Die zu erkennende Situation im Umfeld des eigenen Fahrzeugs umfasst zum Beispiel Art und Position eines stationären Objekts im Umfeld, Art, Position und Bewegung eines Bewegungsobjekts im Umfeld (zum Beispiel Geschwindigkeit, Beschleunigung, Bewegungsrichtung und dergleichen), Konfiguration und Straßenoberflächenzustand einer Straße im Umfeld, Umgebungswetter, Temperatur, Feuchtigkeit, Helligkeit und dergleichen. Der Zustand des Fahrers als Erkennungsziel umfasst zum Beispiel körperliche Verfassung, Wachzustand, Konzentrationsniveau, Ermüdungsniveau, Sichtlinienbewegung, Fahrbetrieb und dergleichen.
Die Situationserkennungseinheit 153 liefert Daten, die ein Ergebnis des Erkennungsprozesses angeben (der nach Bedarf die Situationserkennungskarte einschließt), an die Eigenpositions-Schätzungseinheit 132, die Situationsprognoseeinheit 154 und dergleichen. Außerdem veranlasst die Situationserkennungseinheit 153 die Speichereinheit 111, die Umgebungskarte zu speichern.
Die Situationsprognoseeinheit 154 führt einen Prognoseprozess einer auf das eigene Fahrzeug bezogenen Situation auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151, der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153, durch. Beispielsweise führt die Situationsprognoseeinheit 154 einen Prognoseprozess einer Situation des eigenen Fahrzeugs, einer Situation im Umfeld des Fahrzeugs, einer Situation des Fahrers und dergleichen durch.
Die zu prognostizierende Situation des eigenen Fahrzeugs umfasst zum Beispiel Verhalten des eigenen Fahrzeugs, Auftreten von Abnormalität, zurücklegbare Strecke und dergleichen. Die zu prognostizierende Situation im Umfeld des eigenen Fahrzeugs umfasst zum Beispiel ein Verhalten eines Bewegungsobjekts im Umfeld des eigenen Fahrzeugs, eine Änderung in einem Signalzustand, eine Änderung in der Umgebung, wie z. B. Wetter, und dergleichen. Die Situation des Fahrers als Prognoseziel umfasst zum Beispiel ein Verhalten und eine körperliche Verfassung und dergleichen des Fahrers.
Die Situationsprognoseeinheit 154 liefert Daten, die ein Ergebnis des Prognoseprozesses angeben, zusammen mit Daten von der Verkehrsregel-Erkennungseinheit 152 und der Situationserkennungseinheit 153 zu der Routenplanungseinheit 161, der Aktionsplanungseinheit 162 und der Operationsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154. Beispielsweise legt die Routenplanungseinheit 161 eine Route von der aktuellen Position zu einem angegebenen Ziel auf der Basis der globalen Karte fest. Darüber hinaus ändert die Routenplanungseinheit 161 zum Beispiel die Route gegebenenfalls auf der Basis von Situationen von Verkehrsstaus, Unfällen, Verkehrsbeschränkungen, Baustellen und dergleichen sowie der körperlichen Verfassung des Fahrers und dergleichen. Die Routenplanungseinheit 161 liefert Daten, die eine geplante Route angeben, an die Aktionsplanungseinheit 162 und dergleichen.
Auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154, plant die Aktionsplanungseinheit 162 Aktionen des eigenen Fahrzeugs, um die von der Routenplanungseinheit 161 geplante Route innerhalb einer geplanten Zeit sicher zurückzulegen. Beispielsweise entwickelt die Aktionsplanungseinheit 162 Pläne für Starten, Stoppen, Fahrtrichtung (zum Beispiel vorwärts, rückwärts, Linksabbiegen, Rechtsabbiegen, Richtungsänderung und dergleichen), Fahrspur, Fahrgeschwindigkeit, Überholen oder dergleichen. Die Aktionsplanungseinheit 162 liefert Daten, die geplante Aktionen des eigenen Fahrzeugs angeben, an die Operationsplanungseinheit 163 und dergleichen.
Die Operationsplanungseinheit 163 plant Operationen des eigenen Fahrzeugs, um die durch die Aktionsplanungseinheit 162 geplanten Aktionen auf der Basis von Daten oder Signalen von jeder Einheit des Fahrzeugsteuersystems 100, wie z. B. der Kartenanalyseeinheit 151 und der Situationsprognoseeinheit 154, zu implementieren. Beispielsweise führt die Operationsplanungseinheit 163 eine Planung von Beschleunigung, Verzögerung, Fahrspur und dergleichen durch. Die Operationsplanungseinheit 163 liefert Daten, welche die geplanten Operationen des eigenen Fahrzeugs angeben, an die Operationssteuereinheit 135.
Die Operationssteuereinheit 135 steuert Operationen des eigenen Fahrzeugs.
Die Operationssteuereinheit 135 führt einen Erfassungsprozess einer Notfallsituation, wie z. B. einer Kollision, eines Kontakts, eines Eintritts in eine Gefahrenzone, einer Abnormalität des Fahrers, oder einer Abnormalität des Fahrzeugs, auf der Basis von Erfassungsergebnissen der Fahrzeugaußenseiten-Informationserfassungseinheit 141, der Fahrzeuginnenseiten-Informationserfassungseinheit 142 und der Fahrzeugzustands-Erfassungseinheit 143 durch. Wenn die Operationssteuereinheit 135 das Auftreten eines Notfalls erkennt, plant die Operationssteuereinheit 135 eine Operation des eigenen Fahrzeugs, um den Notfall, wie z. B. eine Notbremsung oder plötzliches Abbiegen, zu vermeiden.
Die Operationssteuereinheit 135 führt eine Beschleunigungs-/Verzögerungssteuerung durch, um die von der Operationsplanungseinheit 163 geplante Operation des eigenen Fahrzeugs zu implementieren. Beispielsweise berechnet die Operationssteuereinheit 135 einen Steuerungszielwert des Antriebskrafterzeugers oder der Bremsvorrichtung, um die geplante Beschleunigung, Verzögerung oder Notbremsung zu implementieren, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
Die Operationssteuereinheit 135 führt eine Richtungssteuerung durch, um die von der Operationsplanungseinheit 163 geplante Operation des eigenen Fahrzeugs zu implementieren. Beispielsweise berechnet die Operationssteuereinheit 135 einen Steuerungszielwert eines Lenkmechanismus, um die von der Operationsplanungseinheit 163 geplante Bewegungsbahn oder eine scharfe Wende zu erzielen, und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebssystem-Steuereinheit 107.
<Konfigurationsbeispiel eines Robotersteuersystems, das ein Beispiel des Mobilkörper-Steuersystems in einem Fall ist, in dem der mobile Körper ein Roboter ist>
Als Nächstes wird ein Konfigurationsbeispiel eines Robotersteuersystems beschrieben, das ein Beispiel eines Mobilkörper-Steuersystems in einem Fall ist, in dem der mobile Körper ein Roboter ist.
6 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer schematischen Funktion eines Robotersteuersystems 200 darstellt, das den Roboter 191 steuert.
Beachten Sie, dass das Fahrzeugsteuersystem 100 von 5 und das Robotersteuersystem 200 von 6 Beispiele eines Mobilkörper-Steuersystems sind, auf das die vorliegende Technologie angewandt werden kann, und die auch als ein System zum Steuern anderer mobiler Körper, wie z. B. eines Flugzeugs, eines Schiffs, einer Drohne und dergleichen, angewandt werden kann.
Das Robotersteuersystem 200 weist eine Eingabeeinheit 201, eine Datengewinnungseinheit 202, eine Kommunikationseinheit 203, eine Mobilkörper-Innenvorrichtung 204, eine Ausgabesteuereinheit 205, eine Ausgabeeinheit 206, eine Antriebssystem-Steuereinheit 207, ein Antriebssystem 208, eine Speichereinheit 209 und eine Steuereinheit für autonome Fortbewegung 210 auf. Die Eingabeeinheit 201, die Datengewinnungseinheit 202, die Kommunikationseinheit 203, die Ausgabesteuereinheit 205, die Antriebssystem-Steuereinheit 207, die Speichereinheit 209 und die Steuereinheit für autonome Fortbewegung 210 sind über ein Kommunikationsnetz 221 miteinander verbunden. Das Kommunikationsnetz 221 ist zum Beispiel ein Kommunikationsnetz, ein Bus oder dergleichen, das einem beliebigen Standard wie z. B. Controller Area Network (CAN), Local Interconnect Network (LIN), Local Area Network (LAN) oder FlexRay (eingetragenes Markenzeichen) entspricht. Beachten Sie, dass die jeweiligen Einheiten des Robotersteuersystems 200 auch ohne Umweg über das Kommunikationsnetz 221 direkt verbunden sein können.
Beachten Sie, dass im Folgenden, wenn jede Einheit des Robotersteuersystems 200 über das Kommunikationsnetz 221 kommuniziert, eine Beschreibung des Kommunikationsnetzes 221 ausgelassen wird. Beispielsweise wird in einem Fall, in dem die Eingabeeinheit 201 und die Steuereinheit für autonome Fortbewegung 210 über das Kommunikationsnetz 221 miteinander kommunizieren, einfach beschrieben, dass die Eingabeeinheit 201 und die Steuereinheit für autonome Fortbewegung 210 miteinander kommunizieren.
Außerdem sind die Eingabeeinheit 201, die Datengewinnungseinheit 202, die Kommunikationseinheit 203, die Mobilkörper-Innenvorrichtung 204, die Ausgabesteuereinheit 205, die Ausgabeeinheit 206, die Antriebssystem-Steuereinheit 207, das Antriebssystem 208, die Speichereinheit 209 und die Steuereinheit für autonome Fortbewegung 210 Komponenten, die jeweils der Eingabeeinheit 101, der Datengewinnungseinheit 102, der Kommunikationseinheit 103, der Fahrzeug-Innenvorrichtung 104, der Ausgabesteuereinheit 105, der Ausgabeeinheit 106, der Antriebssystem-Steuereinheit 107, dem Antriebssystem 108, der Speichereinheit 111 und der Steuereinheit für autonomes Fahren 112 in 5 entsprechen, weshalb die auf die gleichen Funktionen bezogene Beschreibung gegebenenfalls ausgelassen wird.
Die Datengewinnungseinheit 202 bildet eine Sensorgruppe 212, die verschiedene Sensoren und dergleichen aufweist, die Daten erhalten, die in dem Robotersteuersystem 200 verarbeitet werden, und liefert die erhaltenen Daten an jede Einheit des Robotersteuersystems 200.
Beispielsweise weist die Datengewinnungseinheit 202 verschiedene Sensoren zum Erkennen eines Zustands oder dergleichen des mobilen Körpers auf. Insbesondere umfasst die Datengewinnungseinheit 202 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine Inertialmesseinheit (IMU) und einen Sensor oder dergleichen zum Erkennen eines Betätigungsbetrags einer Beschleunigungseingabe eines Fahrpedals oder dergleichen, eines Betätigungsbetrags einer Verzögerungseingabe, eines Betätigungsbetrags einer Richtungsanweisungseingabe, einer Umdrehungszahl, einer Eingangs-/Ausgangsenergie oder einer Kraftstoffmenge einer Antriebsvorrichtung, wie z. B. einer Kraftmaschine oder eines Motors, eines Drehmomentbetrags einer Kraftmaschine, eines Motors oder dergleichen, oder der Drehzahl oder des Drehmoments eines Rads oder eines Gelenks und dergleichen.
Beachten Sie, dass in dem Robotersteuersystem 200 der vorliegenden Offenbarung die Datengewinnungseinheit 202 die Kamera 11 von 1 als eine Bilderfassungsvorrichtung aufweist und als Tiefensensor 12 mindestens einen LiDAR, einen Laser-Entfernungsmesser, eine ToF-Kamera oder eine Stereokamera aufweist.
Die Ausgabesteuereinheit 205, die Ausgabeeinheit 206, die Antriebssystem-Steuereinheit 207 und das Antriebssystem 208 bilden eine Aktuatorgruppe 213, die einen Aktuator einschließlich eines Motors oder dergleichen für einen Fuß zum Gehen eines Roboters und einen Steuermechanismus für deren Steuerung aufweist.
Das Antriebssystem 208 weist verschiedene, mit dem Antriebssystem des mobilen Körpers verbundene, Vorrichtungen auf. Beispielsweise weist das Antriebssystem 208 einen Servomotor an jedem Gelenk von vier Beinen auf, der in der Lage ist, einen Winkel und ein Drehmoment zu bestimmen, einen Motion-Controller, der eine Fahrbewegung des Roboters selbst in Bewegungen von vier Beinen zerlegt und die Bewegung durch diese ersetzt, und eine Rückmeldungs-Steuervorrichtung mit einem Sensor in jedem Motor oder einem Sensor an der Sohle eines Fußes.
In einem anderen Beispiel umfasst das Antriebssystem 208 einen Motor, der vier bis sechs Aufwärtspropeller an dem Körper hat, und einen Motion-Controller, der eine Fahrbewegung des Roboters selbst in die Drehbeträge der jeweiligen Motoren zerlegt und die Bewegung durch diese ersetzt.
Darüber hinaus weist das Antriebssystem 208 in einem anderen Beispiel einen Antriebskrafterzeuger zum Erzeugen einer Antriebskraft für eine interne Brennkraftmaschine oder einen Antriebsmotor, einen Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, einen Lenkmechanismus zum Einstellen eines Lenkwinkels, eine Bremsvorrichtung zum Erzeugen einer Bremskraft, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektrische Servolenkvorrichtung und dergleichen auf.
Die Steuereinheit für autonome Fortbewegung 210 führt eine auf autonome Fortbewegung, wie z. B. automatisches Fahren oder Fahrassistenz, des Roboters 191 bezogene Steuerung durch. Insbesondere führt die Steuereinheit für autonome Fortbewegung 210 eine kooperative Steuerung zum Erzielen von Funktionen zum Vermeiden einer Kollision oder Mildern eines Aufpralls des mobilen Körpers, Verfolgungsfahren basierend auf einer Distanz zwischen mobilen Körpern, Fahren des mobilen Körpers unter Beibehaltung der Geschwindigkeit, oder Kollisionswarnung des mobilen Körpers durch. Darüber hinaus führt die Steuereinheit für autonome Fortbewegung 210 zum Beispiel eine auf autonome Fortbewegung oder dergleichen abgezielte kooperative Steuerung durch, um autonome Fortbewegung unabhängig von einer Operation eines Bedieners oder Benutzers zu erzielen. Die Steuereinheit für autonome Fortbewegung 210 weist eine Erfassungseinheit 231, eine Eigenpositions-Schätzungseinheit 232, eine Situationsanalyseeinheit 233, eine Planungseinheit 234 und eine Operationssteuereinheit 235 auf.
Die Erfassungseinheit 231 erfasst verschiedene Arten von Informationen, die zum Steuern von autonomer Fortbewegung notwendig sind. Die Erfassungseinheit 231 umfasst eine Mobilkörper-Externinformationen-Erfassungseinheit 241, eine Mobilkörper-Interninformationen-Erfassungseinheit 242 und eine Mobilkörper-Zustandserfassungseinheit 243.
Die Mobilkörper-Externinformationen-Erfassungseinheit 241 führt einen Erfassungsprozess von externen Informationen des mobilen Körpers auf der Basis von Daten oder Signalen von jeder Einheit des Robotersteuersystems 200 durch. Beispielsweise führt die Mobilkörper-Externinformationen-Erfassungseinheit 241 einen Erfassungsprozess, einen Erkennungsprozess und einen Verfolgungsprozess eines Objekts im Umfeld des mobilen Körpers und einen Erfassungsprozess des Abstands zu dem Objekt durch. Objekte als Erkennungsziele umfassen zum Beispiel mobile Körper, Personen, Hindernisse, Strukturen, Straßen, Verkehrsampeln, Verkehrsschilder, Straßenmarkierungen und dergleichen. Darüber hinaus führt die Mobilkörper-Externinformationen-Erfassungseinheit 241 zum Beispiel einen Erfassungsprozess der Umgebung des mobilen Körpers durch. Die Umgebung als Erkennungsziel umfasst zum Beispiel Wetter, Temperatur, Feuchtigkeit, Helligkeit, Straßenoberflächenzustände und dergleichen. Die Mobilkörper-Exteminformationen-Erfassungseinheit 241 liefert Daten, die ein Ergebnis des Erfassungsprozesses angeben, an die Eigenpositions-Schätzungseinheit 232, eine Kartenanalyseeinheit 251 und eine Situationserkennungseinheit 252 der Situationsanalyseeinheit 233, und die Operationssteuereinheit 235.
Die Mobilkörper-Interninformationen-Erfassungseinheit 242 führt einen Erfassungsprozess von internen Informationen des mobilen Körpers auf der Basis von Daten oder Signalen von jeder Einheit des Robotersteuersystems 200 durch. Beispielsweise führt die Mobilkörper-Interninformationen-Erfassungseinheit 242 einen Authentifizierungsprozess und einen Erkennungsprozess eines Fahrers, einen Fahrerzustands-Erfassungsprozess, einen Fahrgasterfassungsprozess und einen Umgebungserfassungsprozess innerhalb des mobilen Körpers und dergleichen durch. Der zu erfassende Zustand des Fahrers umfasst zum Beispiel die körperliche Verfassung, den Wachzustand, das Konzentrationsniveau, das Ermüdungsniveau, die Sichtlinienrichtung und dergleichen. Die Umgebung innerhalb des mobilen Körpers als Erkennungsziel umfasst zum Beispiel Temperatur, Feuchtigkeit, Helligkeit, Geruch und dergleichen. Die Mobilkörper-Interninformationen-Erfassungseinheit 242 liefert Daten, die ein Ergebnis eines Erfassungsprozesses angeben, an die Situationserkennungseinheit 252 der Situationsanalyseeinheit 233 und die Operationssteuereinheit 235.
Die Mobilkörper-Zustandserfassungseinheit 243 führt einen Erfassungsprozess des Zustands des mobilen Körpers auf der Basis von Daten oder Signalen von jeder Einheit des Robotersteuersystems 200 durch. Der Zustand des mobilen Körpers als Erkennungsziel umfasst zum Beispiel Geschwindigkeit, Beschleunigung, Lenkwinkel, Anwesenheit oder Abwesenheit und Inhalt von Abnormalität, Fahrbetriebszustand, Position und Neigung des elektrisch verstellbaren Sitzes, Türverriegelungszustand und Zustände von anderen am mobilen Körper montierten Vorrichtungen und dergleichen. Die Mobilkörper-Zustandserfassungseinheit 243 liefert Daten, die ein Ergebnis des Erfassungsprozesses angeben, an die Situationserkennungseinheit 252 der Situationsanalyseeinheit 233 und die Operationssteuereinheit 235.
Die Eigenpositions-Schätzungseinheit 232, die Situationsanalyseeinheit 233, die Planungseinheit 234 und die Operationssteuereinheit 235 sind Komponenten, die jeweils der Eigenpositions-Schätzungseinheit 132, der Situationsanalyseeinheit 133, der Planungseinheit 134 und der Operationssteuereinheit 135 von 5 entsprechen, weshalb ihre Beschreibung ausgelassen wird. Aber in der Situationsanalyseeinheit 233 von 6 ist die der Verkehrsregel-Erkennungseinheit 152 entsprechende Komponente gelöscht.
<Konfigurationsbeispiel der Situationserkennungseinheit>
Als Nächstes wird unter Bezugnahme auf 7 ein Konfigurationsbeispiel der Situationserkennungseinheit 153 in 5 beschrieben. Beachten Sie, dass die Situationserkennungseinheit 153 von 5 der Situationserkennungseinheit 252 von 6 entspricht, weshalb ihre Beschreibung ausgelassen wird.
Wie oben beschrieben, erzeugt die Situationserkennungseinheit 153 eine lokale Karte (im Folgenden auch Umgebungskarte (oder Situationserkennungskarte) genannt), die zum Erkennen einer Situation im Umfeld des mobilen Körpers verwendet wird, auf der Basis des von der Kamera 11, einschließlich einer monokularen Kamera, aufgenommenen Bilds und der durch den Tiefensensor 12, wie z. B. einen LiDAR-Sensor (Light Detection and Ranging, Laser Imaging Detection and Ranging), einen ToF-Sensor oder eine Stereokamera unter den Erkennungsergebnissen der Datengewinnungseinheit 102, erfassten Punktwolkeninformationen. Die Umgebungskarte (Situationserkennungskarte) enthält zum Beispiel eine Belegungsgitterkarte.
Genauer gesagt, die Situationserkennungseinheit 153 umfasst eine Bilderfassungseinheit 301, eine semantische Segmentierungseinheit 302, eine Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303, eine Bewegungsbereichsgrenzen-Schätzungseinheit 304, eine Umgebungskarten-Erzeugungseinheit 305, eine Punktwolken-Erfassungseinheit 306, eine Koordinatenkonvertierungseinheit 307, eine Interpolationseinheit 308 und eine Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309.
Die Bilderfassungseinheit 301 erfasst (nimmt auf) ein von der Kamera 11 aufgenommenes Bild, führt eine Bildkorrektur, wie z. B. Aufhebung von Objektivverzeichnung, durch, und gibt dann das Bild an die semantische Segmentierungseinheit 302 aus.
Die semantische Segmentierungseinheit 302 klassifiziert den Typ eines Objekts in Einheiten von Pixeln für das erfasste Bild durch die semantische Segmentierung auf der Basis des von der Bilderfassungseinheit 301 gelieferten Bilds, erteilt eine semantische Kennzeichnung, die einem Klassifizierungsergebnis entspricht, und gibt das Bild an die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 aus. Zu diesem Zeitpunkt liest die semantische Segmentierungseinheit 302 von einem Verzeichnis 302a, in dem durch maschinelles Lernen, wie z. B. Deep Learning, erhaltene Informationen gespeichert sind, notwendige Informationen aus und verwendet diese. Beachten Sie, dass die semantische Segmentierung später unter Bezugnahme auf 8 ausführlich beschrieben wird.
Die Punktwolken-Erfassungseinheit 306 erfasst (erhält) die von dem Tiefensensor 12 gelieferten Punktwolkeninformationen und gibt die Informationen als ein Distanzbild (Tiefenbild) an die Koordinatenkonvertierungseinheit 307 aus.
Die Koordinatenkonvertierungseinheit 307 konvertiert das Koordinatensystem in einem Raum jedes Punkts, der das Distanzbild, erfasst durch den Blickpunkt des Tiefensensors 12, bildet, in das Koordinatensystem des Blickpunkts der Kamera 11 und gibt das Distanzbild an die Umgebungskarten-Erzeugungseinheit 305, die Interpolationseinheit 308 und die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 aus. Wenn die Koordinatenkonvertierungseinheit 307 ein Koordinatensystem konvertiert, verwendet sie Informationen einer Kalibrierungsdatei 307a, in der durch Kalibrierung erhaltene Informationen aufgezeichnet sind. Beachten Sie, dass die Umwandlung des Koordinatensystems später unter Bezugnahme auf 9 ausführlich beschrieben wird.
Die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 erzeugt einen Tiefenbewegungsbereichsgrenzenaufwand mit Hilfe des in das Koordinatensystem der Kamera 11 umgewandelten Distanzbilds und gibt den Tiefenbewegungsbereichsgrenzenaufwand an die Bewegungsbereichsgrenzen-Schätzungseinheit 304 aus.
Hier repräsentiert der Tiefenbewegungsbereichsgrenzenaufwand eine Möglichkeit, dass die Grenze zwischen einer Straßenoberfläche, einer Ebene oder dergleichen, die ein Bewegungsbereich ist, und einem Bereich außer dem Bewegungsbereich existiert, von Informationen des Distanzbilds, basierend auf den durch den Tiefensensor 12 erfassten Punktwolkeninformationen, als eine Verteilung von Aufwand für jede Position in dem Distanzbild. Beachten Sie, dass der Tiefenbewegungsbereichsgrenzenaufwand später unter Bezugnahme auf die 10 und 11 ausführlich beschrieben wird.
Die Interpolationseinheit 308 verwendet das in das Koordinatensystem der Kamera 11 umgewandelte Distanzbild, um Distanzinformationen zwischen jeweiligen Punkten, die das Distanzbild bilden, zu interpolieren und zu erzeugen, um dadurch ein Distanzinformationen in Einheiten von Pixeln enthaltendes Distanzbild zu erzeugen, das im Wesentlichen die gleiche Auflösung wie das von der Kamera 11 aufgenommene Bild hat, und gibt das Distanzbild an die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 aus.
Die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 erzeugt einen Bildbewegungsbereichsgrenzenaufwand auf der Basis von Informationen der semantischen Kennzeichnung in Einheiten von Pixeln, geliefert von der semantischen Segmentierungseinheit 302, und den Distanzinformationen in Einheiten von Pixeln des Koordinatensystems mit der gleichen Auflösung und an der gleichen Position wie das von der Kamera 11 aufgenommene Bild, geliefert von der Interpolationseinheit 308, und gibt den Bildbewegungsbereichsgrenzenaufwand an die Bewegungsbereichsgrenzen-Schätzungseinheit 304 aus.
Hier repräsentiert der Bildbewegungsbereichsgrenzenaufwand eine Verteilung der Möglichkeit, dass die Grenze zwischen der Straßenoberfläche, die der Bewegungsbereich ist, und einem anderen Bereich existiert, als ein Aufwand für jede Position in dem Bild, auf der Basis der semantischen Kennzeichnung, die ein Ergebnis der semantischen Segmentierung des von der Kamera 11 aufgenommenen Bilds ist. Beachten Sie, dass der Bildbewegungsbereichsgrenzenaufwand später unter Bezugnahme auf 12 ausführlich beschrieben wird.
Die Bewegungsbereichsgrenzen-Schätzungseinheit 304 schätzt eine Bewegungsbereichsgrenze auf der Basis des Bildbewegungsbereichsgrenzenaufwands, geliefert von der Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303, und des Tiefenbewegungsbereichsgrenzenaufwands, geliefert von der Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, und führt ein Schätzungsergebnis der Umgebungskarten-Erzeugungseinheit 305 zu. Zu diesem Zeitpunkt liefert die Bewegungsbereichsgrenzen-Schätzungseinheit 304 auch ein Klassifizierungsergebnis der semantischen Kennzeichnungen in Einheiten von Pixeln zusammen mit Informationen des Distanzbilds zu der Bewegungsbereichsgrenzen-Schätzungseinheit 304. Beachten Sie, dass das Verfahren zum Schätzen der Bewegungsbereichsgrenze basierend auf dem Bildbewegungsbereichsgrenzenaufwand und dem Tiefenbewegungsbereichsgrenzenaufwand später unter Bezugnahme auf 13 ausführlich beschrieben wird.
Die Umgebungskarten-Erzeugungseinheit 305 erzeugt und gibt aus eine Umgebungskarte auf der Basis von Informationen der Bewegungsbereichsgrenze, geliefert von der Bewegungsbereichsgrenzen-Schätzungseinheit 304, Informationen der semantischen Kennzeichnung in Einheiten von Pixeln, und das Distanzbild, einschließlich der koordinatenkonvertierten Punktwolkeninformationen, geliefert von der Koordinatenkonvertierungseinheit 307.
Details eines Verfahrens zum Erzeugen der Umgebungskarte basierend auf auf den Informationen der Bewegungsbereichsgrenze, des Distanzbilds in Einheiten von Pixeln und der Informationen der semantischen Kennzeichnung werden später unter Bezugnahme auf die 14 und 15 ausführlich beschrieben.
<Semantische Segmentierung>
Als Nächstes wird unter Bezugnahme auf 8 die semantische Segmentierung durch die semantische Segmentierungseinheit 302 beschrieben.
Bedenken wir beispielsweise, dass, wie in einem linken Teil von 8 dargestellt, die Kamera 11 ein Bild P101 bei einem Blickwinkel Z1 aufnimmt, so dass eine Straßenoberfläche 341 in einem Raum, der links und rechts zwischen stationären Strukturen 342-1 und 342-2 eingeschlossen ist, vorhanden ist, eine Person 344 auf der Straßenoberfläche 341 existiert und ein Himmel 343 im Hintergrund sichtbar ist.
Durch maschinelles Lernen, wie z. B. Deep Learning, identifiziert und klassifiziert die semantische Segmentierungseinheit 302 ein Objekt in dem Bild P101 in Einheiten von Pixeln auf der Basis des Bilds P101, wie in einer oberen Mitte von 8 dargestellt, und erteilt eine semantische Kennzeichnung (führt Kennzeichnen zu einer semantischen Kennzeichnung durch).
In einem Fall des Bilds P101, das in einem oberen rechten Teil von 8 dargestellt ist, wird das Bild zum Beispiel durch die semantische Segmentierung klassifiziert und gekennzeichnet, wie in dem Kennzeichnungsbild P101 in einem unteren rechten Teil von 8 dargestellt.
Das heißt, in einem Kennzeichnungsbild P102 wird jeder Pixel, der zu einem Bereich Z51 im unteren Teil des Bilds gehört, als die Straßenoberfläche 341 klassifiziert, Pixel, die zu den Bereichen Z52-1 und Z52-2 gehören, werden jeweils als die linken und rechten stationären Strukturen 342-1 und 342-2 klassifiziert, Pixel, die zu einem Bereich Z53 gehören, werden als Himmel 343 über dem Hintergrund klassifiziert, und Pixel, die zu einem Bereich Z54 gehören, werden als die Person 344 klassifiziert.
Zusätzlich zu dem Beispiel von 8 identifiziert die semantische Segmentierungseinheit 302 zum Beispiel die Straßenoberfläche, stationäre Strukturen (Wände, Leitplanken, Bäume, Strommasten und dergleichen), Fahrzeuge (Automobile, Lastkraftwagen, Busse und dergleichen), Zweiradfahrzeuge (Motorräder, Fahrräder), Menschen, horizontale Balken (Bahnschranken, ETC-Schranken, Parkschranken) und den Himmel in Einheiten von Pixeln auf der Basis des Bilds und kennzeichnet sie mit der semantischen Kennzeichnung.
<Koordinatenkonvertierung des Distanzbilds>
Die Punktwolkeninformationen, die ein Messergebnis des Tiefensensors 12 sind, stellen Koordinateninformationen einer Punktgruppe in einem dreidimensionalen Raum dar, doch um die Positionsbeziehung des Koordinatensystems übereinstimmend zu machen, so dass dieses Messergebnis auf das von der Kamera 11 aufgenommene Bild überlagert werden kann, muss das Koordinatensystem in den Punktwolkeninformationen in das Koordinatensystem der Kamera 11 umgewandelt werden.
Beispielsweise wird ein dem Bild P111 entsprechendes Distanzbild erzeugt, indem ein Distanzmessungsergebnis für jede Lichtprojektionsrichtung Lp des Tiefensensors 12 auf das von der Kamera 11 aufgenommene Bild P111, das in einem oberen linken Teil von 9 dargestellt ist, überlagert wird. Aber das Koordinatensystem des von der Kamera 11 aufgenommenen Bilds und das Koordinatensystem des von dem Tiefensensor 12 erfassten Distanzbilds werden nicht zum selben Koordinatensystem, weil die jeweiligen Blickpunkte der Kamera 11 und des Tiefensensors 12 unterschiedlich sind. Daher, selbst wenn die Distanzinformationen, die das Distanzmessungsergebnis für jede Lichtprojektionsrichtung Lp des Tiefensensors 12 sind, einfach auf das von der Kamera 11 aufgenommene Bild überlagert werden, werden die Informationen in einem verschobenen Zustand in Einheiten von Pixeln überlagert.
Die Koordinatenkonvertierungseinheit 307 erhält die Kalibrierungsdatei 307a, die Informationen von relativen Positionen des Tiefensensors 12 und der Kamera 11 sowie Informationen einer Bildmitte und einer Brennweite der Kamera 11 enthält, als Vorabinformationen und benutzt die Informationen in dieser Kalibrierungsdatei 307a, um das Koordinatensystem des Distanzbilds durch eine Berechnung umzuwandeln, wie folgt.
Zuerst konvertiert die Koordinatenkonvertierungseinheit 307 das Koordinatensystem des Tiefensensors 12, der ein LiDAR aufweist, in das Koordinatensystem der Kamera 11.
Das heißt, wie in einem oberen rechten Teil von 9 dargestellt, sind die relative Positionsbeziehung der Koordinaten X_LIDAR (= transponierte Matrix von [x₁, y₁, z₁]), die das Koordinatensystem des Tiefensensors 12 darstellt, und die Koordinaten X_cam (= transponierte Matrix von [x_c, y_c, z_c]) auf einer Abbildungsebene D des Koordinatensystems der Kamera 11 als Vorabinformationen durch Kalibrierung bekannt und werden zum Beispiel als die folgende Gleichung (1) erhalten.
$X_{cam} = {RX}_{LiDAR} + T$
Hier ist R eine Rotationsmatrix, welche die Drehung zwischen dem Tiefensensor 12 und der Kamera 11 angibt, die im Voraus durch Kalibrierung bekannt ist, und T ist ein Verschiebungsvektor, der ebenfalls im Voraus durch Kalibrierung bekannt ist.
Durch Berechnen der oben beschriebenen Formel (1) werden Koordinaten eines Punkts X des Distanzmessungsergebnisses, gemessen als die Informationen des Koordinatensystems des Tiefensensors 12, in das Kamera-Koordinatensystem umgewandelt.
Als Nächstes verknüpft die Koordinatenkonvertierungseinheit 307 das Distanzmessungsergebnis des Tiefensensors 12 mit dem Koordinatensystem auf der Abbildungsfläche der Kamera 11.
Das heißt, wenn die Position X_cam (= [x_c, y_c, z_c] Transponierung) des Hindernisses, das von dem LiDAR aufweisenden Tiefensensor 12 erfasst wird, erhalten wird, wie in einem unteren rechten Teil von 9 dargestellt, kann eine xi-Koordinate in einer Bildebene, basierend auf einer Bildmitte Pc der Abbildungsebene D eines Objekts in der Abbildungsebene D als die folgende Formel (2) erhalten werden.
$xi = f \times xc/zc$
Hier ist f die Brennweite der Kamera 11.
Außerdem kann gleichermaßen eine yi-Koordinate durch die folgende Formel (3) berechnet werden.
$yi = f \times yc/zc$
Demzufolge kann die Position des Objekts auf der Abbildungsebene D identifiziert werden.
Das heißt, die Koordinaten X_LiDAR (= [x₁, y₁, z₁]) von Punkten der durch den Tiefensensor 12 erfassten Punktwolkeninformationen (Distanzbild) werden in die Koordinaten X_cam(= [x_c, y_c, z_c]) von dreidimensionalen Punkten in dem Koordinatensystem der Kamera 11 auf der Basis der Lichtprojektionsrichtung umgewandelt. Darüber hinaus werden die Koordinaten (xi, yi) auf der Abbildungsebene, zentriert auf der Abbildungsebene D, die den Koordinaten X_cam (= [x_c, y_c, z_c]) von dreidimensionalen Punkten in dem Koordinatensystem der Kamera 11 entsprechen, mit den Formeln (2) und (3) auf der Basis der Brennweite f der Kamera 11 berechnet.
Durch diese Verarbeitung erzeugt die Koordinatenkonvertierungseinheit 307 ein Distanzbild P112, wie in einem unteren linken Teil von 9 dargestellt.
Das Distanzbild P112 hat die gleiche Pixelanordnung wie das Bild der Kamera 11, und in einem Fall, in dem es in der Lichtprojektionsrichtung des Tiefensensors 12 liegt und Distanzinformationen unter den jeweiligen Pixeln (xi, yi) durch die Umwandlung des oben beschriebenen Koordinatensystems vorhanden sind, werden Distanzdaten (zc in dem unteren rechten Teil von 9) in Verknüpfung gespeichert, und in einem Fall, in dem es nicht in der Lichtprojektionsrichtung liegt und keine Distanzinformationen vorhanden sind, wird zum Beispiel Null als Daten der Distanz gespeichert.
<Tiefenbewegungsbereichsgrenzenaufwand>
Als Nächstes wird der Tiefenbewegungsbereichsgrenzenaufwand unter Bezugnahme auf 10 beschrieben.
Der Tiefenbewegungsbereichsgrenzenaufwand repräsentiert eine Verteilung der Möglichkeit, dass eine Bewegungsbereichsgrenze, basierend auf dem durch den Tiefensensor 12 erfassten Distanzbild, als Aufwand für jede Position in dem Distanzbild existiert.
Betrachten wir beispielsweise einen Fall, in dem ein Distanzbild P121, wie auf einer oberen linken Seite von 10 dargestellt, durch den Tiefensensor 12 erfasst wird. Beachten Sie, dass Kreise in dem Distanzbild P121 Positionen auf Koordinaten angeben, die dem von der Kamera 11 aufgenommenen Bild entsprechen, für das Laser zur Distanzmessung emittiert wird, von einem Objekt reflektiertes Licht gemessen wird, und eine Distanz von der Umlaufzeit davon gemessen wird. Aber die Auflösung des Distanzbilds P121 ist niedriger als die Auflösung des von der Kamera 11 aufgenommenen Bilds.
Um eine Grenze zwischen dem Bewegungsbereich des mobilen Körpers und einem anderen Bereich als dem Bewegungsbereich in dem Distanzbild P121 zu erhalten, extrahiert die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 zum Beispiel Distanzinformationen D31 in Einheiten von Spalten von dem Distanzbild P121, wie auf einer mittleren linken Seite von 10 dargestellt. Beachten Sie, dass im Folgenden die Distanzinformationen D31 in Einheiten von Spalten einfach Spalteneinheits-Distanzinformationen D31 genannt werden.
In diesem Fall, für jede Spalteneinheitsdistanz-Einzelinformation D31, wenn ein Grenze in irgendeiner davon vorhanden ist, existiert die Grenze B in jeder der Spalteneinheits-Distanzinformationen D31, wie auf einer mittleren rechten Seite von 10 dargestellt. Dementsprechend schätzt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 die Bewegungsbereichsgrenze in dem Distanzbild P121, indem sie die Grenze B der Spalteneinheits-Distanzinformationen D31 jeder Spalte in dem Distanzbild P121 erhält.
Genauer gesagt, da jedes Stück der Distanzinformationen, das die Spalteneinheits-Distanzinformationen D31 bildet, Punktwolkeninformationen sind, werden Koordinaten in einem dreidimensionalen Raum erhalten. Dementsprechend erzeugt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 eine Verteilung D33, in der eine horizontale Achse Distanz ist, und eine vertikale Achse Höhe ist, wie in einem unteren Teil von 10 dargestellt, auf der Basis jedes Stücks von Distanzinformationen, das die Spalteneinheits-Distanzinformationen D31 bildet.
Ein Bereich Z101, der eine geringe Höhe und eine sich fortlaufend ändernde Distanz aufweist, wie durch die Verteilung D33 in dem unteren Teil von 10 dargestellt, kann als ein flacher Bewegungsbereich betrachtet werden. Darüber hinaus kann ein Bereich D102, der eine wechselnde Höhe und eine konstante Distanz aufweist, als ein Bereich betrachtet werden, in ein Hindernis existiert, und der kein Bewegungsbereich ist.
Dementsprechend nimmt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 an, dass die durch ein Kreuz in dem Diagramm angegebene Position, an der sich der Bereich D101, der von der Verteilung D33 her als ein Bewegungsbereich betrachtet werden kann, und der Bereich D102, der als ein anderer Bereich als der Bewegungsbereich betrachtet werden kann, schneiden, die Grenze zwischen dem Bewegungsbereich und dem anderen Bereich als dem Bewegungsbereich ist.
Dann, für jede Spalte in dem Distanzbild P121, extrahiert die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 die Spalteneinheits-Distanzinformationen D31, um die Verteilung D33 zu erzeugen, und erhält nacheinander Positionen, die dem Kreuz im unteren Teil von 10 entsprechen, um dadurch die Grenze zwischen dem Bewegungsbereich und dem anderen Bereich für alle Spalten zu erhalten.
Darüber hinaus legt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 den Aufwand gemäß den jeweiligen Distanzen von Positionen fest, welche die Grenze des erhaltenen Bewegungsbereichs sein sollen. Das heißt, in dem durch den Tiefensensor 12 erfassten Distanzbild, ist die Zuverlässigkeit des Tiefensensors 12 umso höher, je näher die Distanz ist, und die Zuverlässigkeit des Tiefensensors 12 ist umso niedriger, je weiter die Distanz ist, wie unter Bezugnahme auf 3 beschrieben. Daher erhält die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 eine Aufwandsverteilung P122, wie auf der oberen rechten Seite von 10 dargestellt.
Das heißt, in einem Fall, in dem das von der Kamera 11 aufgenommene Bild wie das Bild P31 in 4 ist, wird der Aufwand an der Position der Grenze B1 mit der Straßenoberfläche 31, die der Bewegungsbereich ist, niedriger gesetzt, um eine höhere Möglichkeit, die Grenze zu sein, anzugeben, je näher die Distanz ist (in einer Farbe nahe Weiß dargestellt, je näher die Distanz ist), und der Aufwand wird höher gesetzt, um eine geringere Möglichkeit, die Grenze zu sein, anzugeben, je weiter die Distanz ist (in einer Farbe nahe Schwarz dargestellt, je weiter die Distanz ist).
Demzufolge, wie durch die Aufwandsverteilung P122 dargestellt, wird die Verteilung eines Aufwands, die auf der Basis des Distanzbilds geschätzt wird, und welche die Möglichkeit angibt, dass die Grenze des Bewegungsbereichs existiert, der Tiefenbewegungsbereichsgrenzenaufwand sein.
Mit anderen Worten, der Tiefenbewegungsbereichsgrenzenaufwand repräsentiert einen Bereich, in dem die Grenze des Bewegungsbereichs, geschätzt auf der Basis des Distanzbilds, in der Verteilung der Aufwand genannten Möglichkeit existiert.
<Spezielles Verfahren zum Erhalten des Tiefenbewegungsbereichsgrenzenaufwands>
Hier wird unter Bezugnahme auf 11 ein spezielles Verfahren zum Erhalten des Tiefenbewegungsbereichsgrenzenaufwands in einem Fall beschrieben, in dem die Verteilung D33, basierend auf den Spalteneinheits-Distanzinformationen D31, verwendet wird.
(Erstes Gewinnungsverfahren)
Ein erstes Gewinnungsverfahren ist dergestalt, dass die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, wie in einer Verteilung W1 (der Verteilung D33 entsprechend) oben in 11 dargestellt, zuerst eine vorbestimmte Höhe T11 entsprechend der Höhe der Straßenoberfläche 31 als Höhe des Bewegungsbereichs festlegt. Dann addiert die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, auf der Basis der Verteilung W1 der Spalteneinheits-Distanzinformationen D31, die Verteilung für jede Distanz in Bezug auf eine Verteilung von Positionen höher als die vorbestimmte Höhe T11 und legt eine inverse Zahl des Additionsergebnisses als Zusatzaufwand fest. In der Verteilung W1 von 11, da das Additionsergebnis durch die Verteilung eines Bereichs Dill, der als ein Hindernis betrachtet werden kann, der größte ist, ist der Zusatzaufwand an einer Position in dem Bereich D111 (die Position eines Kreuzes in dem Diagramm) das Minimum, und somit kann er als eine Grenze des Bewegungsbereichs betrachtet werden.
Daher wird in diesem Fall der Zusatzaufwand auf der Basis von Distanzinformationen festgelegt, die als die Grenze des Bewegungsbereichs in jeder Spalte betrachtet werden.
Darüber hinaus wird ferner ein Distanzaufwand gemäß der Distanz in den Spalteneinheits-Distanzinformationen D31 festgelegt, und der Distanzaufwand wird kleiner festgelegt, um eine höhere Möglichkeit anzugeben, dass die Grenze existiert, je näher die Distanz ist, und der Distanzaufwand wird größer festgelegt, um eine geringere Möglichkeit anzugeben, dass die Grenze existiert, je weiter die Distanz ist.
Dann erhält die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 schließlich den Tiefenbewegungsbereichsgrenzenaufwand in Einheiten von Pixeln auf der Basis des Zusatzaufwands und des Distanzaufwands, zum Beispiel durch das Produkt des Zusatzaufwands und des Distanzaufwands.
(Zweites Gewinnungsverfahren)
Ein zweites Gewinnungsverfahren ist dergestalt, dass die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, wie in einer Verteilung W2 (der Verteilung D33 entsprechend) in der zweiten Reihe von oben in 11 dargestellt, zuerst eine Ebene T12 festlegt, die der Straßenoberfläche 31 entspricht, die der Bewegungsbereich ist, der durch Ebenenanpassung auf der Basis der Verteilung W2 der Spalteneinheits-Distanzinformationen D31 festgelegt wird. Dann addiert die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 die Verteilung für jede Distanz in Bezug auf eine Verteilung von Positionen höher als die Ebene T12 in der Verteilung W2 und legt eine inverse Zahl eines Additionsergebnisses als Zusatzaufwand fest. In der Verteilung W2 von 11, da das Additionsergebnis durch die Verteilung eines Bereichs D112, der als ein Hindernis betrachtet werden kann, der größte ist, ist der Zusatzaufwand an einer Position in dem Bereich D111 (die Position eines Kreuzes in dem Diagramm) das Minimum, und somit kann er als eine Grenze des Bewegungsbereichs betrachtet werden.
Darüber hinaus legt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 den Distanzaufwand ähnlich dem ersten Gewinnungsverfahren fest, und erhält schließlich den Tiefenbewegungsbereichsgrenzenaufwand in Einheiten von Pixeln auf der Basis des Zusatzaufwands und des Distanzaufwands, zum Beispiel durch das Produkt des Zusatzaufwands und des Distanzaufwands.
(Drittes Gewinnungsverfahren)
Ein drittes Gewinnungsverfahren ist dergestalt, dass die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, wie in einer Verteilung W3 (der Verteilung D33 entsprechend) in der dritten Reihe von oben in 11 dargestellt, ein L-förmiges Modell (ein schlüsselförmiges Modell mit einer vorbestimmten Länge in der Horizontalrichtung und einer vorbestimmten Höhe in der Vertikalrichtung) LT11 an einer nächstgelegenen Position einpasst, so dass eine Ecke der L-Form fern ist, und ein Teil einer horizontalen Seite der L-Form auf einem Ebenenteil liegt, welcher der Bewegungsbereich in der Verteilung W3 ist. Der Aufwand der Distanz (im Folgenden einfach Distanzaufwand genannt) ist zu diesem Zeitpunkt auf den Minimalwert festgelegt.
Dann bestimmt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 auf der Basis der Verteilung W3 der Spalteneinheits-Distanzinformationen D31, ob die Verteilung an einer Position höher als die horizontale Seite des L-förmigen Modells innerhalb des Bereichs einer Horizontalseitenlänge des L-förmigen Modells existiert oder nicht. Hier, wie durch das L-förmige Modell LT11 dargestellt, wenn die Verteilung nicht an einer Position höher als die Horizontalseite existiert, erhöht die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 den Distanzaufwand um einen vorbestimmten Wert, um zum Beispiel das L-förmige Modell um den vorbestimmten Wert wegzuschieben, wie durch ein L-förmiges Modell LT12 angegeben. Dann bestimmt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, ob die Verteilung an einer Position höher als die Horizontalseite des L-förmigen Modells innerhalb des Bereichs der Horizontalseitenlänge des L-förmigen Modells existiert oder nicht, und wiederholt einen ähnlichen Prozess.
Das heißt, falls ein Zustand, dass die Verteilung nicht an einer Position höher als die Horizontalseite des L-förmigen Modells existiert, wiederholt wird, wird die Distanz allmählich fern, und ein ähnlicher Prozess wird wiederholt, während der Distanzaufwand erhöht wird.
Hier, in einem Fall, wie durch ein L-förmiges Modell LT13 dargestellt, auf der Basis der Verteilung der Spalteneinheits-Distanzinformationen D31, dass die Verteilung an einer Position höher als die Horizontalseite der L-Form innerhalb des Bereichs der Horizontalseite der L-Form existiert, betrachtet die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 die Position der Ecke des L-förmigen Modells LT13 (Kreuz in dem Diagramm) an dieser Position als Kandidat für die Grenze des Bewegungsbereichs. Zu diesem Zeitpunkt berechnet die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 eine Variation in der Vertikalseite des L-förmigen Modells LT13 und die Verteilung der Verteilung W3 als einen Variationsaufwand.
Der Variationsaufwand wird auf einen Wert festgelegt, der kleiner ist je geringer die Variation ist, und der wahrscheinlich die Grenze des Bewegungsbereichs ist, und wird dagegen auf einen Wert festgelegt, der weniger wahrscheinlich ist, die Grenze des Bewegungsbereichs zu sein, je größer die Variation ist.
Dann legt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 zum Beispiel ein gemeinsames Produkt als einen Gesamtaufwand auf der Basis des Distanzaufwands und des Variationsaufwands fest und erhält eine Position und eine Verteilung des Gesamtaufwands unter Verwendung des L-förmigen Modells für jede ganze Spalte. Beachten Sie, dass, da der Variationsaufwand nur erhalten wird, wenn die Verteilung an einer Position höher als die Horizontalseite der L-Form existiert, der Variationsaufwand auf den Maximalwert gesetzt wird in einem Fall, in dem die Verteilung nicht an einer Position höher als die Horizontalseite der L-Form existiert, so dass der Variationsaufwand nicht erhalten werden kann.
Folglich werden eine Anpassungsvariation unter Verwendung des L-förmigen Modells und die Verteilung des Aufwands gemäß der Distanz für jede Spalte in dem Distanzbild erhalten. Das heißt, dass in diesem Fall eine Aufwandsverteilung in Einheiten von Spalten, das heißt eine Aufwandsverteilung als eine Wahrscheinlichkeitsverteilung für jede Position, wo eine Grenze des Bewegungsbereichs in Einheiten von Spalten existiert, erhalten wird, und dass durch Erhalten in allen Spalten die Aufwandsverteilung (Verteilung der Möglichkeit, dass die Grenze des Bewegungsbereichs existiert) an jedem Punkt (jedem Pixel) des Distanzbilds erhalten wird.
(Viertes Gewinnungsverfahren)
Ein viertes Gewinnungsverfahren ist dergestalt, dass zuerst, wie durch die Verteilung W4 in der vierten Reihe von oben in 11 dargestellt, eine Gruppe für jede einer Vielzahl von benachbarten Verteilungen unter jeweiligen Verteilungen in den Spalteneinheits-Distanzinformationen D31, eine zugehörige Ebene in Einheiten von Gruppen erhalten wird, eine Normale zu der Ebene für jede Gruppe erhalten wird, und ein Aufwand gemäß einem durch die Normale und einen Horizontalvektor gebildeten Winkel als eine Möglichkeit festgelegt wird, dass die Grenze des Bewegungsbereichs existiert.
Das heißt, in der Verteilung W4 in der vierten Reihe von oben in 11, legt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309, unter den Spalteneinheits-Distanzinformationen D31, die Gruppen G121 bis G124 fest, die Distanzinformationen von drei oder mehr benachbarten Punkten enthalten, für die eine Ebene erhalten werden kann, und erhält Ebenennormalenvektoren V1 bis V4, die auf der Basis der Distanzinformationen jeder Gruppe erhalten werden. In einem Fall, in dem der Normalenvektor jeder Gruppe der Horizontalvektor ist, kann er als ein Normalenvektor einer durch ein Hindernis gebildeten Oberfläche betrachtet werden. Das heißt, dass in der Verteilung W4 die Distanz zu der Ebene, gebildet durch die Gruppe G124, in der die Ebene festgelegt ist, als die Grenze des Bewegungsbereichs betrachtet werden kann.
Daher verwendet die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 für die Vektoren V1 bis V4 der Gruppen G121 bis G124 der Verteilung W4 einen Wert, der dem mit dem Horizontalvektor gebildeten Winkel entspricht, zum Beispiel die inverse Zahl eines inneren Produkts als einen Normalaufwand, und legt dadurch eine Aufwandsverteilung davon für jede Spalte fest und erhält die Aufwandsverteilung für alle Spalten.
Dann legt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 den Distanzaufwand ähnlich dem ersten Gewinnungsverfahren fest, und erhält schließlich den Tiefenbewegungsbereichsgrenzenaufwand in Einheiten von Pixeln auf der Basis des Normalaufwands und des Distanzaufwands, zum Beispiel durch das Produkt des Normalaufwands und des Distanzaufwands.
<Bildbewegungsbereichsgrenzenaufwand>
Als Nächstes wird der Bildbewegungsbereichsgrenzenaufwand unter Bezugnahme auf 12 beschrieben.
Der Bildbewegungsbereichsgrenzenaufwand wird auf der Basis des von der Kamera 11 aufgenommenen Bilds und des von dem Tiefensensor 12 erfassten Distanzbilds erhalten.
Betrachten wir hier einen Fall, in dem die semantische Segmentierungseinheit 302 ein Kennzeichnungsergebnis der semantischen Segmentierung liefert, wie durch das Bild P131 von 12 dargestellt, zum Beispiel von dem von der Kamera 11 aufgenommenen Bild.
In einem solchen Fall erhält die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 eine Grenze zwischen dem Bereich Z31 der Straßenoberfläche 31, welche die Grenze des Bewegungsbereichs ist, und dem anderen Bereich, wie in dem Bild P132 von 12 dargestellt. Beachten Sie, dass das Bild P132 die Aufwandsverteilung auf der Basis der semantischen Kennzeichnung darstellt, dass der Aufwand niedriger und in einer Farbe nahe an Weiß darstellt ist, je höher die Möglichkeit ist, eine Grenze des Bewegungsbereichs zu sein, und dass der Aufwand höher und in einer Farbe nahe an Schwarz darstellt ist, je höher die Möglichkeit ist, ein anderer Bereich zu sein. Das heißt, in dem Bild P132 ist die Verteilung dergestalt, dass die Grenze des Bereichs Z31 der Straßenoberfläche 31 in Weiß repräsentiert wird.
Außerdem erzeugt die Interpolationseinheit 308 zu diesem Zeitpunkt ein Distanzbild P142, das die gleiche Auflösung wie das von der Kamera 11 aufgenommene Bild hat, durch Interpolation unter Verwendung eines durch den Tiefensensor 12 erfassten Distanzbilds P141, das in das Koordinatensystem der Kamera 11 koordinatenkonvertiert worden ist, und gibt das Distanzbild P142 an die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 aus.
Dann gibt die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 eine vertikale Breite H, die der Distanz in dem Distanzbild P142 entspricht, einem weißen Bereich mit einem geringsten Aufwand, der als die Grenze des Bewegungsbereichs in dem Bild P132 betrachtet wird, um dadurch ein Bildbewegungsbereichsgrenzenaufwandbild P151 zu erzeugen.
Das heißt, nahe einer Mitte des Bildbewegungsbereichsgrenzenaufwandbilds P151, da die Distanz in dem Distanzbild P142 weit von einem weißen Linienteil in dem Bild P132, dargestellt mit einer gestrichelten Linie, entfernt ist, wird die vertikale Breite H1 einer weißen Linie mit einem kleinen Aufwand klein festgelegt. Dies liegt daran, dass, da die Distanz weiter ist, die Genauigkeit des Tiefensensors 12 abnimmt und es notwendig ist, die Zuverlässigkeit des Aufwands, basierend auf der Kamera 11, als höher anzunehmen, und somit wird der Einfluss des Bildbewegungsbereichsgrenzenaufwands, basierend auf der semantischen Kennzeichnung, weiter erhöht.
Andererseits, nahe dem linken und rechten Ende des Bildbewegungsbereichsgrenzenaufwandbilds P151, in dem Distanzbild P142, ist die Distanz nahe dem weißen Linienteil in dem Bild P132, der mit einer gestrichelten Linie dargestellt ist, und somit wird eine Breite H2 einer weißen Linie mit einem kleineren Aufwand groß festgelegt. Dies liegt daran, dass, da die Distanz näher ist, die Genauigkeit des Tiefensensors 12 höher ist, und somit wird sie durch den Tiefenbewegungsbereichsgrenzenaufwand leicht beeinflussbar gemacht, und der Einfluss des Bildbewegungsbereichsgrenzenaufwands, basierend auf der semantischen Kennzeichnung, wird unterdrückt.
Das heißt, als Bildbewegungsbereichsgrenzenaufwand wird ein näherer Bereich (enger Bereich) zu der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, festgelegt, je weiter die Distanz ist, auf der Basis der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, und der Informationen der Distanz in Einheiten von Pixeln, erhalten von dem Distanzbild, und ein breiterer Bereich wird zu der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, festgelegt, um ihn durch den Tiefenbewegungsbereichsgrenzenaufwand leicht beeinflussbar zu machen, je näher die Distanz ist.
Folglich, wie in der Aufwandsverteilung P151 dargestellt, wird die Verteilung eines Aufwands, welche die Möglichkeit angibt, dass die Grenze des Bewegungsbereichs existiert, was auf der Basis der semantischen Kennzeichnung geschätzt wird, die gemäß dem Objekt des Bilds und des Distanzbilds festgelegt wird, als der Bildbewegungsbereichsgrenzenaufwand erhalten.
Mit anderen Worten, der Bildbewegungsbereichsgrenzenaufwand ist dergestalt, dass der Bereich, in dem die Grenze des auf der Basis der semantischen Kennzeichnung und des Distanzbilds geschätzten Bewegungsbereichs existiert, durch die Verteilung der Möglichkeit, dass die Grenze existiert, was Aufwand genannt wird, repräsentiert wird.
Beachten Sie, dass hier ein Beispiel beschrieben worden ist, in dem der Binärumsetzvorgang durchgeführt wird, um einen Minimalaufwand festzulegen, der angibt, dass es sehr gut möglich ist, dass die Grenze in dem durch die Breite H definierten Bereich existiert, und einen Maximalaufwand in einem anderen Bereich als diesem festzulegen, wobei der Aufwand gemäß der Distanz von der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, geändert werden kann. Beispielsweise, für die vertikale Breite H, da die Distanz von der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, weiter wird, kann der Aufwand erhöht werden, und der Aufwand an der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, kann minimiert werden.
<Verfahren zum Abschätzen der Bewegungsbereichsgrenze>
Als Nächstes wird, unter Bezugnahme auf 13, ein Verfahren zum Abschätzen einer Bewegungsbereichsgrenze, basierend auf dem Tiefenbewegungsbereichsgrenzenaufwand und dem Bildbewegungsbereichsgrenzenaufwand, beschrieben.
Es wird ein Fall beschrieben, in dem ein Tiefenbewegungsbereichsgrenzenaufwand P181 von 13, der dem Tiefenbewegungsbereichsgrenzenaufwand P122, beschrieben unter Bezugnahme auf 10, entspricht, und ein Bildbewegungsbereichsgrenzenaufwand P171, der dem Bildbewegungsbereichsgrenzenaufwand P151, beschrieben unter Bezugnahme auf 12, entspricht, zu der Bewegungsbereichsgrenzen-Schätzungseinheit 304 geliefert werden.
In diesem Fall extrahiert die Bewegungsbereichsgrenzen-Schätzungseinheit 304 die Spaltenaufwände D51 und D61 für jede Spalte von jedem des Tiefenbewegungsbereichsgrenzenaufwands P181 und des Bildbewegungsbereichsgrenzenaufwands P171 in der Vertikalrichtung V in dem Diagramm.
Darüber hinaus erzeugt die Bewegungsbereichsgrenzen-Schätzungseinheit 304 die Spaltenaufwandsverteilungen D52 und D62 auf der Basis der extrahierten Spaltenaufwände D51 und D61.
Beispielsweise, in einem Fall des Bildbewegungsbereichsgrenzenaufwands P171 in 13, hat die Spaltenaufwandsverteilung D52 einen Minimalaufwand in einem Bereich, der in Weiß repräsentiert ist und angibt, dass eine hohe Möglichkeit der Existenz einer Grenze besteht, und einen Maximalaufwand, der in Schwarz repräsentiert ist und angibt, dass eine geringe Möglichkeit der Existenz der Grenze besteht, wodurch eine rechteckige Verteilung erhalten wird. Das heißt, der Bildbewegungsbereichsgrenzenaufwand P171 ist eine rechteckige Verteilung in jeder Spaltenaufwandsverteilung, indem die vertikale Breite gemäß der Distanz in Bezug auf einen Grenzpixel, festgelegt auf der Basis der semantischen Kennzeichnung, festgelegt wird, aber es ist unklar, welche der Breiten, die gemäß der Distanz der Grenze festgelegt werden, existiert.
Außerdem, in einem Fall des Tiefenbewegungsbereichsgrenzenaufwands P181 von 13, hat die Spaltenaufwandsverteilung D62 einen niedrigen Aufwand, was angibt, dass eine hohe Möglichkeit für eine Existenz einer Grenze besteht, je näher die Farbe an Weiß ist, und einen niedrigen Aufwand, was angibt, dass eine geringe Möglichkeit für eine Existenz der Grenze besteht, je näher die Farbe an Schwarz ist, wodurch eine gekrümmte Verteilung erhalten wird. Das heißt, der Tiefenbewegungsbereichsgrenzenaufwand P181 hat eine gekrümmte Wellenform aufgrund von Schwankungen, die gemäß Variationen in dem Distanzbild auftreten.
Die Bewegungsbereichsgrenzen-Schätzungseinheit 304 erzeugt einen integrierten Spaltenaufwand D71 durch Addieren der Spaltenaufwandsverteilungen D52 und D62 und nimmt eine vertikale Position V11 mit einem geringsten Aufwand als optimale Grenze des Bewegungsbereichs, das heißt eine optimale Grenzposition, an. Beachten Sie, dass ein dynamisches Programmierverfahren oder dergleichen als Mittel zum Berechnen der optimalen Grenzposition verwendet werden kann, um den Aufwand zu minimieren.
Die Bewegungsbereichsgrenzen-Schätzungseinheit 304 erzeugt ein Schätzungsergebnis P191 der Bewegungsbereichsgrenze durch Erhalten des integrierten Spaltenaufwands D71 für jede Spalte und Erhalten der optimalen Grenzposition. Beachten Sie, dass in dem Schätzungsergebnis P191 ein weißer Teil die Grenze des Bewegungsbereichs ist, das heißt, dass ein Teil unterhalb des weißen Teils in dem Schätzungsergebnis P191 der Bewegungsbereich ist, und dass ein Teil oberhalb des weißen Teils ein andere Bereich als der Bewegungsbereich ist.
Beachten Sie, dass zum Beispiel für die vertikale Breite H, durch Erhöhen des Aufwands, da die Distanz von der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, fern wird, und Minimieren des Aufwands an der Grenze des Bewegungsbereichs, erhalten mit der semantischen Kennzeichnung, die Spaltenaufwandsverteilung D52 zum Beispiel als eine konvex oder konkav gekrümmte Form anstelle der rechteckigen Form festgelegt werden kann.
<Verfahren zum Erzeugen einer Umgebungskarte>
Als Nächstes wird ein Verfahren zum Erzeugen einer Umgebungskarte unter Bezugnahme auf 14 beschrieben.
Die Umgebungskarten-Erzeugungseinheit 305 extrahiert eine Spalteneinheitsverteilung D101 für jeden von der Kamera 11 aus gesehenen horizontalen Winkel in Einheiten von Spalten in einem Fall, in dem zum Beispiel ein Schätzungsergebnis P201 einer Bewegungsbereichsgrenze, wie in einem linken Teil von 14 dargestellt, geliefert wird.
Hier, in dem Schätzungsergebnis P201 der Bewegungsbereichsgrenze in 14, ist ein unterer Bereich Z151 der Bewegungsbereich, ein oberer Bereich Z152 ist ein anderer Bereich als der Bewegungsbereich, und eine Grenze davon ist ein Schätzungsergebnis der Bewegungsbereichsgrenze.
Daher kann die zu extrahierende Spalteneinheitsverteilung D101, wie in einem mittleren Teil von 14 dargestellt, die Distanz von einer Position A eines unteren Endes des Bewegungsbereichs in einem vorbestimmten horizontalen Winkel zu einer Position B der Grenze als eine Distanz AB von dem mobilen Körper zu dem Hindernis betrachtet werden.
Dementsprechend, wie in einem oberen rechten Teil von 14 dargestellt, plottet die Umgebungskarten-Erzeugungseinheit 305 auf der Umgebungskarte Dill die Position der Distanz AB in einem vorbestimmten horizontalen Winkel als die Grenze des Bewegungsbereichs. Die Umgebungskarten-Erzeugungseinheit 305 erzeugt eine Umgebungskarte P211, wie in einem unteren rechten Teil von 14 dargestellt, durch Wiederholen eines ähnlichen Prozesses für alle horizontalen Winkel in Bezug auf das Schätzungsergebnis P201 der Bewegungsbereichsgrenze.
Beachten Sie, dass die Umgebungskarte P211 in dem unteren rechten Teil von 14 ein Beispiel einer Anordnung von Hindernissen darstellt, in der die Vorderseite, welche die Abbildungsrichtung der Kamera 11 des Fahrzeugs 91 ist, das der mobile Körper ist, als eine Oberseite in dem Diagramm betrachtet wird, und die Fortbewegungsrichtung des mobilen Körpers von oben betrachtet wird.
<Verfahren zum Erhalten der Distanz AB>
Als Nächstes wird ein Verfahren zum Erhalten der Distanz AB unter Verwendung der oben genannten Spalteneinheitsverteilung D101 beschrieben.
Hier wird angenommen, dass Koordinaten eines Pixels P auf dem von der Kamera 11 aufgenommenen Bild in Koordinaten auf einer Ebene S umgewandelt werden, welche die Straßenoberfläche 31 bildet.
Das heißt, dass, wie in 15 dargestellt, in einem Fall, in dem die Kamera 11 ein Bild P231 aufnimmt, eine Fokusposition als eine Bildmitte (Mittenpixel) Pc angenommen wird, und wenn die Bilderfassungsposition der Kamera 11 ein Anfangspunkt ist, ein Sichtlinienvektor Ve zu dem Pixel P, der die Grenze sein soll, (xi, yi, f) ist. Hier sind xi und yi Pixelpositionen in dem von der Kamera 11 aufgenommenen Bild D, wenn der Mittenpixel Pc der Ursprung ist, und f ist die Brennweite, wenn die Bildmitte (Mittenpixel) Pc von der Kamera 11 die Fokusposition ist.
Zu diesem Zeitpunkt wird der Schnittpunkt Xp, der dem Pixel P auf der Ebene S entspricht, welche die Straßenoberfläche 31 bildet, von dem Blickpunkt der Kamera 11 durch die folgende Formel (4) repräsentiert.
[Mathematische Formel 1] ${SCHNITTPUNKT MIT EBENE: X}_{p} = s [\begin{matrix} xi \\ yi \\ f \end{matrix}]$
Hier ist s ein Koeffizient und stellt eine skalare Größe dar. Das heißt, der von der Kamera 11 ausgehende Vektor bis zum Schnittpunkt Xp ist der Koeffizient s-mal der Sichtlinienvektor Ve.
Außerdem wird die Ebene S, welche die Straßenoberfläche bildet, als die folgende Formel (5) ausgedrückt.
[Mathematische Formel 2] $\begin{array}{l} N^{T} X+d = 0 \\ N = [\begin{matrix} n_{x} \\ n_{y} \\ n_{z} \end{matrix}] : NORMALENVEKTOR \\ X = [\begin{matrix} x \\ y \\ z \end{matrix}] :DREIDIMENSIONALE PUNKTKOORDINATEN \\ d: KOEFFIZIENT \end{array}$
Hier stellt X die Koordinaten (x, y, z) eines Punkts auf der Ebene S dar, N ist ein Normalenvektor (nx, ny, nz) der Ebene S, T ist die Transponierte, und d ist ein Koeffizient.
Das heißt, für die Ebene S können der Normalenvektor N und der Koeffizient d durch Ebenenanpassung erhalten werden, wie z. B. eine Methode der kleinsten Quadrate oder RANSAC, indem Distanzinformationen von Punkten, die zwischen der Position A und der Position B in der Spalteneinheitsverteilung D101 existieren, erhalten von dem koordinatenkonvertierten Distanzbild, geliefert von der Koordinatenkonvertierungseinheit 307, und Distanzinformationen von Punkten des Bewegungsbereichs in benachbarten umgebenden Spalten verwendet werden, so dass die Ebene S identifiziert werden kann.
Demzufolge kann die Ebene der Straßenoberfläche 31, die durch die Ebene S gebildet wird, identifiziert werden.
Daher, durch Einfügen der oben beschriebenen Formel (4) in die Formel der Ebene S, welche die Straßenoberfläche bildet und durch die obige Formel (5) definiert wird, wird eine Konstante s erhalten, und durch Erhalten dieser Konstante s werden die Koordinaten des Schnittpunkts Xp auf der Ebene S erhalten.
Durch Erhalten, für jede der Positionen A und B, des Pixels P der Grenze mit einem Hindernis auf der Ebene S, welche die Straßenoberfläche 31 bildet, erhalten auf diese Weise, kann die Distanz AB erhalten werden.
<Steuerprozess für autonomes Fahren>
Als Nächstes wird ein Steuerprozess für autonomes Fahren in dem Fahrzeugsteuersystem 100 in 5 unter Bezugnahme auf ein Flussdiagramm in 16 beschrieben.
In Schritt S1 erhält die Erfassungseinheit 131 verschiedene durch die Datengewinnungseinheit 102 erhaltene Daten, erfasst für die Verarbeitung notwendige Daten, und gibt die Daten an die Eigenpositions-Schätzungseinheit 132 und die Situationsanalyseeinheit 133 aus. Das heißt, dass hier das von der Kamera 11 aufgenommene Bild und die durch den Tiefensensor 12 erfassten Punktwolkeninformationen, die durch die Datengewinnungseinheit 102 erhalten werden, durch die Erfassungseinheit 131 erfasst und an die Eigenpositions-Schätzungseinheit 132 und die Situationsanalyseeinheit 133 ausgegeben werden. Beachten Sie, dass zusätzlich dazu verschiedene für den Steuerprozess für autonomes Fahren erforderliche Daten erfasst und an die Eigenpositions-Schätzungseinheit 132 und die Situationsanalyseeinheit 133 ausgegeben werden.
In Schritt S2 schätzt die Eigenpositions-Schätzungseinheit 132 die Eigenposition auf der Basis verschiedener Daten von der Erfassungseinheit 131 und gibt das Schätzungsergebnis an die Situationsanalyseeinheit 133 aus. Zu diesem Zeitpunkt schätzt die Eigenpositions-Schätzungseinheit 132 nach Bedarf die Eigenposition unter Verwendung von Informationen von der Situationsanalyseeinheit 133.
In Schritt S3 analysiert die Situationsanalyseeinheit 133 Situationen des eigenen Fahrzeugs und der Umgebung auf der Basis verschiedener Informationen von der Erfassungseinheit 131 und der Eigenpositions-Schätzungseinheit 132. Zu diesem Zeitpunkt führt die Situationserkennungseinheit 153 der Situationsanalyseeinheit 133 auch einen Umgebungskarten-Erzeugungsprozess aus, der später unter Bezugnahme auf ein Flussdiagramm von 17 beschrieben wird, um eine Umgebungskarte zu erzeugen.
Außerdem führt die Situationsanalyseeinheit 133 Prozesse, wie z. B. die Erstellung einer Karte, die für die Verarbeitung von autonomem Fahren notwendige Informationen enthält, Erkennung von Verkehrsregeln im Umfeld des eigenen Fahrzeugs und Vorhersage einer Situation in Bezug auf das eigene Fahrzeug auf der Basis verschiedener Informationen und dergleichen durch und gibt ein Verarbeitungsergebnis an die Planungseinheit 134 aus.
In Schritt S4 erzeugt die Planungseinheit 134 einen Aktionsplan auf der Basis verschiedener Informationen, einschließlich der von der Situationsanalyseeinheit 133 gelieferten Umgebungskarte, und gibt den erzeugten Aktionsplan an die Operationssteuereinheit 135 aus.
In Schritt S5 steuert die Operationssteuereinheit 135 die Antriebssystem-Steuereinheit 107, um den Betrieb des Antriebssystems 108 zu veranlassen, und steuert die Karosseriesystem-Steuereinheit 109, um den Betrieb des Karosseriesystems 110 zu veranlassen, um den Betrieb des Fahrzeugs auf der Basis des Aktionsplans zu implementieren.
In Schritt S6 ermittelt die Erfassungseinheit 131, ob eine Anweisung zu einem Betriebsende durch Betätigen der Eingabeeinheit 101 gegeben wird oder nicht, zum Beispiel durch Betätigen einer Stopptaste, und wenn die Anweisung zu dem Ende nicht gegeben wird, kehrt der Prozess zu Schritt S1 zurück. Das heißt, die Prozesse der Schritte S1 bis S6 werden so lange wiederholt, bis die Anweisung zu dem Ende gegeben wird.
Dann, in Schritt S6, wenn bestimmt wird, dass die Anweisung zum Ende gegeben wird, endet der Prozess.
Durch die obigen Prozesse wird autonomes Fahren des Fahrzeugs 91 erzielt. Beachten Sie, dass, obwohl der Fall, in dem der mobile Körper das Fahrzeug 91 ist, wie in 5 dargestellt, hier beschrieben worden ist, kann der mobile Körper ein anderer sein, und kann zum Beispiel der in 6 dargestellte Roboter 191 sein. Aber, da ein grundlegender Prozess der Steuerung für autonome Fortbewegung durch die Steuereinheit für autonome Fortbewegung 210 derjenigen des Flussdiagramms von 16 ähnlich ist, wird dessen Beschreibung ausgelassen.
<Umgebungskarten-Erzeugungsprozess>
Als Nächstes wird ein Umgebungskarten-Erzeugungsprozess durch die Situationserkennungseinheit 153 (oder 252) unter Bezugnahme auf ein Flussdiagramm in 17 beschrieben. Dieser Prozess entspricht dem Prozess in Schritt S3 in dem Steuerprozess für autonomes Fahren von 16.
In Schritt S11 erfasst (nimmt auf) die Bilderfassungseinheit 301 ein von der Kamera 11 aufgenommenes Bild und gibt das Bild an die semantische Segmentierungseinheit 302 aus.
In Schritt S12 führt die semantische Segmentierungseinheit 302 semantische Segmentierung an dem gelieferten Bild durch, wie unter Bezugnahme auf 8 beschrieben, um den Typ, dem ein Objekt angehört, für jeden Pixel in dem gelieferten Bild zu klassifizieren, und eine semantische Kennzeichnung (Etikettierung) in Einheiten von Pixeln auf der Basis eines Klassifizierungsergebnisses zu geben, und gibt ein Kennzeichnungsergebnis in Einheiten von Pixeln an die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 aus.
In Schritt S13 erfasst (nimmt auf) die Punktwolken-Erfassungseinheit 306 ein Distanzbild, das die durch den Tiefensensor 12 erfasste Punktwolke enthält, und gibt das Distanzbild an die Koordinatenkonvertierungseinheit 307 aus.
In Schritt S14 konvertiert die Koordinatenkonvertierungseinheit 307 jede Koordinate in dem Distanzbild, das die durch den Tiefensensor 12 erfassten Punktwolkeninformationen enthält, in das Koordinatensystem der Kamera 11, wie unter Bezugnahme auf 9 beschrieben, und gibt das Distanzbild an die Umgebungskarten-Erzeugungseinheit 305, die Interpolationseinheit 308 und die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 aus.
In Schritt S15 erzeugt die Interpolationseinheit 308 ein Distanzbild, dessen Auflösung der Auflösung der Kamera 11 ähnlich ist, durch einen Interpolationsprozess unter Verwendung von Distanzinformationen von jedem Punkt des Distanzbilds, das in das Koordinatensystem der Kamera 11 koordinatenkonvertiert worden ist, und gibt das Distanzbild an die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 aus.
In Schritt S16 erzeugt die Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 303 einen Bildbewegungsbereichsgrenzenaufwand auf der Basis der semantischen Kennzeichnung jedes Pixels und des durch Interpolation erzeugten Distanzbilds, wie unter Bezugnahme auf 12 beschrieben, und gibt den Bildbewegungsbereichsgrenzenaufwand an die Bewegungsbereichsgrenzen-Schätzungseinheit 304 aus.
In Schritt S17 erzeugt die Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit 309 einen Tiefenbewegungsbereichsgrenzenaufwand auf der Basis des Distanzbilds, wie unter Bezugnahme auf die 10 und 11 beschrieben, und gibt den Tiefenbewegungsbereichsgrenzenaufwand an die Bewegungsbereichsgrenzen-Schätzungseinheit 304 aus.
In Schritt S18 schätzt (bestimmt) die Bewegungsbereichsgrenzen-Schätzungseinheit 304 eine Bewegungsbereichsgrenze durch Lösen eines Optimierungsproblems auf der Basis des Tiefenbewegungsbereichsgrenzenaufwands und des Bildbewegungsbereichsgrenzenaufwands, wie unter Bezugnahme auf 13 beschrieben, und gibt Informationen der Bewegungsbereichsgrenze, die ein Schätzungsergebnis sind, an die Umgebungskarten-Erzeugungseinheit 305 aus.
In Schritt S 19 erzeugt die Umgebungskarten-Erzeugungseinheit 305 auf der Basis der Informationen der Bewegungsbereichsgrenze, wie unter Bezugnahme auf die 14 und 15 beschrieben, eine Umgebungskarte und gibt diese aus.
Durch die obige Verarbeitung ist es möglich, die Grenze des Bewegungsbereichs auf der Basis der Distanzinformationen zwischen der semantischen Kennzeichnung und dem Distanzbild mit hoher Genauigkeit zu bestimmen. Daher ist es möglich, eine hochgenaue Umgebungskarte zu erzeugen, und es ist möglich, geeignetes autonomes Fahren zu erzielen.
Das heißt, für einen Bereich, in dem die Distanz fern ist, wird die Grenze des Bewegungsbereichs auf der Basis der Informationen der semantischen Kennzeichnung erhalten, die auf der Basis des von der Kamera 11 aufgenommenen Bilds erhalten wird, und somit kann die Grenze des Bewegungsbereichs mit höherer Genauigkeit erhalten werden, als das mit dem durch den Tiefensensor erhaltenen Distanzbild möglich ist. Außerdem wird für den Bereich, in dem die Distanz nah ist, die Grenze des Bewegungsbereichs auf der Basis der Informationen der semantischen Kennzeichnung erhalten, die auf der Basis des von der Kamera 11 aufgenommenen Bilds und des Distanzbilds erhalten wird, wobei es selbst in einem Objekt oder einer Abbildungsumgebung, in der Texturen ähnlich sind und fehlerhafte Erkennung leicht bei der semantischen Segmentierung auftritt, möglich ist, die Grenze des Bewegungsbereichs durch Berücksichtigen des Distanzbilds mit hoher Genauigkeit zu erhalten.
«2. Durch Software ausgeführtes Beispiel»
Übrigens kann die Reihe der oben beschriebenen Prozesse durch Hardware, aber auch durch Software ausgeführt werden. In einem Fall, in dem die Reihe von Prozessen durch Software ausgeführt wird, wird ein Programm, das die Software darstellt, von einem Aufzeichnungsmedium zum Beispiel in einen Computer installiert, der in dedizierte Hardware eingebaut ist, oder einen Universalcomputer, der in der Lage ist, verschiedene Funktionen durch Installieren verschiedener Programme oder dergleichen auszuführen.
18 stellt ein Konfigurationsbeispiel eines Universalcomputers dar. Dieser Computer weist eine Zentraleinheit (CPU) 1001 auf. Eine Eingabe/Ausgabe-Schnittstelle 1005 ist über einen Bus 1004 mit der CPU 1001 verbunden. Ein Nur-Lese-Speicher (ROM) 1002 und ein Direktzugriffsspeicher (RAM) 1003 sind mit dem Bus 1004 verbunden.
An die Eingabe/Ausgabe-Schnittstelle 1005 sind angeschlossen: eine Eingabeeinheit 1006, die eine Eingabevorrichtung, wie z. B. eine Tastatur oder eine Maus aufweist, durch die ein Benutzer Operationsbefehle eingibt, eine Ausgabeeinheit 1007, die einen Verarbeitungsoperationsbildschirm oder ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung ausgibt, eine Speichereinheit 1008, die ein Festplattenlaufwerk und dergleichen aufweist, das Programme und verschiedene Daten speichert, und eine Kommunikationseinheit 1009, die einen Local Area Network (LAN)-Adapter oder dergleichen aufweist, und die einen Kommunikationsprozess über ein Netzwerk ausführt, das durch das Internet repräsentiert wird. Darüber hinaus ist ein Laufwerk 1010 angeschlossen, das Daten von und zu einem Wechseldatenträger 1011, wie z. B. einer magnetischen Disk (einschließlich einer flexiblen Disk), einer optischen Disc (einschließlich einem Compact Disc-Read Only Memory (CD-ROM), einer Digital Versatile Disc (DVD)), einer magneto-optischen Disk (einschließlich einer Mini Disc (MD)), oder einem Halbleiterspeicher liest und schreibt.
Die CPU 1001 führt verschiedene Prozesse gemäß einem in dem ROM 1002 gespeicherten Programm aus, oder einem Programm, das von dem Wechseldatenträger 1011, wie z. B. einer magnetischen Disk, einer optischen Disc, einer magneto-optischen Disk, oder einem in der Speichereinheit 1008 installierten Halbleiterspeicher gelesen und dann von der Speichereinheit 1008 in das RAM 1003 geladen wird. Das RAM 1003 speichert auch entsprechend Daten, die von der CPU 1001 benötigt werden, um verschiedene Prozesse und dergleichen auszuführen.
In dem Computer, der wie oben beschrieben ausgebildet ist, lädt zum Beispiel die CPU 1001 das in der Speichereinheit 1008 gespeicherte Programm über die Eingabe/Ausgabe-Schnittstelle 1005 und den Bus 1004 in das RAM 1003 und führt das Programm aus, um die oben beschriebene Reihe von Prozessen durchzuführen.
Das durch den Computer (CPU 1001) ausgeführte Programm kann bereitgestellt werden, indem es zum Beispiel als ein Paketmedium oder dergleichen auf dem Wechseldatenträger 1011 aufgezeichnet wird. Außerdem kann das Programm über ein verdrahtetes oder drahtloses Übertragungsmedium, wie z. B. ein LAN, das Internet, oder digitalen Satellitenrundfunk, bereitgestellt werden.
In dem Computer kann das Programm über die Eingabe/Ausgabe-Schnittstelle 1005 in der Speichereinheit 1008 installiert werden, indem der Wechseldatenträger 1011 in das Laufwerk 1010 eingelegt wird. Darüber hinaus kann das Programm durch die Kommunikationseinheit 1009 über ein verdrahtetes oder drahtloses Übertragungsmedium empfangen und in der Speichereinheit 1008 installiert werden. Außerdem kann das Programm im Voraus in dem ROM 1002 oder der Speichereinheit 1008 installiert werden.
Beachten Sie, dass das von dem Computer ausgeführte Programm ein Programm sein kann, das Prozesse in einer Zeitreihe gemäß der in der vorliegenden Beschreibung beschriebenen Reihenfolge durchführt, oder es kann ein Programm sein, das Prozesse parallel oder zu einem notwendigen Zeitpunkt durchführt, zum Beispiel wenn ein Aufruf durchgeführt wird.
Beachten Sie, dass die CPU 1001 in 18 die Funktionen der Steuereinheit für autonomes Fahren 112 in 5 und der Steuereinheit für autonome Fortbewegung 210 in 6 implementiert. Darüber hinaus implementiert die Speichereinheit 1008 in 18 die Speichereinheiten 111 und 209 in den 5 und 6.
Darüber hinaus stellt das System in der vorliegenden Spezifikation einen Satz einer Vielzahl von Komponenten (Vorrichtungen, Modulen (Teilen) und dergleichen) dar, und es spielt keine Rolle, ob alle der Komponenten in demselben Gehäuse untergebracht sind oder nicht. Daher stellen sowohl eine Vielzahl von Vorrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk verbunden sind, als auch eine einzelne Vorrichtung mit einer Vielzahl von Modulen, die in einem Gehäuse untergebracht sind, Systeme dar.
Beachten Sie, dass die Ausführungsformen der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt sind, und dass verschiedene Modifikation möglich sind, ohne von dem Rahmen der vorliegenden Offenbarung abzuweichen.
Beispielsweise kann die vorliegende Offenbarung eine Konfiguration von Cloud-Computing haben, in der eine Funktion über ein Netzwerk durch eine Vielzahl von Vorrichtungen gemeinsam genutzt und Verarbeitung in Kooperation durchgeführt wird.
Darüber hinaus kann jeder Schritt, der in den oben beschriebenen Flussdiagrammen beschrieben wird, durch eine einzelne Vorrichtung oder durch eine Vielzahl von Vorrichtungen in gemeinsamer Weise ausgeführt werden.
Darüber hinaus, in einem Fall, in dem eine Vielzahl von Prozessen in einem Schritt enthalten ist, kann die Vielzahl von Prozessen, die in dem einen Schritt enthalten ist, zusätzlich zu der Ausführung durch eine einzelne Vorrichtung durch eine Vielzahl von Vorrichtungen in einer gemeinsamen Weise ausgeführt werden.
Beachten Sie, dass die vorliegende Offenbarung auch die folgenden Konfigurationen haben kann.

<1> Signalverarbeitungsvorrichtung, die Folgendes umfasst:
- eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert;
- eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf der Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und
- eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
<2> Signalverarbeitungsvorrichtung gemäß <1>, wobei die Kennzeichnungsgrenzen-Schätzungseinheit, als die Kennzeichnungsinformationsgrenze, einen Bereich abschätzt, in dem eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, existiert, auf der Basis der Kennzei chnungsinformationen.
<3> Signalverarbeitungsvorrichtung gemäß < 1> oder <2>, wobei die Kennzeichnungsgrenzen-Schätzungseinheit die Kennzeichnungsinformationsgrenze auf der Basis der Kennzeichnungsinformationen und des Distanzbilds abschätzt.
<4> Signalverarbeitungsvorrichtung gemäß <3>, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf der Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als Kennzeichnungsinformationsgrenze abschätzt, indem eine vertikale Breite der Grenze des Bewegungsbereichs, festgelegt auf der Basis der Kennzeichnungsinformationen, im Einklang mit einer Distanz basierend auf dem Distanzbild festgelegt wird.
<5> Signalverarbeitungsvorrichtung gemäß <3>, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf der Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als Kennzeichnungsinformationsgrenze abschätzt, indem eine vertikale Breite der Grenze des Bewegungsbereichs, festgelegt auf der Basis der Kennzeichnungsinformationen, im Einklang mit einer Distanz basierend auf dem Distanzbild festgelegt wird.
<6> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <5>, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, einen Bereich abschätzt, in dem eine Grenze zwischen dem Bewegungsbereich und einem Hindernis existiert, basierend auf dem Distanzbild.
<7> Signalverarbeitungsvorrichtung gemäß <6>, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert, auf der Basis von Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild.
<8> Signalverarbeitungsvorrichtung gemäß <7>, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert, auf der Basis einer Verteilung in einer Höhenrichtung in Bezug auf eine Distanzrichtung, wobei die Verteilung eine solche von Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild ist.
<9> Signalverarbeitungsvorrichtung gemäß <8>, wobei die Distanzbildgrenzen-Schätzungseinheit die Distanzbildgrenze in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild schätzt, durch Einstellen, in der Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung, einer Distanz, bei der eine Verteilung höher als eine vorbestimmte Höhe, die dem Bewegungsbereich entspricht, als der Bereich existiert, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
<10> Signalverarbeitungsvorrichtung gemäß <8>, wobei die Distanzbildgrenzen-Schätzungseinheit den Bewegungsbereich durch Ebenenanpassung auf der Basis der Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild identifiziert, und die Distanzbildgrenze durch Einstellen einer Distanz schätzt, bei der eine Verteilung höher als der durch die Ebenenanpassung identifizierte Bewegungsbereich als der Bereich existiert, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
<11> Signalverarbeitungsvorrichtung gemäß <8>, wobei die Distanzbildgrenzen-Schätzungseinheit in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild eine L-förmige Funktion nahe der Grenze zwischen dem Bewegungsbereich und dem Hindernis in Bezug auf die Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung festlegt, und die Distanzbildgrenze durch Einstellen einer Distanz, bei der eine Variation aufgrund von Anpassung mit der L-förmigen Funktion gemäß der Distanz minimal wird als den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
<12> Signalverarbeitungsvorrichtung gemäß <8>, wobei die Distanzbildgrenzen-Schätzungseinheit in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild eine Gruppe einschließlich einer Vielzahl von benachbarten Verteilungen in Bezug auf die Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung festlegt, eine Normale einer Ebene basierend auf Distanzinformationen, die zu der Gruppe gehören, erhält und die Distanzbildgrenze durch Einstellen einer Distanz, erhalten von Distanzinformationen, zu der eine Gruppe gehört, in der die Normale in einer Horizontalrichtung nah ist, als den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
<13> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <12>, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf der Basis der Kennzeichnungsinformationen gemäß der Art des Objekts in dem erfassten Bild einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs des mobilen Körpers in dem Bild als eine Kennzeichnungsinformationsgrenze existiert, einschließlich einer Aufwandsverteilung gemäß einer Distanz von einer Abbildungsposition, die Distanzbildgrenzen-Schätzungseinheit auf der Basis des Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild als eine Distanzbildgrenze existiert, einschließlich einer Aufwandsverteilung gemäß einer Distanz von einer Erfassungsposition des Distanzbilds, und die Bewegungsbereichsgrenzen-Bestimmungseinheit die Grenze des Bewegungsbereichs auf der Basis einer integrierten Aufwandsverteilung bestimmt, die durch Addieren einer Aufwandsverteilung der Kennzeichnungsinformationsgrenze und einer Aufwandsverteilung der Distanzbildgrenze erhalten wird.
<14> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <13>, ferner Folgendes umfassend:
- eine Kennzeichnungseinheit, die Kennzeichnungsinformationen durch Kennzeichnen in Einheiten von Pixeln gemäß der Art des Objekts in dem erfassten Bild durch semantische Segmentierung erzeugt.
<15> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <14>, wobei die Bewegungsbereichsgrenzen-Bestimmungseinheit die Kennzeichnungsinformationsgrenze als die Grenze des Bewegungsbereichs bestimmt in einem Fall, in dem eine Distanz von der Abbildungsposition weiter als eine vorbestimmte Distanz ist, und die Distanzbildgrenze als die Grenze des Bewegungsbereichs bestimmt in einem Fall, in dem die Distanz von der Abbildungsposition näher als die vorbestimmte Distanz ist.
<16> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <15>, ferner Folgendes umfassend:
- eine Koordinatenkonvertierungseinheit, die ein Koordinatensystem von einem des Bilds und des Distanzbilds in ein Koordinatensystem des anderen konvertiert.
<17> Signalverarbeitungsvorrichtung gemäß einem der Punkte <1> bis <16>, ferner Folgendes umfassend:
- eine Interpolationseinheit, welche die Distanzinformationen interpoliert, so dass das Distanzbild die gleiche Auflösung hat wie das Bild auf der Basis der Distanzinformationen des Distanzbilds, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf der Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als die Kennzeichnungsinformationsgrenze abschätzt, indem eine Breite in der Vertikalrichtung der Grenze des Bewegungsbereichs, festgelegt auf der Basis der Kennzeichnungsinformationen, festgelegt wird, wobei die Einstellung gemäß einer Distanz basierend auf dem Distanzbild durch Interpolation der Distanzinformationen durch die Interpolationseinheit die gleiche Auflösung hat wie das Bild.
<18> Signalverarbeitungsverfahren, das Folgendes umfasst:
- einen Kennzeichnungsgrenzen-Schätzungsprozess des Abschätzens, als eine Kennzeichnungsinformationsgrenze auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild, eines Bereichs, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; einen Distanzbildgrenzen-Schätzungsprozess des Abschätzens, als eine Distanzbildgrenze auf der Basis eines Distanzbilds, eines Bereichs, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und einen Bewegungsbereichsgrenzen-Bestimmungsprozess des Bestimmens der Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze.
<19> Programm, das einen Computer veranlasst, als Folgendes zu funkti onieren:
- eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf der Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
<20> Mobiler Körper, Folgendes aufweisend:
- eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf der Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf der Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf der Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt; eine Umgebungsabbildungseinheit, die eine Umgebungskarte auf der Basis der Grenze des Bewegungsbereichs erzeugt, der durch die Bewegungsbereichsgrenzen-Bestimmungseinheit bestimmt wird; eine Planungseinheit, die einen Aktionsplan auf der Basis der Umgebungskarte erzeugt; und eine Steuereinheit, die den Betrieb des mobilen Körpers auf der Basis des erzeugten Aktionsplans steuert.

Bezugszeichenliste

91: Fahrzeug
100: Fahrzeugsteuersystem
102: Datengewinnungseinheit
112: Steuereinheit für autonomes Fahren
133: Situationsanalyseeinheit
153: Situationserkennungseinheit
191: Roboter
200: Robotersteuersystem
202: Datengewinnungseinheit
210: Steuereinheit für autonome Fortbewegung
233: Situationsanalyseeinheit
252: Situationserkennungseinheit
301: Bilderfassungseinheit
302: Semantische Segmentierungseinheit
303: Bildbewegungsbereichsgrenzenaufwand-Erzeugungseinheit
304: Bewegungsbereichsgrenzen-Schätzungseinheit
305: Umgebungsabbildungseinheit
306: Punktwolken-Erfassungseinheit
307: Koordinatenkonvertierungseinheit
308: Interpolationseinheit
309: Tiefenbewegungsbereichsgrenzenaufwand-Erzeugungseinheit

Claims

Signalverarbeitungsvorrichtung, die Folgendes umfasst: eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf einer Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf einer Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf einer Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Kennzeichnungsgrenzen-Schätzungseinheit, als die Kennzeichnungsinformationsgrenze, einen Bereich abschätzt, in dem eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, auf der Basis der Kennzeichnungsinformationen existiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Kennzeichnungsgrenzen-Schätzungseinheit die Kennzeichnungsinformationsgrenze auf einer Basis der Kennzeichnungsinformationen und des Distanzbilds abschätzt.
Signalverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf einer Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als Kennzeichnungsinformationsgrenze abschätzt, indem eine vertikale Breite der Grenze des Bewegungsbereichs, festgelegt auf der Basis der Kennzeichnungsinformationen, im Einklang mit einer Distanz basierend auf dem Distanzbild festgelegt wird.
Signalverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf einer Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als Kennzeichnungsinformationsgrenze abschätzt, indem eine vertikale Breite der Grenze des Bewegungsbereichs, festgelegt auf der Basis der Kennzeichnungsinformationen, im Einklang mit einer Distanz basierend auf dem Distanzbild festgelegt wird.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, einen Bereich abschätzt, in dem eine Grenze zwischen dem Bewegungsbereich und einem Hindernis existiert, basierend auf dem Distanzbild.
Signalverarbeitungsvorrichtung gemäß Anspruch 6, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert, auf einer Basis von Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild.
Signalverarbeitungsvorrichtung gemäß Anspruch 7, wobei die Distanzbildgrenzen-Schätzungseinheit, als die Distanzbildgrenze, den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert, auf einer Basis einer Verteilung in einer Höhenrichtung in Bezug auf eine Distanzrichtung, wobei die Verteilung eine solche von Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild ist.
Signalverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Distanzbildgrenzen-Schätzungseinheit die Distanzbildgrenze in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild schätzt, durch Einstellen, in der Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung, einer Distanz, bei der eine Verteilung höher als eine vorbestimmte Höhe, die dem Bewegungsbereich entspricht, als der Bereich existiert, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Distanzbildgrenzen-Schätzungseinheit den Bewegungsbereich durch Ebenenanpassung auf der Basis der Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild identifiziert, und die Distanzbildgrenze durch Einstellen einer Distanz schätzt, bei der eine Verteilung höher als der durch die Ebenenanpassung identifizierte Bewegungsbereich als der Bereich existiert, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Distanzbildgrenzen-Schätzungseinheit in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild eine L-förmige Funktion nahe der Grenze zwischen dem Bewegungsbereich und dem Hindernis in Bezug auf die Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung festlegt, und die Distanzbildgrenze durch Einstellen einer Distanz, bei der eine Variation aufgrund von Anpassung mit der L-förmigen Funktion gemäß der Distanz minimal wird als den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Distanzbildgrenzen-Schätzungseinheit in Bezug auf die Distanzinformationen jedes Pixels in Einheiten von Spalten in jeder Horizontalrichtung in dem Distanzbild eine Gruppe einschließlich einer Vielzahl von benachbarten Verteilungen in Bezug auf die Verteilung in der Höhenrichtung in Bezug auf die Distanzrichtung festlegt, eine Normale einer Ebene basierend auf Distanzinformationen, die zu der Gruppe gehören, erhält und die Distanzbildgrenze durch Einstellen einer Distanz, erhalten von Distanzinformationen, zu der eine Gruppe gehört, in der die Normale in einer Horizontalrichtung nah ist, als den Bereich abschätzt, in dem die Grenze zwischen dem Bewegungsbereich und dem Hindernis existiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf einer Basis der Kennzeichnungsinformationen gemäß der Art des Objekts in dem erfassten Bild einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs des mobilen Körpers in dem Bild als eine Kennzeichnungsinformationsgrenze existiert, einschließlich einer Aufwandsverteilung gemäß einer Distanz von einer Abbildungsposition, die Distanzbildgrenzen-Schätzungseinheit auf einer Basis des Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild als eine Distanzbildgrenze existiert, einschließlich einer Aufwandsverteilung gemäß einer Distanz von einer Erfassungsposition des Distanzbilds, und die Bewegungsbereichsgrenzen-Bestimmungseinheit die Grenze des Bewegungsbereichs auf einer Basis einer integrierten Aufwandsverteilung bestimmt, die durch Addieren einer Aufwandsverteilung der Kennzeichnungsinformationsgrenze und einer Aufwandsverteilung der Distanzbildgrenze erhalten wird.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine Kennzeichnungseinheit, die Kennzeichnungsinformationen durch Kennzeichnen in Einheiten von Pixeln gemäß der Art des Objekts in dem erfassten Bild durch semantische Segmentierung erzeugt.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Bewegungsbereichsgrenzen-Bestimmungseinheit die Kennzeichnungsinformationsgrenze als die Grenze des Bewegungsbereichs bestimmt in einem Fall, in dem eine Distanz von der Abbildungsposition weiter als eine vorbestimmte Distanz ist, und die Distanzbildgrenze als die Grenze des Bewegungsbereichs bestimmt in einem Fall, in dem die Distanz von der Abbildungsposition näher als die vorbestimmte Distanz ist.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine Koordinatenkonvertierungseinheit, die ein Koordinatensystem von einem des Bilds und des Distanzbilds in ein Koordinatensystem des anderen konvertiert.
Signalverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine Interpolationseinheit, die Distanzinformationen interpoliert, so dass das Distanzbild die gleiche Auflösung hat wie das Bild auf der Basis der Distanzinformationen des Distanzbilds, wobei die Kennzeichnungsgrenzen-Schätzungseinheit auf einer Basis der Kennzeichnungsinformationen eine Grenze eines Bereichs, der als ein Objekt einer Art bezeichnet wird, das dem Bewegungsbereich entspricht, als die Grenze des Bewegungsbereichs festlegt, und ferner die Grenze des Bewegungsbereichs als die Kennzeichnungsinformationsgrenze abschätzt, indem eine Breite in der Vertikalrichtung der Grenze des Bewegungsbereichs, festgelegt auf einer Basis der Kennzeichnungsinformationen, festgelegt wird, wobei die Einstellung gemäß einer Distanz basierend auf dem Distanzbild durch Interpolation der Distanzinformationen durch die Interpolationseinheit die gleiche Auflösung hat wie das Bild.
Signalverarbeitungsverfahren, das Folgendes umfasst: einen Kennzeichnungsgrenzen-Schätzungsprozess des Abschätzens, als eine Kennzeichnungsinformationsgrenze auf einer Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild, eines Bereichs, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; einen Distanzbildgrenzen-Schätzungsprozess des Abschätzens, als eine Distanzbildgrenze auf einer Basis eines Distanzbilds, eines Bereichs, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und einen Bewegungsbereichsgrenzen-Bestimmungsprozess des Bestimmens der Grenze des Bewegungsbereichs auf einer Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze.
Programm, das einen Computer veranlasst, als Folgendes zu funktionieren: eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf einer Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf einer Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; und eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf einer Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt.
Mobiler Körper, der Folgendes aufweist: eine Kennzeichnungsgrenzen-Schätzungseinheit, die als eine Kennzeichnungsinformationsgrenze auf einer Basis von Kennzeichnungsinformationen gemäß einer Art eines Objekts in einem erfassten Bild einen Bereich abschätzt, in dem eine Grenze eines Bewegungsbereichs eines mobilen Körpers in dem Bild existiert; eine Distanzbildgrenzen-Schätzungseinheit, die als eine Distanzbildgrenze auf einer Basis eines Distanzbilds einen Bereich abschätzt, in dem die Grenze des Bewegungsbereichs in dem Distanzbild existiert; eine Bewegungsbereichsgrenzen-Bestimmungseinheit, welche die Grenze des Bewegungsbereichs auf einer Basis der Kennzeichnungsinformationsgrenze und der Distanzbildgrenze bestimmt; eine Umgebungsabbildungseinheit, die eine Umgebungskarte auf einer Basis der Grenze des Bewegungsbereichs erzeugt, der durch die Bewegungsbereichsgrenzen-Bestimmungseinheit bestimmt wird; eine Planungseinheit, die einen Aktionsplan auf einer Basis der Umgebungskarte erzeugt; und eine Steuereinheit, die den Betrieb des mobilen Körpers auf einer Basis des erzeugten Aktionsplans steuert.