DE112018004891T5

DE112018004891T5 - Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper

Info

Publication number: DE112018004891T5
Application number: DE112018004891.8T
Authority: DE
Inventors: Masataka Toyoura
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-09-01
Filing date: 2018-08-21
Publication date: 2020-06-10
Also published as: JPWO2019044571A1; WO2019044571A1; US11341615B2; US20210183016A1

Abstract

Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Programm und einen mobilen Körper, die es ermöglichen, Rauschen in einem Abstandsbild zu entfernen.
Ein Abstandsbild, das Pixelwerte aufweist, die dem Abstand zu einem mit dem gleichen Winkel fotografierten Motiv entsprechen, und ein Intensitätsbild, das Pixelwerte aufweist, die der Lichtempfangsintensität von vom Motiv reflektiertem Licht entsprechen, werden erfasst. Die Pixelwerte für Pixel im Abstandsbild, die Pixeln im Intensitätsbild mit einem Pixelwert kleiner als ein vorgegebener Schwellenwert entsprechen, werden zu abstandslosen Pixeln umgewandelt, wodurch Rauschen aus dem Abstandsbild entfernt wird. Die vorliegende Offenbarung ist auf ein fahrzeuginternes System anwendbar.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren, ein Programm und einen sich bewegenden Körper und insbesondere eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren, ein Programm und einen sich bewegenden Körper, die Abstandsbildfehler reduzieren können.
[Stand der Technik]
Es besteht ein wachsender Bedarf an Abstandsbildern mit Pixelwerten, die Abständen zu Objekten entsprechen. Ein Abstandsbild wird erhalten, indem Abstände zu Objekten in Pixeleinheiten auf Basis von Umlaufzeiten erhalten werden, die gebraucht werden, damit das projizierte Licht von den Objekten reflektiert wird, wodurch es als reflektiertes Licht empfangen wird.
Ein Abstandsbild weist jedoch manchmal einen Fehler auf, dass bei Licht mit hoher Leuchtdichte, das von einem Objekt mit extrem hohem Reflexionsvermögen oder dergleichen reflektiert wird, Pixelwerte basierend auf Abständen, die sich von einem tatsächlichen Abstand zu dem Objekt unterscheiden, eingestellt werden.
In Anbetracht dessen wurde beispielsweise als eine Technologie zum Reduzieren dieses Abstandsbildfehlers eine Technologie vorgeschlagen, die ein Hintergrundsubtraktionsbild zwischen dem aufgenommenen Bild eines durch eine Bildgebungseinrichtung aufgenommenen Detektionsbereichs und dem Hintergrundbild dieses Detektionsbereichs erzeugt und Objekte im Hintergrundsubtraktionsbild detektiert, um zu bestimmen, ob Rauschen vorliegt oder nicht, um dadurch Rauschen zu entfernen (siehe PTL 1).
Ferner wurde eine Technologie vorgeschlagen, die Rauschen beim Prozess der Abstandsbilderzeugung entfernt (siehe PTL 2).
[Zitatliste]
[Patentliteratur]

[PTL 1] Japanisches Patent Offenlegungs-Nr. 2014-056494 .
[PTL 2] Japanische Übersetzungen von PCT für Patent Nr. 2016-509208

[Kurzdarstellung]
[Technisches Problem]
Da jedoch die Technologie von PTL 1 Objekte detektiert, um Rauschen unter Verwendung eines Hintergrundsubtraktionsbildes zu entfernen, besteht die Befürchtung, dass Rauschen in einem Fall, in dem sich ein Hintergrund ändert, oder in einem Fall, in dem die Bildgebungseinrichtung bewegt wird, nicht angemessen detektiert werden kann.
Da es sich bei der Technologie von PTL 2 um eine Technologie zur Abstandsbilderzeugung handelt, besteht ferner die Befürchtung, dass Rauschen in erzeugten Abstandsbildern nicht entfernt werden kann.
Die vorliegende Offenbarung wurde im Hinblick auf solche Umstände vorgenommen und ermöglicht es, insbesondere in Abstandsbildern enthaltenes Rauschen zu entfernen.
[Lösung des Problems]
Gemäß einem Aspekt der vorliegenden Offenbarung wird eine Bildverarbeitungseinrichtung bereitgestellt, die Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln, um dadurch Rauschen in dem Abstandsbild zu entfernen.
Die Bildverarbeitungseinrichtung kann ferner einen Schwellenbestimmungsabschnitt aufweisen, der zum Erzeugen eines Histogramms des Pixelwerts des Intensitätsbildes und zum Bestimmen eines als ein Änderungspunkt im Histogramm dienenden Pixelwerts als die vorbestimmte Schwelle ausgebildet ist.
Die Bildverarbeitungseinrichtung kann ferner einen Filterverarbeitungsabschnitt aufweisen, der dazu ausgebildet ist, an dem Intensitätsbild eine Verarbeitung unter Verwendung eines vorbestimmten Filters zum Entfernen von Rauschen durchzuführen.
Das Filter kann ein bilaterales Filter enthalten.
Der Rauschentfernungsabschnitt kann den Pixelwert des Pixels in dem Abstandsbild, das dem Pixel entspricht, dessen Pixelwert kleiner als die vorbestimmte Schwelle in dem Intensitätsbild ist, in ein Nichtdetektionspixel umwandeln, das keine Detektion des Abstands angibt, um dadurch Rauschen im Abstandsbild zu entfernen.
Die Bildverarbeitungseinrichtung kann ferner Folgendes aufweisen: einen Lichtprojektionsabschnitt, der dazu ausgebildet ist, Licht zu projizieren; einen Lichtempfangsabschnitt, der dazu ausgebildet ist, reflektiertes Licht zu empfangen, das durch den Lichtprojektionsabschnitt projiziertes und dann durch das Objekt reflektiertes Licht enthält; einen Abstandsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, einen Abstand zu dem Objekt in Pixeleinheiten basierend auf der Zeit von dem Zeitpunkt, zu dem der Lichtprojektionsabschnitt das Licht projiziert, bis zu dem Zeitpunkt, zu dem der Lichtempfangsabschnitt das reflektierte Licht empfängt, zu erhalten, und ein Abstandsbild mit einem Pixelwert zu erzeugen, der dem Abstand zum Objekt entspricht; und einen Intensitätsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erzeugen, der einer Intensität des reflektierten Lichts entspricht, das durch den Lichtempfangsabschnitt in Pixeleinheiten empfangen wird. Der Abstandsbild-Erfassungsabschnitt kann das durch den Abstandsbild-Erzeugungsabschnitt erzeugte Abstandsbild als das Abstandsbild erfassen, das den Pixelwert aufweist, der dem Abstand zu dem bildlich erfassten Objekt entspricht. Der Intensitätsbild-Erfassungsabschnitt kann das durch den Intensitätsbild-Erzeugungsabschnitt erzeugte Intensitätsbild als das Intensitätsbild erfassen, das den Pixelwert aufweist, der der empfangenen Intensität des reflektierten Lichts des von dem Objekt projizierten Lichts entspricht.
Der Lichtprojektionsabschnitt kann Infrarotlicht projizieren.
Das Abstandsbild kann durch einen Triangulations-Infrarot-Entfernungsmessungssensor erzeugt werden.
Das Abstandsbild kann durch einen Entfernungsmessungssensor mit strukturiertem Licht erzeugt werden.
Das Abstandsbild kann durch einen Stereokamerasensor erzeugt werden.
Das Abstandsbild kann basierend auf einer dreidimensionalen Punktwolke erzeugt werden, die durch LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung) gemessen wird.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Bildverarbeitungsverfahren bereitgestellt, das Folgendes aufweist: eine Abstandsbild-Erfassungsverarbeitung zum Erfassen eines Abstandsbildes mit einem Pixelwert, der einem Abstand zu einem bildlich erfassten Objekt entspricht; eine Intensitätsbild-Erfassungsverarbeitung zum Erfassen eines Intensitätsbildes mit einem Pixelwert, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und eine Rauschentfernungsverarbeitung zum Umwandeln eines Pixelwerts eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Programm bereitgestellt, um einen Computer zu veranlassen, eine Verarbeitung auszuführen, die Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein sich bewegender Körper bereitgestellt, der Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln; einen Situationsanalyseabschnitt, der dazu ausgebildet ist, eine Umgebungskarte basierend auf dem Abstandsbild zu erzeugen, aus dem das Rauschen entfernt wurde; einen Planungsabschnitt, der dazu ausgebildet ist, eine Fahrtroute basierend auf der durch den Situationsanalyseabschnitt erzeugten Umgebungskarte zu planen; und einen Betriebssteuerabschnitt, der dazu ausgebildet ist, den Betrieb basierend auf der durch den Planungsabschnitt geplanten Fahrtroute zu steuern.
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Abstandsbild mit einem Pixelwert erfasst, der einem Abstand zu einem bildlich erfassten Objekt entspricht, ein Intensitätsbild mit einem Pixelwert, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht, wird erfasst, und ein Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, wird in einen vorbestimmten Pixelwert umgewandelt, sodass Rauschen in dem Abstandsbild entfernt wird.
[Vorteilhafter Effekt der Erfindung]
Gemäß einem Aspekt der vorliegenden Offenbarung ist es möglich, in Abstandsbildern enthaltenes Rauschen zu entfernen.
Figurenliste

[1] 1 ist ein Diagramm, das den Überblick der vorliegenden Offenbarung veranschaulicht.
[2] 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Fahrzeugsteuersystems der vorliegenden Offenbarung veranschaulicht.
[3] 3 ist ein Diagramm, das ein Beispiel einer Konfiguration veranschaulicht, die Abstandsbilder in dem Fahrzeugsteuersystem in 2 erzeugt.
[4] 4 ist ein Diagramm, das ein Verfahren zum Bestimmen einer Intensitätsschwelle zum Angeben des Empfangserfolgs von Licht, das von Objekten reflektiert wird, in einem Infrarotbild bei der Fehlerbeseitigung veranschaulicht.
[5] 5 ist ein Diagramm, das ein Rauschentfernungsverfahren veranschaulicht.
[6] 6 ist ein Flussdiagramm, das eine Abstandsbild-Rauschentfernungsverarbeitung veranschaulicht.
[7] 7 ist ein Diagramm, das die Abstandsbild-Rauschentfernungsverarbeitung veranschaulicht.
[8] 8 ist ein Blockdiagramm, das ein Konfigurationsbeispiel in einem Fall veranschaulicht, in dem die Technologie der vorliegenden Offenbarung auf einen Roboter angewendet wird.
[9] 9 ist ein Diagramm, das ein Konfigurationsbeispiel eines Mehrzweck-Computers veranschaulicht.

[Beschreibung der Ausführungsform]
Jetzt wird eine bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die angehängten Zeichnungen ausführlich beschrieben. Es ist zu beachten, dass in der Patentschrift und den Zeichnungen Komponenten mit im Wesentlichen der gleichen funktionalen Konfiguration mit dem gleichen Bezugszeichen bezeichnet sind und die redundante Beschreibung weggelassen wird.
Nun wird ein Modus zum Ausführen der vorliegenden Technologie beschrieben. Die Beschreibung erfolgt in der folgenden Reihenfolge.

1. Überblick der vorliegenden Offenbarung
2. Ausführungsform der vorliegenden Offenbarung
3. Anwendungsbeispiel
4. Beispiel für eine Ausführung durch Software

<<Überblick der vorliegenden Offenbarung>>
Ein sich bewegender Körper der vorliegenden Offenbarung ist ein autonomer sich bewegender Körper, der dazu ausgebildet ist, Rauschen zu entfernen, das in Abstandsbildern enthalten ist, die als Informationen in Bezug auf Situationen im Umfeld des sich bewegenden Körpers erfasst werden, und ein Selbstfahren auf Basis der Abstandsbilder, aus denen das Rauschen entfernt wurde, durchzuführen.
Abstandsbilder werden im Allgemeinen durch Kameras aufgenommen, die als „ToF-Kamera“ (ToF: Time of Flight - Laufzeit) bezeichnet werden. Eine ToF-Kamera projiziert Infrarotlicht und empfängt das reflektierte Licht, das durch ein Objekt reflektiert wird, um einen Abstand zu dem Objekt auf Basis der Zeit zwischen dem Lichtprojektionszeitpunkt und dem Lichtempfangszeitpunkt zu messen, das heißt einer Umlaufzeit, die das auf das Objekt projizierte Licht braucht, um zur ToF-Kamera zurückzukehren. Die ToF-Kamera erzeugt ein Bild mit Pixelwerten, die dem Messergebnis entsprechen, als ein Abstandsbild.
Zum Beispiel wird ein Fall in Betracht gezogen, in dem ein Bild P1, das ein Innenbild in Schwarzweiß enthält, wie im linken Teil von 1 veranschaulicht, aufgenommen wird. Hier erscheint in dem Bild P1 in 1 eine Wand W nahe der Abbildungsposition in dem linken Teil des Bildes und ein Boden F erscheint in dem unteren rechten Teil. Im linken Teil erscheint ein Stuhl C auf dem Boden F und auf der rechten Seite des Stuhls C erscheint ein Schreibtisch D. Im oberen rechten Teil erscheint eine Decke mit Beleuchtungsanlagen, die einem Bereich Z0 entspricht.
Ein Bild P2 im oberen mittleren Teil von 1 ist ein Abstandsbild, das von einer Abbildungsposition und in einem Winkel aufgenommen wurde, die die gleichen sind wie jene, die beim Aufnehmen des Bildes P1 verwendet wurden.
Das Bild P2 ist ein Bild, in dem Bereiche, die der relativ nahen Wand W, dem Boden F, dem Stuhl C und dem Schreibtisch D in dem Bild P1 entsprechen, in Pixeleinheiten durch Farben in Abhängigkeit von Abständen von der Abbildungsposition angegeben sind. Es ist zu beachten, dass Schwarz in dem Bild P2 Nichtdetektionsbereiche repräsentiert. Ein Nichtdetektionsbereich zeigt an, dass die Messung eines Abstands zu dem Bereich fehlgeschlagen ist.
In Bezug auf einen Bereich Z1 nahe der Decke in dem Bild P2, der dem Bereich Z0 der Decke in dem Bild P1 entspricht, ist hier, obwohl der Bereich Z1 weiter entfernt als die Wand W ist, der rechte Bereich teilweise mit einer inkorrekten Farbe gefärbt, die anzeigt, als ob der Abstand zum Bereich Z1 der gleiche wie der Abstand zur Wand W ist. Dies zeigt an, dass Rauschen auftritt.
In einem Fall, in dem ein Objekt, das projiziertes Infrarotlicht reflektiert, sich extrem nahe der Projektionsposition für Infrarotlicht befindet, oder in einem Fall, in dem das Reflexionsvermögen hoch ist, wird das emittierte Infrarotlicht manchmal diffus reflektiert. Ein Gebiet, von dem reflektiertes Infrarotlicht nicht zurückkehrt, da das Objekt beispielsweise weit entfernt ist, ist als ein Nichtdetektionsbereich zu bestimmen, diffus reflektiertes Licht wird jedoch manchmal dominant. Wie durch den Bereich Z1 in dem Bild P2 repräsentiert, ist das Gebiet folglich nicht mit Schwarz, das keine Detektion angibt, sondern mit Farben, die Abstände angeben, gefärbt, und erscheint daher in einigen Fällen als Rauschen.
In der vorliegenden Offenbarung wird Rauschen, das aufgrund von Diffusionsreflexion auftritt, unter Verwendung eines Infrarotbildes mit den empfangenen Lichtintensitäten von reflektiertem Licht entfernt, bei dem es sich um Infrarotlicht handelt, das projiziert wird, um von Objekten reflektiert zu werden.
Ein Infrarotbild, das dem Bild P1 entspricht, ist beispielsweise ein Bild P3 im rechten Teil von 1. Das Bild P3 ist ein Infrarotbild, das von derselben Abbildungsposition und unter demselben Winkel wie das Bild P1 aufgenommen wurde.
Das Bild P3 ist ein Bild mit Pixelwerten, die den Intensitäten des reflektierten Lichts entsprechen, das projiziertes Infrarotlicht ist, das durch die Objekte reflektiert wird. Ein Bereich Z2, der dem Bereich Z1 in dem Bild P2 entspricht, ist durch schwarze Pixel angegeben. Das heißt, es wird angegeben, dass kein reflektiertes Licht detektiert wurde und das Objekt weit von der Abbildungsposition entfernt ist.
Somit werden in der vorliegenden Offenbarung das Bild P2, das ein Abstandsbild ist, und das Bild P3, das ein Infrarotbild ist, miteinander verglichen. Pixel in einem Gebiet, das einem Objekt entspricht, das offensichtlich weit von einer Abbildungsposition entfernt ist, werden durch die schwarzen Pixel in dem Bild P3 angegeben, bei dem es sich um ein Infrarotbild handelt. In diesem Fall werden die entsprechenden Pixel in dem Bild P2, das ein Abstandsbild ist, als Rauschen betrachtet und durch Nichtdetektionspixel ersetzt, selbst wenn die Pixel Pixelwerte aufweisen, die Abstände angeben.
Durch diese Verarbeitung wird, obwohl der rechte Bereich des Bereichs Z1 teilweise durch die Pixel, die erhaltene Abstände angeben, außer schwarzen Pixeln in dem Bild P2, das ein Abstandsbild ist, angegeben wird, der entsprechende Bereich Z2 in dem Bild P3, das ein Infrarotbild ist, durch die schwarzen Pixel angegeben. Es wird angegeben, dass das Objekt weit entfernt ist. Wenn die Pixel in dem Bereich Z1 durch schwarze Pixel ersetzt sind, die Nichtdetektionspixel repräsentieren, wird ein Bild P4, das ein Abstandsbild ist, wie in dem unteren mittleren Teil von 1 veranschaulicht, erzeugt.
Infolgedessen werden Pixel, die teilweise so gefärbt sind, als ob Abstände erhalten worden wären, wie durch den Bereich Z1 in dem Bild P2 repräsentiert, das ein Abstandsbild ist, als zu entfernendes Rauschen angesehen, wie durch das Bild P4 angegeben. Rauschen in Abstandsbildern kann daher entfernt werden.
<<Ausführungsform der vorliegenden Offenbarung>>
Ein sich bewegender Körper der vorliegenden Offenbarung ist ein sich bewegender Körper, der dazu ausgebildet ist, Rauschen, das in einem Abstandsbild enthalten ist, das als Situationen im Umfeld des sich bewegenden Körpers erfasst wird, zu entfernen, eine Umgebungskarte auf Basis des Abstandsbildes, aus dem das Rauschen entfernt wurde, zu erzeugen, eine Fahrtroute in Abhängigkeit von der Umgebungskarte zu planen und autonom auf der geplanten Fahrtroute zu fahren. Im Folgenden wird ein Beispiel eines Falls beschrieben, in dem der sich bewegende Körper der vorliegenden Offenbarung ein Fahrzeug ist. Es erübrigt sich jedoch zu erwähnen, dass der sich bewegende Körper irgendein anderer sich bewegender Körper als ein Fahrzeug sein kann.
2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der schematischen Funktion eines Fahrzeugsteuersystems 100 eines Fahrzeugs 11 veranschaulicht. Das Fahrzeugsteuersystem 100 ist ein Beispiel eines Steuersystems für einen sich bewegenden Körper, auf das die vorliegende Technologie anwendbar ist.
Es ist zu beachten, dass in der folgenden Beschreibung in einem Fall, in dem das Fahrzeug 11 einschließlich des Fahrzeugsteuersystems 100 von einem anderen Fahrzeug unterschieden wird, das Fahrzeug 11 als „betreffendes Fahrzeug“ bezeichnet wird.
Das Fahrzeugsteuersystem 100 weist Folgendes auf: eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, ein fahrzeuginternes Gerät 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Fahrsystemsteuereinheit 107, ein Fahrsystem 108, eine Karosseriesystemsteuereinheit 109, ein Karosseriesystem 110, eine Speicherungseinheit 111 und eine Selbstfahrsteuereinheit 112. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Fahrsystemsteuereinheit 107, die Karosseriesystemsteuereinheit 109, die Speicherungseinheit 111 und die Selbstfahrsteuereinheit 112 sind über ein Kommunikationsnetzwerk 121 miteinander verbunden. Beispiele des Kommunikationsnetzwerks 121 enthalten fahrzeugmontierte Kommunikationsnetzwerke gemäß einem beliebigen Standard wie etwa CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) und FlexRay (eingetragenes Markenzeichen) sowie Busse. Es ist zu beachten, dass die jeweiligen Teile des Fahrzeugsteuersystems 100 in einigen Fällen ohne das Kommunikationsnetzwerk 121 direkt miteinander verbunden sind.
Es ist zu beachten, dass in der folgenden Beschreibung in einem Fall, in dem die jeweiligen Teile des Fahrzeugsteuersystems 100 über das Kommunikationsnetzwerk 121 miteinander kommunizieren, die Beschreibung des Kommunikationsnetzwerks 121 weggelassen wird. Beispielsweise wird ein Fall, in dem die Eingabeeinheit 101 und die Selbstfahrsteuereinheit 112 über das Kommunikationsnetzwerk 121 miteinander kommunizieren, einfach als ein Fall beschrieben, in dem die Eingabeeinheit 101 und die Selbstfahrsteuereinheit 112 miteinander kommunizieren.
Die Eingabeeinheit 101 weist eine Einrichtung auf, die ein Insasse verwendet, um verschiedene Daten, Anweisungen oder dergleichen einzugeben. Beispielsweise weist die Eingabeeinheit 101 Bedienungsvorrichtungen wie etwa ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel sowie Bedienungsvorrichtungen, die dazu ausgebildet sind, andere Eingabeverfahren als die manuelle Bedienung zu unterstützen, wie etwa Spracheingabe und Gesteneingabe, auf. Ferner kann die Eingabeeinheit 101 beispielsweise eine Fernbedienungseinrichtung sein, die Infrarotstrahlen oder andere Funkwellen nutzt, oder kann ein extern angeschlossenes Gerät sein, das zum Betrieb durch das Fahrzeugsteuersystem 100 konfiguriert ist, wie etwa ein mobiles Gerät oder ein am Körper tragbares Gerät. Die Eingabeeinheit 101 erzeugt Eingabesignale auf Basis von Daten, Anweisungen oder dergleichen, die durch den Insassen eingegeben werden, und liefert die Eingabesignale an jeden Teil des Fahrzeugsteuersystems 100.
Die Datenerfassungseinheit 102 weist beispielsweise verschiedene Sensoren auf, die dazu ausgebildet sind, Daten zu erfassen, die bei der Verarbeitung durch das Fahrzeugsteuersystem 100 verwendet werden, und liefert die erfassten Daten an jeden Teil des Fahrzeugsteuersystems 100.
Beispielsweise weist die Datenerfassungseinheit 102 verschiedene Sensoren zum Detektieren der Zustände oder dergleichen des betreffenden Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 102 beispielsweise einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmesseinheit (IMU) und Sensoren zum Detektieren des Betrags der Gaspedalbetätigung, des Betrags der Bremspedalbetätigung, der Lenkradlenkwinkel, der Verbrennungsmotordrehzahl, der Motordrehzahl, der Raddrehgeschwindigkeit oder dergleichen auf.
Ferner weist die Datenerfassungseinheit 102 beispielsweise verschiedene Sensoren zum Detektieren von Informationen außerhalb des betreffenden Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel eine Bildgebungseinrichtung auf, wie etwa eine ToF-Kamera (Time Of Flight - Laufzeit), eine Stereokamera, eine Monokularkamera, eine Infrarotkamera oder andere Kameras. Ferner weist die Datenerfassungseinheit 102 beispielsweise einen Umgebungssensor zum Detektieren von Wetter, einem atmosphärischen Phänomen oder dergleichen und einen Peripherieinformationsdetektionssensor zum Detektieren von Objekten im Umfeld des betreffenden Fahrzeugs auf. Beispiele des Umgebungssensors schließen Regensensoren, Nebelsensoren, Sonnenlichtsensoren und Schneesensoren ein. Beispiele des Peripherieinformationsdetektionssensors schließen Ultraschallsensoren, Radare, LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung) und Sonare ein.
Darüber hinaus weist die Datenerfassungseinheit 102 beispielsweise verschiedene Sensoren zum Detektieren der aktuellen Position des betreffenden Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 102 beispielsweise einen GNSS-Empfänger auf, der zum Empfangen von GNSS-Signalen von GNSS-Satelliten (Global Navigation Satellite System - globales Satellitennavigationssystem) ausgebildet ist.
Ferner weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren von fahrzeuginternen Informationen auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel Folgendes auf: eine Bildgebungseinrichtung, die dazu ausgebildet ist, einen Fahrer abzubilden, einen biologischen Sensor, der dazu ausgebildet ist, biologische Informationen in Bezug auf den Fahrer zu detektieren, und ein Mikrofon, das dazu ausgebildet ist, Ton innerhalb des Fahrzeugs zu sammeln. Der biologische Sensor ist beispielsweise an jedem Sitz oder dem Lenkrad bereitgestellt und detektiert biologische Informationen in Bezug auf den Insassen, der auf dem Sitz sitzt, oder den Fahrer, der das Lenkrad ergreift.
Die Kommunikationseinheit 103 kommuniziert mit dem fahrzeuginternen Gerät 104 und verschiedenen Arten von Geräten außerhalb des Fahrzeugs, Servern, Basisstationen oder dergleichen und überträgt von jedem Teil des Fahrzeugsteuersystems 100 gelieferte Daten oder liefert empfangene Daten an jeden Teil des Fahrzeugsteuersystems 100. Es ist zu beachten, dass Kommunikationsprotokolle, mit denen die Kommunikationseinheit 103 kompatibel ist, nicht besonders eingeschränkt sind. Ferner kann die Kommunikationseinheit 103 mit mehreren Arten von Kommunikationsprotokollen kompatibel sein.
Beispielsweise kommuniziert die Kommunikationseinheit 103 drahtlos mit dem fahrzeuginternen Gerät 104 über ein Drahtlos-LAN, Bluetooth (eingetragenes Markenzeichen), NFC (Nahfeldkommunikation), WUSB (Drahtlos-USB) oder dergleichen. Ferner kommuniziert die Kommunikationseinheit 103 beispielsweise mit dem fahrzeuginternen Gerät 104 durch drahtgebundene Kommunikation über einen nicht veranschaulichten Verbindungsanschluss (und gegebenenfalls ein Kabel) unter Verwendung eines USB (Universal Serial Bus), eines HDMI (eingetragenes Markenzeichen) (High Definition Multimedia Interface), eines MHL (Mobile High-Definition Link) oder dergleichen.
Darüber hinaus kommuniziert die Kommunikationseinheit 103 beispielsweise über Basisstationen oder Zugangspunkte mit Geräten (beispielsweise Anwendungsservern oder Steuerungsservern) in externen Netzwerken (beispielsweise dem Internet, Cloud-Netzwerken oder unternehmensspezifischen Netzwerken). Ferner verwendet die Kommunikationseinheit 103 zum Beispiel die P2P-Technologie (P2P: Peer-zu-Peer), um mit Endgeräten (zum Beispiel Fußgängerendgerät, Ladenendgerät oder MTC-Endgerät (Machine Type Communication - Maschinentypkommunikation)) in der Nähe des betreffenden Fahrzeugs zu kommunizieren. Darüber hinaus führt die Kommunikationseinheit 103 beispielsweise eine V2X-Kommunikation durch, wie etwa eine Fahrzeug-zu-Fahrzeug-Kommunikation, eine Fahrzeug-zu-Infrastruktur-Kommunikation, eine Fahrzeug-zu-Haus-Kommunikation und eine Fahrzeug-zu-Fußgänger-Kommunikation. Ferner weist die Kommunikationseinheit 103 beispielsweise einen Beacon-Empfangsabschnitt auf und empfängt Funkwellen oder elektromagnetische Wellen, die von an Straßen installierten Drahtlosstationen oder dergleichen übertragen werden, um Informationen bezüglich einer aktuellen Position, Verkehrsstaus, Verkehrsbeschränkungen und erforderlicher Zeit oder dergleichen zu erfassen.
Das fahrzeuginterne Gerät 104 weist zum Beispiel ein mobiles Gerät oder ein am Körper tragbares Gerät des Insassen, ein Informationsgerät, das in das betreffende Fahrzeug gebracht wird oder daran angebracht ist, und eine Navigationseinrichtung auf, die dazu ausgebildet ist, nach Routen zu einem beliebigen Zielort zu suchen.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Informationen zu dem Insassen des betreffenden Fahrzeugs oder zur Außenseite des Fahrzeugs. Zum Beispiel erzeugt die Ausgabesteuereinheit 105 ein Ausgabesignal, das visuelle Informationen (zum Beispiel Bilddaten) und/oder akustische Informationen (zum Beispiel Tondaten) aufweist, und liefert das Ausgabesignal an die Ausgabeeinheit 106, um dadurch die Ausgabe der visuellen Informationen und akustischen Informationen von der Ausgabeeinheit 106 zu steuern. Insbesondere kombiniert die Ausgabesteuereinheit 105 zum Beispiel die Bilddaten, die durch eine andere Bildgebungseinrichtung der Datenerfassungseinheit 102 aufgenommen wurden, um ein Vogelperspektivenbild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgabesignal einschließlich des erzeugten Bildes an die Ausgabeeinheit 106. Ferner erzeugt die Ausgabesteuereinheit 105 beispielsweise Tondaten, die beispielsweise Töne oder Nachrichten enthalten, die vor Gefahren wie etwa Kollisionen, geringfügigen Kollisionen oder Eintritten in gefährliche Zonen warnen, und liefert ein Ausgabesignal, das die erzeugten Tondaten enthält, an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Einrichtung auf, die in der Lage ist, visuelle Informationen oder akustische Informationen zu dem Insassen des betreffenden Fahrzeugs oder zur Außenseite des Fahrzeugs auszugeben. Beispielsweise weist die Ausgabeeinheit 106 eine Anzeigeeinrichtung, eine Instrumententafel, einen Audiolautsprecher, einen Kopfhörer, eine am Körper tragbare Vorrichtung, die der Insasse am Körper trägt, wie etwa eine Brillenanzeige, einen Projektor oder eine Lampe auf. Die Anzeigeeinrichtung der Ausgabeeinheit 106 kann außer einer Einrichtung mit einer normalen Anzeige eine Einrichtung sein, die dazu ausgebildet ist, visuelle Informationen im Sichtfeld des Fahrers anzuzeigen, wie etwa ein Head-up-Display, eine transmissive Anzeige oder zum Beispiel eine Einrichtung mit einer AR-Anzeigefunktion (Augmented Reality - erweiterte Realität).
Die Fahrsystemsteuereinheit 107 erzeugt verschiedene Steuersignale und liefert die Steuersignale an das Fahrsystem 108, um dadurch das Fahrsystem 108 zu steuern. Ferner liefert die Fahrsystemsteuereinheit 107 die Steuersignale an jeden anderen Teil als das Fahrsystem 108, um beispielsweise jeden Teil über die Steuerstatus des Fahrsystems 108 nach Bedarf zu benachrichtigen.
Das Fahrsystem 108 enthält verschiedene Einrichtungen, die sich auf das Fahrsystem des betreffenden Fahrzeugs beziehen. Beispielsweise weist das Fahrsystem 108 Folgendes auf: eine Antriebskrafterzeugungseinrichtung zum Erzeugen einer Antriebskraft für den Verbrennungsmotor, den Antriebsmotor oder dergleichen, ein Antriebskraftübertragungssystem zum Übertragen einer Antriebskraft auf die Räder und einen Lenkmechanismus, der zum Anpassen des Lenkwinkels ausgebildet ist, eine Bremseinrichtung, die zum Erzeugen einer Bremskraft ausgebildet ist, ein ABS (Antiblockiersystem), ESC (elektronische Stabilitätskontrolle) und eine elektrische Servolenkeinrichtung.
Die Karosseriesystemsteuereinheit 109 erzeugt verschiedene Steuersignale und liefert die Steuersignale an das Karosseriesystem 110, um dadurch das Karosseriesystem 110 zu steuern. Ferner liefert die Karosseriesystemsteuereinheit 109 die Steuersignale an jeden anderen Teil als das Karosseriesystem 110, um beispielsweise jeden Teil über die Steuerstatus des Karosseriesystems 110 nach Bedarf zu benachrichtigen.
Das Karosseriesystem 110 enthält verschiedene Karosseriesystemeinrichtungen, die an der Fahrzeugkarosserie montiert sind. Zum Beispiel weist das Karosseriesystem 110 ein schlüsselloses Zugangssystem, ein intelligentes Schlüsselsystem, eine elektrische Fensterhebereinrichtung, elektrische Sitze, ein Lenkrad, eine Klimaanlage und verschiedene Lampen (zum Beispiel Scheinwerfer, Rückfahrleuchten, Bremsleuchten, Blinker und Nebelscheinwerfer) auf.
Die Speicherungseinheit 111 enthält zum Beispiel eine magnetische Speicherungsvorrichtung wie etwa einen ROM (Nur-Lese-Speicher), einen RAM (Direktzugriffsspeicher) oder ein HDD (Festplattenlaufwerk), eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung und eine magnetooptische Speicherungsvorrichtung. Die Speicherungseinheit 111 speichert zum Beispiel verschiedene Programme oder Daten, die in jedem Teil des Fahrzeugsteuersystems 100 verwendet werden sollen. Beispielsweise speichert die Speicherungseinheit 111 Kartendaten, wie etwa dreidimensionale hochgenaue Karten, wie etwa dynamische Karten, globale Karten, die eine geringere Genauigkeit als die hochgenauen Karten aufweisen und breitere Bereiche als die hochgenauen Karten abdecken, und lokale Karten, die Peripherieinformationen in Bezug auf das betreffende Fahrzeug enthalten.
Die Selbstfahrsteuereinheit 112 führt eine Steuerung mit Bezug auf ein Selbstfahren, wie etwa ein autonomes Fahren oder eine Fahrunterstützung, durch. Insbesondere führt die Selbstfahrsteuereinheit 112 beispielsweise eine kooperative Steuerung zum Zweck des Erzielens einer ADAS-Funktion (Advanced Driver Assistance System - Fahrerassistenzsystem) einschließlich der Kollisionsvermeidung oder Stoßminderung des betreffenden Fahrzeugs, nachfolgendes Fahren basierend auf Fahrzeug-zu-Fahrzeug-Abständen, fahrgeschwindigkeitshaltendes Fahren, Kollisionswarnung für das betreffende Fahrzeug, Spurverlassenswarnung für das betreffende Fahrzeug oder dergleichen durch. Ferner führt die Selbstfahrsteuereinheit 112 zum Beispiel eine kooperative Steuerung durch, um zum Beispiel ein Selbstfahren zu erzielen, das es dem Fahrzeug ermöglicht, autonom zu fahren, ohne dass der Fahrer tätig wird. Die Selbstfahrsteuereinheit 112 weist einen Detektionsabschnitt 131, einen Selbstpositionsschätzabschnitt 132, einen Situationsanalyseabschnitt 133, einen Planungsabschnitt 134 und einen Betriebssteuerabschnitt 135 auf.
Der Detektionsabschnitt 131 detektiert verschiedene Informationen, die für die Selbstfahrsteuerung erforderlich sind. Der Detektionsabschnitt 131 weist einen Fahrzeugaußeninformationen-Detektionsabschnitt 141, einen Fahrzeuginneninformationen-Detektionsabschnitt 142 und einen Fahrzeugzustand-Detektionsabschnitt 143 auf.
Der Fahrzeugaußeninformationen-Detektionsabschnitt 141 führt die Verarbeitung zum Detektieren von Informationen außerhalb des betreffenden Fahrzeugs auf Basis von Daten oder Signalen von jedem Teil des Fahrzeugsteuersystems 100 durch. Beispielsweise führt der Fahrzeugaußeninformationen-Detektionsabschnitt 141 die Verarbeitung zum Detektieren, Erkennen und Verfolgen von Objekten im Umfeld des betreffenden Fahrzeugs und die Verarbeitung zum Detektieren von Abständen zu den Objekten durch. Beispiele der zu detektierenden Objekte enthalten Fahrzeuge, Menschen, Hindernisse, Strukturen, Straßen, Ampeln, Verkehrszeichen und Straßenschilder. Ferner führt zum Beispiel der Fahrzeugaußeninformationen-Detektionsabschnitt 141 beispielsweise die Verarbeitung zum Detektieren der Umgebung des betreffenden Fahrzeugs durch. Beispiele für die zu detektierende Umgebung enthalten Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit und Straßenbedingungen. Der Fahrzeugaußeninformationen-Detektionsabschnitt 141 liefert Daten, die das Ergebnis der Detektionsverarbeitung angeben, an den Selbstpositionsschätzabschnitt 132, einen Kartenanalyseabschnitt 151, einen Verkehrsregelerkennungsabschnitt 152 und einen Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, einen Notfallvermeidungsabschnitt 171 des Betriebssteuerabschnitts 135 und dergleichen.
Der Fahrzeuginneninformationen-Detektionsabschnitt 142 führt die Verarbeitung zum Detektieren von Fahrzeuginneninformation auf Basis von Daten oder Signalen von jedem Teil des Fahrzeugsteuersystems 100 durch. Beispielsweise führt der Fahrzeuginneninformationen-Detektionsabschnitt 142 die Verarbeitung zum Authentifizieren und Erkennen des Fahrers, die Verarbeitung zum Detektieren der Fahrerzustände, die Verarbeitung zum Detektieren von Insassen, die Verarbeitung zum Detektieren der Fahrzeuginnenumgebung und dergleichen durch. Beispiele der zu detektierenden Fahrerzustände enthalten physische Zustände, Wachsamkeit, Konzentration, Ermüdung und Blickrichtungen. Beispiele für die zu detektierende Fahrzeuginnenumgebung enthalten Temperatur, Luftfeuchtigkeit, Helligkeit und Gerüche. Der Fahrzeuginneninformationen-Detektionsabschnitt 142 liefert Daten, die das Ergebnis der Detektionsverarbeitung angeben, an den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, den Notfallvermeidungsabschnitt 171 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der Fahrzeugzustand-Detektionsabschnitt 143 führt die Verarbeitung zum Detektieren der Zustände des betreffenden Fahrzeugs auf Basis von Daten oder Signalen von jedem Teil des Fahrzeugsteuersystems 100 durch. Beispiele für die zu detektierenden Zustände des betreffenden Fahrzeugs enthalten Geschwindigkeit, Beschleunigung, Lenkwinkel, ob eine Abnormalität vorliegt oder nicht, die Einzelheiten einer Abnormalität, Fahrbetriebsstatus, die Positionen und die Neigung der elektrischen Sitze, ob die Türschlösser verriegelt oder entriegelt sind, und die Zustände anderer fahrzeugmontierter Geräte. Der Fahrzeugzustand-Detektionsabschnitt 143 liefert Daten, die das Ergebnis der Detektionsverarbeitung angeben, an den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, den Notfallvermeidungsabschnitt 171 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der Selbstpositionsschätzabschnitt 132 führt die Verarbeitung zum Schätzen von beispielsweise den Standorten und Stellungen des betreffenden Fahrzeugs auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100 durch, wie etwa dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 und dem Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133. Ferner erzeugt der Selbstpositionsschätzabschnitt 132 nach Bedarf lokale Karten, die zum Schätzen von Selbstpositionen verwendet werden (im Folgenden als „Karte zur Selbstpositionsschätzung“ bezeichnet). Die Karten zur Selbstpositionsschätzung sind beispielsweise hochgenaue Karten, die eine Technologie wie etwa SLAM (Simultaneous Localization and Mapping - simultane Positionsbestimmung und Kartenerstellung) verwenden. Der Selbstpositionsschätzabschnitt 132 liefert Daten, die das Ergebnis der Schätzverarbeitung angeben, an den Kartenanalyseabschnitt 151, den Verkehrsregelerkennungsabschnitt 152 und den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133 und dergleichen. Ferner speichert der Selbstpositionsschätzabschnitt 132 die Karten zur Selbstpositionsschätzung in der Speicherungseinheit 111.
Der Situationsanalyseabschnitt 133 führt die Verarbeitung zum Analysieren der Status des betreffenden Fahrzeugs und der Situationen im Umfeld des betreffenden Fahrzeugs durch. Der Situationsanalyseabschnitt 133 weist den Kartenanalyseabschnitt 151, den Verkehrsregelerkennungsabschnitt 152, den Situationserkennungsabschnitt 153 und einen Situationsvorhersageabschnitt 154 auf.
Der Kartenanalyseabschnitt 151 führt die Verarbeitung zum Analysieren verschiedener Karten durch, die in der Speicherungseinheit 111 gespeichert sind, während nach Bedarf Daten oder Signale von den jeweiligen Teilen des Fahrzeugsteuersystems 100, wie etwa dem Selbstpositionsschätzabschnitt 132 und dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 verwendet werden, um dadurch Karten zu erstellen, die Informationen enthalten, die für die Selbstfahrverarbeitung notwendig sind. Der Kartenanalyseabschnitt 151 liefert die erstellten Karten beispielsweise an den Verkehrsregelerkennungsabschnitt 152, den Situationserkennungsabschnitt 153, den Situationsvorhersageabschnitt 154 und einen Routenplanungsabschnitt 161, einen Verhaltensplanungsabschnitt 162 und einen Betriebsplanungsabschnitt 163 des Planungsabschnitts 134.
Der Verkehrsregelerkennungsabschnitt 152 führt die Verarbeitung zum Erkennen von Verkehrsregeln im Umfeld des betreffenden Fahrzeugs auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100 durch, wie etwa dem Selbstpositionsschätzabschnitt 132, dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 und dem Kartenanalyseabschnitt 151. Durch diese Erkennungsverarbeitung werden beispielsweise die Standorte und Status von Ampeln im Umfeld des betreffenden Fahrzeugs, die Einzelheiten von Verkehrsregeln im Umfeld des betreffenden Fahrzeugs, Fahrspuren, auf denen das Fahrzeug fahren kann, und dergleichen erkannt. Der Verkehrsregelerkennungsabschnitt 152 liefert Daten, die das Ergebnis in der Erkennungsverarbeitung angeben, an den Situationsvorhersageabschnitt 154 und dergleichen.
Der Situationserkennungsabschnitt 153 führt die Verarbeitung zum Erkennen von Situationen in Bezug auf das betreffende Fahrzeug auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100, wie etwa dem Selbstpositionsschätzabschnitt 132, dem Fahrzeugaußeninformationen-Detektionsabschnitt 141, dem Fahrzeuginneninformationen-Detektionsabschnitt 142, dem Fahrzeugzustand-Detektionsabschnitt 143 und dem Kartenanalyseabschnitt 151 durch. Beispielsweise führt der Situationserkennungsabschnitt 153 die Verarbeitung zum Erkennen der Status des betreffenden Fahrzeugs, der Situationen im Umfeld des betreffenden Fahrzeugs und der Zustände des Fahrers des betreffenden Fahrzeugs durch. Ferner erzeugt der Situationserkennungsabschnitt 153 nach Bedarf lokale Karten, die verwendet werden, um Situationen im Umfeld des betreffenden Fahrzeugs zu erkennen (im Folgenden als „Karte zur Situationserkennung“ bezeichnet). Die Karten zur Situationserkennung sind beispielsweise Belegungsgitterkarten.
Beispiele für die zu erkennenden Status des betreffenden Fahrzeugs enthalten die Standorte, Stellungen und die Bewegung (zum Beispiel Geschwindigkeit, Beschleunigung oder Fahrtrichtung) des betreffenden Fahrzeugs, unabhängig davon, ob eine Abnormalität vorliegt oder nicht, und die Einzelheiten einer Abnormalität. Beispiele für die zu erkennenden Situationen im Umfeld des betreffendes Fahrzeugs enthalten Arten von stationären Objekten im Umfeld des Fahrzeugs, die Positionen der stationären Objekte, Arten von sich bewegenden Objekten im Umfeld des Fahrzeugs, die Positionen der sich bewegenden Objekte, die Bewegung der sich bewegenden Objekte (zum Beispiel Geschwindigkeit, Beschleunigung oder Fahrtrichtung), Straßenkonfigurationen im Umfeld des Fahrzeugs, Straßenoberflächenzustände sowie Wetter, Temperatur, Luftfeuchtigkeit und Helligkeit im Umfeld des Fahrzeugs. Beispiele der zu erkennenden Fahrerzustände enthalten physische Zustände, Wachsamkeit, Konzentration, Ermüdung, Blickrichtungen und Fahrbedienung.
Der Situationserkennungsabschnitt 153 liefert Daten, die das Ergebnis der Erkennungsverarbeitung angeben (einschließlich einer Karte zur Situationserkennung nach Bedarf), an den Selbstpositionsschätzabschnitt 132, den Situationsvorhersageabschnitt 154 und dergleichen. Ferner speichert der Situationserkennungsabschnitt 153 die Karte zur Situationserkennung in der Speicherungseinheit 111.
Der Situationsvorhersageabschnitt 154 führt die Verarbeitung zum Vorhersagen von Situationen in Bezug auf das betreffende Fahrzeug auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100 durch, wie etwa dem Kartenanalyseabschnitt 151, dem Verkehrsregelerkennungsabschnitt 152 und dem Situationserkennungsabschnitt 153. Beispielsweise führt der Situationsvorhersageabschnitt 154 die Verarbeitung zum Vorhersagen der Status des Fahrzeugs, der Situationen im Umfeld des betreffenden Fahrzeugs, der Fahrerzustände und dergleichen durch.
Beispiele für die vorherzusagenden Status des betreffenden Fahrzeugs enthalten das Verhalten des betreffenden Fahrzeugs, das Auftreten einer Abnormalität und fahrbare Distanzen. Beispiele für die vorherzusagenden Situationen im Umfeld des betreffenden Fahrzeugs enthalten das Verhalten von sich bewegenden Objekten im Umfeld des betreffenden Fahrzeugs, Änderungen des Status von Ampeln und Umgebungsänderungen, wie etwa Änderungen des Wetters. Beispiele der vorherzusagenden Fahrerzustände enthalten das Verhalten des Fahrers und dessen physischen Zustände.
Der Situationsvorhersageabschnitt 154 liefert Daten, die das Ergebnis der Vorhersageverarbeitung angeben, an den Routenplanungsabschnitt 161, den Verhaltensplanungsabschnitt 162 und den Betriebsplanungsabschnitt 163 des Planungsabschnitts 134 und dergleichen zusammen mit Daten vom Verkehrsregelerkennungsabschnitt 152 und dem Situationserkennungsabschnitt 153.
Der Routenplanungsabschnitt 161 plant eine Route zu einem Zielort auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100, wie etwa dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154. Zum Beispiel legt der Routenplanungsabschnitt 161 eine Route von einer aktuellen Position zu einem designierten Zielort basierend auf einer globalen Karte fest. Ferner ändert beispielsweise der Routenplanungsabschnitt 161 die Route auf Basis von Situationen wie etwa Verkehrsstaus, Unfällen, Verkehrsregeln oder Baustellen und der physischen Zustände des Fahrers in geeigneter Weise. Der Routenplanungsabschnitt 161 liefert Daten, die die geplante Route angeben, an den Verhaltensplanungsabschnitt 162 und dergleichen.
Der Verhaltensplanungsabschnitt 162 plant ein Verhalten des betreffenden Fahrzeugs, das es dem Fahrzeug ermöglicht, auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuerungssystems 100, wie etwa dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154, innerhalb einer geplanten Zeit sicher auf einer durch den Routenplanungsabschnitt 161 geplanten Route zu fahren. Zum Beispiel plant der Verhaltensplanungsabschnitt 162 Start, Stopp, Fahrtrichtungen (zum Beispiel Vorwärtsbewegen, Rückwärtsbewegen, Linksabbiegen, Rechtsabbiegen, Umkehren oder dergleichen), Fahrspuren, Fahrgeschwindigkeit, Überholen und dergleichen. Der Verhaltensplanungsabschnitt 162 liefert Daten, die das geplante Verhalten des betreffenden Fahrzeugs angeben, an den Betriebsplanungsabschnitt 163 und dergleichen.
Der Betriebsplanungsabschnitt 163 plant den Betrieb des betreffenden Fahrzeugs zum Erreichen eines durch den Verhaltensplanungsabschnitt 162 geplanten Verhaltens auf Basis von Daten oder Signalen von den jeweiligen Teilen des Fahrzeugsteuersystems 100, wie etwa dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154. Beispielsweise plant der Betriebsplanungsabschnitt 163 Beschleunigung, Verzögerung, Fahrspuren und dergleichen. Der Betriebsplanungsabschnitt 163 liefert Daten, die den geplanten Betrieb des betreffenden Fahrzeugs angeben, an einen Beschleunigung/Verzögerung-Steuerabschnitt 172 und einen Richtungssteuerabschnitt 173 des Betriebssteuerabschnitts 135 und dergleichen.
Der Betriebssteuerabschnitt 135 führt eine Betriebssteuerung des betreffenden Fahrzeugs durch. Der Betriebssteuerabschnitt 135 weist den Notfallvermeidungsabschnitt 171, den Beschleunigung/Verzögerung-Steuerabschnitt 172 und den Richtungssteuerabschnitt 173 auf.
Der Notfallvermeidungsabschnitt 171 führt die Verarbeitung zum Detektieren eines Notfalls wie etwa von Kollisionen, geringfügigen Kollisionen, Eintritten in gefährliche Zonen, Abnormalitäten des Fahrers oder Abnormalitäten des Fahrzeugs auf Basis von Detektionsergebnissen des Fahrzeugaußeninformationen-Detektionsabschnitts 141, des Fahrzeuginneninformationen-Detektionsabschnitts 142 und des Fahrzeugzustand-Detektionsabschnitts 143 durch. In einem Fall, in dem der Notfallvermeidungsabschnitt 171 das Auftreten eines Notfalls detektiert, plant der Notfallvermeidungsabschnitt 171 den Betrieb des betreffenden Fahrzeugs, um den Notfall zu vermeiden, wie etwa plötzliches Bremsen oder plötzliches Wenden. Der Notfallvermeidungsabschnitt 171 liefert Daten, die den geplanten Betrieb des betreffenden Fahrzeugs angeben, an den Beschleunigung/Verzögerung-Steuerabschnitt 172, den Richtungssteuerabschnitt 173 und dergleichen.
Der Beschleunigung/Verzögerung-Steuerabschnitt 172 führt eine Beschleunigungs-/Verzögerungssteuerung durch, um den Betrieb des betreffenden Fahrzeugs zu erreichen, der durch den Betriebsplanungsabschnitt 163 oder den Notfallvermeidungsabschnitt 171 geplant ist. Beispielsweise berechnet der Beschleunigung/Verzögerung-Steuerabschnitt 172 einen Steuersollwert für die Antriebskrafterzeugungseinrichtung oder die Bremseinrichtung zum Erreichen einer geplanten Beschleunigung, Verzögerung oder plötzlichen Bremsung und liefert eine Steueranweisung, die den berechneten Steuersollwert angibt, an die Fahrsystemsteuereinheit 107.
Der Richtungssteuerabschnitt 173 führt eine Richtungssteuerung durch, um den Betrieb des betreffenden Fahrzeugs zu erreichen, der durch den Betriebsplanungsabschnitt 163 oder den Notfallvermeidungsabschnitt 171 geplant ist. Beispielsweise berechnet der Richtungssteuerungsabschnitt 173 einen Steuersollwert für den Lenkmechanismus zum Erreichen eines Fahrweges oder plötzlichen Wendens, die durch den Betriebsplanungsabschnitt 163 oder den Notfallvermeidungsabschnitt 171 geplant sind, und liefert eine Steueranweisung, die den berechneten Steuersollwert angibt, an die Fahrsystemsteuereinheit 107.
<Beispiel einer Konfiguration, die ein Abstandsbild erzeugt>
Als Nächstes wird unter Bezugnahme auf 3 ein Beispiel einer Konfiguration beschrieben, die Abstandsbilder in dem Fahrzeugsteuersystem 100 in 1 erzeugt.
Die Konfiguration, die Abstandsbilder erzeugt, weist die Datenerfassungseinheit 102 und den Fahrzeugaußeninformationen-Detektionsabschnitt 141 in dem Fahrzeugsteuersystem 100 in 1 auf.
Die Datenerfassungseinheit 102 weist einen ToF-Sensor (Laufzeitsensor) 181 auf, der dazu ausgebildet ist, Abstandsbilder und Infrarotbilder mit Infrarotlichtintensitäten als Pixelwerte zu erzeugen. Ferner weist der Fahrzeugaußeninformationen-Detektionsabschnitt 141 Folgendes auf: einen Bildeingabeabschnitt 201, der zum Empfangen der Eingabe von Abstandsbildern und Infrarotbildern ausgebildet ist, und einen Bildverarbeitungsabschnitt 202, der zum Entfernen von Rauschen in Abstandsbildern unter Verwendung von Infrarotbildern ausgebildet ist.
Genauer gesagt weist der ToF-Sensor 181 einen Infrarotlicht-Projektionsabschnitt 191, einen Infrarotlicht-Empfangsabschnitt 192, einen Abstandsbild-Erzeugungsabschnitt 193 und einen Infrarotbild-Erzeugungsabschnitt 194 auf.
Der Infrarotlicht-Projektionsabschnitt 191 projiziert Infrarotlicht in den Vorderbereich in der Fahrtrichtung des Fahrzeugs 11, der beispielsweise überwacht werden soll. Es ist zu beachten, dass der Infrarotlicht-Projektionsabschnitt 191 beim Projizieren von Infrarotlicht ein Signal an den Abstandsbild-Erzeugungsabschnitt 193 ausgibt, das den Infrarotlicht-Projektionszeitpunkt angibt.
Der Infrarotlicht-Empfangsabschnitt 192 empfängt Infrarotlicht, das Infrarotlicht enthält, das durch den Infrarotlicht-Projektionsabschnitt 191 projiziert und dann durch Objekte reflektiert wird. Der Infrarotlicht-Empfangsabschnitt 192 gibt die Lichtempfangszeitpunkte in Pixeleinheiten zu dem Abstandsbild-Erzeugungsabschnitt 193 aus und gibt die empfangenen Lichtintensitätsinformationen in Pixeleinheiten zu dem Infrarotbild-Erzeugungsabschnitt 194 aus.
Der Abstandsbild-Erzeugungsabschnitt 193 erhält Abstände aus Umlaufzeiten von Infrarotlicht in Bezug auf Objekte auf Basis eines Zeitpunkts, zu dem das Infrarotlicht durch den Infrarotlicht-Projektionsabschnitt 191 projiziert wird, und Lichtempfangszeitpunkten in Pixeleinheiten, die von dem Infrarotlicht-Empfangsabschnitt 192 geliefert werden. Der Abstandsbild-Erzeugungsabschnitt 193 erzeugt ein Abstandsbild mit Pixelwerten, die den erhaltenen Abständen entsprechen, und gibt das Abstandsbild zu dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 aus.
Der Infrarotbild-Erzeugungsabschnitt 194 erzeugt auf Basis von empfangenen Infrarotlichtintensitätsinformationen in Pixeleinheiten, die von dem Infrarotlicht-Empfangsabschnitt 192 geliefert werden, ein Infrarotbild mit Pixelwerten, die den empfangenen Lichtintensitäten entsprechen. Der Infrarotbild-Erzeugungsabschnitt 194 gibt das Infrarotbild zu dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 aus.
Das heißt, der ToF-Sensor 181 projiziert Infrarotlicht und empfängt das reflektierte Licht des projizierten Infrarotlichts von Objekten, um ein Abstandsbild und ein Infrarotbild zu erzeugen. Der ToF-Sensor 181 gibt das Abstandsbild und das Infrarot zu dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 aus. Es ist zu beachten, dass der ToF-Sensor 181 in 3 ein Konfigurationsbeispiel ist, das, wenn ein Infrarotbild und ein Abstandsbild erzeugt werden, dasselbe Infrarotlicht verwendet, das von demselben Infrarotlicht-Projektionsabschnitt 191 projiziert wird. Der ToF-Sensor 181 kann jedoch Infrarotlicht, das für jedes Infrarotbild und Abstandsbild erforderlich ist, von zwei einzelnen Lichtprojektionsabschnitten projizieren. Es ist zu beachten, dass in diesem Fall die zwei Lichtprojektionsabschnitte Licht wünschenswerterweise im Wesentlichen mit dem gleichen Winkel und zu dem gleichen Zeitpunkt projizieren.
Der Fahrzeugaußeninformationen-Detektionsabschnitt 141 weist den Bildeingabeabschnitt 201 und den Bildverarbeitungsabschnitt 202 auf und empfängt die Eingabe von Abstandsbildern und Infrarotbildern, um Rauschen in den Abstandsbildern zu entfernen. Der Fahrzeugaußeninformationen-Detektionsabschnitt 141 gibt die Abstandsbilder aus.
Genauer gesagt weist der Bildeingabeabschnitt 201 einen Infrarotbild-Eingabeabschnitt 211 und einen Abstandsbild-Eingabeabschnitt 212 auf. Der Infrarotbild-Eingabeabschnitt 211 empfängt Infrarotbilder, die von dem ToF-Sensor 181 der Datenerfassungseinheit 102 eingegeben werden, und gibt die Infrarotbilder zu einem Filterverarbeitungsabschnitt 221 des Bildverarbeitungsabschnitts 202 aus. Der Abstandsbild-Eingabeabschnitt 212 empfängt Abstandsbilder, die von dem ToF-Sensor 181 der Datenerfassungseinheit 102 eingegeben werden, und gibt die Abstandsbilder zu einem Abstandsbild-Rauschentfernungsabschnitt 223 des Bildverarbeitungsabschnitts 202 aus.
Der Bildverarbeitungsabschnitt 202 weist den Filterverarbeitungsabschnitt 221, einen Schwellenbestimmungsabschnitt 222 und den Abstandsbild-Rauschentfernungsabschnitt 223 auf.
Der Filterverarbeitungsabschnitt 221 führt eine Filterverarbeitung zum Entfernen von Rauschen in Infrarotbildern durch und gibt die Infrarotbilder zu dem Schwellenbestimmungsabschnitt 222 und dem Abstandsbild-Rauschentfernungsabschnitt 223 aus. Die Filterverarbeitung wird wünschenswerterweise unter Verwendung eines Filters durchgeführt, das Rauschen entfernt, während die Konturen beibehalten werden, beispielsweise eines bilateralen Filters. Ferner kann in einem Fall, in dem im Voraus bekannt ist, dass ein Infrarotbild ein geringes Rauschen aufweist, das ignoriert werden kann, der Filterverarbeitungsabschnitt 221 weggelassen werden.
Der Schwellenbestimmungsabschnitt 222 bestimmt eine Intensitätsschwelle zum Bestimmen, ob ein Pixel in einem Infrarotbild als keine Reflexion von projiziertem Infrarotlicht von Objekten angebend angesehen werden kann. Insbesondere erhält der Schwellenbestimmungsabschnitt 222 das Histogramm von Pixelwerten, die Intensitäten in einem Infrarotbild entsprechen, wie beispielsweise in 4 veranschaulicht, und bestimmt aus einem Änderungspunkt im Gradienten des Histogramms die Intensitätsschwelle, um zu bestimmen, ob ein Pixel als keinen Empfang von reflektiertem Licht angebend angesehen werden kann. Es ist zu beachten, dass in 4 die horizontale Achse die Empfangslichtintensität angibt und die vertikale Achse die Häufigkeit jeder Empfangslichtintensität angibt, das heißt die Anzahl der Pixel mit der entsprechenden Intensität.
Beispielsweise im Fall des Histogramms von 4 ändert sich bei einer Intensität P die Häufigkeit, die die Verteilung repräsentiert, schnell. Das heißt, Pixel in einem durch den Pfeil angegebenen Bereich, die eine höhere Empfangslichtintensität als die Intensität P aufweisen, werden als der Verteilung von Pixeln entsprechend angesehen, die den Empfang von reflektiertem Licht angeben und geeignete Intensitäten aufweisen. Im Gegensatz dazu wird im Hinblick auf die Verteilung von Pixeln mit Intensitäten kleiner als die Intensität P im Gradienten des Histogramms von 4 angenommen, da sich die Verteilung schnell ändert, dass die Pixel keine Intensitäten aufweisen, die als ein Ergebnis des Empfangs von reflektiertem Licht erhalten werden.
Somit bestimmt der Schwellenbestimmungsabschnitt 222 auf Basis der Position eines Änderungspunkts, der durch die Intensität P in dem Empfangslichtintensitätshistogramm repräsentiert ist, eine Schwelle, die als der Minimalwert der Intensität von Infrarotlicht, das als reflektiertes Licht empfangen wird, dient. Der Schwellenbestimmungsabschnitt 222 gibt die Schwelle zu dem Abstandsbild-Rauschentfernungsabschnitt 223 aus. In dem Beispiel in 4 ist die Schwelle somit eine Schwelle Vth, die der Intensität P als ein Änderungspunkt entspricht.
Der Abstandsbild-Rauschentfernungsabschnitt 223 stellt auf Basis dessen, ob eingestellte Pixelwerte basierend auf den empfangenen Lichtintensitäten der jeweiligen Pixel in einem Infrarotbild kleiner als eine Schwelle sind, den Pixelwert jedes Pixels in einem Abstandsbild auf ein Nichtdetektionspixel ein, um dadurch Rauschen zu entfernen. Der Abstandsbild-Rauschentfernungsabschnitt 223 gibt das Abstandsbild aus.
Zum Beispiel wird der folgende Fall betrachtet: in einem Fall, in dem ein Infrarotbild P11, das im oberen linken Teil von 5 veranschaulicht ist, und ein Abstandsbild P12, das im unteren linken Teil von 5 veranschaulicht ist, durch den ToF-Sensor 181 aufgenommen werden, werden ein Bild P13, das in einem Gebiet Z11 enthalten ist und dem Infrarotbild P11 im oberen mittleren Teil von 5 entspricht, und ein Bild P14, das in einem Gebiet Z12 enthalten ist und dem Abstandsbild P12 im unteren mittleren Teil von 5 entspricht, erhalten.
Das im Infrarotbild enthaltene Bild P13 weist im oberen Teil des Bildes P13 schwarze Pixel auf, die keinen Empfang des reflektierten Lichts von Infrarotlicht angeben. Im Gegensatz dazu weist das im Abstandsbild enthaltene Bild P14 Pixel auf, die Abstände in einem Gebiet Z21 im oberen Bereich des Bildes P14 angeben. Da ein Gebiet, das dem Gebiet Z21 in dem in dem Infrarotbild enthaltenen Bild P13 entspricht, keinen Infrarotlichtempfang angibt, kann angenommen werden, dass in dem Gebiet Z21 in dem Bild P14 Rauschen auftritt.
Somit stellt in Bezug auf jedes Pixel in dem Bild P13, das in dem Infrarotbild enthalten ist, der Abstandsbild-Rauschentfernungsabschnitt 223, wenn es ein Pixel mit einem Pixelwert gibt, der kleiner als eine Schwelle ist, die von dem Schwellenbestimmungsabschnitt 222 geliefert wird, den Pixelwert eines Pixels an der entsprechenden Position in dem Bild P14, das in dem Abstandsbild enthalten ist, auf ein Nichtdetektionspixel (Nichtabstandspixel) ein, um dadurch Rauschen zu entfernen.
Obwohl Rauschen in dem Gebiet Z21 in dem in dem Abstandsbild enthaltenen Bild P14 enthalten ist, hat dies zur Folge, dass, wenn die Bilder eingegeben werden, da die Pixel, die dem Gebiet Z21 in dem in dem Infrarotbild enthaltenen Bild P13 entsprechen, Pixelwerte aufweisen, die kleiner als die Schwelle sind, die Pixelwerte der Pixel in dem Gebiet Z21 in dem Bild P14, die in dem entsprechenden Abstandsbild enthalten sind, durch Nichtdetektionspixel (schwarze Pixel) mit einem Pixelwert von Null ersetzt werden. Durch diese Ersetzung kann Rauschen entfernt werden, wie durch ein Bild P15 angegeben.
<Abstandsbild-Rauschentfernungsverarbeitung>
Als Nächstes wird unter Bezugnahme auf das Flussdiagramm von 6 eine Abstandsbild-Rauschentfernungsverarbeitung mit der Konfiguration, die Abstandsbilder in 3 erzeugt, beschrieben.
In Schritt S11 projiziert der Infrarotlicht-Projektionsabschnitt 191 des ToF-Sensors 181 in der Datenerfassungseinheit 102 Infrarotlicht zu einem Überwachungsgebiet, beispielsweise dem Vorderbereich in der Fahrtrichtung des Fahrzeugs 11. Hier gibt der Infrarotlicht-Projektionsabschnitt 191 die Infrarotlicht-Projektionszeitpunktinformation zu dem Abstandsbild-Erzeugungsabschnitt 193 aus.
In Schritt S12 empfängt der Infrarotlicht-Empfangsabschnitt 192, von dem Infrarotlicht, das durch den Infrarotlicht-Projektionsabschnitt 191 projiziert wird, Infrarotlicht, das durch Objekte reflektiert wird, und gibt die Lichtempfangszeitpunktinformation in Pixeleinheiten zu dem Abstandsbild-Erzeugungsabschnitt 193 aus und gibt die empfangenen Infrarotlichtintensitäten in Pixeleinheiten zu dem Infrarotbild-Erzeugungsabschnitt 194 aus.
In Schritt S13 erhält der Abstandsbild-Erzeugungsabschnitt 193 Umlaufzeiten des Infrarotlichts in Bezug auf die Objekte in Pixeleinheiten aus Informationen bezüglich des Lichtempfangszeitpunkts jedes Pixels, die von dem Infrarotlicht-Empfangsabschnitt 192 geliefert werden, und Informationen bezüglich des Zeitpunkts der Infrarotlichtprojektion durch den Infrarotlicht-Projektionsabschnitt 191. Der Abstandsbild-Erzeugungsabschnitt 193 erhält Abstände zu den Objekten auf Basis der Umlaufzeiten. Der Abstandsbild-Erzeugungsabschnitt 193 erzeugt ein Abstandsbild mit einem Pixelwert, der dem erhaltenen Abstand entspricht, und gibt das Abstandsbild zu dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 aus. Es ist zu beachten, dass bei der Umlaufzeitmessung im Allgemeinen Übertragungs-Empfangs-Phasendifferenzen zur Verwendung gemessen werden.
In Schritt S14 erzeugt der Infrarotbild-Erzeugungsabschnitt 194 ein Infrarotbild mit Pixelwerten basierend auf den empfangenen Infrarotlichtintensitäten in Pixeleinheiten, die von dem Infrarotlicht-Empfangsabschnitt 192 geliefert werden, und gibt das Infrarotbild zu dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 aus.
In Schritt S15 empfängt der Infrarotbild-Eingabeabschnitt 211 des Bildeingabeabschnitts 201 in dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 die Eingabe des Infrarotbildes und gibt das Infrarotbild zu dem Filterverarbeitungsabschnitt 221 des Bildverarbeitungsabschnitts 202 aus. Der Abstandsbild-Eingabeabschnitt 212 des Bildeingabeabschnitts 201 im Fahrzeugaußeninformationen-Detektionsabschnitt 141 empfängt die Eingabe des Abstandsbildes und gibt das Abstandsbild zu dem Abstandsbild-Rauschentfernungsabschnitt 223 des Bildverarbeitungsabschnitts 202 aus.
In Schritt S16 führt der Filterverarbeitungsabschnitt 221 beispielsweise eine bilaterale Filterverarbeitung an dem Infrarotbild durch, um Rauschen zu entfernen, während die Konturen beibehalten werden, und gibt das Infrarotbild zu dem Schwellenbestimmungsabschnitt 222 und dem Abstandsbild-Rauschentfernungsabschnitt 223 aus.
In Schritt S17 erhält, wie unter Bezugnahme auf 8 beschrieben, der Schwellenbestimmungsabschnitt 222 ein Histogramm aus den Pixelwerten der jeweiligen Pixel des Infrarotbildes, aus dem Rauschen entfernt wurde. Der Schwellenbestimmungsabschnitt 222 bestimmt eine Schwelle von einem Änderungspunkt und gibt die Schwelle zu dem Abstandsbild-Rauschentfernungsabschnitt 223 aus.
In Schritt S18 bestimmt der Abstandsbild-Rauschentfernungsabschnitt 223, ob der Pixelwert jedes Pixels des Infrarotbildes kleiner als die in der Verarbeitung in Schritt S17 erhaltene Schwelle ist oder nicht. Das heißt, der Abstandsbild-Rauschentfernungsabschnitt 223 bestimmt, ob die Pixel keine Infrarotlichtreflexion angeben oder nicht, und somit als Nichtdetektionspixel betrachtet werden können. In einem Fall, in dem der Abstandsbild-Rauschentfernungsabschnitt 223 bestimmt, dass das Pixel als ein Nichtdetektionspixel betrachtet werden kann, das keine Infrarotlichtreflexion angibt, stellt der Abstandsbild-Rauschentfernungsabschnitt 223 dann den Pixelwert eines Pixels an der entsprechenden Position in dem Abstandsbild auf Null ein, das heißt, ersetzt das Pixel durch ein Nichtdetektionspixel (schwarzes Pixel), um das Pixel als das Nichtdetektionspixel einzustellen, um dadurch Rauschen zu entfernen. In anderen Fällen als den obigen setzt der Abstandsbild-Rauschentfernungsabschnitt 223 Pixelwerte ein, die den Abständen des Abstandbildes wie vorhanden entsprechen.
In Schritt S19 gibt der Abstandsbild-Rauschentfernungsabschnitt 223 das Abstandsbild aus, aus dem das Rauschen entfernt wurde.
Durch die Folge der oben beschriebenen Prozesse, zum Beispiel von einer Abbildungsposition und mit einem Winkel, die die gleichen sind, wie diejenigen, die bei der Aufnahme eines monochromen Bildes P51 verwendet werden, das im linken Teil von 7 veranschaulicht ist, werden ein Infrarotbild P52 im oberen mittleren Teil von 7 und ein Abstandsbild P53 im unteren mittleren Teil von 7 unter Verwendung des ToF-Sensors 181 aufgenommen.
Es ist zu beachten, dass das monochrome Bild P51 im linken Teil von 7 das Bild eines Parkplatzes ist. Das Bild enthält einen geparkten Lastwagen im mittleren Bereich und den Himmel als den Hintergrund. Somit wird, wie durch das Infrarotbild P52 im oberen mittleren Teil von 7 angegeben, da es keine Infrarotlichtreflexion von dem Himmelgebiet als den Hintergrund gibt, in dem Himmelgebiet ein Pixelwert von Null eingestellt, das heißt, schwarze Pixel werden eingestellt.
In dem Abstandsbild P53 im unteren mittleren Teil von 7 erscheinen jedoch Gebiete, die gemessene Abstände angeben, im Himmelgebiet als der Hintergrund als Rauschflecken aufgrund von diffus reflektiertem Infrarotlicht.
In einem solchen Fall werden durch die oben beschriebene Folge von Prozessen die Pixelwerte von Pixeln in dem Abstandsbild P53, die in Gebieten, die Pixeln mit Pixelwerten entsprechen, die kleiner als eine vorbestimmte Schwelle sind, in dem Himmelgebiet in dem Infrarotbild P52 vorhanden sind, auf Nichtdetektionspixel, das heißt schwarze Pixel ohne Abstand, nämlich einem Pixelwert von Null, eingestellt. Wie durch ein Abstandsbild P54 angegeben, das im rechten Teil von 7 veranschaulicht ist, werden hiermit im Himmelgebiet die schwarzen Pixel so eingestellt, dass Rauschen entfernt werden kann.
Es ist zu beachten, dass in dem oben beschriebenen Beispiel ein Infrarotbild und ein Abstandsbild erzeugt werden und die Pixelwerte von Pixeln in dem Abstandsbild, die an Positionen vorhanden sind, die Pixeln mit Pixelwerten entsprechen, die kleiner als eine vorbestimmte Schwelle in dem Infrarotbild sind, auf Nichtdetektionspixel, die schwarze Pixel sind, eingestellt werden, sodass Rauschen entfernt wird. Es ist jedoch nur erforderlich, dass Pixel mit einer Farbe nahe an Schwarz verwendet werden. Beispielsweise kann ein Pixel durch ein Pixel mit einem kleinen Pixelwert mit einer Farbe nahe Schwarz als ein vorbestimmter Pixelwert ersetzt werden.
Ferner enthält in dem oben beschriebenen Beispiel die Datenerfassungseinheit 102 den ToF-Sensor 181 zum Messen von Abstandsbildern und Infrarotbildern unter Verwendung von Infrarotlicht. Es ist jedoch nur erforderlich, dass Umlaufzeiten in Bezug auf Objekte gemessen werden und empfangene Lichtintensitäten erhalten werden. Zum Beispiel kann anderes Licht als Infrarotlicht zum Empfangen projiziert werden.
Darüber hinaus kann anstelle des ToF-Sensors ein Infrarot-Entfernungsmessungssensor (Triangulationssensor) verwendet werden. Ein Infrarot-Entfernungsmessungssensor emittiert Infrarotlicht durch eine Linse und empfängt an einem Abbildungselement Licht, das von Objekten durch die Linse reflektiert wird. Zu dieser Zeit unterscheidet sich eine Lichtempfangsposition auf dem Lichtempfangselement in Abhängigkeit von Abständen zu Objekten. Der Infrarot-Entfernungsmessungssensor beobachtet eine solche Positionsverschiebung, um nach dem Prinzip der Triangulation Abstände zu den Objekten zu messen und somit ein Abstandsbild zu erzeugen. Ferner verwendet der Infrarot-Entfernungsmessungssensor zu dieser Zeit Reflexionsintensitäten, um ein Infrarotbild zu erzeugen.
Ferner kann in ähnlicher Weise anstelle des ToF-Sensors ein Entfernungsmessungssensor mit strukturiertem Licht verwendet werden. Ein Entfernungsmessungssensor mit strukturiertem Licht projiziert auf Objekte beispielsweise ein Voronoi-Muster oder ein Gittermuster, dessen Form im Voraus bekannt ist, und misst dreidimensionale Abstände zu den Objekten auf Basis der Verzerrung des auf die Objekte projizierten Musters, um ein Abstandsbild zu erzeugen. Der Entfernungsmessungssensor mit strukturiertem Licht erzeugt ein Infrarotbild basierend auf empfangenem Infrarotlicht ähnlich dem ToF-Sensor 181 und anderen Systemen.
Darüber hinaus kann in ähnlicher Weise anstelle des ToF-Sensors 181 ein Stereokamerasensor verwendet werden. Ein Stereokamerasensor enthält zwei Kameras. Der Stereokamerasensor detektiert das gleiche Objektgebiet aus zwei Kamerabildern durch Bildverarbeitung oder dergleichen und berechnet die Parallaxe zum Objekt. Der Stereokamerasensor erzeugt aus dieser Parallaxe durch Triangulation ein Abstandsbild. Stereokamerasensoren schließen aktive Stereokamerasensoren, die zum Emittieren von Infrarotlicht und Durchführen einer Stereoverarbeitung des reflektierten Lichts ausgebildet sind, und passive Stereokamerasensoren, die zum Durchführen der Stereoverarbeitung auf Basis von Bildern basierend auf empfangenem sichtbarem Licht ausgebildet sind, ein. Die aktiven Stereokamerasensoren können Infrarotbilder basierend auf empfangenem Infrarotlicht erzeugen. Ferner können die passiven Stereokamerasensoren die Leuchtdichtewerte des empfangenen Lichts als Infrarotreflexionsintensitäten verwenden, wodurch Infrarotbilder erzeugt werden.
Ferner kann in ähnlicher Weise anstelle des ToF-Sensors LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung) verwendet werden. LiDAR ist ein Sensor, der in der Lage ist, Infrarotlicht auszusenden, um aus dem reflektierten Licht dreidimensionale Punktwolken zu Hindernissen im Umfeld des Sensors zu erhalten. Ein allgemeines Entfernungsmessungsverfahren ist das ToF-Verfahren. LiDAR kann die Intensität des durch jeden dreidimensionalen Punkt einer dreidimensionalen Punktwolke reflektierten Infrarotlichts erhalten und somit ein Infrarotbild erzeugen. LiDAR ist auf die vorliegende Offenbarung anwendbar, indem dreidimensionale Punktwolken als Abstandsbilder verwendet werden.
<<Anwendungsbeispiel>>
In dem oben beschriebenen Beispiel wird das Fahrzeug 11 als ein Beispiel des sich bewegenden Körpers verwendet, aber der sich bewegende Körper ist möglicherweise kein Fahrzeug und kann zum Beispiel ein mobiler Roboter sein.
8 veranschaulicht ein Modulkonfigurationsbeispiel, wenn die Technologie der vorliegenden Offenbarung auf einen autonomen mobilen Roboter angewendet wird. In diesem Beispiel ein System, das dazu ausgebildet ist, Hindernisse unter Verwendung eines ToF-Sensors zu detektieren und sich autonom zu einem Zielort zu bewegen.
Genauer gesagt weist ein Roboter 301 in 8 eine Sensoreinheit 321, eine Sensorsteuereinheit 322, eine Erkennungseinheit 323, eine Verhaltensplanungseinheit 324, eine Motorsteuereinheit 325 und einen Motor 326 auf.
Die Sensoreinheit 321 weist eine ToF-Bildgebungseinrichtung 341 auf. Die ToF-Bildgebungseinrichtung 341 weist einen Infrarotlicht-Emissionsabschnitt 351, einen Infrarotlicht-Empfangsabschnitt 352, einen Abstandsbild-Erzeugungsabschnitt 353 und einen Infrarotbild-Erzeugungsabschnitt 354 auf. Es ist zu beachten, dass die ToF-Bildgebungseinrichtung 341 eine Konfiguration aufweist, die dem ToF-Sensor 181 entspricht. Der Infrarotlicht-Emissionsabschnitt 351, der Infrarotlicht-Empfangsabschnitt 352, der Abstandsbild-Erzeugungsabschnitt 353 und der Infrarotbild-Erzeugungsabschnitt 354 entsprechen dem Infrarotlicht-Projektionsabschnitt 191, dem Infrarotlicht-Empfangsabschnitt 192, dem Abstandsbild-Erzeugungsabschnitt 193 bzw. dem Infrarotbild-Erzeugungsabschnitt 194. Einige Komponenten besitzen ähnliche Funktionen, und auf deren Beschreibung wird verzichtet.
Die Sensorsteuereinheit 322 weist eine Bildverarbeitungseinrichtung 361 auf. Die Bildverarbeitungseinrichtung 361 weist einen Bildeingabeabschnitt 371 und einen Bildverarbeitungsabschnitt 372 auf. Es ist zu beachten, dass die Bildverarbeitungseinrichtung 361 dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 in 3 entspricht. Der Bildeingabeabschnitt 371 und der Bildverarbeitungsabschnitt 372 entsprechen dem Bildeingabeabschnitt 201 bzw. dem Bildverarbeitungsabschnitt 202. Einige Komponenten besitzen ähnliche Funktionen, und auf deren Beschreibung wird verzichtet.
Die Erkennungseinheit 323 detektiert Hindernisse auf Basis eines Abstandsbildes, aus dem Rauschen entfernt wurde und das von der Sensorsteuereinheit 322 ausgegeben wird. Die Erkennungseinheit 323 erzeugt eine Fahrtkarte auf Basis der detektierten Hindernisse und gibt die Fahrtkarte zu der Verhaltensplanungseinheit 324 aus.
Genauer gesagt weist die Erkennungseinheit 323 einen Hindernisdetektionsabschnitt 381 und einen Fahrtkartenerzeugungsabschnitt 382 auf. Der Hindernisdetektionsabschnitt 381 detektiert Hindernisse auf Basis eines Abstandsbildes und gibt die Hindernisse zu dem Fahrtkartenerzeugungsabschnitt 382 aus. Der Fahrtkartenerzeugungsabschnitt 382 erzeugt eine Fahrtkarte auf Basis von Informationen bezüglich Hindernissen, die durch den Hindernisdetektionsabschnitt 381 detektiert werden, und gibt die Fahrtkarte zu der Verhaltensplanungseinheit 324 aus.
Die Verhaltensplanungseinheit 324 plant und erzeugt eine Fahrtroute auf Basis der Fahrtkarte und weist die Motorsteuereinheit 325 an, den Roboter so zu steuern, dass er der erzeugten Fahrtroute folgt.
Genauer gesagt weist die Verhaltensplanungseinheit 324 einen Fahrtroutenerzeugungsabschnitt 391 und einen Routenfolgeabschnitt 392 auf. Der Fahrtroutenerzeugungsabschnitt 391 plant und erzeugt eine Fahrtroute auf Basis der Fahrtkarte und gibt die Fahrtrouteninformationen zu dem Routenfolgeabschnitt 392 aus. Der Routenfolgeabschnitt 392 erzeugt auf Basis von Fahrtrouteninformationen verschiedene Befehle zum Steuern des Motors 326, um den Roboter so zu steuern, dass er sich bewegt, während er der Fahrtroute folgt, und gibt die Befehle zu der Motorsteuereinheit 325 aus.
Die Motorsteuereinheit 325 weist einen Motorantriebssteuerabschnitt 401 auf. Der Motorantriebssteuerabschnitt 401 steuert den Antrieb des Motors 326 auf Basis von Befehlen zur Motorsteuerung.
Der Motor 326 weist verschiedene Arten von HW (Hardware) 411 zum Antreiben des Motors 326 auf. Die Motorsteuereinheit 325 steuert den Antrieb des Motors 326.
Mit einer solchen oben beschriebenen Konfiguration steuert die Sensoreinheit 321 die ToF-Bildgebungseinrichtung 341, um ein Abstandsbild und ein Infrarotbild des Umfeldes des Roboters aufzunehmen, und gibt das Abstandsbild und das Infrarotbild zu der Sensorsteuereinheit 322 aus.
Die Sensorsteuereinheit 322 steuert die Bildverarbeitungseinrichtung 361, um Rauschen aus dem Abstandsbild unter Verwendung des Infrarotbildes zu entfernen, und gibt das Abstandsbild, aus dem das Rauschen entfernt wurde, zu der Erkennungseinheit 323 aus.
Die Erkennungseinheit 323 steuert den Hindernisdetektionsabschnitt 381, um Hindernisse auf Basis des Abstandsbildes zu detektieren. Dann steuert die Erkennungseinheit 323 den Fahrtkartenerzeugungsabschnitt 382, um eine Fahrtkarte zu erzeugen, die ein Gebiet repräsentiert, in dem sich der Roboter 301 von selbst bewegen kann, und um die Fahrtkarte zu der Verhaltensplanungseinheit 324 auszugeben.
Die Verhaltensplanungseinheit 324 steuert den Fahrtroutenerzeugungsabschnitt 391, um unter Verwendung der Fahrtkarte eine Fahrtroute zu einem bestimmten Zielort zu erzeugen. Dann steuert die Verhaltensplanungseinheit 324 den Routenfolgeabschnitt 392, um die Fahrtroute im Detail zu analysieren, beispielsweise unter Berücksichtigung der Manövrierbarkeit des Körpers des Roboters 301, und erstellt eine Route, der der Körper des Roboters 301 tatsächlich folgen kann, das heißt eine Route, auf der der Körper des Roboters 301 tatsächlich bewegt werden kann. Die Verhaltensplanungseinheit 324 gibt einen Befehl, der es dem Roboter ermöglicht, sich auf der befahrbaren Route zu bewegen, zu der Motorsteuereinheit 325 aus.
Die Motorsteuereinheit 325 steuert den Motorantriebssteuerabschnitt 401, um den Antrieb der HW 411 des Motors 326 so zu steuern, dass sich der Roboter 301 auf der Route bewegen kann, der der Körper des Roboters 301 folgen kann.
Bei einer solchen oben beschriebenen Konfiguration führen die Sensoreinheit 321 und die Sensorsteuereinheit 322, die der Datenerfassungseinheit 102 bzw. dem Fahrzeugaußeninformationen-Detektionsabschnitt 141 in 3 entsprechen, die Abstandsbild-Rauschentfernungsverarbeitung aus, die unter Bezugnahme auf das Flussdiagramm von 6 beschrieben wurde. Daher wird ein Abstandsbild erzeugt, aus dem Rauschen entfernt wurde.
Infolgedessen ist es möglich, das Risiko einer falschen Detektion, dass die Erkennungseinheit 323 ein Hindernis detektiert, obwohl das Hindernis bei der Hindernisdetektion nicht wirklich vorhanden ist, zu reduzieren. Es ist daher möglich, Probleme zu vermeiden, dass sich der Roboter nicht in einem Gebiet bewegen kann, das tatsächlich ein befahrbares Gebiet ist, und dass der Roboter aufgrund einer falschen Detektion aufgrund von Rauschen plötzlich anhält.
<<Beispiel für eine Ausführung durch Software>>
Im Übrigen kann die oben beschriebene Folge von Prozessen durch Hardware ausgeführt werden; die Verarbeitung kann jedoch auch durch Software ausgeführt werden. In einem Fall, in dem die Folge von Prozessen durch Software ausgeführt wird, wird ein Programm, das die Software konfiguriert, von einem Aufzeichnungsmedium auf einem Computer installiert, der in dedizierter Hardware enthalten ist, beispielsweise auf einem Mehrzweck-Computer, der in der Lage ist, verschiedene Funktionen mit verschiedenen darauf installierten Programmen auszuführen, oder auf andere Einrichtungen.
9 veranschaulicht ein Konfigurationsbeispiel des Mehrzweck-Computers. Der Computer enthält eine CPU (Zentralverarbeitungseinheit) 1001. Die CPU 1001 ist über einen Bus 1004 mit einer Eingabe-/Ausgabeschnittstelle 1005 verbunden. Der Bus 1004 ist mit einem ROM (Nur-LeseSpeicher) 1002 und einem RAM (Direktzugriffsspeicher) 1003 verbunden.
Die Eingabe-/Ausgabeschnittstelle 1005 ist mit Folgenden verbunden: einer Eingabeeinheit 1006, die Eingabevorrichtungen wie etwa eine Tastatur und eine Maus einschließt, die es einem Benutzer ermöglichen, Bedienungsbefehle einzugeben, einer Ausgabeeinheit 1007, die zum Ausgeben von Bedienungsbildschirmen oder zum Verarbeiten von Ergebnisbildern zu einer Anzeigevorrichtung ausgebildet ist, einer Speicherungseinheit 1008, die ein Festplattenlaufwerk und dergleichen enthält und zum Speichern von Programmen und verschiedenen Daten ausgebildet ist, und einer Kommunikationseinheit 1009, die einen LAN-Adapter (Local Area Network) und dergleichen enthält und zum Ausführen einer Kommunikationsverarbeitung über ein Netzwerk, das durch das Internet verkörpert wird, ausgebildet ist. Ferner ist die Eingabe-/Ausgabeschnittstelle 1005 mit einem Laufwerk 1010 verbunden, das zum Lesen oder Schreiben von Daten von oder auf ein entfernbares Medium 1011 ausgebildet ist, wie etwa einer Magnetplatte (einschließlich einer flexiblen Platte), einer optischen Platte (einschließlich einer CD-ROM (Compact Disc-Read Only Memory) und DVD (Digital Versatile Disc)), einer magnetooptischen Platte (einschließlich MD (Mini Disc)) oder eines Halbleiterspeichers.
Die CPU 1001 führt verschiedene Arten von Verarbeitung auf Basis von Programmen, die in dem ROM 1002 gespeichert sind, oder von Programmen, die von dem entfernbaren Medium 1011 gelesen werden, wie etwa der Magnetplatte, der optischen Platte, der magnetooptischen Platte oder dem Halbleiterspeicher, aus, die auf der Speicherungseinheit 1008 zu installieren sind und von der Speicherungseinheit 1008 in den RAM 1003 geladen werden. In dem RAM 1003 werden zum Beispiel auch Daten, die für die CPU 1001 zum Ausführen der verschiedenen Arten von Verarbeitung erforderlich sind, in geeigneter Weise gespeichert.
In dem wie oben beschrieben konfigurierten Computer lädt die CPU 1001 beispielsweise ein in der Speicherungseinheit 1008 gespeichertes Programm über die Eingabe-/Ausgabeschnittstelle 1005 und den Bus 1004 in den RAM 1003, um die oben beschriebene Folge von Prozessen auszuführen.
Das Programm, das der Computer (CPU 1001) ausführt, kann beispielsweise dadurch bereitgestellt werden, dass es auf dem entfernbaren Medium 1011 aufgezeichnet ist, das als ein Paketmedium oder dergleichen dient. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein lokales Netzwerk, das Internet oder digitalen Satellitenrundfunk, bereitgestellt werden.
In dem Computer kann das Programm über die Eingabe-/Ausgabeschnittstelle 1005 auf der Speicherungseinheit 1008 installiert werden, indem das entfernbare Medium 1011 in das Laufwerk 1010 geladen wird. Ferner kann das Programm durch die Kommunikationseinheit 1009 über das drahtgebundene oder drahtlose Übertragungsmedium empfangen werden, um in der Speicherungseinheit 1008 installiert zu werden. Außerdem kann das Programm im Voraus auf dem ROM 1002 oder der Speicherungseinheit 1008 installiert werden.
Es ist zu beachten, dass das Programm, das der Computer ausführt, ein Programm enthalten kann, mit dem die Verarbeitung in Zeitreihen in der hier beschriebenen Reihenfolge ausgeführt wird, oder ein Programm enthalten kann, mit dem die Prozesse parallel oder zu einem erforderlichen Zeitpunkt ausgeführt werden, wie etwa zu einem Zeitpunkt, zu dem das Programm aufgerufen wird.
Es ist zu beachten, dass die CPU 1001 in 9 die Funktion der Selbstfahrsteuereinheit 112 in 2 erzielt. Ferner erzielt die Speicherungseinheit 1008 in 9 die Speicherungseinheit 111 in 2.
Ferner bedeutet hierin ein System eine Ansammlung einer Vielzahl von Komponenten (Einrichtung, Modul (Teil) und dergleichen), und es spielt keine Rolle, ob sich alle Komponenten in demselben Gehäuse befinden oder nicht. Somit sind sowohl eine Vielzahl von Einrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk miteinander verbunden sind, als auch eine Einrichtung, die eine Vielzahl von Modulen enthält, die in einem Gehäuse untergebracht sind, Systeme.
Es ist zu beachten, dass die Ausführungsform der vorliegenden Offenbarung nicht auf die oben beschriebene Ausführungsform beschränkt ist und verschiedene Modifikationen möglich sind, ohne vom Kern der vorliegenden Offenbarung abzuweichen.
Beispielsweise kann die vorliegende Offenbarung die Konfiguration von Cloud-Computing einsetzen, die eine Funktion in mehreren Einrichtungen über ein Netzwerk gemeinsam nutzt, um die Funktion in Zusammenarbeit zu verarbeiten.
Ferner kann jeder Schritt, der in dem oben erwähnten Flussdiagramm beschrieben ist, ausgeführt werden, indem er in einer Vielzahl von Einrichtungen gemeinsam genutzt wird, sowie durch eine Einrichtung ausgeführt wird.
Darüber hinaus können in einem Fall, in dem eine Vielzahl von Prozessen in einem Schritt enthalten ist, die Vielzahl von Prozessen, die in dem einen Schritt enthalten sind, ausgeführt werden, indem sie in einer Vielzahl von Einrichtungen gemeinsam genutzt werden, sowie durch eine Einrichtung ausgeführt werden.
Es ist zu beachten, dass die vorliegende Offenbarung auch die folgenden Konfigurationen annehmen kann.

<1> Eine Bildverarbeitungseinrichtung, die Folgendes aufweist:
- einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht;
- einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und
- einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln, um dadurch Rauschen in dem Abstandsbild zu entfernen.
<2> Die Bildverarbeitungseinrichtung gemäß <1>, die ferner Folgendes aufweist:
- einen Schwellenbestimmungsabschnitt, der dazu ausgebildet ist, ein Histogramm des Pixelwertes des Intensitätsbildes zu erzeugen und einen Pixelwert, der als ein Änderungspunkt in dem Histogramm dient, als die vorbestimmte Schwelle zu bestimmen.
<3> Die Bildverarbeitungseinrichtung gemäß <2>, die ferner Folgendes aufweist:
- einen Filterverarbeitungsabschnitt, der dazu ausgebildet ist, an dem Intensitätsbild eine Verarbeitung unter Verwendung eines vorbestimmten Filters zum Entfernen von Rauschen durchzuführen.
<4> Die Bildverarbeitungseinrichtung gemäß <3>, wobei das Filter ein bilaterales Filter enthält.
<5> Die Bildverarbeitungseinrichtung gemäß einem von <1> bis <4>, wobei der Rauschentfernungsabschnitt den Pixelwert des Pixels in dem Abstandsbild, das dem Pixel entspricht, dessen Pixelwert kleiner als die vorbestimmte Schwelle in dem Intensitätsbild ist, in ein Nichtdetektionspixel umwandelt, das keine Detektion des Abstands angibt, um dadurch Rauschen im Abstandsbild zu entfernen.
<6> Die Bildverarbeitungseinrichtung nach einem von <1> bis <5>, die ferner Folgendes aufweist:
- einen Lichtprojektionsabschnitt, der zum Projizieren von Licht ausgebildet ist;
- einen Lichtempfangsabschnitt, der zum Empfangen von reflektiertem Licht ausgebildet ist, das durch den Lichtprojektionsabschnitt projiziertes und dann durch das Objekt reflektiertes Licht enthält;
- einen Abstandsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, einen Abstand zu dem Objekt in Pixeleinheiten basierend auf der Zeit von dem Zeitpunkt, zu dem der Lichtprojektionsabschnitt das Licht projiziert, bis zu dem Zeitpunkt, zu dem der Lichtempfangsabschnitt das reflektierte Licht empfängt, zu erhalten, und ein Abstandsbild mit einem Pixelwert zu erzeugen, der dem Abstand zum Objekt entspricht; und
- einen Intensitätsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erzeugen, der einer Intensität des reflektierten Lichts in Pixeleinheiten entspricht, das durch den Lichtempfangsabschnitt empfangen wird,
- wobei der Abstandsbild-Erfassungsabschnitt das durch den Abstandsbild-Erzeugungsabschnitt erzeugte Abstandsbild als das Abstandsbild erfasst, das den Pixelwert aufweist, der dem Abstand zu dem bildlich erfassten Objekt entspricht, und
- der Intensitätsbild-Erfassungsabschnitt das durch den Intensitätsbild-Erzeugungsabschnitt erzeugte Intensitätsbild als das Intensitätsbild erfasst, das den Pixelwert aufweist, der der empfangenen Intensität des reflektierten Lichts des von dem Objekt projizierten Lichts entspricht.
<7> Die Bildverarbeitungseinrichtung gemäß <6>, wobei der Lichtprojektionsabschnitt Infrarotlicht projiziert.
<8> Die Bildverarbeitungseinrichtung gemäß einem von <1> bis <5>, wobei das Abstandsbild durch einen Triangulations-Infrarot-Entfernungsmessungssensor erzeugt wird.
<9> Die Bildverarbeitungseinrichtung gemäß einem von <1> bis <5>, wobei das Abstandsbild durch einen Entfernungsmessungssensor mit strukturiertem Licht erzeugt wird.
<10> Die Bildverarbeitungseinrichtung gemäß einem von <1> bis <5>, wobei das Abstandsbild durch einen Stereokamerasensor erzeugt wird.
<11> Die Bildverarbeitungseinrichtung gemäß einem von <1> bis <5>, wobei das Abstandsbild basierend auf einer dreidimensionalen Punktwolke erzeugt wird, die mit LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung) gemessen wird.
<12> Ein Bildverarbeitungsverfahren, das Folgendes aufweist:
- eine Abstandsbild-Erfassungsverarbeitung zum Erfassen eines Abstandsbildes mit einem Pixelwert, der einem Abstand zu einem bildlich erfassten Objekt entspricht;
- eine Intensitätsbild-Erfassungsverarbeitung zum Erfassen eines Intensitätsbildes mit einem Pixelwert, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und
- eine Rauschentfernungsverarbeitung zum Umwandeln eines Pixelwerts eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert.
<13> Programm, das einen Computer veranlasst, Verarbeitung auszuführen, die Folgendes aufweist:
- einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht;
- einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und
- einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln.
<14> Ein sich bewegender Körper, der Folgendes aufweist:
- einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht;
- einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht;
- einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln;
- einen Situationsanalyseabschnitt, der dazu ausgebildet ist, eine Umgebungskarte basierend auf dem Abstandsbild, aus dem das Rauschen entfernt wurde, zu erzeugen;
- einen Planungsabschnitt, der dazu ausgebildet ist, eine Fahrtroute basierend auf der durch den Situationsanalyseabschnitt erzeugten Umgebungskarte zu planen; und
- einen Betriebssteuerabschnitt, der dazu ausgebildet ist, den Betrieb basierend auf der durch den Planungsabschnitt geplanten Fahrtroute zu steuern.

Bezugszeichenliste
11 Fahrzeug, 141 Fahrzeugaußeninformationen-Detektionsabschnitt, 181 ToF-Sensor, 191 Infrarotlicht-Projektionsabschnitt, 192 Infrarotlicht-Empfangsabschnitt, 193 Abstandsbild-Erzeugungsabschnitt, 194 Infrarotbild-Erzeugungsabschnitt, 201 Bildeingabeabschnitt, 202 Bildverarbeitungsabschnitt, 211 Infrarotbild-Eingabeabschnitt, 212 Abstandsbild-Eingabeabschnitt, 221 Filterverarbeitungsabschnitt, 222 Schwellenbestimmungsabschnitt, 223 Abstandsbild-Rauschentfernungsabschnitt, 301 Roboter, 321 Sensoreinheit, 322 Sensorsteuereinheit, 323 Erkennungseinheit, 324 Verhaltensplanungseinheit, 325 Motorsteuereinheit, 326 Motor, 341 ToF-Bildgebungseinheit, 351 Infrarotlicht-Emissionsabschnitt, 352 Infrarotlicht-Empfangsabschnitt, 353 Abstandsbild-Erzeugungsabschnitt, 354 Infrarotbild-Erzeugungsabschnitt, 361 Bildverarbeitungseinrichtung, 371 Bildeingabeabschnitt, 372 Bildverarbeitungsabschnitt , 381 Hindernisdetektionsabschnitt, 382 Fahrtkartenerzeugungsabschnitt, 391 Fahrtroutenerzeugungsabschnitt, 392 Routenfolgeabschnitt, 401 Motorantriebsteuerabschnitt, 411 HW (Hardware)
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014056494 [0005]
JP 2016509208 [0005]

Claims

Bildverarbeitungseinrichtung, die Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln.
Bildverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes aufweist: einen Schwellenbestimmungsabschnitt, der dazu ausgebildet ist, ein Histogramm des Pixelwertes des Intensitätsbildes zu erzeugen und einen Pixelwert, der als ein Änderungspunkt in dem Histogramm dient, als die vorbestimmte Schwelle zu bestimmen.
Bildverarbeitungseinrichtung nach Anspruch 2, die ferner Folgendes aufweist: einen Filterverarbeitungsabschnitt, der dazu ausgebildet ist, an dem Intensitätsbild eine Verarbeitung unter Verwendung eines vorbestimmten Filters zum Entfernen von Rauschen durchzuführen.
Bildverarbeitungseinrichtung nach Anspruch 3, wobei das Filter ein bilaterales Filter enthält.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei der Rauschentfernungsabschnitt den Pixelwert des Pixels in dem Abstandsbild, das dem Pixel entspricht, dessen Pixelwert kleiner als die vorbestimmte Schwelle in dem Intensitätsbild ist, in ein Nichtdetektionspixel umwandelt, das keine Detektion des Abstands angibt, um dadurch Rauschen im Abstandsbild zu entfernen.
Bildverarbeitungseinrichtung nach Anspruch 1, die ferner Folgendes aufweist: einen Lichtprojektionsabschnitt, der zum Projizieren von Licht ausgebildet ist; einen Lichtempfangsabschnitt, der zum Empfangen von reflektiertem Licht ausgebildet ist, das durch den Lichtprojektionsabschnitt projiziertes und dann durch das Objekt reflektiertes Licht enthält; einen Abstandsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, einen Abstand zu dem Objekt in Pixeleinheiten basierend auf der Zeit von dem Zeitpunkt, zu dem der Lichtprojektionsabschnitt das Licht projiziert, bis zu dem Zeitpunkt, zu dem der Lichtempfangsabschnitt das reflektierte Licht empfängt, zu erhalten, und ein Abstandsbild mit einem Pixelwert zu erzeugen, der dem Abstand zum Objekt entspricht; und einen Intensitätsbild-Erzeugungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erzeugen, der einer Intensität des reflektierten Lichts in Pixeleinheiten entspricht, das durch den Lichtempfangsabschnitt empfangen wird, wobei der Abstandsbild-Erfassungsabschnitt das durch den Abstandsbild-Erzeugungsabschnitt erzeugte Abstandsbild als das Abstandsbild erfasst, das den Pixelwert aufweist, der dem Abstand zu dem bildlich erfassten Objekt entspricht, und der Intensitätsbild-Erfassungsabschnitt das durch den Intensitätsbild-Erzeugungsabschnitt erzeugte Intensitätsbild als das Intensitätsbild erfasst, das den Pixelwert aufweist, der der empfangenen Intensität des reflektierten Lichts des von dem Objekt projizierten Lichts entspricht.
Bildverarbeitungseinrichtung nach Anspruch 6, wobei der Lichtprojektionsabschnitt Infrarotlicht projiziert.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Abstandsbild durch einen Triangulations-Infrarot-Entfernungsmessungssensor erzeugt wird.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Abstandsbild durch einen Entfernungsmessungssensor mit strukturiertem Licht erzeugt wird.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Abstandsbild durch einen Stereokamerasensor erzeugt wird.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Abstandsbild basierend auf einer dreidimensionalen Punktwolke erzeugt wird, die mit LiDAR (Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung) gemessen wird.
Bildverarbeitungsverfahren, das Folgendes aufweist: eine Abstandsbild-Erfassungsverarbeitung zum Erfassen eines Abstandsbildes mit einem Pixelwert, der einem Abstand zu einem bildlich erfassten Objekt entspricht; eine Intensitätsbild-Erfassungsverarbeitung zum Erfassen eines Intensitätsbildes mit einem Pixelwert, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und eine Rauschentfernungsverarbeitung zum Umwandeln eines Pixelwerts eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert.
Programm, das einen Computer veranlasst, Verarbeitung auszuführen, die Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; und einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln.
Sich bewegender Körper, der Folgendes aufweist: einen Abstandsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Abstandsbild mit einem Pixelwert zu erfassen, der einem Abstand zu einem bildlich erfassten Objekt entspricht; einen Intensitätsbild-Erfassungsabschnitt, der dazu ausgebildet ist, ein Intensitätsbild mit einem Pixelwert zu erfassen, der einer empfangenen Intensität des reflektierten Lichts von projiziertem Licht von dem Objekt entspricht; einen Rauschentfernungsabschnitt, der dazu ausgebildet ist, einen Pixelwert eines Pixels in dem Abstandsbild, das einem Pixel mit einem Pixelwert kleiner als eine vorbestimmte Schwelle in dem Intensitätsbild entspricht, in einen vorbestimmten Pixelwert umzuwandeln; einen Situationsanalyseabschnitt, der dazu ausgebildet ist, eine Umgebungskarte basierend auf dem Abstandsbild, aus dem das Rauschen entfernt wurde, zu erzeugen; einen Planungsabschnitt, der dazu ausgebildet ist, eine Fahrtroute basierend auf der durch den Situationsanalyseabschnitt erzeugten Umgebungskarte zu planen; und einen Betriebssteuerabschnitt, der dazu ausgebildet ist, den Betrieb basierend auf der durch den Planungsabschnitt geplanten Fahrtroute zu steuern.