DE112018003986T5

DE112018003986T5 - Steuervorrichtung, steuerverfahren, programm und mobileinheit

Info

Publication number: DE112018003986T5
Application number: DE112018003986.2T
Authority: DE
Inventors: Takuto MOTOYAMA; Hideki Oyaizu; Yasuhiro Sutou; Toshio Yamazaki; Kentaro Doba
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-08-04
Filing date: 2018-07-25
Publication date: 2020-04-16
Also published as: JP7103359B2; US11427218B2; WO2019026715A1; US20200231176A1; JPWO2019026715A1

Abstract

Bereitgestellt sind eine Steuervorrichtung, ein Steuerverfahren, ein Programm und eine Mobileinheit, mit denen es möglich ist, Hindernisse in einem Gebiet, in dem sich die Mobileinheit bewegen kann, geeignet zu detektieren. Ein Laserentfernungsmesser projiziert Licht unter einem vorbestimmten Winkel mit Bezug auf die vertikale Richtung, während die horizontale Richtung variiert wird, empfängt reflektiertes Licht des projizierten Lichts und detektiert die Richtung und die Entfernung, aus denen Licht von einem Hindernis oder dergleichen reflektiert wird, gemäß der Zeitdifferenz zwischen der Projektionszeit und der Empfangszeit. Die Normalengeradenrichtung einer Ebene, die eine Straßenoberfläche darstellt, wird basierend auf einem polarisierten Bild detektiert. Der Laserentfernungsmesser projiziert Licht unter einem vorbestimmten Winkel mit Bezug auf die vertikale Richtung auf eine solche Weise, dass es mit Bezug auf die Normalengeradenrichtung der Ebene, die die Straßenoberfläche darstellt, orthogonal ist. Die vorliegende Erfindung kann auf fahrzeugmontierte Systeme angewandt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Steuereinrichtung, ein Steuerverfahren, ein Programm und einen sich bewegenden Körper und insbesondere eine Steuereinrichtung, ein Steuerverfahren, ein Programm und einen sich bewegenden Körper, dem ermöglicht wird, ein Hindernis in einem Bewegungsgebiet angemessen zu detektieren.
STAND DER TECHNIK
Um eine autonome Bewegung eines sich bewegenden Körpers zu implementieren, ist es notwendig, dass der sich bewegende Körper eine Selbstposition erkennt. Daher wurde eine Technologie zum Erkennen einer Situation um sich herum und zum Erzeugen einer lokalen Karte um sich herum zum Schätzen der eigenen Selbstposition vorgeschlagen.
Zum Beispiel wurde eine Technologie vorgeschlagen, die beim Erzeugen einer lokalen Karte um sich herum die Position und Entfernung eines Hindernisses quantifiziert und eine lokale Karte unter Verwendung eines Horizontalscantyplaserentfernungsmessers erzeugt, der bewirkt, dass ein Laser in einer Lichtprojektionsrichtung in einer Richtung orthogonal zu einer Fortbewegungsrichtung scannt (siehe Patentdokument 1).
ZITATLISTE
PATENTDOKUMENT
Patentdokument 1: Japanische Patentanmeldung, Offenlegungs-Nr. 2009-110250
KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Wenn jedoch die Position und Entfernung eines Hindernisses quantifiziert werden, während die Lichtprojektionsrichtung des Laserentfernungsmessers in einer horizontalen Richtung gedreht wird, wird, falls die Lichtprojektionsrichtung des Lasers in einer vertikalen Richtung aufgrund zum Beispiel einer Vibration eines sich bewegenden Körpers, an dem der Laserentfernungsmesser angebracht ist, auf und ab geschwenkt wird, eine Straßenoberfläche manchmal fälschlicherweise als ein Hindernis detektiert, falls die Lichtprojektionsrichtung des Lasers zu der Seite der Straßenoberfläche geschwenkt wird. Des Weiteren gibt es, wenn die Lichtprojektionsrichtung des Lasers nach oben geschwenkt wird, eine Möglichkeit, einen Zustand herbeizuführen, in dem der Laser, selbst wenn ein Hindernis auf der Straßenoberfläche vorhanden ist, nicht auf das Hindernis projiziert wird und eine Detektion des Hindernisses fehlschlägt.
Die vorliegende Offenbarung erfolgte in Hinblick auf eine solche Situation und zielt insbesondere darauf ab, eine angemessene Detektion eines Hindernisses unter Verwendung eines Laserentfernungsmessers zu ermöglichen.
LÖSUNGEN DER PROBLEME
Eine Steuereinrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist eine Steuereinrichtung, die Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und eine Bewegungsgebietsnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum detektiert, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Eine Polarisationskamera, die polarisierte Bilder mit mehreren Polarisationsbildern aufnimmt, darf ferner enthalten sein, und die Bewegungsgebietsnormalendetektionseinheit kann dazu veranlasst werden, eine Normalenrichtung einer flachen Ebene, die ein Bewegungsgebiet eines sich bewegenden Körpers bildet, aus den polarisierten Bildern zu detektieren.
Eine Normalenrichtungsdetektionseinheit, die eine Normalenrichtung einer Oberfläche eines Gegenstands in den polarisierten Bildern in Einheiten von Pixeln detektiert und die detektierte Normalenrichtung als eine Normalenkarte ausgibt; eine Rekonfigurationseinheit, die ein nichtpolarisiertes Bild aus mehreren der polarisierten Bilder rekonfiguriert; und eine Attributfestlegeeinheit, die für jedes Pixel des nichtpolarisierten Bildes bestimmt, ob der Gegenstand ein Attribut des Bewegungsgebiets aufweist oder nicht, dürfen ferner enthalten sein, und die Bewegungsgebietnormalendetektionseinheit kann dazu veranlasst werden, als eine Normalenrichtung einer flachen Ebene, die das Bewegungsgebiet bildet, die Normalenrichtung zu detektieren, die in einem Gebiet eines Pixels dominiert, dessen Attribut durch die Attributfestlegeeinheit unter den Pixeln des nichtpolarisierten Bildes als das Bewegungsgebiet festgelegt wird.
Die Attributfestlegeeinheit kann dazu veranlasst werden, ein Attribut des Gegenstands als das Bewegungsgebiet für jedes Pixel des nichtpolarisierten Bildes festzulegen, dessen Absolutwert eines inneren Produkts einer senkrechten Richtung und eines Normalenvektors, der detektiert wurde, größer als ein vorbestimmter Wert ist.
Eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt, darf ferner enthalten sein.
Die Umgebungskartierungseinheit kann dazu veranlasst werden, eine Umgebungskarte basierend auf Informationen darüber, ob jedes Pixel des nichtpolarisierten Bildes ein Attribut des Bewegungsgebiets aufweist oder nicht, und Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird, zu erzeugen.
Die Umgebungskartierungseinheit kann dazu veranlasst werden, die Umgebungskarte durch Folgendes zu erzeugen: für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes nicht in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird, Festlegen eines Raums bis zum Erreichen einer Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum; Festlegen eines Raums in einer Nähe der Entfernung, in der das reflektierte Licht detektiert wird, als ein Gebiet, das angibt, dass mit hoher Wahrscheinlichkeit ein Hindernis vorhanden ist; und Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet, und für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird, Festlegen eines Raums bis zu der Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum; und Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet.
Die Umgebungskarte darf eine Belegtheitsgitterkarte aufweisen.
Eine Koordinatensystemintegrationseinheit, die ein Koordinatensystem, das eine Position angibt, deren Entfernung durch die Objektdetektionseinheit detektiert wird, in ein Koordinatensystem der durch die Polarisationskamera aufgenommenen polarisierten Bilder integriert, darf ferner enthalten sein.
Die Objektdetektionseinheit darf Lichtdetektion und -entfernungsmessung oder Laserbildgebungsdetektion und - entfernungsmessung (LiDAR: Light Detection And Ranging oder Laser Imaging Detection And Ranging) aufweisen.
Das Bewegungsgebiet darf eine Straßenoberfläche einschließen.
Ein Steuerverfahren gemäß einem Aspekt der vorliegenden Offenbarung ist ein Steuerverfahren, das Folgendes aufweist: Projizieren von Licht, während eine Richtung entlang der gleichen Ebene geändert wird, um auch reflektiertes Licht des Lichts zu empfangen, und Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs; und Detektieren einer Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild, wobei bei dem Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, eine Lichtprojektionsrichtung von Licht so gesteuert wird, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Ein Programm gemäß einem Aspekt der vorliegenden Offenbarung ist ein Programm zum Veranlassen eines Computers zum Ausführen eines Prozesses, der Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und eine Bewegungsgebietsnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Ein sich bewegender Körper gemäß einem Aspekt der vorliegenden Offenbarung ist ein sich bewegender Körper, der Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; eine Bewegungsgebietsnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet des sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert; eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt; eine Planungseinheit, die einen Handlungsplan basierend auf der Umgebungskarte erzeugt; und eine Steuereinheit, die eine Bewegung des sich bewegenden Körpers basierend auf dem erzeugten Handlungsplan steuert, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Bei einem Aspekt der vorliegenden Offenbarung wird Licht projiziert, während eine Richtung in einer horizontalen Richtung mit einem vorbestimmten Winkel mit Bezug auf eine vertikale Richtung derart geändert wird, so dass reflektiertes Licht des Lichts auch empfangen wird; werden eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit einer Lichtprojektion und einer Zeit eines Lichtempfangs detektiert; wird eine Normalenrichtung einer flachen Ebene, die ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert; und wird der vorbestimmte Winkel mit Bezug auf die vertikale Richtung, in der das Licht projiziert wird, so gesteuert, dass er orthogonal zu der Normalenrichtung ist.
EFFEKTE DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Offenbarung wird es möglich, ein Hindernis insbesondere unter Verwendung eines Laserentfernungsmessers geeignet zu detektieren.
Figurenliste

1 ist ein Diagramm zum Erklären eines Verfahrens zum Detektieren eines Hindernisses unter Verwendung eines Laserentfernungsmessers.
2 ist ein Diagramm zum Erklären einer fehlerhaften Detektion eines Hindernisses durch einen Laserentfernungsmesser.
3 ist ein Diagramm zum Erklären von Bewegungen durch ein Bewegungskörpersteuersystem der vorliegenden Offenbarung.
4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer bevorzugten Ausführungsform des Bewegungskörpersteuersystems der vorliegenden Offenbarung veranschaulicht.
5 ist ein Blockdiagramm zum Erklären eines Konfigurationsbeispiels zum Erzeugen einer Umgebungskarte in dem Bewegungskörpersteuersystem der vorliegenden Offenbarung.
6 ist ein Diagramm zum Erklären eines Beispiels für das Detektieren einer Normalenrichtung einer Oberfläche eines Objekts in einem Bild.
7 ist ein Diagramm zum Erklären eines Verfahrens zum Erhalten einer flachen Ebene, die eine Straßenoberfläche bildet.
8 ist ein Diagramm zum Erklären einer Bilderkennung.
9 ist ein Diagramm zum Erklären einer Umwandlung eines Koordinatensystems zwischen einem Laserentfernungsmesser und einer Polarisationskamera.
10 ist ein Diagramm zum Erklären eines Verfahrens zum Erzeugen einer Umgebungskarte.
11 ist ein Diagramm zum Erklären eines Verfahrens zum Erzeugen einer Umgebungskarte.
12 ist ein Flussdiagramm zum Erklären eines Umgebungskartenerzeugungsprozesses.
13 ist ein Zeitverlaufsdiagramm zum Erklären des Umgebungskartenerzeugungsprozesses.
14 ist ein Flussdiagramm zum Erklären eines Umgebungskartierungsprozesses.
15 ist ein Diagramm zum Erklären eines ersten Anwendungsbeispiels.
16 ist ein Diagramm zum Erklären eines zweiten Anwendungsbeispiels.
17 ist ein Diagramm zum Erklären eines Konfigurationsbeispiels eines Mehrzweck-PCs.

AUSFÜHRUNGSWEISE DER ERFINDUNG
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Es wird angemerkt, dass bei der vorliegenden Beschreibung und den Zeichnungen Bestandteilelemente mit im Wesentlichen der gleichen funktionellen Konfiguration durch die gleichen Bezugsziffern bezeichnet werden und eine redundante Beschreibung weggelassen wird.
Nachfolgend werden Modi zum Ausführen der vorliegenden Technologie beschrieben. Die Beschreibung wird in der folgenden Reihenfolge gegeben.

1. Bevorzugte Ausführungsform der vorliegenden Offenbarung
2. Erstes Anwendungsbeispiel
3. Zweites Anwendungsbeispiel
4. Beispiel für eine Ausführung durch Software

«1. Bevorzugte Ausführungsform der vorliegenden Offenbarung»
<Übersicht der vorliegenden Offenbarung>
Ein sich bewegender Körper der vorliegenden Offenbarung ist ein sich bewegender Körper, der eine lokale Karte erzeugt, die für eine autonome Bewegung erforderlich ist.
Zunächst wird das Prinzip des Detektierens eines Hindernisses 12 durch eine Polarisationskamera 21 und einen Laserentfernungsmesser 22 in einem sich bewegenden Körper 11, der die Polarisationskamera 21 und den Laserentfernungsmesser 22 aufweist, unter Bezugnahme auf 1 beschrieben. Hier ist der obere Teil aus 1 ein Diagramm, wenn der sich bewegende Körper 11 von oben betrachtet wird, und ist der untere Teil aus 1 ein Diagramm, wenn der sich bewegende Körper 11 aus einer Seitenrichtung betrachtet wird.
Des Weiteren veranschaulicht 1 den sich bewegenden Körper 11 zum Beispiel in einem Zustand einer Bewegung in einer Fortbewegungsrichtung, die in 1 die Rechtsrichtung ist, auf einer Straßenoberfläche 13 und das Hindernis 12 ist vorne auf der Straßenoberfläche 13 in einer Bewegungsrichtung des sich bewegenden Körpers 11 leicht auf der rechten Seite der Vorderseite vorhanden.
Die Polarisationskamera 21 nimmt eine Polarisationsbildgebung mit mehreren Polarisationsrichtungen eines vorausliegenden Bereichs, der sich in der Bewegungsrichtung des sich bewegenden Körpers 11 befindet, unter einem Sichtwinkel Z1 auf.
Der Laserentfernungsmesser 22 ändert die Lichtprojektionsrichtung zum Beispiel radial in der Reihenfolge von Lichtprojektionsrichtungen L1, L2, ..., Ln, wie in dem oberen Teil aus 1 veranschaulicht ist, und projiziert auch Infrarotlicht beinahe parallel zu der Straßenoberfläche 13, wie in dem unteren Teil aus 1 veranschaulicht ist.
Wenn reflektiertes Licht von dem Hindernis 12 oder dergleichen empfangen wird, quantifiziert der Laserentfernungsmesser 22 ferner eine Entfernung zu dem Hindernis 12 aus einer Differenzzeit zwischen einem Zeitpunkt, wenn das Infrarotlicht projiziert wird, und einem Zeitpunkt, wenn das reflektierte Licht empfangen wird, durch ein sogenanntes Laufzeit(ToF: Time of Flight)-Verfahren.
Infolgedessen quantifiziert der Laserentfernungsmesser 22 die Position (Richtung) und die Entfernung des Hindernisses 12 durch Erkennen, in welche Richtung das Licht projiziert wurde, wenn das von dem Hindernis 12 reflektierte Licht empfangen wird.
<Fall, in dem eine fehlerhafte Detektion produziert wird>
Im Übrigen ist die Lichtprojektionsrichtung des Laserentfernungsmessers 22 im Wesentlichen parallel zu der Straßenoberfläche 13, mit anderen Worten wird das Infrarotlicht in horizontaler Richtung projiziert, um die Position und die Entfernung des Hindernisses 12 zu quantifizieren.
Da jedoch eine Vibration in dem sich bewegenden Körper 11 auftritt, wenn sich der sich bewegende Körper 11 bewegt, wird in manchen Fällen eine Neigung erzeugt. Zum Beispiel gibt es, wie in dem oberen linken Teil aus 2 veranschaulicht, Fälle, in denen sich die Vorderseite des sich bewegenden Körpers nach unten absenkt und das in der Lichtprojektionsrichtung L projizierte Infrarotlicht zu einer Position 13a auf der Straßenoberfläche 13 projiziert wird; infolgedessen wird eine Entfernung F1 von dem sich bewegenden Körper 11 zu der Position 13a quantifiziert und wird fälschlicherweise detektiert, dass das Hindernis 12 bei der quantifizierten Position 13a vorhanden ist.
Wie in dem oberen rechten Teil aus 2 veranschaulicht, gab es des Weiteren zum Beispiel Fälle, in denen sich die Rückseite des sich bewegenden Körpers nach unten absenkt und das Infrarotlicht in der Lichtprojektionsrichtung L nicht durch das Hindernis 12 auf der Straßenoberfläche 13 reflektiert wird; infolgedessen wird eine Entfernung F2 als unendlich angesehen und kann der sich bewegende Körper 11 daher nicht das gesamte Vorhandensein des Hindernisses 12 detektieren, was zu einer fehlerhaften Detektion führt.
Darüber hinaus gab es, wie in dem unteren zentralen Teil aus 2 veranschaulicht, falls es eine Straßenoberfläche 13', wie etwa eine Aufwärtsneigung vor dem sich bewegenden Körper 11, gibt, Fälle, in denen das in die Lichtprojektionsrichtung L projizierte Infrarotlicht bei einer Position 13b auf der Straßenoberfläche 13' reflektiert wird; infolgedessen wird eine Entfernung F3 von dem sich bewegenden Körper 11 zu der Position 13b quantifiziert und wird fälschlicherweise detektiert, dass das Hindernis 12 bei der quantifizierten Position 13b vorhanden ist. Es ist zu beachten, dass hier ein Fall beschrieben wurde, in dem die Lichtprojektionsrichtung nur in der horizontalen Richtung geändert wird; selbst in einem Fall, in dem die Lichtprojektionsrichtung nicht nur in horizontaler Richtung, sondern auch in einer vertikalen Richtung geändert wird, wird jedoch eine ähnliche fehlerhafte Detektion in einem Fall produziert, in dem der Schwenkwinkel in vertikaler Richtung klein ist.
<Prinzip zum Unterdrücken einer fehlerhaften Detektion>
Daher erhält der sich bewegende Körper 11 der vorliegenden Offenbarung einen Normalenvektor N, der eine Normalenrichtung der Straßenoberfläche 13' angibt, aus polarisierten Bildern mit mehreren Polarisationsrichtungen, die durch die Polarisationskamera 21 aufgenommen wurden, wie in dem linken Teil aus 3 veranschaulicht ist, und projiziert Licht durch Drehen der Lichtprojektionsrichtung L um einen Winkel R in einer Richtung orthogonal zu dem Normalenvektor N, wie in dem rechten Teil aus 3 veranschaulicht ist. Es ist zu beachten, dass selbst in einem Fall, in dem die Lichtprojektionsrichtung nicht nur in der horizontalen Richtung, sondern auch in der vertikalen Richtung geändert wird, die Lichtprojektionsrichtung L um einen Winkel R in einer Richtung orthogonal zu dem Normalenvektor N für einen der Schwenkwinkel in der vertikalen Richtung oder einen Durchschnittswinkel oder einen Winkel, der ein Median ist, oder dergleichen gedreht wird, falls der Schwenkwinkel in der vertikalen Richtung klein ist.
Durch eine Verarbeitung auf diese Weise wird es ermöglicht, die Lichtprojektionsrichtung L parallel zu der Straßenoberfläche 13' zu halten, und wird es ermöglicht, eine fehlerhafte Detektion durch den Laserentfernungsmesser 22 zu unterdrücken.
Infolgedessen kann eine Umgebungskarte basierend auf dem Entfernungsmessungsergebnis unter Verwendung des Laserentfernungsmessers 22 erzeugt werden.
<Konfigurationsbeispiel des Bewegungskörpersteuersystems zum Steuern des sich bewegenden Körpers der vorliegenden Offenbarung>
4 ist ein Blockdiagramm, das ein Beispiel einer schematischen funktionalen Konfiguration eines Steuersystems 100 eines sich bewegenden Körpers veranschaulicht, das den sich bewegenden Körper 11 steuert. Es ist zu beachten, dass das Bewegungskörpersteuersystem 100 in 4 ein Beispiel eines Bewegungskörpersteuersystems ist, auf das die vorliegende Technologie angewandt werden kann, und auch als ein System angewandt werden kann, das andere sich bewegende Körper steuert, wie etwa ein Luftfahrzeug, ein Schiff, eine Drohne und einen Roboter.
Das Bewegungskörpersteuersystem 100 weist eine Eingabeeinheit 101, eine Datenerfassungseinheit 102, eine Kommunikationseinheit 103, eine Bewegungskörperinnenvorrichtung 104, eine Ausgabesteuereinheit 105, eine Ausgabeeinheit 106, eine Antriebssystemsteuereinheit 107, ein Antriebssystem 108, eine Speicherungseinheit 109 und eine Automatisiertes-Fahren-Steuereinheit 110 auf. Die Eingabeeinheit 101, die Datenerfassungseinheit 102, die Kommunikationseinheit 103, die Ausgabesteuereinheit 105, die Antriebssystemsteuereinheit 107, die Speicherungseinheit 109 und die Automatisiertes-Fahren-Steuereinheit 110 sind über ein Kommunikationsnetz 121 miteinander verbunden. Das Kommunikationsnetz 121 besteht aus einem Kommunikationsnetz, einem Bus und dergleichen, das/der einem beliebigen Standard entspricht, wie etwa ein Controller Area Network (CAN), ein Local Interconnect Network (LIN), ein Local Area Network (LAN) und FlexRay (eingetragenes Warenzeichen). Es ist zu beachten, dass die jeweiligen Einheiten des Bewegungskörpersteuerungssystems 100 in manchen Fällen direkt und nicht über das Kommunikationsnetz 121 verbunden sind.
Außerdem wird im Folgenden in einem Fall, in dem jede Einheit des Bewegungskörpersteuersystems 100 eine Kommunikation über das Kommunikationsnetz 121 durchführt, die Erwähnung des Kommunikationsnetzes 121 weggelassen. Falls zum Beispiel die Eingabeeinheit 101 und die Automatisiertes-Fahren-Steuereinheit 110 über das Kommunikationsnetz 121 miteinander kommunizieren, wird lediglich beschrieben, dass die Eingabeeinheit 101 und die Automatisiertes-Fahren-Steuereinheit 110 miteinander kommunizieren.
Die Eingabeeinheit 101 weist eine Vorrichtung auf, die von einem Insassen verwendet wird, um verschiedene Arten von Daten, Anweisungen und dergleichen einzugeben. Zum Beispiel schließt die Eingabeeinheit 101 Bedienungsvorrichtungen, wie etwa ein Berührungsfeld, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, und eine Bedienungsvorrichtung, mit der eine Eingabe durch ein anderes Verfahren als zum Beispiel eine manuelle Bedienung durch Ton oder Geste vorgenommen werden kann. Des Weiteren kann die Eingabeeinheit 101 zum Beispiel eine Fernsteuerungseinrichtung, die Infrarotstrahlen oder andere Funkwellen verwendet, oder eine extern verbundene Vorrichtung, die mit dem Betrieb des Bewegungskörpersteuerungssystems 100 kompatibel ist, wie etwa eine Mobilvorrichtung oder eine Wearable-Vorrichtung, sein. Die Eingabeeinheit 101 erzeugt ein Eingabesignal basierend auf Daten, einer Anweisung und dergleichen, die von einem Insassen eingegeben wird/werden, und liefert das erzeugte Eingabesignal an jede Einheit des Bewegungskörpersteuersystems 100.
Die Datenerfassungseinheit 102 weist verschiedene Sensoren oder dergleichen auf, die Daten erfassen, die für den Prozess des Bewegungskörpersteuersystems 100 verwendet werden, und liefert die erfassten Daten an jede Einheit des Bewegungskörpersteuersystems 100.
Zum Beispiel weist die Datenerfassungseinheit 102 verschiedene Sensoren zum Detektieren des Zustands und dergleichen des sich bewegenden Körpers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen Gyroskopsensor, einen Beschleunigungssensor, eine Inertialmesseinheit (IMU: Inertial Measurement Unit) und einen Sensor zum Detektieren eines Betätigungsausmaßes eines Gaspedals, eines Betätigungsausmaßes eines Bremspedals, eines Lenkwinkels eines Lenkrads, einer Motorgeschwindigkeit, einer Motordrehzahl, einer Drehzahl eines Rades oder dergleichen, auf.
Des Weiteren weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen außerhalb des sich bewegenden Körpers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel eine Bildgebungseinrichtung auf, wie etwa eine Laufzeit(ToF)-Kamera, eine Stereokamera, eine Monokularkamera, eine Infrarotkamera, eine Polarisationskamera und andere Kameras. Zusätzlich weist die Datenerfassungseinheit 102 beispielsweise einen Umgebungssensor zum Detektieren von Wetter, Meteorologie oder dergleichen und einen Umgebungsinformationsdetektionssensor zum Detektieren eines Objekts um den sich bewegenden Körper herum auf. Der Umgebungssensor besteht zum Beispiel aus einem Regentropfensensor, einem Nebelsensor, einem Sonnenscheinsensor und einem Schneesensor. Der Umgebungsinformationsdetektionssensor besteht zum Beispiel aus einem Laserentfernungsmesser, einem Ultraschallsensor, einem Radar, einer Light-Detection-And-Ranging- oder Laser-Imaging-Detection-And-Ranging(LiDAR)-Einheit und einem Sonar. Es ist zu beachten, dass bei dem Bewegungskörpersteuersystem 100 der vorliegenden Offenbarung die Datenerfassungseinheit 102 die Polarisationskamera 21 in 1 als eine Bildgebungseinrichtung aufweist und den Laserentfernungsmesser 22 in 1 als einen Umgebungsinformationsdetektionssensor aufweist.
Darüber hinaus weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren der aktuellen Position des sich bewegenden Körpers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel einen GNSS(Globales Navigationssatellitensystem)-Empfänger auf, der ein GNSS-Signal von einem GNSS-Satelliten oder dergleichen empfängt.
Des Weiteren weist die Datenerfassungseinheit 102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen innerhalb des sich bewegenden Körpers auf. Insbesondere weist die Datenerfassungseinheit 102 zum Beispiel eine Bildgebungseinrichtung, die den Fahrer bildlich erfasst, einen biometrischen Sensor, der biometrische Informationen des Fahrers detektiert, und ein Mikrofon, das Ton in dem Raum des sich bewegenden Körpers sammelt, auf. Der biometrische Sensor ist zum Beispiel auf einer Sitzoberfläche oder einem Lenkrad bereitgestellt und detektiert die biometrischen Informationen über einen Insassen, der auf einem Sitz sitzt, oder den Fahrer, der das Lenkrad hält.
Die Kommunikationseinheit 103 kommuniziert mit der Bewegungskörperinnenvorrichtung 104 und einer Vielzahl von Vorrichtungen außerhalb des sich bewegenden Körpers, einem Server, einer Basisstation und dergleichen, um Daten zu übertragen, die von jeder Einheit des Bewegungskörpersteuersystems 100 bereitgestellt werden, und um die empfangenen Daten an jede Einheit des Bewegungskörpersteuersystems 100 zu liefern. Es ist zu beachten, dass das durch die Kommunikationseinheit 103 unterstützte Kommunikationsprotokoll nicht speziell beschränkt ist und die Kommunikationseinheit 103 auch mehrere Arten von Kommunikationsprotokollen unterstützen kann.
Zum Beispiel führt die Kommunikationseinheit 103 eine drahtlose Kommunikation mit der Bewegungskörperinnenvorrichtung 104 durch ein Wireless LAN, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation (NFC: Near Field Communication), einen drahtlosen universellen seriellen Bus (WUSB: Wireless Universal Serial Bus) oder dergleichen durch. Weiterhin führt die Kommunikationseinheit 103 zum Beispiel eine drahtgebundene Kommunikation mit der Bewegungskörperinnenvorrichtung 104 durch einen universellen seriellen Bus (USB), High-Definition Multimedia Interface (HDMI) (eingetragenes Markenzeichen), Mobile High-Definition Link(MHL) oder dergleichen, über einen Verbindungsanschluss (nicht veranschaulicht) (und falls notwendig ein Kabel) durch.
Zudem kommuniziert die Kommunikationseinheit 103 zum Beispiel über eine Basisstation oder einen Zugangspunkt mit einer Vorrichtung (zum Beispiel einem Anwendungsserver oder einem Steuerserver), die in einem externen Netz (zum Beispiel dem Internet, einem Cloud-Netz oder einem unternehmenseigenen Netz) vorhanden ist. Weiterhin verwendet die Kommunikationseinheit 103 zum Beispiel eine Peer-to-Peer(P2P)-Technologie, um mit einem in der Nähe des sich bewegenden Körpers vorhandenen Endgerät (zum Beispiel einem Endgerät eines Fußgängers oder eines Geschäfts oder einem Maschinentypkommunikation(MTC: Machine Type Communication)-Endgerät) zu kommunizieren. Falls zum Beispiel der sich bewegende Körper 11 ein Fahrzeug ist, führt zudem die Kommunikationseinheit 103 eine Fahrzeug-zu-Alles-Kommunikation(V2X: Vehicle-to-Everything) durch, wie etwa eine Fahrzeug-zu-Fahrzeug-Kommunikation, eine Fahrzeug-zu-Infrastruktur-Kommunikation, eine Fahrzeug-zu-Haus-Kommunikation und eine Fahrzeug-zu-Fußgänger-Kommunikation. Des Weiteren weist die Kommunikationseinheit 103 eine Beacon-Empfangseinheit zum Empfangen von zum Beispiel Funkwellen oder elektromagnetischen Wellen, die von einer auf der Straße installierten Drahtlosstation oder dergleichen emittiert werden, und zum Erfassen von Informationen über die aktuelle Position, Stau, Verkehrsbeschränkungen, erforderliche Zeit oder dergleichen, auf.
Die Bewegungskörperinnenvorrichtung 104 weist zum Beispiel eine Mobilvorrichtung oder Wearable-Vorrichtung, die einem Insassen gehört, eine Informationsvorrichtung, die in dem sich bewegenden Körper mitgeführt oder an diesem angebracht ist, und eine Navigationseinrichtung, die nach einer Route zu einem beliebigen Ziel sucht, auf.
Die Ausgabesteuereinheit 105 steuert die Ausgabe verschiedener Arten von Informationen an einen Insassen des sich bewegenden Körpers oder nach außerhalb des sich bewegenden Körpers. Zum Beispiel erzeugt die Ausgabesteuereinheit 105 ein Ausgabesignal, das visuelle Informationen (zum Beispiel Bilddaten) und/oder akustische Informationen (zum Beispiel Tondaten) aufweist, und liefert das erzeugte Ausgabesignal an die Ausgabeeinheit 106, um die Ausgabe der visuellen und akustischen Informationen von der Ausgabeeinheit 106 zu steuern. Insbesondere kombiniert die Ausgabesteuereinheit 105 zum Beispiel Bilddaten, die von verschiedenen Bildgebungseinrichtungen der Datenerfassungseinheit 102 aufgenommen wurden, um ein Overhead-Bild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgabesignal einschließlich des erzeugten Bildes an die Ausgabeeinheit 106. Weiterhin erzeugt die Ausgabesteuereinheit 105 zum Beispiel Tondaten einschließlich eines Warntons oder einer Warnnachricht oder dergleichen für eine Gefahr, wie etwa eine Kollision, einen leichten Unfall, den Eintritt in eine Gefahrenzone und dergleichen, und liefert ein Ausgabesignal einschließlich der erzeugten Tondaten an die Ausgabeeinheit 106.
Die Ausgabeeinheit 106 weist eine Einrichtung auf, die dazu in der Lage ist, visuelle Informationen oder akustische Informationen an einen Insassen des sich bewegenden Körpers oder nach außerhalb des sich bewegenden Körpers auszugeben. Zum Beispiel weist die Ausgabeeinheit 106 eine Anzeigeeinrichtung, ein Instrumentenfeld, einen Audiolautsprecher, Kopfhörer, eine Wearable-Vorrichtung, wie etwa eine Anzeige vom Brillentyp, die von einem Insassen getragen wird, einen Projektor, eine Lampe und dergleichen auf. Zusätzlich zu einer Einrichtung mit einer normalen Anzeige kann die in der Ausgabeeinheit 106 enthaltene Anzeigeeinrichtung eine Einrichtung sein, die visuelle Informationen in dem Sichtfeld des Fahrers anzeigt, wie etwa eine Head-up-Anzeige, eine transmittierende Anzeige und eine Einrichtung mit einer Anzeigefunktion mit erweiterter Realität (AR: Augmented Reality).
Die Antriebssystemsteuereinheit 107 steuert das Antriebssystem 108 durch Erzeugen verschiedener Steuersignale und Liefern der erzeugten verschiedenen Steuersignale an das Antriebssystem 108. Des Weiteren liefert die Antriebssystemsteuereinheit 107 ein Steuersignal an jede Einheit außer dem Antriebssystem 108 nach Bedarf und benachrichtigt zum Beispiel jede Einheit über einen Steuerzustand des Antriebssystems 108.
Das Antriebssystem 108 weist verschiedene Einrichtungen auf, die mit dem Antriebssystem des sich bewegenden Körpers in Zusammenhang stehen. Zum Beispiel weist das Antriebssystem 108 Folgendes auf: eine Antriebskrafterzeugungseinrichtung zum Erzeugen einer Antriebskraft, wie etwa einen Verbrennungsmotor oder einen Antriebsmotor; einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder; einen Lenkmechanismus, der einen Lenkwinkel regelt; eine Bremseinrichtung, die eine Bremskraft erzeugt; ein Antiblockiersystem (ABS); eine elektronische Stabilitätskontrolle (ESC); eine elektrische Servolenkeinrichtung; und dergleichen.
Die Speicherungseinheit 109 weist zum Beispiel eine Magnetspeicherungsvorrichtung, wie etwa einen Nurlesespeicher (ROM), einen Direktzugriffsspeicher (RAM) und ein Festplattenlaufwerk (HDD), eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung und eine magnetooptische Speicherungsvorrichtung auf. Die Speicherungseinheit 109 speichert verschiedene Arten von Programmen, Daten und dergleichen, die durch jede Einheit des Bewegungskörpersteuersystems 100 verwendet werden. Zum Beispiel speichert die Speicherungseinheit 109 Kartendaten, wie etwa eine dreidimensionale Karte mit hoher Genauigkeit, die durch eine dynamische Karte exemplarisch veranschaulicht wird, eine globale Karte, die einen breiteren Bereich mit geringerer Genauigkeit als die Karte mit hoher Genauigkeit abdeckt, und eine lokale Karte, die Informationen rund um den sich bewegenden Körper herum enthält.
Die Automatisiertes-Fahren-Steuereinheit 110 führt eine Steuerung mit Bezug auf ein automatisiertes Fahren, wie etwa eine autonome Bewegung oder eine Fahrunterstützung, durch. Insbesondere führt die Automatisiertes-Fahren-Steuereinheit 110 zum Beispiel eine koordinative Steuerung zum Zweck der Implementierung der Funktion eines Fahrerassistenzsystems (ADAS: Advanced Driver Assistance System) durch, einschließlich der Vermeidung von Kollisionen des sich bewegenden Körpers oder der Abschwächung eines Aufpralls, einer Folgefahrt basierend auf der Entfernung zwischen sich bewegenden Körpern, einer Fahrt mit Aufrechterhaltung der Geschwindigkeit des sich bewegenden Körpers, einer Warnung vor einer Kollision des sich bewegenden Körpers oder einer Warnung vor einem Verlassen der Fahrspur des sich bewegenden Körpers. Darüber hinaus führt die Automatisiertes-Fahren-Steuereinheit 110 zum Beispiel eine koordinative Steuerung zum Zweck des automatisierten Fahrens oder dergleichen durch, die eine autonome Bewegung ermöglicht, ohne von der Bedienung des Fahrers abzuhängen. Die automatisierte Fahrsteuereinheit 110 weist eine Detektionseinheit 131, eine Selbstpositionsschätzungseinheit 132, eine Situationsanalyseeinheit 133, eine Planungseinheit 134 und eine Bewegungssteuereinheit 135 auf.
Die Detektionseinheit 131 detektiert verschiedene Arten von Informationen, die zur Steuerung des automatisierten Fahrens erforderlich sind. Die Detektionseinheit 131 weist eine Bewegungskörperaußeninformationsdetektionseinheit 141, eine Bewegungskörperinneninformationsdetektionseinheit 142 und eine Bewegungskörperzustandsdetektionseinheit 143 auf.
Die Bewegungskörperaußeninformationsdetektionseinheit 141 führt einen Detektionsprozess für Informationen außerhalb des sich bewegenden Körpers basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100 durch. Zum Beispiel führt die Bewegungskörperaußeninformationsdetektionseinheit 141 einen Detektionsprozess, einen Erkennungsprozess und einen Verfolgungsprozess für ein Objekt um den sich bewegenden Körper herum und einen Detektionsprozess für die Entfernung zu einem Objekt durch. Die zu detektierenden Objekte schließen zum Beispiel sich bewegende Körper, Personen, Hindernisse, Strukturen, Straßen, Ampeln, Verkehrsschilder und Straßenmarkierungen ein. Des Weiteren führt die Bewegungskörperaußeninformationsdetektionseinheit 141 zum Beispiel einen Detektionsprozess für die Umgebung um den sich bewegenden Körper herum durch. Die Umgebung um den zu detektierenden Mobilkörper schließt zum Beispiel Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit und einen Straßenoberflächenzustand ein. Die Bewegungskörperaußeninformationsdetektionseinheit 141 liefert Daten, die das Ergebnis des Detektionsprozesses angeben, an die Selbstpositionschätzungseinheit 132, eine Kartenuntersuchungseinheit 151 und eine Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, eine Notfallereignisvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
Die Bewegungskörperinneninformationsdetektionseinheit 142 führt einen Detektionsprozess für Informationen innerhalb des sich bewegenden Körpers basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100 durch. Zum Beispiel führt die Bewegungskörperinneninformationsdetektionseinheit 142 einen Authentifizierungsprozess und einen Erkennungsprozess für den Fahrer, einen Detektionsprozess für den Zustand des Fahrers, einen Detektionsprozess für einen Insassen, einen Detektionsprozess für die Umgebung innerhalb des sich bewegenden Körpers und dergleichen durch. Der zu detektierende Zustand des Fahrers schließt zum Beispiel den körperlichen Zustand, den Wachheitsgrad, den Konzentrationsgrad, den Ermüdungsgrad und die Blickrichtung ein. Die Umgebung innerhalb des zu detektierenden sich bewegenden Körpers schließt zum Beispiel Temperatur, Luftfeuchtigkeit, Helligkeit und Geruch ein. Die Bewegungskörperinneninformationsdetektionseinheit 142 liefert Daten, die das Ergebnis des Detektionsprozesses angeben, an die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, die Notfallereignisvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
Die Bewegungskörperzustandsdetektionseinheit 143 führt einen Detektionsprozess für den Zustand des sich bewegenden Körpers basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100 durch. Der zu detektierende Zustand des sich bewegenden Körpers schließt zum Beispiel die Geschwindigkeit, die Beschleunigung, den Lenkwinkel, die Anwesenheit oder Abwesenheit und die Inhalte einer Abnormalität, den Zustand des Fahrbetriebs, die Position und die Neigung des elektrischen Sitzes, den Zustand der Türverriegelung und Zustand anderer am beweglichen Körper montierter Vorrichtungen ein. Die Bewegungskörperzustandsdetektionseinheit 143 liefert Daten, die das Ergebnis des Detektionsprozesses angeben, an die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, die Notfallereignisvermeidungseinheit 171 der Bewegungssteuereinheit 135 und dergleichen.
Die Selbstpositionsschätzungseinheit 132 führt einen Schätzungsprozess für die Position, Lage und dergleichen des sich bewegenden Körpers basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Bewegungskörperinneninformationsdetektionseinheit 141 und der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133, durch. Des Weiteren erzeugt die Selbstpositionsschätzungseinheit 132 eine lokale Karte (im Folgenden als Selbstpositionsschätzungskarte bezeichnet), die nach Bedarf verwendet wird, um die Selbstposition zu schätzen. Die Selbstpositionsschätzungskarte ist zum Beispiel eine Karte mit hoher Genauigkeit, die eine Technologie wie etwa simultane Lokalisierung und Kartierung (SLAM) verwendet. Die Selbstpositionsschätzungseinheit 132 liefert Daten, die das Ergebnis des Schätzungsprozesses angeben, an die Kartenuntersuchungseinheit 151 und die Situationserkennungseinheit 152 der Situationsanalyseeinheit 133 und dergleichen. Weiterhin speichert die Selbstpositionsschätzungseinheit 132 die Selbstpositionsschätzungskarte in der Speichereinheit 109.
Die Situationsanalyseeinheit 133 führt einen Analyseprozess für den sich bewegenden Körper und die Situation um den sich bewegenden Körper herum durch. Die Situationsanalyseeinheit 133 weist die Kartenuntersuchungseinheit 151, die Situationserkennungseinheit 152 und eine Situationsvorhersageeinheit 153 auf.
Die Kartenuntersuchungseinheit 151 führt einen Untersuchungsprozess für verschiedene Karten durch, die in der Speicherungseinheit 109 gespeichert sind, während sie Daten oder ein Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Selbstpositionsschätzeinheit 132 und der Bewegungskörperaußeninformationsdetektionseinheit 141, nach Bedarf verwendet, und erstellt eine Karte, die Informationen enthält, die zum Verarbeiten des automatisierten Fahrens erforderlich sind. Die Kartenuntersuchungseinheit 151 liefert die erstellte Karte an die Situationserkennungseinheit 152, die Situationsvorhersageeinheit 153 und eine Routenplanungseinheit 161, eine Handlungsplanungseinheit 162 und eine Bewegungsplanungseinheit 163 der Planungseinheit 134 und dergleichen.
Die Situationserkennungseinheit 152 führt einen Erkennungsprozess für die auf den sich bewegenden Körper bezogene Situation basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Selbstpositionsschätzungseinheit 132, der Bewegungskörperaußeninformationsdetektionseinheit 141, der Bewegungskörperinneninformationsdetektionseinheit 142, der Bewegungskörperzustandsdetektionseinheit 143 und der Kartenuntersuchungseinheit 151, durch. Zum Beispiel führt die Situationserkennungseinheit 152 einen Erkennungsprozess für die Situation des sich bewegenden Körpers, die Situation um den sich bewegenden Körper herum, die Situation des Fahrers des sich bewegenden Körpers und dergleichen durch. Weiterhin erzeugt die Situationserkennungseinheit 152 eine lokale Karte (im Folgenden als Situationserkennungskarte bezeichnet), die nach Bedarf verwendet wird, um die Situation um den sich bewegenden Körper herum zu erkennen. Die Situationserkennungskarte ist zum Beispiel eine Belegtheitsgitterkarte.
Die Situation des zu erkennenden sich bewegenden Körpers schließt zum Beispiel die Position, Lage und Aktivität (zum Beispiel Geschwindigkeit, Beschleunigung und Bewegungsrichtung) des sich bewegenden Körpers und die Anwesenheit oder Abwesenheit und die Inhalte einer Abnormalität ein. Die zu erkennende Situation um den sich bewegenden Körper herum schließt zum Beispiel die Art und Position eines umgebenden stationären Objekts, die Art, Position und Aktivität (zum Beispiel Geschwindigkeit, Beschleunigung und Bewegungsrichtung) eines umgebenden sich bewegenden Objekts, die Konfiguration und den Straßenoberflächenzustand umgebender Straßen und Umgebungswetter, Temperatur, Luftfeuchtigkeit und die Helligkeit ein. Der zu erkennende Zustand des Fahrers schließt zum Beispiel den körperlichen Zustand, den Wachheitsgrad, den Konzentrationsgrad, den Ermüdungsgrad, die Verschiebung der Sichtlinie und den Fahrbetrieb ein.
Die Situationserkennungseinheit 152 liefert Daten (einschließlich der Situationserkennungskarte, falls erforderlich), die das Ergebnis des Erkennungsprozesses angeben, an die Selbstpositionsschätzungseinheit 132, die Situationsvorhersageeinheit 153 und dergleichen. Weiterhin speichert die Situationserkennungseinheit 152 die Situationserkennungskarte in der Speicherungseinheit 109.
Die Situationsvorhersageeinheit 153 führt einen Vorhersageprozess für die auf den sich bewegenden Körper bezogene Situation basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Kartenuntersuchungseinheit 151 und der Situationserkennungseinheit 152, durch. Zum Beispiel führt die Situationsvorhersageeinheit 153 einen Vorhersageprozess für die Situation des sich bewegenden Körpers, die Situation um den sich bewegenden Körper herum, die Situation des Fahrers und dergleichen durch.
Die vorherzusagende Situation des sich bewegenden Körpers schließt zum Beispiel das Verhalten des sich bewegenden Körpers, das Auftreten einer Abnormalität und die Bewegungsentfernung ein. Die vorherzusagende Situation um den sich bewegenden Körper herum schließt zum Beispiel das Verhalten eines sich bewegenden Objekts um den sich bewegenden Körper herum, eine Änderung des Signalzustands und eine Änderung der Umgebung, wie etwa des Wetters, ein. Die vorherzusagende Situation des Fahrers schließt zum Beispiel das Verhalten des Fahrers und seine körperliche Verfassung ein.
Die Situationsvorhersageeinheit 153 liefert Daten, die das Ergebnis des Vorhersageprozesses angeben, zusammen mit den Daten von der Situationserkennungseinheit 152 an die Routenplanungseinheit 161, die Handlungsplanungseinheit 162, die Bewegungsplanungseinheit 163 der Planungseinheit 134, und dergleichen.
Die Routenplanungseinheit 161 plant eine Route zu einem Ziel basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Kartenuntersuchungseinheit 151 und der Situationsvorhersageeinheit 153. Zum Beispiel legt die Routenplanungseinheit 161 eine Route von der aktuellen Position zu einem vorgegebenen Ziel basierend auf der globalen Karte fest. Darüber hinaus verändert die Routenplanungseinheit 161 zum Beispiel die Route basierend auf Situationen, wie etwa Stau, einem Unfall, Verkehrsbeschränkungen und einer Baustelle, und der körperlichen Verfassung des Fahrers und dergleichen auf angemessene Weise. Die Routenplanungseinheit 161 liefert Daten, die die geplante Route angeben, an die Handlungsplanungseinheit 162 und dergleichen.
Die Handlungsplanungseinheit 162 plant eine Handlung des sich bewegenden Körpers, um sich sicher auf der durch die Routenplanungseinheit 161 geplanten Route innerhalb einer geplanten Zeit basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Kartenuntersuchungseinheit 151 und der Situationsvorhersageeinheit 153, zu bewegen. Zum Beispiel führt die Handlungsplanungseinheit 162 eine Planung für Start, Anhalten, Fortbewegungsrichtung (zum Beispiel vorwärts, rückwärts, Linksabbiegen, Rechtsabbiegen oder Richtungsänderung), Bewegungsgeschwindigkeit, Überholen und dergleichen durch. Die Handlungsplanungseinheit 162 liefert Daten, die die geplante Handlung des sich bewegenden Körpers angeben, an die Bewegungsplanungseinheit 163 und dergleichen.
Die Bewegungsplanungseinheit 163 plant eine Bewegung des sich bewegenden Körpers, um die durch die Handlungsplanungseinheit 162 geplante Handlung basierend auf Daten oder einem Signal von jeder Einheit des Bewegungskörpersteuersystems 100, wie etwa der Kartenuntersuchungseinheit 151 und der Situationsvorhersageeinheit 153, zu implementieren. Zum Beispiel führt die Bewegungsplanungseinheit 163 eine Planung für Beschleunigung, Verlangsamung, Bewegungsbahn und dergleichen durch. Die Bewegungsplanungseinheit 163 liefert Daten, die die geplante Bewegung des sich bewegenden Körpers angeben, an die Bewegungssteuereinheit 135 und dergleichen.
Die Bewegungssteuereinheit 135 steuert die Bewegung des sich bewegenden Körpers.
Ausführlicher führt die Bewegungssteuereinheit 135 einen Detektionsprozess für Notfallereignisse, wie etwa eine Kollision, einen leichten Unfall, den Eintritt in eine Gefahrenzone, eine Abnormalität des Fahrers und eine Abnormalität des sich bewegenden Körpers, basierend auf den Detektionsergebnissen der Bewegungskörperaußeninformationsdetektionseinheit 141, der Bewegungskörperinneninformationsdetektionseinheit 142 und der Bewegungskörperzustandsdetektionseinheit 143 durch. Falls die Bewegungssteuereinheit 135 das Auftreten eines Notfallereignisses detektiert, plant die Bewegungssteuereinheit 135 eine Bewegung des sich bewegenden Körpers zum Vermeiden des Notfallereignisses, wie etwa ein plötzliches Anhalten oder eine schnelle Lenkbewegung.
Weiterhin führt die Bewegungssteuereinheit 135 eine Beschleunigung/Verlangsamung-Steuerung zum Implementieren der Bewegung des sich bewegenden Körpers durch, die durch die Bewegungsplanungseinheit 163 geplant wird. Zum Beispiel berechnet die Bewegungssteuereinheit 135 einen gewünschten Steuerwert der Antriebskrafterzeugungseinrichtung oder der Bremseinrichtung zum Implementieren einer geplanten Beschleunigung, Verlangsamung oder eines plötzlichen Anhaltens und liefert einen Steuerbefehl, der den berechneten gewünschten Steuerwert angibt, an die Antriebssystemsteuereinheit 107.
Die Bewegungssteuereinheit 135 führt eine Richtungssteuerung zum Implementieren der Bewegung des sich bewegenden Körpers durch, die durch die Bewegungsplanungseinheit 163 geplant wird. Zum Beispiel berechnet die Bewegungssteuereinheit 135 einen gewünschten Steuerwert des Lenkmechanismus zum Implementieren einer Bewegungsbahn oder einer von der Bewegungsplanungseinheit 163 geplanten schnellen Lenkbewegung und liefert einen Steuerbefehl, der den berechneten gewünschten Steuerwert angibt, an die Antriebssystemsteuereinheit 107.
<Konfigurationsbeispiel zum Erzeugen der Umgebungskarte>
Als Nächstes wird ein ausführliches Konfigurationsbeispiel zum Erzeugen einer Umgebungskarte in dem Bewegungskörpersteuersystem 100 in 4 unter Bezugnahme auf 5 beschrieben. Es wird angemerkt, dass die hier erwähnte Umgebungskarte die oben beschriebene Situationserkennungskarte ist, die eine lokale Karte ist, die zum Erkennen der Situation um den sich bewegenden Körper herum verwendet wird, und insbesondere eine Belegtheitsgitterkarte ist.
Wie in 5 veranschaulicht, wird ein ausführliches Konfigurationsbeispiel zum Erzeugen der Umgebungskarte aus der Datenerfassungseinheit 102, der Bewegungskörperaußeninformationsdetektionseinheit 141 in der Detektionseinheit 131 der Automatisiertes-Fahren-Steuereinheit 110 und der Situationserkennungseinheit 152 der Situationsanalyseeinheit 133 ausgebildet.
Die Datenerfassungseinheit 102 weist die Polarisationskamera 21 und den Laserentfernungsmesser 22 auf.
Die Bewegungskörperaußeninformationsdetektionseinheit 141 weist eine Normalendetektionseinheit 301, eine Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene, eine Bildrekonfigurationseinheit 303, eine Bilderkennungseinheit 304, eine Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 und ein Pixelpositionsberechnungseinheit 306 auf.
Die Situationserkennungseinheit 152 weist eine Umgebungskartierungseinheit 321 auf.
Der Laserentfernungsmesser 22 projiziert einen Infrarotlichtlaser, während sein Winkel mit Bezug auf die horizontale Richtung variiert wird, und quantifiziert, wenn der projizierte Infrarotlichtlaser von einem Hindernis reflektiert wird, auch die Richtung und die Entfernung des Hindernisses von dem sich bewegenden Körper 11 basierend auf der Zeit der Hin- und Rückbewegung des Infrarotlichtlasers durch ein sogenanntes Laufzeit(ToF)-Verfahren; der Laserentfernungsmesser 22 gibt dann die quantifizierte Richtung und Entfernung an die Pixelpositionsberechnungseinheit 306 und die Umgebungskartierungseinheit 321 als eine dreidimensionale Punktwolke aus.
Ferner weist der Laserentfernungsmesser 22 eine Winkelsteuereinheit 22a auf, die den Winkel der Lichtprojektionsrichtung in der vertikalen Richtung steuert und den Winkel in der vertikalen Richtung für die Lichtprojektionsrichtung basierend auf Informationen über einen optimalen Winkel steuert, der von der Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 bereitgestellt wird.
Wie für die Lichtprojektionsrichtung des Laserentfernungsmessers 22, kann der gesamte Hauptkörper des Laserentfernungsmessers 22 durch eine Antriebsvorrichtung (nicht veranschaulicht) gedreht werden oder kann die Lichtprojektionsrichtung durch Steuern eines Mikroelektromechanisches-System(MEMS)-Spiegels geändert werden. Alternativ dazu kann Licht projiziert werden, indem mehrere Lichtprojektionsrichtungen radial so festgelegt werden, dass Licht durch Lichtempfangseinheiten in einer zweidimensionalen Arrayform empfangen wird und nur ein effektives Empfangslichtsignal ausgewählt wird.
Die Polarisationskamera 21 nimmt polarisierte Bilder mit mehreren Polarisationsrichtungen auf, die Filter für mehrere Polarisationsrichtungen durchlaufen haben, und gibt die aufgenommenen polarisierten Bilder an die Normalendetektionseinheit 301 und die Bildrekonfigurationseinheit 303 aus.
Basierend auf den polarisierten Bildern mit den mehreren Polarisationsrichtungen erzeugt die Normalendetektionseinheit 301 eine Normalenkarte, die durch eine Normalenrichtung einer Oberfläche eines Objekts in Einheiten von Pixeln der polarisierten Bilder gebildet wird, und gibt die erzeugte Normalenkarte an die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene und die Bilderkennungseinheit 304 aus. Es ist zu beachten, dass die Normalendetektion der Normalendetektionseinheit 301 später ausführlich unter Bezugnahme auf 6 beschrieben wird.
Die Bildrekonfigurationseinheit 303 rekonfiguriert ein nichtpolarisiertes Bild unter Verwendung der polarisierten Bilder mit den mehreren Polarisationsrichtungen und gibt das rekonfigurierte nichtpolarisierte Bild an die Bilderkennungseinheit 304 aus.
Die Bilderkennungseinheit 304 schätzt ein Pixel, das zu dem Gebiet der Straßenoberfläche gehört, unter Verwendung von Maschinenlernen, wie etwa tiefem Lernen, basierend auf der Normalenkarte und dem nichtpolarisierten Bild und gibt das Schätzungsergebnis an die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene und die Umgebungskartierungseinheit 321 aus. Es ist zu beachten, dass die Bilderkennung später ausführlich unter Bezugnahme auf 8 beschrieben wird.
Die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene verwendet die Normalenkarte von der Normalendetektionseinheit 301 und Informationen über ein Pixel, das zu dem Gebiet der Straßenoberfläche gehört, um die Normalenrichtung (einen Normalenvektor der Straßenoberfläche) einer flachen Ebene zu erhalten, die die Straßenoberfläche in einem dreidimensionalen Raum bildet, und gibt die erhaltene Normalenrichtung an die Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 als Informationen über eine Straßenoberflächennormale aus. Es ist zu beachten, dass die Normalendetektion für die flache Straßenoberflächenebene später ausführlich unter Bezugnahme auf 7 beschrieben wird.
Die Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 berechnet einen optimalen Winkel zum Anpassen der Lichtprojektionsrichtung des Laserentfernungsmessers 22 zu einer Richtung orthogonal zu der Straßenoberflächennormale basierend auf Informationen über die Normalenrichtung der flachen Ebene, die die flache Straßenoberflächenebene bildet, welche die Informationen über die Straßenoberflächennormale sind, und gibt den berechneten optimalen Winkel an den Laserentfernungsmesser 22 aus.
Die Pixelpositionsberechnungseinheit 306 konvertiert dreidimensionale Punktkoordinaten des Hindernisses, das durch den Laserentfernungsmesser 22 detektiert wird, was das Quantifizierungsergebnis des Laserentfernungsmessers 22 ist, in ein Koordinatensystem der Polarisationskamera 21 und gibt die konvertierten Koordinaten an die Umgebungskartierungseinheit 321 aus.
Es ist zu beachten, dass die Integration der Koordinatensysteme zwischen dem Laserentfernungsmesser 22 und der Polarisationskamera 21 später ausführlich unter Bezugnahme auf 9 beschrieben wird.
Die Umgebungskartierungseinheit 321 erzeugt eine Umgebungskarte durch einen Umgebungskartierungsprozess basierend auf Informationen über die von dem Laserentfernungsmesser 22 bereitgestellte dreidimensionale Punktwolke und Informationen über ein zu der Straßenoberfläche 13 gehörendes Pixel. Es ist zu beachten, dass die Umgebungskartierung später ausführlich unter Bezugnahme auf 10 beschrieben wird.
<Normalendetektion aus polarisiertem Bild>
Als Nächstes wird die Normalendetektion aus einem polarisierten Bild unter Bezugnahme auf 6 beschrieben.
Die Normaldetektionseinheit 301 erzeugt eine Normalenkarte durch Erhalten einer Normalenrichtung einer Oberfläche eines Gegenstands, zu dem jedes Pixel in dem Bild gehört, basierend auf mehreren polarisierten Bildern als Polarkoordinaten, die durch einen Zenitwinkel θ und einen Azimutwinkel φ dargestellt werden.
Zum Beispiel wird in dem Fall eines Bildes P1 in 6 die Verteilung von Pfeilen, die die Normalenrichtungen angeben, als die Normalenkarte (der ganz linke Teil aus 7) genommen.
Mit anderen Worten wird in 6 ein Gebiet von nahezu dem Zentrum zu dem unteren Teil des Bildes P1 als ein Gebiet Z341 einer Straßenoberfläche 341 genommen, werden Gebiete links und rechts als Gebiete Z342-1 und Z342-2 der dreidimensionalen Strukturen (Wände) 342-1 und 342-2 genommen, wird ein Gebiet in dem oberen Zentrum als ein Gebiet Z343 des Himmels 343 genommen und wird zusätzlich ein Gebiet auf der linken Seite des Gebiets Z342-2 der dreidimensionalen Struktur 342-2 auf der rechten Seite, das ein Gebiet einer Person 344 ist, die auf dem Gebiet Z341 steht, das durch die Straßenoberfläche 341 dargestellt wird, als ein Gebiet Z344 genommen.
Auf dem Gebiet Z341 der Straßenoberfläche 341 sind Pfeile verteilt, die Normalenrichtungen angeben, die vertikale Richtungen mit Bezug auf die Straßenoberfläche 341 sind. Weiterhin sind in dem Gebiet Z342-1 der Wand 342-1 als eine dreidimensionale Struktur, die sich in dem linken Teil des Bildes P1 befindet, Pfeile verteilt, die in die rechte Richtung aus 6 zeigen, die die vertikale Richtung mit Bezug auf die Wand 342-1 ist. Zudem sind in dem Gebiet Z342-2 der Wand 342-2 als eine dreidimensionale Struktur, die sich in dem rechten Teil des Bildes P1 befindet, Pfeile verteilt, die in die linke Richtung aus 6 zeigen, die die vertikale Richtung mit Bezug auf die Wand 342-1 ist. Außerdem sind in dem Gebiet Z343 des Himmels 343 in dem Bild P1 Pfeile verteilt, die in die diagonale untere rechte Richtung aus 6 zeigen. Außerdem sind in dem Gebiet Z344 der Person 344 auf der linken Seite des Gebiets Z342-2 der Wand 342-2 als eine dreidimensionale Struktur, die sich in dem rechten Teil des Bildes P1 befindet, Pfeile verteilt, die in die diagonale untere linke Richtung aus 6 zeigen.
<Normalendetektion für eine flache Straßenoberflächenebene>
Als Nächstes wird die Normalendetektion für eine flache Straßenoberflächenebene unter Bezugnahme auf 7 beschrieben.
Bei der Normalendetektion für eine flache Straßenoberflächenebene wird eine dominante Normalenrichtung in Pixeln in einem Gebiet der Normalenkarte, die zu der Straßenoberfläche gehört und von der Bilderkennungseinheit 304 bereitgestellt wurde, als die Normalenrichtung der Straßenoberfläche detektiert.
Mit anderen Worten wird zum Beispiel der Fall einer Normalenkarte P11, wie in dem ganz linken Teil aus 7 veranschaulicht, betrachtet. Zu diesem Zeitpunkt werden, wie in der zweiten Figur von links in 7 veranschaulicht, falls das Gebiet von Pixeln, die als die Straßenoberfläche 13 in der Normalkarte P11 bezeichnet sind, ein Gebiet Z11 ist, Informationen über die Normalenkarte des Gebiets Z11 als ein Region-of-Interest(ROI - Gebiet von Interesse)-Gebiet extrahiert.
Als Nächstes wird, wie in der dritten Figur von links in 7 veranschaulicht, eine Normale, die nicht klar in der Normalenrichtung der Straßenoberfläche liegt, wie etwa eine der Polarisationskamera 21 zugewandte Normale, von den Normalen in dem extrahierten Gebiet Z11 ausgeschlossen.
Dann wird ein Histogramm aus den verbleibenden Normalen erzeugt, werden dominante Normalen extrahiert und werden Informationen über jede Normale, die aus dem Zenitwinkel θ und dem Azimutwinkel φ bestehen, in ein orthogonales Koordinatensystem umgewandelt; danach wird, wie in dem ganz rechten Teil aus 7 veranschaulicht, die umgewandelten Informationen als ein Normalenvektor N[nx, ny, nz] einer flachen Ebene S ausgegeben, die die Straßenoberfläche bildet.
<Bilderkennung>
Als Nächstes wird die Bilderkennung unter Bezugnahme auf 8 beschrieben.
Zum Beispiel wird durch Maschinenlernen, wie etwa tiefes lernen, geschätzt, ob jedes Pixel des Bildes P1 in dem linken Teil von 8, das aus der Normalenkarte und dem nichtpolarisierten Bild besteht, ein Pixel ist oder nicht, das zu dem Gebiet der Straßenoberfläche gehört, und, wie zum Beispiel durch ein Straßenoberflächendetektionsergebnis P31 in 8 angegeben, wird das Schätzungsergebnis als Informationen über das Gebiet Z341, das zu der Straßenoberfläche 341 gehört, und ein Gebiet Z351 außer dem Gebiet Z341 ausgegeben.
Zum Beispiel kann ein Gebiet, in dem der Absolutwert des inneren Produkts einer senkrechten Richtung und des detektierten Normalenvektors größer als ein vorbestimmter Wert ist, als Straßenoberfläche 341 angenommen werden.
<Integration von Koordinatensystemen zwischen Laserentfernungsmesser und Polarisationskamera>
Als Nächstes wird die Integration der Koordinatensysteme zwischen dem Laserentfernungsmesser 22 und der Polarisationskamera 21 unter Bezugnahme auf 9 beschrieben.
Wie in dem linken Teil aus 9 veranschaulicht, wird ein Koordinatensystem, in dem die Entfernung durch den Laserentfernungsmesser 22 gemessen wird, durch die folgende Formel (1) definiert, wenn sich die Lichtprojektionsrichtung ändert.
$X_{Laser} = R_{1} \times X_{Laser_Basis}$
Hier bezeichnet R₁ eine Rotationsmatrix gemäß einem Winkel, um den die Lichtprojektionsrichtung des Lasers in der horizontalem Richtung gedreht wird, bezeichnet X_{Laser_Basis} Referenzkoordinaten, bevor die Lichtprojektionsrichtung des Lasers gedreht wird, und bezeichnet X_Laser die Koordinaten, nachdem die Lichtprojektionsrichtung des Lasers gesteuert und gedreht wurde.
Weiterhin wird die Beziehung zwischen den Koordinaten X_Laser (= die transponierte Matrix von [xl, yl, zl]) und den Koordinaten X_Kam (= die transponierte Matrix von [xc, yc, zc]) in einer Bildgebungsebene D in dem Koordinatensystem der Polarisationskamera 21 zum Beispiel als folgende Formel (2) unter Verwendung von Voranordnungsinformationen durch Kalibrierung erhalten.
$X_{Kam} = R_{c21} \times X_{Laser} + T_{c21} = R_{c21} \times R_{1} \times X_{Laser_Basis} + T_{c21}$
Hier bezeichnet R_c21 eine Rotationsmatrix, die eine Rotation zwischen dem Laserentfernungsmesser 22 und der Polarisationskamera 21 angibt, welche durch Kalibrierung im Voraus in Erfahrung gebracht wurde, und bezeichnet T_c21 einen Translationsvektor, der im Voraus in Erfahrung gebracht wurde.
Durch das Berechnen der oben erwähnten Formel (2) werden die Koordinaten eines Punktes X in einer flachen Ebene, die die Straßenoberfläche bildet, welche als Information in dem Koordinatensystem des Laserentfernungsmessers 22 quantifiziert wurden, in ein Kamerakoordinatensystem umgewandelt und integriert.
Wenn ferner eine Position X_Kam (= [xc, yc, zc]-Transponierung) des durch den Laserentfernungsmesser 22 detektierten Hindernisses erhalten wird, wie in dem unteren rechten Teil aus 9 veranschaulicht, können xi-Koordinaten in einer Bildebene des Hindernisses in der Bildgebungsebene D relativ zu einem Zentrum Pc der Bildgebungsebene D als eine Referenz als folgende Formel (3) erhalten werden.
$xi = f \times xc / zc$
Hier bezeichnet f die Brennweite der Polarisationskamera 21.
Des Weiteren können auf ähnliche Weise yi-Koordinaten durch die folgende Formel (4) erhalten werden.
$yi = f \times yc / zc$
Infolgedessen kann die Position des Hindernisses in der Bildgebungsebene D identifiziert werden.
Mit anderen Worten werden die dreidimensionalen Punktkoordinaten X_Laser (= [x₁, y₁, z₁]) , die durch den Laserentfernungsmesser 22 detektiert werden, zu den Punktkoordinaten X_Laser Basis in dem Koordinatensystem, das als eine Referenz basierend auf der Lichtprojektionsrichtung dient, zurückgeführt und dann in die dreidimensionalen Punktkoordinaten X_Kam (= [x_c, y_c, z_c]) in dem Koordinatensystem der Polarisationskamera 21 umgewandelt. Darüber hinaus werden die Koordinaten (xi, yi) in der Bildebene, zentriert auf die Bildebene D, die den dreidimensionalen Punktkoordinaten X_Kam (= [x_c, y_c, z_c]) in dem Koordinatensystem der Polarisationskamera 21 entspricht, basierend auf der Brennweite f der Polarisationskamera 21 durch die Formeln (3) und (4) berechnet.
<Umgebungskartierung>
Als Nächstes wird die Umgebungskartierung unter Bezugnahme auf 10 beschrieben.
Die durch die Umgebungskartierungseinheit 321 durch den Umgebungskartierungsprozess erzeugte Umgebungskarte ist eine sogenannte Belegtheitsgitterkarte.
Mit anderen Worten erzeugt die Umgebungskartierungseinheit 321, falls das Hindernis 12 vor dem sich bewegenden Körper 11 vorhanden ist, wie in dem oberen Teil aus 10 veranschaulicht, eine Umgebungskarte, wie in dem unteren Teil aus 10 veranschaulicht ist. Es ist zu beachten, dass der obere Teil aus 10 ein Diagramm des sich bewegenden Körpers 11 bei Betrachtung von oberhalb ist und veranschaulicht, dass der Laserentfernungsmesser 22 das Infrarotlicht projiziert, während er die Lichtprojektionsrichtung L radial ändert, die durch eine gerade Linie in der horizontalen Richtung angegeben ist, und die Position (Richtung) und Entfernung für das Hindernis 12 quantifiziert.
Der untere Teil aus 10 veranschaulicht ein Beispiel für die Umgebungskarte, die durch die Umgebungskartierungseinheit 321 basierend auf dem Entfernungsmessergebnis des Laserentfernungsmessers 22 in dem oberen Teil aus 10 erzeugt wurde. Eine Belegtheitsgitterkarte, die die in dem unteren Teil aus 10 veranschaulichte Umgebungskarte ist, ist eine Karte, die durch Aufteilen eines zweidimensionalen Raums durch ein Gitter einer vorbestimmten Größe derart, dass das reflektierte Licht durch den Laserentfernungsmesser 22 für jede durch das Gitter aufgeteilte Zelle nach dem Prinzip der Strahlverfolgung empfangen wird, und Angeben der Verteilung der Belegtheitswahrscheinlichkeiten des Hindernisses 12 in Abhängigkeit von der Anwesenheit oder Abwesenheit des Entfernungsmessergebnisses erhalten wird.
Im Einzelnen ist in der Umgebungskarte in dem unteren Teil aus 10 eine Zelle in einem Bereich, für den es kein Entfernungsmessergebnis des Laserentfernungsmessers 22 gibt (ein Bereich außerhalb der Lichtprojektionsrichtung), in Weiß veranschaulicht und wird als ein Gebiet 362 festgelegt, das angibt, dass die Situation unbekannt ist.
Ferner wird für eine Zelle in einem Bereich, für den der Empfang des von dem Hindernis 12 reflektierten Lichts nicht durch den Laserentfernungsmesser 22 bestätigt wird (ein Bereich in der Lichtprojektionsrichtung, für den jedoch das reflektierte Licht nicht empfangen wird), ein Gebiet 361 in grau festgelegt, das angibt, dass der Bereich ein freier Bereich ist (ein Bereich, in dem wahrscheinlich kein Hindernis vorhanden ist).
Darüber hinaus wird für eine Zelle in einem Bereich, für den das reflektierte Licht empfangen wird und die Entfernung durch den Laserentfernungsmesser 22 gemessen wird, ein Gebiet 363 in Schwarz festgelegt, das angibt, dass das Hindernis 12 höchstwahrscheinlich vorhanden ist.
Es sei angemerkt, dass eine Zelle in einem Bereich von dem Laserentfernungsmesser 22 bis zu dem Gebiet 363, das angibt, dass das Hindernis 12 höchstwahrscheinlich vorhanden ist, als das Gebiet 361 festgelegt wird, das angibt, dass kein Hindernis vorhanden ist (das Gebiet ist ein freier Raum), und eine Zelle in einem Bereich, der von dem Laserentfernungsmesser 22 aus gesehen weiter als der mit dem Gebiet 363 festgelegte Bereich entfernt ist, wird als das Gebiet 362 festgelegt, das angibt, dass die Situation unbekannt ist, weil kein Entfernungsmessergebnis vorliegt.
<Fall, in dem die Lichtprojektionsrichtung von dem Laserentfernungsmesser die Straßenoberfläche unbeabsichtigt erreicht>
Wie oben beschrieben, wird vorausgesetzt, dass die Lichtprojektionsrichtung von dem Laserentfernungsmesser 22 derart gesteuert wird, dass die Normalenrichtung der flachen Ebene, die die Straßenoberfläche bildet, detektiert wird, das Infrarotlicht in einer Richtung orthogonal zu der Normalenrichtung projiziert wird und die Entfernung gemessen wird; es besteht jedoch die Möglichkeit, dass Licht aufgrund einer Verzögerung der Steuerung oder dergleichen auf die Straßenoberfläche projiziert wird.
Daher kann als das Erkennungsergebnis der Bilderkennungseinheit 304 bestimmt werden, ob sich die Entfernungsmessposition des Laserentfernungsmessers 22 auf der Straßenoberfläche in dem nichtpolarisierten Bild befindet oder nicht, so dass, wenn die Entfernungsmessposition als auf einer Straßenoberfläche befindlich angenommen wird, eine Zelle in einem Bereich bis zu dem Entfernungsmesspunkt, der die Straßenoberfläche ist, als ein freier Raum festgelegt wird, selbst wenn die Zelle das Entfernungsmessergebnis hat, und eine Zelle nach dem Entfernungsmesspunkt als ein Gebiet festgelegt wird, das angibt, dass die Situation unbekannt ist.
Mit anderen Worten wird, falls angenommen wird, dass der Entfernungsmesspunkt basierend auf dem Entfernungsmessergebnis des Laserentfernungsmessers 22 in einer vorbestimmten Lichtprojektionsrichtung detektiert wird, und sich der Entfernungsmesspunkt in dem Gebiet Z351 außer der Straßenoberfläche befindet, wie durch einen Punkt Pix1 in einem Straßenoberflächendetektionsergebnis P31 angegeben ist, das in dem oberen Teil aus 11 veranschaulicht ist, angenommen, dass das Hindernis 12 detektiert wird.
Dann legt, wie in dem unteren linken Teil aus 11 veranschaulicht, die Umgebungskartierungseinheit 321 eine Zelle, die zu einem Bereich von dem sich bewegenden Körper 11 bis zu einer Entfernung Z31 gehört, die ein Entfernungsmesspunkt ist, als das Gebiet 361 (10) eines freien Raums (Frei) fest, in dem das Hindernis 12 nicht vorhanden ist. Ferner legt die Umgebungskartierungseinheit 321 eine Zelle in einem Bereich von der Entfernung Z31 bis zu einer Entfernung Z32 (einem Bereich in der Nähe des Ortes, wo der Entfernungsmesspunkt detektiert wird) als den Bereich (belegt) 363 (10) fest, in dem das Hindernis 12 höchstwahrscheinlich vorhanden ist. Darüber hinaus legt die Umgebungskartierungseinheit 321 eine Zelle in einem Bereich nach der Entfernung Z32 als das Gebiet (Unbekannt (Verdeckung)) 362 (10) fest, das angibt, dass das Gebiet ein unbekanntes Gebiet ist.
Andererseits wird, falls angenommen wird, dass der Entfernungsmesspunkt basierend auf dem Entfernungsmessergebnis des Laserentfernungsmessers 22 in einer vorbestimmten Lichtprojektionsrichtung detektiert wird, und sich der Entfernungsmesspunkt in dem Gebiet Z341 der Straßenoberfläche befindet, wie durch den Punkt Pix2 in einem Straßenoberflächendetektionsergebnis P31 angegeben ist, das in dem oberen Teil aus 11 veranschaulicht ist, angenommen, dass das Hindernis 12 nicht detektiert wird.
Dann legt, wie in dem unteren rechten Teil aus 11 veranschaulicht, die Umgebungskartierungseinheit 321 eine Zelle, die zu einem Bereich von dem sich bewegenden Körper 11 bis zu einer Entfernung Z41 gehört, die ein Entfernungsmesspunkt ist, als das Gebiet 361 (10) eines freien Raums (Frei) fest, in dem das Hindernis 12 nicht vorhanden ist. Des Weiteren legt die Umgebungskartierungseinheit 321 eine Zelle in einem Bereich nach der Entfernung Z41 als das Gebiet (Unbekannt (Verdeckung)) 362 (10) fest, das angibt, dass das Gebiet ein Gebiet ist, das angibt, dass die Situation unbekannt ist.
Es ist zu beachten, dass sowohl in dem unteren linken als auch rechten Teil aus 11 die Lichtprojektionsrichtung von dem sich bewegenden Körper 11 zu dem Hindernis 12 auf der Straßenoberfläche durch Pfeile in dem oberen Teil angegeben ist. Weiterhin gibt der untere Teil die Belegtheitswahrscheinlichkeit des Hindernisses 12 an, die in Zellen entsprechend einer Entfernung Z in der Lichtprojektionsrichtung von dem sich bewegenden Körper 11 (der Z-Achsenrichtung in 11) festgelegt ist.
Die Belegtheitswahrscheinlichkeit hat einen Wert in dem Bereich von 0 bis 1; das Gebiet des freien Raums (frei) 361 (10) ist als ein Wert kleiner als 0,5 repräsentiert, das Gebiet (belegt) 363 (10), in dem das Hindernis 12 vorhanden ist, ist als ein Wert größer als 0,5 repräsentiert und das unbekannte Gebiet (Unbekannt (Verdeckung)) 362 ist als 0,5 repräsentiert. Darüber hinaus kann eine genaue Umgebungskarte erzeugt werden, indem die erhaltene Belegtheitswahrscheinlichkeitskarte in einer Zeitrichtung unter Verwendung von Selbstpositionsinformationen gefiltert wird.
Ein solcher Prozess kann verhindern, dass das Hindernis 12 fälschlicherweise als detektiert detektiert wird, selbst wenn die Straßenoberfläche aufgrund eines Ereignisses, wie etwa einer Verzögerung der Steuerung der Lichtprojektionsrichtung des Laserentfernungsmessers 22, gemessen wird.
<Umgebungskartenerzeugungsprozess>
Als nächstes wird ein Umgebungskartenerzeugungsprozess unter Bezugnahme auf das Flussdiagramm in 12 beschrieben.
In Schritt S11 nimmt die Polarisationskamera 21 polarisierte Bilder mit mehreren Polarisationsrichtungen eines Bereichs vor dem sich bewegenden Körper auf, zum Beispiel durch Filter für mehrere Polarisationsrichtungen in einem vorbestimmten Sichtwinkel, und gibt die aufgenommenen polarisierten Bilder an die Normalendetektionseinheit 301 und die Bildrekonfigurationseinheit 303 aus.
In Schritt S12 steuert der Laserentfernungsmesser 22 die Winkelsteuereinheit 22a basierend auf Informationen über einen optimalen Winkel, die von der Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 in einem unmittelbar vorhergehenden Prozess bereitgestellt werden, und steuert zum Anpassen der Lichtprojektionsrichtung des Infrarotlichts in der vertikalen Richtung auf den optimalen Winkel.
In Schritt S13 projiziert der Laserentfernungsmesser 22 das Infrarotlicht, während die Lichtprojektionsrichtung in der horizontalen Richtung geändert wird, und berechnet, wenn das reflektierte Licht empfangen wird, die Zeit der Hin- und Rückbewegung des Infrarotlichts aus einer Differenz zwischen der Zeit zu einem Zeitpunkt, wenn das Licht projiziert wird, und der Zeit zu einem Zeitpunkt, wenn das reflektierte Licht empfangen wird. Außerdem misst der Laserentfernungsmesser 22 die Entfernung zu einem Hindernis, das das projizierte Infrarotlicht reflektiert hat, aus der Zeit der Hin- und Rückbewegung und erzeugt eine dreidimensionale Punktwolke, die aus Informationen besteht, die der Lichtprojektionsrichtung und der detektierten Entfernung entsprechen, um die erzeugte dreidimensionale Punktwolke an die Pixelpositionsberechnungseinheit 306 und die Umgebungskartierungseinheit 321 zu liefern.
In Schritt S14, wie unter Bezugnahme auf 9 beschrieben, wandelt die Pixelpositionsberechnungseinheit 306 Koordinaten in dem Koordinatensystem des Laserentfernungsmessers 22, die die Position jedes Punktes der dreidimensionalen Punktwolke entsprechend der Lichtprojektionsrichtung durch den Laserentfernungsmesser 22 und die Entfernung zu dem detektierten Hindernis 12 angeben, in Koordinaten in dem Koordinatensystem der Polarisationskamera 21 in der Bildgebungsebene (in dem Bild), in der die Polarisationskamera 21 eine Bildgebung durchführt, um und gibt die umgewandelten Koordinaten an die Umgebungskartierungseinheit 321 aus.
In Schritt S15 rekonfiguriert die Bildrekonfigurationseinheit 303 ein nichtpolarisiertes Bild durch Erhalten eines Durchschnittswerts für jedes Pixel der Bilder mit den mehreren Polarisationsrichtungen und gibt das rekonfigurierte Bild an die Bilderkennungseinheit 304 aus.
In Schritt S16 detektiert, wie unter Bezugnahme auf 6 beschrieben, die Normalendetektionseinheit 301 für jedes Pixel eine Normalenrichtung einer Oberfläche eines Gegenstands in den polarisierten Bildern basierend auf den polarisierten Bildern und gibt die detektierte Normalenrichtung als eine Normalenkarte an die Bilderkennungseinheit 304 und die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene aus.
In Schritt S17 erkennt die Bilderkennungseinheit 304, wie unter Bezugnahme auf 6 beschrieben, ein Pixel, das zu der Straßenoberfläche unter den Gegenständen in dem Bild gehört, aus einzelnen Pixeln des nichtpolarisierten Bildes basierend auf dem nichtpolarisierten Bild und der Normalenkarte und gibt die Informationen über das Pixel, das zu der Straßenoberfläche gehört, als ein Straßenoberflächendetektionsergebnis an die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene aus.
In Schritt S18 detektiert die Normalendetektionseinheit 302 für eine flache Straßenoberflächenebene, wie unter Bezugnahme auf 7 beschrieben, die Normalenrichtung der Straßenoberfläche aus der Normalenkarte und dem Straßenoberflächendetektionsergebnis, das Information über das Pixel ist, das zu der Straßenoberfläche gehört, und gibt die detektierte Normalenrichtung an die Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 aus.
In Schritt S19 berechnet die Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 einen optimalen Winkel als die Lichtprojektionsrichtung des Laserentfernungsmessers 22 basierend auf Informationen über die Normalenrichtung der Straßenoberfläche und liefert den berechneten optimalen Winkel an den Laserentfernungsmesser 22. Im Einzelnen berechnet die Laserentfernungsmesseroptimalwinkelberechnungseinheit 305 einen Winkel, bei dem die Lichtprojektionsrichtung des Laserentfernungsmessers 22 in der vertikalen Richtung orthogonal zu der Normalenrichtung der Straßenoberfläche ist, als den optimalen Winkel. Mit diesem Prozess wird die Lichtprojektionsrichtung des Laserentfernungsmessers 22 auf den optimalen Winkel in Schritt S22 in einem nachfolgenden Prozess festgelegt.
In Schritt S20 führt die Umgebungskartierungseinheit 321 den Umgebungskartierungsprozess basierend auf dem Straßenoberflächendetektionsergebnis, der dreidimensionalen Punktwolke und Informationen über eine Pixelposition aus, die jedem Punkt der dreidimensionalen Punktwolke entsprechen, und erzeugt eine Umgebungskarte zur Ausgabe. Es ist anzumerken, dass der Umgebungskartierungsprozess ausführlich unter Bezugnahme auf das Flussdiagramm in 13 beschrieben wird.
In Schritt S21 wird bestimmt, ob eine Beendigung angewiesen wurde oder nicht; falls eine Beendigung nicht angewiesen wird, kehrt der Prozess zu Schritt S11 zurück und werden die Prozesse in und nach Schritt S11 wiederholt. Wenn in Schritt S21 die Beendigung angewiesen wird, wird der Prozess dann beendet.
Mit anderen Worten wird mit den obigen Prozessen die Normalenrichtung einer flachen Ebene, die die Straßenoberfläche bildet und die aus polarisierten Bildern mit mehreren Polarisationsrichtungen erhalten wird, die durch die Polarisationskamera 21 aufgenommen werden, erhalten, wird die Lichtprojektionsrichtung des Laserentfernungsmessers 22 mit einem Winkel orthogonal zu der Normalenrichtung der flachen Ebene, die die Straßenoberfläche bildet, als ein optimaler Winkel berechnet und wird die Lichtprojektionsrichtung des Laserentfernungsmessers 22 angepasst; folglich wird es möglich, eine fehlerhafte Detektion zu unterdrücken, wie etwa in einem Fall, in dem die Lichtprojektionsrichtung nach unten verschoben ist und die Straßenoberfläche fälschlicherweise als ein Hindernis detektiert wird, und in einem Fall, in dem die Lichtprojektionsrichtung nach oben verschoben ist und das Hindernis 12 nicht detektiert werden kann, obwohl das Hindernis 12 voraus vorhanden ist.
Infolgedessen wird es möglich, ein Hindernis mit hoher Genauigkeit zu detektieren, und wird es somit möglich, eine Umgebungskarte mit hoher Genauigkeit durch den später beschriebenen Umgebungskartierungsprozess zu erzeugen.
<Umgebungskartierungsprozess>
Als Nächstes wird der Umgebungskartierungsprozess durch die Umgebungskartierungseinheit 321 unter Bezugnahme auf das Flussdiagramm in 13 beschrieben.
In Schritt S31 legt die Umgebungskartierungseinheit 321 eine der unverarbeiteten Lichtprojektionsrichtungen als eine Verarbeitungsziellichtprojektionsrichtung fest.
In Schritt S32 bestimmt die Umgebungskartierungseinheit 321 unter der Annahme, dass das reflektierte Licht empfangen wird und ein Hindernis in der Verarbeitungsziellichtprojektionsrichtung detektiert wird, ob die Entfernung gemessen wurde oder nicht.
In Schritt S32 geht der Prozess, falls angenommen wird, dass die Entfernung in der Verarbeitungsziellichtprojektionsrichtung gemessen wurde, zu Schritt S33 über.
In Schritt S33 bestimmt die Umgebungskartierungseinheit 321 basierend auf dem Straßenoberflächendetektionsergebnis, ob ein Pixel in dem nichtpolarisierten Bild, das einem Punkt auf einer flachen Ebene entspricht, dessen Entfernung in der Verarbeitungsziellichtprojektionsrichtung detektiert wird, ein Pixel ist, das zu der Straßenoberfläche gehört, oder nicht.
In Schritt S33 geht der Prozess, falls das Pixel in dem nichtpolarisierten Bild, das dem Punkt auf der flachen Ebene entspricht, dessen Entfernung in der Verarbeitungsziellichtprojektionsrichtung detektiert wird, kein Pixel ist, das zu der Straßenoberfläche gehört, zu Schritt S34 über.
In Schritt S34 legt die Umgebungskartierungseinheit 321 unter Gittern, die auf der die Straßenoberfläche bildenden flachen Ebene festgelegt sind, ein Gitter, das zu der Verarbeitungsziellichtprojektionsrichtung von dem Laserentfernungsmesser 22 bis zu dem Punkt gehört, dessen Entfernung gemessen wird, als ein Gebiet fest, das zu dem freien Raum gehört, legt ein Gitter in der Nähe des Punktes, dessen Entfernung gemessen wird, als ein Gebiet fest, das angibt, dass ein Hindernis höchstwahrscheinlich vorhanden ist, und legt eine Zelle nach dem Punkt, dessen Entfernung gemessen wird, als ein Gebiet fest, das angibt, dass die Situation unbekannt ist; danach geht der Prozess zu Schritt S37 über.
Mit anderen Worten wird in diesem Fall, da angenommen wird, dass das Hindernis 12 höchstwahrscheinlich bei dem Punkt in der Lichtprojektionsrichtung vorhanden ist, dessen Entfernung gemessen wird, das Gebiet der Zelle für eine Zelle festgelegt, die in der Lichtprojektionsrichtung vorhanden ist, wie in dem unteren linken Teil aus 11 veranschaulicht ist.
Andererseits geht der Prozess in Schritt S33, falls das Pixel in dem nichtpolarisierten Bild, das dem Punkt auf der flachen Ebene entspricht, dessen Entfernung in der Verarbeitungsziellichtprojektionsrichtung detektiert wird, ein Pixel ist, das zu der Straßenoberfläche gehört, zu Schritt S35 über.
In Schritt S35 legt die Umgebungskartierungseinheit 321 unter Gittern, die zu der Verarbeitungsziellichtprojektionsrichtung gehören, eine Zelle bis zu dem Punkt, dessen Entfernung gemessen wird, als ein Gebiet fest, das zu dem freien Raum gehört, und legt eine Zelle nach dem Punkt, dessen Entfernung gemessen wird, als ein Gebiet fest, das angibt, dass die Situation unbekannt ist; danach geht der Prozess zu Schritt S37 über.
Mit anderen Worten wird, da der Punkt in der Lichtprojektionsrichtung, dessen Entfernung gemessen wird, auf der Straßenoberfläche liegt und das Hindernis 12 wahrscheinlich nicht vorhanden ist, in diesem Fall das Gebiet der Zelle für eine Zelle festgelegt, die in der Lichtprojektionsrichtung vorhanden ist, wie im dem unteren rechten Teil aus 11 veranschaulicht ist.
Zudem geht der Prozess in Schritt S32, falls die Entfernung in der Verarbeitungsziellichtprojektionsrichtung nicht gemessen wurde, zu Schritt S36 über.
In Schritt S36 legt die Umgebungskartierungseinheit 321 sämtliche Zellen, die zu der Verarbeitungsziellichtprojektionsrichtung gehören, als ein Gebiet fest, das angibt, dass die Situation unbekannt ist; danach geht der Prozess zu Schritt S37 über.
Mit anderen Worten wird in diesem Fall das reflektierte Licht überhaupt nicht in der Lichtprojektionsrichtung empfangen und werden weder das Hindernis noch die Straßenoberfläche detektiert; dementsprechend werden sämtliche Zellen, die zu dem Gebiet in der Lichtprojektionsrichtung gehören, als ein Gebiet festgelegt, das angibt, dass die Situation unbekannt ist.
In Schritt S37 bestimmt die Umgebungskartierungseinheit 321, ob es eine unverarbeitete Lichtprojektionsrichtung gibt oder nicht. Falls es eine unverarbeitete Lichtprojektionsrichtung gibt, kehrt der Prozess zu Schritt S31 zurück. Mit anderen Worten werden die Prozesse von Schritt S31 bis Schritt S37 wiederholt, bis keine unverarbeitete Lichtprojektionsrichtung gefunden wird.
Dann geht der Prozess, falls für alle Lichtprojektionsrichtungen jede zugehörige Zelle als der freie Raum, ein Hindernis oder ein unbekanntes Gebiet festgelegt wird und in Schritt S37 angenommen wird, dass es keine unverarbeitete Lichtprojektionsrichtung gibt, zu Schritt S38 über.
In Schritt S38 vervollständigt die Umgebungskartierungseinheit 321 die Umgebungskarte, wie zum Beispiel in dem unteren Teil aus 10 veranschaulicht ist, anhand der Informationen über die zugehörigen Gebiete sämtlicher Zellen, um die vervollständigte Umgebungskarte auszugeben, und beendet den Prozess.
Mit dem obigen Prozess wird bestimmt, ob ein Punkt auf einer flachen Ebene, dessen Entfernung durch den Laserentfernungsmesser 22 gemessen wird, ein Hindernis ist oder nicht, basierend darauf, ob sich der Punkt auf der Straßenoberfläche befindet oder nicht und ein Gebiet, zu dem jede Zelle gehört, festgelegt ist; dementsprechend ist es möglich, eine fehlerhafte Detektion zu unterdrücken, als ob ein Hindernis trotz des Detektierens der Straßenoberfläche detektiert würde.
<Zeitverlaufsdiagramm eines Umgebungskartenerzeugungsprozesses>
Als Nächstes wird der Umgebungskartenerzeugungsprozess unter Bezugnahme auf das Zeitverlaufsdiagramm in 14 beschrieben.
Mit anderen Worten wird von dem Zeitpunkt t1 bis zu dem Zeitpunkt t2 eine Belichtung durchgeführt und werden polarisierte Bilder mit mehreren Polarisationsrichtungen durch den Prozess in Schritt S11 aus 12 in der Polarisationskamera 21 aufgenommen; außerdem wird eine Entfernungsmessung für das Hindernis für jede Lichtprojektionsrichtung durch die Prozesse in den Schritten S12 bis S14 aus 12 in dem Laserentfernungsmesser 22 durchgeführt.
Vom Zeitpunkt t3 bis zum Zeitpunkt t4 wird die Straßenoberflächennormale detektiert und wird zusätzlich der optimale Winkel des Laserentfernungsmessers 22 durch die Prozesse in den Schritten S15 bis S19 aus 12 in der Normalendetektionseinheit 301 bis zu der Bilderkennungseinheit 304 berechnet; darüber hinaus wird eine Umgebungskarte unter Verwendung der polarisierten Bilder und des Entfernungsmessergebnisses für das Hindernis durch den Umgebungskartierungsprozess in Schritt S20 aus 12 in der Umgebungskartierungseinheit 321 erzeugt.
Vom Zeitpunkt t5 bis zum Zeitpunkt t6 werden Prozesse ausgeführt, die den Prozessen vom Zeitpunkt t1 bis zum Zeitpunkt t2 ähnlich sind, jedoch wird die Lichtprojektionsrichtung basierend auf Informationen über den optimalen Winkel des Laserentfernungsmessers 22 korrigiert.
Vom Zeitpunkt t7 bis zum Zeitpunkt t8 werden Prozesse ähnlich den Prozessen vom Zeitpunkt t3 bis zum Zeitpunkt t4 ausgeführt und werden ähnliche Prozesse danach wiederholt.
Infolgedessen ist es, da der optimale Winkel der Lichtprojektionsrichtung des Laserentfernungsmessers 22 wiederholt berechnet und korrigiert wird, möglich, eine fehlerhafte Detektion zu unterdrücken, wie etwa in einem Fall, in dem die Lichtprojektionsrichtung nach unten verschoben ist und die Straßenoberfläche fälschlicherweise als ein Hindernis detektiert wird, und einem Fall, in dem ein Hindernis nicht detektiert wird, obwohl es ein Hindernis gibt, weil in der Lichtprojektionsrichtung kein Hindernis vorhanden ist.
Es ist zu beachten, dass das Zeitverlaufsdiagramm in 13 darstellt, dass der Prozess in Schritt S11 aus 12 und die Prozesse in den Schritten S12 bis S14 mit dem gleichen Zeitverlauf verarbeitet werden und die Prozesse in S15 bis S19 und der Prozess in Schritt S20 mit dem gleichen Zeitverlauf verarbeitet werden, während in dem Flussdiagramm in 12 diese Prozesse als mit unterschiedlichen Zeitverläufen verarbeitet beschrieben sind. Das Flussdiagramm in 12 ist jedoch lediglich der Einfachheit halber so beschrieben, dass die Prozesse der Reihe nach ablaufen, und in der Praxis werden die Prozesse in Übereinstimmung mit dem Zeitverlaufsdiagramm in 13 ausgeführt werden, zum Beispiel durch Ausführen einer Parallelverarbeitung.
Ferner wird bei der obigen Beschreibung vorausgesetzt, dass die Straßenoberfläche eine flache Ebene ohne Unebenheiten aufweist; jedoch kann, selbst wenn die Straßenoberfläche uneben ist, die Normalenrichtung der Straßenoberfläche als eine durchschnittliche Normalenrichtung einschließlich einer Unebenheit behandelt werden, da eine dominante Normalenrichtung unter Normalenrichtungen in Einheiten von Pixeln in einem als Straßenoberfläche angenommenen Gebiet verwendet wird.
Darüber hinaus ist bei der obigen Beschreibung, obwohl die flache Ebene, die die Straßenoberfläche mit Bezug auf die Bewegungsrichtung des sich bewegenden Körpers 11 bildet, erklärt worden ist, eine flache Ebene, falls die flache Ebene das Bewegungsgebiet bildet, in dem sich der sich bewegende Körper zu bewegen versucht, nicht notwendigerweise eine Straßenoberfläche.
Außerdem wurde in der obigen Beschreibung die Normalenrichtung der Straßenoberfläche anhand eines Beispiels zum Erhalten einer dominanten Normalenrichtung unter den Normalenrichtungen von Pixeln, für die das Attribut der Straßenoberfläche festgelegt ist, unter Verwendung der aus den polarisierten Bildern mit mehreren Polarisationsrichtungen erhaltenen Normalenkarte erklärt; die Normalenrichtung kann jedoch durch ein anderes Verfahren erhalten werden, solange die Normalenrichtung erhalten wird. Zum Beispiel kann die Normalenrichtung unter Verwendung von Informationen aus einer bekannten Karte erhalten werden oder kann die Normalenrichtung unter Verwendung einer Stereokamera erhalten werden.
«2. Erstes Anwendungsbeispiel»
Bei der obigen Beschreibung sind der Bereich des Bildgebungssichtwinkels der Polarisationskamera 21 in der horizontalen Richtung und der Bereich der Lichtprojektionsrichtung des Laserentfernungsmessers 22 in der horizontalen Richtung mit einer Zentrierung auf der Vorderseite nach vorne fest; diese Bereiche können jedoch gemäß dem Lenkwinkel der Lenkung des sich bewegenden Körpers 11 geändert werden.
Mit anderen Worten wird in einem Fall, in dem, wie in dem linken Teil aus 15 veranschaulicht, der Bereich des Bildgebungssichtwinkels der Polarisationskamera 21 in der horizontalen Richtung und der Bereich der Lichtprojektionsrichtung des Laserentfernungsmessers 22 in der horizontalen Richtung mit Zentrierung auf Vorderseite nach vorne fest, wie durch einen Bereich Z101 angegeben ist, falls eine Straße 371 in 15 nach unten gekrümmt ist (mit Bezug auf die Bewegungsrichtung nach rechts) und das Hindernis 12 am rechten Ende bei Betrachtung von dem sich bewegenden Körper 11 vorhanden ist, sich das Hindernis 12 außerhalb des Detektionsbereichs befinden wird, wenn sich der sich bewegende Körper 11 in der Richtung nach rechts aus 15 bewegt; in diesem Fall kann das Hindernis 12 nicht detektiert werden, bis sich der sich bewegende Körper 11 dem Hindernis 12 nähert.
Daher kann, wie in dem rechten Teil aus 15 veranschaulicht, eine Drehung R11 in der Richtung nach rechts vorgenommen werden, sodass ein Bereich Z102 in Übereinstimmung mit der Verschiebung der Lenkung gebildet wird, wenn der sich bewegende Körper 11 die Fahrtrichtung entlang der Straße 371 ändert. Diese Konfiguration ermöglicht das umgehende Detektieren eines Hindernisses.
«3. Zweites Anwendungsbeispiel»
Bei der obigen Beschreibung wurde ein Beispiel veranschaulicht, bei dem der Laserentfernungsmesser 22 die Lichtprojektionsrichtung in nur einer Richtung mit Bezug auf die vertikale Richtung aufweist, jedoch können mehrere Lichtprojektionsrichtungen mit Bezug auf die vertikale Richtung festgelegt werden.
Mit anderen Worten, wie in 16 veranschaulicht, können drei Richtungen festgelegt werden, sodass Lichtprojektionsrichtungen L11 bis L13 mit Bezug auf die vertikale Richtung gebildet werden. Im Fall von 16 können Lichtprojektionseinheiten (nicht veranschaulicht) des Laserentfernungsmessers 22 in drei Richtungen in der vertikalen Richtung bereitgestellt sein, so dass nach dem Hindernis 12 gesucht wird, während sich die Lichtprojektionseinheiten zur gleichen Zeit in der horizontalen Richtung drehen, oder kann die Suche in der vertikalen Richtung durch Zeitaufteilung in drei Zeiten aufgeteilt werden.
Darüber hinaus kann in mehrere Richtungen außer den drei Richtungen in der vertikalen Richtung gesucht werden.
«4. Beispiel für eine Ausführung durch Software»
Im Übrigen kann eine Reihe der oben beschriebenen Prozesse durch Hardware ausgeführt werden, kann aber auch durch Software ausgeführt werden. Falls die Reihe der Prozesse durch Software ausgeführt wird, wird ein Programm, das die Software darstellt, von einem Aufzeichnungsmedium auf einem Computer installiert, der in eine dedizierte Hardware eingebaut ist, oder auf einem Computer, der zum Ausführen verschiedener Arten von Funktionen in der Lage ist, wenn verschiedene Arten von Programmen auf ihm installiert sind, zum Beispiel ein Mehrzweckcomputer.
17 veranschaulicht ein Konfigurationsbeispiel eines Mehrzweck-PCs. Dieser PC weist eine eingebaute Zentralverarbeitungseinheit (CPU: Central Processing Unit) 1001 auf. Eine Eingabe/Ausgabe-Schnittstelle 1005 ist über einen Bus 1004 mit der CPU 1001 verbunden. Ein Nurlesespeicher (ROM: Read Only Memory) 1002 und ein Direktzugriffsspeicher (RAM: Random Access Memory) 1003 sind mit dem Bus 1004 verbunden.
Eine Eingabeeinheit 1006 einschließlich einer Eingabevorrichtung, wie etwa einer Tastatur und einer Maus, mit der der Benutzer einen Operationsbefehl eingibt, eine Ausgabeeinheit 1007, die einen Verarbeitungsoperationsbildschirm und ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung ausgibt, eine Speicherungseinheit 1008 einschließlich eines Festplattenlaufwerks, die ein Programm und verschiedene Arten von Daten speichert, und eine Kommunikationseinheit 1009 einschließlich eines Local-Area-Network(LAN)-Adapters zum Ausführen einer Kommunikationsverarbeitung über ein durch das Internet typisiertes Netz sind mit der Eingabe/Ausgabe-Schnittstelle 1005 verbunden. Außerdem ist eine Magnetplatte (einschließlich einer flexiblen Platte), eine optische Platte (einschließlich einer Compact Disc Read Only Memory (CD-ROM) und einer Digital Versatile Disc (DVD)), eine magnetooptische Platte (einschließlich einer Minidisk (MD)) oder ein Laufwerk 1010, das Daten aus einem entfernbaren Medium 1011, wie etwa einem Halbleiterspeicher, liest und in dieses schreibt, damit verbunden.
Die CPU 1001 führt verschiedene Arten einer Verarbeitung gemäß einem in dem ROM 1002 gespeicherten Programm oder einem aus dem entfernbaren Medium 1011, wie etwa einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder einem Halbleiterspeicher, gelesenen Programm aus, das in die Speicherungseinheit 1008 zu installieren und dann von der Speicherungseinheit 1008 in den RAM 1003 zu laden ist. In der Zwischenzeit werden Daten, die für die CPU 1001 zum Ausführen verschiedener Arten einer Verarbeitung und dergleichen erforderlich sind, wie angemessen in dem RAM 1003 gespeichert.
In dem Computer mit der wie oben beschriebenen Konfiguration wird zum Beispiel die oben erwähnte Reihe der Prozesse auf eine solche Weise durchgeführt, dass die CPU 1001 ein in der Speicherungseinheit 1008 gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 1005 und den Bus 1004 in den RAM 1003 lädt, um dieses auszuführen.
Zum Beispiel kann das durch den Computer (die CPU 1001) ausgeführte Programm bereitgestellt werden, indem es in dem entfernbaren Medium 1011 aufgezeichnet wird, das als ein Paketmedium oder dergleichen dient. Des Weiteren kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein Local Area Network, das Internet oder digitalen Satellitenrundfunk, bereitgestellt werden.
In dem Computer kann das Programm über die Eingabe-Ausgabe-Schnittstelle 1005 in der Speicherungseinheit 1008 installiert werden, indem das entfernbare Medium 1011 in das Laufwerk 1010 geladen wird. Des Weiteren kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium in der Speicherungseinheit 1008 installiert werden, wenn es durch die Kommunikationseinheit 1009 empfangen wird. Als eine alternative Weise kann das Programm im Voraus in dem ROM 1002 oder der Speicherungseinheit 1008 installiert werden.
Es ist zu beachten, dass das durch den Computer ausgeführte Programm ein Programm sein kann, in dem die Prozesse entlang der Zeitreihe gemäß der in der vorliegenden Beschreibung beschriebenen Reihenfolge ausgeführt werden, oder alternativ dazu ein Programm sein kann, in dem die Prozesse parallel oder mit einem notwendigen Zeitverlauf, zum Beispiel wenn sie aufgerufen werden, ausgeführt werden.
Außerdem implementiert die CPU 1001 in 17 die Funktion der Automatisiertes-Fahren-Steuereinheit 110 in 4. Weiterhin implementiert die Speicherungseinheit 1008 in 17 die Speicherungseinheit 109 in 4.
Außerdem verweist bei der vorliegenden Beschreibung ein System auf eine Sammlung mehrerer Bestandteile (z. B. Einrichtungen und Module (Teile)), und es wird nicht als wichtig erachtet, ob sämtliche Bestandteile innerhalb desselben Schranks angeordnet sind oder nicht. Dementsprechend werden mehrere Einrichtungen, die in getrennten Schränken untergebracht sind, um über ein Netz miteinander verbunden zu werden, und eine Einrichtung, von der mehrere Module in einem Schrank untergebracht sind, beide als Systeme erachtet.
Es ist zu beachten, dass die Ausführungsformen der vorliegenden Offenbarung nicht auf die oben erwähnten Ausführungsformen beschränkt ist und verschiedene Modifikationen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen.
Zum Beispiel kann die vorliegende Offenbarung eine Cloud-Rechenkonfiguration einsetzen, bei der eine Funktion aufgeteilt und mehreren Einrichtungen zugewiesen ist, um in Koordination untereinander über ein Netz verarbeitet zu werden.
Darüber hinaus können die jeweiligen Schritte, die in den zuvor erwähnten Flussdiagrammen beschrieben sind, durch mehrere Einrichtungen ausgeführt werden, die jeweils einen Teil davon übernehmen, sowie von einer einzigen Einrichtung ausgeführt werden.
Darüber hinaus können, falls mehrere Prozesse in einem Schritt enthalten sind, die mehreren Prozesse, die in einem Schritt enthalten sind, durch mehrere Einrichtungen, die jeweils einen Anteil davon übernehmen, ausgeführt werden sowie durch eine einzige Einrichtung ausgeführt werden.
Es wird angemerkt, dass die vorliegende Offenbarung auch wie unten beschrieben konfiguriert sein kann.

<1> Eine Steuereinrichtung, die Folgendes aufweist:
- eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und
- eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum detektiert, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, wobei
- die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
<2> Die Steuereinrichtung gemäß <1>, die ferner Folgendes aufweist:
- eine Polarisationskamera, die polarisierte Bilder mit mehreren Polarisationsbildern aufnimmt, wobei
- die Bewegungsgebietnormalendetektionseinheit eine Normalenrichtung einer flachen Ebene, die ein Bewegungsgebiet eines sich bewegenden Körpers bildet, aus den polarisierten Bildern detektiert.
<3> Die Steuereinrichtung gemäß <2>, die ferner Folgendes aufweist:
- eine Normalenrichtungsdetektionseinheit, die eine Normalenrichtung einer Oberfläche eines Gegenstands in den polarisierten Bildern in Einheiten von Pixeln detektiert;
- eine Rekonfigurationseinheit, die ein nichtpolarisiertes Bild aus mehreren der polarisierten Bilder rekonfiguriert; und
- eine Attributfestlegeeinheit, die für jedes Pixel des nichtpolarisierten Bildes bestimmt, ob der Gegenstand ein Attribut des Bewegungsgebiets aufweist oder nicht, wobei
- die Bewegungsgebietnormalendetektionseinheit als eine Normalenrichtung einer flachen Ebene, die das Bewegungsgebiet bildet, die Normalenrichtung detektiert, die in einem Gebiet eines Pixels dominiert, dessen Attribut durch die Attributfestlegeeinheit unter den Pixeln des nichtpolarisierten Bildes als das Bewegungsgebiet festgelegt wird.
<4> Die Steuereinrichtung gemäß <3>, wobei
- die Attributfestlegeeinheit ein Attribut des Gegenstands als das Bewegungsgebiet für jedes Pixel des nichtpolarisierten Bildes festlegt, dessen Absolutwert eines inneren Produkts einer senkrechten Richtung und eines Normalenvektors, der detektiert wurde, größer als ein vorbestimmter Wert ist.
<5> Die Steuereinrichtung gemäß <3>, die ferner Folgendes aufweist:
- eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt.
<6> Die Steuereinrichtung gemäß <5>, wobei die Umgebungskartierungseinheit eine Umgebungskarte basierend auf Informationen darüber, ob jedes Pixel des nichtpolarisierten Bildes ein Attribut des Bewegungsgebiets aufweist oder nicht, und Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird, erzeugt.
<7> Die Steuereinrichtung gemäß <6>, wobei die Umgebungskartierungseinheit die Umgebungskarte durch Folgendes erzeugt:
- für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes nicht in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird,
- Festlegen eines Raums bis zum Erreichen einer Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum;
- Festlegen eines Raums in einer Nähe der Entfernung, in der das reflektierte Licht detektiert wird, als ein Gebiet, das angibt, dass mit hoher Wahrscheinlichkeit ein Hindernis vorhanden ist; und
- Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet, und
- für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird,
- Festlegen eines Raums bis zu der Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum; und
- Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet.
<8> Die Steuereinrichtung gemäß <5>, wobei die Umgebungskarte eine Belegtheitsgitterkarte aufweist.
<9> Die Steuereinrichtung gemäß <2>, die ferner Folgendes aufweist:
- eine Koordinatensystemintegrationseinheit, die ein Koordinatensystem, das eine Position angibt, deren Entfernung durch die Objektdetektionseinheit detektiert wird, in ein Koordinatensystem der durch die Polarisationskamera aufgenommenen polarisierten Bilder integriert.
<10> Die Steuereinrichtung gemäß <1>, wobei die Objektdetektionseinheit Lichtdetektion und - entfernungsmessung oder Laserbildgebungsdetektion und - entfernungsmessung (LiDAR) aufweist.
<11> Die Steuereinrichtung gemäß <1>, wobei das Bewegungsgebiet eine Straßenoberfläche einschließt.
<12> Ein Steuerverfahren, das Folgendes aufweist:
- Projizieren von Licht, während eine Richtung entlang der gleichen Ebene geändert wird, um auch reflektiertes Licht des Lichts zu empfangen, und Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs; und
- Detektieren einer Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild, wobei
- bei dem Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, eine Lichtprojektionsrichtung von Licht so gesteuert wird, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
<13> Ein Programm zum Veranlassen eines Computers dazu, einen Prozess auszuführen, der Folgendes aufweist:
- eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und
- eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert, wobei
- die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
<14> Ein sich bewegender Körper, der Folgendes aufweist:
- eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert;
- eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet des sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert;
- eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt;
- eine Planungseinheit, die einen Handlungsplan basierend auf der Umgebungskarte erzeugt; und
- eine Steuereinheit, die eine Bewegung des sich bewegenden Körpers basierend auf dem erzeugten Handlungsplan steuert, wobei
- die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.

Bezugszeichenliste

11: Sich bewegender Körper
12: Hindernis
21: Polarisationskamera
22: Laserentfernungsmesser
31: Straßenoberfläche
32, 32-1, 32-2: Dreidimensionale Struktur
33: Himmel
34: Person
51: Grenzpixel (Pixel)
61: Schnittpunkt (Punkt)
61-1, 61-2, 62: Schnittpunktgruppe
102: Datenerfassungseinheit
112: Automatisiertes-Fahren-Steuereinheit
141: Bewegungskörperaußeninformationsdetektionseinheit
152: Situationserkennungseinheit
301: Normalendetektionseinheit
302: Detektionseinheit für eine flache Straßenoberflächenebene
303: Bildrekonfigurationseinheit
304: Bilderkennungseinheit
305: Laserentfernungsmesseroptimalwinkelberechnungseinheit
306: Pixelpositionsberechnungseinheit
321: Umgebungskartierungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009110250 [0004]

Claims

Steuereinrichtung, die Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum detektiert, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Steuereinrichtung nach Anspruch 1, die ferner Folgendes aufweist: eine Polarisationskamera, die ein polarisiertes Bild aufnimmt, wobei die Bewegungsgebietnormalendetektionseinheit eine Normalenrichtung einer flachen Ebene, die ein Bewegungsgebiet eines sich bewegenden Körpers bildet, aus dem polarisierten Bild detektiert.
Steuereinrichtung nach Anspruch 2, die ferner Folgendes aufweist: eine Normalenrichtungsdetektionseinheit, die eine Normalenrichtung einer Oberfläche eines Gegenstands in dem polarisierten Bild in Einheiten von Pixeln detektiert; eine Rekonfigurationseinheit, die ein nichtpolarisiertes Bild aus mehreren der polarisierten Bilder rekonfiguriert; und eine Attributfestlegeeinheit, die für jedes Pixel des nichtpolarisierten Bildes bestimmt, ob der Gegenstand ein Attribut des Bewegungsgebiets aufweist oder nicht, wobei die Bewegungsgebietnormalendetektionseinheit als eine Normalenrichtung einer flachen Ebene, die das Bewegungsgebiet bildet, die Normalenrichtung detektiert, die in einem Gebiet eines Pixels dominiert, dessen Attribut durch die Attributfestlegeeinheit unter den Pixeln des nichtpolarisierten Bildes als das Bewegungsgebiet festgelegt wird.
Steuereinrichtung nach Anspruch 3, wobei die Attributfestlegeeinheit ein Attribut des Gegenstands als das Bewegungsgebiet für jedes Pixel des nichtpolarisierten Bildes festlegt, dessen Absolutwert eines inneren Produkts einer senkrechten Richtung und eines Normalenvektors, der detektiert wurde, größer als ein vorbestimmter Wert ist.
Steuereinrichtung nach Anspruch 3, die ferner Folgendes aufweist: eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt.
Steuereinrichtung nach Anspruch 5, wobei die Umgebungskartierungseinheit eine Umgebungskarte basierend auf Informationen darüber, ob jedes Pixel des nichtpolarisierten Bildes ein Attribut des Bewegungsgebiets aufweist oder nicht, und Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird, erzeugt.
Steuereinrichtung nach Anspruch 6, wobei die Umgebungskartierungseinheit die Umgebungskarte durch Folgendes erzeugt: für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes nicht in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird, Festlegen eines Raums bis zum Erreichen einer Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum; Festlegen eines Raums in einer Nähe der Entfernung, in der das reflektierte Licht detektiert wird, als ein Gebiet, das angibt, dass mit hoher Wahrscheinlichkeit ein Hindernis vorhanden ist; und Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet, und für eine Richtung, in der sich jedes Pixel des nichtpolarisierten Bildes in dem Bewegungsgebiet befindet und das reflektierte Licht detektiert wird, Festlegen eines Raums bis zu der Entfernung, in der das reflektierte Licht detektiert wird, als freier Raum; und Festlegen eines Raums nach der Entfernung, in der das reflektierte Licht detektiert wird, als ein unbekanntes Gebiet.
Steuereinrichtung nach Anspruch 5, wobei die Umgebungskarte eine Belegtheitsgitterkarte aufweist.
Steuereinrichtung nach Anspruch 2, die ferner Folgendes aufweist: eine Koordinatensystemintegrationseinheit, die ein Koordinatensystem, das eine Position angibt, deren Entfernung durch die Objektdetektionseinheit detektiert wird, in ein Koordinatensystem des durch die Polarisationskamera aufgenommenen polarisierten Bildes integriert.
Steuereinrichtung nach Anspruch 1, wobei die Objektdetektionseinheit Lichtdetektion und - entfernungsmessung oder Laserbildgebungsdetektion und - entfernungsmessung (LiDAR) aufweist.
Steuereinrichtung nach Anspruch 1, wobei das Bewegungsgebiet eine Straßenoberfläche einschließt.
Steuerverfahren, das Folgendes aufweist: Projizieren von Licht, während eine Richtung entlang der gleichen Ebene geändert wird, um auch reflektiertes Licht des Lichts zu empfangen, und Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs; und Detektieren einer Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild, wobei bei dem Detektieren einer Richtung und einer Entfernung, in denen das Licht reflektiert wird, eine Lichtprojektionsrichtung von Licht so gesteuert wird, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Programm zum Veranlassen eines Computers dazu, einen Prozess auszuführen, der Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; und eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet eines sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.
Sich bewegender Körper, der Folgendes aufweist: eine Objektdetektionseinheit, die Licht projiziert, während sie eine Richtung entlang der gleichen Ebene ändert, um auch reflektiertes Licht des Lichts zu empfangen, und eine Richtung und eine Entfernung, in denen das Licht reflektiert wird, gemäß einer Differenzzeit zwischen einer Zeit der Lichtprojektion und einer Zeit des Lichtempfangs detektiert; eine Bewegungsgebietnormalendetektionseinheit, die eine Normalenrichtung einer flachen Ebene in einem dreidimensionalen Raum, welche ein Bewegungsgebiet des sich bewegenden Körpers bildet, basierend auf einem polarisierten Bild detektiert; eine Umgebungskartierungseinheit, die eine Umgebungskarte basierend auf Informationen über die Richtung und die Entfernung, in denen das Licht reflektiert wird und die durch die Objektdetektionseinheit detektiert werden, erzeugt; eine Planungseinheit, die einen Handlungsplan basierend auf der Umgebungskarte erzeugt; und eine Steuereinheit, die eine Bewegung des sich bewegenden Körpers basierend auf dem erzeugten Handlungsplan steuert, wobei die Objektdetektionseinheit eine Lichtprojektionsrichtung von Licht so steuert, dass eine Richtung entlang einer Ebene orthogonal zu der Normalenrichtung geändert wird.