DE112019004606T5

DE112019004606T5 - Informationsverarbeitungsvorrichtung, endgerätevorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm

Info

Publication number: DE112019004606T5
Application number: DE112019004606.3T
Authority: DE
Inventors: Shoichi Awai
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-09-13
Filing date: 2019-08-06
Publication date: 2021-05-27
Also published as: US20210325176A1; WO2020054258A1

Abstract

Die die vorliegende Erfindung betreffende Informationsverarbeitungsvorrichtung (10) ist mit einer Steuereinheit (40) und einer Verarbeitungseinheit (30) ausgestattet. Die Steuereinheit steuert das Ansteuern einer Lichtquelle (21), die in der Lage ist, Licht auf eine Subjektoberfläche abzustrahlen, gemäß Steuerinformationen. Ein Bild, das Licht entspricht, das von der Lichtquelle auf die Subjektoberfläche abgestrahlt wird, wird von einem Bildsensor (20) detektiert. Die Verarbeitungseinheit führt eine Verarbeitung zum Erfassen von Zustandsinformationen, die einen Zustand der Subjektoberfläche angeben, auf Basis der Steuerinformationen und eines Bildes, das vom Bildsensor detektiert wird und das dem Licht entspricht, das von der Lichtquelle auf die Subjektoberfläche abgestrahlt wird, durch.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, eine Endgerätevorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm.
Hintergrund
Durch das Detektieren eines Zustands einer Straßenoberfläche vor einem Fahrzeug kann ein sicheres Fahren des Fahrzeugs, eine Verbesserung der Fahrqualität und dergleichen erwartet werden. Als ein Verfahren zum Detektieren eines solchen Straßenoberflächenzustands vor dem Fahrzeug sind ein Verfahren unter Verwendung eines Bildsensors und ein Verfahren unter Verwendung eines Sensors, der eine Messung des Abstands zu einem Objekt ermöglicht, bekannt. In einem Fall, bei dem der Straßenoberflächenzustand basierend auf dem Ergebnis der Abstandsmessung detektiert wird, ist es üblich, einen Sensor zu verwenden, der die Reflexion eines Laserstrahls als den Abstandsmessungssensor nutzt.
Zitatliste
Patentliteratur

Patentliteratur 1: JP 06-300537 A
Patentliteratur 2: JP 2017-19713 A

Kurzfassung
Technisches Problem
Unter diesen ist die Abstandsmessung basierend auf der Reflexion eines Laserstrahls ein Verfahren, das die Laufgeschwindigkeit des Lichts verwendet, und da die Lichtgeschwindigkeit hoch ist, ist eine hohe Genauigkeit für die Vorrichtung erforderlich, was die Kosten erhöht. Daher ist es erforderlich, den Straßenoberflächenzustand unter Verwendung eines Bildsensors zu detektieren. Das Verfahren unter Verwendung eines Bildsensors weist jedoch dahingehend ein Problem auf, dass die Messgenauigkeit durch die Oberflächenform, Helligkeit, Sättigung und dergleichen eines Subjekts beeinflusst wird.
Die vorliegende Offenbarung schlägt eine Informationsverarbeitungsvorrichtung, eine Endgerätevorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm vor, die es ermöglichen, einen Zustand einer Subjektoberfläche unter Verwendung eines Bildsensors mit höherer Genauigkeit zu detektieren.
Lösung für das Problem
Zur Lösung des oben beschriebenen Problems weist eine Informationsverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung Folgendes auf: eine Steuereinheit, die das Ansteuern einer Lichtquelle gemäß Steuerinformationen steuert; und eine Verarbeitungseinheit, die Zustandsinformationen erfasst, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das auf die Subjektoberfläche von der Lichtquelle abgestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Offenbarung kann ein Zustand einer Subjektoberfläche unter Verwendung eines Bildsensors mit höherer Genauigkeit detektiert werden. Es wird angemerkt, dass die hier beschriebenen Effekte nicht notwendigerweise beschränkt sind und dass beliebige der in der vorliegenden Offenbarung beschriebenen Effekte bereitgestellt werden können.
Figurenliste

1 ist ein Blockdiagramm, das schematisch ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung veranschaulicht, die auf jede der Ausführungsformen der vorliegenden Offenbarung anwendbar ist.
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Informationsverarbeitungsvorrichtung veranschaulicht, die auf jede der Ausführungsformen der vorliegenden Offenbarung anwendbar ist.
3 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung gemäß einer ersten Ausführungsform veranschaulicht.
4 ist ein Diagramm zur Veranschaulichung der synchronen Detektion, die auf die erste Ausführungsform anwendbar ist.
5 ist ein Flussdiagramm, das ein Beispiel der Verarbeitung in der Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
6 ist ein Diagramm, das ein Beispiel einer Änderung einer Frequenz f eines Referenzsignals veranschaulicht, das auf die erste Ausführungsform anwendbar ist.
7 ist ein Diagramm zur schematischen Veranschaulichung der Detektion eines Totalreflexionsgebiets gemäß einer zweiten Ausführungsform.
8 ist ein Diagramm zur schematischen Veranschaulichung der Detektion des Totalreflexionsgebiets gemäß der zweiten Ausführungsform.
9 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung gemäß der zweiten Ausführungsform veranschaulicht.
10 ist ein Diagramm, das ein Beispiel einer Anordnung einer Lichtquelle und eines Bildsensors gemäß der zweiten Ausführungsform veranschaulicht.
11 ist ein Flussdiagramm eines Beispiels, das die Verarbeitung gemäß der zweiten Ausführungsform veranschaulicht.
12 ist ein Diagramm, das ein Beispiel eines aufgenommenen Bildes eines Zustands, in dem sich ein kleines Objekt auf einer weißen flachen Oberfläche befindet, veranschaulicht.
13 ist ein Diagramm zur Beschreibung eines Beispiels eines Musterbildes.
14 ist ein Diagramm, das ein Beispiel eines Bildes, das in einer schrägen Richtung von der Nahseite aufgenommen wurde, indem das Musterbild von im Wesentlichen direkt über der flachen Oberfläche projiziert wird, einschließlich des kleinen Objekts veranschaulicht.
15 ist eine vergrößerte Ansicht des Beispiels des Bildes, das in einer schrägen Richtung von der Nahseite aufgenommen wurde, indem das Musterbild von im Wesentlichen direkt über der flachen Oberfläche projiziert wird, einschließlich des kleinen Objekts.
16 ist ein Diagramm, das ein Beispiel einer Anordnung der Lichtquelle und des Bildsensors gemäß einer dritten Ausführungsform veranschaulicht.
17 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung gemäß der dritten Ausführungsform veranschaulicht.
18 ist ein Flussdiagramm eines Beispiels, das die Verarbeitung gemäß der dritten Ausführungsform veranschaulicht.
19 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem drei Bildsensoren bei einer Lichtquelle angewendet werden.
20 ist ein Diagramm zur genaueren Beschreibung eines Anwendungsbeispiels der dritten Ausführungsform.
21 ist ein Diagramm zur Beschreibung eines Beispiels eines Musterbildes.
22A ist ein Diagramm zur genaueren Beschreibung der Verarbeitung gemäß einer vierten Ausführungsform.
22B ist ein Diagramm zur genaueren Beschreibung der Verarbeitung gemäß der vierten Ausführungsform.
23 ist ein Blockdiagramm, das ein schematisches Funktionskonfigurationsbeispiel eines Systems zum Steuern eines Fahrzeugs veranschaulicht, das auf eine fünfte Ausführungsform anwendbar ist.
24 ist ein Diagramm, das ein Beispiel von Installationspositionen einer Bildaufnahmevorrichtung veranschaulicht, die in einer Datenerfassungseinheit enthalten ist.

Beschreibung der Ausführungsformen
Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es ist zu beachten, dass in jeder der folgenden Ausführungsformen identische Komponenten mit denselben Bezugszeichen gekennzeichnet sind und eine doppelte Beschreibung weggelassen wird.
[Übersicht über die vorliegende Offenbarung]
In einer Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung wird Licht einschließlich reflektierten Lichts, bei dem von einer Lichtquelle emittiertes Licht auf einer Subjektoberfläche reflektiert wird, in einem Bildsensor detektiert, und Zustandsinformationen, die einen Zustand der Subjektoberfläche angeben, werden basierend auf einer Bildausgabe als ein Detektionsergebnis vom Bildsensor erfasst. Zu diesem Zeitpunkt wird die Lichtquelle basierend auf vorbestimmten Steuerinformationen angesteuert, und die Zustandsinformationen werden basierend auf den Steuerinformationen und der Bildausgabe vom Bildsensor erfasst. Daher können die Zustandsinformationen adaptiv zu dem von der Lichtquelle emittierten Licht erfasst werden, und der Zustand der Subjektoberfläche kann mit höherer Genauigkeit erfasst werden.
1 ist ein Blockdiagramm, das schematisch ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung veranschaulicht, die auf jede der Ausführungsformen der vorliegenden Offenbarung anwendbar ist. In 1 weist eine Informationsverarbeitungsvorrichtung 10 eine Verarbeitungseinheit 30 und eine Steuereinheit 40 auf. Die Verarbeitungseinheit 30 führt eine vorbestimmte Verarbeitung an einer Bildeingabe von einem Bildsensor 20 gemäß der Steuerung mittels der Steuereinheit 40 durch. Die Verarbeitungseinheit 30 steuert auch die Lichtemission mittels einer Lichtquelle 21 über eine Ansteuereinheit 22 gemäß einer Steuerung mittels der Steuereinheit 40.
Der Bildsensor 20 ist beispielsweise eine Kamera und wandelt empfangenes Licht in ein Bildsignal, das als ein elektrisches Signal dient, unter Verwendung eines Bildgebungselements wie etwa eines CCD-Bildsensors (CCD: Charge Coupled Device) und eines CMOS-Bildsensors (CMOS: komplementärer Metalloxidhalbleiter) um. Beispielsweise führt der Bildsensor 20 eine Belichtung mit einer vorbestimmten Bildrate (30 Bilder pro Sekunde (fps), 60 fps oder dergleichen) durch und gibt ein Bildsignal aus. Der Bildsensor 20 führt eine vorbestimmte Signalverarbeitung wie etwa Entrauschen und automatische Verstärkungsregelungsverarbeitung (AGC-Verarbeitung) für das Bildsignal durch. Der Bildsensor 20 wandelt ferner das der Signalverarbeitung unterworfene analoge Bildsignal in digitale Bilddaten um und gibt die digitalen Bilddaten aus. Diese Bilddaten werden in die Verarbeitungseinheit 30 eingegeben.
Die Lichtquelle 21 weist ein lichtemittierendes Element und ein optisches System zum Sammeln von Licht, das von dem lichtemittierenden Element emittiert wird, und zum Emittieren des Lichts in einer vorbestimmten Richtung auf, und das lichtemittierende Element wird von der Ansteuereinheit 22 angesteuert, um Licht zu emittieren. Als das lichtemittierende Element wird beispielsweise eine Leuchtdiode (LED) verwendet. Die Lichtquelle 21 emittiert weißes Licht. Die Lichtquelle 21 ist nicht darauf beschränkt und kann eine sein, die Infrarotlicht emittiert.
Es ist zu beachten, dass in dem Beispiel in 1, obwohl die Ansteuereinheit 22 die Lichtquelle 21 gemäß der Steuerung mittels der Verarbeitungseinheit 30 ansteuert, anstelle dieses Beispiels eine Konfiguration eingesetzt werden kann, bei der die Ansteuereinheit 22 von der Steuereinheit 40 so gesteuert wird, dass die Ansteuereinheit 22 die Lichtquelle 21 ansteuern kann.
Beispielsweise ist die Informationsverarbeitungsvorrichtung 10 an einem beweglichen Körper wie etwa einem Fahrzeug montiert, und die Lichtquelle 21 emittiert weißes Licht. Ein Scheinwerfer zum Beleuchten einer Vorderseite des Fahrzeugs und einer Straßenoberfläche vor dem Fahrzeug kann für die Lichtquelle 21 eingesetzt werden. Eine am Fahrzeug montierte fahrzeuginterne Kamera kann für den Bildsensor 20 eingesetzt werden. Nachfolgend wird angenommen, dass der Bildsensor 20 so an dem Fahrzeug installiert ist, dass ein Bild von zumindest der Straßenoberfläche vor dem Fahrzeug aufgenommen werden kann. Durch das derartige Installieren des Bildsensors 20 kann ein Zustand der Straßenoberfläche vor dem fahrenden Fahrzeug, an dem der Bildsensor 20 montiert ist (in einem Fall des Vorwärtsbewegens), basierend auf den von dem Bildsensor 20 erfassten Bilddaten herausgefunden werden.
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 10 veranschaulicht, die auf jede der Ausführungsformen der vorliegenden Offenbarung anwendbar ist. In 2 weist die Informationsverarbeitungsvorrichtung 10 eine Zentralverarbeitungseinheit (CPU) 3000, einen Nur-LeseSpeicher (ROM) 3001, einen Direktzugriffsspeicher (RAM) 3002, eine Speicherung 3003 und eine Kommunikationsschnittstelle (Kommunikations-I/F) 3004 auf, die jeweils mit einem Bus 3010 verbunden sind. Auf diese Weise weist die Informationsverarbeitungsvorrichtung 10 die CPU 3000 und die Speicher (ROM 3001, RAM 3002 und dergleichen) auf und weist eine Konfiguration auf, die einem Computer entspricht.
Ein nichtflüchtiger Speicher wie etwa ein Flash-Speicher und ein Festplattenlaufwerk können für die Speicherung 3003 eingesetzt werden. Die CPU 3000 steuert einen gesamten Betrieb der Informationsverarbeitungsvorrichtung 10 unter Verwendung des RAM 3002 als ein Arbeitsspeicher gemäß einem im ROM 3001 und in der Speicherung 3003 vorgespeicherten Programm.
Die Kommunikations-I/F 3004 steuert die Kommunikation zwischen der Informationsverarbeitungsvorrichtung 10 und einer externen Vorrichtung.
Die Funktionen der Verarbeitungseinheit 30 und der Steuereinheit 40, die in 1 veranschaulicht sind, werden von einem Informationsverarbeitungsprogramm gemäß der vorliegenden Offenbarung erfüllt, das auf der CPU 3000 betrieben wird. Stattdessen können die Verarbeitungseinheit 30, die Steuereinheit 40 und jede Einheit, die in der nachstehend beschriebenen Verarbeitungseinheit 30 enthalten ist, durch eine Hardwareschaltung konfiguriert werden, in der die jeweiligen Einheiten in Zusammenarbeit miteinander arbeiten.
Das Informationsverarbeitungsprogramm zum Erfüllen jeder Funktion in Bezug auf die Informationsverarbeitungsvorrichtung 10 der vorliegenden Offenbarung wird als eine Datei in einem installierbaren Format oder in einem ausführbaren Format in einem computerlesbaren Aufzeichnungsmedium wie etwa einer CD (Compact Disk), einer FD (Flexible Disk) und einer DVD (Digital Versatile Disk) aufgezeichnet und bereitgestellt. Stattdessen kann das Informationsverarbeitungsprogramm bereitgestellt werden, indem das Programm auf einem Computer gespeichert wird, der mit einem Netzwerk wie etwa dem Internet verbunden ist, und das Programm über das Netzwerk heruntergeladen wird. Das Informationsverarbeitungsprogramm kann auch so konfiguriert sein, dass es über ein Netzwerk wie etwa das Internet bereitgestellt oder verteilt wird.
Das Informationsverarbeitungsprogramm besitzt eine modulare Konfiguration, die die Verarbeitungseinheit 30 und die Steuereinheit 40 einschließt. Als tatsächliche Hardware liest die CPU 3000 das Informationsverarbeitungsprogramm aus einem Speicherungsmedium wie etwa dem ROM 3001 und der Speicherung 3003 und führt das Programm aus, um zu bewirken, dass die vorgenannten jeweiligen Einheiten auf eine Hauptspeicherungsvorrichtung wie etwa den RAM 3002 geladen werden, und die Verarbeitungseinheit 30 und die Steuereinheit 40 werden auf der Hauptspeicherungsvorrichtung erzeugt.
[Erste Ausführungsform]
Als Nächstes wird eine erste Ausführungsform beschrieben. In der ersten Ausführungsform wird die Lichtquelle 21 von einer Sinuswelle oder einer Pseudosinuswelle mit einer Frequenz f angesteuert, und die vom Bildsensor 20 aufgenommenen Bilddaten werden gemäß der Frequenz f einer synchronen Detektion unterzogen. Die aufgenommenen Bilddaten werden der synchronen Detektion unterzogen, um das Erhalten von detektierten Bilddaten mit hohem Rauschabstand (S/N) zu ermöglichen.
3 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung 10a gemäß der ersten Ausführungsform veranschaulicht. In 3 weist eine Verarbeitungseinheit 30a der Informationsverarbeitungsvorrichtung 10a einen Oszillator 100, einen Multiplizierer 101 und ein Tiefpassfilter (LPF) 102 auf. Der Oszillator 100 erzeugt eine Sinuswelle mit der Frequenz f, die in Steuerinformationen erscheint, die von einer Steuereinheit 40a geliefert werden, oder einer Pseudosinuswelle zum Ansteuern mit Pulsweitenmodulation (PWM). Nachfolgend wird zur Veranschaulichung eine Beschreibung unter der Annahme gegeben, dass der Oszillator 100 eine Sinuswelle erzeugt.
Die im Oszillator 100 erzeugte Sinuswelle mit der Frequenz f wird dem Multiplizierer 101 und einer Ansteuereinheit 22a zugeführt. Die Ansteuereinheit 22a steuert die Lichtquelle 21 gemäß der Sinuswelle mit der Frequenz f an. Aus diesem Grund blinkt das von der Lichtquelle 21 emittierte Licht mit einem Zyklus von 1/f [s] gemäß der Sinuswelle.
Der Multiplizierer 101 führt eine Verarbeitung zum Multiplizieren der vom Bildsensor 20 ausgegebenen Bilddaten mit der Sinuswelle mit der Frequenz f durch. Obwohl die Einzelheiten nachstehend beschrieben werden, wird eine synchrone Detektion basierend auf einem Referenzsignal für die vom Bildsensor 20 ausgegeben Bilddaten durch den Multiplizierer 101 ausgeführt. Die vom Multiplizierer 101 ausgegebenen synchron detektierten Bilddaten werden dem LPF 102 zugeführt. Das LPF 102 lässt die Bilddaten mit einer Frequenzkomponente, die beispielsweise gleich oder niedriger als die Frequenz f ist, durch, um Bilddaten nach der synchronen Detektion (als detektierte Bilddaten bezeichnet) zu erhalten. Die detektierten Bilddaten werden von der Informationsverarbeitungsvorrichtung 10 ausgegeben.
4 ist ein Diagramm zur Veranschaulichung der synchronen Detektion, die auf die erste Ausführungsform anwendbar ist. Wie in 4 veranschaulicht, wird von der Lichtquelle 21 emittiertes Licht durch ein Referenzsignal 120 moduliert, das die vom Oszillator 100 erzeugte Sinuswelle mit der Frequenz f ist, und das modulierte Licht beleuchtet eine Straßenoberfläche 25. Reflektiertes Licht, bei dem das von der Lichtquelle 21 emittierte Licht auf der Straßenoberfläche 25 reflektiert wird, wird am Bildsensor 20 detektiert. Die Intensität dieses reflektierten Lichts ist direkt proportional zum Reflexionsgrad des Lichts von der Lichtquelle 21 auf der Straßenoberfläche 25.
Das Referenzsignal und ein gemessenes Signal, das heißt eine Ausgabe 121 des Bildsensors 20, sind Sinuswellen mit der gleichen Phase wie die der Frequenz f des Referenzsignals und mit einer anderen Amplitude. Das Referenzsignal, das die Lichtquelle 21 ansteuert, weist eine konstante Amplitude auf. Andererseits ändert sich die Amplitude des gemessenen Signals gemäß der Intensität des reflektierten Lichts. Der Multiplizierer 101 multipliziert die beiden Sinuswellen, das Referenzsignal und das gemessene Signal, wie in Gleichung (1) veranschaulicht. $Asin (2 π f_{m} t) \times Bsin (2 π f_{m} t) = \frac{1}{2} AB - \frac{1}{2} ABcos (4π f_{m} t)$
Es ist zu beachten, dass in Gleichung (1) ein Term, der sich auf eine Konstante A bezieht, beispielsweise das Referenzsignal 120 angibt und ein Term, der sich auf eine Konstante B bezieht, beispielsweise das gemessene Signal (Ausgabe 121) angibt. In Gleichung (1) wird die Frequenz f auch als „f_m“ repräsentiert. Ein Wert t ist eine zeitbezogene Variable.
Wie auf der rechten Seite von Gleichung (1) veranschaulicht, enthält das Multiplikationsergebnis einen Term, der keine trigonometrische Funktion enthält, und einen Term, der eine trigonometrische Funktion (cos ()) enthält. Das heißt, der Term, der keine trigonometrische Funktion enthält, ist eine DC-Komponente 122, und der Term, der die trigonometrische Funktion enthält, ist eine Frequenzkomponente 123 mit einer Frequenz, die doppelt so hoch ist wie die ursprüngliche Frequenz f. Anschließend lässt das LPF 102 beispielsweise eine Komponente mit der Frequenz f oder niedriger durch. Dies ermöglicht leicht, dass nur die DC-Komponente 122 mit hoher Genauigkeit extrahiert wird. Die DC-Komponente 122 sind die detektierten Bilddaten, wobei die vom Bildsensor 20 aufgenommenen Bilddaten synchron detektiert werden.
Die DC-Komponente 122 repräsentiert die Intensität des reflektierten Lichts des Lichts von der Lichtquelle 21 mit der Frequenz f und weist fast keine anderen Störkomponenten auf. Daher sind die vom LPF 102 ausgegebenen detektierten Bilddaten Daten mit hohem S/N.
Währenddessen wird die Genauigkeit der Bilderkennung basierend auf den vom Bildsensor 20 aufgenommenen Bilddaten durch die Oberflächenform, Helligkeit und Sättigung eines Subjekts beeinflusst. In einer Situation, in der sich Schnee ansammelt, wird beispielsweise die gesamte Oberfläche weiß, was die Objekterkennung äußerst schwierig machen kann. In einer Situation, in der das Fahrzeug als ein beweglicher Körper fährt, gibt es auch einen Fall, bei dem eine Änderung mit einem weiten Dynamikbereich in einem Bild vorliegt, wie etwa eine Situation mit sengender Sonne im Hochsommer und dem Schatten in der Situation, eine starke Änderung der Helligkeit beim Betreten oder Verlassen eines Tunnels und bei Nacht in einem Vorort. Selbst in einem Fall, bei dem Maßnahmen wie etwa die Erhöhung des Dynamikbereichs in dem Bildsensor 20 getroffen werden, gibt es daher natürlich eine Grenze für die Leistungsverbesserung durch den Bildsensor 20 allein.
Umgekehrt ist es durch das Anwenden der synchronen Detektion gemäß der ersten Ausführungsform auf die Ausgabe des Bildsensors 20 möglich, detektierte Bilddaten mit hohem S/N zu erhalten und die Genauigkeit der Bilderkennung zu verbessern. Zum Beispiel können durch das Anwenden der synchronen Detektion auf die Ausgabe des Bildsensors 20 die Einflüsse eines Schattenteils des Lichts auf das Subjekt (Straßenoberfläche) und externen Lichts minimiert werden, und das Objekt kann nur durch das Licht von der Lichtquelle 21 (Scheinwerfer) detektiert werden.
5 ist ein Flussdiagramm, das ein Beispiel der Verarbeitung in der Informationsverarbeitungsvorrichtung 10a gemäß der ersten Ausführungsform veranschaulicht. In Schritt S100 bestimmt die Steuereinheit 40a, ob die Frequenz f des Referenzsignals geändert werden soll oder nicht. Die Änderung der Frequenz f des Referenzsignals wird nachstehend beschrieben. In einem Fall, in dem die Steuereinheit 40a bestimmt, dass die Frequenz f geändert werden soll (Schritt S100, „Ja“), verschiebt die Steuereinheit 40a die Verarbeitung zu Schritt S101.
In Schritt S101 ändert die Steuereinheit 40a die Frequenz f in eine vorbestimmte Frequenz und erzeugt ein Referenzsignal mit der geänderten Frequenz f. Die Steuereinheit 40a liefert das erzeugte Referenzsignal an den Multiplizierer 101 und die Ansteuereinheit 22a.
Andererseits verschiebt in einem Fall, bei dem die Steuereinheit 40a in Schritt S100 bestimmt, dass die Frequenz f des Referenzsignals nicht geändert wird, die Steuereinheit 40a die Verarbeitung zu Schritt S102. In Schritt S102 behält die Steuereinheit 40a die unmittelbar vorhergehende Frequenz f bei und erzeugt ein Referenzsignal mit dieser Frequenz f. Die Steuereinheit 40a liefert das erzeugte Referenzsignal an den Multiplizierer 101 und die Ansteuereinheit 22a.
Nach der Verarbeitung in Schritt S101 oder Schritt S102 wird die Verarbeitung zu den Schritten S103 und S104 verschoben, die parallel ausgeführt werden.
In Schritt S103 steuert die Ansteuereinheit 22a die Lichtquelle 21 gemäß dem Referenzsignal an, das von der Steuereinheit 40a in Schritt S101 oder S102 erzeugt und geliefert wird. Hier steuert die Ansteuereinheit 22a, wie oben beschrieben, die Lichtquelle 21 gemäß dem Referenzsignal durch eine Sinuswelle oder eine PWM-Welle mit einer so hohen Grundfrequenz an, wie als eine Pseudosinuswelle in einem Frame angesehen werden kann. Es ist zu beachten, dass angenommen wird, dass die Frequenz f des Referenzsignals eine Frequenz ist, die mehreren Frames entspricht. Das heißt, Bilder mehrerer Frames werden von dem Bildsensor 20 in einem Zyklus des Referenzsignals aufgenommen.
In Schritt S104 führt der Bildsensor 20 eine Bildaufnahme durch, und die durch die Bildaufnahme erhaltenen Bilddaten werden dem Multiplizierer 101 zugeführt.
Anschließend berechnet die Verarbeitungseinheit 30a in Schritt S105 für die jeweiligen Pixel R (Rot), G (Grün) und B (Blau) beispielsweise der in Schritt S104 aufgenommenen Bilddaten das Produkt des Referenzsignals mit dem Luminanzwert jedes der jeweiligen Pixel mittels des Multiplizierers 101. Der Multiplizierer 101 berechnet das Produkt der Komponente des Referenzsignals, die dem Frame der in Schritt S104 aufgenommenen Bilddaten entspricht, mit dem Luminanzwert jedes der Pixel der Bilddaten.
Anschließend filtert die Verarbeitungseinheit 30a in Schritt S106 mittels des LPF 102 eine Komponente des Referenzsignals mit der Frequenz f oder höher aus dem Berechnungsergebnis in Schritt S104 heraus. Die Ausgabe des LPF 102 sind detektierte Bilddaten, wobei die Bilddaten synchron detektiert werden. Auf diese Weise erfasst die Verarbeitungseinheit 30a die detektierten Bilddaten, wobei die vom Bildsensor 20 aufgenommenen Bilddaten synchron detektiert werden (Schritt S107).
Anschließend gibt die Informationsverarbeitungsvorrichtung 10a in Schritt S108 die von der Verarbeitungseinheit 30a erfassten detektierten Bilddaten an die nachfolgende Stufe aus. Beispielsweise gibt die Informationsverarbeitungsvorrichtung 10a die detektierten Bilddaten an eine bilderkennungsbezogene Verarbeitung aus. Wie oben beschrieben, sind die detektierten Bilddaten Bilddaten, die auf der Intensität des reflektierten Lichts des Lichts von der Lichtquelle 21 mit der Frequenz f basieren, weisen fast keine anderen Störkomponenten auf und sind Daten mit hohem S/N. Daher wird eine hochgenaue Bilderkennungsverarbeitung erreicht.
Wenn die detektierten Bilddaten in Schritt S108 ausgegeben werden, kehrt die Verarbeitung zu Schritt S100 zurück.
Hier wird die Änderung der Frequenz f des Referenzsignals in Schritt S100 beschrieben. In einem Fall, bei dem sich mehrere Fahrzeuge, auf die die Informationsverarbeitungsvorrichtung 10a gemäß der ersten Ausführungsform angewendet wird, einander nähern, stört das von der Lichtquelle 21 (Scheinwerfer) jedes der Fahrzeuge emittierte und mit der Frequenz f modulierte Licht das andere Licht, was die synchrone Detektion erschweren kann.
Daher wird in der ersten Ausführungsform die Frequenz f des Referenzsignals mit einem konstanten Zyklus gesprungen. Die Frequenz und das Timing für das Springen werden auch basierend auf Informationen bestimmt, die beispielsweise für die Informationsverarbeitungsvorrichtung 10a oder den beweglichen Körper (Fahrzeug), an dem die Informationsverarbeitungsvorrichtung 10a montiert ist, eindeutig sind. Infolgedessen ist es möglich, eine Störung des Lichts von der Lichtquelle 21 des eigenen Fahrzeugs bei dem Licht von der Lichtquelle 21 eines anderen Fahrzeugs zu vermeiden.
6 ist ein Diagramm, das ein Beispiel der Änderung der Frequenz f des Referenzsignals veranschaulicht, das auf die erste Ausführungsform anwendbar ist. In 6 repräsentiert die horizontale Achse die Zeit t und die vertikale Achse repräsentiert die Frequenz f.
In dem Beispiel in 6 wird ein Zeitraum vom Zeitpunkt t₁ bis zum Zeitpunkt t₆ als ein Zyklus eingestellt, und während dieses Zyklus wird die Frequenz f des Referenzsignals in einem Zeitraum vom Zeitpunkt t₁ bis zum Zeitpunkt t₂ auf eine Frequenz f₁, in einem Zeitraum vom Zeitpunkt t₂ bis zum Zeitpunkt t₃ auf eine Frequenz f₂, in einem Zeitraum vom Zeitpunkt t₃ bis zum Zeitpunkt t₄ auf eine Frequenz f₃, in einem Zeitraum vom Zeitpunkt t₄ bis zum Zeitpunkt t₃ auf eine Frequenz f₄ und in einem Zeitraum vom Zeitpunkt t₃ bis zum Zeitpunkt t₆ auf eine Frequenz f₅ geändert.
Informationen über das Änderungsmuster und das Änderungstiming der Frequenz f können basierend auf eindeutigen Informationen bestimmt werden, die für die Informationsverarbeitungsvorrichtung 10a oder das Fahrzeug, an dem die Informationsverarbeitungsvorrichtung 10a montiert ist, eindeutig sind. Was die eindeutigen Informationen betrifft, kann die Möglichkeit, dass die eindeutigen Informationen mit eindeutigen Informationen eines anderen Fahrzeugs abgeglichen werden, durch Anwenden eines Hash-Werts, der von einem Algorithmus wie etwa einem Secure-Hash-Algorithmus (SHA)-1 und SHA-256 berechnet wird, auf eine Fahrzeugkarosserie-ID (Kennzeicheninformationen oder dergleichen) des Fahrzeugs beispielsweise auf nahezu Null reduziert werden. Stattdessen kann eine Zufallszahl mit einer vorbestimmten Anzahl von Ziffern oder die Kennzeicheninformationen selbst als die eindeutigen Informationen verwendet werden.
Die Steuereinheit 40a kann das Änderungsmuster und das Änderungstiming der Frequenz f im Voraus basierend auf den eindeutigen Informationen erzeugen und speichern. Stattdessen kann die Steuereinheit 40a nur die eindeutigen Informationen speichern und das Änderungsmuster und das Änderungstiming der Frequenz f jedes Mal basierend auf den eindeutigen Informationen erzeugen.
[Zweite Ausführungsform]
Als Nächstes wird eine zweite Ausführungsform beschrieben. In der zweiten Ausführungsform wird ein Gebiet der Totalreflexion auf der Straßenoberfläche durch die optische Achse des Bildsensors 20 und die Lichtquelle 21 detektiert, deren optische Achsen so weit wie möglich ausgerichtet sind. Das Gebiet der Totalreflexion auf der Straßenoberfläche wird als ein Gebiet mit hoher Glätte angesehen.
Die Detektion eines Totalreflexionsgebiets gemäß der zweiten Ausführungsform wird schematisch unter Bezugnahme auf die 7 und 8 beschrieben. In den 7 und 8 ist eine Pfütze 210 auf einer Straßenoberfläche 211 als ein zu detektierendes Totalreflexionsgebiet definiert. Auch wird in den 7 und 8 angenommen, dass die optische Achse des Bildsensors 20 und die optische Achse der Lichtquelle 21 (Scheinwerfer) im Wesentlichen ausgerichtet sind.
7 veranschaulicht ein Beispiel in einem Fall, bei dem sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet. In einem Fall, bei dem sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, wird externes Licht 212, wie etwa Sonnenlicht, auf die Pfütze 210 und die Straßenoberfläche 211 appliziert, und reflektiertes Licht 200 davon wird in dem Bildsensor 20 empfangen und ein Bild wird aufgenommen, wie auf der oberen Seite von 7 veranschaulicht. Das aufgenommene Bild ist ein Bild, in dem die Pfütze 210 aufgrund der Reflexion des externen Lichts 212 heller (weißlicher) als die umliegende Straßenoberfläche 211 ist, wie auf der unteren Seite von 7 schematisch veranschaulicht.
8 veranschaulicht ein Beispiel in einem Fall, bei dem sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet. In einem Fall, bei dem sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, wird das von der Lichtquelle 21 emittierte Licht 201 in Abhängigkeit von der Winkelbeziehung zwischen dem Licht 201 und der Oberfläche der Pfütze 210 (Licht 201') vollständig auf der Oberfläche der Pfütze 210 reflektiert. Andererseits wird das Licht 201 auch zu der Straßenoberfläche 211 emittiert. In einem Fall, bei dem die Straßenoberfläche 211 beispielsweise Asphalt ist, wird das Licht 201 diffus auf der Straßenoberfläche 211 reflektiert und ein Teil des Lichts wird in dem Bildsensor 20 empfangen. Daher ist das aufgenommene Bild ein Bild, in dem die Pfütze 210 dunkler (schwärzlicher) als die umliegende Straßenoberfläche 211 ist, wie auf der unteren Seite von 8 schematisch veranschaulicht.
Durch das Ableiten einer Differenz zwischen dem Bild, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, und dem Bild, wenn sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, kann das Gebiet der Pfütze 210, das das Totalreflexionsgebiet ist, detektiert werden. Das heißt, das Gebiet der Totalreflexion auf der Straßenoberfläche 211 kann basierend auf der Differenz zwischen dem Bild, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, und dem Bild, wenn sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, detektiert werden. Ein solches Gebiet der Totalreflexion ist ein Gebiet mit hoher Glätte, und es kann angenommen werden, dass dies ein Gebiet mit einem niedrigen Reibungskoeffizienten ist. Als ein Gebiet der Totalreflexion oder mit hohem Reflexionsgrad auf der Straßenoberfläche 211 wird ein Gebiet aus Metall in Betracht gezogen, wie etwa ein Gullyloch und eine Metallplatte, die während unterirdischer Bauarbeiten auf die Straßenoberfläche gelegt wird. Dementsprechend ist es durch das Detektieren des Totalreflexionsgebiets auf der Straßenoberfläche 211 möglich, eine Objektmessung unter der Annahme durchzuführen, dass ein Reibungskoeffizient µ in dem Gebiet niedrig ist.
9 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung gemäß der zweiten Ausführungsform veranschaulicht. In einer in 9 veranschaulichten Informationsverarbeitungsvorrichtung 10b weist eine Verarbeitungseinheit 30b eine Durchschnittswertberechnungseinheit 300, einen Speicher 301, eine Schaltereinheit 302, Durchschnittswertspeicherungseinheiten 303a und 303b, einen Subtrahierer 304 und eine Bestimmungseinheit 305 auf. Die Durchschnittswertberechnungseinheit 300 speichert von dem Bildsensor 20 ausgegebene Bilddaten im Speicher 301 und berechnet einen Durchschnittsluminanzwert in einem Frame der im Speicher 301 gespeicherten Bilddaten. Der von der Durchschnittswertberechnungseinheit 300 berechnete Durchschnittsluminanzwert wird über die Schaltereinheit 302 entweder in der Durchschnittswertspeicherungseinheit 303a oder 303b gespeichert.
Der Subtrahierer 304 gibt beispielsweise eine Differenz zwischen dem in der Durchschnittswertspeicherungseinheit 303a gespeicherten Durchschnittsluminanzwert und dem in der Durchschnittswertspeicherungseinheit 303b gespeicherten Durchschnittsluminanzwert aus. Die Bestimmungseinheit 305 bestimmt ein Totalreflexionsgebiet, das in den durch die Durchschnittswertberechnungseinheit 300 im Speicher 301 gespeicherten Bilddaten enthalten ist, basierend auf der vom Subtrahierer 304 ausgegebenen Differenz und fügt ein Totalreflexionsgebietsattribut zu einem als das Totalreflexionsgebiet bestimmten Pixel hinzu.
Es ist zu beachten, dass die hier erwähnte Totalreflexion eine Reflexion mit Reflexionsgrad beinhaltet, die durch Hinzufügen einer vorbestimmten Spanne zu einem 100%-igen Reflexionsgrad erhalten wird.
In der in 9 veranschaulichten Informationsverarbeitungsvorrichtung 10b steuert eine Steuereinheit 40b das Timing des Ein- und Ausschaltens der Lichtquelle 21 über eine Ansteuereinheit 22b und steuert das Timing der Bildaufnahme des Bildsensors 20. Beispielsweise übernimmt die Steuereinheit 40b die Steuerung, sodass der Bildsensor 20 ein Bild aufnimmt, wenn die Steuereinheit 40b bewirkt, dass sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, und wenn die Steuereinheit 40b bewirkt, dass sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet.
Die Steuereinheit 40b steuert auch die Schaltereinheit 302, die in der Verarbeitungseinheit 30b enthalten ist. Insbesondere in einem Fall, bei dem die Steuereinheit 40b bewirkt, dass sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, wählt die Steuereinheit 40b beispielsweise die Durchschnittswertspeicherungseinheit 303a in der Schaltereinheit 302 aus. Andererseits wählt in einem Fall, bei dem die Steuereinheit 40b bewirkt, dass sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, die Steuereinheit 40b beispielsweise die Durchschnittswertspeicherungseinheit 303b in der Schaltereinheit 302 aus. Daher speichert die Durchschnittswertspeicherungseinheit 303a einen Durchschnittsluminanzwert der Bilddaten, die von dem Bildsensor 20 aufgenommen werden, während sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet. Außerdem speichert die Durchschnittswertspeicherungseinheit 303b einen Durchschnittsluminanzwert der Bilddaten, die von dem Bildsensor 20 aufgenommen werden, während sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet.
10 ist ein Diagramm, das ein Beispiel einer Anordnung der Lichtquelle 21 (Scheinwerfer) und des Bildsensors 20 gemäß der zweiten Ausführungsform veranschaulicht. In dem Beispiel in 10 sind die Bildsensoren 20_L und 20_R in Scheinwerferkästen 26_L und 26_R, in denen der linke und rechte Scheinwerfer, das heißt Lichtquellen 21_L bzw. 21_R , untergebracht sind, auf der Vorderseite des Fahrzeugs 2 angeordnet. Die Lichtquelle 21_L und der Bildsensor 20_L sind hinsichtlich des Einschaltens, des Ausschaltens und der Bildaufnahme gepaart und gesteuert. In ähnlicher Weise sind die Lichtquelle 21_R und der Bildsensor 20_R hinsichtlich des Einschaltens, des Ausschaltens und der Bildaufnahme gepaart und gesteuert.
Auch sind die Lichtquelle 21_L und der Bildsensor 20_L so angeordnet, dass die optische Achse des von der Lichtquelle 21_L emittierten Lichts 201_L und die optische Achse des vom Bildsensor 20_L empfangen reflektierten Lichts 200_L im Wesentlichen ausgerichtet sind. In ähnlicher Weise sind die Lichtquelle 21_R und der Bildsensor 20_R so angeordnet, dass die optische Achse des von der Lichtquelle 21_R emittierten Lichts 201_R und die optische Achse des durch den Bildsensor 20_R empfangenen reflektierten Lichts 200_R im Wesentlichen ausgerichtet sind.
Es ist zu beachten, dass in 10, obwohl der Bildsensor 20 und die Lichtquelle 21 (Scheinwerfer) gemäß der zweiten Ausführungsform in jedem der Scheinwerferkästen 26_L und 26_R auf jeder Seite der Vorderfläche des Fahrzeugs 2 angeordnet sind, die Anordnung nicht auf eine in diesem Beispiel beschränkt ist. Der Bildsensor 20 und die Lichtquelle 21 gemäß der zweiten Ausführungsform können nur in einem der Scheinwerferkästen 26_L und 26_R angeordnet sein oder können beispielsweise an einer anderen Position als die Scheinwerferkästen 26_L und 26_R angeordnet sein.
11 ist ein Flussdiagramm eines Beispiels, das die Verarbeitung gemäß der zweiten Ausführungsform veranschaulicht. In Schritt S200 schaltet die Steuereinheit 40b die Lichtquelle 21 über die Ansteuereinheit 22b aus. Anschließend erstellt in Schritt S201 die Steuereinheit 40b eine Bildaufnahmeanweisung an den Bildsensor 20. Die Steuereinheit 40b steuert auch die Schaltereinheit 302, sodass die Schaltereinheit 302 die Durchschnittswertspeicherungseinheit 303b auswählt. Anschließend berechnet die Verarbeitungseinheit 30b in Schritt S202 einen Durchschnittsluminanzwert der vom Bildsensor 20 ausgegebenen Bilddaten mittels der Durchschnittswertberechnungseinheit 300. Der Durchschnittsluminanzwert der Bilddaten, wenn sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, der von der Durchschnittswertberechnungseinheit 300 berechnet wird, wird über die Schaltereinheit 302 in der Durchschnittswertspeicherungseinheit 302b gespeichert. In Schritt S202 speichert die Durchschnittswertberechnungseinheit 300 auch die vom Bildsensor 20 ausgegebenen Bilddaten im Speicher 301.
In Schritt S203 schaltet die Steuereinheit 40b anschließend die Lichtquelle 21 über die Ansteuereinheit 22b aus. Anschließend erstellt in Schritt S204 die Steuereinheit 40b eine Bildaufnahmeanweisung an den Bildsensor 20. Die Steuereinheit 40b steuert auch die Schaltereinheit 302, sodass die Schaltereinheit 302 die Durchschnittswertspeicherungseinheit 303a auswählt. Anschließend berechnet die Verarbeitungseinheit 30b in Schritt S205 einen Durchschnittsluminanzwert der vom Bildsensor 20 ausgegebenen Bilddaten mittels der Durchschnittswertberechnungseinheit 300. Der Durchschnittsluminanzwert der Bilddaten, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, der von der Durchschnittswertberechnungseinheit 300 berechnet wird, wird über die Schaltereinheit 302 in der Durchschnittswertspeicherungseinheit 302a gespeichert. In Schritt S205 speichert die Durchschnittswertberechnungseinheit 300 auch die vom Bildsensor 20 ausgegebenen Bilddaten im Speicher 301.
Anschließend subtrahiert die Verarbeitungseinheit 30b in Schritt S206 mittels des Subtrahierers 304 den Durchschnittsluminanzwert der Bilddaten, wenn sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet, der in der Durchschnittswertspeicherungseinheit 302b gespeichert ist, von dem Durchschnittsluminanzwert der Bilddaten, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, der in der Durchschnittswertspeicherungseinheit 302a gespeichert ist. Der vom Subtrahierer 304 ausgegebene Wert ist ein Inkrement des Durchschnittsluminanzwerts der Bilddaten, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, von dem Durchschnittsluminanzwert der Bilddaten, wenn sich die Lichtquelle 21 in einem ausgeschalteten Zustand befindet.
Anschließend berechnet in Schritt S207 die Bestimmungseinheit 305 in der Verarbeitungseinheit 30b ein Inkrement der Luminanz, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, von der Luminanz in einem ausgeschalteten Zustand für ein Pixel an einer Zielpixelposition in jedem Bilddatenstück, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand und in einem ausgeschalteten Zustand befindet, das in Schritt S202 und in Schritt S205 im Speicher 301 gespeichert wird.
Anschließend bestimmt in Schritt S208 die Bestimmungseinheit 305, ob das Inkrement der in Schritt S207 erhaltenen Luminanz kleiner ist als das Inkrement des in Schritt S206 erhaltenen Durchschnittsluminanzwerts oder nicht. In einem Fall, bei dem die Bestimmungseinheit 305 bestimmt, dass das Inkrement der Luminanz gleich oder größer als das Inkrement des Durchschnittsluminanzwerts ist (Schritt S208, „Nein“), verschiebt die Bestimmungseinheit 305 die Verarbeitung zu Schritt S210.
Andererseits verschiebt in einem Fall, bei dem die Bestimmungseinheit 305 bestimmt, dass das Inkrement der Luminanz kleiner als das Inkrement des Durchschnittsluminanzwerts ist (Schritt S208, „Ja“), die Bestimmungseinheit 305 die Verarbeitung zu Schritt S209. In Schritt S209 fügt die Bestimmungseinheit 305 beispielsweise dem Zielpixel, das in den Bilddaten enthalten ist, die aufgenommen werden, wenn sich die Lichtquelle 21 im eingeschalteten Zustand befindet, ein Totalreflexionsattribut hinzu.
Anschließend bestimmt in Schritt S210 die Bestimmungseinheit 305 in der Verarbeitungseinheit 30b, ob die Verarbeitung in den Schritten S207 bis S209 für alle der in den Bilddaten enthaltenen Pixel abgeschlossen wurde oder nicht. In einem Fall, bei dem bestimmt wird, dass die Verarbeitung nicht abgeschlossen wurde (Schritt S210, „Nein“), designiert die Bestimmungseinheit 305 ein anderes Pixel (beispielsweise ein benachbartes Pixel) als ein neues Zielpixel und führt die Verarbeitung in Schritt S207 und den nachfolgenden Schritten aus.
In einem Fall, bei dem in Schritt S210 bestimmt wird, dass die Verarbeitung für alle Pixel abgeschlossen wurde (Schritt S210, „Ja“), verschiebt die Bestimmungseinheit 305 die Verarbeitung zu Schritt S211. In Schritt S211 gibt die Informationsverarbeitungsvorrichtung 10b die Bilddaten, die aufgenommen werden, wenn sich die Lichtquelle 21 in einem eingeschalteten Zustand befindet, zu denen das Totalreflexionsattribut von der Verarbeitungseinheit 30b hinzugefügt wird, zu der nachfolgenden Stufe aus. Die Informationsverarbeitungsvorrichtung 10b gibt die Bilddaten, zu denen das Totalreflexionsattribut hinzugefügt wird, beispielsweise zu einem Fahrsteuersystem des Fahrzeugs 2 aus, an dem die Informationsverarbeitungsvorrichtung 10b montiert ist.
Wenn die Verarbeitung in Schritt S211 abgeschlossen ist, wird die Verarbeitung zu Schritt S200 zurückgeführt.
Folglich kann das Fahrsteuersystem des Fahrzeugs 2 erkennen, dass ein Gebiet mit hoher Glätte (Gebiet mit einem niedrigen Reibungskoeffizienten µ) vor dem fahrenden Fahrzeug 2 existiert, bevor es das Gebiet erreicht. Dementsprechend kann das Fahrsteuersystem des Fahrzeugs 2 leicht eine Fahrsteuerung gemäß den Charakteristiken des Gebiets ausführen und kann ein sicheres Fahren und eine komfortable Fahrt in dem Fahrzeug 2 erreichen.
[Dritte Ausführungsform]
Als Nächstes wird eine dritte Ausführungsform beschrieben. In der dritten Ausführungsform können Informationen in der Höhenrichtung auf der Straßenoberfläche erhalten werden, indem die optische Achse der Lichtquelle 21 von der optischen Achse des Bildsensors 20 getrennt wird, mittels der Lichtquelle 21 ein spezifisches Muster auf die Straßenoberfläche projiziert wird und ein Bild des vom Bildsensor 20 aufgenommenen Musters verwendet wird.
Die Beschreibung wird anhand eines spezifischen Beispiels bereitgestellt. 12 veranschaulicht ein Beispiel eines aufgenommenen Bildes eines Zustands, in dem sich ein kleines Objekt 400 auf einer weißen flachen Oberfläche 401 befindet. Mit nur dem Bild in 12 können Informationen über das kleine Objekt 400 in der Höhenrichtung nur mit geringerer Genauigkeit als Informationen in der horizontalen Richtung (Breite und dergleichen) erfasst werden.
Hier wird ein Fall betrachtet, bei dem ein Bildmuster 410 (in diesem Beispiel ein Gittermuster), wie in 13 veranschaulicht, auf die flache Oberfläche 401 projiziert und aufgenommen wird. 14 veranschaulicht ein Beispiel eines Bildes, das in einer schrägen Richtung von der Nahseite aufgenommen wurde, indem das Bildmuster 410 von im Wesentlichen direkt über der flachen Oberfläche 401 projiziert wird, einschließlich des kleinen Objekts 400. Auch ist 15 eine vergrößerte Ansicht eines Gebiets 420 einschließlich des kleinen Objekts 400 in 14. Wie in den 14 und 15 veranschaulicht, wird in einem Fall, bei dem die Bildaufnahmerichtung und die Projektionsrichtung des Bildmusters 410 unterschiedlich sind, ein Teil 440 des projizierten Bildmusters 410, der das kleine Objekt 400 abdeckt, aufgenommen, der aufgrund der Parallaxe gemäß der Höhe der Oberfläche des kleinen Objekts 400 von der flachen Oberfläche 401 gegenüber dem kleinen Objekt 400 versetzt ist. Basierend auf dieser Versetzung können die Informationen über das kleine Objekt 400 in der Höhenrichtung mit hoher Genauigkeit erhalten werden.
Hier tritt in einem Fall, bei dem die Projektionsrichtung des Bildmusters 410 und die Bildaufnahmerichtung übereinstimmen, eine Versetzung des Bildmusters 410 gegenüber dem kleinen Objekt 400 basierend auf den Bildaufnahmedaten auf dem Bild nicht auf. Daher ist die Anordnung der Lichtquelle 21 und des Bildsensors 20 so eingestellt, dass die Richtung der optischen Achse der Lichtquelle 21 und die Richtung der optischen Achse des Bildsensors 20 einen Winkel θ mit einem vorbestimmten Wert oder höher bilden. In einem Fall des Erhaltens von Informationen in der Höhenrichtung auf der Straßenoberfläche, die eine Subjektoberfläche ist, sind die Lichtquelle 21 und der Bildsensor 20 vorzugsweise an verschiedenen Positionen in der Höhenrichtung angeordnet.
16 ist ein Diagramm, das ein Beispiel einer Anordnung der Lichtquelle 21 und des Bildsensors 20 gemäß der dritten Ausführungsform veranschaulicht. In dem Beispiel in 16 ist die Lichtquelle 21 an einem unteren Teil der Vorderseite des Fahrzeugs 2 bereitgestellt, und der Bildsensor 20 ist an einer Position bereitgestellt, die einem oberen Teil der Windschutzscheibe entspricht. In der Lichtquelle 21 und dem Bildsensor 20 bilden das von der Lichtquelle emittierte Licht 201 und das reflektierte Licht 200, das erhalten wird, während das Licht 201 auf der Subjektoberfläche reflektiert und in dem Bildsensor 20 empfangen wird, den Winkel 9 mit einem vorbestimmten Wert oder höher.
17 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Informationsverarbeitungsvorrichtung 10c gemäß der dritten Ausführungsform veranschaulicht. In 17 weist eine Verarbeitungseinheit 30c eine Bildspeicherungseinheit 310, eine Berechnungseinheit 311 und eine Recheneinheit 312 auf. Außerdem gibt eine Steuereinheit 40c das Bildmuster 410 an eine Ansteuereinheit 22c und die Berechnungseinheit 311 aus und steuert das Bildaufnahmetiming des Bildsensors 20. Die Ansteuereinheit 22c steuert die Lichtquelle 21 gemäß dem von der Steuereinheit 40c ausgegebenen Bildmuster 410 an.
Hier kann die Lichtquelle 21 beispielsweise eine digitale Mikrospiegelvorrichtung (DMD: Digital Micromirror Device) enthalten. Die DMD ist ein Array einer großen Anzahl von Mikrospiegeloberflächen, die auf einer flachen Oberfläche angeordnet sind. Durch das Bestrahlen der DMD mit Licht und Steuern jeder dieser vielen Mikrospiegeloberflächen gemäß den Bilddaten kann ein auf den Bilddaten basierendes Bild durch reflektiertes Licht des bestrahlten Lichts projiziert werden. Als ein Beispiel für eine solche Lichtquelle 21 kann Digital Light Processing (DLP; digitale Lichtverarbeitung) (eingetragenes Markenzeichen) angewendet werden.
Das Bildmuster 410 wird vorab in einem Speicher (der Speicherung 3003, dem ROM 3001 oder dergleichen) gespeichert, der beispielsweise in der Informationsverarbeitungsvorrichtung 10c enthalten ist. Stattdessen kann das Bildmuster 410 von der Steuereinheit 40c gemäß einem Programm erzeugt werden. Hier kann die Steuereinheit 40c mehrere Arten von Bildmustern 410 ausgeben. Zum Beispiel kann in einem Fall, bei dem das Bildmuster 410 das in 13 veranschaulichte Gittermuster ist, die Steuereinheit 40c mehrere Bildmuster 410 mit unterschiedlichen Gittergrößen ausgeben.
Basierend auf dem von der Steuereinheit 40c ausgegebenen Bildmuster 410 leitet die Berechnungseinheit 311 mittels Berechnung ein virtuelles Bild ab, das erhalten werden würde, falls das Bildmuster 410 von der Lichtquelle 21 auf die Straßenoberfläche projiziert werden würde, die als vollständig flach angenommen wird, und das projizierte Bildmuster 410 von dem Bildsensor 20 aufgenommen werden würde. Die Berechnungseinheit 311 liefert die berechneten Bilddaten basierend auf dem virtuellen Bild an die Recheneinheit 312. Die von der Berechnungseinheit 311 berechneten Bilddaten sind theoretische Daten, die aus bekannten festen Werten wie etwa den Winkeln der jeweiligen optischen Achsen der Lichtquelle 21 und des Bildsensors 20 zur Straßenoberfläche und einem Parameter des Bildmusters 410 (im Fall eines Gittermusters, Gitterabstand) berechnet werden können. Nachfolgend werden die Bilddaten, die auf dem von der Berechnungseinheit 311 berechneten virtuellen Bild basieren, als theoretische Bilddaten bezeichnet.
Die Bildspeicherungseinheit 310 speichert Bilddaten, die von dem Bildsensor 20 aufgenommen werden. Die Recheneinheit 312 erhält Informationen in der Höhenrichtung auf der Straßenoberfläche basierend auf den in der Bildspeicherungseinheit 310 gespeicherten Bilddaten und den von der Berechnungseinheit 311 gelieferten theoretischen Bilddaten.
18 ist ein Flussdiagramm eines Beispiels, das die Verarbeitung gemäß der dritten Ausführungsform veranschaulicht. In Schritt S300 stellt die Steuereinheit 40c das zu projizierende Bildmuster 410 ein.
Wie oben beschrieben, kann in einem Fall, bei dem das Bildmuster 410 das in 13 veranschaulichte Gittermuster ist, der Gitterabstand als ein Parameter angewendet werden. In diesem Fall ist es durch periodisches Ändern des Gitterabstands in dem Bildmuster 410 möglich, mit verschiedenen Größen des zu messenden Objekts umzugehen. Beispielsweise kann in einem Fall, bei dem der Gitterabstand, wenn das Bildmuster 410 auf die Straßenoberfläche projiziert wird, 3 cm beträgt, eine Parallaxe für ein zu messendes Objekt, das kleiner als der Gitterabstand ist, möglicherweise nicht beobachtet werden. In diesem Fall kann durch das Einstellen des Gitterabstands des projizierten Bildmusters 410 auf 1 cm die Parallaxe höchstwahrscheinlich beobachtet werden.
In diesem Beispiel stellt die Steuereinheit 40c den Gitterabstand in dem Bildmuster 410 in Schritt S300 auf einen vorbestimmten Wert ein. Die Steuereinheit 40c liefert das gemäß dem Parameter eingestellte Bildmuster 410 an die Ansteuereinheit 22c und die Berechnungseinheit 311.
Nach der Verarbeitung in Schritt S300 wird die Verarbeitung zu den Schritten S301 und S303 verschoben, die parallel ausgeführt werden können. In Schritt S301 weist die Steuereinheit 40c die Ansteuereinheit 22c an, die Lichtquelle 21 gemäß dem in Schritt S300 gelieferten Bildmuster 410 anzusteuern. Die Ansteuereinheit 22c steuert die Lichtquelle 21 als Reaktion auf diese Anweisung an und veranlasst die Lichtquelle 21, das Bildmuster 410 auf die Straßenoberfläche zu projizieren.
Anschließend weist die Steuereinheit 40c in Schritt S302 den Bildsensor 20 an, ein Bild aufzunehmen. Der Bildsensor 20 nimmt ein Bild der Straßenoberfläche, auf die das Bildmuster 410 projiziert wird, als Reaktion auf diese Anweisung auf. Der Bildsensor 20 liefert die Bilddaten einschließlich des aufgenommenen Bildes des Bildmusters 410 an die Verarbeitungseinheit 30c, um zu bewirken, dass die Bilddaten in der Bildspeicherungseinheit 310 gespeichert werden.
Andererseits berechnet in Schritt S303 die Berechnungseinheit 311 theoretische Bilddaten basierend auf dem Bildmuster 410, das von der Steuereinheit 40c in Schritt S300 geliefert wird, und liefert die berechneten theoretischen Bilddaten an die Recheneinheit 312.
Wenn die Verarbeitung in Schritt S302 und Schritt S303 abgeschlossen ist, wird die Verarbeitung zu Schritt S304 verschoben. In Schritt S304 vergleicht die Recheneinheit 312 die in Schritt S303 berechneten theoretischen Bilddaten mit den in Schritt S302 aufgenommenen Bilddaten und extrahiert die Differenz zwischen den theoretischen Bilddaten und den aufgenommenen Bilddaten. Anschließend detektiert in Schritt S305 die Recheneinheit 312 ein Gebiet mit geringer Glätte in den aufgenommenen Bilddaten basierend auf der in Schritt S304 extrahierten Differenz. Beispielsweise detektiert die Recheneinheit 312 ein Gebiet, in dem die Differenz gleich oder höher als ein vorbestimmter Wert ist, als ein Gebiet mit geringer Glätte.
Anschließend erhält die Recheneinheit 312 in Schritt S306 für das Gebiet, das in Schritt S305 als eines mit geringer Glätte detektiert wurde, Positionsinformationen, die die Position des Gebiets angeben, und Höheninformationen, die die Höhe des Gebiets angeben.
Die Recheneinheit 312 berechnet die Positionsinformationen, die eine relative Position des Gebiets zur Position des Bildsensors 20 angeben, basierend auf Informationen wie etwa zum Beispiel dem Blickwinkel des Bildsensors 20, dem Winkel der optischen Achse und dem Parameter (Gitterabstand) des Bildmusters 410. Stattdessen kann die Recheneinheit 312 die Positionsinformationen beispielsweise als Informationen erhalten, die eine Position in den Bilddaten angeben.
Außerdem berechnet die Recheneinheit 312 die Höheninformationen basierend auf dem Versetzungsbetrag des Teils des Bildmusters 410, der in dem Gebiet in den aufgenommenen Bilddaten enthalten ist, von dem Teil des Bildmusters 410, der in dem Gebiet in den theoretischen Bilddaten enthalten ist.
Anschließend gibt in Schritt S307 die Informationsverarbeitungsvorrichtung 10c die Positionsinformationen und die Höheninformationen des Gebiets mit geringer Glätte, die in Schritt S306 berechnet wurden, an die nachfolgende Stufe aus. Die Informationsverarbeitungsvorrichtung 10c gibt die Positionsinformationen und die Höheninformationen des Gebiets mit geringer Glätte beispielsweise an ein Fahrtplanungssystem des Fahrzeugs 2 aus, an dem die Informationsverarbeitungsvorrichtung 10c montiert ist.
Wenn die Verarbeitung in Schritt S307 abgeschlossen ist, wird die Verarbeitung zu Schritt S300 zurückgeführt, das Bildmuster 410, dessen Gitterabstand sich von dem vorherigen unterscheidet, wird eingestellt, und die Verarbeitung in Schritt S300 und den nachfolgenden Schritten wird ausgeführt.
Auf diese Weise kann in der dritten Ausführungsform die Flachheit vor dem Fahrzeug 2 in der Fahrtrichtung beispielsweise basierend auf den vom Bildsensor 20 aufgenommenen Bilddaten erkannt werden. Dementsprechend kann das Fahrtplanungssystem des Fahrzeugs 2 einen Fahrtplan gemäß der Flachheit vor dem Fahrzeug 2 in der Fahrtrichtung formulieren und ein sicheres Fahren und eine komfortable Fahrt im Fahrzeug 2 erreichen.
Es ist zu beachten, dass in der obigen Beschreibung, obwohl ein Bildsensor 20 für eine Lichtquelle 21 verwendet wird, wie in 16 veranschaulicht, die Anzahl der Bildsensoren 20 nicht auf die in diesem Beispiel beschränkt ist. Das heißt, mehrere Bildsensoren 20 können bei einer Lichtquelle 21 angewendet werden. 19 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem drei Bildsensoren 20_L , 20_R und 20_c bei einer Lichtquelle 21_L angewendet werden. In diesem Beispiel sind die Lichtquelle 21_L und der Bildsensor 20_L im Scheinwerferkasten auf der linken Seite des Fahrzeugs 2 untergebracht, und der Bildsensor 20_R ist im Scheinwerferkasten auf der rechten Seite des Fahrzeugs 2 untergebracht. Auch ist der Bildsensor 20_C an einer Position, die dem oberen Teil der Windschutzscheibe entspricht, und in der Mitte der Vorderfläche des Fahrzeugs 2, in ähnlicher Weise wie der in 16 veranschaulichte Bildsensor 20, angeordnet.
In diesem Beispiel werden Bilder des von der Lichtquelle 21_L auf die Straßenoberfläche projizierten Bildmusters 410 von jedem der Bildsensoren 20_L , 20_R und 20_C aufgenommen. Außerdem werden entsprechende Teile theoretischer Bilddaten berechnet, die diesen Bildsensoren 20_L , 20_R und 20_C entsprechen. Unter Verwendung der jeweiligen Bilddatenstücke, die von den jeweiligen Bildsensoren 20_L , 20_R und 20_C aufgenommen werden, und der jeweiligen Teile theoretischer Bilddaten, die den jeweiligen Bildsensoren 20_L , 20_R und 20_C entsprechen, in Kombination können ein Gebiet mit geringer Flachheit und Höheninformationen im Gebiet mit höherer Genauigkeit erhalten werden.
(Anwendungsbeispiel der dritten Ausführungsform)
Als Nächstes wird ein Anwendungsbeispiel der dritten Ausführungsform beschrieben. Obwohl ein Gebiet mit geringer Flachheit auf der Straßenoberfläche durch Projizieren des Bildmusters 410 auf die Straßenoberfläche durch die Lichtquelle 21 in der obigen Beschreibung detektiert wird, kann eine Neigung der Straßenoberfläche vor dem Fahrzeug 2 in der Fahrtrichtung durch Projizieren des Bildmusters 410 auf die Straßenoberfläche detektiert werden. Beispielsweise nimmt der Bildsensor 20 das auf die Straßenoberfläche projizierte Bildmuster 410 auf. Beispielsweise detektiert in der Verarbeitungseinheit 30c die Recheneinheit 312 die Neigung der Straßenoberfläche basierend auf der Verzerrung in der vertikalen Richtung im Bild basierend auf den aufgenommenen Bilddaten.
Das Anwendungsbeispiel der dritten Ausführungsform wird unter Bezugnahme auf 20 genauer beschrieben. Zum Beispiel wird das in 13 veranschaulichte Gittermuster als das Bildmuster 410 verwendet, und das Bildmuster 410 mit dem Gittermuster wird von der Lichtquelle 21 auf die Straßenoberfläche projiziert. Ein Bild der Straßenoberfläche, auf die das Bildmuster 410 projiziert wird, wird von dem Bildsensor 20 aufgenommen, und die Krümmung der Gitterlinien in der vertikalen Richtung wird in einem Bild 450 basierend auf den aufgenommenen Bilddaten untersucht. In dem Beispiel in 20 gibt es einen Bereich, in dem sich die Winkel der Gitterlinien auf beiden Seiten der Gitterlinie im zentralen Teil des Bildes 450 in der vertikalen Richtung ändern. Es kann bestimmt werden, dass in dem Bereich, in dem sich die Winkel ändern, die Neigung einer ansteigenden Steigung der Straßenoberfläche beginnt. Bei einer Neigung einer absteigenden Steigung ändern sich die Winkel in der horizontalen Richtung. Auf diese Weise kann durch das Untersuchen der Änderung der Krümmung des Gitters in der vertikalen Richtung bestimmt werden, ob die Straßenoberfläche eine Neigung einer ansteigenden Steigung oder eine Neigung einer absteigenden Steigung aufweist.
Stattdessen kann die Neigung der Straßenoberfläche auch durch Untersuchen der Abstände d₁, d₂, ..., d₇ der Gitter in der vertikalen Richtung im Bild 450 detektiert werden. Beispielsweise kann in einem Fall, bei dem die Abstände d₁, d₂, ..., d₇ ungefähr gleich sind, bestimmt werden, dass die Straßenoberfläche nicht in einem Bereich geneigt ist, in dem das Bildmuster 410 projiziert wird. Andererseits wird in dem Beispiel in 20 der Gitterabstand vom Abstand d₁ zum Abstand d₅ allmählich kürzer, und der Gitterabstand vom Abstand d₅ zum Abstand d₇ wird allmählich länger. Auch sind die Gitter des Bildmusters 410 bis zum oberen Ende des Bildes 450 enthalten. In diesem Fall kann bestimmt werden, dass die Neigung einer ansteigenden Steigung im Bereich der Abstände d₃ bis d₆ beginnt, in denen die Gitterabstände kurz sind. Währenddessen wird angenommen, dass im Fall einer Neigung einer absteigenden Steigung die Gitter des Bildmusters 410 am oberen Endabschnitt des Bildes 450 nicht enthalten sind.
Auf diese Weise ist es möglich, basierend auf den Bilddaten, die durch Aufnehmen des auf die Straßenoberfläche projizierten Bildmusters 410 mittels des Bildsensors 20 erhalten werden, zu bestimmen, ob eine Neigung vor dem fahrenden Fahrzeug 2 auf der Straßenoberfläche vorliegt oder nicht. Dementsprechend kann beispielsweise das Fahrsteuersystem des Fahrzeugs 2 leicht eine Fahrsteuerung gemäß der Neigung ausführen und ein sicheres Fahren und eine komfortable Fahrt in dem Fahrzeug 2 erreichen.
Es ist zu beachten, dass in der obigen Beschreibung, obwohl das Bildmuster 410 das in 13 veranschaulichte Gittermuster ist, das Muster nicht auf eines in diesem Beispiel beschränkt ist. Zum Beispiel, wie in 21 veranschaulicht, kann ein sogenanntes Schachbrett-Bildmuster 410' verwendet werden, bei dem ein schwarzes Gebiet und ein weißes Gebiet abwechselnd in vertikaler und horizontaler Richtung wiederholt werden. Beispielsweise ist in dem Bildmuster 410' das schwarze Gebiet ein Gebiet, das nicht mit Licht bestrahlt wird (maskiert), und das weiße Gebiet ist ein Gebiet, das mit Licht bestrahlt wird. Mit diesem Schachbrett-Bildmuster 410' ist es möglich, einen im Wesentlichen ähnlichen Effekt wie im Fall der Verwendung des zuvor erwähnten Gitterbildmusters 410 zu erhalten.
[Vierte Ausführungsform]
Als Nächstes wird eine vierte Ausführungsform beschrieben. In der obigen Beschreibung werden die Verarbeitung gemäß der ersten Ausführungsform, die Verarbeitung gemäß der zweiten Ausführungsform und die Verarbeitung gemäß der dritten Ausführungsform unabhängig ausgeführt. In der vierten Ausführungsform werden die Verarbeitung gemäß der ersten Ausführungsform, die Verarbeitung gemäß der zweiten Ausführungsform und die Verarbeitung gemäß der dritten Ausführungsform als eine Verarbeitungssequenz ausgeführt.
Die Verarbeitung gemäß der vierten Ausführungsform wird unter Bezugnahme auf die 22A und 22B genauer beschrieben. Hier wird die Verarbeitung gemäß der ersten Ausführungsform als Verarbeitung A bezeichnet, die Verarbeitung gemäß der zweiten Ausführungsform wird als Verarbeitung B bezeichnet, und der Prozess gemäß der dritten Ausführungsform wird als Verarbeitung C bezeichnet. Die Verarbeitung A, die Verarbeitung B und die Verarbeitung C werden wiederholt in einer vorbestimmten Reihenfolge ausgeführt, beispielsweise wie in 22A veranschaulicht.
22B ist ein Blockdiagramm, das ein Beispiel einer Konfiguration veranschaulicht, die es ermöglicht, dass die Verarbeitung gemäß der vierten Ausführungsform ausgeführt wird. In 22B weist eine Informationsverarbeitungsvorrichtung 10d die Verarbeitungseinheit 30a gemäß der ersten Ausführungsform, die Verarbeitungseinheit 30b gemäß der zweiten Ausführungsform, die Verarbeitungseinheit 30c gemäß der dritten Ausführungsform und die Schaltereinheiten 504 und 505 auf.
Die Schaltereinheit 504 wird an einem Eingangsanschluss davon mit Bilddaten versorgt, die über eine Schaltereinheit 500 entweder vom Bildsensor 20_L oder vom Bildsensor 20_C bereitgestellt werden. Die drei Ausgangsanschlüsse der Schaltereinheit 504 sind mit den Verarbeitungseinheiten 30a, 30b bzw. 30c verbunden. Die Schaltereinheit 505 wird auch an drei Eingangsanschlüssen davon mit Ausgaben der Verarbeitungseinheiten 30a, 30b bzw. 30c versorgt. Die Ausgabe einer der Verarbeitungseinheiten 30a, 30b und 30c wird vom Ausgangsanschluss der Schaltereinheit 505 nach außen ausgegeben. Die Schaltereinheiten 504 und 505 werden synchron durch ein von einer Steuereinheit 40d ausgegebenes Steuersignal 511 geschaltet.
Die Steuereinheit 40d weist die oben beschriebenen Funktionen der Steuereinheit 40a gemäß der ersten Ausführungsform, der Steuereinheit 40b gemäß der zweiten Ausführungsform und der Steuereinheit 40c gemäß der dritten Ausführungsform auf. In ähnlicher Weise weist eine Ansteuereinheit 22d die Funktionen der Ansteuereinheit 22a gemäß der ersten Ausführungsform, der Ansteuereinheit 22b gemäß der zweiten Ausführungsform und der Ansteuereinheit 22c gemäß der dritten Ausführungsform auf. Die Funktion der Ansteuereinheit 22d wird in der Verarbeitung A, B und C unter der Steuerung der Steuereinheit 40d auf die Funktionen der Ansteuereinheiten 22a, 22b bzw. 22c umgeschaltet.
Auch sind in 22B die Lichtquelle 21_L und der Bildsensor 20_L im Scheinwerferkasten auf der linken Seite des Fahrzeugs 2 untergebracht, wobei ihre optischen Achsen im Wesentlichen zueinander ausgerichtet sind. Auch ist der Bildsensor 20_C an einer Position bereitgestellt, die dem oberen Teil der Windschutzscheibe des Fahrzeugs 2 entspricht, sodass die Richtung der optischen Achse des Bildsensor 20_C den Winkel θ mit einem vorbestimmten Wert oder höher mit der Richtung der optischen Achse der Lichtquelle 21_L bildet.
Die Ausgaben der Bildsensoren 20L und 20C werden jeweils an die beiden Eingangsanschlüsse der Schaltereinheit 500 geliefert. Der Ausgang der Schaltereinheit 500 ist mit dem Eingangsanschluss der Schaltereinheit 504 verbunden. In den Eingangsanschluss einer Schaltereinheit 501 wird eine Bildaufnahmeanweisung von der Steuereinheit 40d eingegeben. Die beiden Ausgangsanschlüsse der Schaltereinheit 501 sind mit den Bildsensoren 20_L bzw. 20_C verbunden. Die Schaltereinheiten 500 und 501 werden durch ein von der Steuereinheit 40d ausgegebenes Steuersignal 513 synchron geschaltet.
Operationen der Verarbeitung A, der Verarbeitung B und der Verarbeitung C in einer solchen Konfiguration werden beschrieben. In der Verarbeitung A liefert die Steuereinheit 40d die Frequenz f des Referenzsignals an die Verarbeitungseinheit 30a. Das Referenzsignal mit der Frequenz f wird von der Verarbeitungseinheit 30a an die Ansteuereinheit 22d geliefert. Auch übernimmt die Steuereinheit 40d bei der Verarbeitung A die Steuerung, sodass der Bildsensor 20_L in den Schaltereinheiten 500 und 501 ausgewählt wird, und übernimmt die Steuerung, sodass die Verarbeitungseinheit 30a in den Schaltereinheiten 504 und 505 ausgewählt wird.
Bei der Verarbeitung B übernimmt die Steuereinheit 40d die Steuerung, sodass der Bildsensor 20_L in den Schaltereinheiten 500 und 501 ausgewählt wird, und übernimmt die Steuerung, sodass die Verarbeitungseinheit 30b in den Schaltereinheiten 504 und 505 ausgewählt wird. Während des Zeitraums der Verarbeitung B übernimmt die Steuereinheit 40d auch die Steuerung mittels eines Steuersignals 512, sodass die Schaltereinheit 302 (siehe 9) abwechselnd die Durchschnittswertspeicherungseinheiten 303a und 303b auswählt und die Ansteuereinheit 22d mittels eines Steuersignals 514 synchron mit der Auswahl der Schaltereinheit 302 zur Steuerung des Timings des Ein- und Ausschaltens der Lichtquelle 21_L steuert.
Bei der Verarbeitung C übernimmt die Steuereinheit 40d die Steuerung, sodass der Bildsensor 20_C in den Schaltereinheiten 500 und 501 ausgewählt wird, und übernimmt die Steuerung, sodass die Verarbeitungseinheit 30c in den Schaltereinheiten 504 und 505 ausgewählt wird. Bei der Verarbeitung C liefert die Steuereinheit 40d auch das Bildmuster 410 an die Verarbeitungseinheit 30c und die Ansteuereinheit 22d.
Währenddessen gibt die Steuereinheit 40d Steuerzustandsinformationen aus, die angeben, welche der Verarbeitung A, der Verarbeitung B und der Verarbeitung C gerade ausgeführt wird.
In der vierten Ausführungsform können durch das derartige Steuern jeder Einheit die Verarbeitung A gemäß der ersten Ausführungsform, die Verarbeitung B gemäß der zweiten Ausführungsform und die Verarbeitung C gemäß der dritten Ausführungsform als eine Verarbeitungssequenz angesehen werden und können nacheinander wiederholt von gängiger Hardware ausgeführt werden. Infolgedessen können in der vierten Ausführungsform die oben beschriebenen Effekte der ersten Ausführungsform, der zweiten Ausführungsform und der dritten Ausführungsform erhalten werden.
[Fünfte Ausführungsform]
Als Nächstes wird eine fünfte Ausführungsform beschrieben. Die fünfte Ausführungsform ist ein Beispiel, bei dem eine beliebige der oben erwähnten ersten Ausführungsformen, zweiten Ausführungsformen, dritten Ausführungsformen und vierten Ausführungsformen an einem Fahrzeug angebracht ist, das eine autonome Fahrsteuerung ermöglicht. Nachfolgend wird zur Veranschaulichung eine Konfiguration angewendet, die die Informationsverarbeitungsvorrichtung 10d, die Bildsensoren 20_L und 20_C , die Lichtquelle 21_L , die Ansteuereinheit 22d und die in der obigen vierten Ausführungsform beschriebenen Schaltereinheiten 500 und 501 aufweist.
23 ist ein Blockdiagramm, das ein schematisches Funktionskonfigurationsbeispiel eines Systems zum Steuern eines Fahrzeugs 24 veranschaulicht, das auf die fünfte Ausführungsform anwendbar ist. In 23 ist ein Fahrzeugsteuersystem 6100 ein Steuersystem, das an dem Fahrzeug 24 montiert ist und den Betrieb des Fahrzeugs 24 steuert.
Es ist zu beachten, dass nachstehend ein mit dem Fahrzeugsteuersystem 6100 ausgestattetes Fahrzeug in einem Fall, bei dem das Fahrzeug von anderen Fahrzeugen unterschieden wird, als ein eigenes Fahrzeug oder ein eigenes Auto bezeichnet wird.
Das Fahrzeugsteuersystem 6100 weist Folgendes auf: eine Eingabeeinheit 6101, eine Datenerfassungseinheit 6102, eine Kommunikationseinheit 6103, eine fahrzeuginterne Vorrichtung 6104, eine Ausgabesteuereinheit 6105, eine Ausgabeeinheit 6106, eine Antriebsstrangsteuereinheit 6107, ein Antriebsstrangsystem 6108, eine Karosseriesteuereinheit 6109, ein Karosseriesystem 6110, eine Speicherungseinheit 6111 und eine Autonomes-Fahren-Steuereinheit 6112. Die Eingabeeinheit 6101, die Datenerfassungseinheit 6102, die Kommunikationseinheit 6103, die Ausgabesteuereinheit 6105, die Antriebsstrangsteuereinheit 6107, die Karosseriesteuereinheit 6109, die Speicherungseinheit 6111 und die Autonomes-Fahren-Steuereinheit 6112 sind über ein Kommunikationsnetzwerk 6121 miteinander verbunden.
Das Kommunikationsnetzwerk 6121 ist ein fahrzeuginternes Kommunikationsnetzwerk oder ein Bus, das/der einem beliebigen Standard wie etwa einem CAN (Controller Area Network), einem LIN (Local Interconnect Network), einem LAN (Lokalnetzwerk) und FlexRay (eingetragenes Markenzeichen) entspricht. Es ist zu beachten, dass die jeweiligen Einheiten des Fahrzeugsteuersystems 6100 direkt ohne das Kommunikationsnetzwerk 6121 verbunden werden können.
Es ist zu beachten, dass nachstehend in einem Fall, bei dem die jeweiligen Einheiten des Fahrzeugsteuersystems 6100 über das Kommunikationsnetzwerk 6121 kommunizieren, die Beschreibung des Kommunikationsnetzwerks 6121 weggelassen werden soll.
Beispielsweise wird in einem Fall, bei dem die Eingabeeinheit 6101 und die Autonomes-Fahren-Steuereinheit 6112 über das Kommunikationsnetzwerk 6121 miteinander kommunizieren, ein einfacher Ausdruck verwendet, dass die Eingabeeinheit 6101 und die Autonomes-Fahren-Steuereinheit 6112 miteinander kommunizieren.
Die Eingabeeinheit 6101 weist eine Vorrichtung auf, die ein Insasse verwendet, um verschiedene Daten, Anweisungen und dergleichen einzugeben. Beispielsweise weist die Eingabeeinheit 6101 eine Bedienvorrichtung auf, wie etwa ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel, sowie eine Bedienvorrichtung, die eine Eingabe mittels eines anderen Verfahrens als eine manuelle Bedienung, wie etwa Sprache und Geste, ermöglicht. Außerdem kann die Eingabeeinheit 6101 beispielsweise eine Fernsteuervorrichtung sein, die Infrarotstrahlen oder andere elektrische Wellen verwendet, oder kann eine Vorrichtung mit externer Verbindung sein, wie etwa eine mobile Vorrichtung und eine tragbare Vorrichtung, die dem Betrieb des Fahrzeugsteuersystems 6100 entspricht. Die Eingabeeinheit 6101 erzeugt ein Eingabesignal basierend auf Daten, einer Anweisung oder dergleichen, die durch den Insassen eingegeben werden/wird, und liefert das Eingabesignal an jede der Einheiten des Fahrzeugsteuersystems 6100.
Die Datenerfassungseinheit 6102 weist verschiedene Sensoren oder dergleichen zum Erfassen von Daten zur Verwendung bei der Verarbeitung des Fahrzeugsteuersystems 6100 auf und liefert die erfassten Daten an jede der Einheiten des Fahrzeugsteuersystems 6100.
Zum Beispiel weist die Datenerfassungseinheit 6102 verschiedene Sensoren zum Detektieren eines Zustands des eigenen Fahrzeugs und dergleichen auf. Insbesondere weist die Datenerfassungseinheit 6102 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmesseinheit (IMU), und einen Sensor zum Detektieren eines Gaspedalbetätigungsausmaßes, eines Bremspedalbetätigungsausmaßes, eines Lenkradlenkwinkels, einer Verbrennungsmotordrehzahl, einer Motordrehzahl oder einer Raddrehgeschwindigkeit oder dergleichen auf.
Außerdem weist die Datenerfassungseinheit 6102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen außerhalb des eigenen Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 6102 zum Beispiel eine Bildaufnahmevorrichtung auf, wie etwa eine Laufzeit(ToF)-Kamera, eine Stereokamera, eine Monokularkamera, eine Infrarotkamera und eine andere Kamera. Außerdem weist die Datenerfassungseinheit 6102 beispielsweise einen Umgebungssensor zum Detektieren eines Wetter- oder meteorologischen Phänomens und einen Umfeldinformationsdetektionssensor zum Detektieren eines Objekts im Umfeld des eigenen Fahrzeugs auf. Der Umgebungssensor weist beispielsweise einen Regensensor, einen Nebelsensor, einen Sonnenscheinsensor und einen Schneesensor auf. Der Umfeldinformationsdetektionssensor weist zum Beispiel einen Ultraschallsensor, ein Radar, eine Einheit für Lichtdetektion und -entfernungsmessung, Laserbildgebungsdetektion und -entfernungsmessung (LiDAR) und Sonar auf.
Ferner weist die Datenerfassungseinheit 6102 zum Beispiel verschiedene Sensoren zum Detektieren einer aktuellen Position des eigenen Fahrzeugs auf. Insbesondere weist die Datenerfassungseinheit 6102 beispielsweise einen GNSS-Empfänger (GNSS: Global Navigation Satellite System - globales Satellitennavigationssystem) oder dergleichen auf, der ein GNSS-Signal von einem GNSS-Satelliten empfängt.
Außerdem weist die Datenerfassungseinheit 6102 zum Beispiel verschiedene Sensoren zum Detektieren von Informationen im Fahrzeug auf. Insbesondere weist die Datenerfassungseinheit 6102 beispielsweise Folgendes auf: eine Bildaufnahmevorrichtung, die einen Fahrer aufnimmt, einen biologischen Sensor, der biologische Informationen des Fahrers detektiert, ein Mikrofon, das Sprache im Fahrzeuginnenraum sammelt, und dergleichen. Der biologische Sensor ist zum Beispiel auf der Sitzoberfläche oder dem Lenkrad bereitgestellt und detektiert biologische Informationen über den auf dem Sitz sitzenden Insassen oder den Fahrer, der das Lenkrad hält.
Die Kommunikationseinheit 6103 kommuniziert mit der fahrzeuginternen Vorrichtung 6104 und verschiedenen Vorrichtungen, Servern, Basisstationen und dergleichen außerhalb des Fahrzeugs, überträgt Daten, die von jeder der Einheiten des Fahrzeugsteuerungssystems 6100 geliefert werden, und liefert empfangene Daten an jede der Einheiten des Fahrzeugsteuerungssystems 6100. Ein Kommunikationsprotokoll, das die Kommunikationseinheit 6103 unterstützt, ist nicht besonders beschränkt, und die Kommunikationseinheit 6103 kann mehrere Arten von Kommunikationsprotokollen unterstützen.
Zum Beispiel führt die Kommunikationseinheit 6103 eine drahtlose Kommunikation mit der fahrzeuginternen Vorrichtung 6104 mittels Wireless LAN, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation (NFC: Near Field Communication), Wireless USB (WUSB) oder dergleichen durch. Beispielsweise führt die Kommunikationseinheit 6103 auch eine drahtgebundene Kommunikation mit der fahrzeuginternen Vorrichtung 6104 mittels USB (Universal Serial Bus), HDMI (eingetragenes Markenzeichen) (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link) oder dergleichen über einen nicht veranschaulichten Verbindungsanschluss (und ggf. ein Kabel) durch.
Ferner führt die Kommunikationseinheit 6103 eine Kommunikation zum Beispiel über eine Basisstation oder einen Zugangspunkt mit einer Vorrichtung (zum Beispiel einem Anwendungsserver oder einem Steuerserver) durch, die in einem externen Netzwerk (zum Beispiel dem Internet, einem Cloud-Netzwerk oder einem unternehmensspezifischen Netzwerk) vorhanden ist. Ferner führt die Kommunikationseinheit 6103 eine Kommunikation beispielsweise mit einem Endgerät (z. B. einem Endgerät eines Fußgängers oder eines Geschäfts und einem MTC-Endgerät (Machine Type Communication - Maschinentypkommunikation)), das in der Nähe des eigenen Fahrzeugs vorhanden ist, unter Verwendung einer Peer-zu-Peer(P2P)-Technik durch. Ferner führt beispielsweise die Kommunikationseinheit 6103 eine V2X-Kommunikation durch, wie etwa eine Kommunikation zwischen Fahrzeugen (Fahrzeug-zu-Fahrzeug-Kommunikation), eine Kommunikation zwischen einer Straße und einem Fahrzeug (Fahrzeug-zu-Infrastruktur-Kommunikation), eine Kommunikation zwischen dem eigenen Fahrzeug und einem Haus (Fahrzeug-zu-Haus-Kommunikation) und eine Kommunikation zwischen einem Fußgänger und einem Fahrzeug (Fahrzeug-zu-Fußgänger-Kommunikation). Ferner ist beispielsweise die Kommunikationseinheit 6103 mit einer Beacon-Empfangseinheit ausgestattet, empfängt elektrische Wellen oder elektromagnetische Wellen, die von einer auf der Straße installierten Drahtlosstation oder dergleichen übertragen werden, und erfasst Informationen wie etwa eine aktuelle Position, Verkehrsstaus, Verkehrsregelung und benötigte Zeit.
Die fahrzeuginterne Vorrichtung 6104 weist beispielsweise eine mobile Vorrichtung oder eine tragbare Vorrichtung, die dem Insassen gehört, eine Informationsvorrichtung, die in dem eigenen Fahrzeug geführt wird oder an diesem angebracht ist, und eine Navigationsvorrichtung zum Suchen einer Route zu einem beliebigen Ziel auf.
Die Ausgabesteuereinheit 6105 steuert die Ausgabe verschiedener Arten von Informationen an den Insassen des eigenen Fahrzeugs oder eine Außenseite des Fahrzeugs. Zum Beispiel erzeugt die Ausgabesteuereinheit 6105 ein Ausgabesignal, das visuelle Informationen (zum Beispiel Bilddaten) und/oder akustische Informationen (zum Beispiel Audiodaten) aufweist, und liefert das Ausgabesignal an die Ausgabeeinheit 6106, um die Ausgabe von visuellen Informationen und akustischen Informationen von der Ausgabeeinheit 6106 zu steuern. Insbesondere synthetisiert die Ausgabesteuereinheit 6105 zum Beispiel Bilddaten, die durch verschiedene Bildaufnahmevorrichtungen der Datenerfassungseinheit 6102 aufgenommen wurden, um ein Vogelperspektivenbild, ein Panoramabild oder dergleichen zu erzeugen, und liefert ein Ausgabesignal einschließlich des erzeugten Bildes an die Ausgabeeinheit 6106. Außerdem erzeugt die Ausgabesteuereinheit 6105 zum Beispiel Audiodaten einschließlich eines Warntons, einer Warnnachricht oder dergleichen für Gefahren, wie etwa eine Kollision, einen Kontakt und einen Eintritt in eine Gefahrenzone, und liefert ein Ausgabesignal einschließlich der erzeugten Audiodaten an die Ausgabeeinheit 6106.
Die Ausgabeeinheit 6106 weist eine Vorrichtung auf, die es ermöglicht, visuelle Informationen oder akustische Informationen an den Insassen des eigenen Fahrzeugs oder an die Außenseite des Fahrzeugs auszugeben. Zum Beispiel weist die Ausgabeeinheit 6106 eine Anzeigevorrichtung, ein Instrumentenfeld, einen Audiolautsprecher, Kopfhörer, eine Wearable-Vorrichtung, wie etwa eine Anzeige vom Brillentyp, die von dem Insassen getragen wird, einen Projektor, eine Lampe und dergleichen auf. Die in der Ausgabeeinheit 6106 enthaltene Anzeigevorrichtung kann, anstelle einer Vorrichtung mit einer normalen Anzeige, eine Vorrichtung sein, die visuelle Informationen im Sichtfeld des Fahrers anzeigt, wie etwa ein Head-up-Display, eine transmissive Anzeige und eine Vorrichtung mit einer AR-Anzeigefunktion (AR: Augmented Reality - erweiterte Realität).
Die Antriebsstrangsteuereinheit 6107 erzeugt verschiedene Steuersignale und liefert die Steuersignale an das Antriebsstrangsystem 6108, um das Antriebsstrangsystem 6108 zu steuern. Die Antriebsstrangsteuereinheit 6107 liefert auch Steuersignale an jede der anderen Einheiten als das Antriebsstrangsystem 6108, falls erforderlich, um einen Steuerzustand des Antriebsstrangsystems 6108 zu melden.
Das Antriebsstrangsystem 6108 weist verschiedene Vorrichtungen auf, die mit dem Antriebsstrang des eigenen Fahrzeugs in Zusammenhang stehen. Zum Beispiel weist das Antriebsstrangsystem 6108 Folgendes auf: eine Antriebskrafterzeugungsvorrichtung zum Erzeugen einer Antriebskraft, wie etwa einen Verbrennungsmotor und einen Antriebsmotor, einen Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, einen Lenkmechanismus zum Anpassen des Lenkwinkels, eine Bremsvorrichtung zum Erzeugen einer Bremskraft, ein Antiblockiersystem (ABS), eine elektronische Stabilitätskontrolle (ESC), eine elektrische Servolenkvorrichtung und dergleichen.
Die Karosseriesteuereinheit 6109 erzeugt verschiedene Steuersignale und liefert die Steuersignale an das Karosseriesystem 6110, um das Karosseriesystem 6110 zu steuern. Die Karosseriesteuereinheit 6109 liefert auch Steuersignale an jede der anderen Einheiten als das Karosseriesystem 6110, falls erforderlich, um einen Steuerzustand des Karosseriesystems 6110 zu melden.
Das Karosseriesystem 6110 weist verschiedene Karosserievorrichtungen auf, die in der Fahrzeugkarosserie bereitgestellt sind. Beispielsweise weist das Karosseriesystem 6110 ein schlüsselloses Zugangssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung, einen elektrischen Sitz, ein Lenkrad, eine Klimaanlage, verschiedene Leuchten (beispielsweise einen Scheinwerfer, eine Rückfahrleuchte, eine Bremsleuchte, einen Blinker und eine Nebelleuchte) und dergleichen auf.
Die Speicherungseinheit 6111 weist eine magnetische Speicherungsvorrichtung, eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung und eine magnetooptische Speicherungsvorrichtung auf, wie etwa einen Nur-LeseSpeicher (ROM), einen Direktzugriffsspeicher (RAM) und ein Festplattenlaufwerk (HDD). Die Speicherungseinheit 6111 speichert verschiedene Programme, Daten und dergleichen, die jede der Einheiten des Fahrzeugsteuerungssystems 6100 verwendet. Beispielsweise speichert die Speicherungseinheit 6111 Kartendaten, wie etwa eine dreidimensionale hochpräzise Karte, wie etwa eine dynamische Karte, eine globale Karte, die eine geringere Genauigkeit als die hochpräzise Karte aufweist und einen großen Bereich abdeckt, und eine lokale Karte einschließlich Informationen im Umfeld des eigenen Autos.
Die Autonomes-Fahren-Steuereinheit 6112 übernimmt die Steuerung des autonomen Fahrens, wie etwa autonome Fortbewegung und Fahrunterstützung. Insbesondere führt beispielsweise die Autonomes-Fahren-Steuereinheit 6112 eine Koordinierungssteuerung durch, um Funktionen des Fahrerassistenzsystems (FAS) zu erfüllen, einschließlich Kollisionsvermeidung oder Aufprallminderung des eigenen Fahrzeugs, Hinterherfahren basierend auf einer Entfernung zwischen Fahrzeugen, Fahren mit Aufrechterhaltung der Fahrzeuggeschwindigkeit, Kollisionswarnung für das eigene Fahrzeug, Spurverlassenswarnung für das eigene Fahrzeug und dergleichen. Beispielsweise führt die Autonomes-Fahren-Steuereinheit 6112 auch eine Koordinierungssteuerung zum Zweck des autonomen Fahrens durch, bei dem autonomes Fahren ohne Bedienung des Fahrers durchgeführt wird. Die Autonomes-Fahren-Steuereinheit 6112 weist eine Detektionseinheit 6131, eine Eigenpositionsschätzungseinheit 6132, eine Situationsanalyseeinheit 6133, eine Planungseinheit 6134 und eine Betriebssteuereinheit 6135 auf.
Die Detektionseinheit 6131 detektiert verschiedene Arten von Informationen, die zur Steuerung des autonomen Fahrens erforderlich sind. Die Detektionseinheit 6131 weist eine Fahrzeugaußeninformationen-Detektionseinheit 6141, eine Fahrzeuginneninformationen-Detektionseinheit 6142 und eine Fahrzeugzustand-Detektionseinheit 6143 auf.
Die Fahrzeugaußeninformationen-Detektionseinheit 6141 führt eine Detektionsverarbeitung für Informationen außerhalb des eigenen Fahrzeugs basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 durch. Beispielsweise führt die Fahrzeugaußeninformationen-Detektionseinheit 6141 eine Detektionsverarbeitung, eine Erkennungsverarbeitung und eine Nachverfolgungsverarbeitung für ein Objekt im Umfeld des eigenen Fahrzeugs und eine Detektionsverarbeitung für eine Entfernung zu einem Objekt durch. Das zu detektierende Objekt schließt beispielsweise ein Fahrzeug, eine Person, ein Hindernis, eine Struktur, eine Straße, eine Ampel, ein Verkehrszeichen und eine Straßenmarkierung ein. Beispielsweise führt die Fahrzeugaußeninformationen-Detektionseinheit 6141 auch eine Detektionsverarbeitung für eine Umgebung im Umfeld des eigenen Fahrzeugs durch. Die zu detektierende Umgebung schließt beispielsweise Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit und einen Straßenoberflächenzustand ein. Die Fahrzeugaußeninformationen-Detektionseinheit 6141 liefert Daten, die ein Ergebnis der Detektionsverarbeitung angeben, an die Eigenpositionsschätzungseinheit 6132, eine Kartenanalyseeinheit 6151, eine Verkehrsregelerkennungseinheit 6152 und eine Situationserkennungseinheit 6153 der Situationsanalyseeinheit 6133, eine Notfallsituationsvermeidungseinheit 6171 der Betriebssteuereinheit 6135 und dergleichen.
Die Fahrzeuginneninformationen-Detektionseinheit 6142 führt eine Detektionsverarbeitung für Informationen innerhalb des eigenen Fahrzeugs basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 durch. Beispielsweise führt die Fahrzeuginneninformationen-Detektionseinheit 6142 eine Authentifizierungsverarbeitung und Erkennungsverarbeitung für den Fahrer, eine Detektionsverarbeitung für einen Zustand des Fahrers, eine Detektionsverarbeitung für den Insassen, eine Detektionsverarbeitung für eine Umgebung innerhalb des Fahrzeugs und dergleichen durch. Der zu detektierende Zustand des Fahrers schließt beispielsweise eine körperliche Verfassung, ein Wachheitsniveau, ein Konzentrationsniveau, ein Ermüdungsniveau und eine Sichtlinienrichtung ein. Die zu detektierende Umgebung innerhalb des Fahrzeugs schließt beispielsweise Temperatur, Luftfeuchtigkeit, Helligkeit und Geruch ein. Die Fahrzeuginneninformationen-Detektionseinheit 6142 liefert Daten, die ein Ergebnis der Detektionsverarbeitung angeben, an die Situationserkennungseinheit 6153 der Situationsanalyseeinheit 6133, die Notfallsituationsvermeidungseinheit 6171 der Betriebssteuereinheit 6135 und dergleichen.
Die Fahrzeugzustand-Detektionseinheit 6143 führt eine Detektionsverarbeitung für einen Zustand des eigenen Fahrzeugs basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 durch. Der zu erfassende Zustand des eigenen Fahrzeugs schließt beispielsweise Geschwindigkeit, Beschleunigung, einen Lenkwinkel, Vorhandensein oder Nichtvorhandensein und Inhalt einer Abnormalität, einen Fahrbetriebszustand, eine Position und Neigung eines elektrischen Sitzes, einen Zustand der Türverriegelung und einen Zustand einer anderen fahrzeuginternen Vorrichtung ein. Die Fahrzeugzustand-Detektionseinheit 6143 liefert Daten, die ein Ergebnis der Detektionsverarbeitung angeben, an die Situationserkennungseinheit 6153 der Situationsanalyseeinheit 6133, die Notfallsituationsvermeidungseinheit 6171 der Betriebssteuereinheit 6135 und dergleichen.
Die Eigenpositionsschätzungseinheit 6132 führt eine Schätzungsverarbeitung für eine Position, eine Stellung und dergleichen des eigenen Fahrzeugs basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 wie etwa der Fahrzeugaußeninformationen-Detektionseinheit 6141 und der Situationserkennungseinheit 6153 der Situationsanalyseeinheit 6133 durch. Die Eigenpositionsschätzungseinheit 6132 erzeugt auch nach Bedarf eine lokale Karte (im Folgenden als Eigenpositionsschätzungskarte bezeichnet) zur Verwendung bei einer Schätzung einer Eigenposition. Die Eigenpositionsschätzungskarte ist eine hochgenaue Karte, die zum Beispiel eine Technik wie etwa simultane Lokalisierung und Kartierung (SLAM) verwendet. Die Eigenpositionsschätzungseinheit 6132 liefert Daten, die ein Ergebnis der Schätzungsverarbeitung angeben, an die Kartenanalyseeinheit 6151, die Verkehrsregelerkennungseinheit 6152 und die Situationserkennungseinheit 6153 der Situationsanalyseeinheit 6133 und dergleichen. Weiterhin speichert die Eigenpositionsschätzungseinheit 6132 die Eigenpositionsschätzungskarte in der Speicherungseinheit 6111.
Die Situationsanalyseeinheit 6133 führt eine Analyseverarbeitung für eine Situation des eigenen Fahrzeugs und der Umgebung durch. Die Situationsanalyseeinheit 6133 weist die Kartenanalyseeinheit 6151, die Verkehrsregelerkennungseinheit 6152, die Situationserkennungseinheit 6153 und eine Situationsvorhersageeinheit 6154 auf.
Die Kartenanalyseeinheit 6151 führt eine Analyseverarbeitung für verschiedene Karten, die in der Speicherungseinheit 6111 gespeichert sind, unter Verwendung von Daten oder eines Signals von jeder der Einheiten des Fahrzeugsteuersystems 6100 wie etwa der Eigenpositionsschätzungseinheit 6132 und der Fahrzeugaußeninformationen-Detektionseinheit 6141 nach Bedarf durch, um eine Karte zu erstellen, die Informationen enthält, die für die autonome Fahrverarbeitung erforderlich sind. Die Kartenanalyseeinheit 6151 liefert die erstellte Karte an die Verkehrsregelerkennungseinheit 6152, die Situationserkennungseinheit 6153, und die Situationsvorhersageeinheit 6154, und eine Routenplanungseinheit 6161, eine Handlungsplanungseinheit 6162 und eine Betriebsplanungseinheit 6163 der Planungseinheit 6134 und dergleichen.
Die Verkehrsregelerkennungseinheit 6152 führt eine Erkennungsverarbeitung für eine Verkehrsregel im Umfeld des eigenen Fahrzeugs basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 durch, wie etwa der Eigenpositionsschätzungseinheit 6132, der Fahrzeugaußeninformationen-Detektionseinheit 6141 und der Kartenanalyseeinheit 6151. Durch diese Erkennungsverarbeitung werden eine Position und ein Zustand einer Ampel im Umfeld des eigenen Fahrzeugs, der Inhalt einer Verkehrsregelung im Umfeld des eigenen Fahrzeugs und eine Fahrspur, auf der das Fahrzeug fahren kann, und dergleichen erkannt. Die Verkehrsregelerkennungseinheit 6152 liefert Daten, die ein Ergebnis der Erkennungsverarbeitung angeben, an die Situationsvorhersageeinheit 6154 und dergleichen.
Die Situationserkennungseinheit 6153 führt eine Erkennungsverarbeitung für eine Situation in Bezug auf das eigene Fahrzeug basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100 durch, wie etwa der Eigenpositionsschätzungseinheit 6132, der Fahrzeugaußeninformationen-Detektionseinheit 6141, der Fahrzeuginneninformationen-Detektionseinheit 6142, der Fahrzeugzustand-Detektionseinheit 6143 und der Kartenanalyseeinheit 6151. Beispielsweise führt die Situationserkennungseinheit 6153 eine Erkennungsverarbeitung für eine Situation des eigenen Fahrzeugs, eine Situation im Umfeld des eigenen Fahrzeugs, eine Situation des Fahrers des eigenen Fahrzeugs und dergleichen durch. Außerdem erzeugt die Situationserkennungseinheit 6153 nach Bedarf eine lokale Karte (nachstehend als eine Situationserkennungskarte bezeichnet) zur Verwendung bei der Erkennung der Situation im Umfeld des eigenen Fahrzeugs. Die Situationserkennungskarte ist zum Beispiel eine Belegtheitsgitterkarte.
Die zu erkennende Situation des eigenen Fahrzeugs schließt beispielsweise eine Position, eine Stellung und eine Bewegung (zum Beispiel Geschwindigkeit, Beschleunigung und eine Bewegungsrichtung) des eigenen Fahrzeugs sowie das Vorhandensein oder Nichtvorhandensein und den Inhalt einer Abnormalität ein. Die zu erkennende Situation im Umfeld des eigenen Fahrzeugs schließt beispielsweise eine Art und eine Position eines umliegenden stationären Objekts, eine Art, eine Position und Bewegung (zum Beispiel Geschwindigkeit, Beschleunigung und eine Bewegungsrichtung) eines umliegenden sich bewegenden Objekts, eine Konfiguration und einen Oberflächenzustand einer umliegenden Straße und umliegendes Wetter, Temperatur, Luftfeuchtigkeit und Helligkeit ein. Der zu erkennende Zustand des Fahrers schließt beispielsweise eine körperliche Verfassung, ein Wachheitsniveau, ein Konzentrationsniveau, ein Ermüdungsniveau, eine Bewegung einer Sichtlinie und einen Fahrbetrieb ein.
Die Situationserkennungseinheit 6153 liefert Daten, die ein Ergebnis der Erkennungsverarbeitung angeben (einschließlich der Situationserkennungskarte, wie erforderlich), an die Eigenpositionsschätzungseinheit 6132, die Situationsvorhersageeinheit 6154 und dergleichen. Außerdem speichert die Situationserkennungseinheit 6153 die Situationserkennungskarte in der Speicherungseinheit 6111.
Die Situationsvorhersageeinheit 6154 führt eine Vorhersageverarbeitung für eine Situation durch, die sich auf das eigene Fahrzeug bezieht, basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuerungssystems 6100, wie etwa der Kartenanalyseeinheit 6151, der Verkehrsregelerkennungseinheit 6152 und der Situationserkennungseinheit 6153. Beispielsweise führt die Situationsvorhersageeinheit 6154 eine Vorhersageverarbeitung für eine Situation des eigenen Fahrzeugs, eine Situation im Umfeld des eigenen Fahrzeugs, eine Situation des Fahrers und dergleichen durch.
Die vorherzusagende Situation des eigenen Fahrzeugs schließt beispielsweise die Bewegung des eigenen Fahrzeugs, das Auftreten einer Abnormalität und eine fahrbare Entfernung ein. Die vorherzusagende Situation im Umfeld des eigenen Fahrzeugs schließt beispielsweise die Bewegung eines sich bewegenden Körpers im Umfeld des eigenen Fahrzeugs, eine Änderung des Zustands einer Ampel und eine Änderung der Umgebung, wie etwa das Wetter, ein. Die vorherzusagende Situation des Fahrers schließt beispielsweise das Verhalten und die körperliche Verfassung des Fahrers ein.
Die Situationsvorhersageeinheit 6154 liefert Daten, die ein Ergebnis der Vorhersageverarbeitung angeben, sowie Daten von der Verkehrsregelerkennungseinheit 6152 und der Situationserkennungseinheit 6153 an die Routenplanungseinheit 6161, die Handlungsplanungseinheit 6162 und die Betriebsplanungseinheit 6163 der Planungseinheit 6134 und dergleichen.
Die Routenplanungseinheit 6161 plant eine Route zu einem Zielort basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuerungssystems 6100, wie etwa der Kartenanalyseeinheit 6151 und der Situationsvorhersageeinheit 6154. Beispielsweise legt die Routenplanungseinheit 6161 eine Route von einer aktuellen Position zu einem vorgegebenen Zielort basierend auf der globalen Karte fest. Beispielsweise ändert die Routenplanungseinheit 6161 auch die Route zweckmäßig basierend auf einer Situation von Verkehrsstaus, einem Unfall, Verkehrsregeln, Bauarbeiten und dergleichen sowie einer körperlichen Verfassung und dergleichen des Fahrers. Die Routenplanungseinheit 6161 liefert Daten, die die geplante Route angeben, an die Handlungsplanungseinheit 6162 und dergleichen.
Die Handlungsplanungseinheit 6162 plant eine Handlung des eigenen Fahrzeugs zum sicheren Durchfahren der von der Routenplanungseinheit 6161 geplanten Route innerhalb eines geplanten Zeitraums basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuersystems 6100, wie etwa der Kartenanalyseeinheit 6151 und der Situationsvorhersageeinheit 6154. Zum Beispiel erstellt die Handlungsplanungseinheit 6162 Pläne zum Starten, Stoppen, einer Fahrtrichtung (zum Beispiel einer Vorwärtsbewegung, einer Rückwärtsbewegung, einer Linksabbiegung, einer Rechtsabbiegung und einer Richtungsänderung), einer Fahrspur, einer Fahrgeschwindigkeit und Überholen. Die Handlungsplanungseinheit 6162 liefert Daten, die die geplante Handlung des eigenen Fahrzeugs angeben, an die Betriebsplanungseinheit 6163 und dergleichen.
Die Betriebsplanungseinheit 6163 plant den Betrieb des eigenen Fahrzeugs, um die von der Handlungsplanungseinheit 6162 geplante Handlung zu erreichen, basierend auf Daten oder einem Signal von jeder der Einheiten des Fahrzeugsteuerungssystems 6100 wie etwa der Kartenanalyseeinheit 6151 und der Situationsvorhersageeinheit 6154. Beispielsweise erstellt die Betriebsplanungseinheit 6163 Pläne für Beschleunigung, Verlangsamung und einen Fahrkurs. Die Betriebsplanungseinheit 6163 liefert Daten, die den geplanten Betrieb des eigenen Fahrzeugs angeben, an eine Beschleunigung/Verlangsamung-Steuereinheit 6172 und eine Richtungssteuereinheit 6173 der Betriebssteuereinheit 6135 und dergleichen.
Die Betriebssteuereinheit 6135 steuert den Betrieb des eigenen Fahrzeugs. Die Betriebssteuereinheit 6135 weist die Notfallsituationsvermeidungseinheit 6171, die Beschleunigung/Verlangsamung-Steuereinheit 6172 und die Richtungssteuereinheit 6173 auf.
Die Notfallsituationsvermeidungseinheit 6171 führt eine Detektionsverarbeitung für eine Notfallsituation wie etwa Kollision, Kontakt, Eintritt in eine Gefahrenzone, eine Abnormalität des Fahrers und eine Abnormalität des Fahrzeugs basierend auf dem Detektionsergebnis von der Fahrzeugaußeninformationen-Detektionseinheit 6141, der Fahrzeuginneninformationen-Detektionseinheit 6142 und der Fahrzeugzustand-Detektionseinheit 6143 durch. In einem Fall des Detektierens des Auftretens einer Notfallsituation plant die Notfallsituationsvermeidungseinheit 6171 den Betrieb des eigenen Fahrzeugs, wie etwa ein plötzliches Stoppen oder eine scharfe Lenkbewegung, um die Notfallsituation zu vermeiden. Die Notfallsituationsvermeidungseinheit 6171 liefert Daten, die den geplanten Vorgang des eigenen Fahrzeugs angeben, an die Beschleunigung/Verlangsamung-Steuereinheit 6172, die Richtungssteuereinheit 6173 und dergleichen.
Die Beschleunigung/Verlangsamung-Steuereinheit 6172 führt eine Beschleunigung/Verlangsamung-Steuerung durch, um den durch die Betriebsplanungseinheit 6163 oder die Notfallsituationsvermeidungseinheit 6171 geplanten Vorgang des eigenen Fahrzeugs zu erreichen. Beispielsweise berechnet die Beschleunigung/Verlangsamung-Steuereinheit 6172 einen Steuerzielwert für die Antriebskrafterzeugungsvorrichtung oder die Bremsvorrichtung zum Erreichen der geplanten Beschleunigung, Verlangsamung oder des plötzlichen Stoppens und liefert einen Steuerbefehl, der den berechneten Steuerungszielwert angibt, an die Antriebsstrangsteuereinheit 6107.
Die Richtungssteuereinheit 6173 führt eine Richtungssteuerung zum Erreichen des durch die Betriebsplanungseinheit 6163 oder die Notfallsituationsvermeidungseinheit 6171 geplanten Vorgangs des eigenen Fahrzeugs durch. Zum Beispiel berechnet die Richtungssteuereinheit 6173 einen Steuerzielwert für den Lenkmechanismus zum Erreichen des durch die Betriebsplanungseinheit 6163 oder die Notfallsituationsvermeidungseinheit 6171 geplanten Fahrkurses oder der durch diese geplanten scharfen Lenkbewegung und liefert einen Steuerbefehl, der den berechneten Steuerzielwert angibt, an die Antriebsstrangsteuereinheit 6107.
Die Informationsverarbeitungsvorrichtung 10d gemäß der oben beschriebenen vierten Ausführungsform ist beispielsweise mit der Kommunikationseinheit 6103 verbunden. Mit anderen Worten kann die Informationsverarbeitungsvorrichtung 10d als eine Endgerätevorrichtung angesehen werden, die über die Kommunikationseinheit 6103 mit der Autonomes-Fahren-Steuereinheit 6112 und dergleichen kommuniziert.
Die Ausgaben der Verarbeitungseinheiten 30a, 30b und 30c und die von der Steuereinheit 40d in der Informationsverarbeitungsvorrichtung 10d ausgegebenen Steuerzustandsinformationen werden von der Informationsverarbeitungsvorrichtung 10d ausgegeben und über die Kommunikationseinheit 6103 der Autonomes-Fahren-Steuereinheit 6112 geliefert. Die Autonomes-Fahren-Steuereinheit 6112 verarbeitet in jeder der darin enthaltenen Einheiten die Ausgaben von den jeweiligen Verarbeitungseinheiten 30a, 30b und 30c basierend auf den von der Informationsverarbeitungsvorrichtung 10d ausgegebenen Steuerzustandsinformationen in geeigneter Weise.
24 veranschaulicht ein Beispiel von Installationspositionen der Bildaufnahmevorrichtung, die in der Datenerfassungseinheit 6102 enthalten ist. Bildaufnahmeeinheiten 7910, 7912, 7914, 7916 und 7918, auf die die Bildaufnahmevorrichtung angewendet werden kann, sind zum Beispiel an mindestens einer Position aus der Front, den Seitenspiegeln, der hinteren Stoßstange, der hinteren Tür und des oberen Teils der Windschutzscheibe im Fahrzeuginnenraum eines Fahrzeugs 7900 bereitgestellt. Die Bildaufnahmeeinheit 7910, die an der Front bereitgestellt ist, und die Bildaufnahmeeinheit 7918, die an dem oberen Teil der Windschutzscheibe in dem Fahrzeuginnenraum bereitgestellt ist, erfassen hauptsächlich Bilder einer Vorderseite des Fahrzeugs 7900. Die Bildaufnahmeeinheiten 7912 und 7914, die an den Seitenspiegeln bereitgestellt sind, erfassen hauptsächlich Bilder lateraler Seiten des Fahrzeugs 7900. Die Bildaufnahmeeinheit 7916, die an der hinteren Stoßstange oder der hinteren Tür bereitgestellt ist, erfasst hauptsächlich ein Bild einer Rückseite des Fahrzeugs 7900. Die Bildaufnahmeeinheit 7918, die an dem oberen Teil der Windschutzscheibe in dem Fahrzeuginnenraum bereitgestellt ist, wird hauptsächlich zum Detektieren eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, einer Ampel, eines Verkehrszeichens, einer Fahrbahn oder dergleichen verwendet.
Es ist zu beachten, dass 24 Beispiele von Bildaufnahmebereichen für die jeweiligen Bildaufnahmeeinheiten 7910, 7912, 7914 und 7916 veranschaulicht. Ein Bildaufnahmebereich a gibt einen Bildaufnahmebereich für die Bildaufnahmeeinheit 7910 an, die an der Front bereitgestellt ist, die Bildaufnahmebereiche b und c geben Bildaufnahmebereiche für die Bildaufnahmeeinheiten 7912 und 7914 an, die jeweils an den Seitenspiegeln bereitgestellt sind, und ein Bildaufnahmebereich d gibt einen Bildaufnahmebereich für die Bildaufnahmeeinheit 7916 an, die an der hinteren Stoßstange oder der hinteren Tür bereitgestellt ist. Zum Beispiel kann durch die Überlagerung von Bilddaten, die von den Bildaufnahmeeinheiten 7910, 7912, 7914 und 7916 aufgenommen wurden, ein von oben gesehenes Vogelperspektivenbild des Fahrzeugs 7900 erhalten werden.
Die Fahrzeugaußeninformationen-Detektionseinheiten 7920, 7922, 7924, 7926, 7928 und 7930, die an der Vorderseite, dem Heck, den Seiten, den Ecken und dem oberen Teil der Windschutzscheibe in dem Fahrzeuginnenbereich des Fahrzeugs 7900 bereitgestellt sind, können zum Beispiel Ultraschallsensoren oder Radarvorrichtungen sein. Die Fahrzeugaußeninformationen-Detektionseinheiten 7920, 7926 und 7930, die an der Front, der hinteren Stoßstange, der hinteren Tür und dem oberen Teil der Windschutzscheibe im Fahrzeuginnenraum des Fahrzeugs 7900 bereitgestellt sind, können beispielsweise LiDAR-Vorrichtungen sein. Diese Fahrzeugaußeninformationen-Detektionseinheiten 7920 bis 7930 werden hauptsächlich zum Detektieren eines vorausfahrenden Fahrzeuges, eines Fußgängers, eines Hindernisses oder dergleichen verwendet.
Auch in 24 sind die Scheinwerferkästen 7940_L und 7940_R am rechten und linken Ende der Vorderseite des Fahrzeugs 7900 bereitgestellt. Ein Scheinwerfer, der im Scheinwerferkasten 7940_L untergebracht ist, kann als die oben beschriebene Lichtquelle 21^L verwendet werden. Der Bildsensor 20_L ist auch im Scheinwerferkasten 7940_L untergebracht, wobei die optischen Achsen des Bildsensors 20_L und der Lichtquelle 21_L (Scheinwerfer) im Wesentlichen zueinander ausgerichtet sind. Der Bildsensor 20_C kann auch an der Position der Bildaufnahmeeinheit 7910 bereitgestellt sein. Die Bildaufnahmeeinheit 7910 kann als der Bildsensor 20_C verwendet werden.
Es ist zu beachten, dass die vorliegende Technik auch die folgende Konfiguration einsetzen kann.

(1) Eine Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
- eine Steuereinheit, die das Ansteuern einer Lichtquelle gemäß Steuerinformationen steuert; und
- eine Verarbeitungseinheit, die Zustandsinformationen erfasst, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.
(2) Die Informationsverarbeitungsvorrichtung gemäß (1), wobei die Steuereinheit das von der Lichtquelle emittierte Licht gemäß den Steuerinformationen moduliert, und die Verarbeitungseinheit eine synchrone Detektion basierend auf den Steuerinformationen an dem vom Bildsensor detektierten Bild durchführt und die Zustandsinformationen erfasst.
(3) Die Informationsverarbeitungsvorrichtung gemäß (2), wobei die Steuereinheit die Modulation gemäß den Steuerinformationen adaptiv zu eindeutigen Informationen durchführt, die für die Informationsverarbeitungsvorrichtung eindeutig sind.
(4) Die Informationsverarbeitungsvorrichtung gemäß (3), wobei die Steuereinheit die Modulation durch Ändern der Steuerinformationen im Laufe der Zeit gemäß einer Regel adaptiv zu den eindeutigen Informationen durchführt.
(5) Die Informationsverarbeitungsvorrichtung gemäß (1), wobei die Verarbeitungseinheit die Zustandsinformationen unter Verwendung des Bildes erfasst, das von dem Bildsensor, dessen optische Achse im Wesentlichen mit einer optischen Achse der Lichtquelle ausgerichtet ist, detektiert wird.
(6) Die Informationsverarbeitungsvorrichtung gemäß (5), wobei die Steuereinheit das Ansteuern der Lichtquelle gemäß den Steuerinformationen zum Steuern eines eingeschalteten Zustands und eines ausgeschalteten Zustands der Lichtquelle steuert, und die Verarbeitungseinheit basierend auf den Steuerinformationen die Zustandsinformationen unter Verwendung eines ersten Bildes, das vom Bildsensor im eingeschalteten Zustand detektiert wird, und eines zweiten Bildes, das vom Bildsensor im ausgeschalteten Zustand detektiert wird, erfasst.
(7) Die Informationsverarbeitungsvorrichtung gemäß (6), wobei die Verarbeitungseinheit die Zustandsinformationen basierend auf einer Differenz zwischen der Durchschnittsluminanz der jeweiligen im ersten Bild enthaltenen Pixel und der Durchschnittsluminanz der jeweiligen im zweiten Bild enthaltenen Pixel erfasst.
(8) Die Informationsverarbeitungsvorrichtung gemäß (1), wobei die Steuereinheit die Lichtquelle unter Verwendung eines als ein Bild dienenden Musters als die Steuerinformation ansteuert.
(9) Die Informationsverarbeitungsvorrichtung gemäß (8), wobei die Verarbeitungseinheit die Zustandsinformation unter Verwendung eines Bildes mit dem vom Bildsensor detektierten Muster erfasst, dessen Richtung der optischen Achse und eine Richtung der optischen Achse der Lichtquelle einen Winkel mit einem vorbestimmten Wert oder höher bilden.
(10) Die Informationsverarbeitungsvorrichtung gemäß (9), wobei die Verarbeitungseinheit die Zustandsinformationen unter Verwendung der zwei oder mehr Bilder mit dem Muster erfasst, das von den zwei oder mehr Bildsensoren detektiert wird, deren Winkel sich voneinander unterscheiden.
(11) Die Informationsverarbeitungsvorrichtung gemäß einem von (8) bis (10), wobei die Verarbeitungseinheit als ein virtuelles Bild ein Bild berechnet, das in einem Fall erhalten wurde, in dem angenommen wird, dass der Bildsensor das von der Lichtquelle auf einer virtuellen Subjektoberfläche bestrahlte Muster detektiert, das in einem Fall erhalten wird, in dem angenommen wird, dass die Subjektoberfläche vollständig flach ist, und die Zustandsinformationen basierend auf einer Differenz zwischen dem virtuellen Bild und dem Bild mit dem tatsächlich vom Bildsensor detektierten Muster erfasst.
(12) Die Informationsverarbeitungsvorrichtung gemäß einem von (8) bis (11), wobei die Steuereinheit eine Größe des Musters im Laufe der Zeit ändert.
(13) Die Informationsverarbeitungsvorrichtung gemäß einem von (8) bis (12), wobei die Verarbeitungseinheit die Neigung der Subjektoberfläche basierend auf einer Verzerrung des Musters in einer vertikalen Richtung im Bild detektiert, wobei das Muster vom Bildsensor detektiert wird.
(14) Die Informationsverarbeitungsvorrichtung gemäß einem von (8) bis (13), wobei das Muster ein Gittermuster ist.
(15) Die Informationsverarbeitungsvorrichtung gemäß (1), wobei die Steuereinheit nacheinander wiederholt Folgendes ausführt:
- Verarbeitung, bei der die Steuereinheit das von der Lichtquelle emittierte Licht gemäß den Steuerinformationen moduliert, und wobei die Verarbeitungseinheit eine synchrone Detektion basierend auf den Steuerinformationen an dem vom Bildsensor detektierten Bild durchführt und die Zustandsinformationen erfasst,
- Verarbeitung, bei der die Verarbeitungseinheit die Zustandsinformationen unter Verwendung des von dem Bildsensor detektierten Bildes erfasst, dessen optische Achse im Wesentlichen mit der optischen Achse der Lichtquelle ausgerichtet ist, und
- Verarbeitung, bei der die Steuereinheit die Lichtquelle unter Verwendung des als ein Bild dienenden Musters als die Steuerinformationen ansteuert.
(16) Die Informationsverarbeitungsvorrichtung gemäß einem von (1) bis (15), wobei die Subjektoberfläche eine Straßenoberfläche ist.
(17) Eine Endgerätevorrichtung, die Folgendes aufweist:
- eine Steuereinheit, die das Ansteuern einer Lichtquelle gemäß Steuerinformationen steuert;
- eine Verarbeitungseinheit, die Zustandsinformationen erfasst, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen; und
- eine Übertragungseinheit, die die Zustandsinformationen, die die Verarbeitungseinheit erfasst, zu einem beweglichen Körper überträgt, an dem eine eigene Vorrichtung montiert ist.
(18) Die Endgerätevorrichtung gemäß (17), wobei die Lichtquelle ein Scheinwerfer ist, der Licht auf eine Vorderseite des beweglichen Körpers strahlt.
(19) Die Endgerätevorrichtung gemäß (17) oder (18), wobei die Subjektoberfläche eine Straßenoberfläche ist, auf der der bewegliche Körper fährt.
(20) Ein Informationsverarbeitungsverfahren, das Folgendes aufweist:
- einen Steuerschritt zum Steuern des Ansteuerns einer Lichtquelle gemäß Steuerinformationen; und
- einen Verarbeitungsschritt zum Erfassen von Zustandsinformationen, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.
(21) Ein Informationsverarbeitungsprogramm, das veranlasst, dass ein Computer Folgendes ausführt:
- einen Steuerschritt zum Steuern des Ansteuerns einer Lichtquelle gemäß Steuerinformationen; und
- einen Verarbeitungsschritt zum Erfassen von Zustandsinformationen, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.

Bezugszeichenliste

2, 24, 7900: FAHRZEUG
10, 10a, 10b, 10c, 10d: INFORMATIONSVERARBEITUNGSVORRICHTUNG
20, 20C, 20L, 20R: BILDSENSOR
21, 21L, 21R: LICHTQUELLE
30, 30a, 30b, 30c: VERARBEITUNGSEINHEIT
40, 40a, 40b, 40c,: 40d STEUEREINHEIT
100: OSZILLATOR
101: MULTIPLIZIERER
102: LPF
300: DURCHSCHNITTSWERTBERECHNUNGSEINHEIT
302, 500, 501, 504, 505: SCHALTEREINHEIT
303a, 303b: DURCHSCHNITTSWERTSPEICHERUNGSEINHEIT
304: SUBTRAHIERER
305: BESTIMMUNGSEINHEIT
310: BILDSPEICHERUNGSEINHEIT
311: BERECHNUNGSEINHEIT
312: RECHENEINHEIT
410, 410': BILDMUSTER

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 6300537 A [0002]
JP 2017019713 A [0002]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes aufweist: eine Steuereinheit, die das Ansteuern einer Lichtquelle gemäß Steuerinformationen steuert; und eine Verarbeitungseinheit, die Zustandsinformationen erfasst, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Steuereinheit das von der Lichtquelle emittierte Licht gemäß den Steuerinformationen moduliert, und die Verarbeitungseinheit eine synchrone Detektion basierend auf den Steuerinformationen an dem vom Bildsensor detektierten Bild durchführt und die Zustandsinformationen erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Steuereinheit die Modulation gemäß den Steuerinformationen adaptiv zu eindeutigen Informationen durchführt, die für die Informationsverarbeitungsvorrichtung eindeutig sind.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Steuereinheit die Modulation durch Ändern der Steuerinformationen im Laufe der Zeit gemäß einer Regel adaptiv zu den eindeutigen Informationen durchführt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Verarbeitungseinheit die Zustandsinformationen unter Verwendung des Bildes erfasst, das von dem Bildsensor, dessen optische Achse im Wesentlichen mit einer optischen Achse der Lichtquelle ausgerichtet ist, detektiert wird.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Steuereinheit das Ansteuern der Lichtquelle gemäß den Steuerinformationen zum Steuern eines eingeschalteten Zustands und eines ausgeschalteten Zustands der Lichtquelle steuert, und die Verarbeitungseinheit basierend auf den Steuerinformationen die Zustandsinformationen unter Verwendung eines ersten Bildes, das vom Bildsensor im eingeschalteten Zustand detektiert wird, und eines zweiten Bildes, das vom Bildsensor im ausgeschalteten Zustand detektiert wird, erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Verarbeitungseinheit die Zustandsinformationen basierend auf einer Differenz zwischen der Durchschnittsluminanz der jeweiligen im ersten Bild enthaltenen Pixel und der Durchschnittsluminanz der jeweiligen im zweiten Bild enthaltenen Pixel erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Steuereinheit die Lichtquelle unter Verwendung eines als ein Bild dienenden Musters als die Steuerinformation ansteuert.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Verarbeitungseinheit die Zustandsinformationen unter Verwendung eines Bildes mit dem vom Bildsensor detektierten Muster erfasst, dessen Richtung der optischen Achse und eine Richtung der optischen Achse der Lichtquelle einen Winkel mit einem vorbestimmten Wert oder höher bilden.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Verarbeitungseinheit die Zustandsinformationen unter Verwendung der zwei oder mehr Bilder mit dem Muster erfasst, das von den zwei oder mehr Bildsensoren detektiert wird, deren Winkel sich voneinander unterscheiden.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Verarbeitungseinheit als ein virtuelles Bild ein Bild berechnet, das in einem Fall erhalten wurde, in dem angenommen wird, dass der Bildsensor das von der Lichtquelle auf einer virtuellen Subjektoberfläche bestrahlte Muster detektiert, das in einem Fall erhalten wird, in dem angenommen wird, dass die Subjektoberfläche vollständig flach ist, und die Zustandsinformationen basierend auf einer Differenz zwischen dem virtuellen Bild und dem Bild mit dem tatsächlich vom Bildsensor detektierten Muster erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Steuereinheit eine Größe des Musters im Laufe der Zeit ändert.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Verarbeitungseinheit die Neigung der Subjektoberfläche basierend auf einer Verzerrung des Musters in einer vertikalen Richtung im Bild detektiert, wobei das Muster vom Bildsensor detektiert wird.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei das Muster ein Gittermuster ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Steuereinheit nacheinander wiederholt Folgendes ausführt: Verarbeitung, bei der die Steuereinheit das von der Lichtquelle emittierte Licht gemäß den Steuerinformationen moduliert, und wobei die Verarbeitungseinheit eine synchrone Detektion basierend auf den Steuerinformationen an dem vom Bildsensor detektierten Bild durchführt und die Zustandsinformationen erfasst, Verarbeitung, bei der die Verarbeitungseinheit die Zustandsinformationen unter Verwendung des von dem Bildsensor detektierten Bildes erfasst, dessen optische Achse im Wesentlichen mit der optischen Achse der Lichtquelle ausgerichtet ist, und Verarbeitung, bei der die Steuereinheit die Lichtquelle unter Verwendung des als ein Bild dienenden Musters als die Steuerinformationen ansteuert.
Endgerätevorrichtung, die Folgendes aufweist: eine Steuereinheit, die das Ansteuern einer Lichtquelle gemäß Steuerinformationen steuert; eine Verarbeitungseinheit, die Zustandsinformationen erfasst, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen; und eine Übertragungseinheit, die die Zustandsinformationen, die die Verarbeitungseinheit erfasst, zu einem beweglichen Körper überträgt, an dem eine eigene Vorrichtung montiert ist.
Endgerätevorrichtung nach Anspruch 16, wobei die Lichtquelle ein Scheinwerfer ist, der Licht auf eine Vorderseite des beweglichen Körpers strahlt.
Endgerätevorrichtung nach Anspruch 16, wobei die Subjektoberfläche eine Straßenoberfläche ist, auf der der bewegliche Körper fährt.
Informationsverarbeitungsverfahren, das Folgendes aufweist: einen Steuerschritt zum Steuern des Ansteuerns einer Lichtquelle gemäß Steuerinformationen; und einen Verarbeitungsschritt zum Erfassen von Zustandsinformationen, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.
Informationsverarbeitungsprogramm, das veranlasst, dass ein Computer Folgendes ausführt: einen Steuerschritt zum Steuern des Ansteuerns einer Lichtquelle gemäß Steuerinformationen; und einen Verarbeitungsschritt zum Erfassen von Zustandsinformationen, die einen Zustand einer Subjektoberfläche angeben, basierend auf einem Bild adaptiv zu Licht, das von der Lichtquelle auf die Subjektoberfläche gestrahlt und von einem Bildsensor detektiert wird, und den Steuerinformationen.