DE112020003845T5

DE112020003845T5 - Vorrichtung, messungsvorrichtung, entfernungsmessungssystem und verfahren

Info

Publication number: DE112020003845T5
Application number: DE112020003845.9T
Authority: DE
Inventors: Kyoji Yokoyama
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-08-13
Filing date: 2020-08-04
Publication date: 2022-04-28
Also published as: WO2021029262A1; JP2021032563A; CN114174864A; US20220276379A1

Abstract

Eine Vorrichtung (1) ist bereitgestellt. Die Vorrichtung (1) ist mit einer Modellwechseleinheit (113) versehen. Basierend auf dem Ausgabesignal, das von einem Lichtempfangselement ausgegeben wird, wenn Licht empfangen wird, das von einer Lichtquelle (2) emittiert und durch das zu messende Objekt reflektiert wird, wechselt die Modellwechseleinheit (113) das Maschinenlernmodell, das zum Erkennen von Informationen bezüglich der Entfernung zu einem Zielobjekt verwendet wird.

Description

Gebiet
Die vorliegende Offenbarung betrifft eine Vorrichtung, eine Messungsvorrichtung, ein Entfernungsmessungssystem und ein Verfahren.
Hintergrund
Als eines von Entfernungsmessungsverfahren zum Messen einer Entfernung zu einem Messungsobjekt unter Verwendung von Licht ist ein Entfernungsmessungsverfahren bekannt, das als ein Direkt-Laufzeit(ToF: Time of Flight)-Verfahren bezeichnet wird. Bei der Entfernungsmessungsverarbeitung durch das Direkt-ToF-Verfahren wird die Entfernung zu dem Messungsobjekt basierend auf der Zeit von dem Emissionstiming, das die Emission von Licht durch eine Lichtquelle angibt, bis zu dem Lichtempfangstiming, zu dem das durch das Messungsobjekt reflektierte Licht durch ein Lichtempfangselement empfangen wird, erhalten.
Insbesondere wird die Zeit von dem Emissionstiming zu dem Lichtempfangstiming, zu dem das Licht durch das Lichtempfangsempfangselement empfangen wird, gemessen und Zeitinformationen, die die gemessene Zeit angeben, werden in dem Speicher gespeichert. Diese Messung wird mehrmals ausgeführt und ein Histogramm wird basierend auf mehreren Elementen von Zeitinformationen erzeugt, die durch die mehrmaligen Messungen erhalten werden und in dem Speicher gespeichert werden. Die Entfernung zu dem Messungsobjekt wird basierend auf dem Histogramm erhalten.
Zitatliste
Patentliteratur
Patentliteratur 1: JP 2016-176750 A Kurzdarstellung
Technisches Problem
Jedoch gibt es bei der oben beschriebenen herkömmlichen Technik ein Problem, dass verschiedene Prozesse notwendig sind, um das Histogramm zu erzeugen, die Schwelle des Histogramms zu bestimmen und die Zeitinformationen zu detektieren und die Entfernung zu dem Messungsobjekt zu erhalten, und es ist eine Verarbeitungszeit erforderlich. Außerdem gibt es ein Problem, dass Zeit und Aufwand erforderlich sind, um für verschiedene Prozesse erforderliche Parameter anzupassen. Da die Berechnungsgenauigkeit der Entfernung von der Speichermenge des Speichers, der die Zeitinformationen speichert, der Anzahl an Klassen (Bins) des Histogramms und dergleichen abhängt, gibt es des Weiteren ein Problem, dass es schwierig ist, die Genauigkeit zu verbessern.
Daher schlägt die vorliegende Offenbarung eine Vorrichtung, eine Messungsvorrichtung, ein Entfernungsmessungssystem und ein Verfahren vor, die zum Reduzieren einer Verarbeitungszeit und von Zeit und Aufwand zur Parameteranpassung und zum Verbessern einer Genauigkeit in der Lage sind.
Lösung des Problems
Gemäß der vorliegenden Offenbarung ist eine Vorrichtung bereitgestellt. Die Vorrichtung beinhaltet eine Modellwechseleinheit. Die Modellwechseleinheit wechselt ein Maschinenlernmodell, das zum Erkennen von Informationen über eine Entfernung zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal, das von einem Lichtempfangselement ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Offenbarung ist es möglich, die Verarbeitungszeit und die Zeit und den Aufwand zur Parameteranpassung zu reduzieren und die Genauigkeit zu verbessern. Übrigens sind die hier beschriebenen Effekte nicht zwingend beschränkt und können beliebige der in der vorliegenden Offenbarung beschriebenen Effekte sein.
Figurenliste

1 ist ein Diagramm, das schematisch ein Beispiel für eine Entfernungsmessung durch ein Direkt-ToF-Verfahren veranschaulicht.
2 ist ein Diagramm, das ein Beispiel für ein Histogramm basierend auf einer Zeit veranschaulicht, zu der eine Lichtempfangseinheit Licht empfängt.
3 ist ein Diagramm zum Beschreiben eines Überblicks eines Entfernungsmessungsverfahrens gemäß einer Ausführungsform der vorliegenden Offenbarung.
4 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration eines Entfernungsmessungssystems gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
5 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration einer Messungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
6 ist ein schematisches Diagramm, das ein Beispiel für eine laminierte Struktur der Messungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
7 ist ein Diagramm zum Beschreiben einer Übersicht eines neuronalen Netzes.
8 ist ein Diagramm zum Beschreiben eines Beispiels für ein Maschinenlernmodell.
9 ist ein Diagramm zum Beschreiben eines Beispiels für das Maschinenlernmodell.
10 ist ein Diagramm zum Beschreiben einer Erkennung von Zeitinformationen durch eine Erkennungseinheit.
11 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Steuervorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
12 ist ein Diagramm zum Beschreiben einer Entfernungsmessungsposition, die durch eine Entfernungsmessungsbestimmungseinheit bestimmt wird.
13 ist ein Diagramm zum Beschreiben einer Entfernungsmessungsposition, die durch die Entfernungsmessungsbestimmungseinheit bestimmt wird.
14 ist ein Flussdiagramm, das ein Beispiel für eine Prozedur eines Modellauswahlprozesses gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
15 ist ein Flussdiagramm, das ein Beispiel für eine Prozedur eines Messungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
16 ist ein Diagramm, das ein Beispiel für eine Verteilung von Zeitinformationen von Pixeln veranschaulicht.
17 ist ein Diagramm, das ein anderes Beispiel für die Verteilung der Zeitinformationen der Pixel veranschaulicht.
18 ist ein Diagramm, das ein Verwendungsbeispiel unter Verwendung einer Messungsvorrichtung veranschaulicht, auf die die oben beschriebene Ausführungsform und Modifikation angewandt werden können.
19 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuersystems veranschaulicht, das ein Beispiel für ein Bewegender-Körper-Steuersystem ist, auf das eine Technik gemäß der vorliegenden Offenbarung angewandt werden kann.
20 ist ein Diagramm, das ein Beispiel für eine Installationsposition einer Bildgebungseinheit veranschaulicht.

Beschreibung von Ausführungsformen
Nachfolgend wird jede Ausführungsformen der vorliegenden Offenbarung ausführlich basierend auf den Zeichnungen beschrieben. Übrigens werden in jeder der folgenden Ausführungsformen den gleichen Teilen die gleichen Bezugszeichen gegeben und wird eine doppelte Beschreibung ausgelassen.
(Entfernungsmessungsverfahren unter Verwendung eines Histogramms)
Vor der Beschreibung der Ausführungsform der vorliegenden Offenbarung wird zum besseren Verständnis eine Technik zum Durchführen einer Entfernungsmessung unter Verwendung eines Histogramms als eines von Entfernungsmessungsverfahren beschrieben. Als eine Entfernungsmessungstechnik wird in diesem Fall ein Direkt-Laufzeit(ToF)-Verfahren angewandt. Das Direkt-ToF-Verfahren ist eine Technik, bei der reflektiertes Licht, das erhalten wird, wenn von einer Lichtquelle emittiertes Licht durch ein Messungsobjekt reflektiert wird und durch ein Lichtempfangselement empfangen wird, und eine Entfernungsmessung wird basierend auf einer Zeit einer Differenz zwischen einem Lichtemissionstiming und einem Lichtempfangstiming durchgeführt.
Ein Beispiel für ein Entfernungsmessungsverfahren durch das Direkt-ToF-Verfahren wird schematisch unter Bezugnahme auf 1 und 2 beschrieben. 1 ist ein Diagramm, das schematisch ein Beispiel für eine Entfernungsmessung durch das Direkt-ToF-Verfahren veranschaulicht. Eine Entfernungsmessungsvorrichtung 300a beinhaltet eine Lichtquelleneinheit 301a und eine Lichtempfangseinheit 302a. Die Lichtquelleneinheit 301a ist zum Beispiel eine Laserdiode und wird zum Emittieren von Laserlicht in einer Pulsform angesteuert. Das von der Lichtquelleneinheit 301a emittierte Licht wird durch ein Messungsobjekt 303a reflektiert und wird durch die Lichtempfangseinheit 302a als reflektiertes Licht empfangen. Die Lichtempfangseinheit 302a beinhaltet ein Lichtempfangselement, das Licht durch fotoelektrische Umwandlung in ein elektrisches Signal umwandelt, und gibt ein Signal aus, das dem empfangenen Licht entspricht.
Hier ist eine Zeit (Lichtemissionstiming), zu der die Lichtquelleneinheit 301a Licht emittiert, als eine Zeit tem definiert und ist eine Zeit (Lichtempfangstiming), zu der die Lichtempfangseinheit 302a reflektiertes Licht empfängt, das erhalten wird, wenn das von der Lichtquelleneinheit 301a emittierte Licht durch das Messungsobjekt 303a reflektiert wird, als eine Zeit t_re definiert. Unter der Annahme, dass eine Konstante c eine Lichtgeschwindigkeit (2,9979 × 10⁸ [m/s]) ist, wird eine Entfernung D zwischen der Entfernungsmessungsvorrichtung 300a und dem Messungsobjekt 303a durch die folgende Gleichung (1) berechnet. $D= (c/2) × (t_{em} {-t}_{re})$
Die Entfernungsmessungsvorrichtung 300a führt die oben beschriebene Verarbeitung wiederholt mehrere Male aus. Die Lichtempfangseinheit 302a kann mehrere Lichtempfangselemente beinhalten und die Entfernung D kann basierend auf jedem Lichtempfangstiming berechnet werden, zu dem das reflektierte Licht durch jedes Lichtempfangselement empfangen wird. Die Entfernungsmessungsvorrichtung 300a klassifiziert eine Zeit t_m (die als eine Lichtempfangszeit t_m bezeichnet wird) von der Zeit tem des Lichtemissionstimings bis zu dem Lichtempfangstiming, zu dem das Licht durch die Lichtempfangseinheit 302a empfangen wird, basierend auf einer Klasse (Bins) und erzeugt ein Histogramm.
Übrigens ist das Licht, das durch die Lichtempfangseinheit 302a während der Lichtempfangszeit t_m empfangen wird, nicht auf das reflektierte Licht beschränkt, das erhalten wird, wenn das durch die Lichtquelleneinheit 301a emittierte Licht durch das Messungsobjekt 303a reflektiert wird. Zum Beispiel wird Umgebungslicht um die Entfernungsmessungsvorrichtung 300a (Lichtempfangseinheit 302a) herum auch durch die Lichtempfangseinheit 302a empfangen.
2 ist ein Diagramm, das ein Beispiel für ein Histogramm basierend auf der Zeit veranschaulicht, zu der die Lichtempfangseinheit 302a Licht empfängt. In 2 gibt eine horizontale Achse einen Bin an und gibt eine vertikale Achse eine Häufigkeit für jeden Bin an. Der Bin wird durch Klassifizieren der Lichtempfangszeit t_m für jede vorbestimmte Einheitszeit d erhalten. Insbesondere gilt: ein Bin #0 ist 0 ≤ t_m < d, ein Bin #1 ist d ≤ t_m < 2 × d, ein Bin #2 ist 2×d ≤ t_m < 3 × d, ..., ein Bin #(N - 2) ist (N - 2) × d ≤ tm < (N - 1) × d. Falls die Belichtungszeit der Lichtempfangseinheit 302a eine Zeit tep ist, gilt tep = N × d.
Die Entfernungsmessungsvorrichtung 300a zählt die Anzahl an Malen einer Erfassung der Lichtempfangszeit t_m basierend auf dem Bin, erhält eine Häufigkeit 310a für jeden Bin und erzeugt ein Histogramm. Hier empfängt die Lichtempfangseinheit 302a auch Licht außer dem reflektierten Licht, das durch Reflektieren des von der Lichtquelleneinheit 301a emittierten Lichts erhalten wird. Beispiele für ein solches Licht außer dem reflektierten Ziellicht beinhalten das oben beschriebene Umgebungslicht. Ein Teil, der durch einen Bereich 311a in dem Histogramm angegeben ist, beinhaltet eine Umgebungslichtkomponente aufgrund des Umgebungslichts. Das Umgebungslicht ist Licht, das zufällig auf die Lichtempfangseinheit 302a einfällt, und wird zu Rauschen mit Bezug auf reflektiertes Ziellicht.
Andererseits ist das reflektierte Ziellicht Licht, das gemäß einer speziellen Entfernung empfangen wird, und erscheint in dem Histogramm als eine aktive Lichtkomponente 312a. Ein Bin, der der Häufigkeit der Spitze in der aktiven Lichtkomponente 312a entspricht, ist ein Bin, der der Entfernung D des Messungsobjekts 303a entspricht. Durch das Erlangen der repräsentativen Zeit (zum Beispiel der Zeit in dem Zentrum des Bins) des Bins als die oben beschriebene Zeit t_re kann die Entfernungsmessungsvorrichtung 300a die Entfernung D zu dem Messungsobjekt 303a gemäß der oben beschriebenen Gleichung (1) berechnen. Auf diese Weise kann durch Verwenden mehrerer Lichtempfangsergebnisse eine angemessene Entfernungsmessung für Zufallsrauschen ausgeführt werden.
Jedoch ist es bei dem Entfernungsmessungsverfahren unter Verwendung des oben beschriebenen Histogramms notwendig, die mehreren Lichtempfangsergebnisse vor dem Detektieren der Zeit tre, die das Lichtempfangstiming ist, zu erlangen, und es erfordert Zeit, einen Detektionsprozess des Lichtempfangstimings durchzuführen. Um das Histogramm zu erzeugen, ist ein Speicher zum Speichern der Lichtempfangszeit t_m erforderlich, und die Schaltkreisgrößenordnung der Vorrichtung wird groß. Um die Zeit t_re ordnungsgemäß aus dem Histogramm zu detektieren, ist es erforderlich, eine geeignete Schwelle für jedes erzeugte Histogramm einzustellen, und ein Filterprozess und eine Schwelleneinstellungsverarbeitung sind daher erforderlich, so dass eine Verarbeitungslast zunimmt. Ferner sind in Abhängigkeit von der erforderlichen Entfernungsgenauigkeit ein Filterkoeffizient, der zuverlässig Rauschen entfernen kann, und eine Schwelle zum geeigneten Detektieren der Zeit t_re erforderlich, und dementsprechend nimmt auch die Anzahl an Entwicklungsschritten zum Einstellen dieser Werte zu.
Wie oben beschrieben, soll das Entfernungsmessungsverfahren unter Verwendung des Histogramms von dem Standpunkt der Verarbeitungszeit, Verarbeitungslast oder Speicherreduzierung verbessert werden. In dieser Hinsicht wird bei der Technik der vorliegenden Offenbarung die Entfernung aus dem Lichtempfangstiming (Zeit tre) der Lichtempfangseinheit zu dem Messungsobjekt unter Verwendung eines Maschinenlernmodells ohne Erzeugung des Histogramms erkannt. Eine Übersicht der Technik wird nachfolgend unter Bezugnahme auf 3 beschrieben.
(Ausführungsform)
[Übersicht des Entfernungsmessungsverfahrens]
3 ist ein Diagramm zum Beschreiben eines Überblicks eines Entfernungsmessungsverfahrens gemäß einer Ausführungsform der vorliegenden Offenbarung. Das in 3 veranschaulichte Entfernungsmessungsverfahren wird durch eine Messungsvorrichtung 1 ausgeführt (in 3 nicht veranschaulicht). Des Weiteren beinhaltet die Messungsvorrichtung 1 eine Lichtempfangseinheit 302 mit mehreren Pixeln (Lichtempfangselementen).
Wie in 3 veranschaulicht, gibt die Lichtempfangseinheit 302 der Messungsvorrichtung 1 jedes Lichtempfangstiming, zu dem das reflektierte Licht von dem Messungsobjekt empfangen wird, für jedes Lichtempfangselement aus (Schritt S1). Die Messungsvorrichtung 1 erkennt die Zeit tre, die der Entfernung zu dem Messungsobjekt entspricht, durch Verwenden des Maschinenlernmodells basierend auf der Verteilung 310 der Lichtempfangstimings (Schritt S2). Insbesondere lernt die Messungsvorrichtung 1 ein Maschinenlernmodell M im Voraus durch Verwenden der Verteilung der Lichtempfangstimings durch die mehreren Lichtempfangselemente als Eingabedaten und der Zeit tre, die der Entfernung zu dem Messungsobjekt entspricht, als korrekte Antwortdaten. Die Messungsvorrichtung 1 gibt das Lichtempfangstiming, das durch die Lichtempfangseinheit 302 in Schritt S1 ausgegeben wird, als Eingabedaten in das Maschinenlernmodell M ein und erlangt das Ausgabeergebnis des Maschinenlernmodells M als die Zeit tre, die der Entfernung zu dem Messungsobjekt entspricht.
Die Messungsvorrichtung 1 erzeugt Daten, einschließlich der Entfernung zu dem Messungsobjekt aus der erlangten Zeit t_re (Schritt S3) .
Wie oben beschrieben erkennt die Messungsvorrichtung 1 die Zeit tre, die der Entfernung zu dem Messungsobjekt entspricht, durch Verwenden des Maschinenlernmodells, in das das Lichtempfangstiming eingegeben wird, so dass die Messungsvorrichtung 1 das Histogramm nicht erzeugen muss, und die Zeit zum Messen der Entfernung kann verkürzt werden. Ferner wird die Verarbeitung, die zum Erzeugen des Histogramms notwendig ist, überflüssig und die Messungsvorrichtung 1 kann die Verarbeitungslast zum Messen der Entfernung reduzieren. Ferner ist ein Speicher zum Erzeugen des Histogramms überflüssig und die Schaltkreisgrößenordnung des Messungsvorrichtung 1 kann reduziert werden.
<Konfiguration des Entfernungsmessungssystems>
4 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration eines Entfernungsmessungssystems gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Ein in 4 veranschaulichtes Entfernungsmessungssystem 6 beinhaltet die Messungsvorrichtung 1, eine Lichtquelle 2, eine Speicherungsvorrichtung 7, eine Steuervorrichtung 4, ein optisches System 5 und eine Bildgebungsvorrichtung 8.
Die Lichtquelle 2 ist zum Beispiel eine Laserdiode und wird zum Emittieren von Laserlicht in einer Pulsform angesteuert. Als die Lichtquelle 2 kann ein Oberflächenemitter (VCSEL: Vertical Cavity Surface Emitting Laser), der Laserlicht emittiert, als eine Oberflächenlichtquelle eingesetzt werden. Die vorliegende Offenbarung ist nicht auf dies beschränkt und eine Konfiguration kann angewandt werden, bei der ein Array, in dem Laserdioden in einer Linie angeordnet sind, als die Lichtquelle 2 verwendet wird, und von dem Laserdiodenarray emittiertes Laserlicht wird in einer Richtung senkrecht zu der Linie gescannt. Ferner ist es auch möglich, eine Konfiguration anzuwenden, bei der eine Laserdiode als eine einzige Lichtquelle verwendet wird, und von der Laserdiode emittiertes Licht wird in horizontaler und vertikaler Richtung gescannt.
Die Messungsvorrichtung 1 beinhaltet mehrere Lichtempfangselemente. Die mehreren Lichtempfangselemente sind in zum Beispiel einer zweidimensionalen Gitterform zum Bilden einer Lichtempfangsoberfläche angeordnet. Die Messungsvorrichtung 1 erkennt die Zeit tre, die der Entfernung zu dem Messungsobjekt entspricht, durch Verwenden des Maschinenlernens basierend auf den Ausgabesignalen der mehreren Lichtempfangselementen, und erzeugt Entfernungsdaten. Die berechneten Entfernungsdaten werden in zum Beispiel der Speicherungsvorrichtung 7 gespeichert. Das optische System 5 leitet Licht, das von außen einfällt, zu der Lichtempfangsoberfläche, die in der Messungsvorrichtung 1 enthalten ist. Übrigens wird nachfolgend eine Vorrichtung, die die Lichtquelle 2 und die Messungsvorrichtung 1 beinhaltet, auch als eine Entfernungsmessungsvorrichtung bezeichnet.
Die Bildgebungsvorrichtung 8 ist zum Beispiel eine RGB-Kamera, die ein RGB-Bild eines Gegenstandsraums erfasst, in dem ein Messungsobjekt vorhanden ist.
Die Steuervorrichtung 4 steuert den gesamten Betrieb des Entfernungsmessungssystems 6. Zum Beispiel liefert die Steuervorrichtung 4 ein Lichtemissionsauslösersignal, das ein Auslöser zum Veranlassen der Lichtquelle 2 zum Emittieren von Licht ist, an die Messungsvorrichtung 1. Die Messungsvorrichtung 1 veranlasst die Lichtquelle 2 zum Emittieren von Licht zu dem Timing basierend auf dem Lichtemissionsauslösersignal, und speichert eine Zeit tem, die das Lichtemissionstiming angibt. Ferner stellt die Steuervorrichtung 4 zum Beispiel ein Muster zu der Zeit der Entfernungsmessung für die Messungsvorrichtung 1 als Reaktion auf eine Anweisung von außen ein.
Die Steuervorrichtung 4 steuert das Wechseln des Maschinenlernmodells M, das zum Maschinenlernen durch die Messungsvorrichtung 1 verwendet wird, basierend auf dem RGB-Bild, das durch die Bildgebungsvorrichtung 8 erfasst wird. Die Messungsvorrichtung 1 wählt das Maschinenlernmodell M gemäß der Art des Messungsobjekts, zum Beispiel gemäß der Steuerung der Steuervorrichtung 4 aus.
[Konfiguration der Messungsvorrichtung]
5 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration der Messungsvorrichtung 1 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wie in 5 veranschaulicht, beinhaltet die Messungsvorrichtung 1 eine Pixelarrayeinheit 100, eine Entfernungsmessungsverarbeitungseinheit 101, eine Pixelsteuereinheit 102, eine Gesamtsteuereinheit 103, eine Takterzeugungseinheit 104, eine Lichtemissionssteuereinheit 105, eine Schnittstelle(SST)-Einheit 106 und eine Modellspeicherungseinheit 107.
Die Gesamtsteuereinheit 103 steuert den Gesamtbetrieb der Messungsvorrichtung 1 zum Beispiel gemäß einem Programm, das im Voraus eingebunden wird. Ferner kann die Gesamtsteuereinheit 103 auch eine Steuerung gemäß einem externen Steuersignal ausführen, das von außerhalb bereitgestellt wird. Die Takterzeugungseinheit 104 erzeugt ein oder mehrere Taktsignale, die in der Messungsvorrichtung 1 verwendet werden, basierend auf einem Referenztaktsignal, das von außerhalb bereitgestellt wird. Die Lichtemissionssteuereinheit 105 erzeugt ein Lichtemissionssteuersignal, das das Lichtemissionstiming angibt, gemäß einem Lichtemissionsauslösersignal, das von außerhalb bereitgestellt wird. Das Lichtemissionssteuersignal wird an die Lichtquelle 2 geliefert und wird auch an die Entfernungsmessungsverarbeitungseinheit 101 geliefert.
Die Pixelarrayeinheit 100 ist eine Lichtempfangseinheit, die mehrere Pixel 10, 10 und so weiter beinhaltet, die in einer zweidimensionalen Gitterform angeordnet sind und jeweilige Lichtempfangselemente beinhalten. Der Betrieb jedes Pixels 10 wird durch die Pixelsteuereinheit 102 gemäß einer Anweisung der Gesamtsteuereinheit 103 gesteuert. Zum Beispiel steuert die Pixelsteuereinheit 102 jedes Pixel 10 so, dass das Ausgabesignal jedes Pixels 10 zu einer Zeit ausgelesen wird. Ferner beinhaltet das Pixel 10 zum Beispiel ein Ein-Photon-Lawinendiode(SPAD: Single Photon Avalanche Diode)-Element als das Lichtempfangselement.
Die Entfernungsmessungsverarbeitungseinheit 101 misst die Entfernung D zu dem Messungsobjekt basierend auf dem Ausgabesignal, das aus jedem Pixel 10 gelesen wird. Die Entfernungsmessungsverarbeitungseinheit 101 beinhaltet eine Umwandlungseinheit 110, eine Erkennungseinheit 111, eine Datenerzeugungseinheit 112 und eine Modellwechseleinheit 113.
Die Umwandlungseinheit 110 wandelt das Ausgabesignal, das von der Pixelarrayeinheit 100 bereitgestellt wird, in digitale Informationen um. Das Ausgabesignal, das von der Pixelarrayeinheit 100 bereitgestellt wird, wird gemäß dem Timing ausgegeben, zu dem Licht durch das Lichtempfangselement empfangen wird, das in dem Pixel 10 enthalten ist, das dem Pixelsignal entspricht. Die Umwandlungseinheit 110 wandelt das bereitgestellte Ausgabesignal in Zeitinformationen eines digitalen Wertes um, der das Timing angibt. Ausgabesignale sämtlicher Pixel 10 der Pixelarrayeinheit 100 werden in die Umwandlungseinheit 110 eingegeben. Die Umwandlungseinheit 110 wandelt sämtliche Ausgabesignale in Zeitinformationen um und gibt die Zeitinformationen an die Erkennungseinheit 111 aus.
Die Erkennungseinheit 111 beinhaltet ein tiefes neuronales Netz (DNN: Deep Neuronal Network) 111a, das ein Beispiel für das Maschinenlernmodell ist. Das DNN 111a ist ein Algorithmus mit einer Multi-Level-Struktur, der auf einem Menschlicher-Kranialnerv-Schaltkreis (neuronales Netz) modelliert wird, der durch Maschinenlernen dazu gestaltet wird, Zeitinformationen (nachfolgend auch als Zeitinformationen des Messungsobjekts bezeichnet), die der Entfernung D zu dem Messungsobjekt entsprechen, aus Zeitinformationen (nachfolgend auch als Zeitinformationen jedes Pixels 10 bezeichnet) zu erkennen, die jedem Ausgabesignal sämtlicher Pixel 10 entsprechen. Übrigens ist das DNN 111a ein Beispiel und die Erkennungseinheit 111 kann als das Maschinenlernmodell ein Modell (Lernvorrichtung) eines beliebigen Formats, wie etwa ein Regressionsmodell, wie etwa SVM, verwenden.
Die Erkennungseinheit 111 erkennt die Zeitinformationen des Messungsobjekts durch Eingeben der Zeitinformationen jedes Pixels 10, die von der Umwandlungseinheit 110 eingegeben werden, in das DNN 111a und Ausführen der DNN-Verarbeitung. Dann gibt die Erkennungseinheit 111 das DNN-Ergebnis, das von dem DNN 111a ausgegeben wird, als ein Erkennungsergebnis an die Datenerzeugungseinheit 112 aus.
Die Datenerzeugungseinheit 112 erzeugt Ausgabedaten aus dem DNN-Ergebnis, das von der Erkennungseinheit 111 eingegeben wird, und gibt die Ausgabedaten an die Speicherungsvorrichtung 7 aus. Insbesondere berechnet die Datenerzeugungseinheit 112 die Entfernung D zu dem Messungsobjekt basierend auf den Zeitinformationen des Messungsobjekts, die durch die Erkennungseinheit 111 erkannt werden, erzeugt Ausgabedaten und gibt die Ausgabedaten an die SST-Einheit 106 aus.
Die Modellwechseleinheit 113 wechselt das Maschinenlernmodell der Erkennungseinheit 111. Die Modellwechseleinheit 113 liest das in der Modellspeicherungseinheit 107 gespeicherte Modell zum Beispiel basierend auf einer Anweisung von der Steuervorrichtung 4 und liefert das Modell an das DNN 111a.
Die durch die Datenerzeugungseinheit 112 erzeugten Ausgabedaten werden an die SST-Einheit 106 geliefert. Die SST-Einheit 106 ist zum Beispiel eine Mobilindustrieprozessorschnittstelle (MIPI: Mobile Industry Processor Interface) und gibt die Ausgabedaten an zum Beispiel die Speicherungsvorrichtung 7 aus. Alternativ dazu kann die SST-Einheit 106 die Ausgabedaten an die Steuervorrichtung 4 oder eine (nicht veranschaulichte) externe Vorrichtung ausgeben.
(Laminierte Struktur der Messungsvorrichtung)
Hier wird die laminierte Struktur der Messungsvorrichtung 1 schematisch unter Bezugnahme auf 6 beschrieben. 6 ist ein schematisches Diagramm, das ein Beispiel für eine laminierte Struktur der Messungsvorrichtung 1 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wie in 6 veranschaulicht, beinhaltet die Messungsvorrichtung 1 ein erstes Substrat P1, auf dem die Pixelarrayeinheit 100 angeordnet ist, ein zweites Substrat P2, auf dem die Umwandlungseinheit 110 angeordnet ist, und ein drittes Substrat P3, auf dem die Erkennungseinheit 111 angeordnet ist.
Wie in 6 veranschaulicht, ist die Pixelarrayeinheit 100 auf dem ersten Substrat P1 angeordnet. Übrigens können die Lichtempfangselemente der Pixel 10 der Pixelarrayeinheit 100 auf dem ersten Substrat P1 angeordnet sein und können andere Schaltkreiskonfigurationen, die in den Pixeln 10 enthalten sind, auf einem Substrat, wie etwa dem zweiten Substrat P2, außer dem ersten Substrat P1 angeordnet sein.
Die Umwandlungseinheit 110 ist auf dem zweiten Substrat P2 angeordnet. Falls zum Beispiel die Umwandlungseinheit 110 einen Zeit-Digital-Umwandlungsschaltkreis 110a für jedes Pixel 10 beinhaltet, ist der Zeit-Digital-Umwandlungsschaltkreis, der jedem Pixel 10 entspricht, auf dem zweiten Substrat P2 angeordnet.
Hier misst der Zeit-Digital-Umwandlungsschaltkreis (TDC: Time-to-Dicital Conversion Circuit) 110a eine Zeit, wenn das Ausgabesignal von dem Pixel 10 bereitgestellt wird, und wandelt die gemessene Zeit in Zeitinformationen basierend auf einem digitalen Wert um. Wie oben beschrieben, ist der TDC 110a ein Schaltkreis, der ein Zeitinformationselement für ein Pixel 10 erzeugt und der Umwandlungsschaltkreis 110 weist zum Beispiel die gleiche Anzahl an TDCs 110a wie die Anzahl an Pixeln 10 auf.
Der TDC 110a beinhaltet zum Beispiel einen Zähler, der eine Zeit von dem Emissionstiming, zu dem die Lichtquelle 2 Licht emittiert, bis zu dem Lichtempfangstiming, zu dem das Pixel 10 das Licht empfängt. Der Zähler beginnt die Zeitmessung (Zählung) in Synchronisation mit dem Lichtemissionssteuersignal, das von der Lichtemissionssteuereinheit 105 bereitgestellt wird. Der Zähler beendet die Zeitmessung gemäß dem Inversionstiming des Ausgabesignals, das von dem Pixel 10 bereitgestellt wird. Der TDC 110a gibt Zeitinformationen, die durch Umwandeln der Anzahl an Zählungen von dem Beginn bis zu dem Ende der Zeitmessung durch den Zähler in einen digitalen Wert erhalten werden, an die Erkennungseinheit 111 aus.
Zum Bonden des ersten Substrats P1 und des zweiten Substrats P2, die in 6 veranschaulicht sind, wird zum Beispiel sogenanntes Cu-Cu-Bonden zum Verbinden von Kupferelektroden, die auf den Bondoberflächen gebildet sind, miteinander verwendet. Alternativ dazu kann zum Bonden des ersten Substrats P1 und des zweiten Substrats P2 zum Beispiel sogenanntes Direktbonden, bei dem die Bondoberflächen planarisiert werden und beide durch eine elektronische Kraft gebondet werden, Bump-Bonden oder dergleichen verwendet werden.
Die Erkennungseinheit 111 ist auf dem dritten Substrat P3 angeordnet. Übrigens können Logikschaltkreise, wie etwa die Datenerzeugungseinheit 112 und die Gesamtsteuereinheit 103, außer der Erkennungseinheit 111 auf dem dritten Substrat P3 angeordnet sein. Alternativ dazu können Logikschaltkreise, wie etwa die Datenerzeugungseinheit 112, die Modellwechseleinheit 113 und die Gesamtsteuereinheit 103, auf einem (nicht veranschaulichten) anderen Substrat angeordnet sein.
Die Zeitinformationen werden von sämtlichen TDCs 110a an die Erkennungseinheit 111 geliefert, die auf dem dritten Substrat P3 angeordnet ist. Die Erkennungseinheit 111 erkennt die Zeitinformationen des Messungsobjekts durch Erkennen der Zeitinformationen jedes Pixels 10, die von sämtlichen TDCs 110a als eine Eingabe bereitgestellt werden, mit dem Maschinenlernmodell.
Zum Bonden des zweiten Substrats P2 und des dritten Substrats P3, die in 6 veranschaulicht sind, wird zum Beispiel sogenanntes Cu-Cu-Bonden zum Verbinden von Kupferelektroden, die auf den Bondoberflächen gebildet sind, miteinander verwendet. Alternativ dazu kann zum Bonden des zweiten Substrats P2 und des dritten Substrats P3 zum Beispiel sogenanntes Direktbonden, bei dem die jeweiligen Bondoberflächen planarisiert werden und beide durch eine elektronische Kraft gebondet werden, Bump-Bonden oder dergleichen verwendet werden.
Wie oben beschrieben sind bei der Ausführungsform der vorliegenden Offenbarung die Pixelarrayeinheit 100, die Umwandlungseinheit 110 und die Erkennungseinheit 111 auf unterschiedlichen Substraten (dem ersten bis dritten Substrat P1 bis P3) angeordnet, und die Messungsvorrichtung 1 misst die Lichtempfangszeiten sämtlicher Pixel 10 einmal. Infolgedessen kann die Erkennungseinheit 111 die Zeitinformationen des Messungsobjekts basierend auf den Ausgabesignalen sämtlicher Pixel 10 erkennen. Daher kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt ohne Erzeugen eines Histogramms detektieren, und eine Verarbeitung und ein Speicher zum Erzeugen eines Histogramms sin überflüssig.
Übrigens wurde hier ein Beispiel beschrieben, bei dem die Pixelarrayeinheit 100, die Umwandlungseinheit 110 und die Erkennungseinheit 111 auf unterschiedlichen Substraten (erstes bis drittes Substrat P1 bis P3) angeordnet sind, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Zum Beispiel können die Pixelarrayeinheit 100, die Umwandlungseinheit 110 und die Erkennungseinheit 111 auf einem Substrat angeordnet sein.
Hier wurde ein Fall, in dem die Ausgabesignale sämtlicher Pixel 10 zu einer Zeit ausgelesen werden, als ein Beispiel beschrieben, aber das Verfahren zum Lesen der Pixel 10 ist nicht darauf beschränkt. Zum Beispiel kann das Ausgabesignal für jedes Pixel 10 in einem vorbestimmten Bereich gelesen werden. Alternativ dazu kann das Ausgabesignal für jedes Pixel 10, jede Zeile oder Spalte ausgelesen werden. In diesem Fall kann ein Speicher zum Speichern eines Ausgabesignals (oder von Zeitinformationen, die durch Umwandeln des Ausgabesignals in eine Zeit erhalten werden), das für jedes Pixel 10 durch die Messungsvorrichtung 1 gelesen wird, enthalten sein.
(Maschinenlernmodell)
Als Nächstes wird das Maschinenlernmodell, das durch die Erkennungseinheit 111 zum Erkennen der Entfernung D verwendet wird, unter Bezugnahme auf 7 bis 9 beschrieben. Wie oben beschrieben, werden die Zeitinformationen, die den Ausgabesignalen sämtlicher Pixel 10 entsprechen, in die Erkennungseinheit 111 eingegeben. Die Erkennungseinheit 111 erkennt die Zeitinformationen des Messungsobjekts durch Eingeben der Zeitinformationen jedes Pixels 10 in das DNN 11a und Ausführen der DNN-Verarbeitung.
Ein Beispiel für ein neuronales Netz des Maschinenlernmodells wird unter Bezugnahme auf 7 beschrieben. 7 ist ein Diagramm zum Beschreiben einer Übersicht des neuronalen Netzes.
Wie in 7 veranschaulicht, beinhaltet ein neuronales Netz 40 drei Typen von Schichten einer Eingabeschicht 41, einer Zwischenschicht 42 und einer Ausgabeschicht 43 und weist eine Netzstruktur auf, in der in jeder Schicht enthaltene Knoten durch Links verbunden sind. Ein Kreis in 7 entspricht einem Knoten und ein Pfeil entspricht einem Link. Wenn Eingabedaten in die Eingabeschicht 41 eingegeben werden, werden eine Berechnung an dem Knoten und eine Gewichtung an dem Link in der Reihenfolge von der Eingabeschicht 41 zu der Zwischenschicht 42 und von der Zwischenschicht 42 zu der Ausgabeschicht 43 durchgeführt und werden Ausgabedaten von der Ausgabeschicht 43 ausgegeben. Übrigens wird unter neuronalen Netzen ein neuronales Netz mit einer vorbestimmten Anzahl an Schichten oder mehr Schichten auch als ein tiefes neuronales Netz (DNN: Deep Neural Network) oder tiefes Lernen bezeichnet.
Das in 7 veranschaulichte neuronale Netz 40 ist lediglich ein Beispiel und kann eine beliebige Netzkonfiguration aufweisen, solange eine gewünschte Funktion realisiert werden kann. Zum Beispiel ist bei dem Beispiel aus 7 ein Fall, bei dem die Anzahl an Knoten der Ausgabeschicht 43 einer ist, veranschaulicht, um die Beschreibung zu vereinfachen, aber zum Beispiel kann in dem Fall eines Klassifizierungsmodells die Anzahl an Knoten der Ausgabeschicht 43 mehrere (zum Beispiel die Anzahl an zu klassifizierenden Klassen) sein.
Übrigens ist es bekannt, dass das neuronale Netz eine beliebige Funktion approximieren kann. Das neuronale Netz kann eine für Lehrerdaten geeignete Netzstruktur durch Verwenden eines Berechnungsverfahrens, wie etwa Backpropagation, lernen. Daher wird durch Konfigurieren des Modells durch das neuronale Netz das Modell von der Beschränkung der Ausdrucksfähigkeit befreit, dass das Modell innerhalb eines Bereichs gestaltet wird, der durch eine Person verstanden werden kann.
Übrigens ist das Maschinenlernmodell, das durch die Erkennungseinheit 111 zum Erkennen der Zeitinformationen verwendet wird, nicht auf das DNN 111a beschränkt und kann durch verschiedene Netze konfiguriert werden. Zum Beispiel kann das Maschinenlernmodell ein Modell (Lernvorrichtung) eines beliebigen Formats sein, wie etwa ein Regressionsmodell, wie etwa eine Hilfsvektormaschine (SVM: Support Vector Machine). Zum Beispiel kann das Maschinenlernmodell verschiedene Regressionsmodelle, wie etwa ein nichtlineares Regressionsmodell und ein lineares Regressionsmodell, sein.
Das Maschinenlernmodell, das durch die Erkennungseinheit 111 zum Erkennen der Zeitinformationen verwendet wird, wird gemäß der Art des Messungsobjekts gewechselt. Dieser Punkt wird unter Bezugnahme auf 8 und 9 beschrieben. 8 und 9 sind Diagramme zum Beschreiben von Beispielen für das Maschinenlernmodell.
Das von der Lichtquelle 2 emittierte Licht wird durch das Messungsobjekt reflektiert und durch die Messungsvorrichtung 1 empfangen. Zu dieser Zeit variiert die Menge an reflektiertem Licht, das die Messungsvorrichtung 1 erreicht, in Abhängigkeit von der Art des Messungsobjekts.
Wie in 8 veranschaulicht, wird, falls das Messungsobjekt ein Auto ist, ein Großteil des Abstrahlungslichts durch zum Beispiel einen Karosserieteil, der als eine flache Oberfläche gebildet ist, reflektiert und durch die Messungsvorrichtung 1 empfangen. Daher ist die Anzahl an Pixeln 10, die das reflektierte Licht in der Nähe eines Lichtempfangstimings t_c empfangen, das der Entfernung zu dem Messungsobjekt entspricht, größer als die Anzahl an Pixeln 10, die das Umgebungslicht empfangen.
Daher wird, wie in dem Graphen aus 8 veranschaulicht, die Verteilung des Lichtempfangstimings eine Verteilung, bei der die Anzahl an Pixeln, die das reflektierte Licht empfangen, in einem vorbestimmten Bereich einschließlich des Lichtempfangstimings t_c zunimmt. Übrigens repräsentiert in dem in 8 veranschaulichten Graphen eine vertikale Achse die Häufigkeit für jeden Bin, repräsentiert eine horizontale Achse den Bin (Zeit t) und ist die Beziehung zwischen dem Lichtempfangstiming jedes Pixels und der Anzahl an Pixeln veranschaulicht. Mit anderen Worten ist der in 8 veranschaulichte Graph ein Graph, der die Zeit veranschaulicht, wenn die Anzahl an Pixeln, die das reflektierte Licht empfangen, groß ist.
Andererseits wird, wie in 9 veranschaulicht, falls das Messungsobjekt ein Baum ist, ein Teil des Abstrahlungslichts unregelmäßig an der Oberfläche des Baums reflektiert und dementsprechend ist das reflektierte Licht, das die Messungsvorrichtung 1 erreicht, weniger als jenes in dem Fall eines Autos. Daher nimmt, wie in 9 veranschaulicht, die Verteilung der Lichtempfangstimings in der Nähe des Lichtempfangstimings tt zu, das der Entfernung zu dem Messungsobjekt entspricht, aber die Anzahl an Pixeln, die das reflektierte Licht in der Nähe des Lichtempfangstimings tt empfangen, nimmt im Vergleich zu einem Fall ab, in dem das Messungsobjekt ein Auto ist.
Wie oben beschrieben, ändert sich die Verteilung der Lichtempfangstimings nicht nur mit der Entfernung D zu dem Messungsobjekt, sondern auch mit der Art des Messungsobjekts. In dieser Hinsicht wird bei der Ausführungsform der vorliegenden Offenbarung das Maschinenlernmodell zum Beispiel für jede Art des Messungsobjekts, wie etwa ein Auto, ein Gebäude, eine Straße, einen Fußgänger oder einen Baum, gelernt. Infolgedessen kann die Erkennungsgenauigkeit der Zeitinformationen des Messungsobjekts verbessert werden.
Übrigens wird angenommen, dass das Maschinenlernmodell im Voraus basierend auf überwachtem Lernen als Lehrerdaten mit der Verteilung des Lichtempfangstimings, das mit den Zeitinformationen des Messungsobjekts assoziiert ist, für jede Art des Messungsobjekts konstruiert wird. Ferner wird angenommen, dass das konstruierte Maschinenlernmodell im Voraus in der Modellspeicherungseinheit 107 gespeichert wird. Die Erkennungseinheit 111 wechselt das Maschinenlernmodell, das zum Erkennen der Zeitinformationen durch Lesen des Maschinenlernmodells aus der Modellspeicherungseinheit 107 verwendet wird, basierend auf einer Anweisung von der Modellwechseleinheit 113.
Übrigens ist die Konstruktion des Maschinenlernmodells nicht auf jede oben beschriebene Art des Messungsobjekts beschränkt. Zum Beispiel kann das Maschinenlernmodell für jede Szene in dem Gegenstandsraum konstruiert werden. Insbesondere kann zum Beispiel das Maschinenlernmodell für jede Zeit, wie etwa Tag oder Nacht, für jedes Wetter, wie etwa Regenwetter und gutes Wetter, oder für jeden Ort, wie etwa ein Land, eine Region, einen Stadtbereich oder einen Bergbereich, konstruiert werden. Zwischen Tag und Nacht ändert sich zum Beispiel Umgebungslicht außer dem reflektierten Licht, das durch jedes Pixel 10 empfangen wird. Ferner ändert sich im Fall von Regenwetter das Lichtempfangstiming des Pixels 10 aufgrund einer Reflexion durch Regentropfen. Ferner variieren Straßenzustände, Schilder und umliegende Umgebungen in Abhängigkeit von Ländern, Regionen, Stadtbereichen und Bergbereichen. Daher kann durch Konstruieren des Maschinenlernmodells für jede Szene in dem Gegenstandsraum die Erkennungsgenauigkeit der Zeitinformationen des Messungsobjekts in dem Gegenstandsraum verbessert werden. Ferner kann, falls zum Beispiel die Entfernung D zu dem Auto in einem Stadtbereich am Tag erkannt wird, das Maschinenlernmodell für jede Kombination der Szene und der Art des Messungsobjekts konstruiert werden.
(Entfernungserkennung durch Maschinenlernmodell)
Als Nächstes wird die Erkennung der Zeitinformationen des Messungsobjekts durch die Erkennungseinheit 111 unter Bezugnahme auf 10 beschrieben. 10 ist ein Diagramm zum Beschreiben der Erkennung der Zeitinformationen durch die Erkennungseinheit 111.
Nachfolgend wird die Emission von Abstrahlungslicht durch die Lichtquelle 2 auch als eine Aufnahme bezeichnet.
Die Erkennungseinheit 111 erlangt zum Beispiel Zeitinformationen, die durch Umwandeln des Ausgabesignals von der Pixelarrayeinheit 100 durch die Umwandlungseinheit 110 für jede Aufnahme erhalten werden. Die Erkennungseinheit 111 gibt die Zeitinformationen, die für jede Aufnahme erlangt werden, in das DNN 111a ein und erlangt ein Erkennungsergebnis der Zeitinformationen, die der Entfernung D des Messungsobjekts entsprechen.
Zum Beispiel wird, wie in 10 veranschaulicht, ein Fall, in dem die Lichtquelle 2 Abstrahlungslicht N-mal emittiert, als ein Beispiel beschrieben. Zu dieser Zeit wird die n-te Abstrahlung durch die Lichtquelle 2 als eine n-te Aufnahme (n = 1 bis N) bezeichnet. Die Erkennungseinheit 111 erlangt sequentiell die Zeitinformationen der Verteilung, wie in 10 veranschaulicht, welche der ersten bis N-ten Aufnahme durch die Lichtquelle 2 entsprechen.
Wenn die Zeitinformationen des Pixels 10 für jede der ersten bis N-ten Aufnahme erlangt werden, gibt die Erkennungseinheit 111 sequentiell die Zeitinformationen in das DNN 111a ein, um die Zeitinformationen des Messungsobjekts zu erkennen. Zum Beispiel erlangt bei dem in 10 veranschaulichten Beispiel die Erkennungseinheit 111 Zeitinformationen t₁, die der ersten Aufnahme entsprechen, als ein Erkennungsergebnis durch das DNN 11a, und gibt die Zeitinformationen t₁ an die Datenerzeugungseinheit 112 aus. Gleichermaßen erlangt die Erkennungseinheit 111 eine Zeit t_n (n = 2 bis N), die der n-ten Aufnahme entspricht, als das Erkennungsergebnis durch das DNN 11a und gibt die Zeit t_n an die Datenerzeugungseinheit 112 aus.
Wenn zum Beispiel die Zeitinformationen t₁ bis t_N des Messungsobjekts für die erste bis N-te Aufnahme sequentiell von der Erkennungseinheit 111 erlangt werden, berechnet die Datenerzeugungseinheit 112 die Entfernung D zu dem Messungsobjekt, die jeder Aufnahme entspricht, basierend auf der oben beschriebenen Gleichung (1). Übrigens entsprechen die Zeitinformationen t₁ bis t_N, die von der Erkennungseinheit 111 ausgegeben werden, tem-tre in der Gleichung (1).
Auf diese Weise kann die Datenerzeugungseinheit 112 die Entfernung D zu dem Messungsobjekt für jede der ersten bis N-ten Aufnahme berechnen oder die Datenerzeugungseinheit 112 kann die Entfernung D zu dem Messungsobjekt für jede mehrerer Aufnahmen berechnen. Zu dieser Zeit kann die Datenerzeugungseinheit 112 die Entfernung D unter Verwendung des Durchschnittswertes der Zeitinformationen des Messungsobjekts in den mehreren Aufnahmen berechnen.
Alternativ dazu kann die Datenerzeugungseinheit 112 bestimmen, ob der Wert der Zeitinformationen des Messungsobjekts konvergiert, und die Entfernung D unter Verwendung der Zeitinformationen der Aufnahme berechnen, für die bestimmt wurde, dass sie konvergieren. Übrigens kann, falls der Wert der Zeitinformationen konvergiert und die Datenerzeugungseinheit 112 die Entfernung D berechnet, die Datenerzeugungseinheit 112 bestimmen, dass die Erkennung durch die Erkennungseinheit 111 endete, und die Messung der Entfernung des Messungsobjekts beenden.
Übrigens kann, obwohl hier ein Fall beschrieben wurde, in dem die Entfernung D zum Beispiel mehrmals basierend auf dem durch die Lichtquelle 2 emittiertem Licht berechnet wird, die Messungsvorrichtung 1 die Messung der Entfernung D mit einer Aufnahme beendenden. Das heißt, die Erkennungseinheit 111 kann die DNN-Verarbeitung an den erlangten Zeitinformationen jedes Pixels 10 durchführen, die einer Aufnahme entsprechen, um die Zeitinformationen des Messungsobjekts zu erkennen, und, wenn die Datenerzeugungseinheit 112 die Entfernung D berechnet, kann die Messung der Entfernung D durch die Messungsvorrichtung 1 beendet werden. Auf diese Weise kann, wenn die Entfernung D unter Verwendung des Maschinenlernmodells berechnet wird, die Messungsvorrichtung 1 die Entfernung D mit einer kürzesten Aufnahme messen, und kann die Messungszeit der Entfernung D verkürzt werden.
[Steuervorrichtung]
Als Nächstes wird die Steuervorrichtung 4 ausführlich unter Bezugnahme auf 11 beschrieben. Die Steuervorrichtung 4 steuert das Entfernungsmessungssystem und steuert das Wechseln des Maschinenlernmodells durch die Modellwechseleinheit 113. Hier wird hauptsächlich ein Punkt beschrieben, an dem die Steuervorrichtung 4 eine Wechselsteuerung des Maschinenlernmodells durchführt. Übrigens ist 11 ein Blockdiagramm, das ein Konfigurationsbeispiel der Steuervorrichtung 4 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Die Steuervorrichtung 4 wird durch zum Beispiel einen elektronischen Schaltkreis, wie etwa eine Zentralverarbeitungseinheit (CPU) oder einen Mikroprozessor, realisiert. Ferner kann die Steuervorrichtung 4 einen Nurlesespeicher (ROM), der zu verwendende Programme, Berechnungsparameter und dergleichen speichert, und einen Direktzugriffsspeicher (RAM), der Parameter und dergleichen temporär speichert, die sich geeignet ändern, beinhalten.
Die Steuervorrichtung 4 detektiert das Messungsobjekt und erkennt die Szene in dem Gegenstandsraum basierend auf dem erfassten Bild der Bildgebungsvorrichtung 8 und führt eine Wechselsteuerung des Maschinenlernmodells der Messungsvorrichtung 1 durch. Insbesondere fungiert die Steuervorrichtung 4 als eine Erfassungseinheit 401, eine Extraktionseinheit 402, eine Szenenerkennungseinheit 403, eine Entfernungsmessungsbestimmungseinheit 406, eine Modellauswahleinheit 404 und eine Benachrichtigungseinheit 405.
Die Erfassungseinheit 401 erlangt ein RGB-Bild von der Bildgebungsvorrichtung 8. Die Erfassungseinheit 401 kann zum Beispiel Informationen bezüglich einer Bildgebungszeit, eines Bildgebungsortes und dergleichen eines RGB-Bildes erlangen. Solche Informationen können von der Bildgebungsvorrichtung 8 erlangt werden oder können von einem (nicht veranschaulichten) Sensor, wie etwa einem GPS-Sensor, erlangt werden. Ein solcher Sensor kann in dem Entfernungsmessungssystem 6 enthalten sein oder kann ein externer Sensor sein.
Die Extraktionseinheit 402 extrahiert ein Messungsobjekt aus dem RGB-Bild. Die Extraktionseinheit 402 führt zum Beispiel eine Bildverarbeitung, wie etwa einen Vorlagenabgleich, durch und extrahiert das Messungsobjekt, wie etwa einen Baum, ein Fahrzeug oder eine Straße, aus dem RGB-Bild. Ferner kann die Extraktionseinheit 402 zum Beispiel einen Himmelsbereich, einen Bodenbereich einschließlich einer Straße und dergleichen aus den Farbinformationen des RGB-Bildes extrahieren. Alternativ dazu kann die Extraktionseinheit 402 das Messungsobjekt, den Himmelsbereich, den Bodenbereich und dergleichen unter Verwendung des Maschinenlernmodells, wie etwa des DNN, extrahieren.
Die Szenenerkennungseinheit 403 erkennt eine Szene in dem Gegenstandsraum aus dem RGB-Bild. Alternativ dazu kann die Szenenerkennungseinheit 403 eine Szene aus Informationen bezüglich einer Bildgebungszeit, eines Bildgebungsortes und dergleichen des RGB-Bildes erkennen. Ferner kann die Szenenerkennungseinheit 403 Informationen, die für eine Szenenerkennung notwendig sind, von einer externen Vorrichtung oder dergleichen über ein (nicht veranschaulichtes) Netz erlangen.
Hier ist die Szene zum Beispiel Informationen, die einen Gegenstandsraum angeben, der durch Peripherieinformationen repräsentiert wird, wie etwa Jahreszeit, Zeit, Wetter oder Ort. Falls die Szene aus dem RGB-Bild erkannt wird, erkennt die Szenenerkennungseinheit 403 zum Beispiel aus der Helligkeit des RGB-Bildes, ob der Gegenstandsraum am Tag oder in der Nacht ist. Ferner kann die Szenenerkennungseinheit 403 die Szene basierend auf dem Extraktionsergebnis durch die Extraktionseinheit 402 erkennen. Falls zum Beispiel die Extraktionseinheit 402 ein Gebäude, einen Fußgänger, ein Auto oder dergleichen als das Messungsobjekt detektiert, erkennt die Szenenerkennungseinheit 403, dass der Gegenstandsraum ein Stadtbereich ist.
Übrigens ist die Szenenerkennung durch die Szenenerkennungseinheit 403 nicht auf jene basierend auf dem RGB-Bild beschränkt und die Szene kann aus Informationen außer dem RGB-Bild erkannt werden. Zum Beispiel kann die Szenenerkennungseinheit 403 die Jahreszeit, die Zeit und dergleichen des Gegenstandsraums aus dem Bildgebungsdatum und der Zeit des RGB-Bildes erkennen. Ferner kann die Szenenerkennungseinheit 403 den Ort des Gegenstandsraums aus dem Bildgebungsort des RGB-Bildes erkennen. Die Szenenerkennungseinheit 403 kann das Wetter in dem Gegenstandsraum basierend auf zum Beispiel einem Detektionsergebnis eines Regendetektionssensors und dem RGB-Bild erkennen. Wie oben beschrieben, kann die Szenenerkennungseinheit 403 die Szene in dem Gegenstandsraum basierend auf Detektionsergebnissen mehrerer Sensoren oder dergleichen erkennen. Alternativ dazu können Zeitinformationen, Wetter und dergleichen von einer externen Vorrichtung über ein Netz erlangt werden.
Alternativ dazu kann die Szenenerkennungseinheit 403 die Szene in dem Gegenstandsraum unter Verwendung des Maschinenlernmodells, wie etwa des DNN, erkennen. In diesem Fall kann die Szenenerkennungseinheit 403 ein RGB-Bild in das DNN eingeben und kann Informationen, wie etwa das Bildgebungsdatum und die Zeit und das Detektionsergebnis des Regendetektionssensors, zusätzlich zu dem RGB-Bild in das DNN eingeben.
Auf diese Weise erkennt die Szenenerkennungseinheit 403 zum Beispiel die Szene in dem Gegenstandsraum basierend auf dem Detektionsergebnis des Sensors, einschließlich des RGB-Bildes. Zum Beispiel erkennt die Szenenerkennungseinheit 403, dass der Gegenstandsraum „in Japan“, „ein Stadtbereich“, „sonnig“ und „Abend“ ist.
Die Entfernungsmessungsbestimmungseinheit 406 bestimmt eine Entfernungsmessungsposition (Entfernungsmessungspunkt) zum Messen der Entfernung D basierend auf dem Extraktionsergebnis der Extraktionseinheit 402 und dem Erkennungsergebnis der Szenenerkennungseinheit 403. Ferner bestimmt die Entfernungsmessungsbestimmungseinheit 406 Werte verschiedener Parameter, wie etwa eine Richtung, Leistung und eine Pulsform einer Abstrahlung durch die Lichtquelle 2, bezüglich eines Lichtemissionssystems. Ferner wählt die Entfernungsmessungsbestimmungseinheit 406 Werte verschiedener Parameter, wie etwa einen Belichtungszeitraum und eine Bildwiederholrate der Pixelarrayeinheit 100, bezüglich eines Lichtempfangssystems aus.
Hier wird die Entfernungsmessungsposition (Entfernungsmessungspunkt), die durch die Entfernungsmessungsbestimmungseinheit 406 bestimmt wird, unter Bezugnahme auf 12 und 13 beschrieben. 12 und 13 sind Diagramme zum Beschreiben der Entfernungsmessungsposition, die durch die Entfernungsmessungsbestimmungseinheit 406 bestimmt wird.
Übrigens wird hier, wie in 12 veranschaulicht, angenommen, dass die Extraktionseinheit 402 einen Baum Tr, eine Straße R, ein Auto C1, ein Haus H, einen Fußgänger Pe und einen Himmelsbereich SR aus einem RGB-Bild M1 extrahiert. Zu dieser Zeit bestimmt die Entfernungsmessungsbestimmungseinheit 406 basierend auf dem Extraktionsergebnis der Extraktionseinheit 402 das Messungsobjekt, zu dem die Entfernung D gemessen wird, wobei das Messungsobjekt in dem Gegenstandsraum vorhanden ist. Ferner bestimmt die Entfernungsmessungsbestimmungseinheit 406 die Position des Messungsobjekts, für das die Entfernung D gemessen wird.
Insbesondere bestimmt die Entfernungsmessungsbestimmungseinheit 406 zum Beispiel, dass die Entfernung D zu dem Fußgänger Pe an fünf Punkten gemessen wird, die durch „+“ in 12 angegeben sind. Eine Anzahl N1 der Entfernungen D, die für jedes Messungsobjekt zu messen sind, wird zum Beispiel im Voraus für jede Art von Messungsobjekt bestimmt und die Entfernungsmessungsbestimmungseinheit 406 bestimmt die Entfernungsmessungsposition in dem RGB-Bild M1, mit anderen Worten die Richtung des von der Lichtquelle 2 emittierten Lichts gemäß der Anzahl N1.
Die Entfernungsmessungsbestimmungseinheit 406 stellt die Anzahl an Messungen N1, die für jede Art von Messungsobjekt bestimmt werden, so ein, dass sie die größte ist, falls das Messungsobjekt ein sich bewegender Körper ist, wie etwa der Fußgänger Pe oder das Auto C1, und stellt die Anzahl an Messungen N1 so ein, dass sie kleiner als jene in dem Fall des sich bewegenden Körpers ist, falls das Messungsobjekt ein stationäres Objekt ist, wie etwa der Baum Tr oder das Haus H (siehe 12). Ferner kann in einem Hintergrund, wie etwa der Straße R, die Anzahl an Messungen N1 kleiner als jene des stationären Körpers sein. Ferner ist es nicht notwendig, die Entfernung D in einem Bereich ohne das Messungsobjekt, wie etwa in dem Himmelsbereich SR, zu messen. Das heißt, die Lichtquelle 2 muss kein Licht zu dem Himmelsbereich SR hin emittieren, da angenommen wird, dass es kein Messungsobjekt in dem Himmelsbereich SR gibt. In dieser Hinsicht bestimmt die Entfernungsmessungsbestimmungseinheit 406, dass die Entfernung D zu dem Messungsobjekt exklusive des Himmelsbereichs SR gemessen wird.
Auf diese Weise bestimmt die Entfernungsmessungsbestimmungseinheit 406 die Richtung (Entfernungsmessungsposition) des von der Lichtquelle 2 emittierten Lichts basierend auf der Art des Messungsobjekts, das durch die Extraktionseinheit 402 extrahiert wird, und der Position in dem RGB-Bild.
Wie zum Beispiel in 13 veranschaulicht, bestimmt alternativ dazu, falls die Extraktionseinheit 402 ein seitlich ausgerichtetes Auto C2 extrahiert, die Entfernungsmessungsbestimmungseinheit 406 eine Position A1 als eine Messungsposition zum Messen der Entfernung D zu dem Auto C2. Dies liegt darin begründet, dass, falls das Auto C2 seitlich ausgerichtet ist, die Seitenoberfläche des Autos C2 im Wesentlichen flach ist, und dementsprechend ändert sich die Entfernung D zu dem Auto C2 nicht stark, unabhängig von der gemessenen Position der Seitenoberfläche. Wie oben beschrieben, bestimmt, falls das Messungsobjekt eine flache Oberfläche aufweist, die Entfernungsmessungsbestimmungseinheit 406 die repräsentative Position der flachen Oberfläche als die Entfernungsmessungsposition. Infolgedessen kann das Entfernungsmessungssystem 6 die Anzahl an Malen einer Messung der Entfernung D zu dem Messungsobjekt durch die Messungsvorrichtung 1 reduzieren.
Übrigens bestimmt die Entfernungsmessungsbestimmungseinheit 406 hier eine repräsentative Position, aber die vorliegende Erfindung ist nicht darauf beschränkt. Die Entfernungsmessungsbestimmungseinheit 406 kann mehrere repräsentative Positionen bestimmen.
Die Entfernungsmessungsbestimmungseinheit 406 kann die Entfernungsmessungsposition gemäß der Szene durch Verwenden des Erkennungsergebnisses der Szenenerkennungseinheit 403 bestimmen. Falls zum Beispiel die Zeitzone des Gegenstandsraums „Nacht“ ist, kann die Entfernungsmessungsbestimmungseinheit 406 die Anzahl an Messungen N1 der Entfernung D zu dem Messungsobjekt so einstellen, dass sie größer als jene in einem Fall ist, in dem die Zeitzone „Tag“ ist. Das heißt, falls die Zeitzone „Nacht“ ist, kann die Entfernungsmessungsbestimmungseinheit 406 die Messungsposition derart bestimmen, dass die Entfernung D zu dem Messungsobjekt an mehr Messungspositionen als in dem Fall von „Tag“ gemessen wird.
Zurückkehrend zu 11 wählt die Modellauswahleinheit 404 das Maschinenlernmodell, das durch die Messungsvorrichtung 1 verwendet wird, um die Entfernung D des Messungsobjekts für jede Entfernungsposition zu erkennen, die durch die Entfernungsmessungsbestimmungseinheit 406 bestimmt wird, zum Beispiel basierend auf dem Extraktionsergebnis der Extraktionseinheit 402 und dem Erkennungsergebnis der Szenenerkennungseinheit 403 aus.
Insbesondere wählt, falls zum Beispiel die Extraktionseinheit 402 einen Fußgänger extrahiert, die Modellauswahleinheit 404 das Maschinenlernmodell, das durch überwachtes Lernen mit einem Fußgänger konstruiert wurde, als korrekte Antwortdaten aus. Auf diese Weise wählt die Modellauswahleinheit 404 das Maschinenlernmodell zum Beispiel gemäß der Art des Messungsobjekts aus, das durch die Extraktionseinheit 402 extrahiert wurde.
Alternativ dazu kann die Modellauswahleinheit 404 das Maschinenlernmodell gemäß der Szene durch Verwenden des Erkennungsergebnisses der Szenenerkennungseinheit 403 auswählen. Falls zum Beispiel das Wetter in dem Gegenstandsraum „Regen“ ist, wählt die Modellauswahleinheit 404 das Maschinenlernmodell aus, das basierend auf den in Regenwetter gesammelten Messungsdaten oder dergleichen konstruiert wird. Auf diese Weise wählt die Modellauswahleinheit 404 das für die Szene geeignete Maschinenlernmodell basierend auf dem Erkennungsergebnis der Szene aus.
Die Modellauswahleinheit 404 kann das Maschinenlernmodell basierend auf zum Beispiel dem Extraktionsergebnis der Extraktionseinheit 402 und dem Erkennungsergebnis der Szenenerkennungseinheit 403 auswählen. Zum Beispiel wird das Maschinenlernmodell im Voraus mit zugehörigen Schlüsselwörtern assoziiert und die Modellauswahleinheit 404 wählt das mit den gleichen Schlüsselwörtern wie das Extraktionsergebnis und das Erkennungsergebnis assoziierte Maschinenlernmodell aus. Insbesondere gleicht, falls zum Beispiel das Extraktionsergebnis „Auto“ ist und das Szenenerkennungsergebnis „Tag“ und „Regen“ ist, die Modellauswahleinheit 404 das Extraktionsergebnis und das Szenenerkennungsergebnis mit den Schlüsselwörtern ab, die mit mehreren Maschinenlernmodellen assoziiert sind, und wählt das Maschinenlernmodell mit dem höchsten Übereinstimmungsgrad zwischen den Ergebnissen und den Schlüsselwörtern aus.
Alternativ dazu kann die Modellauswahleinheit 404 eine Modellauswahl unter Verwendung von Maschinenlernen durchführen. In diesem Fall wählt die Modellauswahleinheit 404 das für die Messung der Entfernung D zu verwendende Maschinenlernmodell durch Eingeben des Extraktionsergebnisses und des Szenenerkennungsergebnisses in das DNN, das ein Beispiel für das Maschinenlernmodell ist, und Ausführen einer DNN-Verarbeitung aus.
Die Benachrichtigungseinheit 405 benachrichtigt die Messungsvorrichtung 1 über das Auswahlergebnis der Modellauswahleinheit 404. Die Benachrichtigungseinheit 405 benachrichtigt zum Beispiel die Messungseinheit 1 über Informationen, die das das durch die Modellauswahleinheit 404 ausgewählte Maschinenlernmodell spezifizieren. Falls die Modellauswahleinheit 404 das Lichtemissionssystem und die Werte der Parameter bezüglich des Lichtempfangssystems auswählt, wird ferner der ausgewählte Wert des Parameters der Messungsvorrichtung 1 oder der Lichtquelle 2 mitgeteilt.
[Entfernungsmessungsverarbeitungsprozedur]
Als Nächstes wird ein Beispiel für eine Entfernungsmessungsverarbeitungsprozedur beschrieben, die durch das Entfernungsmessungssystem 6 ausgeführt wird. Zuerst wird ein Modellauswahlprozess durch die Steuervorrichtung 4 beschrieben und dann wird eine Messungsverarbeitungsprozedur durch die Messungsvorrichtung 1 beschrieben.
(Modellauswahlprozess)
14 ist ein Flussdiagramm, das ein Beispiel für eine Prozedur des Modellauswahlprozesses gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 14 veranschaulicht, erlangt die Steuervorrichtung 4 ein RGB-Bild von der Bildgebungsvorrichtung 8 (Schritt S201). Als Nächstes extrahiert die Steuervorrichtung 4 ein Messungsobjekt durch Extrahieren einer Merkmalsmenge aus dem RGB-Bild (Schritt S202) .
Anschließend erkennt die Steuervorrichtung 4 eine Szene des RGB-Bildes (Schritt S203). Die Steuervorrichtung 4 bestimmt eine Entfernungsmessungsposition der Entfernung D des Messungsobjekts basierend auf dem Messungsobjekt, das in Schritt S202 extrahiert wurde, und der Szene, die in Schritt S203 erkannt wurde (Schritt S204) .
Die Steuervorrichtung 4 wählt das Maschinenlernmodell für jede Entfernungsmessungsposition aus (Schritt S205) und benachrichtigt die Messungsvorrichtung 1 über die bestimmte Entfernungsmessungsposition und das entsprechende Maschinenlernmodell (Schritt S206) .
(Messungsprozess)
15 ist ein Flussdiagramm, das ein Beispiel für eine Prozedur eines Messungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 15 veranschaulicht, wechselt die Messungsvorrichtung 1 zuerst das Maschinenlernmodell, das zur Erkennung durch die Erkennungseinheit 111 verwendet wird, basierend auf der Benachrichtigung von der Steuervorrichtung 4 und der Entfernungsmessungsposition (Schritt S101). Anschließend steuert die Messungsvorrichtung 1 die Lichtquelle 2 zum Emittieren von Licht (Schritt S102).
In sämtlichen Pixeln 10 misst die Messungsvorrichtung 1 die Zeit von dem Zeitpunkt, wenn die Lichtquelle 2 Licht emittiert, bis zu dem Zeitpunkt, wenn das Pixel 10 das Licht empfängt (Schritt S103). Die Messungsvorrichtung 1 erkennt Zeitinformationen des Messungsobjekts aus den Messungsergebnissen der Zeit in sämtlichen Pixeln 10 durch Verwenden des Maschinenlernmodells (Schritt S104). Die Messungsvorrichtung 1 erzeugt Daten einschließlich der Entfernung D zu dem Messungsobjekt basierend auf den erkannten Zeitinformationen des Messungsobjekts (Schritt S105) .
Wie oben beschrieben, beinhaltet hier die Vorrichtung (die Messungsvorrichtung 1 oder die Steuervorrichtung 4) gemäß der Ausführungsform der vorliegenden Offenbarung die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellwechseleinheit 404). Die Modellwechseleinheit wechselt das Maschinenlernmodell (das DNN 111a), das zum Erkennen der Informationen über die Entfernung D zu dem Messungsobjekt basierend auf dem Ausgabesignal verwendet wird, das von dem Lichtempfangselement (dem Pixel 10) ausgegeben wird, wenn das das Licht empfangen wird, das von der Lichtquelle 2 emittiert und durch das Messungsobjekt reflektiert wird.
Infolgedessen kann die Messungsvorrichtung 1 die Zeitinformationen des Messungsobjekts basierend auf den Ausgabesignalen der mehreren Lichtempfangselemente erkennen, und kann die Verarbeitungszeit reduzieren, die zum Messen der Entfernung D zu dem Messungsobjekt benötigt wird. Da die Messungsvorrichtung 1 kein Histogramm erzeugt und keinen Speicher benötigt, ist es ferner möglich die Zeit und den Aufwand zur Parameteranpassung im Vergleich zu der Messung der Entfernung D unter Verwendung des Histogramms zu reduzieren und die Genauigkeit zu verbessern.
[Modifikation]
Übrigens wählt bei der oben beschriebenen Ausführungsform die Steuervorrichtung 4 das Maschinenlernmodell basierend auf dem RGB-Bild aus, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Zum Beispiel kann die Messungsvorrichtung 1 das Maschinenlernmodell basierend auf den Zeitinformationen sämtlicher Pixel 10 auswählen.
Des Weiteren wird, wie in 16 veranschaulicht, angenommen, dass die Verteilung der Zeitinformationen der Pixel 10 nicht dicht, sondern zufällig in einem speziellen Bereich ist. In diesem Fall wählt die Modellwechseleinheit 113 der Messungsvorrichtung 1 das Maschinenlernmodell gemäß einer solchen Verteilung aus und wechselt das bei der Erkennung der Erkennungseinheit 111 zu verwendende Maschinenlernmodell. Zum Beispiel kann die Modellwechseleinheit 113 die Verteilung der Zeitinformationen der Pixel 10 von der Umwandlungseinheit 110 erlangen oder kann die Verteilung von der Erkennungseinheit 111 erlangen. Übrigens ist 16 ein Diagramm, das ein Beispiel für die Verteilung der Zeitinformationen der Pixel 10 veranschaulicht.
Alternativ dazu kann zum Beispiel die Modellwechseleinheit 113 der Messungsvorrichtung 1 die Werte verschiedener Parameter, wie etwa Richtung, Leistung und Pulsform einer Abstrahlung durch die Lichtquelle 2, bezüglich des Lichtemissionssystems basierend auf einer solchen Verteilung ändern. Falls zum Beispiel die Zeitinformationen der Pixel 10 eine zufällige Verteilung aufweisen, wie in 16 veranschaulicht ist, ändert die Modellwechseleinheit 113 die Werte verschiedener Parameter, so dass die Abstrahlungsleistung erhöht wird, wenn bestimmt wird, dass die Entfernung D zu dem Messungsobjekt lang ist, oder die Abstrahlungsrichtung geändert wird, wenn bestimmt wird, dass es kein Messungsobjekt in der Abstrahlungsrichtung gibt. Die Modellwechseleinheit 113 gibt den geänderten Parameter an zum Beispiel die Lichtemissionssteuereinheit 105 aus. Alternativ dazu kann die Lichtemissionssteuereinheit 105 verschiedene Parameter basierend auf einer solchen Verteilung ändern.
Wie in 17 veranschaulicht, wird angenommen, dass die Verteilung der Zeitinformationen der Pixel 10 eine Verteilung ist, die in einem speziellen Bereich konzentriert ist. Das heißt, falls das Detektionsergebnis des Lichtempfangstimings durch das Pixel 10 eine gesättigte Verteilung ist, wählt die Modellwechseleinheit 113 der Messungsvorrichtung 1 das Maschinenlernmodell gemäß einer solchen Verteilung aus und wechselt das bei der Erkennung der Erkennungseinheit 111 verwendete Maschinenlernmodell. Übrigens ist 17 ein Diagramm, das ein anderes Beispiel für die Verteilung der Zeitinformationen der Pixel 10 veranschaulicht.
Alternativ dazu kann zum Beispiel die Modellwechseleinheit 113 der Messungsvorrichtung 1 die Werte verschiedener Parameter, wie etwa Richtung, Leistung und Pulsform einer Abstrahlung durch die Lichtquelle 2, bezüglich des Lichtemissionssystems basierend auf einer solchen Verteilung ändern. Die Modellwechseleinheit 113 gibt den geänderten Parameter an zum Beispiel die Lichtemissionssteuereinheit 105 aus. Alternativ dazu kann die Lichtemissionssteuereinheit 105 verschiedene Parameter basierend auf einer solchen Verteilung ändern.
Übrigens ändert hier die Messungsvorrichtung 1 verschiedene Parameter des Lichtemissionssystems. Jedoch können verschiedene Parameter, wie etwa Lichtempfangsempfindlichkeit, des Lichtempfangssystems geändert werden.
Wie oben beschrieben, wechselt die Messungsvorrichtung 1 das Maschinenlernmodell oder ändert verschiedene Parameter des Lichtemissionssystems oder des Lichtempfangssystems basierend auf den Zeitinformationen des Pixels 10, wodurch die Messungsvorrichtung 1 die Messungsgenauigkeit der Entfernung D zu dem Messungsobjekt verbessern kann.
Bei der oben beschriebenen Ausführungsform erkennt die Erkennungseinheit 111 der Messungsvorrichtung 1 die Zeitinformationen des Messungsobjekts, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Die Erkennungseinheit 111 der Messungsvorrichtung 1 kann die Zeitinformationen jedes Pixels 10 in das DNN 111a eingeben, um die Entfernung D zu dem Messungsobjekt zu erkennen. Auf diese Weise erkennt die Erkennungseinheit 111 Informationen, wie etwa die Zeitinformationen oder die Entfernung D des Messungsobjekts, bezüglich der Entfernung D zu dem Messungsobjekt.
Übrigens wählt bei der oben beschriebenen Ausführungsform die Steuervorrichtung 4 das Maschinenlernmodell basierend auf dem Bildgebungsergebnis der Bildgebungsvorrichtung 8 aus, aber das Maschinenlernmodell kann basierend auf dem Erfassungsergebnis einer anderen Sensorvorrichtung ausgewählt werden.
Zum Beispiel kann die Steuervorrichtung 4 das Maschinenlernmodell basierend auf einem Erfassungsergebnis eines Infrarotsensors, wie etwa eines Nahinfrarotlicht(IR)-Sensors, eines Kurzwelleninfrarot(SWIR)-Sensors, eines Mittelwelleninfrarot-(MWIR)-Sensors oder eines Langwelleninfrarot(LWIR)-Sensors anstelle der Bildgebungsvorrichtung 8 auswählen. Alternativ dazu kann die Steuervorrichtung 4 das Maschinenlernmodell basierend auf einem Erfassungsergebnis eines LIDAR-Sensors (LIDAR: Laser Imaging Detection And Ranging - Laserbildgebungsdetektion und Entfernungsbestimmung) zum Messen der Entfernung D basierend auf Licht in einem Frequenzband, das sich von dem Frequenzband des von der Lichtquelle 2 emittierten Lichts unterscheidet, auswählen. Ferner kann die Steuervorrichtung 4 das Maschinenlernmodell basierend auf einem Erfassungsergebnis eines RADAR-Sensors (RADAR: Radio Detecting And Ranging - Funkwellendetektion und Entfernungsbestimmung) auswählen.
Alternativ dazu kann die Steuervorrichtung 4 das Maschinenlernmodell durch Kombinieren der Erfassungsergebnisse verschiedener Sensoren einschließlich der oben beschriebenen Bildgebungsvorrichtung 8 auswählen.
Die Erkennungseinheit 111 kann die Zeitinformationen des Messungsobjekts durch Verwenden der Erfassungsergebnisse der verschiedenen oben beschriebenen Sensoren erkennen. In diesem Fall werden die Ausgaben der oben beschriebenen verschiedenen Sensoren in die Erkennungseinheit 111 eingegeben. Die Erkennungseinheit 111 erkennt die Zeitinformationen des Messungsobjekts durch Eingeben der Zeitinformationen jedes Pixels 10 und der Ausgaben der verschiedenen oben beschriebenen Sensoren an das DNN 111a und Ausführen der DNN-Verarbeitung. Wie oben beschrieben, kann durch auch Verwenden der Ausgaben der verschiedenen Sensoren die Erkennungsgenauigkeit der Zeitinformationen des Messungsobjekts durch die Erkennungseinheit 111 verbessert werden.
Übrigens wechselt bei der oben beschriebenen Ausführungsform die Messungsvorrichtung 1 das Maschinenlernmodell zum Messen der Entfernung D zu dem Messungsobjekt, aber die vorliegende Offenbarung ist nicht darauf beschränkt. Falls zum Beispiel ein Maschinenlernmodell mehreren Arten von Messungsobjekten entsprechen kann, kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt durch Verwenden eines Maschinenlernmodells messen. Alternativ dazu kann, selbst wenn die Messungsvorrichtung 1 die Entfernung D zu einem speziellen Messungsobjekt, wie etwa einem Auto, misst, die Messungsvorrichtung 1 die Entfernung D durch Verwenden zum Beispiel eines Maschinenlernmodells messen, das für ein Auto spezialisiert ist.
Zum Beispiel wurde bei der Ausführungsform ein Beispiel beschrieben, bei dem die Datenerzeugungseinheit 112 und die Modellwechseleinheit 113 innerhalb der Messungsvorrichtung 1 bereitgestellt sind. Jedoch können die Datenerzeugungseinheit 112 und die Modellwechseleinheit 113 in einem Anwendungsprozessor bereitgestellt werden, der außerhalb der Entfernungsmessungsvorrichtung bereitgestellt ist.
Alternativ dazu wurde zum Beispiel bei der Ausführungsform ein Beispiel beschrieben, bei dem die Entfernungsmessungsbestimmungseinheit 406 und die Modellauswahleinheit 404 innerhalb der Steuervorrichtung 4 bereitgestellt sind. Jedoch können die Entfernungsmessungsbestimmungseinheit 406 und die Modellauswahleinheit 404 in der Messungsvorrichtung 1 bereitgestellt werden. In diesem Fall kann die Modellauswahleinheit 404 in der Messungsvorrichtung 1 bereitgestellt werden, indem die Funktion der Modellauswahleinheit 404 in die Modellwechseleinheit 113 aufgenommen wird.
[Effekte]
Eine Vorrichtung (Messungsvorrichtung 1 oder Steuervorrichtung 4) gemäß der Ausführungsform und den Modifikationen beinhaltet eine Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404), die ein Maschinenlernmodell (das DNN 111a), das zum Erkennen von Informationen über eine Entfernung D zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal wechselt, das von einem Lichtempfangselement (dem Pixel 10) ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle 2 emittiert und durch das Messungsobjekt reflektiert wird.
Infolgedessen kann die Vorrichtung (die Messungsvorrichtung 1 oder die Steuervorrichtung 4) die Entfernung D zu dem Messungsobjekt ohne Erzeugen eines Histogramms messen und kann die Verarbeitungszeit reduzieren, die zum Messen der Entfernung D erforderlich ist.
Außerdem wechselt die Modellwechseleinheit (die Modellwechseleinheit 113) gemäß der Ausführungsform und den Modifikationen das Maschinenlernmodell basierend auf dem Ausgabesignal.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt unter Verwendung eines geeigneten Maschinenlernmodells gemäß dem Ausgabesignal des Pixels 10 messen.
Außerdem wechselt die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404) gemäß der Ausführungsform und den Modifikationen das Maschinenlernmodell basierend auf dem Erfassungsergebnis des Gegenstandsraums, in dem das Messungsobjekt vorhanden ist.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt unter Verwendung eines geeigneten Maschinenlernmodells messen, das dem Messungsobjekt entspricht, das in dem Gegenstandsraum vorhanden ist.
Des Weiteren beinhaltet das Erfassungsergebnis Informationen über die Art des Messungsobjekts, und die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404) gemäß der Ausführungsform und den Modifikationen wechselt das Maschinenlernmodell basierend auf dem Erfassungssignal.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt unter Verwendung eines geeigneten Maschinenlernmodells gemäß der Art des Messungsobjekts messen, das in dem Gegenstandsraum vorhanden ist.
Des Weiteren beinhaltet das Erfassungsergebnis Informationen über eine Szene in dem Gegenstandsraum, und die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404) gemäß der Ausführungsform und den Modifikationen wechselt das Maschinenlernmodell basierend auf dem Erfassungssignal.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt unter Verwendung eines geeigneten Maschinenlernmodells gemäß der Szene des Gegenstandsraums messen.
Des Weiteren beinhalten die Informationen über die Szene Informationen über ein Wetter, Informationen über eine Zeit und/oder Informationen über einen Ort des Gegenstandsraums, und die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404) gemäß der Ausführungsform und den Modifikationen wechselt das Maschinenlernmodell basierend auf den Informationen über die Szene.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt unter Verwendung eines geeigneten Maschinenlernmodells gemäß der Szene des Gegenstandsraums messen.
Des Weiteren beinhaltet die Vorrichtung (die Steuervorrichtung 4) gemäß der Ausführungsform und den Modifikationen ferner eine Bestimmungseinheit (die Entfernungsmessungsbestimmungseinheit 406), die einen Entfernungsmessungspunkt (Entfernungsmessungsposition) in dem Gegenstandsraum basierend auf dem Erfassungsergebnis bestimmt.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt an einem geeigneten Entfernungsmessungspunkt messen und kann eine überflüssige Entfernungsmessung reduzieren.
Des Weiteren beinhaltet die Messungsvorrichtung 1 gemäß der Ausführungsform und den Modifikationen die Lichtempfangseinheit (die Pixelarrayeinheit 100), einschließlich eines Lichtempfangselements (des Pixels 10), das ein Signal ausgibt, wenn das Lichtempfangselement Licht empfängt, das von der Lichtquelle 2 emittiert und durch das Messungsobjekt reflektiert wird, die Erkennungseinheit 111, die Informationen über die Entfernung D zu dem Messungsobjekt unter Verwendung des Maschinenlernmodells (des DNN 111a) basierend auf dem Ausgabesignal der Lichtempfangseinheit erkennt, und die Modellwechseleinheit 113, die das Maschinenlernmodell wechselt.
Infolgedessen kann die Messungsvorrichtung 1 die Entfernung D zu dem Messungsobjekt ohne Erzeugen eines Histogramms messen und kann die Verarbeitungszeit reduzieren, die zum Messen der Entfernung D erforderlich ist.
Des Weiteren beinhaltet das Entfernungsmessungssystem 6 gemäß der Ausführungsform und den Modifikationen die Lichtquelle 2, die das Messungsobjekt in dem Gegenstandsraum mit Licht bestrahlt, die Sensoreinheit (die Bildgebungsvorrichtung 8), die den Gegenstandsraum erfasst, die Lichtempfangseinheit (die Pixelarrayeinheit 100), einschließlich des Lichtempfangselements (des Pixels 10), das ein Signal ausgibt, wenn das Lichtempfangselement das Licht empfängt, das von der Lichtquelle 2 emittiert und durch das Messungsobjekt reflektiert wird, die Erkennungseinheit 111, die die Entfernung D zu dem Messungsobjekt unter Verwendung des Maschinenlernmodells (des DNN 111a) basierend auf dem Ausgabesignal der Lichtempfangseinheit erkennt, und die Modellwechseleinheit (die Modellwechseleinheit 113 oder die Modellauswahleinheit 404), die das Maschinenlernmodell basierend auf dem Erfassungsergebnis durch die Sensoreinheit wechselt.
Infolgedessen kann das Entfernungsmessungssystem 6 die Entfernung D zu dem Messungsobjekt ohne Erzeugen eines Histogramms messen und kann die Verarbeitungszeit reduzieren, die zum Messen der Entfernung D erforderlich ist.
[Anwendungsbeispiele der Technik gemäß der vorliegenden Offenbarung]
Als Nächstes werden Anwendungsbeispiele der Ausführungsform und Modifikation der vorliegenden Offenbarung beschrieben. 18 ist ein Diagramm, das ein Verwendungsbeispiel unter Verwendung der Messungsvorrichtung 1 veranschaulicht, auf die die oben beschriebene Ausführungsform und Modifikation angewandt werden können.
Die oben beschriebene Messungsvorrichtung 1 kann zum Beispiel in verschiedenen Fällen einer Erfassung von Licht, wie etwa von sichtbarem Licht, Infrarotlicht, Ultraviolettlicht und Röntgenstrahlen, verwendet werden, wie nachfolgend beschrieben ist.

• Eine Vorrichtung, wie etwa eine Digitalkamera oder eine portable Vorrichtung mit einer Kamerafunktion, die ein Bild erfasst, das zur Betrachtung verwendet werden soll.
- • Eine Vorrichtung, wie etwa ein fahrzeuginterner Sensor, der Bilder der Vorderseite, Rückseite, Umgebung, des Innenraums und dergleichen eines Automobils erfasst, eine Überwachungskamera, die sich bewegende Fahrzeuge und Straßen überwacht, ein Entfernungsmessungssensor, der eine Entfernung zwischen Fahrzeugen und dergleichen misst, welche für Verkehr zur Unterstützung des sicheren Fahrens, wie etwa automatischer Stopp und Erkennung des Fahrerzustands, verwendet wird.
- • Eine Vorrichtung, die für Haushaltsgeräte, wie etwa einen Fernseher, einen Kühlschrank, und eine Klimaanlage, verwendet wird, um ein Bild einer Geste eines Benutzers zu erfassen und die Vorrichtung gemäß der Geste zu betreiben.
- • Eine Vorrichtung, wie etwa ein Endoskop oder eine Vorrichtung, die eine Angiographie durchführt, indem sie Infrarotlicht empfängt, welche zur medizinischen Versorgung oder Gesundheitspflege verwendet wird.
- • eine Vorrichtung, wie etwa eine Überwachungskamera zur Kriminalitätsverhinderung oder eine Kamera zur Personenauthentifizierung, welche zur Sicherheit verwendet wird.
- • Eine Vorrichtung, wie etwa ein Hautmessungsinstrument zum Fotografieren der Haut oder ein Mikroskop zum Fotografieren einer Kopfhaut, welche zur Schönheitspflege verwendet wird.
- • Eine Vorrichtung, wie etwa eine Action-Kamera oder eine Wearable-Kamera für Sport oder dergleichen, welche für Sport verwendet wird.
- • Eine Vorrichtung, wie etwa eine Kamera zum Überwachen des Zustands von Feldern und Nutzpflanzen, welche für Landwirtschaft verwendet wird.

(Anwendungsbeispiel für einen sich bewegenden Körper)
Die Technik (vorliegende Technologie) gemäß der vorliegenden Offenbarung kann auf verschiedene Produkte angewandt werden. Zum Beispiel kann die Technik gemäß der vorliegenden Offenbarung als eine Vorrichtung realisiert werden, die an einer beliebigen Art eines sich bewegenden Körpers montiert wird, wie etwa einem Automobil, einem Elektroautomobil, einem Hybridelektroautomobil, einem Motorrad, einem Fahrrad, einer Personal-Mobility-Vorrichtung, einem Flugzeug, einer Drohne, einem Schiff und einem Roboter.
19 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuersystems veranschaulicht, das ein Beispiel für ein Bewegender-Körper-Steuersystem ist, auf das die Technik gemäß der vorliegenden Offenbarung angewandt werden kann.
Ein Fahrzeugsteuersystem 12000 beinhaltet mehrere elektronische Steuereinheiten, die über ein Kommunikationsnetz 12001 verbunden sind. Bei dem in 19 veranschaulichten Beispiel beinhaltet das Fahrzeugsteuersystem 12000 eine Antriebssystemsteuereinheit 12010, eine Karosseriesystemsteuereinheit 12020, eine Fahrzeugaußenbereichsinformationsdetektionseinheit 12030, eine Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 und eine integrierte Steuereinheit 12050. Ferner sind als eine funktionale Konfiguration der integrierten Steuereinheit 12050 ein Mikrocomputer 12051, eine Audio-Bild-Ausgabeeinheit 12052 und eine Fahrzeuginternes-Netz-Schnittstelle (SST) 12053 veranschaulicht.
Die Antriebssystemsteuereinheit 12010 steuert die Operation von Vorrichtungen bezüglich des Antriebssystems des Fahrzeugs gemäß verschiedenen Programmen. Zum Beispiel fungiert die Antriebssystemsteuereinheit 12010 als eine Steuervorrichtung einer Antriebskrafterzeugungsvorrichtung, wie etwa eines Verbrennungsmotors und eines Antriebsmotors, zum Erzeugen einer Antriebskraft des Fahrzeugs, eines Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, eines Lenkmechanismus zum Anpassen eines Lenkwinkels des Fahrzeugs, einer Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs und dergleichen.
Die Karosseriesystemsteuereinheit 12020 steuert Operationen verschiedener Vorrichtungen, die an einer Fahrzeugkarosserie montiert sind, gemäß verschiedenen Programmen. Zum Beispiel fungiert die Karosseriesystemsteuereinheit 12020 als eine Steuervorrichtung eines schlüssellosen Zugangssystems, eines intelligenten Schlüsselsystems, einer elektrischen Fensterhebervorrichtung oder verschiedene Leuchten, wie etwa eines Frontscheinwerfers, eines Rückfahrlichts, eines Bremslichts, eines Fahrtrichtungsanzeigers oder eines Nebelscheinwerfers. In diesem Fall können Funkwellen, die von einer portablen Vorrichtung übertragen werden, die einen Schlüssel ersetzt, oder Signale verschiedener Schalter in die Karosseriesystemsteuereinheit 12020 eingegeben werden. Die Karosseriesystemsteuereinheit 12020 empfängt eine Eingabe dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, eine elektrische Fensterhebervorrichtung, eine Leuchte oder dergleichen des Fahrzeugs.
Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 detektiert Außenbereichsinformationen des Fahrzeugs, an dem das Fahrzeugsteuersystem 12000 montiert ist. Zum Beispiel ist eine Bildgebungseinheit 12031 mit der Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 verbunden. Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 bewirkt, dass die Bildgebungseinheit 12031 ein Bild des Außenbereichs des Fahrzeugs erfasst, und empfängt das erfasste Bild. Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 kann einen Objektdetektionsprozess oder einen Entfernungsdetektionsprozess einer Person, eines Autos, eines Hindernisses, eines Schildes, eines Symbols auf einer Straßenoberfläche oder dergleichen basierend auf dem empfangenen Bild durchführen.
Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein elektrisches Signal ausgibt, das der Menge an empfangenem Licht entspricht. Die Bildgebungseinheit 12031 kann das elektrische Signal als ein Bild ausgeben oder kann das elektrische Signal als Entfernungsmessungsinformationen ausgeben. Ferner kann das durch die Bildgebungseinheit 12031 empfangene Licht sichtbares Licht oder nichtsichtbares Licht, wie etwa Infrarotstrahlen, sein.
Die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 detektiert die Innenbereichsinformationen des Fahrzeugs. Zum Beispiel ist eine Fahrerzustandsdetektionseinheit 12041, die den Zustand des Fahrers detektiert, mit der Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 verbunden. Die Fahrerzustandsdetektionseinheit 12041 beinhaltet zum Beispiel eine Kamera, die den Fahrer bildlich erfasst, und die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 kann basierend auf den Detektionsinformationen, die von der Fahrerzustandsdetektionseinheit 12041 eingegeben werden, den Müdigkeitsgrad oder den Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst oder nicht.
Der Mikrocomputer 12051 kann einen Steuersollwert der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung basierend auf den Fahrzeuginnenbereichs-/-außenbereichsinformationen berechnen, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 oder die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 erfasst werden, und einen Steuerbefehl an die Antriebssystemsteuereinheit 12010 ausgeben. Zum Beispiel kann der Mikrocomputer 12051 eine kooperative Steuerung zum Zweck des Implementierens von Funktionen eines Fahrerassistenzsystems (ADAS) durchführen, einschließlich Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, Folgefahrt basierend auf einer Zwischenfahrzeugentfernung, Fahrt mit Fahrzeuggeschwindigkeitsbeibehaltung, Fahrzeugkollisionswarnung, Fahrzeugspurverlassenswarnung oder dergleichen.
Der Mikrocomputer 12051 steuert die Antriebskrafterzeugungsvorrichtung, den Lenkmechanismus, die Bremsvorrichtung oder dergleichen basierend auf den Umgebungsinformationen des Fahrzeugs, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 oder die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 erlangt werden, wodurch eine kooperative Steuerung zum Zweck des automatischen Fahrens oder dergleichen durchgeführt wird, wobei das Fahrzeug autonom ohne Abhängigkeit von der Bedienung des Fahrers fährt.
Der Mikrocomputer 12051 kann einen Steuerbefehl an die Karosseriesystemsteuerungseinheit 12020 basierend auf den Fahrzeugaußenbereichsinformationen ausgeben, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 erfasst werden. Zum Beispiel kann der Mikrocomputer 12051 eine kooperative Steuerung zum Zweck des Blendschutzes, wie etwa Wechseln von einem Fernlicht zu einem Abblendlicht, durch Steuern des Frontscheinwerfers gemäß der Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs durchführen, das durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 detektiert wird.
Die Audio-Bild-Ausgabeeinheit 12052 überträgt ein Ausgabesignal von Audio und/oder Bild an eine Ausgabevorrichtung, die zum visuellen oder akustischen Mitteilen von Informationen an einen Insassen des Fahrzeugs oder den Außenbereich des Fahrzeugs in der Lage ist. Bei dem Beispiel aus 19 sind ein Audiolautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 als die Ausgabevorrichtung veranschaulicht. Die Anzeigeeinheit 12062 kann zum Beispiel eine Onboard-Anzeige und/oder eine Head-Up-Anzeige beinhalten.
20 ist ein Diagramm, das ein Beispiel für eine Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
In 20 sind Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 als die Bildgebungseinheit 12031 enthalten.
Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 sind zum Beispiel an Positionen, wie etwa einer Frontnase, einem Seitenspiegel, einer hinteren Stoßstange und einer Hecktüre eines Fahrzeugs 12100 und an einem oberen Teil einer Windschutzscheibe eines Fahrzeuginnenraums, bereitgestellt. Die an der Frontnase bereitgestellte Bildgebungseinheit 12101 und die an dem oberen Teil der Windschutzscheibe des Fahrzeuginnenraums bereitgestellte Bildgebungseinheit 12105 erfassen hauptsächlich das Bild der Vorderseite des Fahrzeugs 12100.
Die an den Seitenspiegeln bereitgestellten Bildgebungseinheiten 12102 und 12103 erfassen hauptsächlich das Bild der Seiten des Fahrzeugs 12100. Die an der hinteren Stoßstange oder der Hecktüre bereitgestellte Bildgebungseinheit 12104 erfasst hauptsächlich das Bild der Rückseite des Fahrzeugs 12100. Die auf dem oberen Teil der Windschutzscheibe des Fahrzeuginnenraums bereitgestellte Bildgebungseinheit 12105 wird hauptsächlich zum Detektieren eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, einer Ampel, eines Verkehrsschildes, einer Fahrspur oder dergleichen verwendet.
Übrigens veranschaulicht 20 ein Beispiel für Bildgebungsbereiche der Bildgebungseinheiten 12101 bis 12104. Ein Bildgebungsbereich 12111 gibt einen Bildgebungsbereich der Bildgebungseinheit 12101 an, die an der Frontnase bereitgestellt ist, die Bildgebungsbereiche 12112 und 12113 geben Bildgebungsbereiche der Bildgebungseinheiten 12102 und 12103 an, die jeweils an den Seitenspiegeln bereitgestellt sind, und ein Bildgebungsbereich 12114 gibt einen Bildgebungsbereich der Bildgebungseinheit 12104 an, die an der hinteren Stoßstange oder der Hecktüre bereitgestellt ist. Zum Beispiel wird durch Überlagern von Bilddaten, die durch die Bildgebungseinheiten 12101 bis 12104 erfasst werden, ein Overhead-Ansicht-Bild des Fahrzeugs 12100 bei Betrachtung von oberhalb erhalten.
Wenigstens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion zum Erlangen von Entfernungsinformationen haben. Zum Beispiel kann wenigstens eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die mehrere Bildgebungselemente beinhaltet, oder kann ein Bildgebungselement mit Pixeln zur Phasendifferenzdetektion sein.
Zum Beispiel erhält der Mikrocomputer 12051 eine Entfernung zu jedem dreidimensionalen Objekt in den Bildgebungsbereichen 12111 bis 12114 und eine zeitliche Änderung (eine relative Geschwindigkeit mit Bezug auf das Fahrzeug 12100) der Entfernung basierend auf den von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Entfernungsinformationen, wodurch als ein vorausfahrendes Fahrzeug ein dreidimensionales Objekt extrahiert wird, das insbesondere das nächstes zu dem Fahrzeug 12100 in dem Bewegungspfad des Fahrzeugs 12100 ist und das sich mit einer vorbestimmten Geschwindigkeit (zum Beispiel 0 km/h oder mehr) in im Wesentlichen derselben Richtung wie jene des Fahrzeugs 12100 bewegt. Ferner kann der Mikrocomputer 12051 eine Zwischenfahrzeugentfernung, die nach vorne mit Bezug auf das vorausfahrende Fahrzeug sicherzustellen ist, im Voraus einstellen und kann eine automatische Bremssteuerung (einschließlich Folgestoppsteuerung), eine automatische Beschleunigungssteuerung (einschließlich Folgestartsteuerung) und dergleichen durchführen. Wie oben beschrieben, ist es möglich, eine kooperative Steuerung zum Zweck des automatischen Fahrens oder dergleichen durchzuführen, wobei das Fahrzeug ohne Abhängigkeit von der Bedienung des Fahrers automatisch fährt.
Zum Beispiel kann der Mikrocomputer 12051 basierend auf den von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Entfernungsinformationen Dreidimensionales-Objekt-Daten bezüglich dreidimensionaler Objekte in zweirädrige Fahrzeuge, gewöhnliche Fahrzeuge, große Fahrzeuge, Fußgänger und andere dreidimensionale Objekte, wie etwa Strommasten, klassifizieren, die Dreidimensionales-Objekt-Daten extrahieren und die Dreidimensionales-Objekt-Daten zur automatischen Vermeidung von Hindernissen verwenden. Zum Beispiel identifiziert der Mikrocomputer 12051 Hindernisse um das Fahrzeug 12100 herum als Hindernisse, die visuell durch den Fahrer des Fahrzeugs 12100 erkannt werden können, und Hindernisse, die visuell schwer zu erkennen sind. Dann bestimmt der Mikrocomputer 12051 ein Kollisionsrisiko, das ein Risiko einer Kollision mit jedem Hindernis angibt, und, wenn es eine Kollisionsmöglichkeit mit einem eingestellten Wert oder höher bezüglich des Kollisionsrisikos gibt, kann der Mikrocomputer eine Fahrtassistenz zur Kollisionsvermeidung durchführen, indem ein Alarm über den Audiolautsprecher 12061 oder die Anzeigeeinheit 12062 an den Fahrer ausgegeben wird oder eine erzwungene Verlangsamung oder Ausweichlenkung über die Antriebssystemsteuereinheit 12010 durchgeführt wird.
Wenigstens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Zum Beispiel kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem er bestimmt, ob ein Fußgänger in den erfassten Bildern der Bildgebungseinheiten 12101 bis 12104 vorhanden ist oder nicht. Eine solche Fußgängererkennung wird durch zum Beispiel eine Prozedur zum Extrahieren von Merkmalspunkten in den erfassten Bildern der Bildgebungseinheiten 12101 bis 12104 als Infrarotkameras und eine Prozedur zum Durchführen eines Musterabgleichprozesses an einer Reihe von Merkmalspunkten durchgeführt, die den Umriss eines Objekts angeben, um zu bestimmen, ob das Objekt ein Fußgänger ist oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass ein Fußgänger in den erfassten Bildern der Bildgebungseinheiten 12101 bis 12104 vorhanden ist, und den Fußgänger erkennt, steuert die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062 dazu, eine quadratische Umrisslinie zur Hervorhebung auf dem erkannten Fußgänger zu überlagern und anzuzeigen. Ferner kann die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062 dazu steuern, ein Symbol oder dergleichen, das einen Fußgänger angibt, an einer gewünschten Position anzuzeigen.
Zuvor wurde ein Beispiel für das Fahrzeugsteuersystem beschrieben, auf das die Technik gemäß der vorliegenden Offenbarung angewandt werden kann. Die Technik gemäß der vorliegenden Offenbarung kann auf die Bildgebungseinheit 12031 unter den oben beschriebenen Konfigurationen angewandt werden. Insbesondere kann das Entfernungsmessungssystem 6 in 4 auf die Bildgebungseinheit 12031 angewandt werden. Durch Anwenden der Technik gemäß der vorliegenden Offenbarung auf die Bildgebungseinheit 12031 kann die Berechnungsgeschwindigkeit der Entfernung zu dem Hindernis um das Fahrzeug herum verbessert werden.
Obwohl die Ausführungsform der vorliegenden Offenbarung zuvor beschrieben wurde, ist der technische Schutzumfang der vorliegenden Offenbarung nicht auf die oben beschriebene Ausführungsform, wie sie ist, beschränkt und verschiedene Modifikationen können vorgenommen werden, ohne von dem Wesen der vorliegenden Offenbarung abzuweichen. Ferner kann die Komponente geeignet über verschiedene Ausführungsformen und die Modifikation kombiniert werden.
Die in dieser Beschreibung beschriebenen Effekte sind lediglich Beispiele und sind nicht beschränkt und andere Effekte können vorliegen. [0169] Übrigens kann diese Technik auch wie nachfolgend konfiguriert sein.

(1) Eine Vorrichtung, die Folgendes umfasst:
- eine Modellwechseleinheit, die ein Maschinenlernmodell, das zum Erkennen von Informationen über eine Entfernung zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal wechselt, das von einem Lichtempfangselement ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird.
(2) Die Vorrichtung nach (1), wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Ausgabesignal wechselt.
(3) Die Vorrichtung nach (1), wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf einem Erfassungsergebnis eines Gegenstandsraums wechselt, in dem das Messungsobjekt vorhanden ist.
(4) Die Vorrichtung nach (3), wobei das Erfassungsergebnis Informationen über eine Art des Messungsobjekts beinhaltet, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Erfassungsergebnis wechselt.
(5) Die Vorrichtung nach (3) oder (4), wobei das Erfassungsergebnis Informationen über eine Szene in dem Gegenstandsraum beinhaltet, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Erfassungsergebnis wechselt.
(6) Die Vorrichtung nach (5), wobei die Informationen über die Szene Informationen über ein Wetter, Informationen über eine Zeit und/oder Informationen über einen Ort des Gegenstandsraums beinhalten, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf den Informationen über die Szene wechselt.
(7) Die Vorrichtung nach einem von (1) bis (6), die ferner eine Bestimmungseinheit umfasst, die einen Entfernungsmessungspunkt in dem Gegenstandsraum basierend auf dem Erfassungsergebnis bestimmt.
(8) Eine Messungsvorrichtung, die Folgendes umfasst:
- eine Lichtempfangseinheit, einschließlich eines Lichtempfangselements, die ein Signal ausgibt, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch ein Messungsobjekt reflektiert wird;
- eine Erkennungseinheit, die Informationen über eine Entfernung zu dem Messungsobjekt unter Verwendung eines Maschinenlernmodells basierend auf einem Ausgabesignal der Lichtempfangseinheit erkennt; und
- eine Modellwechseleinheit, die das Maschinenlernmodell wechselt.
(9) Ein Entfernungsmessungssystem, das Folgendes umfasst:
- eine Lichtquelle, die ein Messungsobjekt in einem Gegenstandsraum mit Licht bestrahlt;
- eine Sensoreinheit, die den Gegenstandsraum erfasst;
- eine Lichtempfangseinheit, einschließlich eines Lichtempfangselements, die ein Signal ausgibt, wenn das Lichtempfangselement Licht empfängt, das von der Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird;
- eine Erkennungseinheit, die eine Entfernung zu dem Messungsobjekt unter Verwendung eines Maschinenlernmodells basierend auf einem Ausgabesignal der Lichtempfangseinheit erkennt; und
- eine Modellwechseleinheit, die das Maschinenlernmodell basierend auf einem Erfassungsergebnis durch die Sensoreinheit wechselt.
(10) Ein Verfahren, das Folgendes umfasst:
- Wechseln eines Maschinenlernmodells, das zum Erkennen von Informationen über eine Entfernung zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal, das von einem Lichtempfangselement ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird.

Bezugszeichenliste

1: MESSUNGSVORRICHTUNG
2: LICHTQUELLE
4: STEUERVORRICHTUNG
6: ENTFERNUNGSMESSUNGSSYSTEM
8: BILDGEBUNGSVORRICHTUNG
10: PIXEL
100: PIXELARRAYEINHEIT
110: UMWANDLUNGSEINHEIT
111: ERKENNUNGSEINHEIT
112: DATENERZEUGUNGSEINHEIT
113: MODELLWECHSELEINHEIT
107: MODELLSPEICHERUNGSEINHEIT
401: ERFASSUNGSEINHEIT
402: EXTRAKTIONSEINHEIT
403: SZENENERKENNUNGSEINHEIT
404: MODELLAUSWAHLEINHEIT
405: BENACHRICHTIGUNGSEINHEIT
406: ENTFERNUNGSMESSUNGSBESTIMMUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016176750 A [0004]

Claims

Vorrichtung, die Folgendes umfasst: eine Modellwechseleinheit, die ein Maschinenlernmodell, das zum Erkennen von Informationen über eine Entfernung zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal wechselt, das von einem Lichtempfangselement ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird.
Vorrichtung nach Anspruch 1, wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Ausgabesignal wechselt.
Vorrichtung nach Anspruch 1, wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf einem Erfassungsergebnis eines Gegenstandsraums wechselt, in dem das Messungsobjekt vorhanden ist.
Vorrichtung nach Anspruch 3, wobei das Erfassungsergebnis Informationen über eine Art des Messungsobjekts beinhaltet, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Erfassungsergebnis wechselt.
Vorrichtung nach Anspruch 4, wobei das Erfassungsergebnis Informationen über eine Szene in dem Gegenstandsraum beinhaltet, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf dem Erfassungsergebnis wechselt.
Vorrichtung nach Anspruch 5, wobei die Informationen über die Szene Informationen über ein Wetter, Informationen über eine Zeit und/oder Informationen über einen Ort des Gegenstandsraums beinhalten, und wobei die Modellwechseleinheit das Maschinenlernmodell basierend auf den Informationen über die Szene wechselt.
Vorrichtung nach Anspruch 6, die ferner eine Bestimmungseinheit umfasst, die einen Entfernungsmessungspunkt in dem Gegenstandsraum basierend auf dem Erfassungsergebnis bestimmt.
Messungsvorrichtung, die Folgendes umfasst: eine Lichtempfangseinheit, einschließlich eines Lichtempfangselements, die ein Signal ausgibt, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch ein Messungsobjekt reflektiert wird; eine Erkennungseinheit, die Informationen über eine Entfernung zu dem Messungsobjekt unter Verwendung eines Maschinenlernmodells basierend auf einem Ausgabesignal der Lichtempfangseinheit erkennt; und eine Modellwechseleinheit, die das Maschinenlernmodell wechselt.
Entfernungsmessungssystem, das Folgendes umfasst: eine Lichtquelle, die ein Messungsobjekt in einem Gegenstandsraum mit Licht bestrahlt; eine Sensoreinheit, die den Gegenstandsraum erfasst; eine Lichtempfangseinheit, einschließlich eines Lichtempfangselements, die ein Signal ausgibt, wenn das Lichtempfangselement Licht empfängt, das von der Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird; eine Erkennungseinheit, die eine Entfernung zu dem Messungsobjekt unter Verwendung eines Maschinenlernmodells basierend auf einem Ausgabesignal der Lichtempfangseinheit erkennt; und eine Modellwechseleinheit, die das Maschinenlernmodell basierend auf einem Erfassungsergebnis durch die Sensoreinheit wechselt.
Verfahren, das Folgendes umfasst: Wechseln eines Maschinenlernmodells, das zum Erkennen von Informationen über eine Entfernung zu einem Messungsobjekt verwendet wird, basierend auf einem Ausgabesignal, das von einem Lichtempfangselement ausgegeben wird, wenn das Lichtempfangselement Licht empfängt, das von einer Lichtquelle emittiert und durch das Messungsobjekt reflektiert wird.