DE112020004690T5

DE112020004690T5 - Abstandsmesssensor, signalverarbeitungsverfahren und abstandsmessmodul

Info

Publication number: DE112020004690T5
Application number: DE112020004690.7T
Authority: DE
Inventors: Takayuki Joba; Yasuhiro Okamoto; Tetsuya Yamato
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-09-30
Filing date: 2020-09-16
Publication date: 2022-06-15
Also published as: JP2021056142A; CN114424083A; WO2021065494A1; US20220381913A1

Abstract

Die vorliegende Technologie bezieht auf einen Abstandsmesssensor, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul, die ermöglichen, zu detektieren, dass ein zu messendes Objekt ein Spiegelungsreflektor ist.Der Abstandsmesssensor enthält eine Signalverarbeitungseinheit, die einen Abstand zu einem Objekt und einem Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist. Die vorliegende Technologie kann für beispielsweise ein Abstandsmessmodul verwendet werden, das einen Abstand zu einem Gegenstand und dergleichen misst.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie bezieht sich auf einen Abstandsmesssensor, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul und insbesondere auf einen Abstandsmesssensor, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul, die in der Lage sind, zu detektieren, dass ein zu messendes Objekt ein Spiegelungsreflektor ist.
HINTERGRUNDTECHNIK
In den letzten Jahren ist mit dem Fortschritt der Halbleitertechnologie die Verkleinerung eines Abstandsmessmoduls, das einen Abstand zu einem Objekt misst, fortgeschritten. Infolgedessen wird beispielsweise realisiert, dass das Abstandsmessmodul an einem mobilen Endgerät wie etwa einem Smartphone montiert wird.
Als Abstandsmessverfahren im Abstandsmessmodul gibt es beispielsweise ein als Laufzeit-(ToF-)Verfahren bezeichnetes Verfahren. Im ToF-Verfahren wird Licht in Richtung eines Objekts emittiert und wird auf einer Oberfläche des Objekts reflektiertes Licht detektiert und wird ein Abstand zum Objekt auf der Basis eines gemessenen Wertes berechnet, der durch Messen der Laufzeit des Lichts erhalten wird (siehe zum Beispiel Patentdokument 1).
ZITATLISTE
PATENTDOKUMENT
Patentdokument 1: Offengelegte japanische Patentanmeldung Nr. 2017-150893
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Beim ToF-Verfahren wird jedoch der Abstand berechnet, indem Licht emittiert und reflektiertes Licht, das von einem Objekt reflektiert wurde, empfangen wird, sodass ein Fall auftrat, bei dem ein vom tatsächlichen Abstand verschiedener Abstand aufgrund einer Mehrfachreflexion auf der Oberfläche des Spiegelungsreflektors oder dergleichen gemessen wurde, wenn beispielsweise ein Spiegelungsreflektor wie etwa ein Spiegel oder eine Eisentür gemessen wurde.
Die vorliegende Technologie wurde im Hinblick auf solch eine Situation gemacht und soll ermöglichen, zu detektieren, dass ein Mesobjekt bzw. zu messendes Objekt ein Spiegelungsreflektor ist.
LÖSUNG FÜR DIE PROBLEME
Ein Abstandsmesssensor gemäß einem ersten Aspekt der vorliegenden Technologie enthält eine Signalverarbeitungseinheit, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, das reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht vom Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
In einem Signalverarbeitungsverfahren gemäß dem zweiten Aspekt der vorliegenden Technologie berechnet ein Abstandsmesssensor einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und gibt ein Bestimmungs-Flag aus, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
Ein Abstandsmessmodul gemäß einem dritten Aspekt der vorliegenden Technologie enthält: eine vorbestimmte lichtemittierende Quelle; und einen Abstandsmesssensor, in welchem der Abstandsmesssensor eine Signalverarbeitungseinheit enthält, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
In den ersten bis dritten Aspekten der vorliegenden Technologie werden der Abstand zum Objekt und der Konfidenzgrad aus dem Signal berechnet, das durch die lichtempfangende Einheit erhalten wird, das das reflektierte Licht empfängt, das das zurückgeworfene Licht ist, das erhalten wird, indem das von der vorbestimmten lichtemittierenden Quelle emittierte Bestrahlungslicht durch das Objekt reflektiert wird, und wird das Bestimmungs-Flag ausgegeben, das bestimmt, ob das Objekt, das das zu messende Objekt ist, der Spiegelungsreflektor mit dem hohen Reflexionsgrad ist.
Der Abstandsmesssensor und das Abstandsmessmodul können eine unabhängige Vorrichtung oder ein in einer anderen Vorrichtung integriertes Modul sein.
Figurenliste

1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Abstandsmessmoduls veranschaulicht, für das die vorliegende Technologie verwendet wird.
2 ist ein Diagramm, das ein Abstandsmessprinzip eines indirekten ToF-Verfahrens erläutert.
3 ist ein Blockdiagramm, das ein erstes Konfigurationsbeispiel eines Abstandsmesssensors veranschaulicht.
4 ist ein Diagramm, das einen ersten Schwellenwert einer Verarbeitung zur Glasbestimmung erläutert.
5 ist ein Flussdiagramm, das eine Verarbeitung zur Glasbestimmung durch den Abstandsmesssensor gemäß dem ersten Konfigurationsbeispiel erläutert.
6 ist ein Blockdiagramm, das ein zweites Konfigurationsbeispiel des Abstandsmesssensors veranschaulicht.
7 ist ein Diagramm, das einen Bestimmungsausdruck eines Spiegelungsbestimmungs-Flags erläutert.
8 ist ein Flussdiagramm, das eine Verarbeitung zur Spiegelungsbestimmung durch den Abstandsmesssensor gemäß dem zweiten Konfigurationsbeispiel erläutert.
9 ist ein Diagramm, das ein Problem erläutert, das bei einem sehr kurzen Abstand auftreten kann.
10 ist ein Blockdiagramm, das ein drittes Konfigurationsbeispiel des Abstandsmesssensors veranschaulicht.
11 ist ein Flussdiagramm, das eine Verarbeitung zur Bestimmung sehr kurzer Abstände durch den Abstandsmesssensor gemäß dem dritten Konfigurationsbeispiel erläutert.
12 ist ein Diagramm, das eine Beziehung zwischen einem Konfidenzgrad und einem Tiefenwert eines Bestimmungsziel-Pixels veranschaulicht.
13 ist ein Blockdiagramm, das ein viertes Konfigurationsbeispiel des Abstandsmesssensors veranschaulicht.
14 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Smartphone als eine elektronische Vorrichtung veranschaulicht, für die die vorliegende Technologie verwendet wird.
15 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems veranschaulicht.
16 ist ein erläuterndes Diagramm, das ein Beispiel von Installationspositionen einer Information von außerhalb des Fahrzeugs detektierenden Einheit und einer Bildgebungseinheit veranschaulicht.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden wird hierin ein Modus zum Ausführen der vorliegenden Technologie (auf den Modus wird hierin im Folgenden als die Ausführungsform verwiesen) mit Verweis auf die beiliegenden Zeichnungen beschrieben. Man beachte, dass in der vorliegenden Beschreibung und den Zeichnungen Komponenten mit im Wesentlichen der gleichen funktionalen Konfiguration mit den gleichen Bezugszeichen bezeichnet sind und redundante Erläuterungen weggelassen werden. Die Beschreibung wird in der folgenden Reihenfolge vorgenommen.

1. Schematisches Konfigurationsbeispiel eines Abstandsmessmoduls
2. Abstandsmessprinzip eines indirekten ToF-Verfahrens
3. Erstes Konfigurationsbeispiel eines Abstandsmesssensors
4. Zweites Konfigurationsbeispiel eines Abstandsmesssensors
5. Drittes Konfigurationsbeispiel eines Abstandsmesssensors
6. Viertes Konfigurationsbeispiel eines Abstandsmesssensors
7. Konfigurationsbeispiel einer elektronischen Vorrichtung
8. Anwendungsbeispiel für einen mobilen Körper

<1. Schematisches Konfigurationsbeispiel eines Abstandsmessmoduls>
1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Abstandsmessmoduls veranschaulicht, für das die vorliegende Technologie verwendet wird.
Ein in 1 veranschaulichtes Abstandsmessmodul 11 ist ein Abstandsmessmodul, das eine Abstandsmessung nach einem indirekten ToF-Verfahren durchführt, und enthält eine lichtemittierende Einheit 12, eine Lichtemissions-Steuerungseinheit 13 und einen Abstandsmesssensor 14.
Das Abstandsmessmodul 11 emittiert Licht zu einem vorbestimmten Objekt 21 als ein zu messendes Objekt und empfängt Licht (reflektiertes Licht), das erhalten wird, indem das Licht (Bestrahlungslicht) durch das Objekt 21 reflektiert wird. Das Abstandsmessmodul 11 gibt dann auf der Basis des Lichtempfangsergebnisses eine eine Abstandsinformation zum Objekt 21 repräsentierende Tiefenkarte und eine Konfidenzkarte als Messergebnisse aus.
Die lichtemittierende Einheit 12 enthält zum Beispiel ein Array aus oberflächenemittierenden Lasern mit vertikalem Hohlraum (VCSEL) (Lichtquellen-Array), worin eine Vielzahl von VCSELs in einer Ebene als lichtemittierende Quelle angeordnet ist, und emittiert Licht, während eine Modulation zu einem Zeitpunkt in Abhängigkeit von einem von der Lichtemissions-Steuerungseinheit 13 bereitgestellten Lichtemissions-Steuerungssignal durchgeführt wird, um Bestrahlungslicht zum Objekt 21 zu emittieren. Falls beispielsweise das Bestrahlungslicht Infrarotlicht ist, liegt die Wellenlänge des Bestrahlungslichts in einem Bereich von etwa 850 nm bis 940 nm.
Die Lichtemissions-Steuerungseinheit 13 stellt der lichtemittierenden Einheit 12 das Lichtemissions-Steuerungssignal mit einer vorbestimmten Frequenz (zum Beispiel 20 MHz oder dergleichen) bereit, wodurch eine Lichtemission durch die lichtemittierende Quelle gesteuert wird. Darüber hinaus stellt die Lichtemissions-Steuerungseinheit 13 auch dem Abstandsmesssensor 14 das Lichtemissions-Steuerungssignal bereit, um den Abstandsmesssensor 14 gemäß einem Zeitpunkt einer Lichtemission in der lichtemittierenden Einheit 12 anzusteuern.
Der Abstandsmesssensor 14 enthält eine lichtempfangende Einheit 15 und eine Signalverarbeitungseinheit 16.
Die lichtempfangende Einheit 15 empfängt reflektiertes Licht vom Objekt 21 mittels eines Pixel-Arrays, worin eine Vielzahl von Pixeln in einer Matrix in der Reihen-Richtung und der Spalten-Richtung zweidimensional angeordnet ist. Die lichtempfangende Einheit 15 stellt dann der Signalverarbeitungseinheit 16 ein Detektionssignal, das von einer Menge an empfangenem Licht des empfangenen reflektierten Lichts abhängt, in Einheiten von Pixeln des Pixel-Arrays bereit.
Die Signalverarbeitungseinheit 16 berechnet einen Tiefenwert, der ein Abstand vom Abstandsmessmodul 11 zum Objekt 21 ist, auf der Basis des von der lichtempfangenden Einheit 15 bereitgestellten Detektionssignals für jedes Pixel des Pixel-Arrays. Die Signalverarbeitungseinheit 16 erzeugt dann eine Tiefenkarte, in der der Tiefenwert als Pixel-Wert eines jeden Pixels gespeichert wird, und eine Konfidenzkarte, in der ein Konfidenzwert als Pixel-Wert eines jeden Pixels gespeichert wird, und gibt die Tiefenkarte und die Konfidenzkarte an die äußere Umgebung des Moduls aus.
Man beachte, dass ein Chip für eine Signalverarbeitung wie etwa ein digitaler Signalprozessor (DSP) in der nachfolgenden Stufe des Abstandsmessmoduls 11 vorgesehen sein kann und einige Funktionen, die von der Signalverarbeitungseinheit 16 ausgeführt werden, außerhalb des Abstandsmesssensors 14 (durch den Chip für eine Signalverarbeitung in der nachfolgenden Stufe) durchgeführt werden können. Alternativ dazu können all die von der Signalverarbeitungseinheit 16 durchgeführten Funktionen durch den Chip für eine Signalverarbeitung in der nachfolgenden Stufe durchgeführt werden, die vom Abstandsmessmodul 11 getrennt vorgesehen ist.
<2. Abstandsmessprinzip eines indirekten ToF-Verfahrens>
Bevor eine spezifische Verarbeitung der vorliegenden Offenbarung beschrieben wird, wird mit Verweis auf 2 ein Abstandsmessprinzip des indirekten ToF-Verfahrens kurz beschrieben.
Ein Tiefenwert d [mm], der dem Abstand vom Abstandsmessmodul 11 zum Objekt 21 entspricht, kann durch den folgenden Ausdruck (1) berechnet werden.
[Ausdruck 1] $d = \frac{1}{2} \cdot c \cdot Δ t$
Im Ausdruck (1) ist Δt eine Zeit, bis das von der lichtemittierenden Einheit 12 emittierte Bestrahlungslicht vom Objekt 21 reflektiert wird und auf die lichtempfangende Einheit 15 fällt, und repräsentiert c die Lichtgeschwindigkeit.
Als das von der lichtemittierenden Einheit 12 emittierte Bestrahlungslicht wird, wie in 2 veranschaulicht ist, gepulstes Licht mit einem Lichtemissionsmuster übernommen, das sich mit einer vorgegebenen Frequenz f (Modulationsfrequenz) wiederholt mit hoher Geschwindigkeit ein- und ausschaltet. Ein Zyklus T des Lichtemissionsmusters ist 1/f. In der lichtempfangenden Einheit 15 wird detektiert, dass die Phase des reflektierten Lichts (Lichtempfangsmusters) in Abhängigkeit von der Zeit Δt verschoben ist, bis das Bestrahlungslicht die lichtempfangende Einheit 15 von der lichtemittierenden Einheit 12 erreicht. Wenn ein Verschiebungsbetrag der Phase (Phasendifferenz) zwischen dem Lichtemissionsmuster und dem Lichtempfangsmuster φ ist, kann die Zeit Δt durch den folgenden Ausdruck (2) berechnet werden.
[Ausdruck 2] $Δ t = \frac{1}{f} \cdot \frac{ϕ}{2 π}$
Somit kann der Tiefenwert d vom Abstandsmessmodul 11 zum Objekt 21 durch den folgenden Ausdruck (3) aus den Ausdrücken (1) und (2) berechnet werden.
[Ausdruck 3] $d = \frac{c ϕ}{4 π f}$
Als Nächstes wird ein Verfahren zum Berechnen der oben beschriebenen Phasendifferenz φ beschrieben.
Jedes Pixel des in der lichtempfangenden Einheit 15 ausgebildeten Pixel-Arrays wiederholt mit einer hohen Geschwindigkeit EIN/AUS und akkumuliert nur während EIN-Perioden Ladungen.
Die lichtempfangende Einheit 15 schaltet sequentiell einen Ausführungszeitpunkt für EIN/AUS jedes Pixels der Pixel-Arrayeinheit um, akkumuliert Ladungen zu jedem Ausführungszeitpunkt und gibt ein von den akkumulierten Ladungen abhängiges Detektionssignal ab.
Es gibt vier Arten von EIN/AUS-Ausführungszeitpunkten, nämlich eine Phase von 0 Grad, eine Phase von 90 Grad, eine Phase von 180 Grad und eine Phase von 270 Grad.
Der Ausführungszeitpunkt der Phase von 0 Grad ist ein Zeitpunkt, zu dem der EIN-Zeitpunkt (Lichtempfangszeitpunkt) jedes Pixels des Pixel-Arrays auf die Phase des von der Lichtquelle der lichtemittierenden Einheit 12 emittierten gepulsten Lichts, das heißt die gleiche Phase wie das Lichtemissionsmuster, festgelegt ist.
Der Ausführungszeitpunkt der Phase von 90 Grad ist ein Zeitpunkt, zu dem der EIN-Zeitpunkt (Lichtempfangszeitpunkt) jedes Pixels des Pixel-Arrays gegenüber dem von der Lichtquelle der lichtemittierenden Einheit 12 emittierten gepulsten Licht (Lichtemissionsmuster) um 90 Grad verzögert ist.
Der Ausführungszeitpunkt der Phase von 180 Grad ist ein Zeitpunkt, zu dem der EIN-Zeitpunkt (Lichtempfangszeitpunkt) jedes Pixels des Pixel-Arrays gegenüber dem von der Lichtquelle der lichtemittierenden Einheit 12 emittierten gepulsten Licht (Lichtemissionsmuster) um 180 Grad verzögert ist.
Der Ausführungszeitpunkt der Phase von 270 Grad ist ein Zeitpunkt, zu dem der EIN-Zeitpunkt (Lichtempfangszeitpunkt) jedes Pixels des Pixel-Arrays gegenüber dem von der Lichtquelle der lichtemittierenden Einheit 12 emittierten gepulsten Licht (Lichtemissionsmuster) um 270 Grad verzögert ist.
Die lichtempfangende Einheit 15 schaltet sequentiell die Lichtempfangszeitpunkte in der Reihenfolge beispielsweise der Phase von 0 Grad, der Phase von 90 Grad, der Phase von 180 Grad und der Phase von 270 Grad um und erfasst die Menge an empfangenem Licht des reflektierten Lichts (akkumulierte Ladung) zu jedem Lichtempfangszeitpunkt. In 2 ist zum Lichtempfangszeitpunkt (EIN-Zeitpunkt) jeder Phase der Zeitpunkt, zu dem das reflektierte Licht einfällt, schraffiert.
Wie in 2 veranschaulicht ist, kann unter der Annahme, dass Q₀, Q₉₀, Q₁₈₀ und Q₂₇₀ die Ladungen sind, die akkumuliert werden, wenn der Lichtempfangszeitpunkt auf die Phase von 0 Grad, die Phase von 90 Grad, die Phase von 180 Grad bzw. die Phase von 270 Grad festgelegt ist, die Phasendifferenz φ unter Verwendung von Q₀, Q₉₀, Q₁₈₀ und Q₂₇₀ durch den folgenden Ausdruck (4) berechnet werden.
[Ausdruck 4] $ϕ = Arctan \frac{Q_{90} - Q_{270}}{Q_{180} - Q_{0}}$
Der Tiefenwert d vom Abstandsmessmodul 11 zum Objekt 21 kann berechnet werden, indem die durch den Ausdruck (4) berechnete Phasendifferenz φ in den oben beschriebenen Ausdruck (3) eingegeben wird.
Darüber hinaus ist der Konfidenzgrad conf ein Wert, der eine Intensität des von jedem Pixel empfangenen Lichts repräsentiert, und kann durch beispielsweise den folgenden Ausdruck (5) berechnet werden.
[Ausdruck 5] $conf = \sqrt{{(Q_{180} - Q_{0})}^{2} + {(Q_{90} - Q_{270})}^{2}}$
In jedem Pixel des Pixel-Arrays schaltet die lichtempfangende Einheit 15 den Lichtempfangszeitpunkt sequentiell zu der Phase von 0 Grad, der Phase von 90 Grad, der Phase von 180 Grad und der Phase von 270 Grad wie oben beschrieben um und stellt der Signalverarbeitungseinheit 16 sequentiell das der akkumulierten Ladung (Ladung Q₀, Ladung Q₉₀, Ladung Q₁₈₀ und Ladung Q₂₇₀) in jeder Phase entsprechende Detektionssignal bereit. Man beachte, dass es, indem in jedem Pixel des Pixel-Arrays zwei Ladungsakkumulationseinheiten vorgesehen und in den zwei Ladungsakkumulationseinheiten Ladungen abwechselnd akkumuliert werden, möglich ist, in einem Frame Detektionssignale von zwei Lichtempfangszeitpunkten zu erfassen, deren Phasen zueinander invertiert sind, wie beispielsweise die Phase von 0 Grad und die Phase von 180 Grad.
Die Signalverarbeitungseinheit 16 berechnet den Tiefenwert d, der der Abstand vom Abstandsmessmodul 11 zum Objekt 21 ist, auf der Basis des von der lichtempfangenden Einheit 15 bereitgestellten Detektionssignals für jedes Pixel der Pixel-Arrayeinheit. Eine Tiefenkarte, in der der Tiefenwert d als der Pixel-Wert eines jeden Pixels gespeichert ist, und eine Konfidenzkarte, in der der Konfidenzgrad conf als der Pixel-Wert eines jeden Pixels gespeichert ist, werden dann erzeugt und von der Signalverarbeitungseinheit 16 an die äußere Umgebung des Moduls ausgegeben.
In beispielsweise einer eingebetteten Vorrichtung, in der das Abstandsmessmodul 11 integriert ist, wird die vom Abstandsmessmodul 11 ausgegebene Tiefenkarte genutzt, um einen Abstand für einen Autofokus zu bestimmen, wenn ein Gegenstand mittels einer Kamera (Bildsensor) abgebildet wird.
Der Abstandsmesssensor 14 gibt die Tiefenkarte und die Konfidenzkarte an ein System (Steuerungseinheit) in der nachfolgenden Stufe des Abstandsmessmoduls 11 aus, und zusätzlich hat das System in der nachfolgenden Stufe eine Funktion, zusätzliche Informationen auszugeben, die zusammen für eine Verarbeitung unter Verwendung der Tiefenkarte und der Konfidenzkarte nützlich ist.
Im Folgenden wird hierin eine detaillierte Beschreibung einer Funktion des Abstandsmesssensors 14 gegeben, der zusätzlich zu der Tiefenkarte und der Konfidenzkarte die zusätzliche Information ausgibt, die für die Verarbeitung unter Verwendung der Tiefenkarte und der Konfidenzkarte nützlich ist.
<3. Erstes Konfigurationsbeispiel eines Abstandsmesssensors>
3 ist ein Blockdiagramm, das ein erstes Konfigurationsbeispiel des Abstandsmesssensors 14 veranschaulicht.
Im ersten Konfigurationsbeispiel von 3 hat der Abstandsmesssensor 14 eine Funktion, ein Glasbestimmungs-Flag als die zusätzliche Information auszugeben.
Beispielsweise wird ein Fall angenommen, in dem ein Nutzer eine Landschaft durch Glas mit einer Kamera einer eingebetteten Vorrichtung abbildet, worin das Abstandsmessmodul 11 integriert ist. Eine Steuerungseinheit der eingebetteten Vorrichtung (zum Beispiel eines Smartphone) gibt an das Abstandsmessmodul 11 eine Anweisung zur Abstandsmessung, und das Abstandsmessmodul 11 misst einen Abstand, indem Bestrahlungslicht auf der Basis der Anweisung emittiert wird, und gibt eine Tiefenkarte und eine Konfidenzkarte aus. Zu dieser Zeit misst in einem Fall, in dem sich Glas zwischen dem Abstandsmessmodul 11 und einem Gegenstand befindet, der ein ursprüngliches Abbildungsziel ist, das Abstandsmessmodul 11 einen Abstand zu einer Glasoberfläche, nicht zu dem Gegenstand als Abbildungsziel. Infolgedessen tritt eine Situation ein, in der der Bildsensor nicht auf das ursprüngliche Abbildungsziel fokussieren kann.
Somit gibt der Abstandsmesssensor 14 gemäß dem ersten Konfigurationsbeispiel das Glasbestimmungs-Flag, das angibt, ob das Messergebnis ein Ergebnis einer Messung des Abstands zum Glas ist, als die zusätzliche Information zusammen mit der Tiefenkarte und der Konfidenzkarte aus. Man beachte, dass das Glasbestimmungs-Flag ein Flag ist, das ein Ergebnis einer Bestimmung repräsentiert, ob das zu messende Objekt ein transparentes Objekt ist oder nicht, und das zu messende Objekt nicht auf Glas beschränkt ist, aber eine Beschreibung als Verarbeitung zur Glasbestimmung gegeben wird, um das Verständnis zu erleichtern.
Wie in 3 veranschaulicht ist, gibt die Signalverarbeitungseinheit 16 das Glasbestimmungs-Flag zusammen mit der Tiefenkarte und der Konfidenzkarte an das System in der nachfolgenden Stufe aus. Das Glasbestimmungs-Flag wird mittels beispielsweise „0“ oder „1“ dargestellt, wobei „1“ repräsentiert, dass das zu messende Objekt Glas ist, und „0“ repräsentiert, dass das zu messende Objekt nicht Glas ist.
Darüber hinaus gibt es einen Fall, in dem der Signalverarbeitungseinheit 16 eine einen Bereich spezifizierende Information, die den Detektionszielbereich entsprechend einem Fokusfenster für einen Autofokus spezifiziert, von einem System in der nachfolgenden Stufe bereitgestellt wird. Falls die einen Bereich spezifizierende Information bereitgestellt wird, begrenzt die Signalverarbeitungseinheit 16 den Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt Glas ist oder nicht, auf einen durch die einen Bereich spezifizierende Information angegebenen Bereich. Das heißt, die Signalverarbeitungseinheit 16 gibt mittels des Glasbestimmungs-Flag aus, ob das Messergebnis des durch die einen Bereich spezifizierende Information angegebenen Bereichs ein Ergebnis einer Messung von Glas ist oder nicht.
Konkret berechnet zunächst die Signalverarbeitungseinheit 16 einen Glasbestimmungs-Parameter PARA1 durch einen der folgenden Ausdrücke (6) oder (7).
[Ausdruck 6] $PARA1 = \frac{Max (conf)}{Ave (conf)}$
$PARA1 = \frac{Max (conf)}{Large_Nth (conf)}$
Im Ausdruck (6) ist ein Wert, der erhalten wird, indem ein maximaler Wert (Bereich-Maximalwert) der Konfidenzgrade conf all der Pixel im Bestimmungszielbereich durch einen Durchschnittswert (Bereich-Durchschnittswert) der Konfidenzgrade conf all der Pixel im Bestimmungszielbereich dividiert wird, als der Glasbestimmungs-Parameter PARA1 festgelegt. Im Ausdruck (7) ist ein Wert, der erhalten wird, indem der Maximalwert der Konfidenzgrade conf all der Pixel im Bestimmungszielbereich durch den N-ten Konfidenzgrad conf vom Größten aus unter den Konfidenzgraden conf all der Pixel im Bestimmungszielbereich dividiert wird, als der Glasbestimmungs-Parameter PARA1 festgelegt. Max() repräsentiert eine Funktion zum Berechnen des Maximalwerts, Ave() repräsentiert eine Funktion zum Berechnen des Durchschnittswerts, und Large-Nth() repräsentiert eine Funktion zum Extrahieren des N-ten (N > 1) Werts vom Größten aus. Ein Wert von N wird durch eine anfängliche Festlegung oder dergleichen vorab bestimmt. Der Bestimmungszielbereich ist der Bereich, der durch die einen Bereich spezifizierende Information angegeben wird, falls die einen Bereich spezifizierende Information vom System in der nachfolgenden Stufe bereitgestellt wird, und ist der gesamte Pixel-Bereich des Pixel-Arrays der lichtempfangenden Einheit 15, falls die einen Bereich spezifizierende Information nicht bereitgestellt wird.
Dann setzt, wie durch den Ausdruck (8) ausgedrückt ist, die Signalverarbeitungseinheit 16 ein Glasbestimmungs-Flag glass_flg auf „1“, falls der Glasbestimmungs-Parameter PARA1 größer als ein Glasbestimmungs-Schwellenwert GL Th ist, der vorher bestimmt wurde, setzt das Glasbestimmungs-Flag glass_flg auf „0“, falls der Glasbestimmungs-Parameter PARA1 geringer als der oder gleich dem Glasbestimmungs-Schwellenwert GL Th ist und gibt das Glasbestimmungs-Flag glass_flag aus.
[Ausdruck 7] $glass_flg = {\begin{cases} 1 (PARA1>GL_Th) \\ 0 (PARA1 ≦ GL_Th) \end{cases}$
Falls sich zwischen dem zu messenden Objekt und dem Abstandsmessmodul 11 Glas befindet, wird das Bestrahlungslicht vom Glas reflektiert, so dass die Menge an empfangenem Licht nur in einem Teilbereich aufgrund eines intensiven reflektierten Lichts erhöht ist und in einem anderen Bereich als dem Teilbereich der Konfidenzgrad conf des Gegenstands hinter dem Glas ist und die Menge an empfangenem Licht (Konfidenzgrad conf) im gesamten Bereich dunkel ist. Aus diesem Grund ist es, indem man ein Verhältnis zwischen dem Bereich-Maximalwert und dem Bereich-Durchschnittswert wie im Ausdruck (6) analysiert, möglich, zu bestimmen, ob das Messergebnis ein Ergebnis der Messung von Glas ist oder nicht. Darüber hinaus ist im Ausdruck (7), falls Glas vorhanden ist, nur der Glasteilbereich ein Bereich (entsprechend einem Max-Wert), worin intensive Reflexion auftritt, und somit wird ein anderer Bereich als der Teilbereich als der N-te Konfidenzgrad conf extrahiert und wird durch die Größe des Verhältnisses zwischen dem Maximalwertbereich und einem anderen Bereich als dem Maximalwertbereich bestimmt, ob der Bereich-Maximalwert ein durch Messen von Glas erhaltener Wert ist.
Man beachte, dass im Ausdruck (8) unter Verwendung des gleichen Glasbestimmungs-Schwellenwerts GL Th in sowohl einem Fall, in dem der Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (6) übernommen wird, als auch einem Fall, in dem der Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (7) übernommen wird, die Bestimmung vorgenommen wird; jedoch kann der Glasbestimmungs-Schwellenwert GL Th auf verschiedene Werte zwischen dem Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (6) und dem Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (7) festgelegt werden.
Darüber hinaus kann bestimmt werden, ob es sich um das Glas handelt oder nicht, indem sowohl der Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (6) als auch der Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (7) verwendet werden. In diesem Fall wird das Glasbestimmungs-Flag glass_flg auf „1“ gesetzt, falls es als das Glas durch sowohl den Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (6) als auch dem Glasbestimmungs-Parameter PARA1 gemäß dem Ausdruck (7) bestimmt wird.
Wie in 4 veranschaulicht ist, kann darüber hinaus der Glasbestimmungs-Schwellenwert GL_Th in Abhängigkeit von der Größe des Bereich-Maximalwerts auf einen unterschiedlichen Wert festgelegt werden. Im Beispiel von 4 ist der Glasbestimmungs-Schwellenwert GL Th je nach der Größe des Bereich-Maximalwerts in zwei Werte unterteilt. Falls der Bereich-Maximalwert größer als ein Wert M1 ist, wird die Bestimmung des Ausdrucks (8) unter Verwendung eines Glasbestimmungs-Schwellenwerts GL_Tha durchgeführt, und in einem Fall, in dem der Bereich-Maximalwert geringer als der oder gleich dem Wert M1 ist, wird die Bestimmung des Ausdrucks (8) unter Verwendung des Glasbestimmungs-Schwellenwerts GL_Thb ausgeführt, der größer als der Glasbestimmungs-Schwellenwert GL Tha ist.
Man beachte, dass, obgleich nicht veranschaulicht, der Glasbestimmungs-Schwellenwert GL_Th anstelle von zwei Niveaus auf verschiedene Werte in drei oder mehr Niveaus festgelegt werden kann.
Die Verarbeitung zur Glasbestimmung durch die Signalverarbeitungseinheit 16 des Abstandsmesssensors 14 gemäß dem ersten Konfigurationsbeispiel wird mit Verweis auf ein Flussdiagramm von 5 beschrieben. Diese Verarbeitung wird beispielsweise begonnen, wenn das Detektionssignal vom Pixel-Array der lichtempfangenden Einheit 15 bereitgestellt wird.
Zunächst berechnet in Schritt S1 die Signalverarbeitungseinheit 16 den Tiefenwert d, der ein Abstand zu dem zu messenden Objekt ist, für jedes Pixel auf der Basis des von der lichtempfangenden Einheit 15 bereitgestellten Detektionssignals. Die Signalverarbeitungseinheit 16 erzeugt dann die Tiefenkarte, in der der Tiefenwert d als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S2 berechnet die Signalverarbeitungseinheit 16 den Konfidenzgrad conf für jedes Pixel eines jeden Pixels und erzeugt die Konfidenzkarte, in der der Konfidenzgrad conf als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S3 erfasst die Signalverarbeitungseinheit 16 die vom System in der nachfolgenden Stufe bereitgestellte, einen Bereich spezifizierende Information, die den Detektionszielbereich spezifiziert. Falls die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird die Verarbeitung von Schritt S3 weggelassen. Falls die einen Bereich spezifizierende Information bereitgestellt wird, wird der durch die einen Bereich spezifizierende Information angegebene Bereich als der Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt Glas ist oder nicht, festgelegt. Falls auf der anderen Seite die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird der gesamte Pixelbereich des Pixel-Arrays der lichtempfangenden Einheit 15 als der Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt Glas ist oder nicht, festgelegt.
In Schritt S4 berechnet die Signalverarbeitungseinheit 16 den Glasbestimmungs-Parameter PARA1 unter Verwendung entweder des oben beschriebenen Ausdrucks (6) oder (7).
Falls der Ausdruck (6) übernommen wird, detektiert die Signalverarbeitungseinheit 16 den Maximalwert (Bereich-Maximalwert) der Konfidenzgrade conf all der Pixel im Bestimmungszielbereich. Darüber hinaus berechnet die Signalverarbeitungseinheit 16 den Durchschnittswert (Bereich-Durchschnittswert) der Konfidenzgrade conf all der Pixel in dem Bestimmungszielbereich. Die Signalverarbeitungseinheit 16 dividiert dann den Bereich-Maximalwert durch den Bereich-Durchschnittswert, um den Glasbestimmungs-Parameter PARA1 zu berechnen.
Falls der Ausdruck (7) übernommen wird, detektiert die Signalverarbeitungseinheit 16 den Maximalwert (Bereich-Maximalwert) der Konfidenzgrade conf all der Pixel im Bestimmungszielbereich. Darüber hinaus sortiert die Signalverarbeitungseinheit 16 die Konfidenzgrade conf all der Pixel im Bestimmungszielbereich in absteigender Reihenfolge und extrahiert vom Größten aus den N-ten (N > 1) Wert. Die Signalverarbeitungseinheit 16 dividiert dann den Bereich-Maximalwert durch den N-ten Wert, um den Glasbestimmungs-Parameter PARA1 zu berechnen.
In Schritt S5 bestimmt die Signalverarbeitungseinheit 16, ob der berechnete Glasbestimmungs-Parameter PARA1 größer als der Glasbestimmungs-Schwellenwert GL_Th ist.
Falls in Schritt S5 bestimmt wird, das Glasbestimmungs-Parameter PARA1 größer als der Glasbestimmungs-Schwellenwert GL_Th ist, geht die Verarbeitung zu Schritt S6 weiter und setzt die Signalverarbeitungseinheit 16 das Glasbestimmungs-Flag glass_flg auf „1“.
Falls auf der anderen Seite in Schritt S5 bestimmt wird, dass der Glasbestimmungs-Parameter PARA1 geringer als der oder gleich dem Glasbestimmungs-Schwellenwert GL Th ist, geht die Verarbeitung zu Schritt S7 weiter und setzt die Signalverarbeitungseinheit 16 das Glasbestimmungs-Flag glass_flag auf „0“.
In Schritt S8 gibt dann die Signalverarbeitungseinheit 16 das Glasbestimmungs-Flag glass_flg an das System in der nachfolgenden Stufe zusammen mit der Tiefenkarte und der Konfidenzkarte aus und beendet die Verarbeitung.
Wie oben beschrieben wurde, kann bei dem Abstandsmesssensor 14 gemäß dem ersten Konfigurationsbeispiel, wenn die Tiefenkarte und die Konfidenzkarte an das System in der nachfolgenden Stufe ausgegeben werden, das Glasbestimmungs-Flag, das bestimmt, ob es sich bei dem zu messenden Objekt um Glas handelt oder nicht, ausgegeben werden.
Infolgedessen kann das System in der nachfolgenden Stufe, das die Tiefenkarte und die Konfidenzkarte erfasst hat, erkennen, dass eine Möglichkeit besteht, dass das Abstandsmessergebnis durch das Abstandsmessmodul 11 kein Wert ist, der durch Messen eines Abstands zum ursprünglichen Abbildungsziel erhalten wird. In diesen Fall kann beispielsweise das System in der nachfolgenden Stufe eine Steuerung wie etwa ein Umschalten der Fokussteuerung auf Autofokus eines Kontrastverfahrens unter Verwendung der Abstandsinformation der erfassten Tiefenkarte durchführen.
<4. Zweites Konfigurationsbeispiel eines Abstandsmesssensors>
6 ist ein Blockdiagramm, das ein zweites Konfigurationsbeispiel des Abstandsmesssensors 14 veranschaulicht.
Im zweiten Konfigurationsbeispiel von 6 hat der Abstandsmesssensor 14 eine Funktion, ein Spiegelungsbestimmungs-Flag als zusätzliche Information auszugeben.
Im ToF-Verfahren wird das Licht emittiert und wird das reflektierte Licht, das vom Objekt reflektiert wurde, empfangen, um den Abstand zu berechnen, so dass, wenn ein Objekt mit einem hohen Reflexionsgrad, zum Beispiel ein Spiegel, eine Eisentür oder dergleichen, (worauf hier im Folgenden als Spiegelungsreflektor verwiesen wird) gemessen wird, ein Fall auftrat, in dem ein Messabstand ungenau ist, zum Beispiel der Abstand aufgrund von Mehrfachreflexionen an der Oberfläche des Spiegelungsreflektors als ein längerer Abstand als der tatsächliche Abstand berechnet wird.
Somit gibt der Abstandsmesssensor 14 gemäß dem zweiten Konfigurationsbeispiel zusammen mit der Tiefenkarte und der Konfidenzkarte das Spiegelungsbestimmungs-Flag, das repräsentiert, ob das Messergebnis ein Ergebnis einer Messung des Spiegelungsreflektors ist, als die zusätzliche Information aus.
Man beachte, dass im oben beschriebenen ersten Konfigurationsbeispiel ein Glasbestimmungs-Flag für eine Tiefenkarte oder den durch die einen Bereich spezifizierende Information spezifizierten Detektionszielbereich in der Tiefenkarte ausgegeben wird, aber der Abstandsmesssensor 14 des zweiten Konfigurationsbeispiels das Spiegelungsbestimmungs-Flag in Einheiten von Pixeln ausgibt.
Konkret erzeugt die Signalverarbeitungseinheit 16 zunächst die Tiefenkarte und die Konfidenzkarte.
Als Nächstes berechnet die Signalverarbeitungseinheit 16 einen Reflexionsgrad ref des zu messenden Objekts für jedes Pixel. Der Reflexionsgrad ref wird durch den Ausdruck (9) ausgedrückt und wird berechnet, indem das Quadrat des Tiefenwerts d [mm] mit dem Konfidenzgrad conf multipliziert wird. $ref = conf \times {(d/1000)}^{2}$
Als Nächstes extrahiert die Signalverarbeitungseinheit 16 ein oder mehr Pixel, deren Reflexionsgrad ref größer als ein erster Reflexionsschwellenwert RF_Th1 ist und deren Tiefenwert d innerhalb von 1000 [mm] liegt, als einen Bereich, in dem eine Möglichkeit besteht, dass der Spiegelungsreflektor gemessen wird (worauf hier im Folgenden als Möglichkeitsbereich einer Spiegelungsreflexion verwiesen wird).
Falls das Bestrahlungslicht durch den Spiegelungsreflektor reflektiert wird, ist eine Menge an reflektiertem Licht extrem groß. Somit wird zunächst eine Bedingung, dass der Reflexionsgrad ref größer als der erste Reflexionsschwellenwert RF_Th1 ist, als eine Bedingung des Möglichkeitsbereichs einer Spiegelungsreflexion festgelegt.
Darüber hinaus ist ein Phänomen, bei dem der Messabstand aufgrund des Spiegelungsreflektors ungenau ist, vorwiegend auf einen Fall beschränkt, in dem der Spiegelungsreflektor in einem bestimmten kurzen Abstand vorhanden ist. Aus diesem Grund wird eine Bedingung, dass der berechnete Tiefenwert d der bestimmte kurze Abstand ist, als eine Bedingung des Möglichkeitsbereichs einer Spiegelungsreflexion festgelegt. Man beachte, dass 1000 [mm] nur ein Beispiel ist und der Tiefenwert d, der als der kurze Abstand festgelegt wird, geeignet festgelegt werden kann.
Als Nächstes bestimmt die Signalverarbeitungseinheit 16, ob der Tiefenwert d jedes Pixels ein Wert ist, der durch Messen des Spiegelungsreflektors erhalten wird, mittels eines Bestimmungsausdrucks des folgenden Ausdrucks (10) und setzt ein Spiegelungsbestimmmungs-Flag specular_flg und gibt dieses aus.
[Ausdruck 8] $specular_flg = {\begin{cases} Fall von RF_Th1<ref \leq RF_Th2 \\ 1 wenn ref<conf_TH1 \\ 0 sonst \\ Fall von RF_Th2<ref \\ 1 wenn ref<conf_TH2 \\ 0 sonst \\ wobei \\ conf_Th1 = \\ {conf_Li+ (ref - RF_Th1) \times \frac{(conf_L2 - conf_L1)}{(RF_Th2 - RF_Th1)} \\ conf_Th2 = conf_L2 \end{cases}$
In der Abbildung dargestellt wird der Bestimmungsausdruck des Ausdrucks (10) wie in 7 ausgedrückt.
Wie oben beschrieben wurde, ist der Möglichkeitsbereich einer Spiegelungsreflexion auf das Pixel beschränkt, bei dem der Reflexionsgrad ref größer als der Reflexionsschwellenwert RF_Th1 ist.
Der Bestimmungsausdruck des Spiegelbestimmungs-Flags ist unterteilt in einen Fall, in dem der Reflexionsgrad ref des Pixels größer als der erste Reflexionsschwellenwert RF_Th1 und geringer als oder gleich einem zweiten Reflexionsschwellenwert RF_Th2 ist, und einen Fall, in dem der Reflexionsgrad ref größer als der zweite Reflexionsschwellenwert RF Th2 ist.
In dem Fall, in dem der Reflexionsgrad ref des Pixels größer als der erste Reflexionsschwellenwert RF_Th1 und geringer als der oder gleich dem zweiten Reflexionsschwellenwert RF Th2 ist, wird in einem Fall, in dem der Konfidenzgrad conf des Pixels geringer als ein erster Konfidenzschwellenwert conf_Th1 ist, bestimmt, dass das zu messende Objekt ein Spiegelungsreflektor ist, und wird „1“ am Spiegelungsbestimmungs-Flag specular_flg gesetzt. Falls auf der anderen Seite der Konfidenzgrad conf des Pixels größer als der oder gleich dem ersten Konfidenzschwellenwert conf_Th1 ist, wird bestimmt, dass das zu messende Objekt nicht der Spiegelungsreflektor ist, und wird „0“ am Spiegelungsbestimmungs-Flag specular_flg gesetzt.
Wie in 7 veranschaulicht ist, ist hier der erste Konfidenzschwellenwert conf_Th1 ein Wert, der in Abhängigkeit vom Reflexionsgrad ref von einem Konfidenzgrad conf_L1 beim ersten Reflexionsschwellenwert RF_Th1 zu einem Konfidenzgrad conf_L2 beim zweiten Reflexionsschwellenwert RF Th2 adaptiv geändert wird.
Als Nächstes wird in einem Fall, in dem der Reflexionsgrad ref des Pixels größer als der zweite Reflexionsschwellenwert RF Th2 ist, in einem Fall, in dem der Konfidenzgrad conf des Pixels geringer als ein zweiter Konfidenzschwellenwert conf_Th2 ist, bestimmt, dass das zu messende Objekt ein Spiegelungsreflektor ist, und wird „1“ am Spiegelungsbestimmungs-Flag specular_flg gesetzt. Auf der anderen Seite wird in einem Fall, in dem der Konfidenzgrad conf des Pixels größer als der oder gleich dem zweiten Konfidenzschwellenwert conf Th2 ist, bestimmt, dass das zu messende Objekt nicht der Spiegelungsreflektor ist, und wird „0“ am Spiegelungsbestimmungs-Flag specular_flg gesetzt.
Hier ist, wie in 7 veranschaulicht ist, der zweite Konfidenzgrad conf_Th2 ein Wert gleich dem Konfidenzgrad conf _L2.
Gemäß dem Bestimmungsausdruck des Ausdrucks (10) wird bestimmt, dass der Tiefenwert d des Pixels mit dem Reflexionsgrad ref und dem Konfidenzgrad conf, der dem Bereich entspricht, der durch eine Schraffur in dem in 7 veranschaulichten Möglichkeitsbereich einer Spiegelungsreflexion angegeben ist, erhalten wird, indem der Spiegelungsreflektor als das zu messende Objekt gemessen wird, und eine Möglichkeit besteht, dass der Messabstand ungenau ist, und wird das Spiegelungsbestimmungs-Flag specular_flg = „1“ ausgegeben.
Gemäß dem Bestimmungsausdruck des Ausdrucks (10) wird in Bezug auf das Pixel im Möglichkeitsbereich einer Spiegelungsreflexion in einem Fall, in dem der Reflexionsgrad ref hoch ist und der Konfidenzgrad conf geringer als oder gleich einer bestimmten Referenz ist, das Spiegelungsbestimmungs-Flag specular_flg = „1“ gesetzt. Im Fall eines normalen Messergebnisses sollte dann, falls der Reflexionsgrad ref groß ist, der Konfidenzgrad conf ebenfalls groß sein, und somit wird die Referenz des Konfidenzgrads conf in Abhängigkeit vom Reflexionsgrad ref so geändert, dass sie groß ist.
Man beachte, dass der Signalverarbeitungseinheit 16 ähnlich dem oben beschriebenen ersten Konfigurationsbeispiel die einen Bereich spezifizierende Information vom System in der nachfolgenden Stufe bereitgestellt werden kann. In diesem Fall begrenzt die Signalverarbeitungseinheit 16 den Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt der Spiegelungsreflektor ist oder nicht, auf den durch die einen Bereich spezifizierende Information angegebenen Bereich. Das heißt, die Signalverarbeitungseinheit 16 bestimmt, ob das Messergebnis ein Ergebnis einer Messung des Spiegelungsreflektors nur für den durch die einen Bereich spezifizierende Information angegebenen Bereich ist oder nicht, und gibt das Spiegelungsbestimmungs-Flag aus.
Eine Verarbeitung zur Spiegelungsbestimmung durch die Signalverarbeitungseinheit 16 des Abstandsmesssensors 14 gemäß dem zweiten Konfigurationsbeispiel wird mit Verweis auf ein Flussdiagramm von 8 beschrieben. Diese Verarbeitung wird zum Beispiel begonnen, wenn das Detektionssignal vom Pixel-Array der lichtempfangenden Einheit 15 bereitgestellt wird.
Zunächst berechnet in Schritt S21 die Signalverarbeitungseinheit 16 den Tiefenwert d, der der Abstand zum zu messenden Objekt ist, für jedes Pixel auf der Basis des von der lichtempfangenden Einheit 15 bereitgestellten Detektionssignals. Die Signalverarbeitungseinheit 16 erzeugt dann die Tiefenkarte, in der der Tiefenwert d als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S22 berechnet die Signalverarbeitungseinheit 16 den Konfidenzgrad conf für jedes Pixel eines jeden Pixels und erzeugt die Konfidenzkarte, in der der Konfidenzgrad conf als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S23 erfasst die Signalverarbeitungseinheit 16 die vom System in der nachfolgenden Stufe bereitgestellte, einen Bereich spezifizierende Information, die den Detektionszielbereich spezifiziert. Falls die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird die Verarbeitung von Schritt S23 weggelassen. Falls die einen Bereich spezifizierende Information bereitgestellt wird, wird der durch die einen Bereich spezifizierende Information angegebene Bereich als der Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt der Spiegelungsreflektor ist oder nicht, festgelegt. Falls auf der anderen Seite die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird der gesamte Pixel-Bereich des Pixel-Arrays der lichtempfangenden Einheit 15 als der Bestimmungszielbereich zum Bestimmen, ob das zu messende Objekt der Spiegelungsreflektor ist oder nicht, festgelegt.
In Schritt S24 berechnet die Signalverarbeitungseinheit 16 den Reflexionsgrad ref des zu messenden Objekts für jedes Pixel unter Verwendung des oben beschriebenen Ausdrucks (9).
In Schritt S25 extrahiert die Signalverarbeitungseinheit 16 den Möglichkeitsbereich einer Spiegelungsreflexion. Das heißt, die Signalverarbeitungseinheit 16 extrahiert ein oder mehr Pixel, in denen der Reflexionsgrad ref größer als der erste Reflexionsschwellenwert RF_Th1 ist und der Tiefenwert d innerhalb von 1000 [mm] liegt, im Bestimmungszielbereich und legt die Pixel als den Möglichkeitsbereich einer Spiegelungsreflexion fest.
In Schritt S26 bestimmt die Signalverarbeitungseinheit 16 für jedes Pixel im Bestimmungszielbereich, ob der Tiefenwert d des Pixels ein Wert ist, der durch Messen des Spiegelungsreflektors erhalten wird, mittels des Bestimmungsausdrucks des Ausdrucks (10).
Falls in Schritt S26 bestimmt wird, dass der Tiefenwert d des Pixels ein Wert ist, der durch Messen des Spiegelungsreflektors erhalten wird, geht die Verarbeitung zu Schritt S27 weiter und setzt die Signalverarbeitungseinheit 16 das Spiegelungsbestimmungs-Flag specular_flg des Pixels auf „1“.
Falls auf der anderen Seite in Schritt S26 bestimmt wird, dass der Tiefenwert d des Pixels kein Wert ist, der durch Messen des Spiegelungsreflektors erhalten wird, geht die Verarbeitung zu Schritt S28 weiter und setzt die Signalverarbeitungseinheit 16 das Spiegelungsbestimmungs-Flag specular_flg auf „0“.
Die Verarbeitung des Schritts S26 und die Verarbeitung des Schritts S27 oder S28 basierend auf dem Bestimmungsergebnis werden für all die Pixel im Bestimmungszielbereich ausgeführt.
In Schritt S29 gibt dann die Signalverarbeitungseinheit 16 das für jedes Pixel gesetzte Spiegelungsbestimmungs-Flag specular _flg zusammen mit der Tiefenkarte und der Konfidenzkarte an das System in der nachfolgenden Stufe aus und beendet die Verarbeitung.
Wie oben beschrieben wurde, kann mit dem Abstandsmesssensor 14 gemäß dem zweiten Konfigurationsbeispiel, wenn die Tiefenkarte und die Konfidenzkarte an das System in der nachfolgenden Stufe ausgegeben werden, das Spiegelungsbestimmungs-Flag ausgegeben werden, das bestimmt, ob das zu messende Objekt der Spiegelungsreflektor ist oder nicht. Das Spiegelungsbestimmungs-Flag kann als Mapping-Daten ausgegeben werden, in denen das Spiegelungsbestimmungs-Flag als ein Pixel-Wert eines jeden Pixels gespeichert wird, wie etwa die Tiefenkarte oder die Konfidenzkarte.
Infolgedessen kann das System in der nachfolgenden Stufe, das die Tiefenkarte und die Konfidenzkarte erfasst hat, erkennen, dass eine Möglichkeit besteht, dass das Abstandsmessergebnis durch das Abstandsmessmodul 11 kein Wert ist, der durch genaues Messen des Abstands zum Abbildungsziel erhalten wird. In diesem Fall kann beispielsweise das System in der nachfolgenden Stufe eine Steuerung wie etwa ein Umschalten der Fokussteuerung auf Autofokus eines Kontrastverfahrens ohne Verwendung der Abstandsinformation der erfassten Tiefenkarte durchführen.
Man beachte, dass im oben beschriebenen Beispiel das Spiegelungsbestimmungs-Flag in Einheiten von Pixeln ausgegeben wird; jedoch kann ähnlich dem ersten Konfigurationsbeispiel ein Spiegelungsbestimmungs-Flag für eine Tiefenkarte (deren Detektionszielbereich) ausgegeben werden. In diesem Fall detektiert beispielsweise die Signalverarbeitungseinheit 16 ein Pixel mit dem maximalen Reflexionsgrad ref unter einem oder mehr Pixeln im Bestimmungszielbereich. Die Signalverarbeitungseinheit 16 kann dann das Spiegelungsbestimmungs-Flag in Einheiten einer Tiefenkarte ausgeben, indem die Bestimmung des Ausdrucks (10) unter Verwendung des Konfidenzgrads conf des Pixels mit dem maximalen Reflexionsgrad ref durchgeführt wird.
<5. Drittes Konfigurationsbeispiel eines Abstandsmesssensors>
Als Nächstes wird ein drittes Konfigurationsbeispiel des Abstandsmesssensors 14 beschrieben.
Im Abstandsmesssensor kann zum Beispiel ein Messfehler von etwa einigen cm auftreten und kann eine Korrektur von etwa einigen cm in einer Kalibrierungsverarbeitung durchgeführt werden. In diesem Fall ist, falls beispielsweise die Modulationsfrequenz der lichtemittierenden Quelle 20 MHz ist, der maximale Messbereich 7,5 m und verursacht eine Korrektur von einigen cm bei einem Messabstand von 1 m bis einige m kein großes Problem, kann aber ein Problem bei einem sehr kurzen Abstand von beispielsweise 10 cm oder weniger auftreten.
Mit Verweis auf 9 wird ein Problem beschrieben, das bei dem sehr kurzem Abstand auftreten kann.
Da im Abstandsmesssensor des indirekten ToF-Verfahrens die Phasendifferenz detektiert und in den Abstand umgewandelt wird, ist der maximale Messbereich je nach der Modulationsfrequenz der lichtemittierenden Quelle bestimmt, und, wenn der maximale Messabstand überschritten wird, beginnt die detektierte Phasendifferenz wieder von Null an. Falls beispielsweise die Modulationsfrequenz der Lichtquelle 20 MHz ist, beträgt, wie in 9 veranschaulicht ist, der maximale Messbereich 7,5 m und ändert sich die Phasendifferenz periodisch in Einheiten von 7,5 m.
Beim Abstandsmesssensor wird beispielsweise angenommen, dass die Kalibrierungsverarbeitung integriert ist, um eine Korrektur von -5 cm am gemessenen Wert des Sensors durchzuführen. Falls ein durch einen Pfeil A in 9 angegebener Abstand von 3 cm gemessen wird, beträgt hier der tatsächliche Abstand 3 - 5 = -2 cm, falls -5 cm korrigiert wird, und wird das Messergebnis ein durch einen Pfeil B angegebener negativer Wert.
Da das Messergebnis keinen negativen Wert (-2 cm) haben kann, gibt der Abstandsmesssensor einen Abstand aus, der durch eine entsprechende Phasendifferenz im Messbereich angegeben ist, konkret 7,48 m = (7,5 m - 2 cm), angegeben durch einen Pfeil C, der erhalten wird, indem zur Seite des maximalen Messabstands zurückgefaltet wird. Wie oben beschrieben wurde, gibt es einen Fall, in dem ein falsches Messergebnis ausgegeben wird, falls durch den Kalibrierungsprozess ein negativer Wert erhalten wird (Fall 1).
Darüber hinaus ist beispielsweise in einem Fall, in dem der gemessene Wert des Abstandsmesssensors als 6 cm erhalten wird, ein Ausgabewert nach der Kalibrierungsverarbeitung 6 - 5 = 1 cm, indem eine Korrektur von -5 cm durchgeführt wird, wird aber bestimmt, dass für einen Abstand von 1 cm (nachdem er tatsächlich 6 cm beträgt) die Lichtmenge gering ist (der Konfidenzgrad conf gering ist). Infolgedessen gibt es einen Fall, in dem eine Ausgabe als Messfehler erfolgt, da das Pixel den niedrigen Konfidenzgrad conf, aufweist (Fall 2).
Für derartige Probleme des Falls 1 und des Falls 2 kann es vorzuziehen sein, mitzuteilen, dass die Abstandsinformation ein sehr kurzer Abstand ist, selbst wenn die Abstandsmessinformation für das System in der nachfolgenden Stufe, das die Abstandsmessinformation erfasst, nicht genau ist.
Somit ist das dritte Konfigurationsbeispiel des Abstandsmesssensors 14 dafür konfiguriert, eine Information ausgeben zu können, die angibt, dass der Abstand zum zu messenden Objekt ein sehr kurzer Abstand ist, bei dem die oben beschriebenen Fälle 1 und 2 auftreten.
10 ist ein Blockdiagramm, das das dritte Konfigurationsbeispiel des Abstandsmesssensors 14 veranschaulicht.
Im dritten Konfigurationsbeispiel von 10 hat der Abstandsmesssensor 14 eine Funktion, Informationen, die angeben, dass es sich um einen sehr kurzen Abstand handelt, als Messstatus auszugeben.
Der Abstandsmesssensor 14 gemäß dem dritten Konfigurationsbeispiel gibt einen Status des Messergebnisses (Messergebnisstatus) als zusätzliche Information zusammen mit der Tiefenkarte und der Konfidenzkarte aus.
Der Messergebnisstatus umfasst ein Normal-Flag, ein Supermakro-Flag und ein Fehler-Flag. Das Normal-Flag repräsentiert, dass der ausgegebene gemessene Wert ein normales Messergebnis ist. Das Supermakro-Flag repräsentiert, dass sich das zu messende Objekt in einem sehr kurzen Abstand befindet und der ausgegebene gemessene Wert ein ungenaues Messergebnis ist. Das Fehler-Flag repräsentiert, dass sich das zu messende Objekt in einem sehr kurzen Abstand befindet und der gemessene Wert nicht ausgegeben werden kann.
In der vorliegenden Ausführungsform ist der sehr kurze Abstand ein Abstand, bei dem ein Phänomen wie etwa der Fall 1 oder der Fall 2, die oben beschrieben wurden, auftritt, falls eine Korrektur von etwa einigen cm mittels der Kalibrierungsverarbeitung durchgeführt wird, und kann beispielsweise auf einen Abstand zum Objekt als das zu messende Objekt von bis zu etwa 10 cm festgelegt werden. Ein Abstandsbereich zu dem zu messenden Objekt, wofür das Supermakro-Flag gesetzt wird (Abstandsbereich, der als sehr kurzer Abstand bestimmt wird), kann gemäß beispielsweise einem Abstandsbereich fetsgelegt werden, in dem das System in der nachfolgenden Stufe eine Linse für den sehr kurzen Abstand nutzt. Alternativ dazu kann der Abstandsbereich zu dem zu messenden Objekt, wofür das Supermakro-Flag gesetzt wird, auf einen Abstand festgelegt werden, bei dem ein Einfluss auf den Reflexionsgrad ref aufgrund des Messfehlers des Abstandsmesssensors 14 (eine Änderung des Reflexionsgrads ref aufgrund des Messfehlers) das N-Fache (N > 1) übersteigt, und N kann beispielsweise auf 2 (das heißt, einen Abstand, bei dem der Einfluss das Zweifache übersteigt) festgelegt werden.
Der Messergebnisstatus kann für jedes Pixel ausgegeben werden. Man beachte, dass der Messergebnisstatus nicht ausgegeben werden muss, falls der Status dem Normal-Flag entspricht, und nur in einem Fall entweder des Supermakro-Flags oder des Fehler-Flags ausgegeben werden kann.
Man beachte, dass es ähnlich dem ersten Konfigurationsbeispiel und dem zweiten Konfigurationsbeispiel, die oben beschrieben wurden, einen Fall gibt, in dem der Signalverarbeitungseinheit 16 die einen Bereich spezifizierende Information vom System in der nachfolgenden Stufe bereitgestellt wird. In diesem Fall kann die Signalverarbeitungseinheit 16 den Messergebnisstatus zu nur einem durch die einen Bereich spezifizierende Information angegebenen begrenzten Bereich ausgeben.
Mit Verweis auf das Flussdiagramm von 11 wird die Verarbeitung zur Bestimmung eines sehr kurzen Abstands durch die Signalverarbeitungseinheit 16 des Abstandsmesssensors 14 gemäß dem dritten Konfigurationsbeispiel beschrieben. Diese Verarbeitung wird begonnen, wenn beispielsweise das Detektionssignal vom Pixel-Array der lichtempfangenden Einheit 15 bereitgestellt wird.
Zunächst berechnet in Schritt S41 die Signalverarbeitungseinheit 16 den Tiefenwert d, der der Abstand zum zu messenden Objekt ist, für jedes Pixel auf der Basis des von der lichtempfangenden Einheit 15 bereitgestellten Detektionssignals. Dann erzeugt die Signalverarbeitungseinheit 16 die Tiefenkarte, in der der Tiefenwert d als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S42 berechnet die Signalverarbeitungseinheit 16 den Konfidenzgrad conf für jedes Pixel eines jeden Pixels und erzeugt die Konfidenzkarte, in der der Konfidenzgrad conf als der Pixel-Wert eines jeden Pixels gespeichert wird.
In Schritt S43 erfasst die Signalverarbeitungseinheit 16 die vom System in der nachfolgenden Stufe bereitgestellte, einen Bereich spezifizierende Information, die den Detektionszielbereich spezifiziert. Falls die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird die Verarbeitung von Schritt S43 weggelassen. Falls die einen Bereich spezifizierende Information bereitgestellt wird, wird der durch die einen Bereich spezifizierende Information angegebene Bereich als Bestimmungszielbereich zum Bestimmen des Messergebnisstatus festgelegt. Falls auf der anderen Seite die einen Bereich spezifizierende Information nicht bereitgestellt wird, wird der gesamte Pixel-Bereich des Pixel-Arrays der lichtempfangenden Einheit 15 als der Bestimmungszielbereich zum Bestimmen des Messergebnisstatus festgelegt.
In Schritt S44 berechnet die Signalverarbeitungseinheit 16 den Reflexionsgrad ref des zu messenden Objekts für jedes Pixel unter Verwendung des oben beschriebenen Ausdrucks (9).
In Schritt S45 legt die Signalverarbeitungseinheit 16 ein vorbestimmtes Pixel im Bestimmungszielbereich als Bestimmungsziel-Pixel fest.
In Schritt S46 bestimmt die Signalverarbeitungseinheit 16, ob der Reflexionsgrad ref des Bestimmungsziel-Pixels extrem groß ist, konkret ob der Reflexionsgrad ref des Bestimmungsziel-Pixels größer als ein vorher bestimmter Reflexionsschwellenwert RFmax_Th ist.
Falls in Schritt S46 bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels extrem groß ist, mit anderen Worten der Reflexionsgrad ref des Bestimmungsziel-Pixels größer als der Reflexionsschwellenwert RFmax_Th ist, geht die Verarbeitung zu Schritt S47 weiter und setzt die Signalverarbeitungseinheit 16 das Supermakro-Flag als den Messergebnisstatus des Bestimmungsziel-Pixels. Der Reflexionsschwellenwert RFmax_Th wird auf der Basis beispielsweise eines Ergebnisses einer Messung in einem sehr kurzen Abstand bei einer Inspektion vor dem Versand festgelegt.
Ein Pixel, für das in der Verarbeitung von Schritt S46 „JA“ bestimmt wird und das Supermakro-Flag gesetzt ist, entspricht einem Fall, in dem der gemessene Wert ein sehr kurzer Abstand ist und ein ungenaues Messergebnis ausgegeben wird, wie etwa einem Fall, in dem der gemessene Wert des Sensors nach der Kalibrierungsverarbeitung ein negativer Wert wie im oben beschriebenen Fall 1 ist. Nach der Verarbeitung von Schritt S47 geht die Verarbeitung zu Schritt S53 weiter.
Falls auf der anderen Seite bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels nicht extrem groß ist, mit anderen Worten, falls bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels geringer als der oder gleich dem Referenzschwellenwert RFmax_Th ist, geht die Verarbeitung zu Schritt S48 weiter und bestimmt die Signalverarbeitungseinheit 16, ob der Reflexionsgrad ref des Bestimmungsziel-Pixels extrem klein ist.
In Schritt S48 wird, falls der Reflexionsgrad ref des Bestimmungsziel-Pixels geringer als ein vorher bestimmter Reflexionsschwellenwert RFmin_Th ist, bestimmt, dass der Reflexionsgrad des Bestimmungsziel-Pixels extrem klein ist. Der Reflexionsschwellenwert RFmin_Th (< RFmax_Th) wird ebenfalls auf der Basis beispielsweise des Ergebnisses einer Messung in sehr kurzem Abstand bei der Prüfung vor dem Versand festgelegt.
Falls in Schritt S48 bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels nicht extrem klein ist, mit anderen Worten der Reflexionsgrad ref des Bestimmungsziel-Pixels größer als der oder gleich dem Reflexionsschwellenwert RFmin_Th ist, geht die Verarbeitung zu Schritt S49 weiter und setzt die Signalverarbeitungseinheit 16 das Normal-Flag als den Messergebnisstatus des Bestimmungsziel-Pixels. Nach der Verarbeitung von Schritt S49 geht die Verarbeitung zu Schritt S53 weiter.
Falls auf der anderen Seite in Schritt S48 bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels extrem klein ist, geht die Verarbeitung zu Schritt S50 weiter und bestimmt die Signalverarbeitungseinheit 16, ob der Konfidenzgrad conf des Bestimmungsziel-Pixels größer als ein vorbestimmter Schwellenwert conf_Th ist und der Tiefenwert d des Bestimmungsziel-Pixels geringer als ein vorbestimmter Schwellenwert d_Th ist.
12 ist eine grafische Darstellung, die eine Beziehung zwischen dem Konfidenzgrad conf und dem Tiefenwert d des Bestimmungsziel-Pixels veranschaulicht.
Falls bestimmt wird, dass der Konfidenzgrad conf des Bestimmungsziel-Pixels größer als der vorbestimmte Schwellenwert conf Th ist und der Tiefenwert d des Bestimmungsziel-Pixels geringer als der vorbestimmte Schwellenwert d_Th ist, entspricht das Bestimmungsziel-Pixel dem durch Schraffur in 12 angegebenen Bereich.
Falls in der oben beschriebenen Verarbeitung von Schritt S48 bestimmt wird, dass der Reflexionsgrad ref des Bestimmungsziel-Pixels extrem klein ist, geht die Verarbeitung zu Schritt S50 weiter, und somit ist das Bestimmungsziel-Pixel, an dem die Verarbeitung von Schritt S50 durchgeführt wird, im Grunde ein Pixel mit einem extrem geringen Reflexionsgrad ref. In der grafischen Darstellung von 12 entspricht das Bestimmungsziel-Pixel einem Pixel, für das bestimmt wird, dass der Tiefenwert d geringer als der vorbestimmte Schwellenwert d_Th ist.
Somit wird in der Verarbeitung von Schritt S50 bestimmt, ob der Konfidenzgrad conf des Bestimmungsziel-Pixels größer als der vorbestimmte Schwellenwert conf Th ist oder nicht, mit anderen Worten ob der Tiefenwert d einen kurzen Abstand repräsentiert und auch die Intensität des reflektierten Lichts eine dem kurzen Abstand entsprechende Größe hat.
Falls in Schritt S50 bestimmt wird, dass der Konfidenzgrad conf des Bestimmungsziel-Pixels größer als der vorbestimmte Schwellenwert conf Th ist und der Tiefenwert d des Bestimmungsziel-Pixels geringer als der vorbestimmte Schwellenwert d_Th ist, mit anderen Worten falls der Tiefenwert d einen kurzen Abstand repräsentiert und auch die Intensität des reflektierten Lichts eine dem kurzen Abstand entsprechende Größe hat, geht die Verarbeitung zu Schritt S51 weiter und setzt die Signalverarbeitungseinheit 16 das Supermakro-Flag als den Messergebnisstatus des Bestimmungsziel-Pixels.
Ein Pixel, für das in der Verarbeitung von Schritt S50 „JA“ bestimmt wird und das Supermakro-Flag gesetzt ist, umfasst einen Fall, in dem die Lichtmenge für den Abstand gering ist und eine Ausgabe als Messfehler wie im oben beschriebenen Fall 2 durchgeführt wird. Mit anderen Worten werden einige der Pixel, bei denen eine Ausgabe als Messfehler wie im Fall 2 durchgeführt wurde, geändert, um den gemessenen Wert (Tiefenwert d) zusammen mit dem Supermakro-Flag auszugeben, das angibt, dass es sich um einen sehr kurzen Abstand und nicht den Messfehler handelt. Nach der Verarbeitung von Schritt S51 geht die Verarbeitung zu Schritt S53 weiter.
Falls auf der anderen Seite in Schritt 50 bestimmt wird, dass der Konfidenzgrad conf des Bestimmungsziel-Pixels geringer als der oder gleich dem vorbestimmten Schwellenwert conf Th ist oder der Tiefenwert d des Bestimmungsziel-Pixels größer als der oder gleich dem vorbestimmten Schwellenwert d Th ist, geht die Verarbeitung zu Schritt S52 weiter und setzt die Signalverarbeitungseinheit 16 das Fehler-Flag als den Messergebnisstatus des Bestimmungsziel-Pixels. Nach der Verarbeitung von Schritt S52 geht die Verarbeitung zu Schritt S53 weiter.
Die Verarbeitung in den Schritten S51 und S52 entspricht einem Unterteilen des Problems im oben beschriebenen Fall 2, der auftritt, falls das zu messende Objekt in einem sehr kurzen Abstand vorhanden ist, in den Messfehler (Fehler-Flag) und die Ausgabe des gemessenen Werts im sehr kurzen Abstand (Supermakro-Flag) .
In Schritt S53 bestimmt die Signalverarbeitungseinheit 16, ob all die Pixel im Bestimmungszielbereich als die Bestimmungsziel-Pixel festgelegt wurden.
Falls in Schritt S53 bestimmt wird, dass noch nicht all die Pixel im Bestimmungszielbereich als die Bestimmungsziel-Pixel festgelegt wurden, kehrt die Verarbeitung zu Schritt S45 zurück und wird die oben beschriebene Verarbeitung der Schritte S45 bis S53 wiederholt. Das heißt, ein Pixel, das noch nicht als das Bestimmungsziel-Pixel festgelegt wurde, wird als das nächste Bestimmungsziel-Pixel festgelegt, und eine Verarbeitung zum Festlegen des Messergebnisstatus des Normal-Flags, des Supermakro-Flags oder des Fehler-Flags wird durchgeführt.
Falls auf der anderen Seite in Schritt S53 bestimmt wird, dass all die Pixel im Bestimmungszielbereich als die Bestimmungsziel-Pixel festgelegt worden ist, geht die Verarbeitung zu Schritt S54 weiter und gibt die Signalverarbeitungseinheit 16 den für jedes Pixel festgelegten Messergebnisstatus zusammen mit der Tiefenkarte und der Konfidenzkarte aus und beendet die Verarbeitung an das System in der nachfolgenden Stufe aus. Der Messergebnisstatus kann als Mapping-Daten ausgegeben werden, worin der Messergebnisstatus als ein Pixel-Wert eines jeden Pixels gespeichert ist, wie etwa die Tiefenkarte oder eine Konfidenzkarte.
Wie oben beschrieben wurde, kann mit dem Abstandsmesssensor 14 gemäß dem dritten Konfigurationsbeispiel der für jedes Pixel festgelegte Messergebnisstatus ausgegeben werden, wenn die Tiefenkarte und die Konfidenzkarte an das System in der nachfolgenden Stufe ausgegeben werden. Der Messergebnisstatus umfasst eine Information (Supermakro-Flag), die angibt, dass das Abstandsmessergebnis ein sehr kurzer Abstand ist, eine Information (Fehler-Flag), die angibt, dass die Messung aufgrund des sehr kurzen Abstands unmöglich ist, und eine Information (Normal-Flag), die angibt, dass das Abstandsmessergebnis ein normales Messergebnis ist.
Infolgedessen kann, falls das Pixel, bei dem das Supermakro-Flag gesetzt ist, als der Messergebnisstatus enthalten ist, das System in der nachfolgenden Stufe, das die Tiefenkarte und die Konfidenzkarte erfasst hat, erkennen, dass sich das zu messende Objekt in einem sehr kurzen Abstand befindet, und das System in einem Modus für sehr kurze Abstände oder dergleichen betreiben. Falls ein Pixel, bei dem das Fehler-Flag gesetzt ist, als der Messergebnisstatus enthalten ist, kann darüber hinaus das System in der nachfolgenden Stufe eine Steuerung wie etwa ein Umschalten der Fokussteuerung auf Autofokus eines Kontrastverfahrens durchführen.
<6. Viertes Konfigurationsbeispiel eines Abstandsmesssensors>
13 ist ein Blockdiagramm, das ein viertes Konfigurationsbeispiel des Abstandsmesssensors 14 veranschaulicht.
Der Abstandsmesssensor 14 gemäß dem vierten Konfigurationsbeispiel weist eine Konfiguration auf, die all die Funktionen des ersten Konfigurationsbeispiels bis zum dritten Konfigurationsbeispiel einschließt, die oben beschrieben wurden.
Das heißt, die Signalverarbeitungseinheit 16 des Abstandsmesssensors 14 gemäß dem vierten Konfigurationsbeispiel weist eine Funktion zum Ausgeben der Tiefenkarte und der Konfidenzkarte, eine Funktion zum Ausgeben des Glasbestimmungs-Flags, eine Funktion zum Ausgeben des Spiegelungsbestimmungs-Flags und eine Funktion zum Ausgeben des Messergebnisstatus auf. Details jeder Funktion sind ähnlichen jenen des ersten Konfigurationsbeispiels bis zum dritten Konfigurationsbeispiel, die oben beschrieben wurden und somit wird deren Beschreibung weggelassen.
Der Abstandsmesssensor 14 gemäß dem vierten Konfigurationsbeispiel kann eine Konfiguration aufweisen, in der nicht all die Funktionen des ersten Konfigurationsbeispiels bis zum dritten Konfigurationsbeispiel, sondern zwei Funktionen geeignet kombiniert sind. Das heißt, die Signalverarbeitungseinheit 16 kann die Funktion zum Ausgeben des Glasbestimmungs-Flags und die Funktion zum Ausgeben des Spiegelungsbestimmungs-Flags zusätzlich zur Funktion zum Ausgeben der Tiefenkarte und der Konfidenzkarte aufweisen. Alternativ dazu kann die Signalverarbeitungseinheit 16 zusätzlich zur Funktion zum Ausgeben der Tiefenkarte und der Konfidenzkarte die Funktion zum Ausgeben des Spiegelungsbestimmungs-Flags und die Funktion zum Ausgeben des Messergebnisstatus aufweisen. Alternativ dazu kann die Signalverarbeitungseinheit 16 die Funktion zum Ausgeben des Glasbestimmungs-Flags und die Funktion zum Ausgeben des Messergebnisstatus zusätzlich zur Funktion zum Ausgeben der Tiefenkarte und der Konfidenzkarte aufweisen.
<7. Konfigurationsbeispiel einer elektronischen Vorrichtung>
Das oben beschriebene Abstandsmessmodul 11 kann in beispielsweise einer elektronischen Vorrichtung wie etwa einem Smartphone, einem Tablet-Endgerät, einem Mobiltelefon, einem Personalcomputer, einer Spielekonsole, einem Fernsehempfänger, einem tragbaren Endgerät, einer digitalen Festbildkamera oder einer digitalen Videokamera montiert sein.
14 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Smartphone als eine elektronische Vorrichtung veranschaulicht, in der das Abstandsmessmodul montiert ist.
Wie in 14 veranschaulicht ist, enthält das Smartphone 101 ein Abstandsmessmodul 102, eine Bildgebungsvorrichtung 103, eine Anzeige 104, einen Lautsprecher 105, ein Mikrofon 106, ein Kommunikationsmodul 107, eine Sensoreinheit 108, ein Touch-Panel 109 und eine Controller-Einheit 110, die über einen Bus 111 miteinander verbunden sind. Darüber hinaus weist die Controller-Einheit 110 Funktionen als Anwendungsverarbeitungseinheit 121 und Betriebssystem-Verarbeitungseinheit 122 auf, indem ein Programm von einer CPU ausgeführt wird.
Das Abstandsmessmodul 11 von 1 wird für das Abstandsmessmodul 102 verwendet. Beispielsweise ist das Abstandsmessmodul 102 in der vorderen Oberfläche des Smartphone 101 angeordnet und führt eine Abstandsmessung für einen Nutzer des Smartphone 101 durch, wodurch es Tiefenwerte der Oberflächenformen des Gesichts, der Hand, des Fingers und dergleichen des Nutzers als Abstandsmessergebnisse ausgeben kann.
Die Bildgebungsvorrichtung 103 ist in der vorderen Oberfläche des Smartphone 101 angeordnet und führt eine Abbildung des Nutzers des Smartphone 101 als Gegenstand durch, wodurch ein Bild des Nutzers erfasst wird. Man beachte, dass, obgleich nicht veranschaulicht, die Bildgebungsvorrichtung 103 an der rückseitigen Oberfläche des Smartphone 101 angeordnet sein kann.
Die Anzeige 104 zeigt einen Bedienungsschirm, um die Verarbeitung durch die Anwendungsverarbeitungseinheit 121 und die Betriebssystem-Verarbeitungseinheit 122 durchzuführen, ein von der Bildgebungsvorrichtung 103 aufgenommenes Bild und dergleichen an. Der Lautsprecher 105 und das Mikrofon 106 geben die Stimme des Gesprächspartners aus und nehmen die Stimme des Nutzers auf, wenn beispielsweise mit dem Smartphone 101 ein Anruf getätigt wird.
Die Kommunikationsmodul 107 führt eine Kommunikation über ein Kommunikationsnetzwerk durch. Die Sensoreinheit 108 erfasst Geschwindigkeit, Beschleunigung, Nähe und dergleichen, und das Touch-Panel 109 erfasst eine Bedienung mittels Berührung des Nutzers auf dem auf der Anzeige 104 angezeigten Bedienungsschirm.
Die Anwendungsverarbeitungseinheit 121 führt eine Verarbeitung durch, um verschiedene Dienste mittels des Smartphone 101 bereitzustellen. Beispielsweise kann die Anwendungsverarbeitungseinheit 121 eine Verarbeitung durchführen, um ein Gesicht mittels Computergraphik zu erzeugen, das auf der Basis des vom Abstandsmessmodul 102 bereitgestellten Tiefenwerts den Gesichtsausdruck des Nutzers virtuell wiedergibt, und das Gesicht auf der Anzeige 104 anzuzeigen. Darüber hinaus kann die Anwendungsverarbeitungseinheit 121 eine Verarbeitung, um zum Beispiel dreidimensionale Formdaten eines beliebigen dreidimensionalen Objekts zu erzeugen, auf der Basis des vom Abstandsmessmodul 102 bereitgestellten Tiefenwerts durchführen.
Die Betriebssystem-Verarbeitungseinheit 122 führt eine Verarbeitung durch, um die grundlegenden Funktionen und Operationen des Smartphone 101 zu realisieren. Beispielsweise kann die Betriebssystem-Verarbeitungseinheit 122 eine Verarbeitung zum Authentifizieren des Gesichts eines Nutzers und Entsperren des Smartphone 101 auf der Basis des vom Abstandsmessmodul 102 bereitgestellten Tiefenwerts durchführen. Darüber hinaus kann die Betriebssystem-Verarbeitungseinheit 122 beispielsweise eine Verarbeitung zum Erkennen der Geste eines Nutzers auf der Basis des vom Abstandsmessmodul 102 bereitgestellten Tiefenwerts durchführen und führt eine Verarbeitung zum Eingeben verschiedener Operationen entsprechend der Geste durch.
In dem wie oben beschrieben konfigurierten Smartphone 101 kann zum Beispiel die Abstandsmessinformation genauer detektiert werden, indem das oben beschriebene Abstandsmessmodul 11 verwendet wird. Darüber hinaus kann eine Verarbeitung ausgeführt werden, in der eine Information wie etwa ein Fall, in dem das zu messende Objekt ein transparentes Objekt ist, ein Fall, in dem das zu messende Objekt ein Spiegelungsreflektor ist, oder ein Fall, in dem sich das zu messende Objekt in einem sehr kurzen Abstand befindet, als zusätzliche Information erfasst und die Information in einer Abbildung oder dergleichen durch die Bildgebungsvorrichtung 103 wiedergegeben wird.
<8. Anwendungsbeispiel für einen mobilen Körper>
Die Technologie gemäß der vorliegenden Offenbarung (die vorliegende Technologie) kann für verschiedene von Produkten verwendet werden. Die Technologie gemäß der vorliegenden Offenbarung kann als eine Vorrichtung realisiert werden, die beispielsweise an jedem beliebigen Typ eines mobilen Körpers wie etwa einem Automobil, einem Elektrofahrzeug, einem Hybrid-Elektrofahrzeug, einem Motorrad, einem Fahrrad, einer Vorrichtung zur persönlichen Mobilität, einem Flugzeug, einer Drohne, einem Schiff, einem Roboter oder dergleichen montiert ist.
15 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuerungssystems veranschaulicht, das ein Beispiel eines Systems zur Steuerung mobiler Körper ist, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann.
Die Fahrzeugsteuerungssystem 12000 umfasst eine Vielzahl elektronischer Steuerungseinheiten, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. In dem in 15 dargestellten Beispiel umfasst das Fahrzeugsteuerungssystem 12000 eine Antriebssystem-Steuerungseinheit 12010, eine Karosseriesystem-Steuerungseinheit 12020, eine Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs, eine Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs und eine integrierte Steuerungseinheit 12050. Überdies sind als funktionale Konfigurationen der integrierten Steuerungseinheit 12050 ein Mikrocomputer 12051, eine Audio-Bild-Ausgabeeinheit 12052 und eine Schnittstelle (I/F) 12053 des bordeigenen Netzwerks veranschaulicht.
Die Antriebssystem-Steuerungseinheit 12010 steuert gemäß verschiedenen Programmen einen Betrieb von Vorrichtungen in Bezug auf ein Antriebssystem eines Fahrzeugs. Beispielsweise dient die Antriebssystem-Steuerungseinheit 12010 als Steuerungsvorrichtung einer Antriebskraft-Erzeugungsvorrichtung zum Erzeugen einer Antriebskraft des Fahrzeugs wie etwa eines Verbrennungsmotors oder eines Antriebsmotors, eines Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, eines Lenkmechanismus zum Einstellen eines Lenkwinkels des Fahrzeugs, einer Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs und dergleichen.
Die Karosseriesystem-Steuerungseinheit 12020 steuert den Betrieb verschiedener Vorrichtungen, mit denen die Fahrzeugkarosserie ausgestattet ist, gemäß verschiedenen Programmen. Beispielsweise fungiert die Karosseriesystem-Steuerungseinheit 12020 als eine Steuerungsvorrichtung eines schlüssellosen Zugangssystems, eines Systems für intelligente Schlüssel, einer automatischen Fenstervorrichtung oder verschiedener Leuchten wie etwa eines Frontscheinwerfers, eines Heckscheinwerfers, einer Bremsleuchte, eines Fahrtrichtungsanzeigers und einer Nebelleuchte. In diesem Fall können in die Karosseriesystem-Steuerungseinheit 12020 Funkwellen, die von einer tragbaren Vorrichtung, die einen Schlüssel ersetzt, übertragen werden, oder Signale verschiedener Schalter eingespeist werden. Die Karosseriesystem-Steuerungseinheit 12020 empfängt eine Einspeisung dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, eine automatische Fenstervorrichtung, die Leuchte und dergleichen des Fahrzeugs.
Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert Information außerhalb des Fahrzeugs, in dem das Fahrzeugsteuerungssystem 12000 montiert ist. Beispielsweise ist eine Bildgebungseinheit 12031 mit der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs verbunden. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs veranlasst die Bildgebungseinheit 12031, ein Bild der äußeren Umgebung des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs kann auf der Basis des empfangenen Bildes eine Verarbeitung zur Objektdetektion oder eine Verarbeitung zur Detektion eines Abstands einer Person, eines Wagens, eines Hindernisses, eines Verkehrsschilds, eines Zeichens auf einer Straßenoberfläche oder dergleichen ausführen.
Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein der Menge an empfangenem Licht entsprechendes elektrisches Signal abgibt. Die Bildgebungseinheit 12031 kann das elektrische Signal als ein Bild oder als Information einer Abstandsmessung abgeben. Darüber hinaus kann das mittels der Bildgebungseinheit 12031 empfangene Licht sichtbares Licht sein oder kann unsichtbares Licht wie etwa Infrarotstrahlen sein.
Die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs detektiert Information im Innern des Fahrzeugs. Die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs ist mit zum Beispiel eine Einheit 12041 zur Detektion des Fahrerzustands verbunden, die einen Zustand eines Fahrers detektiert. Die Einheit 12041 zur Detektion des Fahrerzustands umfasst zum Beispiel eine Kamera, die dein Bild des Fahrers aufnimmt, und auf der Basis der von der Einheit 12041 zur Detektion des Fahrerzustands eingegebenen Detektionsinformation kann die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs einen Ermüdungsgrad oder einen Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst.
Auf der Basis der durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs erfassten Information über das Innere und die äußere Umgebung kann der Mikrocomputer 12051 einen Steuerungszielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung berechnen und kann einen Steuerungsbefehl an die Antriebssystem-Steuerungseinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung ausführen, die darauf abzielt, Funktionen eines fortgeschrittenen Fahrerassistenzsystems (ADAS) zu realisieren, die eine Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, eine Nachfolgefahrt basierend auf dem Abstand zwischen Fahrzeugen, eine Fahrt mit konstanter Geschwindigkeit des Fahrzeugs, eine Warnung vor einer Fahrzeugkollision, eine Warnung vor einem Verlassen der Spur des Fahrzeugs oder dergleichen einschließen.
Ferner kann der Mikrocomputer 12051 eine kooperative Steuerung ausführen, die auf ein automatisches Fahren, bei dem man autonom fährt, ohne auf einen Eingriff des Fahrers angewiesen zu sein, oder dergleichen abzielt, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Basis der Information über die Peripherie des Fahrzeugs, die mittels der Einheit 12030 zur Detektion von Information von außerhalb des Fahrzeugs oder der Einheit 12040 zur Detektion von Information von innerhalb des Fahrzeugs erfasst bzw. erlangt wird, gesteuert wird.
Der Mikrocomputer 12051 kann überdies einen Steuerungsbefehl an die Karosseriesystem-Steuerungseinheit 12020 auf der Basis der Information über die äußere Umgebung des Fahrzeugs ausgeben, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs erfasst wird. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung ausführen, die darauf abzielt, eine Blendung zu verhindern, wie etwa ein Umschalten von Fernlicht auf Abblendlicht, indem die Frontleuchte in Abhängigkeit von der Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs gesteuert wird, das durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert wird.
Die Audio-Bild-Ausgabeeinheit 12052 überträgt ein Ton- und/oder ein Bild-Ausgangssignal zu einer Ausgabevorrichtung, die einem Insassen des Fahrzeugs oder der äußeren Umgebung des Fahrzeugs eine Information optisch oder akustisch mitteilen kann. Im Beispiel in 15 sind als die Ausgabevorrichtung ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 veranschaulicht. Die Anzeigeeinheit 12062 kann beispielsweise eine bordeigene Anzeige und/oder ein Head-Up-Display umfassen.
16 ist ein Diagramm, das ein Beispiel von Installationspositionen der Bildgebungseinheit 12031 veranschaulicht.
In 16 enthält ein Fahrzeug 12100 Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 als die Bildgebungseinheit 12031.
Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an einer Position der Frontpartie, des Seitenspiegels, der hinteren Stoßstange, der Hecktür, des oberen Teils der Windschutzscheibe im Fahrzeuginneren oder dergleichen des Fahrzeugs 12100 vorgesehen. Die an der Frontpartie vorgesehene Bildgebungseinheit 12101 und die am oberen Teil der Windschutzscheibe im Innern des Fahrzeugs vorgesehene Bildgebungseinheit 12105 nehmen vorwiegend Bilder vor dem Fahrzeug 12100 auf. Die an den Seitenspiegeln vorgesehenen Bildgebungseinheiten 12102 und 12103 nehmen vorwiegend Bilder an den Seiten des Fahrzeugs 12100 auf. Die an der hinteren Stoßstange oder der Hecktür vorgesehene Bildgebungseinheit 12104 nimmt vorwiegend Bilder hinter dem Fahrzeug 12100 auf. Die Bilder nach vorne, die durch die Bildgebungseinheiten 12101 und 12105 aufgenommen werden, werden vorwiegend zur Detektion eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, einer Verkehrsampel, eines Verkehrszeichens, einer Fahrspur oder dergleichen genutzt.
Man beachte, dass 16 ein Beispiel von Abbildungsbereichen der Bildgebungseinheiten 12101 bis 12104 veranschaulicht. Ein Abbildungsbereich 12111 gibt einen Abbildungsbereich der an der Frontpartie vorgesehenen Bildgebungseinheit 12101 an, Abbildungsbereiche 12112 und 12113 geben Abbildungsbereiche der an den Seitenspiegeln vorgesehenen Bildgebungseinheiten 12102 bzw. 12103 an, ein Abbildungsbereich 12114 gibt einen Abbildungsbereich der an der hinteren Stoßstange oder der Hecktür vorgesehenen Bildgebungseinheit 12104 an. Beispielsweise werden durch die Bildgebungseinheiten 12101 bis 12104 aufgenommene Bilddaten überlagert, wodurch ein Bild aus der Vogelperspektive des Fahrzeugs 12100, wie es von oben gesehen wird, erhalten wird.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion, um eine Abstandsinformation zu erlangen, aufweisen. Beispielsweise kann zumindest eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Bildgebungselementen enthält, oder kann ein Bildgebungselement sein, das Pixel für eine Detektion von Phasendifferenzen enthält.
Beispielsweise erhält auf der Basis der Abstandsinformation, die von den Bildgebungseinheiten 12101 bis 12104 erhalten wird, der Mikrocomputer 12051 einen Abstand zu jedem dreidimensionalen Objekt innerhalb der Abbildungsbereiche 12111 bis 12114 und eine zeitliche Änderung (Relativgeschwindigkeit zum Fahrzeug 12100) des Abstands, wodurch er in der Lage ist, ein dreidimensionales Objekt, das insbesondere ein am nächsten befindliches dreidimensionales Objekt auf einem Fahrweg des Fahrzeugs 12100 und mit einer vorbestimmten Geschwindigkeit (zum Beispiel gleich 0 km/h oder mehr) in im Wesentlichen die gleiche Richtung wie das Fahrzeug 12100 fährt, als ein vorausfahrendes Fahrzeug zu extrahieren.
Außerdem kann der Mikrocomputer 12051 einen sicherzustellenden bzw. einzuhaltenden Abstand zwischen Fahrzeugen vor dem vorausfahrenden Fahrzeug vorher festlegen und kann eine automatische Bremssteuerung (einschließlich einer Nachfolge-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Nachfolge-Start-Steuerung) und dergleichen durchführen. Wie oben beschrieben wurde, ist es möglich, eine kooperative Steuerung auszuführen, die auf ein automatisches Fahren, bei dem man autonom fährt, ohne auf einen Eingriff des Fahrers angewiesen zu sein, oder dergleichen abzielt.
Beispielsweise kann der Mikrocomputer 12051 auf der Basis der von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Abstandsinformation dreidimensionale Objektdaten in Bezug auf ein dreidimensionales Objekt extrahieren, indem die Objekte in ein zweirädriges Fahrzeug, ein gewöhnliches Fahrzeug, ein großes Fahrzeug, einen Fußgänger und andere dreidimensionale Objekte wie etwa einen Strommasten klassifiziert werden, und die Daten zum automatischen Vermeiden bzw. Umgehen von Hindernissen nutzen. Beispielsweise identifiziert der Mikrocomputer 12051 Hindernisse in der Peripherie des Fahrzeugs 12100 als ein Hindernis, das für den Fahrer des Fahrzeugs 12100 erkennbar ist, und ein Hindernis, das optisch schwer zu erkennen ist. Der Mikrocomputer 12051 bestimmt dann ein Kollisionsrisiko, das ein Kollisionsrisiko mit jedem Hindernis angibt, und, wenn das Kollisionsrisiko größer als ein oder gleich einem festgelegten Wert ist und eine Kollisionsmöglichkeit besteht, gibt der Mikrocomputer 12501 über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 eine Warnung an den Fahrer aus oder führt über die Antriebssystem-Steuerungseinheit 12010 eine erzwungene Abbremsung oder Ausweichlenkbewegung durch, wodurch er in der Lage ist, eine Fahrassistenz zur Kollisionsvermeidung auszuführen.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 den Fußgänger erkennen, indem bestimmt wird, ob in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104 er Fußgänger vorhanden ist oder nicht. Eine solche Erkennung eines Fußgängers wird ausgeführt mittels beispielsweise eines Prozesses zum Extrahieren von Merkmalspunkten in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104, als die Infrarotkameras und eines Prozesses zum Durchführen einer Verarbeitung für einen Musterabgleich an einer Reihe von Merkmalspunkten, die die Kontur eines Objekts angeben, um zu bestimmen, ob das Objekt ein Fußgänger ist oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass ein Fußgänger in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104 vorhanden ist, und den Fußgänger erkennt, steuert die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062, so dass eine viereckige Konturlinie zur Hervorhebung auf dem erkannten Fußgänger überlagert und angezeigt wird. Die Audio-Bild-Ausgabeeinheit 12052 kann darüber hinaus die Anzeigeeinheit 12062 so steuern, dass ein den Fußgänger repräsentierendes Symbol oder dergleichen an einer gewünschten Position angezeigt wird.
Oben wurde ein Beispiel des Fahrzeugsteuerungssystems beschrieben, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann. Die Technologie gemäß der vorliegenden Offenbarung kann für die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs und die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs unter den oben beschriebenen Konfigurationen verwendet werden. Konkret ist es, indem man eine Abstandsmessung mittels des Abstandsmessmoduls 11 als die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs und die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs nutzt, möglich, eine Verarbeitung zum Erkennen einer Geste des Fahrers durchzuführen, verschiedene Operationen (zum Beispiel eines Audiosystems, eines Navigationssystems und einer Klimaanlage) entsprechend der Geste auszuführen und den Zustand des Fahrers genauer zu detektieren. Darüber hinaus können mittels des Abstandsmessmoduls 11 Unebenheiten der Straßenoberfläche unter Ausnutzung der Abstandsmessung erkannt und bei der Steuerung der Aufhängung berücksichtigt werden.
Die Ausführungsform der vorliegenden Technologie ist nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen sind möglich, ohne vom Kern der vorliegenden Technologie abzuweichen.
Solange keine Unstimmigkeiten auftreten, kann jede der Vielzahl der in dieser Beschreibung beschriebenen vorliegenden Technologien unabhängig voneinander umgesetzt werden. Natürlich ist auch eine Umsetzung durch Kombinieren beliebiger der Vielzahl vorliegender Technologien möglich. Beispielsweise kann ein Teil oder die Gesamtheit der in irgendeiner der Ausführungsformen beschriebenen vorliegenden Technologie in Kombination mit einem Teil oder der Gesamtheit der in anderen Ausführungsformen beschriebenen vorliegenden Technologie umgesetzt werden. Überdies kann ein Teil oder die Gesamtheit irgendeiner der oben beschriebenen vorliegenden Technologien in Kombination mit einer oben nicht beschriebenen anderen Technologie umgesetzt werden.
Überdies kann beispielsweise die als eine Vorrichtung (oder Verarbeitungseinheit) beschriebene Konfiguration aufgeteilt und als eine Vielzahl von Vorrichtungen (oder Verarbeitungseinheiten) konfiguriert werden. Umgekehrt können oben als eine Vielzahl von Vorrichtungen (oder Verarbeitungseinheiten) beschriebene Konfigurationen zusammen als eine Vorrichtung (oder Verarbeitungseinheit) konfiguriert werden. Darüber hinaus können natürlich Konfigurationen, die von jenen verschieden sind, die oben beschrieben wurden, zu der Konfiguration jeder Vorrichtung (oder jeder Verarbeitungseinheit) hinzugefügt werden. Solange die Konfiguration und der Betrieb des Systems als Ganzes im Wesentlichen gleich sind, kann ein Teil der Konfiguration einer bestimmten Vorrichtung (oder Verarbeitungseinheit) in der Konfiguration einer anderen Vorrichtung (oder einer anderen Verarbeitungseinheit) enthalten sein.
Außerdem bezeichnet in der vorliegenden Beschreibung ein System einen Satz einer Vielzahl von Bestandteilen (Vorrichtung, Modul (Komponente) und der gleichen), und es spielt keine Rolle, ob all die Bestandteile sich im gleichen Gehäuse befinden oder nicht. Somit sind eine Vielzahl von Vorrichtungen, die in einem separaten Gehäuse untergebracht und über ein Netzwerk miteinander verbunden sind, und eine Vorrichtung, die eine Vielzahl von Modulen in einem Gehäuse beherbergt, beides Systeme.
Überdies kann beispielsweise das oben beschriebene Programm in jeder beliebigen Vorrichtung ausgeführt werden. In diesem Fall reicht es aus, dass die Vorrichtung eine notwendige Funktion (einen funktionalen Block oder dergleichen) aufweist und notwendige Informationen erhalten kann.
Man beachte, dass die in der vorliegenden Beschreibung beschriebenen Effekte nur Beispiele und nicht eingeschränkt sind und andere Effekte als jene haben können, die in der vorliegenden Beschreibung beschrieben wurden.
Man beachte, dass die vorliegende Technologie die folgenden Konfigurationen aufweisen kann.

(1) Ein Abstandsmesssensor, aufweisend eine Signalverarbeitungseinheit, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht vom Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
(2) Der Abstandsmesssensor gemäß (1), worin die Signalverarbeitungseinheit einen Reflexionsgrad des zu messenden Objekts berechnet, indem der Abstand und der Konfidenzgrad verwendet werden, und einen Bereich, in dem eine Möglichkeit besteht, dass das zu messende Objekt den Spiegelungsreflektor gemessen hat, auf der Basis des Reflexionsgrads und des Abstands extrahiert.
(3) Der Abstandsmesssensor gemäß (2), worin der Bereich ein Bereich ist, in dem der berechnete Abstand des Objekts innerhalb eines vorbestimmten Abstands liegt.
(4) Der Abstandsmesssensor gemäß (2) oder (3), worin die Signalverarbeitungseinheit auf der Basis eines in Abhängigkeit vom berechneten Reflexionsgrad adaptiv geänderten Konfidenzschwellenwerts für den extrahierten Bereich bestimmt, ob das Objekt der Spiegelungsreflektor ist.
(5) Der Abstandsmesssensor gemäß einem von (1) bis (4), worin die Signalverarbeitungseinheit das Bestimmungs-Flag in Einheiten von Pixeln ausgibt.
(6) Der Abstandsmesssensor gemäß einem von (1) bis (4), worin die Signalverarbeitungseinheit das Bestimmungs-Flag in Einheiten von Tiefenkarten ausgibt.
(7) Der Abstandsmesssensor gemäß einem von (1) bis (6), worin die Signalverarbeitungseinheit eine einen Bereich spezifizierende Information erfasst, die einen Bereich spezifiziert, und ein Bestimmungs-Flag, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, der Spiegelungsreflektor ist, für den durch die einen Bereich spezifizierende Information angegebenen Bereich ausgibt.
(8) Ein Signalverarbeitungsverfahren, worin ein Abstandsmesssensor einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
(9) Ein Abstandsmessmodul, aufweisend:
- eine vorbestimmte lichtemittierende Quelle; und
- einen Abstandsmesssensor,
- worin
- der Abstandsmesssensor
- eine Signalverarbeitungseinheit enthält, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.

Bezugszeichenliste

11: Abstandsmessmodul
12: lichtemittierende Einheit
13: Lichtemissions-Steuerungseinheit
14: Abstandsmesssensor
15: lichtempfangende Einheit
16: Signalverarbeitungseinheit
21: Objekt
101: Smartphone
102: Abstandsmessmodul

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017150893 [0004]

Claims

Abstandsmesssensor, aufweisend eine Signalverarbeitungseinheit, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht vom Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
Abstandsmesssensor nach Anspruch 1, wobei die Signalverarbeitungseinheit einen Reflexionsgrad des zu messenden Objekts berechnet, indem der Abstand und der Konfidenzgrad verwendet werden, und einen Bereich, in dem eine Möglichkeit besteht, dass das zu messende Objekt den Spiegelungsreflektor gemessen hat, auf der Basis des Reflexionsgrads und des Abstands extrahiert.
Abstandsmesssensor nach Anspruch 2, wobei der Bereich ein Bereich ist, in dem der berechnete Abstand des Objekts innerhalb eines vorbestimmten Abstands liegt.
Abstandsmesssensor nach Anspruch 2, wobei die Signalverarbeitungseinheit auf der Basis eines in Abhängigkeit vom berechneten Reflexionsgrad adaptiv geänderten Konfidenzschwellenwerts für den extrahierten Bereich bestimmt, ob das Objekt der Spiegelungsreflektor ist.
Abstandsmesssensor nach Anspruch 1, wobei die Signalverarbeitungseinheit das Bestimmungs-Flag in Einheiten von Pixeln ausgibt.
Abstandsmesssensor nach Anspruch 1, wobei die Signalverarbeitungseinheit das Bestimmungs-Flag in Einheiten von Tiefenkarten ausgibt.
Abstandsmesssensor nach Anspruch 1, wobei die Signalverarbeitungseinheit eine einen Bereich spezifizierende Information erfasst, die einen Bereich spezifiziert, und ein Bestimmungs-Flag, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, der Spiegelungsreflektor ist, für den durch die einen Bereich spezifizierende Information angegebenen Bereich ausgibt.
Signalverarbeitungsverfahren, wobei ein Abstandsmesssensor einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.
Abstandsmessmodul, aufweisend: eine vorbestimmte lichtemittierende Quelle; und einen Abstandsmesssensor, worin der Abstandsmesssensor eine Signalverarbeitungseinheit enthält, die einen Abstand zu einem Objekt und einen Konfidenzgrad aus einem Signal berechnet, das durch eine lichtempfangende Einheit erhalten wird, die reflektiertes Licht empfängt, das zurückgeworfenes Licht ist, das erhalten wird, indem ein von einer vorbestimmten lichtemittierenden Quelle emittiertes Bestrahlungslicht durch das Objekt reflektiert wird, und ein Bestimmungs-Flag ausgibt, das bestimmt, ob das Objekt, das ein zu messendes Objekt ist, ein Spiegelungsreflektor mit einem hohen Reflexionsgrad ist.