DE112020002746T5 - Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und abstandsmessmodul - Google Patents

Abstract

Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungsvorrichtung, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul, die eine angemessene Belichtungssteuerung ermöglichen. Eine Parameterbestimmungseinheit des Abstandsmessmoduls bestimmt einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen, die aus einem Erfassungssignal einer Lichtempfangseinheit berechnet werden. Die vorliegende Technologie kann beispielsweise auf ein Abstandsmessmodul angewandt werden, das eine Abstandsmessung nach einem indirekten ToF-Verfahren und dergleichen durchführt.

Description

• TECHNISCHES GEBIET
• Die vorliegende Technologie bezieht sich auf eine Signalverarbeitungsvorrichtung, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul, und insbesondere auf eine Signalverarbeitungsvorrichtung, ein Signalverarbeitungsverfahren und ein Abstandsmessmodul, die eine angemessene Belichtungssteuerung ermöglichen.
• STAND DER TECHNIK
• Ein Abstandssensor, der ein indirektes Laufzeitverfahren (Time of Flight, ToF) verwendet, ist bekannt. Im Abstandssensor des indirekten ToF-Verfahrens werden die elektrischen Signalladungen, die durch den Empfang des von einem Messobjekt reflektierten Lichts erhalten werden, auf zwei elektrische Ladungsakkumulationsbereiche verteilt, und aus dem Verteilungsverhältnis der elektrischen Signalladungen wird ein Abstand berechnet. Als ein solcher Abstandssensor wird ein Abstandssensor vom Typ Rückseitenbeleuchtung mit verbesserten Lichtempfangseigenschaften vorgeschlagen (siehe beispielsweise Patentdokument 1).
• LISTE DER ANFÜHRUNGEN
• PATENTDOKUMENT
• Patentdokument 1: Internationale Veröffentlichung mit der Nr. 2018/135320
• KURZDARSTELLUNG DER ERFINDUNG
• DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
• Bei einem Abstandssensor, der reflektiertes Licht empfängt, beeinflussen die Lichtmenge des Umgebungslichts, wie z. B. Sonnenlicht, und einer Lichtquelle die Lichtempfangsmenge, so dass eine angemessene Belichtungssteuerung erforderlich ist, um einen Abstand genau zu messen.
• Die vorliegende Technologie wurde im Hinblick auf eine solche Bedingung entwickelt und hat zum Ziel, eine angemessene Belichtungssteuerung durchzuführen.
• LÖSUNGEN DER PROBLEME
• Eine Signalverarbeitungsvorrichtung gemäß einem ersten Aspekt der vorliegenden Technologie ist mit einer Parameterbestimmungseinheit versehen, die einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
• In einem Signalverarbeitungsverfahren nach einem zweiten Aspekt der vorliegenden Technologie bestimmt eine Signalverarbeitungsvorrichtung einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
• Ein Abstandsmessmodul gemäß einem dritten Aspekt der vorliegenden Technologie ist versehen mit einer Lichtemissionseinheit, die Licht mit einer vorbestimmten Frequenz emittiert, einem Lichtempfangssensor, der reflektiertes Licht empfängt, das Licht von der Lichtemissionseinheit ist, das von einem Objekt reflektiert wird, und einer Parameterbestimmungseinheit, die einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal des Lichtempfangssensors berechnet werden.
• Im ersten bis dritten Aspekt der vorliegenden Technologie wird ein Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
• Bei der Signalverarbeitungsvorrichtung und dem Abstandsmessmodul kann es sich um unabhängige Vorrichtungen oder um in andere Vorrichtungen integrierte Module handeln.
• Figurenliste
• 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Ausführungsform eines Abstandsmessmoduls veranschaulicht, auf das die vorliegende Technologie angewendet wird.
• 2 ist eine Ansicht zur Darstellung des Betriebs eines Pixels in einem indirekten ToF-Verfahren.
• 3 ist eine Ansicht zur Darstellung eines Erkennungsverfahrens mit vier Phasen.
• 4 ist eine Ansicht zur Darstellung eines Erkennungsverfahrens mit vier Phasen.
• 5 ist eine Ansicht zur Darstellung eines Verfahrens zur Berechnung eines Tiefenwertes und der Zuverlässigkeit durch ein Zwei-Phasen-Verfahren und ein Vier-Phasen-Verfahren.
• 6 ist eine Ansicht zur Darstellung einer Beziehung zwischen einem Leuchtdichtewert I und einer Varianz σ²(I).
• 7 ist eine Ansicht zur Darstellung eines Signal-Rausch-Verhältnisses, das einem Abstand entspricht.
• 8 ist eine Ansicht zur Darstellung eines Bewertungsindexes bei der Bestimmung eines Belichtungssteuerungsparameters.
• 9 ist eine Ansicht zur Darstellung der Suche nach einem Bewertungswert E.
• 10 ist ein Blockdiagramm, das ein erstes Konfigurationsbeispiel einer Signalverarbeitungseinheit darstellt.
• 11 ist ein Flussdiagramm zur Darstellung der Erzeugungsverarbeitung einer ersten Tiefenkarte.
• 12 ist ein Blockdiagramm, das ein zweites Konfigurationsbeispiel der Signalverarbeitungseinheit darstellt.
• 13 ist eine Ansicht zur Darstellung eines Signal-Rausch-Verhältnisses, das im zweiten Konfigurationsbeispiel verwendet wird.
• 14 ist eine Ansicht zur Darstellung des im zweiten Konfigurationsbeispiel verwendeten Bewertungsindexes.
• 15 ist eine Ansicht, die ein Beispiel für eine Vielzahl von Signal-Rausch-Verhältnissen darstellt.
• 16 ist eine Ansicht zur Darstellung von Konturlinien des Signal-Rausch-Verhältnisses.
• 17 ist ein Flussdiagramm zur Darstellung der Erzeugungsverarbeitung einer zweiten Tiefenkarte.
• 18 ist ein Blockdiagramm, das ein drittes Konfigurationsbeispiel der Signalverarbeitungseinheit darstellt.
• 19 ist eine Ansicht zur Darstellung einer Suche nach einem Belichtungssteuerungsparameter unter einer Randbedingung.
• 20 ist ein Flussdiagramm zur Darstellung der Erzeugungsverarbeitung einer dritten Tiefenkarte.
• 21 ist ein Blockdiagramm, das ein viertes Konfigurationsbeispiel der Signalverarbeitungseinheit darstellt.
• 22 ist eine Ansicht zur Darstellung des Festlegens eines Interessensbereichs.
• 23 ist ein Flussdiagramm zur Darstellung der Erzeugungsverarbeitung einer vierten Tiefenkarte.
• 24 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer elektronischen Vorrichtung veranschaulicht, auf die die vorliegende Technologie angewendet wird.
• 25 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Ausführungsform eines Computers, auf den die vorliegende Technologie angewendet wird, veranschaulicht.
• 26 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuersystems veranschaulicht.
• 27 ist eine illustrative Ansicht zur Darstellung eines Beispiels für die Einbaulagen einer Fahrzeugaußenseiten-Informationserfassungseinheit und einer Abbildungseinheit.
• MODUS ZUM AUSFÜHREN DER ERFINDUNG
• Im Folgenden wird ein Modus zum Ausführen der vorliegenden Technologie (im Folgenden als Ausführungsform bezeichnet) beschrieben. Beachten Sie, dass die Beschreibung in der folgenden Reihenfolge präsentiert wird.
1. 1. Konfigurationsbeispiel des Abstandsmessmoduls
2. 2. Pixelbetrieb im indirekten ToF-Verfahren
3. 3. Verfahren zur Berechnung eines Belichtungssteuerungsparameters der Signalverarbeitungseinheit
4. 4. Erstes Konfigurationsbeispiel der Signalverarbeitungseinheit
5. 5. Erzeugungsverarbeitung der ersten Tiefenkarte
6. 6. Zweites Konfigurationsbeispiel der Signalverarbeitungseinheit
7. 7. Erzeugungsverarbeitung der zweiten Tiefenkarte
8. 8. Drittes Konfigurationsbeispiel der Signalverarbeitungseinheit
9. 9. Erzeugungsverarbeitung der dritten Tiefenkarte
10. 10. Viertes Konfigurationsbeispiel der Signalverarbeitungseinheit
11. 11. Erzeugungsverarbeitung der vierten Tiefenkarte
12. 12. Erste Variation
13. 13. Zweite Variation
14. 14. Dritte Variation
15. 15. Resümee
16. 16. Konfigurationsbeispiel der elektronischen Vorrichtung
17. 17. Konfigurationsbeispiel des Computers
18. 18. Anwendungsbeispiel für einen mobilen Körper
• <1. Konfigurationsbeispiel des Abstandsmessmoduls>
• 1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Ausführungsform eines Abstandsmessmoduls veranschaulicht, auf das die vorliegende Technologie angewendet wird.
• Das in 1 dargestellte Abstandsmessmodul 11 ist ein Abstandsmessmodul (ToF-Modul), das die Abstandsmessung nach einem indirekten ToF-Verfahren durchführt und eine Lichtemissionseinheit 12, eine Lichtemissionssteuereinheit 13, eine Lichtempfangseinheit 14 und eine Signalverarbeitungseinheit 15 aufweist. Das Abstandsmessmodul 11 bestrahlt ein Objekt mit Licht und empfängt Licht (reflektiertes Licht), das das vom Objekt reflektierte Licht (Bestrahlungslicht) ist, wodurch eine Tiefenkarte (Abstandsbild) als Abstandsinformation zum Objekt und eine Zuverlässigkeitskarte (Zuverlässigkeitsbild) als Leuchtdichteinformation zur Ausgabe erzeugt wird.
• Die Lichtemissionseinheit 12 weist beispielsweise eine Infrarot-Laserdiode oder ähnliches als Lichtquelle auf und emittiert Licht, während sie zeitlich entsprechend einem Lichtemissions-Steuersignal moduliert, das von der Lichtemissionssteuereinheit 13 unter Steuerung der Lichtemissionssteuereinheit 13 zugeführt wird, und bestrahlt das Objekt mit dem Bestrahlungslicht.
• Die Lichtemissionssteuereinheit 13 steuert die Lichtemission der Lichtemissionseinheit 12, indem sie das Lichtemissionssteuersignal liefert, das eine Frequenz (beispielsweise 20 MHz und dergleichen) und eine Lichtemissionsmenge steuert, wenn die Lichtquelle Licht an die Lichtemissionseinheit 12 emittieren darf. Außerdem liefert die Lichtemissionssteuereinheit 13 das Lichtemissionssteuersignal auch an die Lichtempfangseinheit 14, um die Lichtempfangseinheit 14 im Einklang mit einem Lichtemissionszeitpunkt der Lichtemissionseinheit 12 anzusteuern.
• Die Lichtempfangseinheit 14 ist mit einer Pixelmatrixeinheit 22 versehen, in der Pixel 21, die elektrische Ladungen entsprechend einer empfangenen Lichtmenge erzeugen und ein den elektrischen Ladungen entsprechendes Signal ausgeben, zweidimensional in einer Matrix in einer Zeilenrichtung und einer Spaltenrichtung angeordnet sind, und eine Antriebssteuerschaltung 23 ist in einem peripheren Bereich der Pixelmatrixeinheit 22 angeordnet. Die Lichtempfangseinheit 14 ist ein Lichtempfangssensor, der das reflektierte Licht empfängt, und wird auch als ToF-Sensor bezeichnet.
• Die Lichtempfangseinheit 14 empfängt das vom Objekt reflektierte Licht über die Pixelmatrixeinheit 22, in der eine Vielzahl von Pixeln 21 zweidimensional angeordnet ist. Dann liefert die Lichtempfangseinheit 14 ein Erkennungssignal, das einer Menge des reflektierten Lichts entspricht, das von jedem Pixel 21 der Pixelmatrixeinheit 22 empfangen wird, als Pixeldaten an die Signalverarbeitungseinheit 15.
• Die Antriebssteuerschaltung 23 gibt Steuersignale aus (beispielsweise ein Verteilungssignal DIMIX, ein Auswahlsignal ADDRESS DECODE, ein Rücksetzsignal RST und dergleichen, die später beschrieben werden), um die Ansteuerung des Pixels 21 auf der Basis beispielsweise des von der Lichtemissionseinheit 13 gelieferten Lichtemissionssteuersignals und dergleichen zu steuern.
• Das Pixel 21 weist eine Photodiode 31 sowie einen ersten Abgriff 32A und einen zweiten Abgriff 32B auf, die die von der Photodiode 31 photoelektrisch umgewandelten elektrischen Ladungen erfassen. In dem Pixel 21 werden die in einer Photodiode 31 erzeugten elektrischen Ladungen auf den ersten Abgriff 32A oder den zweiten Abgriff 32B verteilt. Von den in der Photodiode 31 erzeugten elektrischen Ladungen werden dann die an den ersten Abgriff 32A verteilten elektrischen Ladungen als Erfassungssignal A über eine Signalleitung 33A und die an den zweiten Abgriff 32B verteilten elektrischen Ladungen als Erfassungssignal B über eine Signalleitung 33B ausgegeben.
• Der erste Abgriff 32A weist einen Transfertransistor 41A, eine Floating-Diffusion-Einheit (FD) 42A, einen Auswahltransistor 43A und einen Rücksetztransistor 44A auf. In ähnlicher Weise weist der zweite Abgriff 32B einen Transfertransistor 41B, eine FD-Einheit 42B, einen Auswahltransistor 43B und einen Rücksetztransistor 44B auf.
• Die Signalverarbeitungseinheit 15 berechnet auf Basis der von der Lichtempfangseinheit 14 gelieferten Pixeldaten für jedes Pixel 21 der Pixelmatrixeinheit 22 einen Tiefenwert, der einen Abstand des Abstandsmessmoduls 11 zum Objekt darstellt. Darüber hinaus erzeugt die Signalverarbeitungseinheit 15 die Tiefenkarte, in der der Tiefenwert (Tiefeninformation) als Pixelwert jedes Pixels 21 der Pixelmatrixeinheit 22 zur Ausgabe gespeichert ist. Außerdem berechnet die Signalverarbeitungseinheit 15 auch die Zuverlässigkeit des berechneten Tiefenwertes für jedes Pixel 21 der Pixelmatrixeinheit 22 und erzeugt die Zuverlässigkeitskarte, in der die Zuverlässigkeit (Leuchtdichteinformation) als Pixelwert jedes Pixels 21 der Pixelmatrixeinheit 22 zur Ausgabe gespeichert ist.
• Außerdem berechnet die Signalverarbeitungseinheit 15 beim nächsten Empfang des reflektierten Lichts aus der erhaltenen Tiefenkarte und der Zuverlässigkeitskarte einen optimalen Belichtungssteuerungsparameter und liefert diesen an die Lichtemissionssteuereinheit 13. Die Lichtemissionssteuereinheit 13 erzeugt das Lichtemissionssteuersignal auf der Basis des Belichtungssteuerungsparameters von der Signalverarbeitungseinheit 15.
• <2. Pixelbetrieb im indirekten ToF-Verfahren>
• Ein Betrieb des Pixels 21 im indirekten ToF-Verfahren wird unter Bezugnahme auf 2 beschrieben.
• Wie in 2 dargestellt, wird das modulierte Bestrahlungslicht (ein Zyklus = 2T), das zu einer Bestrahlungszeit T wiederholt ein- und ausgeschaltet wird, von der Lichtemissionseinheit 12 ausgegeben, und das reflektierte Licht wird von der Photodiode 31 mit einer Verzögerungszeit ΔT empfangen, die dem Abstand zum Objekt entspricht. Außerdem steuert ein Verteilungssignal DIMIX A das Ein- und Ausschalten des Transfertransistors 41A, und ein Verteilungssignal DIMIX_B steuert das Ein- und Ausschalten des Transfertransistors 41B. Das Verteilungssignal DIMIX_A ist ein Signal in der gleichen Phase wie das Bestrahlungslicht, und das Verteilungssignal DIMIX_B ist in einer Phase, die durch Invertierung des Verteilungssignals DIMIX_A erhalten wird.
• Daher werden die elektrischen Ladungen, die erzeugt werden, wenn die Photodiode 31 das reflektierte Licht empfängt, an die FD-Einheit 42A übertragen, während der Transfertransistor 41A gemäß dem Verteilungssignal DIMIX_A eingeschaltet ist, und werden an die FD-Einheit 42B übertragen, während der Transfertransistor 41 B gemäß dem Verteilungssignal DIMIX_B eingeschaltet ist. Daher werden in einer vorbestimmten Periode, in der die Bestrahlung mit dem Bestrahlungslicht der Bestrahlungszeit T periodisch durchgeführt wird, die über den Transfertransistor 41A übertragenen elektrischen Ladungen sequentiell in der FD-Einheit 42A akkumuliert, und die über den Transfertransistor 41B übertragenen elektrischen Ladungen werden sequentiell in der FD-Einheit 42B akkumuliert.
• Wenn dann der Auswahltransistor 43A gemäß einem Auswahlsignal ADDRESS DECODE_A nach dem Ende der Periode, in der die elektrischen Ladungen akkumuliert werden, eingeschaltet wird, werden die in der FD-Einheit 42A akkumulierten elektrischen Ladungen über die Signalleitung 33A ausgelesen, und das der elektrischen Ladungsmenge entsprechende Erfassungssignal A wird von der Lichtempfangseinheit 14 ausgegeben. Dementsprechend werden, wenn der Auswahltransistor 43B entsprechend einem Auswahlsignal ADDRESS DECODE B eingeschaltet wird, die in der FD-Einheit 42B akkumulierten elektrischen Ladungen über die Signalleitung 33B ausgelesen, und das der elektrischen Ladungsmenge entsprechende Erfassungssignal B wird von der Lichtempfangseinheit 14 ausgegeben. Außerdem werden die in der FD-Einheit 42A akkumulierten elektrischen Ladungen entladen, wenn der Rücksetztransistor 44A gemäß einem Rücksetzsignal RST_A eingeschaltet wird, und die in der FD-Einheit 42B akkumulierten elektrischen Ladungen werden entladen, wenn der Rücksetztransistor 44B gemäß einem Rücksetzsignal RST_B eingeschaltet wird.
• Auf diese Weise verteilt das Pixel 21 die elektrischen Ladungen, die durch das von der Photodiode 31 empfangene reflektierte Licht erzeugt werden, entsprechend der Verzögerungszeit ΔT auf den ersten Abgriff 32A oder den zweiten Abgriff 32B und gibt das Erfassungssignal A und das Erfassungssignal B aus.Die Verzögerungszeit ΔT entspricht dann der Zeit, in der das von der Lichtemissionseinheit 12 ausgesendete Licht zum Objekt fliegt und nach der Reflexion durch das Objekt zur Lichtempfangseinheit 14 fliegt, d. h. sie entspricht dem Abstand zum Objekt. Dementsprechend kann das Abstandsmessmodul 11 den Abstand zum Objekt (Tiefenwert) entsprechend der Verzögerungszeit ΔT auf der Basis des Erfassungssignals A und des Erfassungssignals B erhalten.
• Beachten Sie, dass es in der Pixelmatrixeinheit 22 einen Fall gibt, in dem die Erfassungssignale A und B von den jeweiligen Pixeln 21 aufgrund einer Kennlinienschwankung (Empfindlichkeitsunterschied) von Elementen wie der Photodiode 31 und einem Pixeltransistor wie dem Transfertransistor 41 und dergleichen, die in jedem Pixel 21 vorhanden sind, unterschiedlich beeinflusst werden. Daher wird im Abstandsmessmodul 11 des indirekten ToF-Verfahrens ein Verfahren zur Beseitigung des Empfindlichkeitsunterschieds zwischen den Abgriffen der jeweiligen Pixel verwendet, indem das Erfassungssignal A und das Erfassungssignal B durch den Empfang des reflektierten Lichts bei gleichzeitiger Änderung der Phase im selben Pixel 21 erhalten werden, wodurch ein Signal-Rausch-Verhältnis verbessert wird.
• Als Verfahren zum Empfang des reflektierten Lichts unter Änderung der Phase und zur Berechnung des Tiefenwertes werden beispielsweise ein Erkennungsverfahren mit zwei Phasen (Zwei-Phasen-Verfahren) und ein Erkennungsverfahren mit vier Phasen (Vier-Phasen-Verfahren) beschrieben.
• Wie in 3 dargestellt, empfängt die Lichtempfangseinheit 14 das reflektierte Licht zu Lichtempfangszeiten mit um 0°, 90°, 180° und 270° verschobenen Phasen in Bezug auf eine Bestrahlungszeit des Bestrahlungslichts. Genauer gesagt empfängt die Lichtempfangseinheit 14 das reflektierte Licht, während sie die Phase zeitlich so ändert, dass sie das Licht mit der auf 0° festgelegten Phase in Bezug auf den Bestrahlungszeitpunkt des Bestrahlungslichts in einer bestimmten Rahmenperiode empfängt, das Licht mit der auf 90° festgelegten Phase in einer nächsten Rahmenperiode empfängt, das Licht mit der auf 180° festgelegten Phase in einer nächsten Rahmenperiode empfängt und das Licht mit der auf 270° festgelegten Phase in einer nächsten Rahmenperiode empfängt.
• 4 ist eine Ansicht, in der die Belichtungszeiten des ersten Abgriffs 32A des Pixels 21 in den jeweiligen Phasen 0°, 90°, 180° und 270° so angeordnet sind, dass eine Phasendifferenz leicht zu erkennen ist.
• Wie in 4 dargestellt, wird im ersten Abgriff 32A das Erfassungssignal A, das durch den Empfang des Lichts in der gleichen Phase (Phase 0°) wie das Bestrahlungslicht erhalten wird, als Erfassungssignal A₀ bezeichnet, das Erfassungssignal A, das durch den Empfang des Lichts in der um 90 Grad gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 90°) erhalten wird, als Erfassungssignal A₉₀ bezeichnet, das Erfassungssignal A, das durch den Empfang des Lichts in der um 180 Grad gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 180°) erhalten wird, wird als Erfassungssignal A₁₈₀ bezeichnet, und das Erfassungssignal A, das durch den Empfang des Lichts in der um 270 Grad gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 270°) erhalten wird, wird als Erfassungssignal A₂₇₀ bezeichnet.
• Außerdem wird im zweiten Abgriff 32B, obwohl es nicht dargestellt ist, das Erfassungssignal B, das durch den Empfang des Lichts in der gleichen Phase (Phase 0°) wie das Bestrahlungslicht erhalten wird, als Erfassungssignal B₀ bezeichnet, das Erfassungssignal B, das durch den Empfang des Lichts in der um 90 Grad gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 90°) erhalten wird, als Erfassungssignal B₉₀ bezeichnet, das Erfassungssignal B, das durch den Empfang des Lichts in der um 180° gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 180°) erhalten wird, wird als Erfassungssignal B₁₈₀ bezeichnet, und das Erfassungssignal B, das durch den Empfang des Lichts in der um 270° gegenüber dem Bestrahlungslicht verschobenen Phase (Phase 270°) erhalten wird, wird als Erfassungssignal B₂₇₀ bezeichnet.
• 5 ist eine Ansicht zur Darstellung eines Verfahrens zur Berechnung des Tiefenwertes und der Zuverlässigkeit nach dem Zwei-Phasen-Verfahren und dem Vier-Phasen-Verfahren.
• Beim indirekten ToF-Verfahren kann ein Tiefenwert d durch den folgenden Ausdruck (1) erhalten werden.
  [Mathematischer Ausdruck 1] $$\text{d}=\frac{\text{c}\cdot \Delta \text{T}}{2}=\frac{\text{c}\cdot \mathrm{\phi }}{4\mathrm{\pi }\text{f}}$$

  
• In Ausdruck (1) repräsentiert c die Lichtgeschwindigkeit, ΔT die Verzögerungszeit und f die Modulationsfrequenz des Lichts. Außerdem repräsentiert φ in Ausdruck (1) einen Phasenverschiebungsbetrag [rad] des reflektierten Lichts und wird durch den folgenden Ausdruck (2) ausgedrückt.
  [Mathematischer Ausdruck 2] $$\mathrm{\phi }=\text{arctan}\left(\frac{\text{Q}}{\text{I}}\right)\left(0\le \mathrm{\phi }<2\mathrm{\pi }\right)$$

  
• Bei dem Vier-Phasen-Verfahren werden I und Q in Ausdruck (2) unter Verwendung der Erfassungssignale A₀ bis A₂₇₀ und der Erfassungssignale B₀ bis B₂₇₀, die durch Festlegen der Phasen 0°, 90°, 180° und 270° erhalten werden, nach Ausdruck (3) berechnet. I und Q repräsentieren Signale, die man erhält, indem man, unter der Annahme, dass eine Änderung der Leuchtdichte des Bestrahlungslichts eine cos-Welle ist, die Phase der cos-Welle von Polarkoordinaten in ein orthogonales Koordinatensystem (IQ-Ebene) umwandelt. $$\begin{array}{l}\text{I}={\text{c}}_0-{\text{c}}_{180}=\left({\text{A}}_0-{\text{B}}_0\right)-\left({\text{A}}_{180}-{\text{B}}_{180}\right)\\ \text{Q}={\text{c}}_{90}-{\text{c}}_{\text{270}}=\left({\text{A}}_{90}-{\text{B}}_{90}\right)-\left({\text{A}}_{270}-{\text{B}}_{270}\right)\end{array}$$

  
• Bei dem Vier-Phasen-Verfahren ist es beispielsweise möglich, durch die Differenz zwischen den Erfassungssignalen in den entgegengesetzten Phasen desselben Pixels wie „A₀-A₁₈₀“ oder „A₉₀-A₂₇₀“ in Ausdruck (3) die Kennlinienschwankung zwischen den Abgriffen in den jeweiligen Pixeln, d. h. den Empfindlichkeitsunterschied zwischen den Abgriffen, zu entfernen.
• Im Gegensatz dazu kann beim Zwei-Phasen-Verfahren der Tiefenwert d zum Objekt mit nur zwei orthogonal zueinander stehenden Phasen aus den Erfassungssignalen A₀ bis A₂₇₀ und den Erfassungssignalen B₀ bis B₂₇₀ erhalten werden, wobei die Phasen auf 0°, 90°, 180° und 270° festgelegt werden. In einem Fall, in dem beispielsweise die Erfassungssignale A₀ und B₀ in der Phase 0° und die Erfassungssignale A₉₀ und B₉₀ in der Phase 90° verwendet werden, werden I und Q in Ausdruck (2) durch den folgenden Ausdruck (4) ausgedrückt. $$\begin{array}{l}\text{I}={\text{c}}_0-{\text{c}}_{180}=\left({\text{A}}_0-{\text{B}}_0\right)\\ \text{Q}={\text{c}}_{90}-{\text{c}}_{270}=\left({\text{A}}_{90}-{\text{B}}_{90}\right)\end{array}$$

  
• In einem Fall, in dem beispielsweise die Erfassungssignale A₁₈₀ und B₁₈₀ in der Phase 180° und die Erfassungssignale A₂₇₀ und B₂₇₀ in der Phase 270° verwendet werden, werden I und Q in Ausdruck (2) durch den folgenden Ausdruck (5) ausgedrückt. $$\begin{array}{l}\text{I}={\text{c}}_0-{\text{c}}_{180}=-\left({\text{A}}_{180}-{\text{B}}_{180}\right)\\ \text{Q}={\text{c}}_{90}-{\text{c}}_{270}=-\left({\text{A}}_{270}-{\text{B}}_{270}\right)\end{array}$$

  
• Beim Zwei-Phasen-Verfahren kann die Kennlinienschwankung zwischen den Abgriffen in jedem Pixel nicht beseitigt werden, aber der Tiefenwert d zum Objekt kann nur durch die Erfassungssignale in zwei Phasen erhalten werden, so dass die Abstandsmessung mit einer Bildrate durchgeführt werden kann, die doppelt so hoch ist wie beim Vier-Phasen-Verfahren. Die Kennlinienschwankung zwischen den Abgriffen kann durch einen Korrekturparameter angepasst werden, falls eine Verstärkung, ein Offset und dergleichen vorliegt.
• Die Zuverlässigkeit cnf erhält man sowohl beim Zwei-Phasen-Verfahren als auch beim Vier-Phasen-Verfahren durch den folgenden Ausdruck (6).
  [Mathematischer Ausdruck 3] $$\text{cnf}=\sqrt{{\text{I}}^2+{\text{Q}}^2}$$

  
• Wie aus dem Ausdruck (6) hervorgeht, entspricht die Zuverlässigkeit cnf der Größe des reflektierten Lichts, das von dem Pixel 21 empfangen wird, d. h. der Leuchtdichteinformation (Leuchtdichtewert).
• In dieser Ausführungsform kann das Abstandsmessmodul 11 entweder die I- und Q-Signale entsprechend der beim Vier-Phasen-Verfahren berechneten Verzögerungszeit ΔT oder die I- und Q-Signale entsprechend der beim Zwei-Phasen-Verfahren berechneten Verzögerungszeit ΔT verwenden, um den Tiefenwert d und die Zuverlässigkeit cnf zu nutzen. Es kann entweder das Vier-Phasen-Verfahren oder das Zwei-Phasen-Verfahren fest angewendet werden, oder es kann beispielsweise ein Verfahren, bei dem sie entsprechend der Bewegung des Objekts ausgewählt oder gemischt werden und dergleichen, verwendet werden. Der Einfachheit halber wird im Folgenden davon ausgegangen, dass das Vier-Phasen-Verfahren angewendet wird.
• Beachten Sie, dass im Folgenden eine Einheit zur Ausgabe einer Tiefenkarte als ein Rahmen (Periode) und eine Einheit zur Erzeugung von Pixeldaten (Erfassungssignal) in jeder Phase von 0°, 90°, 180° oder 270° als ein Mikrorahmen (Periode) bezeichnet wird. Beim Vier-Phasen-Verfahren weist ein Rahmen vier Mikrorahmen auf, während beim Zwei-Phasen-Verfahren ein Rahmen zwei Mikrorahmen aufweist. Außerdem wird in der folgenden Beschreibung zum leichteren Verständnis der Tiefenwert d manchmal als Abstand d bezeichnet.
• <3. Verfahren zur Berechnung eines Belichtungssteuerungsparameters der Signalverarbeitungseinheit>
• Wie oben beschrieben, erzeugt die Signalverarbeitungseinheit 15 des Abstandsmessmoduls 11 die Tiefenkarte und die Zuverlässigkeitskarte auf der Basis eines Lichtempfangsergebnisses des reflektierten Lichts durch das Vier-Phasen-Verfahren zur Ausgabe, und berechnet den optimalen Belichtungssteuerungsparameter beim nächsten Empfang des reflektierten Lichts aus der erhaltenen Tiefenkarte und der Zuverlässigkeitskarte und liefert diese an die Lichtemissionssteuereinheit 13.
• Daher wird als Nächstes ein Verfahren zur Berechnung des Belichtungssteuerungsparameters durch die Signalverarbeitungseinheit 15 unter Bezugnahme auf 6 bis 9 beschrieben.
• Zunächst wird davon ausgegangen, dass ein additives Rauschen (Licht-Schrotrauschen), ausgedrückt durch eine Normalverteilung mit einem Mittelwert von 0 und einer Varianz von σ²(I), in einem Leuchtdichtewert I auftritt, der in jedem Pixel 21 der Lichtempfangseinheit 14 als Lichtempfangssensor beobachtet wird. Die Varianz σ²(I) wird durch den folgenden Ausdruck (7) ausgedrückt. $${\mathrm{\sigma }}^2\left(\text{l}\right)=\text{a}\cdot \text{l}+\text{b}$$

  
• Dabei repräsentieren a und b Werte, die von einem Ansteuerungsparameter, wie z. B. einer Verstärkung und dergleichen, der Lichtempfangseinheit 14 bestimmt werden und beispielsweise durch eine vorherige Kalibrierung erhalten werden können.
• 6 veranschaulicht eine Beziehung zwischen dem Leuchtdichtewert I und der Varianz σ²(I), die durch den folgenden Ausdruck (7) ausgedrückt wird. Wie in 6 dargestellt, ist die Varianz σ²(I) umso größer, je größer der Leuchtdichtewert I ist.
• Außerdem ist das indirekte ToF-Verfahren ein Verfahren, bei dem das Licht einer selbstleuchtenden Lichtquelle als reflektiertes Licht empfangen wird, und aufgrund der Eigenschaft, dass die Lichtintensität umgekehrt proportional zum Quadrat des Abstands ist, ist es möglich, im Voraus einen Leuchtdichtewert eines Objekts zu schätzen, das sich in einem vorgegebenen Abstand befindet.
• Beispielsweise kann ein Leuchtdichtewert I(r,p,t,d) in dem Abstand d durch ein Modell des folgenden Ausdrucks (8) ausgedrückt werden.
  [Mathematischer Ausdruck 4] $$\text{l}\left(\text{r},\text{p},\text{t},\text{d}\right)=\frac{\text{A}\left(\text{r},\text{p},\text{t}\right)}{{\text{d}}^2}+\text{Versatz}$$

  
• In Ausdruck (8) repräsentiert d einen Abstand, r einen Reflexionsgrad eines Objekts, p eine Lichtemissionsmenge der Lichtquelle der Lichtemissionseinheit 12, und t eine Belichtungszeit (Akkumulationszeit) des Pixels 21 der Lichtempfangseinheit 14. Ein Koeffizient A(r,p,t) ist ein Koeffizient, der in Bezug auf den Reflexionsgrad r, die Lichtemissionsmenge p und die Belichtungszeit t linear ist, und Offset repräsentiert eine Offset-Konstante.
• Da die Leuchtdichteinformation des Objekts, das sich im Abstand d befindet, durch den Leuchtdichtewert I(r,p,t,d) des Ausdrucks (8) geschätzt werden kann und die Varianz, die der Leuchtdichteinformation entspricht, durch σ²(I) des Ausdrucks (7) ausgedrückt werden kann, wird SNR(d), das ein Signal-Rausch-Verhältnis ist, das dem Abstand d entspricht, durch den folgenden Ausdruck (9) unter Verwendung der Leuchtdichteinformation ausgedrückt.
  [Mathematischer Ausdruck 5] $$\text{SNR}\left(\text{d}\right)=\frac{\text{l}\left(\text{r},\text{p},\text{t},\text{d}\right)}{\sqrt{{\mathrm{\sigma }}^2}\left(\text{l}\left(\text{r},\text{p},\text{t},\text{d}\right)\right)}$$

  
• In einem Fall jedoch, in dem der Abstand zum Objekt gering ist, wird das Erfassungssignal gesättigt, und ein genaues Signal kann nicht erhalten werden. Daher kann das SNR(d) unter Berücksichtigung der Sättigung durch Ausdruck (9)' ausgedrückt werden.
  [Mathematischer Ausdruck 6] $$\begin{array}{l}0\text{falls l}\left(\text{r},\text{p},\text{t},\text{d}\right)\text{ges}\ddot{\text{a}}\text{ttigt ist}\\ \text{SNR}\left(\text{d}\right)=\{\frac{\text{l}\left(\text{r},\text{p},\text{t},\text{d}\right)}{\sqrt{{\mathrm{\sigma }}^2\text{l}\left(\text{r},\text{p},\text{t},\text{d}\right)}}\text{anderenfalls}\end{array}$$

  
• 7 veranschaulicht ein Beispiel für das SNR(d) von Ausdruck (9)'. Der Abstand d_sat, bei dem im SNR(d) in 7 ein gesättigter Zustand festgestellt wird, kann beispielsweise in Abhängigkeit von der Sensorleistung wie der gesättigten elektrischen Ladungsmenge der Lichtempfangseinheit 14 und dergleichen bestimmt werden.
• Unter der Annahme, dass die Signalverarbeitungseinheit 15 bei der Bestimmung des optimalen Belichtungssteuerungsparameters der Lichtempfangseinheit 14 einen Mittelwert der SNRs(d) aller Pixel der Lichtempfangseinheit 14 als Bewertungswert E verwendet, kann der Bewertungswert E durch einen Ausdruck ausgedrückt werden, in dem eine Auftrittshäufigkeit p(d) des Abstands d in der gesamten Lichtempfangseinheit 14 und das dem Abstand d entsprechende SNR(d) wie in 8 dargestellt gefaltet werden. Mit anderen Worten, der Bewertungswert E kann durch die Summe der Produkte aus der Erscheinungshäufigkeit p(d) und dem SNR(d) für die in einem Rahmen erkannte Entfernung d des folgenden Ausdrucks (10) ausgedrückt werden.
  [Mathematischer Ausdruck 7] $$E={\displaystyle \sum _d\left\{SNR\left(d\right)\times p\left(d\right)\right\}}$$

  
• Gemäß Ausdruck (10) kann das Signal-Rausch-Verhältnis, das erwartet wird, wenn das reflektierte Licht mit einem aktuellen Belichtungssteuerungsparameter empfangen wird, gefunden werden. Daher kann die Signalverarbeitungseinheit 15 nach dem Belichtungssteuerungsparameter suchen, bei dem der Bewertungswert E von Ausdruck (10) maximal wird, und so den optimalen Belichtungssteuerungsparameter berechnen.
• 9 veranschaulicht einen Übergang des Bewertungswertes E in einem Fall, in dem die Belichtungszeit t festgelegt ist und die Lichtemissionsmenge p der Lichtquelle der Lichtemissionseinheit 12 als Belichtungssteuerungsparameter nacheinander verändert wird. Die Lichtemissionsmenge p und die Belichtungszeit t, bei der der Bewertungswert E maximal wird, sind die optimalen Belichtungssteuerungsparameter.
• <4. Erstes Konfigurationsbeispiel der Signalverarbeitungseinheit>
• 10 ist ein Blockdiagramm, das ein erstes Konfigurationsbeispiel der Signalverarbeitungseinheit 15 darstellt, die die Suche nach einem optimalen Wert für den oben beschriebenen Belichtungssteuerungsparameter durchführt. Beachten Sie, dass 10 auch eine andere Konfiguration als die des Abstandsmessmoduls 11 darstellt.
• Die Signalverarbeitungseinheit 15 weist eine Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61, eine Statistikberechnungseinheit 62, eine Bewertungswertberechnungseinheit 63, eine Bewertungsindexspeichereinheit 64, eine Parameterbestimmungseinheit 65 und eine Parameterhalteeinheit 66 auf. Die Signalverarbeitungseinheit 15 kann mit einem Signalverarbeitungschip oder einer Signalverarbeitungsvorrichtung gebildet werden. Außerdem können die Lichtemissionssteuereinheit 13 und die Signalverarbeitungseinheit 15 durch Verwendung eines Signalverarbeitungschips oder einer Signalverarbeitungsvorrichtung gebildet werden, oder die Lichtempfangseinheit 14 und die Signalverarbeitungseinheit 15 können durch Verwendung eines Signalverarbeitungschips oder einer Signalverarbeitungsvorrichtung gebildet werden.
• Die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 berechnet den Abstand d und die Zuverlässigkeit cnf jedes Pixels 21 auf der Basis der Pixeldaten (Erfassungssignale A und B) jedes Pixels 21, die von der Lichtempfangseinheit 14 geliefert werden. Das Verfahren zur Berechnung des Abstands d und der Zuverlässigkeit cnf jedes Pixels ist wie oben beschrieben.
• Die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugt die Tiefenkarte (Abstandsbild), in der der Abstand d jedes Pixels 21 als Pixelwert der Pixelmatrixeinheit 22 gespeichert ist, und die Zuverlässigkeitskarte (Zuverlässigkeitsbild), in der die Zuverlässigkeit cnf jedes Pixels 21 als Pixelwert der Pixelmatrixeinheit 22 gespeichert ist, und gibt diese nach außen aus.
• Außerdem liefert die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 die Tiefenkarte als Abstandsinformation und die Zuverlässigkeitskarte als Leuchtdichteinformation auch an die Statistikberechnungseinheit 62.
• Die Statistikberechnungseinheit 62 berechnet eine Statistik der Tiefenkarte aus einer Tiefenkarte, die von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird. Insbesondere erzeugt die Statistikberechnungseinheit 62 ein Histogramm des Abstands d, das durch Zählen der Erscheinungshäufigkeit (Häufigkeit) des Abstands d für alle Pixel der in 8 dargestellten Pixelmatrixeinheit 22 erhalten wird, und liefert dieses an die Bewertungswert-Berechnungseinheit 63.
• Die Bewertungswert-Berechnungseinheit 63 berechnet den Bewertungswert mit dem aktuellen Belichtungssteuerungsparameter im Einklang mit einem Bewertungsindex, der von der Bewertungsindex-Speichereinheit 64 geliefert wird. Insbesondere berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E auf der Basis des Ausdrucks (10), der von der Bewertungsindex-Speichereinheit 64 als Bewertungsindex geliefert wird, und liefert ein Ergebnis davon an die Parameterbestimmungseinheit 65.
• Die Bewertungsindex-Speichereinheit 64 speichert einen arithmetischen Ausdruck des Bewertungswertes E des Ausdrucks (10) als Bewertungsindex und des Ausdrucks (9)', der das Signal-Rausch-Verhältnis (SNR) entsprechend dem Abstand d repräsentiert, und liefert denselben an die Bewertungswert-Berechnungseinheit 63. Der Bewertungswert E des Ausdrucks (10) ist ein Wert, der unter Verwendung der Statistik der Tiefenkarte und der Zuverlässigkeitskarte berechnet wird, und ist insbesondere ein Wert, der durch einen Ausdruck berechnet wird, in dem die Erscheinungshäufigkeit p(d) des Abstands d und des SNR(d), der dem Abstand d entspricht, gefaltet werden.
• Die Parameterbestimmungseinheit 65 bestimmt, ob der aktuelle Belichtungssteuerungsparameter ein Wert ist, bei dem der Bewertungswert E maximal wird oder nicht. Diese bestimmt dann in einem Fall, in dem festgestellt wird, dass der aktuelle Belichtungssteuerungsparameter nicht der Wert ist, bei dem der Beurteilungswert E maximal wird, beispielsweise mit Hilfe eines Gradientenverfahrens und dergleichen einen nächsten Belichtungssteuerungsparameter und liefert diesen an die Lichtemissionssteuereinheit 13. Außerdem liefert die Parameterbestimmungseinheit 65 den aktuellen Belichtungssteuerungsparameter und den zu diesem Zeitpunkt gültigen Bewertungswert E an die Parameterhalteeinheit 66 und lässt sie von dieser halten. In einem Fall, in dem bestimmt wird, dass der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, gesucht wird, beendet die Parameterbestimmungseinheit 65 die Aktualisierung des Belichtungssteuerungsparameters. In dieser Ausführungsform aktualisiert die Parameterbestimmungseinheit 65 die Lichtemissionsmenge p der Lichtquelle der Lichtemissionseinheit 12 als den zu aktualisierenden Belichtungssteuerungsparameter und liefert diesen an die Parameterhalteeinheit 66 und die Lichtemissionssteuereinheit 13.
• Die Parameterhalteeinheit 66 hält den von der Parameterbestimmungseinheit 65 gelieferten Belichtungssteuerungsparameter und den zu diesem Zeitpunkt gültigen Bewertungswert E fest. Der Belichtungssteuerungsparameter und der in der Parameterhalteeinheit 66 gespeicherte Bewertungswert E werden bei Bedarf von der Parameterbestimmungseinheit 65 herangezogen.
• Die Lichtemissionssteuereinheit 13 erzeugt das Lichtemissionssteuersignal auf der Basis der von der Parameterbestimmungseinheit 65 gelieferten Lichtemissionsmenge p als aktualisierten Belichtungssteuerungsparameter und liefert dieses an die Lichtemissionseinheit 12 und die Lichtempfangseinheit 14.
• <5. Erzeugungsverarbeitung der ersten Tiefenkarte>
• Als Nächstes wird die Tiefenkarten-Erzeugungsverarbeitung (Erzeugungsverarbeitung der ersten Tiefenkarte) durch das Abstandsmessmodul 11 mit dem ersten Konfigurationsbeispiel der Signalverarbeitungseinheit 15 unter Bezugnahme auf ein Flussdiagramm in 11 beschrieben. Diese Verarbeitung wird beispielsweise gestartet, wenn dem Abstandsmessmodul 11 eine Anweisung zum Starten der Abstandsmessung zugeführt wird.
• Zunächst liefert die Parameterbestimmungseinheit 65 in Schritt S11 einen im Voraus bestimmten Anfangswert des Belichtungssteuerungsparameters an die Lichtemissionssteuereinheit 13.
• In Schritt S12 erzeugt die Lichtemissionssteuereinheit 13 das Lichtemissionssteuersignal auf der Basis des von der Parameterbestimmungseinheit 65 gelieferten Belichtungssteuerungsparameters und liefert dieses an die Lichtemissionseinheit 12 und die Lichtempfangseinheit 14. Im Lichtemissionssteuersignal werden die Frequenz und die Menge der Lichtemission festgelegt, wenn die Lichtemissionseinheit 12 Licht von der Lichtquelle emittiert. In der Lichtempfangseinheit 14 wird ein Belichtungszeitraum (Lichtempfangszeitraum) entsprechend einem durch das Lichtemissionssteuersignal definierten Lichtemissionszeitpunkt der Lichtquelle bestimmt, und jedes Pixel 21 der Pixelmatrixeinheit 22 wird angesteuert.
• In Schritt S13 emittiert die Lichtemissionseinheit 12 Licht mit einer vorbestimmten Frequenz und mit einer vorbestimmten Lichtemissionsmenge auf der Grundlage des Lichtemissionssteuersignals, und die Lichtempfangseinheit 14 empfängt das von dem Objekt reflektierte Licht, das das von der Lichtemissionseinheit 12 emittierte und von dem Objekt reflektierte Bestrahlungslicht ist, um es zurückzugeben. Anschließend gibt jedes Pixel 21 der Lichtempfangseinheit 14 die entsprechend der Lichtempfangsmenge erzeugten Pixeldaten an die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 der Signalverarbeitungseinheit 15 aus. Die Lichtempfangseinheit 14 empfängt das reflektierte Licht, um eine Tiefenkarte nach dem Vier-Phasen-Verfahren zu erzeugen. Das heißt, die Lichtempfangseinheit 14 empfängt Licht in vier Phasen, die um 0°, 90°, 180° und 270° in Bezug auf den Lichtemissionszeitpunkt des Bestrahlungslichts verschoben sind, und gibt die dadurch erhaltenen Pixeldaten an die Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 aus.
• In Schritt S14 berechnet die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 den Abstand d und die Zuverlässigkeit cnf jedes Pixels 21 auf der Basis der von der Lichtempfangseinheit 14 gelieferten Pixeldaten jedes Pixels 21, erzeugt die Tiefenkarte und die Zuverlässigkeitskarte und gibt diese nach außen aus. Außerdem liefert die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 die erzeugte Tiefenkarte und Zuverlässigkeitskarte auch an die Statistikberechnungseinheit 62.
• In Schritt S15 berechnet die Statistikberechnungseinheit 62 die Statistik der Tiefenkarte aus einer Tiefenkarte, die von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird. Insbesondere erzeugt die Statistikberechnungseinheit 62 das Histogramm des in 8 dargestellten Abstands d, das durch Zählen der Erscheinungshäufigkeit des Abstands d für alle Pixel der Pixelmatrixeinheit 22 erhalten wird, und liefert dieses an die Bewertungswert-Berechnungseinheit 63.
• In Schritt S16 berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E mit dem aktuellen Belichtungssteuerungsparameter im Einklang mit dem Bewertungsindex, der von der Bewertungsindex-Speichereinheit 64 geliefert wird. Insbesondere berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E des Ausdrucks (10), der von der Bewertungsindex-Speichereinheit 64 als Bewertungsindex geliefert wird, und liefert ein Ergebnis davon an die Parameterbestimmungseinheit 65.
• In Schritt S17 bestimmt die Parameterbestimmungseinheit 65, ob der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, gesucht wird oder nicht. Beispielsweise bestimmt die Parameterbestimmungseinheit 65 in einem Fall, in dem der Belichtungssteuerungsparameter nach dem Gradientenverfahren gesucht wird, ob der Belichtungssteuerungsparameter, bei dem der Beurteilungswert E maximal wird, auf der Basis, ob ein Gradient in einen vorgegebenen Bereich fällt, der als 0 angesehen werden kann, gesucht wird oder nicht. Alternativ kann die Parameterbestimmungseinheit 65 bestimmen, dass der Belichtungssteuerungsparameter, mit dem der Bewertungswert E maximal wird, in einem Fall gesucht wird, in dem die Verarbeitung der Suche nach dem Belichtungssteuerungsparameter eine vorbestimmte Anzahl von Malen wiederholt wird, oder in einem Fall, in dem festgestellt wird, dass es keine Aktualisierung des Belichtungssteuerungsparameters gibt, mit dem der Bewertungswert E verbessert wird.
• In einem Fall, in dem in Schritt S17 bestimmt wird, dass der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, noch nicht gesucht ist, geht das Verfahren zu Schritt S18 über, und die Parameterbestimmungseinheit 65 aktualisiert den Belichtungssteuerungsparameter und liefert diesen an die Lichtemissionssteuereinheit 13. Konkret liefert die Parameterbestimmungseinheit 65 der Lichtemissionssteuereinheit 13 den Belichtungssteuerungsparameter, bei dem die Lichtemissionsmenge p der Lichtquelle in einer vorgegebenen Sollbreite verändert wird. Außerdem wird in Schritt S18 eine Verarbeitung durchgeführt, die es der Parameterhalteeinheit 66 ermöglicht, den Belichtungssteuerungsparameter vor der Aktualisierung und den Bewertungswert E zu diesem Zeitpunkt zu speichern. Nach Schritt S18 kehrt das Verfahren zu Schritt S12 zurück, und die oben beschriebenen Vorgänge der Schritte S12 bis S17 werden wiederholt.
• In einem Fall, in dem in Schritt S17 bestimmt wird, dass der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, gesucht wird, geht das Verfahren zu Schritt S19 über, und das Abstandsmessmodul 11 legt den als optimal ermittelten Belichtungssteuerungsparameter fest, erzeugt die Tiefenkarte und die Zuverlässigkeitskarte auf der Basis des empfangenen reflektierten Lichts und gibt diese nach außen aus. Das heißt, die Parameterbestimmungseinheit 65 liefert der Lichtemissionssteuereinheit 13 wieder den optimalen Belichtungssteuerungsparameter, dessen Bewertungswert E als maximal bestimmt wird. Die Lichtemissionssteuereinheit 13 erzeugt das Lichtemissionssteuersignal auf der Basis des von der Parameterbestimmungseinheit 65 gelieferten optimalen Belichtungssteuerungsparameters und liefert dieses an die Lichtemissionseinheit 12 und die Lichtempfangseinheit 14. Die Lichtempfangseinheit 14 empfängt das vom Objekt reflektierte Licht und gibt die Pixeldaten aus. Die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugt die Tiefenkarte und die Zuverlässigkeitskarte mit dem optimalen Belichtungssteuerungsparameter und gibt diese nach außen aus.
• Damit ist die Erzeugungsverarbeitung der ersten Tiefenkarte abgeschlossen.
• Gemäß der Erzeugungsverarbeitung der ersten Tiefenkarte ist es möglich, den Belichtungssteuerungsparameter, der den Bewertungsindex maximiert, zu suchen und zu bestimmen, und zwar auf der Basis des Bewertungsindexes unter Verwendung der Leuchtdichteinformation, die entsprechend dem Abstand und der Abstandsinformation des Objekts (Subjekts) angenommen wird, die durch den tatsächlichen Empfang des reflektierten Lichts erhalten wurde. Daher kann eine angemessene Belichtungssteuerung durchgeführt werden.
• Beachten Sie, dass bei der oben beschriebenen Erzeugungsverarbeitung der ersten Tiefenkarte der als optimal bestimmte Belichtungssteuerungsparameter erneut der Lichtemissionssteuereinheit 13 zugeführt wird und die Tiefenkarte und die Zuverlässigkeitskarte mit dem optimalen Belichtungssteuerungsparameter erneut erzeugt und ausgegeben werden; es ist jedoch auch möglich, der Parameterhalteeinheit 66 zu gestatten, die Tiefenkarte und die Zuverlässigkeitskarte, die mit jedem gesuchten Belichtungssteuerungsparameter erzeugt wurden, zu speichern und in einem Fall, in dem der optimale Belichtungssteuerungsparameter feststeht, die Tiefenkarte und die Zuverlässigkeitskarte zu diesem Zeitpunkt von der Parameterhalteeinheit 66 zur Ausgabe nach außen zu erhalten. Außerdem werden zwar die Tiefenkarten und die Zuverlässigkeitskarten mit den sequentiell festgelegten Belichtungssteuerungsparametern nach außen ausgegeben, aber es ist auch möglich, nur die Tiefenkarte und die Zuverlässigkeitskarte mit dem optimalen Belichtungssteuerungsparameter nach außen auszugeben.
• <6. Zweites Konfigurationsbeispiel der Signalverarbeitungseinheit>
• 12 ist ein Blockdiagramm, das ein zweites Konfigurationsbeispiel der Signalverarbeitungseinheit 15 darstellt. 12 stellt auch eine andere Konfiguration als die des Abstandsmessmoduls 11 dar.
• Im zweiten Konfigurationsbeispiel in 12 sind die Teile, die denen des in 10 dargestellten ersten Konfigurationsbeispiels entsprechen, mit denselben Bezugszeichen versehen, und ihre Beschreibung wird gegebenenfalls weggelassen; sie konzentriert sich auf die Teile, die sich von denen des ersten Konfigurationsbeispiels unterscheiden und beschrieben werden.
• Das zweite Konfigurationsbeispiel in 12 unterscheidet sich insofern, als eine Bildsyntheseeinheit 81 auf einer nachfolgenden Stufe der Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 neu hinzugefügt wird und die Konfiguration ansonsten ähnlich wie im ersten Konfigurationsbeispiel ist.
• Die Signalverarbeitungseinheit 15 gemäß dem zweiten Konfigurationsbeispiel legt die Lichtemissionsmenge p als Belichtungssteuerungsparameter in der Lichtemissionssteuereinheit 13 zweimal fest (hohe Luminanz und niedrige Luminanz) und erzeugt eine Tiefenkarte, die durch die Synthese einer ersten Tiefenkarte, die unter einer Umgebung mit hoher Luminanz erzeugt wurde, und einer zweiten Tiefenkarte, die unter einer Umgebung mit niedriger Luminanz erzeugt wurde, zur Ausgabe erhalten wird. Was die Zuverlässigkeitskarte betrifft, so wird eine Zuverlässigkeitskarte auf ähnliche Weise erzeugt und ausgegeben, die durch Synthese einer ersten Zuverlässigkeitskarte, die unter einer Umgebung mit hoher Leuchtdichte erzeugt wurde, und einer zweiten Zuverlässigkeitskarte, die unter einer Umgebung mit niedriger Leuchtdichte erzeugt wurde, erhalten wird.
• Beim ToF-Sensor besteht das Problem, dass, wenn die Lichtemission erhöht wird, um Informationen über eine große Entfernung zu erhalten, eine Sättigung der elektrischen Ladung bei einem Objekt in kurzer Entfernung eintritt und keine Informationen erhalten werden können; und umgekehrt, wenn die Lichtemission verringert wird, nicht genügend Licht ein Objekt in großer Entfernung erreicht und kein Signal-Rausch-Verhältnis erhalten werden kann. Das oben beschriebene Problem kann dadurch gelöst werden, dass die Lichtemissionsmenge p der Lichtquelle zweimal festgelegt wird (hohe Leuchtdichte und niedrige Leuchtdichte) und eine Vielzahl von Tiefenkarten synthetisiert wird.
• Beispielsweise liefert die Parameterbestimmungseinheit 65 bei der Erzeugung der ersten Tiefenkarte den Belichtungssteuerungsparameter, der eine erste Lichtemissionsmenge P_low mit niedriger Leuchtdichte aufweist, an die Lichtemissionssteuereinheit 13. Die Lichtemissionseinheit 12 emittiert Licht mit der ersten Lichtemissionsmenge P_low, und die Lichtempfangseinheit 14 gibt die der Lichtempfangsmenge entsprechenden Pixeldaten an die Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 aus. Die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugt die erste Tiefenkarte und die erste Zuverlässigkeitskarte zum Zeitpunkt niedriger Leuchtdichte auf der Basis der Pixeldaten jedes Pixels 21.
• Als Nächstes liefert die Parameterbestimmungseinheit 65 bei der Erzeugung der zweiten Tiefenkarte den Belichtungssteuerungsparameter, der eine zweite Lichtemissionsmenge P_high mit hoher Leuchtdichte aufweist, an die Lichtemissionssteuereinheit 13. Die Lichtemissionseinheit 12 emittiert Licht mit der zweiten Lichtemissionsmenge P_high, und die Lichtempfangseinheit 14 gibt die der Lichtempfangsmenge entsprechenden Pixeldaten an die Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 aus. Die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugt die zweite Tiefenkarte und die zweite Zuverlässigkeitskarte zum Zeitpunkt hoher Leuchtdichte auf der Basis der Pixeldaten jedes Pixels 21.
• Die Bildsyntheseeinheit 81 führt eine Syntheseverarbeitung der ersten Tiefenkarte zum Zeitpunkt niedriger Luminanz und der zweiten Tiefenkarte zum Zeitpunkt hoher Luminanz durch, um eine Tiefenkarte zu erzeugen, in der ein dynamischer Bereich erweitert ist (im Folgenden als HDR-Tiefenkarte bezeichnet). Außerdem führt die Bildsyntheseeinheit 81 eine Syntheseverarbeitung der ersten Zuverlässigkeitskarte zum Zeitpunkt niedriger Luminanz und der zweiten Zuverlässigkeitskarte zum Zeitpunkt hoher Luminanz durch, um eine Zuverlässigkeitskarte zu erzeugen, in der ein dynamischer Bereich erweitert ist (im Folgenden als HDR-Zuverlässigkeitskarte bezeichnet). Die erzeugte HDR-Tiefenkarte und HDR-Zuverlässigkeitskarte werden nach außen ausgegeben und der Statistikberechnungseinheit 62 zugeführt.
• Ein Leuchtdichtewert l_hdr in einem Fall, in dem ein Leuchtdichtewert (r,p_low,t,d) mit der ersten Lichtemissionsmenge p_low und ein Leuchtdichtewert l(r,p_high,t,d) mit der zweiten Lichtemissionsmenge p_high synthetisiert werden, kann durch den folgenden Ausdruck (11) ausgedrückt werden. $${\text{l}}_{\text{hdr}}=\mathrm{\alpha }\cdot \text{r}\cdot \text{l}\left(\text{r},{\text{p}}_{\text{low}},\text{t},\text{d}\right)+\left(1-\mathrm{\alpha }\right)\cdot \text{l}\left(\text{r},{\text{p}}_{\text{high}},\text{t},\text{d}\right)$$

  
• In Ausdruck (11) repräsentiert rein Leuchtdichteverhältnis (r=p_high/p_low) zwischen der ersten Lichtemissionsmenge p_low und der zweiten Lichtemissionsmenge p_high, und α repräsentiert ein Mischungsverhältnis (0≦α≦1) zwischen der ersten Tiefenkarte zum Zeitpunkt niedriger Leuchtdichte und der zweiten Tiefenkarte zum Zeitpunkt hoher Leuchtdichte.
• Das Mischungsverhältnis α kann durch die dem Leuchtdichtewert entsprechende Zuverlässigkeit cnf bestimmt werden. Da das Ausmaß des Rauschens beispielsweise durch einen Pegel der Zuverlässigkeit cnf angenommen werden kann, kann festgelegt werden, dass in einem Fall, in dem die Zuverlässigkeit cnf kleiner als ein erster Schwellenwert TH1 ist, nur der Leuchtdichtewert l(r,p_low,t,d) mit der ersten Lichtemissionsmenge p_low verwendet wird, während α=1 festgelegt wird, und in einem Fall, in dem die Zuverlässigkeit cnf gleich oder größer als der erste Schwellenwert TH1 ist, nur der Leuchtdichtewert l(r,p_high,t,d) mit der zweiten Lichtemissionsmenge p_high verwendet wird, während α=0 festgelegt wird. Daher tritt die Sättigung der elektrischen Ladung auch dann nicht auf, wenn sich das Objekt in geringem Abstand befindet, und die Pixeldaten mit einer ausreichenden Lichtmenge können auch dann erhalten werden, wenn sich das Objekt in großem Abstand befindet, so dass eine Abstandsmessung in einem großen Bereich von nah bis fern durchgeführt werden kann.
• Die Synthese der HDR-Tiefenkarte durch die Bildsyntheseeinheit 81 kann auch durch eine Mischverarbeitung ähnlich dem Ausdruck (11) durchgeführt werden. Dasselbe gilt für die Synthese der HDR-Zuverlässigkeitskarte.
• Die Statistikberechnungseinheit 62 berechnet eine Statistik der HDR-Tiefenkarte aus einer HDR-Tiefenkarte, die von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird. Das heißt, wie im ersten Konfigurationsbeispiel wird ein Histogramm des Abstands d für die HDR-Tiefenkarte erstellt.
• Die Bewertungswert-Berechnungseinheit 63 berechnet den Bewertungswert E mit dem aktuellen Belichtungssteuerungsparameter gemäß dem Bewertungsindex, der von der Bewertungsindex-Speichereinheit 64 geliefert wird. Ein Ausdruck, um den von der Bewertungsindex-Speichereinheit 64 gelieferten Bewertungswert E zu erhalten, ist derselbe wie der oben beschriebene Ausdruck (10). Das heißt, der Bewertungswert E wird durch den Ausdruck ausgedrückt, in dem die Erscheinungshäufigkeit p(d) des Abstands d und des SNR(d), das dem Abstand d entspricht, gefaltet sind.
• Beachten Sie, dass das SNR(d), d. h. das Signal-Rausch-Verhältnis, das dem Abstand d in einem Fall entspricht, in dem zwei Tiefenbilder zum Zeitpunkt hoher Luminanz und niedriger Luminanz mit dem Mischungsverhältnis α synthetisiert werden, durch den folgenden Ausdruck (12) definiert ist und ferner als Ausdruck (12)' unter Berücksichtigung der Sättigung bei einem kurzen Abstand ausgedrückt wird.
  [Mathematischer Ausdruck 8] $$\text{SNR}\left(\text{d}\right)=\frac{\mathrm{\alpha }\cdot \text{r}\cdot {\text{l}}_{\text{low}}+\left(1-\mathrm{\alpha }\right)\cdot {\text{l}}_{\text{high}}}{\mathrm{\alpha }\cdot \text{r}\sqrt{{\mathrm{\sigma }}^2\left({\text{l}}_{\text{low}}\right)}+\left(1-\mathrm{\alpha }\right)\sqrt{{\mathrm{\sigma }}^2\left({\text{l}}_{\text{high}}\right)}}$$

  

  $$\begin{array}{l}\begin{array}{cc}0& \text{falls l}\left(\text{r},\text{p},\text{t},\text{d}\right)\end{array}\text{ges}\ddot{\text{a}}\text{ttigt ist}\\ \begin{array}{cc}\text{SNR}\left(\text{d}\right)=\{\frac{\mathrm{\alpha }\cdot \text{r}\cdot {\text{l}}_{\text{low}}+\left(1-\mathrm{\alpha }\right)\cdot {\text{l}}_{\text{high}}}{\mathrm{\alpha }\cdot \text{r}\sqrt{{\mathrm{\sigma }}^2\left({\text{l}}_{\text{low}}\right)}+\left(1-\mathrm{\alpha }\right)\sqrt{{\mathrm{\sigma }}^2\left({\text{l}}_{\text{high}}\right)}}& \text{anderenfalls}\end{array}\end{array}$$

  
• 13 veranschaulicht ein Beispiel für das SNR(d) von Ausdruck (12)'.
• 14 ist ein konzeptionelles Diagramm, das dem Ausdruck (10) entspricht, um den Bewertungswert E unter Verwendung des SNR(d) in 13 zu erhalten.
• Eine Vielzahl von SNR(d) wird in der Bewertungsindex-Speichereinheit 64 gespeichert, und die Bewertungswert-Berechnungseinheit 63 erhält ein vorbestimmtes SNR(d) von der Bewertungsindex-Speichereinheit 64 entsprechend einer Betriebsart, einem Reflexionsgrad r eines Messobjekts, einer Abstandsmessung und dergleichen.
• 15 stellt ein Beispiel für eine Vielzahl von SNRs(d) dar, die in der Bewertungsindex-Speichereinheit 64 gespeichert sind.
• Die Bewertungsindex-Speichereinheit 64 speichert drei Arten von SNRs(d) der SNRs 101 bis 103.
• Im SNR 101 werden das SNR mit der ersten Lichtemissionsmenge p_low für kurzen Abstand und das SNR mit der zweiten Lichtemissionsmenge p_high für langen Abstand in einem Abstand d1 umgeschaltet.
• Beim SNR 102 werden das SNR für kurzen Abstand und das SNR für langen Abstand im Abstand d1 wie beim SNR 101 umgeschaltet; ein Messbereich des SNR mit der ersten Lichtemissionsmenge p_low für kurze Abstände ist jedoch schmaler als der des SNR 101, wird aber auf ein hohes Signal-Rausch-Verhältnis festgelegt.
• Im SNR 103 wird ein Abstand d2, bei dem das SNR für kurzen Abstand und das SNR für langen Abstand umgeschaltet werden, größer festgelegt als der Abstand d1 der SNRs 101 und 102 (d1 <d2), und der Messbereich des SNR für kurzen Abstand wird größer festgelegt als der des SNR 102.
• 16 stellt Konturlinien des SNR in einem zweidimensionalen Bereich dar, in dem die zweite Lichtemissionsmenge p_high für große Abstände auf einer horizontalen Achse und die erste Lichtemissionsmenge p_low für kurze Abstände auf einer vertikalen Achse aufgetragen ist.
• Da das SNR mit zunehmender Lichtemissionsmenge höher wird, ist das SNR in der oberen rechten Ecke der zweidimensionalen Region in 16 am höchsten, d. h. in einem Fall, in dem sowohl die erste Lichtemissionsmenge p_low als auch die zweite Lichtemissionsmenge p_high groß sind, und das SNR ist in der unteren linken Ecke der zweidimensionalen Region in 16 am niedrigsten, d. h. in einem Fall, in dem sowohl die erste Lichtemissionsmenge p_low als auch die zweite Lichtemissionsmenge p_high klein sind. Die Parameterbestimmungseinheit 65 aktualisiert sequentiell den Belichtungssteuerungsparameter und sucht nach dem Belichtungssteuerungsparameter, mit dem das SNR am höchsten zu bestimmen ist.
• <7. Erzeugungsverarbeitung der zweiten Tiefenkarte>
• Als Nächstes wird die Tiefenkarten-Erzeugungsverarbeitung (Erzeugungsverarbeitung der zweiten Tiefenkarte) durch das Abstandsmessmodul 11 mit dem zweiten Konfigurationsbeispiel der Signalverarbeitungseinheit 15 unter Bezugnahme auf ein Flussdiagramm in 17 beschrieben. Diese Verarbeitung wird beispielsweise gestartet, wenn dem Abstandsmessmodul 11 eine Anweisung zum Starten der Abstandsmessung zugeführt wird.
• Zunächst liefert die Parameterbestimmungseinheit 65 in Schritt S31 einen im Voraus bestimmten Anfangswert des Belichtungssteuerungsparameters an die Lichtemissionssteuereinheit 13. Hier weist der Belichtungssteuerungsparameter, der der Lichtemissionssteuereinheit 13 zugeführt wird, mindestens zwei Arten von Lichtemissionsmengen p auf, nämlich die erste Lichtemissionsmenge p_low für kurze Abstände und die zweite Lichtemissionsmenge p_high für lange Abstände.
• In Schritt S32 erzeugt die Lichtemissionssteuereinheit 13 das Lichtemissionssteuersignal, das die erste Lichtemissionsmenge p_low aufweist, auf der Basis des Belichtungssteuerungsparameters, der von der Parameterbestimmungseinheit 65 geliefert wird, und liefert dasselbe an die Lichtemissionseinheit 12 und die Lichtempfangseinheit 14.
• In Schritt S33 emittiert die Lichtemissionseinheit 12 Licht mit einer vorbestimmten Frequenz und mit der ersten Lichtemissionsmenge p_low auf der Basis des Lichtemissionssteuersignals, und die Lichtempfangseinheit 14 empfängt das von dem Objekt reflektierte Licht. Anschließend gibt jedes Pixel 21 der Lichtempfangseinheit 14 die entsprechend der Lichtempfangsmenge erzeugten Pixeldaten an die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 der Signalverarbeitungseinheit 15 aus. Die Lichtempfangseinheit 14 empfängt Licht in vier Phasen, die um 0°, 90°, 180° und 270° in Bezug auf den Lichtemissionszeitpunkt des Bestrahlungslichts verschoben sind, und gibt die dadurch erhaltenen Pixeldaten an die Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 aus.
• In Schritt S34 erzeugt die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 die erste Tiefenkarte und die erste Zuverlässigkeitskarte auf der Basis der von der Lichtempfangseinheit 14 gelieferten Pixeldaten jedes Pixels 21 und liefert diese an die Statistikberechnungseinheit 62.
• In Schritt S35 erzeugt die Lichtemissionssteuereinheit 13 das Lichtemissionssteuersignal, das die zweite Lichtemissionsmenge p_high aufweist, und liefert es an die Lichtemissionseinheit 12 und die Lichtempfangseinheit 14.
• In Schritt S36 emittiert die Lichtemissionseinheit 12 Licht mit einer vorbestimmten Frequenz und mit der zweiten Lichtemissionsmenge p_high auf der Basis des Lichtemissionssteuersignals, und die Lichtempfangseinheit 14 empfängt das von dem Objekt reflektierte Licht. Anschließend gibt jedes Pixel 21 der Lichtempfangseinheit 14 die entsprechend der Lichtempfangsmenge erzeugten Pixeldaten an die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 der Signalverarbeitungseinheit 15 aus. Die Lichtempfangseinheit 14 empfängt Licht in vier Phasen, die um 0°, 90°, 180° und 270° in Bezug auf den Lichtemissionszeitpunkt des Bestrahlungslichts verschoben sind, und gibt die dadurch erhaltenen Pixeldaten an die Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 aus.
• In Schritt S37 erzeugt die Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 die zweite Tiefenkarte und die zweite Zuverlässigkeitskarte auf der Basis der von der Lichtempfangseinheit 14 gelieferten Pixeldaten jedes Pixels 21 und liefert diese an die Statistikberechnungseinheit 62.
• In Schritt S38 führt die Bildsyntheseeinheit 81 die Syntheseverarbeitung der ersten Tiefenkarte zum Zeitpunkt niedriger Luminanz und der zweiten Tiefenkarte zum Zeitpunkt hoher Luminanz durch, um die HDR-Tiefenkarte zu erzeugen, in der der dynamische Bereich erweitert ist. Außerdem führt die Bildsyntheseeinheit 81 die Syntheseverarbeitung der ersten Zuverlässigkeitskarte zum Zeitpunkt niedriger Luminanz und der zweiten Zuverlässigkeitskarte zum Zeitpunkt hoher Luminanz durch, um eine HDR-Zuverlässigkeitskarte zu erzeugen, in der der dynamische Bereich erweitert ist. Die erzeugte HDR-Tiefenkarte und HDR-Zuverlässigkeitskarte werden nach außen ausgegeben und der Statistikberechnungseinheit 62 zugeführt.
• In Schritt S39 berechnet die Statistikberechnungseinheit 62 die Statistik der HDR-Tiefenkarte aus einer HDR-Tiefenkarte, die von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird. Das heißt, die Statistikberechnungseinheit 62 erzeugt das Histogramm des Abstands d für die HDR-Tiefenkarte und liefert es an die Bewertungswert-Berechnungseinheit 63.
• In Schritt S40 berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E mit dem aktuellen Belichtungssteuerungsparameter im Einklang mit dem Bewertungsindex, der von der Bewertungsindex-Speichereinheit 64 geliefert wird. Insbesondere berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E des Ausdrucks (10), der von der Bewertungsindex-Speichereinheit 64 als Bewertungsindex geliefert wird, und liefert ein Ergebnis davon an die Parameterbestimmungseinheit 65.
• In Schritt S41 bestimmt die Parameterbestimmungseinheit 65, ob der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, gesucht wird oder nicht. Diese Bestimmungsverarbeitung ähnelt dem oben in 11 beschriebenen Schritt S17.
• In einem Fall, in dem in Schritt S41 bestimmt wird, dass der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, noch nicht gesucht ist, geht das Verfahren zu Schritt S42 über, und die Parameterbestimmungseinheit 65 aktualisiert den Belichtungssteuerungsparameter und liefert diesen an die Lichtemissionssteuereinheit 13. Nach Schritt S42 kehrt das Verfahren zu Schritt S32 zurück, und die oben beschriebenen Vorgänge der Schritte S32 bis S41 werden wiederholt.
• In einem Fall, in dem in Schritt S41 bestimmt wird, dass der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, gesucht wird, geht das Verfahren dann zu Schritt S43 über. Der Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, ist der optimale Belichtungssteuerungsparameter.
• In Schritt S43 legt das Abstandsmessmodul 11 den optimalen Belichtungssteuerungsparameter fest, erzeugt die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte auf der Basis des empfangenen reflektierten Lichts und gibt diese nach außen aus. Das heißt, das Abstandsmessmodul 11 erzeugt zwei Tiefenkarten und Zuverlässigkeitskarten durch zwei Arten von Lichtemissionsmengen p der ersten Lichtemissionsmenge p_low für kurze Abstände und der zweiten Lichtemissionsmenge p_high für lange Abstände, die als optimale Belichtungssteuerungsparameter bestimmt werden, führt die Syntheseverarbeitung durch, erzeugt die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte und gibt diese nach außen aus.
• Damit ist die Erzeugungsverarbeitung der zweiten Tiefenkarte beendet.
• Gemäß der Erzeugungsverarbeitung der zweiten Tiefenkarte ist es durch Empfangen des reflektierten Lichts bei gleichzeitiger zweimaliger Festlegung der Lichtemissionsmenge der Lichtquelle (niedrige Luminanz und hohe Luminanz) möglich, die Abstandsinformationen des Objekts vom kurzen Abstand bis zum langen Abstand zu erhalten, indem die beiden Tiefenkarten der ersten Tiefenkarte zum Zeitpunkt der niedrigen Luminanz und der zweiten Tiefenkarte zum Zeitpunkt der hohen Luminanz verwendet werden. Auch beim zweimaligen Lichtempfang wird der Belichtungssteuerungsparameter, der den Bewertungsindex maximiert, auf der Basis des Bewertungsindexes unter Verwendung der Leuchtdichteinformation, die gemäß dem Abstand und der Abstandsinformation des Objekts (Subjekts), erhalten durch tatsächliches Empfangen des zu bestimmenden reflektierten Lichts, angenommenen wird, gesucht. Daher kann eine angemessene Belichtungssteuerung durchgeführt werden.
• <8. Drittes Konfigurationsbeispiel der Signalverarbeitungseinheit>
• 18 ist ein Blockdiagramm, das ein drittes Konfigurationsbeispiel der Signalverarbeitungseinheit 15 darstellt. 18 stellt auch eine andere Konfiguration als die des Abstandsmessmoduls 11 dar.
• Im dritten Konfigurationsbeispiel in 18 sind die Teile, die denen des in 12 dargestellten zweiten Konfigurationsbeispiels entsprechen, mit denselben Bezugszeichen versehen, und ihre Beschreibung wird gegebenenfalls weggelassen; sie konzentriert sich auf die Teile, die sich von denen des zweiten Konfigurationsbeispiels unterscheiden und beschrieben werden.
• Das dritte Konfigurationsbeispiel in 18 unterscheidet sich insofern, als eine Beschränkungseinstellungseinheit 82 neu hinzugefügt wurde, und die Konfiguration ansonsten der des zweiten Konfigurationsbeispiels ähnelt.
• Bei der Erzeugungsverarbeitung der zweiten Tiefenkarte gemäß dem oben beschriebenen zweiten Konfigurationsbeispiel sucht die Signalverarbeitungseinheit 15 nach dem Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird. Wie jedoch aus den in 16 dargestellten Konturlinien des SNR ersichtlich ist, wird das SNR höher, wenn die erste Lichtemissionsmenge p_low und die zweite Lichtemissionsmenge p_high vergrößert werden, so dass der Stromverbrauch des Belichtungssteuerungsparameters, bei dem der Bewertungswert E maximal wird, ebenfalls größer wird. Daher ist es wünschenswert, den optimalen Belichtungssteuerungsparameter unter Berücksichtigung des Stromverbrauchs zu bestimmen.
• Die im dritten Konfigurationsbeispiel in 18 neu hinzugefügte Beschränkungseinstellungseinheit 82 legt bei der Bestimmung des optimalen Belichtungssteuerungsparameters in der Parameterbestimmungseinheit 65 eine Beschränkungsbedingung fest. Die Beschränkungseinstellungseinheit 82 legt als Beschränkungsbedingung einen Mindestwert des SNR (im Folgenden als niedrigstes SNR bezeichnet) fest, den das Abstandsmessmodul 11 bei der Abstandsmessung erfüllen sollte. Der niedrigste SNR-Wert als Randbedingung wird im Voraus festgelegt, um von einem Entwickler des Abstandsmessmoduls 11 gespeichert zu werden, oder er wird beispielsweise von einem Benutzer bestimmt, der eine Anwendung auf einem Einstellungsbildschirm der Anwendung mit dem Abstandsmessmodul 11 verwendet.
• Die Parameterbestimmungseinheit 65 ändert sequentiell den Belichtungssteuerungsparameter und bestimmt den Belichtungssteuerungsparameter, der den von der Beschränkungseinstellungseinheit 82 festgelegten niedrigsten SNR-Wert erfüllt, bei dem der Bewertungswert E maximal wird.
• Beispielsweise wird unter der Annahme, dass das von der Beschränkungseinstellungseinheit 82 ermittelte niedrigste SNR auf das durch eine SNR-Konturlinie 111 in 19 angegebene SNR festgelegt ist, zunächst der Belichtungssteuerungsparameter, der mit dem SNR der SNR-Konturlinie 111 übereinstimmt, ausgehend von einem vorgegebenen zu suchenden Anfangswert sequentiell aktualisiert, und dann wird aus den SNRs auf der SNR-Konturlinie 111 eine Kombination 112 der ersten Lichtemissionsmenge p_low und der zweiten Lichtemissionsmenge p_high bestimmt, bei der der Stromverbrauch am geringsten ist.
• <9. Erzeugungsverarbeitung der dritten Tiefenkarte>
• Als Nächstes wird die Tiefenkarten-Erzeugungsverarbeitung (Erzeugungsverarbeitung der dritten Tiefenkarte) durch das Abstandsmessmodul 11 mit dem dritten Konfigurationsbeispiel der Signalverarbeitungseinheit 15 unter Bezugnahme auf ein Flussdiagramm in 20 beschrieben. Diese Verarbeitung wird beispielsweise gestartet, wenn dem Abstands-messmodul 11 eine Anweisung zum Starten der Abstandsmessung zugeführt wird.
• Da die Schritte S61 bis S70 in 20 den Schritten S31 bis S40 der in 17 dargestellten Erzeugungsverarbeitung der zweiten Tiefenkarte ähneln, wird auf deren Beschreibung verzichtet.
• Nachdem der Bewertungswert E mit dem aktuellen Belichtungssteuerungsparameter in Schritt S70 berechnet wurde, bestimmt die Parameterbestimmungseinheit 65 in Schritt S71, ob der von der Bewertungswertberechnungseinheit 63 berechnete Bewertungswert E mit dem niedrigsten SNR als Randbedingung übereinstimmt. In einem Fall, in dem der berechnete Bewertungswert E in einen vorbestimmten Bereich nahe dem niedrigsten SNR, das ein Zielwert ist, fällt, bestimmt die Parameterbestimmungseinheit 65, dass dieser dem niedrigsten SNR entspricht. Die niedrigste SNR als Randbedingung wird von der Beschränkungseinstellungseinheit 82 vor der Tiefenkarten-Erzeugungsverarbeitung oder bei Bedarf bereitgestellt.
• In einem Fall, in dem in Schritt S71 bestimmt wird, dass der Bewertungswert mit dem aktuellen Belichtungssteuerungsparameter nicht mit dem niedrigsten SNR übereinstimmt, wechselt das Verfahren zu Schritt S72, und die Parameterbestimmungseinheit 65 aktualisiert den Belichtungssteuerungsparameter und liefert diesen an die Lichtemissionssteuereinheit 13. Nach Schritt S72 kehrt das Verfahren zu Schritt S62 zurück, und die oben beschriebenen Vorgänge der Schritte S62 bis S71 werden wiederholt.
• In einem Fall, in dem bestimmt wird, dass der Bewertungswert mit dem aktuellen Belichtungssteuerungsparameter mit dem niedrigsten SNR übereinstimmt, geht das Verfahren dann zu Schritt S73 über. In Schritt S73 bestimmt die Parameterbestimmungseinheit 65, ob der aktuelle Belichtungssteuerungsparameter der Belichtungssteuerungsparameter ist oder nicht, bei dem der Stromverbrauch am geringsten ist. Da hier die beiden Arten von Lichtemissionsmengen p der ersten Lichtemissionsmenge p_low für kurze Abstände und der zweiten Lichtemissionsmenge p_high für lange Abstände als Verarbeitung der Suche nach dem Belichtungssteuerungsparameter geändert werden, kann der Stromverbrauch in Schritt S73 einfach als die Summe der ersten Lichtemissionsmenge p_low und der zweiten Lichtemissionsmenge p_high betrachtet werden.
• In einem Fall, in dem in Schritt S73 bestimmt wird, dass der aktuelle Belichtungssteuerungsparameter nicht der Belichtungssteuerungsparameter ist, bei dem der Stromverbrauch am geringsten ist, wird zu Schritt S72 übergegangen, der Belichtungssteuerungsparameter wird auf einen nächsten Wert geändert, und die oben beschriebenen Vorgänge in den Schritten S62 bis S73 werden wiederholt.
• In einem Fall hingegen, in dem in Schritt S73 bestimmt wird, dass der aktuelle Belichtungssteuerungsparameter der Belichtungssteuerungsparameter ist, bei dem der Stromverbrauch am geringsten ist, geht das Verfahren zu Schritt S74 über. Das heißt, in einem Fall, in dem der Belichtungssteuerungsparameter, der die Randbedingung erfüllt, mit der der Bewertungswert E maximal wird, bestimmt wird, geht das Verfahren zu Schritt S74 über.
• In Schritt S74 legt das Abstandsmessmodul 11 den optimalen Belichtungssteuerungsparameter fest, erzeugt die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte auf der Basis des empfangenen reflektierten Lichts und gibt diese nach außen aus. Das heißt, das Abstandsmessmodul 11 erzeugt die zwei Tiefenkarten und Zuverlässigkeitskarten durch die zwei Arten von Lichtemissionsmengen p der ersten Lichtemissionsmenge p_low für kurze Abstände und der zweiten Lichtemissionsmenge p_high für lange Abstände, die als optimale Belichtungssteuerungsparameter bestimmt werden, führt die Syntheseverarbeitung durch, erzeugt die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte und gibt diese nach außen aus.
• Damit ist die Erzeugungsverarbeitung der dritten Tiefenkarte beendet.
• Gemäß dem Erzeugungsverfahren der dritten Tiefenkarte ist es möglich, den optimalen Belichtungssteuerungsparameter unter Berücksichtigung des Stromverbrauchs zu bestimmen.
• Beachten Sie, dass in der oben beschriebenen Erzeugungsverarbeitung der dritten Tiefenkarte zunächst nach dem Belichtungssteuerungsparameter gesucht wird, der mit dem niedrigsten SNR übereinstimmt, und dann nach dem Belichtungssteuerungsparameter, bei dem der Stromverbrauch am geringsten ist; es ist jedoch möglich, nach dem Belichtungssteuerungsparameter zu suchen, bei dem sowohl das niedrigste SNR als auch der geringste Stromverbrauch gleichzeitig erfüllt sind.
• <10. Viertes Konfigurationsbeispiel der Signalverarbeitungseinheit>
• 21 ist ein Blockdiagramm, das ein viertes Konfigurationsbeispiel der Signalverarbeitungseinheit 15 darstellt. 21 stellt auch eine andere Konfiguration als die des Abstandsmessmoduls 11 dar.
• Im vierten Konfigurationsbeispiel in 21 sind die Teile, die denen des in 10 dargestellten ersten Konfigurationsbeispiels entsprechen, mit denselben Bezugszeichen versehen, und ihre Beschreibung wird gegebenenfalls weggelassen; sie konzentriert sich auf die Teile, die sich von denen des ersten Konfigurationsbeispiels unterscheiden und beschrieben werden.
• Das vierte Konfigurationsbeispiel in 21 unterscheidet sich insofern, als eine Interessensbereichs-Bestimmungseinheit 91 neu hinzukommt, und die andere Konfiguration ähnelt der des in 10 dargestellten ersten Konfigurationsbeispiels.
• Wie im oben beschriebenen ersten Konfigurationsbeispiel bestimmt die Signalverarbeitungseinheit 15 gemäß dem vierten Konfigurationsbeispiel als optimalen Belichtungssteuerungsparameter denjenigen Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird; allerdings bestimmt diese denjenigen Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, nicht für einen gesamten Pixelbereich der Pixelmatrixeinheit 22, sondern für einen im gesamten Pixelbereich besonders fokussierten Interessensbereich als optimalen Belichtungssteuerungsparameter.
• Die Tiefenkarte und die Zuverlässigkeitskarte werden von der Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 an die Interessensbereichs-Bestimmungseinheit 91 geliefert. Die Interessensbereichs-Bestimmungseinheit 91 bestimmt den Interessensbereich im gesamten Pixelbereich der Pixelmatrixeinheit 22 unter Verwendung der Tiefenkarte und/oder der Zuverlässigkeitskarte und liefert der Statistikberechnungseinheit 62 Bereichsfestlegungsinformationen zum Festlegen des Interessensbereichs Ein Verfahren, mit dem die Interessensbereichs-Bestimmungseinheit 91 den Interessensbereich bestimmt, ist nicht besonders begrenzt. Beispielsweise kann die Interessensbereichs-Bestimmungseinheit 91 aus den Abstandsinformationen, die durch die Tiefenkarte angezeigt werden, oder den Leuchtdichteinformationen, die durch die Zuverlässigkeitskarte angezeigt werden, einen Bereich für jedes Objekt als Cluster unterscheiden und den Cluster bestimmen, der einem im Voraus als Interessensbereich registrierten Erkennungsziel am nächsten liegt. Außerdem kann beispielsweise die Interessensbereichs-Bestimmungseinheit 91 anhand der von der Zuverlässigkeitskarte angezeigten Leuchtdichteinformationen für jedes Objekt einen Bereich als Cluster unterscheiden und den Cluster mit der höchsten Zuverlässigkeit als Interessensbereich bestimmen. Die Interessensbereichs-Bestimmungseinheit 91 kann den Interessensbereich aus einem Objekterkennungsergebnis durch einen Objekterkenner bestimmen, indem sie einen beliebigen Objekterkenner verwendet.
• Darüber hinaus kann die Interessensbereichs-Bestimmungseinheit 91 den Interessensbereich auch auf der Basis eines Bereichsspezifizierungssignals bestimmen, das von einer Vorrichtung außerhalb des Abstandsmessmoduls 11 geliefert wird. Beispielsweise wird der Interessensbereich vom Benutzer festgelegt, wenn der Benutzer eine Bedienung auf einem Touchpanel eines Smartphones oder dergleichen durchführt, in das das Abstandsmessmodul 11 eingebaut ist, und das den Interessensbereich angebende Signal wird der Interessensbereichs-Bestimmungseinheit 91 zugeführt. Die Interessensbereichs-Bestimmungseinheit 91 liefert die Bereichseinstellungsinformationen, die den auf der Basis des Bereichsbestimmungssignals bestimmten Interessensbereich angeben, an die Statistikberechnungseinheit 62.
• A in 22 stellt einen Zustand dar, in dem ein Interessensbereich 92 durch automatische Erkennungsverarbeitung unter Verwendung der Tiefenkarte oder der Zuverlässigkeitskarte festgelegt wird.
• B in 22 stellt einen Zustand dar, in dem der Interessensbereich 92 durch den Benutzer festgelegt wird, der den Interessensbereich 92 auf dem Touchpanel des Smartphones bestimmt.
• Die Statistikberechnungseinheit 62 berechnet die Statistik der Tiefenkarte in Bezug auf den Interessensbereich aus einer Tiefenkarte, die von der Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird, und den Bereichseinstellungsinformationen des Interessensbereichs, die von der Interessensbereichs-Bestimmungseinheit 91 geliefert werden. Insbesondere erzeugt die Statistikberechnungseinheit 62 ein Histogramm des Abstands d, das durch Zählen der Erscheinungshäufigkeit (Häufigkeit) des Abstands d für die Pixel des in 8 dargestellten Interessensbereichs erhalten wird, und liefert dieses an die Bewertungswert-Berechnungseinheit 63.
• Die Bewertungswert-Berechnungseinheit 63 errechnet den Bewertungswert E für den Interessensbereich und gibt ihn an die Parameterbestimmungseinheit 65 weiter.
• <11. Erzeugungsverarbeitung der vierten Tiefenkarte>
• Als Nächstes wird die Tiefenkarten-Erzeugungsverarbeitung (Erzeugungsverarbeitung der vierten Tiefenkarte) durch das Abstandsmessmodul 11 mit dem vierten Konfigurationsbeispiel der Signalverarbeitungseinheit 15 unter Bezugnahme auf ein Flussdiagramm in 23 beschrieben. Diese Verarbeitung wird beispielsweise gestartet, wenn dem Abstandsmessmodul 11 eine Anweisung zum Starten der Abstandsmessung zugeführt wird.
• Die Schritte S91 bis S94 in 23 sind den Schritten S11 bis S14 der in 11 dargestellten Erzeugungsverarbeitung der ersten Tiefenkarte ähnlich. Durch die Verarbeitung bis zum Schritt S94 werden die von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugte Tiefenkarte und die Zuverlässigkeitskarte an die Statistikberechnungseinheit 62 und die Interessensbereichs-Bestimmungseinheit 91 geliefert.
• In Schritt S95 bestimmt die Interessensbereichs-Bestimmungseinheit 91 den Interessensbereich im gesamten Pixelbereich, für den die Tiefenkarte und die Zuverlässigkeitskarte erzeugt werden. In einem Fall, in dem die Interessensbereichs-Bestimmungseinheit 91 selbst den Interessensbereich bestimmt, bestimmt die Interessensbereichs-Bestimmungseinheit 91 beispielsweise aus den Abstandsinformationen, die durch die Tiefenkarte angezeigt werden, oder den Leuchtdichteinformationen, die durch die Zuverlässigkeitskarte angezeigt werden, einen Bereich für jedes Objekt als Cluster und bestimmt den Cluster, der einem im Voraus registrierten Erkennungsziel am nächsten liegt, als Interessensbereich. In einem Fall, in dem der Interessensbereich außerhalb des Abstandsmessmoduls 11 festgelegt ist, bestimmt die Interessensbereichs-Bestimmungseinheit 91 den Interessensbereich auf der Basis des eingegebenen Bereichsspezifizierungssignals. Die Bereichseinstellungsinformation zum Festlegen des bestimmten Interessensbereichs wird der Statistikberechnungseinheit 62 zugeführt.
• In Schritt S96 berechnet die Statistikberechnungseinheit 62 die Statistik der Tiefenkarte in Bezug auf den Interessensbereich aus einer Tiefenkarte, die von der Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 geliefert wird, und den Bereichseinstellungsinformationen, die den von der Interessensbereichs-Bestimmungseinheit 91 gelieferten Interessensbereich angeben.
• In Schritt S97 berechnet die Bewertungswert-Berechnungseinheit 63 den Bewertungswert E mit den aktuellen Belichtungssteuerungsparametern für den Interessensbereich. Dieser Prozess ähnelt dem in Schritt S16 in 11, mit dem Unterschied, dass der Bewertungswert E für den Interessensbereich berechnet wird.
• Die Prozesse in den Schritten S98 bis S100 ähneln denen in den Schritten S17 bis S19 der in 11 dargestellten Erzeugungsverarbeitung der ersten Tiefenkarte. Das heißt, die Verarbeitung wird so lange wiederholt, bis bestimmt wird, dass der optimale Belichtungssteuerungsparameter, bei dem der Bewertungswert E maximal wird, auf der Basis des Bewertungswertes E des Interessensbereichs gesucht wird, und die Tiefenkarte und die Zuverlässigkeitskarte werden durch den ermittelten optimalen Belichtungssteuerungsparameter zur Ausgabe nach außen erzeugt.
• Damit ist die Erzeugungsverarbeitung der vierten Tiefenkarte beendet.
• Gemäß der Erzeugungsverarbeitung der vierten Tiefenkarte ist es möglich, den Belichtungssteuerungsparameter, der den Bewertungsindex maximiert, nicht für einen gesamten Lichtempfangsbereich des Abstandsmessmoduls 11, sondern für einen Teilbereich davon zur Bestimmung zu suchen. Daher ist es möglich, eine entsprechende Belichtungssteuerung speziell für den Teilbereich des Lichtempfangsbereichs durchzuführen.
• Beachten Sie, dass das vierte Konfigurationsbeispiel in 21 eine Konfiguration ist, die durch Hinzufügen der Interessensbereichs-Bestimmungseinheit 91 zu dem in 10 dargestellten ersten Konfigurationsbeispiel erhalten wird; eine Konfiguration, die durch Hinzufügen der Interessensbereichs-Bestimmungseinheit 91 zu dem in 12 dargestellten zweiten Konfigurationsbeispiel und dem in 18 dargestellten dritten Konfigurationsbeispiel erhalten wird, ist ebenfalls möglich. Mit anderen Worten, es ist möglich, den Interessensbereich für die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte festzulegen, die unter Verwendung der beiden Tiefenkarten der ersten Tiefenkarte zum Zeitpunkt niedriger Luminanz und der zweiten Tiefenkarte zum Zeitpunkt hoher Luminanz erzeugt werden, und einen geeigneten Belichtungssteuerungsparameter zu erhalten.
• <12. Erste Variation>
• <Steuerung zum Ändern der Lichtemissionsfrequenz>
• In dem oben beschriebenen Beispiel bestrahlt eine Lichtemissionseinheit 12 ein Objekt mit moduliertem Licht mit einer einzigen Frequenz von beispielsweise 20 MHz auf der Basis eines Lichtemissionssteuersignals. Wenn die Modulationsfrequenz einer Lichtquelle beispielsweise auf 100 MHz und dergleichen erhöht wird, kann die Auflösung der Abstandsinformationen erhöht werden, aber der Bereich, in dem die Abstandsmessung durchgeführt werden kann, wird eingeengt. Wird die Modulationsfrequenz dagegen niedriger angesetzt, kann der Bereich, in dem die Abstandsmessung durchgeführt werden kann, erweitert werden.
• Ein Abstand d wird wie oben beschrieben durch den Ausdruck (1) ausgedrückt, und die Abstandsinformation wird auf der Basis eines Phasenverschiebungsbetrags φ des reflektierten Lichts berechnet. Wenn zu diesem Zeitpunkt das im Phasenverschiebungsbetrag φ auftretende Rauschen eine Funktion σ_φ(I) eines Leuchtdichtewertes I ist, kann das dem Abstand d überlagerte Rauschen σ_d als dem Ausdruck (13) von Ausdruck (1) folgend definiert werden.
  [Mathematischer Ausdruck 9] $${\mathrm{\sigma }}_{\text{d}}=\frac{c\cdot {\mathrm{\sigma }}_{\mathrm{\phi }}\left(\text{l}\right)}{4\mathrm{\pi }\text{f}}=\frac{\text{k}\cdot {\mathrm{\sigma }}_{\mathrm{\phi }}\left(\text{l}\right)}{\text{f}}$$

  
• Hier repräsentiert k in Ausdruck (13) eine Konstante, die k=c/4π erfüllt.
• Wie aus Ausdruck (13) hervorgeht, ist der Fehler (das Rauschen) des Abstands d um so geringer, je höher die Modulationsfrequenz ist.
• Daher ist es als erste Variation einer Signalverarbeitungseinheit 15 möglich, die Konfiguration so vorzunehmen, dass ein Belichtungssteuerungsparameter, der von einer Parameterbestimmungseinheit 65 an eine Lichtemissionssteuereinheit 13 geliefert wird, zusätzlich zu einer Belichtungszeit t und einer Lichtemissionsmenge p eine Modulationsfrequenz f aufweist, und ein optimaler Belichtungssteuerungsparameter, der die Modulationsfrequenz f enthält, bestimmt wird.
• Insbesondere bestrahlt ein Abstandsmessmodul 11 zunächst das Objekt mit Bestrahlungslicht bei einer ersten Frequenz von beispielsweise 20 MHz und dergleichen, um eine Tiefenkarten-Erzeugungsverarbeitung auszuführen, und führt in einem Fall, in dem als Ergebnis der Tiefenkarten-Erzeugungsverarbeitung bestimmt wird, dass ein Abstand zu einem Messziel kurz ist (der Abstand zum Messziel fällt in einen vorgegebenen Bereich), die Tiefenkarten-Erzeugungsverarbeitung aus, während die Modulationsfrequenz auf eine zweite Frequenz geändert wird, die höher ist als die erste Frequenz, beispielsweise 100 MHz. In diesem Fall werden eine Tiefenkarte und eine Zuverlässigkeitskarte, die von einer Entfernungsbild-/Zuverlässigkeitsberechnungseinheit 61 erzeugt wurden, auch der Parameterbestimmungseinheit 65 zugeführt, und die Parameterbestimmungseinheit 65 liefert den Belichtungssteuerungsparameter, der in Abhängigkeit vom Abstand zum Messobjekt auf die zweite Frequenz geändert wurde, an die Lichtemissionssteuereinheit 13.
• Zusätzlich zu einem Zwei-Phasen-Parametersuchverfahren, bei dem ein optimaler Wert der Lichtemissionsmenge p und dann ein optimaler Wert der Modulationsfrequenz f bestimmt wird, wie oben beschrieben, ist es auch möglich, ein Verfahren anzuwenden, bei dem die Ausdrücke SNR(d) der Ausdrücke (9) und (12) sowohl die Lichtemissionsmenge p als auch die Modulationsfrequenz f aufweisen und die optimalen Werte der Lichtemissionsmenge p und der Modulationsfrequenz f, bei denen ein Bewertungswert E des Ausdrucks (10) maximal wird, gleichzeitig bestimmt werden.
• Die erste Variation zur Bestimmung des Belichtungssteuerungsparameters einschließlich der Modulationsfrequenz kann in Kombination mit einem der oben beschriebenen ersten bis vierten Konfigurationsbeispiele ausgeführt werden.
• <13. Zweite Variation>
• <Steuerung zum Ändern der Belichtungszeit>
• In den oben beschriebenen Erzeugungsverarbeitungen der ersten bis vierten Tiefenkarte ändert eine Signalverarbeitungseinheit 15 eine Lichtemissionsmenge p als Belichtungssteuerungsparameter und bestimmt einen optimalen Wert der Lichtemissionsmenge p.
• Die in der Lichtempfangseinheit 14 erzeugten elektrischen Signalladungen ändern sich durch eine Erhöhung der Lichtemissionsmenge p, aber es ist auch möglich, die elektrischen Signalladungen durch eine Änderung der Belichtungszeit t bei fester Lichtemissionsmenge p zu erhöhen. Das heißt, eine Änderung der Leuchtdichte aufgrund einer Änderung der Lichtemissionsmenge p ist im Wesentlichen gleich der Änderung der Belichtungszeit t.Anstatt die Lichtemissionsmenge p in den Erzeugungsverarbeitungen der ersten bis vierten Tiefenkarte zu ändern, wie oben beschrieben, kann die Verarbeitung daher steuern, die Belichtungszeit t zu ändern und einen optimalen Wert der Belichtungszeit t als Belichtungssteuerungsparameter zu bestimmen.
• Beachten Sie, dass sich bei einer Verlängerung der Belichtungszeit t die Bildrate verringern kann. In diesem Fall kann beispielsweise eine Beschränkungseinstellungseinheit 82 in einem dritten Konfigurationsbeispiel der in 18 dargestellten Signalverarbeitungseinheit 15 einen unteren Grenzwert der Bildrate als Randbedingung festlegen. Daher ist es möglich, den Belichtungssteuerungsparameter zu bestimmen, der den von der Beschränkungseinstellungseinheit 82 festgelegten unteren Grenzwert der Bildrate erfüllt, bei dem ein Bewertungswert E maximal wird.
• <14. Dritte Variation>
• <Steuerung unter Berücksichtigung des Umgebungslichts>
• Die Komponenten der Pixeldaten (Erfassungssignal), die in jedem Pixel 21 einer Lichtempfangseinheit 14 erhalten werden, werden grob in aktive Komponenten, Umgebungslichtkomponenten und Rauschkomponenten unterteilt. Bei den aktiven Komponenten handelt es sich um die Lichtkomponenten des Bestrahlungslichts, das von einem zurückzusendenden Objekt reflektiert wird. Die Umgebungslichtkomponenten sind Lichtkomponenten, die durch Umgebungslicht, wie z. B. Sonnenlicht, verursacht werden. Obwohl die Umgebungslichtkomponenten im Verlauf der oben beschriebenen arithmetischen Operationen der Ausdrücke (3) bis (5) aufgehoben werden, bleiben die Rauschkomponenten bestehen, so dass mit zunehmenden Umgebungslichtkomponenten eine Rate der Rauschkomponenten zunimmt und ein Signal-Rausch-Verhältnis relativ abnimmt.
• Daher kann in einem Fall, in dem bestimmt wird, dass eine Rate der Umgebungslichtkomponenten groß ist, eine Signalverarbeitungseinheit 15 eine Verarbeitung zur Erzeugung eines Belichtungssteuerungsparameters durchführen, um eine Belichtungszeit t zu verkürzen und eine Lichtemissionsmenge p zu erhöhen, und diesen an die Lichtemissionssteuereinheit 13 liefern. Die Rate der Umgebungslichtkomponenten kann beispielsweise aus einer Differenz zwischen einem Mittelwert der von den jeweiligen Pixeln 21 erhaltenen Pixeldaten (Erfassungssignale) und einem Mittelwert der Zuverlässigkeiten der jeweiligen Pixel bestimmt werden, der aus einer von einer Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61 gelieferten Zuverlässigkeitskarte berechnet wird. Alternativ kann die Rate der Umgebungslichtkomponenten auch einfach durch den Mittelwert (Größe des Mittelwertes) der aus der Zuverlässigkeitskarte berechneten Zuverlässigkeiten der jeweiligen Pixel bestimmt werden.
• Insbesondere erhält eine Parameterbestimmungseinheit 65 die Pixeldaten jedes Pixels 21 von der Lichtempfangseinheit 14 und die Zuverlässigkeitskarte von der Abstandsbild-/Zuverlässigkeitsberechnungseinheit 61. Dann bestimmt die Parameterbestimmungseinheit 65, ob die Rate der Umgebungslichtkomponenten groß ist oder nicht, und in einem Fall, in dem festgestellt wird, dass die Rate der Umgebungslichtkomponenten groß ist, kann dies den Belichtungssteuerungsparameter erzeugen, um die Belichtungszeit t zu verkürzen und die Lichtemissionsmenge p zu erhöhen.Daher kann der Einfluss einer Zunahme des Rauschens durch eine Erhöhung der Rate der aktiven Komponenten verringert werden.
• <15. Schlussbemerkung>
• Das Abstandsmessmodul 11 in 1 kann die ersten bis vierten Konfigurationsbeispiele oder deren Variationen der Signalverarbeitungseinheit 15 aufweisen und kann die erste Tiefenkarten-Erzeugungsverarbeitung bis zur vierten Tiefenkarten-Erzeugungsverarbeitung und eine Verarbeitung entsprechend den Variationen davon ausführen. Das Abstandsmessmodul 11 kann so ausgebildet sein, dass es nur eine der Erzeugungsverarbeitungen der ersten bis vierten Tiefenkarte und die Verarbeitungen entsprechend ihrer Variationen ausführt, oder es kann so ausgebildet sein, dass es selektiv alle Verarbeitungen ausführt, indem es den Betriebsmodus und dergleichen umschaltet.
• Gemäß dem Abstandsmessmodul 11 in 1 ist es möglich, auf der Basis des Bewertungsindexes unter Verwendung der nach dem Abstand angenommenen Leuchtdichteinformation und der durch den tatsächlichen Empfang des reflektierten Lichts erhaltenen Abstandsinformation des Objekts (Subjekts) den Belichtungssteuerungsparameter, der den Bewertungsindex maximiert, zu suchen und zu bestimmen. Daher kann eine angemessene Belichtungssteuerung durchgeführt werden.
• Außerdem ist es möglich, die HDR-Tiefenkarte und die HDR-Zuverlässigkeitskarte zu erzeugen, in denen der Dynamikumfang auf der Basis des Ergebnisses des Lichtempfangs erweitert wird, während die Lichtemissionsmenge der Lichtquelle zweimal auf die niedrige Luminanz und die hohe Luminanz festgelegt wird, und es ist möglich, die entsprechende Belichtungssteuerung auch in einem solchen Fall durchzuführen.
• Da der Bewertungsindex bei der Bestimmung des optimalen Belichtungssteuerungsparameters in der Bewertungsindex-Speichereinheit 64 definiert werden kann, kann der Konstrukteur des Abstandsmessmoduls 11, ein Konstrukteur einer Abstandsmessungsanwendung, die das Abstandsmessmodul 11 verwendet, ein Benutzer der Abstandsmessungsanwendung oder ähnliches den Bewertungsindex willkürlich festlegen.
• Außerdem kann in der Konfiguration, in der die Beschränkungseinstellungseinheit 82 hinzugefügt wird, nach dem Festlegen der Randbedingung, wie dem Signal-Rausch-Verhältnis, dem Stromverbrauch und der Bildrate, eine entsprechende Belichtungssteuerung durchgeführt werden.
• In der Konfiguration, in der die Interessensbereichs-Bestimmungseinheit 91 hinzugefügt wird, ist es möglich, den Belichtungssteuerungsparameter, der den Bewertungsindex maximiert, nicht für einen gesamten Lichtempfangsbereich des Abstandsmessmoduls 11, sondern für einen Teilbereich davon zur Bestimmung zu suchen.
• <16. Konfigurationsbeispiel der elektronischen Vorrichtung>
• Das oben beschriebene Abstandsmessmodul 11 kann beispielsweise auf einer elektronischen Vorrichtung wie einem Smartphone, einem Tablet-Terminal, einem Mobiltelefon, einem Personal Computer, einem Spielautomaten, einem Fernsehempfänger, einem tragbaren Endgerät, einer digitalen Fotokamera, einer digitalen Videokamera und dergleichen angebracht werden.
• 24 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Smartphones als elektronische Vorrichtung mit einem Abstandsmessmodul darstellt.
• Wie in 24 dargestellt, wird ein Smartphone 201 durch Anschluss eines Abstandsmessmoduls 202, einer Abbildungsvorrichtung 203, eines Displays 204, eines Lautsprechers 205, eines Mikrofons 206, eines Kommunikationsmoduls 207, einer Sensoreinheit 208, eines Touchpanels 209 und einer Steuereinheit 210 über einen Bus 211 ausgebildet. Außerdem hat die Steuereinheit 210 Funktionen als Anwendungsverarbeitungseinheit 221 und als Betriebssystemverarbeitungseinheit 222 durch eine CPU, die ein Programm ausführt.
• Das Abstandsmessmodul 11 in 1 wird auf das Abstandsmessmodul 202 angewendet. Beispielsweise ist das Abstandsmessmodul 202 auf einer Vorderseite des Smartphones 201 angeordnet und kann eine Abstandsmessung an einem Benutzer des Smartphones 201 durchführen, um einen Tiefenwert einer Oberflächenform des Gesichts, der Hand, des Fingers und dergleichen des Benutzers als Abstandsmessergebnis auszugeben.
• Die Abbildungsvorrichtung 203 ist auf der Vorderseite des Smartphones 201 angeordnet und führt die Abbildung des Benutzers des Smartphones 201 als Objekt durch, um ein Bild zu erhalten, in dem der Benutzer erfasst ist. Beachten Sie, dass die Abbildungsvorrichtung 203, obwohl dies nicht dargestellt ist, auch auf der Rückseite des Smartphones 201 angeordnet sein kann.
• Das Display 204 zeigt einen Betriebsbildschirm, auf dem die Verarbeitung durch die Anwendungsverarbeitungseinheit 221 und die Betriebssystemverarbeitungseinheit 222 durchgeführt werden, sowie das von der Abbildungsvorrichtung 203 aufgenommene Bild und dergleichen an. Der Lautsprecher 205 und das Mikrofon 206 geben die Stimme des Gesprächspartners aus und nehmen die Stimme des Benutzers auf, beispielsweise beim Gespräch über das Smartphone 201.
• Das Kommunikationsmodul 207 führt die Kommunikation über ein Kommunikationsnetz durch. Die Sensoreinheit 208 erfasst Geschwindigkeit, Beschleunigung, Nähe und dergleichen, und das Touchpanel 209 erhält eine Berührungsoperation durch den Benutzer auf einem Betriebsbildschirm, der auf dem Display 204 angezeigt wird.
• Die Anwendungsverarbeitungseinheit 221 führt eine Verarbeitung zur Bereitstellung verschiedener Dienste durch das Smartphone 201 durch. Beispielsweise kann die Anwendungsverarbeitungseinheit 221 eine Verarbeitung zur Erzeugung eines Gesichts durch Computergrafik durchführen, die einen Ausdruck des Benutzers auf der Basis der vom Abstandsmessmodul 202 gelieferten Tiefe virtuell wiedergibt und auf dem Display 204 anzeigt. Außerdem kann die Anwendungsverarbeitungseinheit 221 eine Verarbeitung zur Erzeugung dreidimensionaler Formdaten eines beliebigen festen Objekts durchführen, beispielsweise auf der Basis der vom Abstandsmessmodul 202 gelieferten Tiefe.
• Die Betriebssystem-Verarbeitungseinheit 222 führt die Verarbeitung durch, um die Grundfunktionen und den Betrieb des Smartphones 201 zu realisieren. Beispielsweise kann die Betriebssystem-Verarbeitungseinheit 222 die Authentifizierung des Gesichts des Benutzers und die Entsperrung des Smartphones 201 auf der Basis des von dem Abstandsmessmodul 202 gelieferten Tiefenwertes durchführen. Außerdem kann auf der Basis des von dem Abstandsmessmodul 202 gelieferten Tiefenwertes die Betriebssystem-Verarbeitungseinheit 222 beispielsweise die Verarbeitung der Erkennung einer Geste des Benutzers und die Verarbeitung der Eingabe verschiedener Operationen entsprechend der Geste durchführen.
• In dem so ausgebildeten Smartphone 201 kann eine geeignete Belichtungssteuerung durch Anwendung des oben beschriebenen Abstandsmessmoduls 11 durchgeführt werden. Daher kann das Smartphone 201 Abstandsmessungsinformationen genauer erkennen.
• <17. Konfigurationsbeispiel des Computers>
• Als Nächstes kann eine Reihe der oben beschriebenen Verarbeitungen durch Hardware oder Software durchgeführt werden. In einem Fall, in dem eine Reihe von Verarbeitungen durch die Software durchgeführt wird, wird ein Programm, das die Software bildet, auf einem Universalcomputer und dergleichen installiert.
• 25 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für eine Ausführungsform eines Computers darstellt, auf dem ein Programm installiert ist, das eine Reihe der oben beschriebenen Verarbeitungen ausführt.
• Im Computer sind eine zentrale Verarbeitungseinheit (CPU) 301, ein Nur-Lese-Speicher (ROM) 302, ein Direktzugriffsspeicher (RAM) 303 und ein elektronisch löschbarer und programmierbarer Nur-Lese-Speicher (EEPROM) 304 über einen Bus 305 miteinander verbunden. Ferner ist eine Ein-/Ausgabeschnittstelle 306 mit dem Bus 305 verbunden, und die Ein-/Ausgabeschnittstelle 306 ist mit der Außenwelt verbunden.
• In dem auf die oben beschriebene Weise ausgebildeten Computer lädt die CPU 301 das im ROM 302 und im EEPROM 304 gespeicherte Programm beispielsweise über den Bus 305 zur Ausführung in das RAM 303, und somit wird die oben beschriebene Reihe von Verarbeitungen durchgeführt. Außerdem kann das vom Computer (CPU 301) ausgeführte Programm von außen über die Ein-/Ausgabeschnittstelle 306 auf dem EEPROM 304 installiert oder aktualisiert werden, um im Voraus in das ROM 302 geschrieben zu werden.
• Daher führt die CPU 301 die Verarbeitung gemäß dem oben beschriebenen Flussdiagramm oder die Verarbeitung durch, die durch die Konfiguration des oben beschriebenen Blockdiagramms durchgeführt wird. Anschließend kann die CPU 301 bei Bedarf ein Verarbeitungsergebnis nach außen, beispielsweise über die Ein-/Ausgabeschnittstelle 306, ausgeben.
• In dieser Spezifikation muss die vom Computer gemäß dem Programm durchgeführte Verarbeitung nicht notwendigerweise in der im Flussdiagramm beschriebenen chronologischen Reihenfolge erfolgen. Das heißt, die vom Computer gemäß dem Programm durchgeführte Verarbeitung weist auch eine parallel ausgeführte oder eine unabhängig ausgeführte Verarbeitung auf (beispielsweise eine Parallelverarbeitung oder eine Verarbeitung durch ein Objekt).
• Außerdem kann das Programm von einem einzigen Computer (Prozessor) oder in verteilter Form von einer Vielzahl von Computern verarbeitet werden. Außerdem kann das Programm zur Ausführung auf einen entfernten Computer übertragen werden.
• <18. Anwendungsbeispiel für einen mobilen Körper>
• Die Technologie gemäß der vorliegenden Offenbarung (vorliegenden Technologie) kann auf verschiedene Produkte angewendet werden. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung auch als eine Vorrichtung realisiert werden, die an einer beliebigen Art von mobilen Körpern montiert ist, darunter ein Automobil, ein elektrisches Automobil, ein hybridelektrisches Automobil, ein Motorrad, ein Fahrrad, ein Fortbewegungsmittel für Personen, ein Flugzeug, eine Drohne, ein Schiff, ein Roboter und dergleichen.
• 26 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuerungssystems darstellt, das ein Beispiel für ein Mobilkörper-Steuersystem ist, auf das die Technologie gemäß der vorliegenden Offenbarung angewendet werden kann.
• Ein Fahrzeugsteuersystem 12000 ist mit einer Vielzahl von elektronischen Steuereinheiten ausgestattet, die über ein Kommunikationsnetz 12001 miteinander verbunden sind. In dem in 26 dargestellten Beispiel ist das Fahrzeugsteuersystem 12000 mit einer Fahrsystem-Steuereinheit 12010, einer Karosseriesystem-Steuereinheit 12020, einer Fahrzeugaußenseiten-Informationserfassungseinheit 12030, einer Fahrzeuginnenraum-Informationserfassungseinheit 12040 und einer integrierten Steuereinheit 12050 ausgestattet. Außerdem sind ein Mikrocomputer 12051, eine Audio-Bildausgabeeinheit 12052 und eine bordeigene Netzwerkschnittstelle (I/F) 12053 als funktionale Konfigurationen der integrierten Steuereinheit 12050 dargestellt.
• Die Fahrsystem-Steuereinheit 12010 steuert den Betrieb einer Vorrichtung, die mit dem Fahrsystem eines Fahrzeugs in Verbindung steht, nach verschiedenen Programmen. Beispielsweise dient die Fahrsystem-Steuereinheit 12010 als eine Steuervorrichtung einer Antriebskraft-Erzeugungsvorrichtung zum Erzeugen der Antriebskraft des Fahrzeugs, wie z. B. eine interne Brennkraftmaschine, ein Antriebsmotor oder dergleichen, ein Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, ein Lenkmechanismus zum Einstellen des Lenkwinkels des Fahrzeugs, eine Bremsvorrichtung zum Erzeugen der Bremskraft des Fahrzeugs und dergleichen.
• Die Karosseriesystem-Steuereinheit 12020 steuert Operationen verschiedener Vorrichtungen, die an einer Fahrzeugkarosserie montiert sind, gemäß den verschiedenen Programmen. Beispielsweise dient die Karosseriesystem-Steuereinheit 12020 als Steuervorrichtung für ein schlüsselloses Zugangssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung oder verschiedene Leuchten wie Scheinwerfer, Rückfahrlicht, Bremslicht, Blinker, Nebelscheinwerfer oder dergleichen. In diesem Fall können von einer tragbaren Vorrichtung übertragene Funkwellen als Ersatz für einen Schlüssel oder Signale verschiedener Schalter in die Karosseriesystem-Steuereinheit 12020 eingegeben werden. Die Karosseriesystem-Steuereinheit 12020 empfängt eine Eingabe der Funkwellen oder Signale und steuert eine Türschlossvorrichtung, eine Fensterhebervorrichtung, die Leuchten und dergleichen des Fahrzeugs.
• Die Fahrzeugaußenseiten-Informationserfassungseinheit 12030 erfasst Informationen außerhalb des Fahrzeugs, das mit dem Fahrzeugsteuersystem 12000 ausgestattet ist. Zum Beispiel ist eine Bildgebungseinheit 12031 mit der Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 verbunden. Die Fahrzeugaußenseiten-Informationserfassungseinheit 12030 gestattet der Abbildungseinheit 12031, ein Bild außerhalb des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Fahrzeugaußenseiten-Informationserfassungseinheit 12030 kann auf der Basis des empfangenen Bildes die Erkennungsverarbeitung von Objekten, wie z. B. einer Person, eines Fahrzeugs, eines Hindernisses, eines Schildes, eines Zeichens auf einer Straßenoberfläche oder dergleichen oder die Abstandserkennungsverarbeitung durchführen.
• Die Abbildungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein elektrisches Signal ausgibt, das einer Menge des empfangenen Lichts entspricht. Die Abbildungseinheit 12031 kann das elektrische Signal als Bild ausgeben, oder sie kann es als Abstandsmessungsinformationen ausgeben. Außerdem kann das von der Abbildungseinheit 12031 empfangene Licht sichtbares Licht oder unsichtbares Licht, wie z. B. Infrarotlicht, und dergleichen sein.
• Die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 detektiert Informationen des Innenbereichs des Fahrzeugs. Die Fahrzeuginnenraum-Informationserkennungseinheit 12040 ist beispielsweise mit einer Fahrerzustandserkennungseinheit 12041 verbunden, die den Zustand eines Fahrers erkennt. Die Fahrerzustandserkennungseinheit 12041 weist beispielsweise eine Kamera auf, die den Fahrer abbildet, und die Fahrzeuginnenraum-Informationserkennungseinheit 12040 kann auf der Basis von Erkennungsinformationen, die von der Fahrerzustandserkennungseinheit 12041 eingegeben werden, ein Ermüdungsniveau oder ein Konzentrationsniveau des Fahrers berechnen oder bestimmen, ob der Fahrer döst oder nicht.
• Der Mikrocomputer 12051 kann eine Rechenoperation eines Steuerungssollwertes der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung auf der Basis der von der Fahrzeugaußenseiten-Informationserfassungseinheit 12030 oder der Fahrzeuginnenraum-Informationserfassungseinheit 12040 erhaltenen fahrzeuginternen und -externen Informationen durchführen und eine Steueranweisung an die Fahrsystem-Steuereinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, um Funktionen eines fortschrittlichen Fahrerassistenzsystems (ADAS) zu realisieren, einschließlich der Kollisionsvermeidung oder Aufpralldämpfung des Fahrzeugs, der Verfolgungsfahrt basierend auf einem Abstand zwischen den Fahrzeugen, der Aufrechterhaltung der Fahrzeuggeschwindigkeit, der Fahrzeug-Kollisionswarnung, der Spurverlassenswarnung oder dergleichen.
• Außerdem kann der Mikrocomputer 12051 die kooperative Steuerung zur Realisierung von automatischem Fahren und dergleichen durchführen, um unabhängig von der Bedienung des Fahrers autonom zu fahren, indem er die Antriebskraft-Erzeugungsvorrichtung, den Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Basis der Informationen im Umfeld des Fahrzeugs steuert, die von der Fahrzeugaußenseiten-Informationserfassungseinheit 12030 oder der Fahrzeuginnenraum-Informationserfassungseinheit 12040 erhalten wurden.
• Außerdem kann der Mikrocomputer 12051 die Steueranweisung auf der Basis der von der Fahrzeugaußenseiten-Informationserfassungseinheit 12030 erhaltenen Informationen außerhalb des Fahrzeugs an die Karosseriesystem-Steuereinheit 12020 ausgeben. Beispielsweise kann der Mikrocomputer 12051 die kooperative Steuerung zur Realisierung des Blendschutzes durchführen, wie etwa die Steuerung der Scheinwerfer in Abhängigkeit von der Position eines vorausfahrenden oder entgegenkommenden Fahrzeugs, das von der Fahrzeugaußenseiten-Informationserfassungseinheit 12030 erkannt wird, um von Fernlicht auf Abblendlicht umzuschalten.
• Die Audiobildausgabeeinheit 12052 überträgt mindestens ein Audio- oder ein Bildausgabesignal an eine Ausgabevorrichtung, die in der Lage ist, einen Fahrzeuginsassen oder die Fahrzeugaußenseite optisch oder akustisch über die Informationen zu informieren. In dem Beispiel in 26 sind ein Audiolautsprecher 12061, eine Anzeigeeinheit 12062 und eine Instrumententafel 12063 als Ausgabevorrichtung dargestellt. Die Anzeigeeinheit 12062 kann zum Beispiel eine On-Board-Anzeige und/oder eine Head-Up-Anzeige beinhalten.
• 27 ist eine Ansicht, die ein Beispiel einer Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
• In 27 weist das Fahrzeug 12100 die Abbildungseinheiten 12101, 12102, 12103, 12104 und 12105 als Abbildungseinheit 12031 auf.
• Die Abbildungseinheiten 12101, 12102, 12103, 12104 und 12105 sind an Positionen wie beispielsweise einer Frontnase, einem Seitenspiegel, einem Heckstoßfänger, einer Hecktür, einem oberen Teil einer Frontscheibe in einem Fahrzeuginnenraum und dergleichen des Fahrzeugs 12100 vorgesehen. Die an der Bugnase vorgesehene Abbildungseinheit 12101 und die im oberen Teil der Frontscheibe im Fahrzeuginnenraum vorgesehene Abbildungseinheit 12105 erfassen in erster Linie Bilder vor dem Fahrzeug 12100. Die an den Seitenspiegeln angebrachten Abbildungseinheiten 12102 und 12103 erhalten in erster Linie Bilder von den Seiten des Fahrzeugs 12100. Die am Heckstoßfänger oder an der Hecktür angebrachte Abbildungseinheit 12104 erfasst in erster Linie ein Bild hinter dem Fahrzeug 12100. Die von den Abbildungseinheiten 12101 und 12105 erhaltenen Bilder der Vorderseite werden in erster Linie zur Erkennung eines vorausfahrenden Fahrzeugs oder eines Fußgängers, eines Hindernisses, einer Verkehrsampel, eines Verkehrsschildes, einer Fahrspur oder dergleichen verwendet.
• Beachten Sie, dass in 27 ein Beispiel für Abbildungsbereiche der Abbildungseinheiten 12101 bis 12104 dargestellt ist. Der Abbildungsbereich 12111 gibt den Abbildungsbereich der an der Bugnase angeordneten Abbildungseinheit 12101 an, die Abbildungsbereiche 12112 und 12113 geben die Abbildungsbereiche der an den Seitenspiegeln angeordneten Abbildungseinheiten 12102 und 12103 an, und der Abbildungsbereich 12114 gibt den Abbildungsbereich der am Heckstoßfänger oder an der Hecktür angeordneten Abbildungseinheit 12104 an. Beispielsweise werden die von den Abbildungseinheiten 12101 bis 12104 aufgenommenen Bilddaten überlagert, so dass man ein Übersichtsbild des Fahrzeugs 12100 aus der Draufsicht erhält.
• Mindestens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion zum Erhalten von Abstandsinformationen aufweisen. Beispielsweise kann mindestens eine der Abbildungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Abbildungselementen aufweist, oder sie kann ein Abbildungselement sein, das Pixel für Phasendifferenzerkennung aufweist.
• Beispielsweise kann der Mikrocomputer 12051 insbesondere ein nächstgelegenes festes Objekt auf einem Fahrweg des Fahrzeugs 12100 extrahieren, wobei das feste Objekt mit einer vorbestimmten Geschwindigkeit (beispielsweise 0 km/h oder höher) in einer Richtung fährt, die im Wesentlichen die gleiche ist wie die des Fahrzeugs 12100 als vorausfahrendes Fahrzeug, indem er einen Abstand zu jedem festen Objekt in den Abbildungsbereichen 12111 bis 12114 und eine zeitliche Änderung des Abstands (relative Geschwindigkeit relativ zum Fahrzeug 12100) auf der Basis der von den Abbildungseinheiten 12101 bis 12104 erhaltenen Abstandsinformationen erhält. Darüber hinaus kann der Mikrocomputer 12051 den Fahrzeugabstand festlegen, der im Voraus vom vorausfahrenden Fahrzeug gesichert werden soll, und eine automatische Bremssteuerung (die auch eine Verfolgungs-Stoppsteuerung aufweist), eine automatische Beschleunigungssteuerung (die auch eine Verfolgungs-Startsteuerung aufweist) und dergleichen durchführen. Auf diese Weise ist es möglich, die kooperative Steuerung zur Realisierung des automatischen Fahrens und dergleichen durchzuführen, um unabhängig von der Bedienung durch den Fahrer autonom zu fahren.
• Beispielsweise kann der Mikrocomputer 12051 Daten über das feste Objekt extrahieren, während er dieses auf der Basis der von den Abbildungseinheiten 12101 bis 12104 erhaltenen Abstandsinformationen in ein Motorrad, ein Standardfahrzeug, ein Großfahrzeug, einen Fußgänger und andere feste Objekte wie einen Strommast und dergleichen sortiert und zur automatischen Vermeidung von Hindernissen verwendet. Beispielsweise unterscheidet der Mikrocomputer 12051 die Hindernisse in der Umgebung des Fahrzeugs 12100 in ein Hindernis, das für den Fahrer des Fahrzeugs 12100 sichtbar ist, und ein Hindernis, das schwer zu sehen ist. Dann bestimmt der Mikrocomputer 12051 ein Kollisionsrisiko, das den Grad des Risikos einer Kollision mit jedem Hindernis angibt, und wenn das Kollisionsrisiko gleich oder höher als ein festgelegter Wert ist und die Möglichkeit einer Kollision besteht, kann er eine Fahrunterstützung zur Vermeidung der Kollision durchführen, indem er über den Audio-Lautsprecher 12061 und die Anzeigeeinheit 12062 einen Alarm an den Fahrer ausgibt oder über die Fahrsystem-Steuereinheit 12010 eine Zwangsverzögerung oder Ausweichlenkung durchführt.
• Wenigstens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotlicht detektiert. Beispielsweise kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem er bestimmt, ob in den von den Abbildungseinheiten 12101 bis 12104 aufgenommenen Bildern ein Fußgänger zu sehen ist oder nicht. Eine solche Fußgängererkennung wird beispielsweise durch einen Prozess der Extraktion von Merkmalspunkten in den von den Abbildungseinheiten 12101 bis 12104 als Infrarotkameras aufgenommenen Bildern und einen Prozess der Durchführung einer Mustervergleichsverarbeitung an einer Reihe von Merkmalspunkten, die einen Umriss eines Objekts anzeigen, durchgeführt, um zu unterscheiden, ob es sich um einen Fußgänger handelt oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass in den von den Abbildungseinheiten 12101 bis 12104 aufgenommenen Bildern ein Fußgänger zu sehen ist, und den Fußgänger erkennt, steuert die Audiobildausgabeeinheit 12052 die Anzeigeeinheit 12062, um eine rechteckige Kontur zur Hervorhebung des erkannten Fußgängers zur Anzeige einzublenden. Außerdem kann die Audiobildausgabeeinheit 12052 die Anzeigeeinheit 12062 so steuern, dass sie ein Symbol und dergleichen anzeigt, das den Fußgänger in einer gewünschten Position anzeigt.
• Ein Beispiel für ein Fahrzeugsteuersystem, auf das die Technologie gemäß der vorliegenden Offenbarung angewendet werden kann, ist oben beschrieben. Die Technologie gemäß der vorliegenden Offenbarung ist für die Fahrzeugaußenseiten-Informationserfassungseinheit 12030 und die Fahrzeuginnenraum-Informationserfassungseinheit 12040 in den oben beschriebenen Konfigurationen anwendbar. Insbesondere durch die Verwendung der Abstandsmessung durch das Abstandsmessmodul 11 als Fahrzeugaußenseiten-Informationserfassungseinheit 12030 und die Fahrzeuginnenraum-Informationserfassungseinheit 12040 ist es möglich, eine Verarbeitung der Erkennung einer Geste des Fahrers durchzuführen, verschiedene Operationen (beispielsweise ein Audiosystem, ein Navigationssystem und eine Klimaanlage) entsprechend der Geste auszuführen und den Zustand des Fahrers genauer zu erfassen. Außerdem ist es möglich, mit Hilfe der Abstandsmessung durch das Abstandsmessmodul 11 Unebenheiten einer Fahrbahn zu erkennen und diese in der Steuerung einer Radaufhängung zu berücksichtigen.
• Beachten Sie, dass die vorliegende Technologie auf ein Verfahren zur Durchführung der Amplitudenmodulation von auf ein Objekt projiziertem Licht angewendet werden kann, das unter den indirekten ToF-Verfahren als Dauerstrichverfahren bezeichnet wird. Außerdem kann eine Struktur der Photodiode 31 der Lichtempfangseinheit 14 auf einen Abstandssensor angewendet werden, der eine Struktur aufweist, bei der elektrische Ladungen auf zwei elektrische Ladungsakkumulationseinheiten verteilt werden, wie z. B. ein Abstandssensor mit einer stromunterstützten photonischen Demodulatorstruktur (CAPD) oder ein Abstandsmesssensor vom Gate-Typ, der abwechselnd Impulse der elektrischen Ladungen der Photodiode an zwei Gates anlegt. Außerdem kann die vorliegende Technologie auf einen Abstandssensor mit strukturiertem Licht angewendet werden.
• Die Ausführungsformen der vorliegenden Technologie sind nicht auf die oben beschriebenen Ausführungsformen beschränkt, und es können verschiedene Modifikationen vorgenommen werden, ohne vom Kern der vorliegenden Technologie abzuweichen.
• Solange es keine Unstimmigkeiten gibt, kann jede der Vielzahl der in dieser Spezifikation beschriebenen Technologien unabhängig und allein implementiert werden. Selbstverständlich ist es auch möglich, eine Implementierung durch Kombinieren einer Vielzahl beliebiger vorhandener Technologien zu erreichen. Beispielsweise kann die in einer der Ausführungsformen beschriebene Technologie teilweise oder vollständig in Kombination mit einem Teil oder der gesamten in anderen Ausführungsformen beschriebenen Technologie implementiert werden. Außerdem kann ein Teil oder die gesamte oben beschriebene, beliebige vorliegende Technologie in Kombination mit anderen Technologien, die oben nicht beschrieben wurden, implementiert werden.
• Außerdem ist es beispielsweise auch möglich, die als eine Vorrichtung (oder Verarbeitungseinheit) beschriebene Konfiguration in eine Vielzahl von Vorrichtungen (oder Verarbeitungseinheiten) aufzuteilen. Umgekehrt ist es auch möglich, die oben beschriebenen Konfigurationen als eine Vielzahl von Vorrichtungen (oder Verarbeitungseinheiten) zu einer Vorrichtung (oder Verarbeitungseinheit) zusammenzustellen. Außerdem ist es selbstverständlich möglich, die Konfiguration jeder Vorrichtung (oder jeder Verarbeitungseinheit) um eine andere als die oben beschriebene Konfiguration zu erweitern. Darüber hinaus ist es auch möglich, dass ein Teil der Konfiguration einer bestimmten Vorrichtung (oder Verarbeitungseinheit) in der Konfiguration einer anderen Vorrichtung (oder einer anderen Verarbeitungseinheit) enthalten ist, solange die Konfiguration und der Betrieb als Gesamtsystem im Wesentlichen gleich sind.
• Darüber hinaus wird in dieser Spezifikation unter dem Begriff „System“ der Zusammenbau einer Vielzahl von Komponenten (Vorrichtungen, Module (Teile) und dergleichen) verstanden, wobei es keine Rolle spielt, ob sich alle Komponenten in demselben Gehäuse befinden oder nicht. Daher handelt es sich bei den Systemen um eine Vielzahl von Vorrichtungen, die in verschiedenen Gehäusen untergebracht und über ein Netzwerk verbunden sind, und um eine Vorrichtung, die durch Unterbringung einer Vielzahl von Modulen in einem Gehäuse erhalten wird.
• Außerdem kann beispielsweise das oben beschriebene Programm durch eine beliebige Vorrichtung ausgeführt werden. In diesem Fall ist es nur erforderlich, dass die Vorrichtung über die notwendigen Funktionen (Funktionsblöcke und dergleichen) verfügt, damit die erforderlichen Informationen erhalten werden können.
• Beachten Sie, dass die vorliegende Technologie die folgenden Konfigurationen annehmen kann.
• (1) Signalverarbeitungsvorrichtung, die Folgendes aufweist:
• eine Parameterbestimmungseinheit, die einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und
• Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
• (2) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (1), die ferner Folgendes aufweist: eine Bewertungswert-Berechnungseinheit, die einen Bewertungswert berechnet, der ein auf dem Bewertungsindex basierender Wert ist, der die Abstandsinformation und die Leuchtdichteinformation verwendet, wobei
  die Parameterbestimmungseinheit den Belichtungssteuerungsparameter auf der Basis des Bewertungswertes bestimmt.
• (3) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (2), wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, bei dem der Bewertungswert maximal wird.
• (4) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (2) oder (3), die ferner Folgendes aufweist:
• eine Bewertungsindex-Speichereinheit, die den Bewertungsindex speichert, wobei die Bewertungswert-Berechnungseinheit den Bewertungswert auf der Basis des von der Bewertungsindex-Speichereinheit gelieferten Bewertungsindexes berechnet.
• (5) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (4), die ferner Folgendes aufweist:
• eine Abstandsbild-Zuverlässigkeitsberechnungseinheit, die aus dem Erfassungssignal des Lichtempfangssensors ein Abstandsbild als die Abstandsinformation und ein Zuverlässigkeitsbild als die Leuchtdichteinformation erzeugt; und eine Statistikberechnungseinheit, die eine Statistik des Abstandsbildes berechnet.
• (6) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (5), die ferner Folgendes aufweist:
• eine Bildsyntheseeinheit, die ein synthetisches Abstandsbild erzeugt, das durch Synthetisieren eines ersten Abstandsbildes mit einem ersten Belichtungssteuerungsparameter und eines zweiten Abstandsbildes mit einem zweiten Belichtungssteuerungsparameter erhalten wird, und ein synthetisches Zuverlässigkeitsbild, das durch Synthetisieren eines ersten Zuverlässigkeitsbildes mit dem ersten Belichtungssteuerungsparameter und eines zweiten Zuverlässigkeitsbildes mit dem zweiten Belichtungssteuerungsparameter erhalten wird, wobei
• die Abstandsbild-Zuverlässigkeitsberechnungseinheit das erste und zweite Abstandsbild und das erste und zweite Zuverlässigkeitsbild erzeugt,
• die Statistikberechnungseinheit eine Statistik des synthetischen Abstandsbildes berechnet, und
• die Parameterbestimmungseinheit den ersten Belichtungssteuerungsparameter und den zweiten Belichtungssteuerungsparameter bestimmt.
• (7) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (5) oder (6), wobei
  der Bewertungsindex ein Wert ist, der anhand der Statistik des Abstandsbildes und des Zuverlässigkeitsbildes berechnet wird.
• (8) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (7), wobei die Statistik des Abstandsbildes eine Erscheinungshäufigkeit der Abstandsinformation ist.
• (9) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (8), wobei der Bewertungsindex ein Wert ist, der durch einen Ausdruck berechnet wird, wobei die Erscheinungshäufigkeit der Abstandsinformation und ein Signal-Rausch-Verhältnis, das der Abstandsinformation unter Verwendung des Zuverlässigkeitsbildes entspricht, gefaltet werden.
• (10) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (9), wobei
  die Parameterbestimmungseinheit eine Lichtemissionsmenge einer Lichtquelle bestimmt, die Licht emittiert, das von dem Lichtempfangssensor als Belichtungssteuerungsparameter empfangen wird.
• (11) Signalverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (10), wobei die Parameterbestimmungseinheit eine Modulationsfrequenz einer Lichtquelle bestimmt, die Licht emittiert, das von dem Lichtempfangssensor als Belichtungssteuerungsparameter empfangen wird.
• (12) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (11), wobei
  die Parameterbestimmungseinheit eine Belichtungszeit des Lichtempfangssensors als Belichtungssteuerungsparameter bestimmt.
• (13) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (12), wobei
  die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, der eine Belichtungszeit des Lichtempfangssensors verkürzt und eine Lichtemissionsmenge einer Lichtquelle erhöht, die Licht emittiert, das von dem Lichtempfangssensor in einem Fall empfangen wird, in dem eine Rate von Umgebungslichtkomponenten groß ist.
• (14) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (13), die ferner Folgendes aufweist:
• eine Beschränkungseinstellungseinheit, die bei der Bestimmung des Belichtungssteuerungsparameters eine Randbedingung festlegt, wobei
• die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, der die Randbedingung erfüllt.
• (15) Signalverarbeitungsvorrichtung gemäß einem beliebigen der oben beschriebenen Punkte (1) bis (14), die ferner Folgendes aufweist:
• eine Interessensbereichs-Bestimmungseinheit, die einen Interessensbereich bestimmt, der in einem gesamten Pixelbereich des Lichtempfangssensors besonders fokussiert ist, wobei
• die Parameterbestimmungseinheit den Belichtungssteuerungsparameter auf der Basis des Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen des Interessensbereichs bestimmt.
• (16) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (15), wobei die Interessensbereichs-Bestimmungseinheit den Interessensbereich unter Verwendung von mindestens einer der Abstandsinformationen oder der Leuchtdichteinformationen bestimmt.
• (17) Signalverarbeitungsvorrichtung gemäß dem oben beschriebenen Punkt (15) oder (16), wobei
  die Interessensbereichs-Bestimmungseinheit den Interessensbereich auf der Basis eines den Interessensbereich anzeigenden Bereichsspezifizierungssignals bestimmt, das von außen zugeführt wird.
• (18) Signalverarbeitungsverfahren, wobei eine Signalverarbeitungsvorrichtung einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
• (19) Abstandsmessmodul, das Folgendes aufweist:
• eine Lichtemissionseinheit, die Licht mit einer vorbestimmten Frequenz emittiert;
• einen Lichtempfangssensor, der reflektiertes Licht empfängt, das Licht von der Lichtemissionseinheit ist, das von einem Objekt reflektiert wird; und
• eine Parameterbestimmungseinheit, die einen Belichtungssteuerungsparameter auf der Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal des Lichtempfangssensors berechnet werden.
• Bezugszeichenliste

11

Abstandsmessmodul

12

Lichtemissionseinheit

13

Lichtemissionssteuereinheit

14

Lichtempfangseinheit

15

Signalverarbeitungseinheit

21

Pixel

22

Pixelarrayeinheit

61

Abstandsbild-/Zuverlässigkeitsberechnungseinheit

62

Statistikberechnungseinheit

63

Bewertungswert-Berechnungseinheit

64

Bewertungsindex-Speichereinheit

65

Parameterbestimmungseinheit

66

Parameterhalteeinheit

81

Bildsyntheseeinheit

82

Beschränkungseinstellungseinheit

91

Interessensbereichs-Bestimmungseinheit

92

Interessensbereich

201

Smartphone

202

Abstandsmessmodul

301

CPU

302

ROM

303

RAM

Claims (19)

1. Signalverarbeitungsvorrichtung, die Folgendes aufweist: eine Parameterbestimmungseinheit, die einen Belichtungssteuerungsparameter auf einer Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
2. Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Bewertungswert-Berechnungseinheit, die einen Bewertungswert berechnet, der ein auf dem Bewertungsindex basierender Wert ist, der die Abstandsinformation und die Leuchtdichteinformation verwendet, wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter auf einer Basis des Bewertungswertes bestimmt.
3. Signalverarbeitungsvorrichtung nach Anspruch 2, wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, bei dem der Bewertungswert maximal wird.
4. Signalverarbeitungsvorrichtung nach Anspruch 2, die ferner Folgendes umfasst: eine Bewertungsindex-Speichereinheit, die den Bewertungsindex speichert, wobei die Bewertungswert-Berechnungseinheit den Bewertungswert auf der Basis des von der Bewertungsindex-Speichereinheit gelieferten Bewertungsindexes berechnet.
5. Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Abstandsbild-Zuverlässigkeitsberechnungseinheit, die aus dem Erfassungssignal des Lichtempfangssensors ein Abstandsbild als die Abstandsinformation und ein Zuverlässigkeitsbild als die Leuchtdichteinformation erzeugt; und eine Statistikberechnungseinheit, die eine Statistik des Abstandsbildes berechnet.
6. Signalverarbeitungsvorrichtung nach Anspruch 5, die ferner Folgendes umfasst: eine Bildsyntheseeinheit, die ein synthetisches Abstandsbild erzeugt, das durch Synthetisieren eines ersten Abstandsbildes mit einem ersten Belichtungssteuerungsparameter und eines zweiten Abstandsbildes mit einem zweiten Belichtungssteuerungsparameter erhalten wird, und ein synthetisches Zuverlässigkeitsbild, das durch Synthetisieren eines ersten Zuverlässigkeitsbildes mit dem ersten Belichtungssteuerungsparameter und eines zweiten Zuverlässigkeitsbildes mit dem zweiten Belichtungssteuerungsparameter erhalten wird, wobei die Abstandsbild-Zuverlässigkeitsberechnungseinheit das erste und zweite Abstandsbild und das erste und zweite Zuverlässigkeitsbild erzeugt, die Statistikberechnungseinheit eine Statistik des synthetischen Abstandsbildes berechnet, und die Parameterbestimmungseinheit den ersten Belichtungssteuerungsparameter und den zweiten Belichtungssteuerungsparameter bestimmt.
7. Signalverarbeitungsvorrichtung nach Anspruch 5, wobei der Bewertungsindex ein Wert ist, der anhand der Statistik des Abstandsbildes und des Zuverlässigkeitsbildes berechnet wird.
8. Signalverarbeitungsvorrichtung nach Anspruch 7, wobei die Statistik des Abstandsbildes eine Erscheinungshäufigkeit der Abstandsinformation ist.
9. Signalverarbeitungsvorrichtung nach Anspruch 8, wobei der Bewertungsindex ein Wert ist, der durch einen Ausdruck berechnet wird, wobei die Erscheinungshäufigkeit der Abstandsinformation und ein Signal-Rausch-Verhältnis, das der Abstandsinformation unter Verwendung des Zuverlässigkeitsbildes entspricht, gefaltet werden.
10. Signalverarbeitungsvorrichtung nach Anspruch 1, wobei die Parameterbestimmungseinheit eine Lichtemissionsmenge einer Lichtquelle bestimmt, die Licht emittiert, das von dem Lichtempfangssensor als Belichtungssteuerungsparameter empfangen wird.
11. Signalverarbeitungsvorrichtung nach Anspruch 1, wobei die Parameterbestimmungseinheit eine Modulationsfrequenz einer Lichtquelle bestimmt, die Licht emittiert, das von dem Lichtempfangssensor als Belichtungssteuerungsparameter empfangen wird.
12. Signalverarbeitungsvorrichtung nach Anspruch 1, wobei die Parameterbestimmungseinheit eine Belichtungszeit des Lichtempfangssensors als Belichtungssteuerungsparameter bestimmt.
13. Signalverarbeitungsvorrichtung nach Anspruch 1, wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, der eine Belichtungszeit des Lichtempfangssensors verkürzt und eine Lichtemissionsmenge einer Lichtquelle erhöht, die Licht emittiert, das von dem Lichtempfangssensor in einem Fall empfangen wird, in dem eine Rate von Umgebungslichtkomponenten groß ist.
14. Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Beschränkungseinstellungseinheit, die bei der Bestimmung des Belichtungssteuerungsparameters eine Randbedingung festlegt, wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter bestimmt, der die Randbedingung erfüllt.
15. Signalverarbeitungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Interessensbereichs-Bestimmungseinheit, die einen Interessensbereich bestimmt, der in einem gesamten Pixelbereich des Lichtempfangssensors besonders fokussiert ist, wobei die Parameterbestimmungseinheit den Belichtungssteuerungsparameter auf einer Basis des Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen des Interessensbereichs bestimmt.
16. Signalverarbeitungsvorrichtung nach Anspruch 15, wobei die Interessensbereichs-Bestimmungseinheit den Interessensbereich unter Verwendung von mindestens einer der Abstandsinformationen oder der Leuchtdichteinformationen bestimmt.
17. Signalverarbeitungsvorrichtung nach Anspruch 15, wobei die Interessensbereichs-Bestimmungseinheit den Interessensbereich auf einer Basis eines den Interessensbereich anzeigenden Bereichsspezifizierungssignals bestimmt, das von außen zugeführt wird.
18. Signalverarbeitungsverfahren, wobei eine Signalverarbeitungsvorrichtung einen Belichtungssteuerungsparameter auf einer Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, aus einem Erfassungssignal eines Lichtempfangssensors berechnet werden.
19. Abstandsmessmodul, das Folgendes aufweist: eine Lichtemissionseinheit, die Licht mit einer vorbestimmten Frequenz emittiert; einen Lichtempfangssensor, der reflektiertes Licht empfängt, das Licht von der Lichtemissionseinheit ist, das von einem Objekt reflektiert wird; und eine Parameterbestimmungseinheit, die einen Belichtungssteuerungsparameter auf einer Basis eines Bewertungsindexes unter Verwendung von Abstandsinformationen und Leuchtdichteinformationen bestimmt, die aus einem Erfassungssignal des Lichtempfangssensors berechnet werden.

Images