DE112020004555T5

DE112020004555T5 - Bildverarbeitungsvorrichtung, elektronisches gerät, bildverarbeitungsverfahren und programm

Info

Publication number: DE112020004555T5
Application number: DE112020004555.2T
Authority: DE
Inventors: Shotaro BABA; Takashi Kusakari
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-09-26
Filing date: 2020-07-29
Publication date: 2022-06-15
Also published as: JP2021051042A; CN114424522A; US20220360702A1; WO2021059735A1

Abstract

Eine Bildverarbeitungsvorrichtung enthält eine Bilderzeugungseinheit (212), die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, und eine Bildkorrektureinheit (213), die das erste IR-Bild auf der Basis des zweiten IR-Bildes korrigiert.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Bildverarbeitungsvorrichtung, ein elektronisches Gerät, ein Bildverarbeitungsverfahren und ein Programm.
Hintergrund
Bekannt ist ein Entfernungsmesssystem, das als Time-of-Flight (TOF) bzw. Laufzeit bezeichnet wird und bei dem ein Abstand zu einem zu messenden Objekt auf der Basis der Zeit von dem Zeitpunkt, zu dem Licht von einer Lichtquelle emittiert wird, bis zu dem Zeitpunkt gemessen wird, zu dem reflektiertes Licht, das das vom zu messenden Objekt reflektierte Licht ist, durch eine lichtempfangende Einheit empfangen wird.
Es gibt auch einen Fall, in dem eine Funktion einer automatischen Belichtung (AE) an einem TOF-Sensor montiert ist, um Licht mit einer geeigneten Leuchtdichte bzw. Luminanz zu empfangen. Durch Nutzung der AE-Funktion wird eine Belichtung (Luminanz) entsprechend einer Helligkeit oder dergleichen einer Aufnahmeszene automatisch eingestellt und kann ungeachtet der Aufnahmeszene eine gute Entfernungsmessgenauigkeit erreicht werden.
Zitatliste
Patentliteratur
Patentliteratur 1: JP 2018-117117 A
Zusammenfassung
Technisches Problem
Bei einer Gesichtsauthentifizierung unter Verwendung eines TOF-Sensors ist es im Übrigen üblich, ein Konfidenzbild zu nutzen, in dem die Genauigkeit des Bildes in vier Phasen berechnet wird. Da Bilder von vier Phasen zusammengeführt werden und ein Infrarot-(IR-)Bild ausgegeben wird, gibt es jedoch eine Schwachstelle bei einer Bewegung. Falls sich beispielsweise ein Objekt zwischen den Phasen bewegt, ist mit der Erzeugung einer Unschärfe zu rechnen.
Somit ist es denkbar, ein IR-Bild mit einer geringen Anzahl an Phasen wie etwa einer Phase oder zwei Phasen zu erzeugen. Wenn jedoch beispielsweise eine Korrektur für Rauschen mit festem Muster (FPN), wobei vorher ein Dunkelbild präpariert wurde, in Bezug auf ein Bild durchgeführt wird, das in einer spezifischen Szene wie etwa einem Fall mit starkem Hintergrundlicht aufgenommen wurde, besteht eine Möglichkeit, dass aufgrund einer Fehlanpassung zwischen dem aufgenommenen Bild und dem Dunkelbild eine gewünschte Bildqualität nicht erreicht werden kann.
Somit schlägt die vorliegende Offenbarung eine Bildverarbeitungsvorrichtung, ein elektronisches Gerät, ein Bildverarbeitungsverfahren und ein Programm vor, die imstande sind, einen Einfluss von Hintergrundlicht geeignet zu entfernen.
Lösung für das Problem
Eine Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält: eine Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist; und eine Bildkorrektureinheit, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.
Figurenliste

1 ist eine Ansicht, die ein Beispiel einer Konfiguration eines elektronischen Geräts veranschaulicht, das eine Entfernungsmessvorrichtung nutzt, die für eine Ausführungsform der vorliegenden Offenbarung verwendbar ist;
2 ist eine Ansicht, um eine Frame-Konfiguration zu beschreiben.
3 ist eine Ansicht, um ein Prinzip eines indirekten TOF-Verfahrens zu beschreiben.
4 ist ein Blockdiagramm, das ein Beispiel einer Systemkonfiguration eines indirekten TOF-Abstandsbildsensors veranschaulicht, für den eine Technologie gemäß der vorliegenden Offenbarung verwendet wird.
5 ist ein Schaltungsdiagramm, das ein Beispiel einer Schaltungskonfiguration eines Pixels im indirekten TOF-Abstandsbildsensor veranschaulicht, für den die Technologie gemäß der vorliegenden Offenbarung verwendet wird.
6 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
7A ist eine Ansicht, um ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung zu beschreiben.
7B ist eine Ansicht, um das Bildverarbeitungsverfahren gemäß der Ausführungsform der vorliegenden Technologie zu beschreiben.
8A ist eine Ansicht, um einen Effekt einer FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
8B ist eine Ansicht, um den Effekt der FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
8C ist eine Ansicht, um den Effekt der FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
9A ist eine Ansicht, um eine Frame-Konfiguration gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
9B ist eine Ansicht, um eine Frame-Konfiguration gemäß der Ausführungsform der vorliegenden Technologie zu beschreiben.
10 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
11 ist eine Ansicht, um ein Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung zu beschreiben.
12 ist eine Ansicht, um das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung zu beschreiben.
13A ist eine Ansicht, um einen Effekt einer Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
13B ist eine Ansicht, um den Effekt der Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
14A ist eine Ansicht, um einen Effekt einer Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
14B ist eine Ansicht, um den Effekt der Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
15A ist eine Ansicht, um einen Effekt einer Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
15B ist eine Ansicht, um den Effekt der Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
16A ist eine Ansicht, um einen Effekt einer Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
16B ist eine Ansicht, um den Effekt der Korrektur zu beschreiben, die durch das Korrekturauswahlverfahren gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt wird.
17 ist ein Flussdiagramm, das ein Beispiel eines Ablaufs einer Verarbeitung des Korrekturauswahlverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
18A ist eine Ansicht, um ein Korrekturauswahlverfahren gemäß einem Modifikationsbeispiel der zweiten Ausführungsform der vorliegenden Offenbarung zu beschreiben.
18B ist eine Ansicht, um ein Korrekturauswahlverfahren gemäß einem Modifikationsbeispiel der zweiten Ausführungsform der vorliegenden Offenbarung zu beschreiben.

Beschreibung von Ausführungsformen
Im Folgenden werden auf der Basis der Zeichnungen Ausführungsformen der vorliegenden Offenbarung beschrieben. Man beachte, dass in den folgenden Ausführungsformen eine sich überlappende Beschreibung mittels Zuweisung des gleichen Bezugszeichens zu identischen Teilen unterlassen wird.
Die vorliegende Offenbarung wird in der folgenden Reihenfolge der Punkte beschrieben.

1. Konfiguration eines elektronischen Geräts
- 1-1. Frame-Konfiguration
- 1-2. Indirektes TOF-Verfahren
- 1-3. Systemkonfiguration eines indirekten TOF-Abstandsbildsensors
- 1-4. Konfigurationsbeispiel eines Pixels in einem indirekten TOF-Abstandsbildsensor
2. Erste Ausführungsform
- 2-1. Konfiguration einer Bildverarbeitungsvorrichtung
- 2-2. Bildverarbeitungsverfahren
- 2-3. Frame-Konfiguration
3. Zweite Ausführungsform
- 3-1. Bildverarbeitungsvorrichtung
- 3-2. Korrekturauswahlverfahren
- 3-3. Verarbeitung eines Korrekturauswahlverfahrens
4. Modifikationsbeispiel einer zweiten Ausführungsform

[1. Konfiguration eines elektronischen Geräts]
Die vorliegende Offenbarung kann in geeigneter Weise für eine Technologie zum Korrigieren eines durch Fotografieren eines Objekts mit einem TOF-Sensor erfassten IR-Bildes verwendet werden. Folglich wird zunächst ein indirektes TOF-Verfahren beschrieben, um ein Verständnis der vorliegenden Offenbarung zu erleichtern. Das indirekte TOF-Verfahren ist eine Technologie, bei der durch beispielsweise Pulsweitenmodulation (PWM) moduliertes Quellenlicht (wie etwa Laserlicht in einem Infrarotbereich) zu einem Objekt emittiert wird, reflektiertes Licht davon mit einem lichtempfangenden Element empfangen wird und eine Entfernungsmessung in Bezug auf ein zu messendes Objekt auf der Basis einer Phasendifferenz im empfangenen reflektierten Licht durchgeführt wird.
Ein Beispiel einer Konfiguration eines elektronischen Geräts gemäß einer Ausführungsform der vorliegenden Offenbarung wird mit Verweis auf 1 beschrieben. 1 ist eine Ansicht, um das Beispiel der Konfiguration des elektronischen Geräts gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
Wie in 1 veranschaulicht ist, enthält ein elektronisches Gerät 1 eine Bildgebungsvorrichtung 10 und eine Bildverarbeitungsvorrichtung 20. Die Bildverarbeitungsvorrichtung 20 wird zum Beispiel realisiert, wenn ein in einer (nicht veranschaulichten) Speichereinheit gespeichertes Programm (wie etwa ein Programm gemäß der vorliegenden Erfindung) von einer zentralen Verarbeitungseinheit (CPU), einer Mikroverarbeitungseinheit (MPU) oder dergleichen mit einem Direktzugriffsspeicher (RAM) oder dergleichen als Arbeitsbereich ausgeführt wird. Die Bildverarbeitungsvorrichtung 20 ist auch ein Controller und kann beispielsweise durch eine integrierte Schaltung wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein feldprogrammierbares Gate-Array (FPGA) realisiert werden. Die Bildverarbeitungsvorrichtung 20 fordert die Bildgebungsvorrichtung 10 auf, eine Abbildung bzw. Bildung (Entfernungsmessung) durchzuführen, und empfängt ein Abbildungs- bzw. Bildgebungsergebnis von der Bildgebungsvorrichtung 10.
Die Bildgebungsvorrichtung 10 enthält eine Lichtquelleneinheit 11, eine lichtempfangende Einheit 12 und eine Bildgebungsverarbeitungseinheit 13.
Die Lichtquelleneinheit 11 enthält zum Beispiel ein lichtemittierendes Element, das Licht mit einer Wellenlänge eines Infrarotbereichs emittiert, und eine Ansteuerungsschaltung, die das lichtemittierende Element ansteuert, um Licht zu emittieren. Das lichtemittierende Element kann durch beispielsweise eine lichtemittierende Diode (LED) realisiert sein. Man beachte, dass das lichtemittierende Element nicht auf die LED beschränkt ist und durch beispielsweise einen oberflächenemittierenden Laser mit vertikalem Hohlraum (VCSEL) realisiert werden kann, bei dem eine Vielzahl lichtemittierender Elemente in einem Array ausgebildet ist.
Die lichtempfangende Einheit 12 enthält zum Beispiel ein lichtempfangendes Element, das imstande ist, Licht mit der Wellenlänge des Infrarotbereichs zu detektieren, und eine Signalverarbeitungsschaltung, die ein dem durch das lichtempfangende Element detektierten Licht entsprechendes Pixel-Signal abgibt. Das lichtempfangende Element kann durch beispielsweise eine Fotodiode realisiert sein. Man beachte, dass das lichtempfangende Element nicht auf eine Fotodiode beschränkt ist und durch andere Elemente realisiert werden kann.
Die Bildgebungsverarbeitungseinheit 13 führt verschiedene Arten einer Abbildungs- bzw. Bildgebungsverarbeitung beispielsweise als Reaktion auf eine Bildgebungsanweisung von der Bildverarbeitungsvorrichtung 20 aus. Beispielsweise erzeugt die Bildgebungsverarbeitungseinheit 13 ein Lichtquellen-Steuerungssignal, um die Lichtquelleneinheit 11 anzusteuern, und gibt es an die Lichtquelleneinheit 11 ab.
Die Bildgebungsverarbeitungseinheit 13 steuert den Lichtempfang durch die lichtempfangende Einheit 12 synchron mit dem der Lichtquelleneinheit 11 bereitgestellten Lichtquellen-Steuerungssignal. Beispielsweise erzeugt die Bildgebungsverarbeitungseinheit 13 ein Belichtungs-Steuerungssignal, um eine Belichtungszeit der lichtempfangenden Einheit 12 synchron mit dem Lichtquellen-Steuerungssignal zu steuern, und gibt es an die lichtempfangende Einheit 12 ab. Die lichtempfangende Einheit 12 führt eine Belichtung für eine durch das Belichtungs-Steuerungssignal angegebene Belichtungsperiode durch und gibt ein Pixel-Signal an die Bildgebungsverarbeitungseinheit 13 ab.
Die Bildgebungsverarbeitungseinheit 13 berechnet Abstandsinformationen auf der Basis des von der lichtempfangenden Einheit 12 abgegebenen Pixel-Signals. Die Bildgebungsverarbeitungseinheit 13 kann vorbestimmte Bildinformationen auf der Basis dieses Pixel-Signals erzeugen. Die Bildgebungsverarbeitungseinheit 13 gibt die erzeugten Abstandsinformationen und Bildinformationen an die Bildverarbeitungsvorrichtung 20 aus.
Beispielsweise erzeugt die Bildgebungsverarbeitungseinheit 13 ein Lichtquellen-Steuerungssignal, um die Lichtquelleneinheit 11 anzusteuern, gemäß einer Anweisung, eine Abbildung bzw. Bildgebung auszuführen, von der Bildverarbeitungsvorrichtung 20 und stellt der Lichtquelleneinheit 11 das Lichtquellen-Steuerungssignal bereit. Die Bildgebungsverarbeitungseinheit 13 erzeugt hier ein Lichtquellen-Steuerungssignal, das durch die PWM in eine Rechteckwelle mit einem vorbestimmten Tastverhältnis moduliert ist, und stellt der Lichtquelleneinheit 11 das Lichtquellen-Steuerungssignal bereit. Zur gleichen Zeit steuert die Bildgebungsverarbeitungseinheit 13 einen Lichtempfang durch die lichtempfangende Einheit 12 auf der Basis eines mit dem Lichtquellen-Steuerungssignal synchronisierten Belichtungs-Steuerungssignals.
In der Bildgebungsvorrichtung 10 blinkt die Lichtquelleneinheit 11 und emittiert Licht gemäß dem vorbestimmten Tastverhältnis als Reaktion auf das durch die Bildgebungsverarbeitungseinheit 13 erzeugte Lichtquellen-Steuerungssignal. Das von der Lichtquelleneinheit 11 emittierte Licht wird als Emissionslicht 30 von der Lichtquelleneinheit 11 emittiert. Das Emissionslicht 30 wird beispielsweise von einem Objekt 31 reflektiert und durch die lichtempfangende Einheit 12 als reflektiertes Licht 32 empfangen. Die lichtempfangende Einheit 12 erzeugt ein Pixel-Signal entsprechend dem Empfang des reflektierten Lichts 32 und gibt dieses an die Bildgebungsverarbeitungseinheit 13 ab. Man beachte, dass in der Praxis die lichtempfangende Einheit 12 zusätzlich zum reflektierten Licht 32 auch Hintergrundlicht (Umgebungslicht) einer Peripherie empfängt und das Pixel-Signal zusammen mit einer Komponente des reflektierten Lichts 32 dieses Hintergrundlicht und eine Dunkelkomponente aufgrund der lichtempfangenden Einheit 12 enthält.
In der vorliegenden Ausführungsform bildet die Bildgebungsvorrichtung 10 auch das Objekt 31 in einem Zustand ab, in dem die Lichtquelleneinheit 11 ausgeschaltet ist und Licht nicht emittiert. Die lichtempfangende Einheit 12 empfängt dann Hintergrundlicht in der Umgebung des Objekts 31. In diesem Fall enthält ein durch die lichtempfangende Einheit 12 erzeugtes Pixel-Signal nur das Hintergrundlicht und die von der lichtempfangenden Einheit 12 hervorgerufene Dunkelkomponente wird.
Die Bildgebungsverarbeitungseinheit 13 führt einen Lichtempfang durch die lichtemittierende Einheit 12 für eine Vielzahl von Malen in verschiedenen Phasen durch. Die Bildgebungsverarbeitungseinheit 13 berechnet einen Abstand D zum Objekt 31 auf der Basis einer Differenz zwischen Pixel-Signalen infolge des Lichtempfangs in den verschiedenen Phasen. Die Bildgebungsverarbeitungseinheit 13 berechnet Bildinformationen, die durch Extraktion der Komponente des reflektierten Lichts 32 auf der Basis der Differenz zwischen den Pixel-Signalen erfasst werden, und Bildinformationen, die die Komponente des reflektierten Lichts 32 und eine Komponente des Umgebungslichts enthalten. Im Folgenden wird auf die Bildinformationen, die durch Extraktion der Komponente des reflektierten Lichts 32 auf der Basis der Differenz zwischen dem Pixel-Signalen erfasst werden, als direkte Informationen von reflektiertem Licht verwiesen und wird auf Bildinformationen, die die Komponente des reflektierten Lichts 32 und die Komponente des Umgebungslichts enthalten, als RAW-Bildinformationen verwiesen.
(1-1. Frame-Konfiguration)
Eine Konfiguration eines Frames, der zur Bildgebung durch die Bildgebungsvorrichtung 10 genutzt wird, wird mit Verweis auf 2 beschrieben. 2 ist eine Ansicht, um den für die Bildgebung durch die Bildgebungsvorrichtung 10 verwendeten Frame zu beschreiben.
Wie in 2 veranschaulicht ist, umfasst der Frame eine Vielzahl von Mikroframes wie etwa einen ersten Mikroframe, einen zweiten Mikroframe, ... und einen m-ten (m ist eine ganze Zahl gleich oder größer als 3) Mikroframe. Eine Periode eines Mikroframes ist eine Periode, die kürzer als eine Periode eines Frames einer Abbildung bzw. Bildgebung (wie etwa 1/30 Sekunden) ist. Somit kann eine Verarbeitung der Vielzahl von Mikroframes innerhalb einer Frame-Periode ausgeführt werden. Außerdem kann eine Periode jedes Mikroframes individuell festgelegt werden.
Ein Mikroframe umfasst eine Vielzahl von Phasen wie etwa eine erste Phase, eine zweite Phase, eine dritte Phase, eine vierte Phase, eine fünfte Phase, eine sechste Phase, eine siebte Phase und eine achte Phase. Ein Mikroframe kann maximal acht Phasen umfassen. Somit kann eine Verarbeitung der Vielzahl von Phasen innerhalb einer Mikroframe-Periode ausgeführt werden. Man beachte, dass am Ende jedes Mikroframes eine Totzeitperiode vorgesehen ist, um eine Interferenz mit einer Verarbeitung eines nächsten Mikroframes zu verhindern.
In der vorliegenden Ausführungsform kann ein Objekt in einer Phase abgebildet werden. Wie in 2 veranschaulicht ist, können in einer Phase eine Initialisierungsverarbeitung, eine Belichtungsverarbeitung und eine Leseverarbeitung ausgeführt werden. Mit anderen Worten können die RAW-Bildinformationen in einer Phase erzeugt werden. Somit kann in der vorliegenden Ausführungsform eine Vielzahl von Stücken von RAW-Bildinformationen in einem Mikroframe erzeugt werden. Beispielsweise können RAW-Bildinformationen, die durch eine Abbildung des Objekts 31 in einem Zustand erfasst werden, in dem die Lichtquelleneinheit 11 eingeschaltet ist, und RAW-Bildinformationen, die durch Abbilden des Objekts 31 in einem Zustand erfasst werden, in dem die Lichtquelleneinheit 11 ausgeschaltet ist, in einem Mikroframe erzeugt werden. Man beachte, dass am Ende jeder Phase eine Totzeitperiode zum Einstellen einer Frame-Rate vorgesehen ist.
(1-2. Indirektes TOF-Verfahren)
Ein Prinzip des indirekten TOF-Verfahrens wird mit Verweis auf 3 beschrieben. 3 ist eine Ansicht, um das Prinzip des indirekten TOF-Verfahrens zu beschreiben.
In 3 wird durch eine Sinuswelle moduliertes Licht als das von der Lichtquelleneinheit 11 emittierte Emissionslicht 30 genutzt. Idealerweise wird das reflektierte Licht 32 eine Sinuswelle mit einer einem Abstand D entsprechenden Phasendifferenz in Bezug auf das Emissionslicht 30.
Die Bildgebungsverarbeitungseinheit 13 führt eine Vielzahl von Malen eine Abtastung in Bezug auf ein Pixel-Signal eines empfangenen reflektierten Lichts 32 in unterschiedlichen Phasen durch und erfasst einen eine Lichtmenge zu jedem Zeitpunkt der Abtastung angebenden Lichtmengenwert. Im Beispiel von 3 werden jeweils Lichtmengenwerte C₀, C₉₀, C₁₈₀ und C₂₇₀ in Phasen erfasst, die eine Phase von 0°, eine Phase von 90°, eine Phase von 180° und eine Phase von 270° in Bezug auf das Emissionslicht 30 sind. Im indirekten TOF-Verfahren wird eine Abstandsinformation auf der Basis einer Differenz in Lichtmengenwerten eines Paars mit einer Phasendifferenz von 180° unter den Phasen von 0°, 90°, 180° und 270° berechnet.
(1-3. Systemkonfiguration eines indirekten TOF-Abstandsbildsensors)
Ein Beispiel einer Systemkonfiguration eines indirekten TOF-Bildsensors gemäß der vorliegenden Offenbarung wird mit Verweis auf 4 beschrieben. 4 ist ein Blockdiagramm, das ein Beispiel der Systemkonfiguration des indirekten TOF-Abstandsbildsensors gemäß der vorliegenden Offenbarung veranschaulicht.
Wie in 4 veranschaulicht ist, weist ein indirekter TOF-Abstandsbildsensor 10000 eine gestapelte Struktur auf, die einen Sensor-Chip 10001 und einen auf dem Sensor-Chip 10001 gestapelten Schaltungs-Chip 10002 umfasst. In dieser gestapelten Struktur sind der Sensor-Chip 10001 und der Schaltungs-Chip 10002 durch einen (nicht veranschaulichten) Verbindungsbereich wie etwa eine Durchkontaktierung bzw. ein Kontaktloch oder eine Cu-Cu-Verbindung elektrisch verbunden. Man beachte, dass ein Zustand, in dem eine Verdrahtungsleitung des Sensor-Chips 10001 und eine Verdrahtungsleitung des Schaltungs-Chips 10002 über den oben beschriebenen Verbindungsbereich elektrisch verbunden sind, in 4 veranschaulicht ist.
Ein Pixel-Arraybereich 10020 ist auf dem Sensor-Chip 10001 ausgebildet. Der Pixel-Arraybereich 10020 enthält eine Vielzahl von Pixeln 10230, die in einer Matrix (Array) in einem Muster eines zweidimensionalen Gitters auf dem Sensor-Chip 10001 angeordnet sind. Jedes der Vielzahl von Pixeln 10230 im Pixel-Arraybereich 10020 empfängt Infrarotlicht, führt eine fotoelektrische Umwandlung durch und gibt ein analoges Pixel-Signal ab. Im Pixel-Arraybereich 10020 sind für jede Pixel-Spalte zwei vertikale Signalleitungen VSL₁ und VSL₂ verdrahtet. Wenn unterstellt wird, dass die Anzahl an Pixel-Spalten im Pixel-Arraybereich 10020 M (M ist eine ganze Zahl) ist, sind insgesamt 2 × M vertikale Signalleitungen VSL auf dem Pixel-Arraybereich 10020 verdrahtet.
Jedes der Vielzahl von Pixeln 10230 weist zwei Abgriffe bzw. Taps A und B (deren Details später beschrieben werden) auf. In den zwei vertikalen Signalleitungen VSL₁ und VSL₂ wird ein Pixel-Signal AIN_P1 basierend auf einer Ladung eines Tap A des Pixels 10230 in einer entsprechenden Pixel-Spalte an die vertikale Signalleitung VSL₁ abgegeben und wird ein Pixel-Signal AIN_P2 basierend auf einer Ladung eines Tap B des Pixels 10230 in der entsprechenden Pixel-Spalte an die vertikale Signalleitung VSL₂ abgegeben. Die Pixel-Signale AIN_P1 und AIN_P2 werden später beschrieben.
Eine vertikale Ansteuerungsschaltung 10010, eine Spalten-Signalverarbeitungseinheit 10040, eine Ausgabeschaltungseinheit 10060 und eine Zeitpunkt-Steuerungseinheit 10050 sind auf dem Schaltungs-Chip 10002 angeordnet. Die vertikale Ansteuerungsschaltung 10010 steuert jedes Pixel 10230 des Pixel-Arraybereichs 10020 in einer Einheit einer Pixel-Reihe an und veranlasst, dass die Pixel-Signale AIN_P1 und AIN_P2 abgegeben werden. Unter der Ansteuerung durch die vertikale Ansteuerungsschaltung 10010 werden der Spalten-Signalverarbeitungseinheit 10040 die von den Pixeln 10230 in der ausgewählten Reihe abgegebenen Pixel-Signale AIN_P1 und AIN_P2 über die vertikalen Signalleitungen VSL₁ und VSL₂ bereitgestellt.
Die Spalten-Signalverarbeitungseinheit 10040 weist beispielsweise eine Konfiguration auf, die in einer den Pixel-Spalten des Pixel-Arraybereichs 10020 entsprechenden Weise eine Vielzahl von ADCs (entsprechend einer oben beschriebenen Spalten-AD-Schaltung) enthält, die jeweils für die Pixel-Spalten vorgesehen sind. Jeder ADC führt eine AD-Umwandlungsverarbeitung an den über die vertikalen Signalleitungen VSL₁ und VSL₂ bereitgestellten Pixel-Signalen AIN_P1 und AIN_P2 durch und gibt diese an die Ausgabeschaltungseinheit 10060 ab. Die Ausgabeschaltungseinheit 10060 führt eine CDS-Verarbeitung oder dergleichen an den von der Spalten-Signalverarbeitungseinheit 10040 abgegebenen digitalisierten Pixel-Signalen AIN_P1 und AIN_P2 durch und gibt diese an die äußere Umgebung des Schaltungs-Chips 10002 ab.
Die Zeitpunkt-Steuerungseinheit 10050 erzeugt verschiedene Zeitpunkt- bzw. Zeitsteuerungssignale, Taktsignale, Steuerungssignale und dergleichen. Eine Steuerung zur Ansteuerung der vertikalen Ansteuerungsschaltung 10010, der Spalten-Signalverarbeitungseinheit 10040, der Ausgabeschaltungseinheit 10060 und dergleichen wird auf der Basis dieser Signale durchgeführt.
(1-4. Schaltungskonfiguration eines Pixels in einem indirekten TOF-Abstandsbildsensor)
5 ist ein Schaltungsdiagramm, das ein Beispiel einer Schaltungskonfiguration eines Pixels im indirekten TOF-Abstandsbildsensor veranschaulicht, für den die Technologie gemäß der vorliegenden Offenbarung verwendet wird.
Ein Pixel 10230 gemäß dem vorliegenden Beispiel enthält beispielsweise eine Fotodiode 10231 als fotoelektrische Umwandlungseinheit. Zusätzlich zur Fotodiode 10231 enthält das Pixel 10230 einen Überlauftransistor 10242, zwei Übertragungstransistoren 10232 und 10237, zwei Rücksetztransistoren 10233 und 10238, zwei Floating-Diffusionsschichten 10234 und 10239, zwei Verstärkertransistoren 10235 und 10240 und zwei Auswahltransistoren 10236 und 10241. Die zwei Floating-Diffusionsschichten 10234 und 10239 entsprechen den in 4 veranschaulichten Taps A und B.
Die Fotodiode 10231 wandelt empfangenes Licht fotoelektrisch um und erzeugt eine Ladung. Die Fotodiode 10231 kann eine rückseitig beleuchtete Pixel-Struktur aufweisen. Die rückseitig beleuchtete Struktur liegt wie in der Pixel-Struktur des CMOS-Bildsensors beschrieben vor. Jedoch stellt die rückseitig beleuchtete Struktur keine Einschränkung dar und kann eine vorderseitig beleuchtete Struktur verwendet werden, bei der von einer Seite einer vorderen Oberfläche eines Substrats emittiertes Licht erfasst wird.
Der Überlauftransistor 10242 ist zwischen eine Kathodenelektrode der Fotodiode 10231 und eine Stromversorgungsleitung einer Stromversorgungsspannung VDD geschaltet und hat eine Funktion zum Zurücksetzen der Fotodiode 10231. Konkret entlädt der Überlauftransistor 10242 sequentiell die Ladung der Fotodiode 10231 zur Stromversorgungsleitung, indem er als Reaktion auf ein von der vertikalen Ansteuerungsschaltung 10010 bereitgestelltes Überlauf-Gatesignal OFG in einen Leitungszustand übergeht.
Die zwei Übertragungstransistoren 10232 und 10237 sind zwischen die Kathodenelektrode der Fotodiode 10231 und die zwei Floating-Diffusionsschichten 10234 bzw. 10239 geschaltet. Die Übertragungstransistoren 10232 und 10237 übertragen sequentiell die in der Fotodiode 10231 erzeugte Ladungen zu den Floating-Diffusionsschichten 10234 bzw. 10239, indem sie als Reaktion auf ein von der vertikalen Ansteuerungsschaltung 10010 bereitgestelltes Übertragungssignal TRG in den Leitungszustand übergehen.
Die Floating-Diffusionsschichten 10234 und 10239, die den Taps A und B entsprechen, akkumulieren die von der Fotodiode 10231 übertragenen Ladungen, wandeln die Ladungen in Spannungssignale mit Spannungswerten entsprechend den Ladungsmengen um und erzeugen die Pixel-Signale AIN_P1 und AIN_P2.
Die zwei Rücksetztransistoren 10233 und 10238 sind zwischen die Stromversorgungsleitung der Stromversorgungsspannung VDD und die zwei Floating-Diffusionsschichten 10234 bzw. 10239 geschaltet. Indem sie als Reaktion auf ein von der vertikalen Ansteuerungsschaltung 10010 bereitgestelltes Rücksetzsignal RST in den Leitungszustand übergehen, extrahieren die Rücksetztransistoren 10233 und 10238 die Ladungen aus den Floating-Diffusionsschichten 10234 bzw. 10239 und initialisieren die Ladungsmengen.
Die zwei Verstärkertransistor 10235 und 10240 sind zwischen die Stromversorgungsleitung der Stromversorgungsspannung VDD und die zwei Auswahltransistoren 10236 bzw. 10241 geschaltet und verstärken jeweils die Spannungssignale, an denen jeweils eine Ladung-Spannung-Umwandlung in den Floating-Diffusionsschichten 10234 bzw. 10239 durchgeführt wird.
Die zwei Auswahltransistoren 10236 und 10241 sind jeweils zwischen die zwei Verstärkertransistoren 10235 und 10240 und die vertikalen Signalleitungen VSL₁ und VSL₂ geschaltet. Indem sie als Reaktion auf ein von der vertikalen Ansteuerungsschaltung 10010 bereitgestelltes Auswahlsignal SEL in den Leitungszustand übergehen, geben dann die Auswahltransistoren 10236 und 10241 die in den Verstärkertransistoren 10235 und 10240 verstärkten Spannungssignale an die zwei vertikalen Signalleitungen VSL₁ und VSL₂ als die Pixelsignale AIN_P1 bzw. AIN_P2 ab.
Die zwei vertikalen Signalleitungen VSL₁ und VSL₂ sind für jede Pixel-Spalte mit einem Eingangsende eines ADC in der Spalten-Signalverarbeitungseinheit 10040 verbunden und übertragen die von den Pixeln 10230 abgegebenen Pixel-Signale AIN_P1 und AIN_P2 in jeder Pixel-Spalte zum ADC.
Man beachte, dass die Schaltungskonfiguration des Pixels 10230 nicht auf die in 4 veranschaulichte Schaltungskonfiguration beschränkt ist, solange die Pixel-Signale AIN_p1 und AIN_P2 durch fotoelektrische Umwandlung in der Schaltungskonfiguration erzeugt werden können.
[2. Erste Ausführungsform]
(2-1. Bildverarbeitungsvorrichtung)
Eine Konfiguration einer Bildverarbeitungsvorrichtung 20 gemäß der ersten Ausführungsform der vorliegenden Offenbarung wird mit Verweis auf 6 beschrieben. 6 ist ein Blockdiagramm, das ein Beispiel der Konfiguration der Bildverarbeitungsvorrichtung 20 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 6 veranschaulicht ist, enthält die Bildverarbeitungsvorrichtung 20 eine IR-Bildverarbeitungsvorrichtung 210, eine Tiefe-Bildverarbeitungsvorrichtung 220 und eine Speichereinheit 230.
Die IR-Bildverarbeitungsvorrichtung 210 führt eine Verarbeitung zum Korrigieren eines IR-Bildes und dergleichen aus. Die Tiefe-Bildverarbeitungsvorrichtung 220 führt eine Verarbeitung zum Berechnen einer Tiefe und dergleichen aus. Die IR-Bildverarbeitungsvorrichtung 210 und die Tiefe-Bildverarbeitungsvorrichtung 220 führen die Verarbeitung parallel aus.
Die Speichereinheit 230 speichert verschiedene Arten von Informationen. Die Speichereinheit 230 speichert zum Beispiel ein Dunkelbild, um ein IR-Bild zu korrigieren. Die Speichereinheit 230 ist beispielsweise durch ein Halbleiterspeicherelement wie etwa einen Direktzugriffsspeicher (RAM) oder einen Flash-Speicher oder eine Speichervorrichtung wie etwa eine Festplatte oder eine optische Platte realisiert.
Die IR-Bildverarbeitungsvorrichtung 210 enthält eine Erfassungseinheit 211, eine IR-Bilderzeugungseinheit 212, eine Bildkorrektureinheit 213, eine Normalisierungseinheit 214, eine Referenzeinheit 215, eine Einheit 216 zur Berechnung einer ersten Belichtungszeit und eine Einheit 217 zur Berechnung einer zweiten Belichtungszeit.
Die Erfassungseinheit 211 erfasst verschiedene Arten von Informationen von einer Bildgebungsvorrichtung 10. Die Erfassungseinheit 211 erfasst zum Beispiel RAW-Bildinformationen in Bezug auf ein durch die Bildgebungsvorrichtung 10 abgebildetes Objekt. Beispielsweise erfasst die Erfassungseinheit 211 selektiv RAW-Bildinformationen jeder, in einem Mikroframe enthaltenen Phase. Um ein IR-Bild zu korrigieren, erfasst beispielsweise die Erfassungseinheit 211 RAW-Bildinformationen in Bezug auf das Objekt, das in einem Zustand abgebildet wird, in dem eine Lichtquelleneinheit 11 eingeschaltet ist, und RAW-Bildinformationen in Bezug auf einen Objektbereich, der in einem Zustand abgebildet wird, indem die Lichtquelleneinheit 11 ausgeschaltet ist. Die Erfassungseinheit 211 gibt die erfassten RAW-Bildinformationen an die IR-Bilderzeugungseinheit 212 aus.
Die IR-Bilderzeugungseinheit 212 erzeugt ein IR-Bild auf der Basis der von der Erfassungseinheit 211 empfangenen RAW-Bildinformationen. Beispielsweise kann die IR-Bilderzeugungseinheit 212 ein IR-Bild erzeugen, dessen Auflösung in eine für eine Gesichtsauthentifizierung Geeignete umgewandelt wird. Die IR-Bilderzeugungseinheit 212 gibt das erzeugte IR-Bild an die Bildkorrektureinheit 213 aus.
Die Bildkorrektureinheit 213 führt verschiedene Arten einer Korrekturverarbeitung am von der IR-Bilderzeugungseinheit 212 empfangenen IR-Bild aus. Die Bildkorrektureinheit 213 führt eine Korrekturverarbeitung auf solch eine Weise aus, dass das IR-Bild für eine Gesichtsauthentifizierung einer darin enthaltenen Person geeignet wird. Beispielsweise führt auf der Basis des in der Speichereinheit 230 gespeicherten Dunkelbildes die Bildkorrektureinheit 213 eine FPN-Korrektur am von der IR-Bilderzeugungseinheit 212 empfangenen IR-Bild aus. Auf der Basis eines IR-Bildes in Bezug auf das Objekt, das in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 ausgeschaltet ist (worauf hier im Folgenden als Bild bei ausgeschalteter Lichtquelle verwiesen wird), führt beispielsweise die Bildkorrektureinheit 213 die FPN-Korrektur an einem IR-Bild in Bezug auf das Objekt aus, das in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 eingeschaltet ist.
(2-2. Bildverarbeitungsverfahren)
Ein Prinzip eines Verfahrens zum Ausführen der FPN-Korrektur auf der Basis von Stücken von RAW-Bildinformationen, die in einem Zustand, in dem die Lichtquelle eingeschaltet ist, und in einem Zustand, in dem die Lichtquelle ausgeschaltet ist, erfasst wurden, wird unter Bezugnahme auf 7A und 7B beschrieben. 7A ist eine Ansicht, die eine von einer lichtempfangenden Einheit empfangene Lichtmenge, einen Ausgabewert eines vom Tap A abgegebenen Pixel-Signals und einen Ausgabewert eines vom Tap B abgegebenen Pixel-Signals veranschaulicht, falls ein Objekt in einem Zustand abgebildet wird, in dem die Lichtquelle eingeschaltet ist. 7B ist eine Ansicht, die die von der lichtempfangenden Einheit empfangene Lichtmenge, einen Ausgabewert des vom Tap A abgegebenen Pixel-Signals und einen Ausgabewert des vom Tap B abgegebenen Pixel-Signals veranschaulicht, falls das Objekt in einem Zustand abgebildet wird, in dem die Lichtquelle ausgeschaltet ist.
7A(a) ist eine Ansicht, die die von der lichtempfangenden Einheit 12 empfangene Lichtmenge veranschaulicht, 7A(b) ist eine Ansicht, die den Ausgabewert des Pixel-Signals vom Tap A veranschaulicht, und 7A(c) ist eine Ansicht, die den Ausgabewert des Pixel-Signals vom Tap B veranschaulicht.
Ein in 7A(a) bis 7A(c) veranschaulichtes Beispiel gibt an, dass eine Abbildung bzw. Bildgebung zu einem Zeitpunkt t1 begonnen wird, ein Lichtempfang durch die lichtempfangende Einheit 12 und eine Ausgabe vom Tap A zu einem Zeitpunkt t2 begonnen werden und zu einem Zeitpunkt t3 die Ausgabe vom Tap A beendet und eine Ausgabe vom Tap B begonnen wird. Außerdem ist angegeben, dass der Lichtempfang durch die lichtempfangende Einheit 12 zu einem Zeitpunkt t4 beendet wird und die Ausgabe vom Tap B zu einem Zeitpunkt t5 beendet wird. In 7A(a) bis 7A(c) sind Komponenten von reflektiertem Licht mittels Schraffur angegeben.
In dem in 7A(a) bis 7A(c) veranschaulichten Beispiel können die Werte eines vom Tap A abgegebenen Pixel-Signals A und eines vom Tap B abgegebenen Pixel-Signals B wie folgt ausgedrückt werden. $A = G_{A} (S+Amb) + D_{A}$
$B = G_{B} (P - S + Amb) + D_{B}$
In dem Ausdruck (1) und dem Ausdruck (2) repräsentiert G_A einen Verstärkungswert des Tap A, repräsentiert G_B einen Verstärkungswert des Tap B, repräsentiert P reflektiertes Licht, repräsentiert S eine Lichtmenge des reflektierten Lichts, das durch den Tap A empfangen wird, repräsentiert Amb Hintergrundlicht, repräsentiert D_A eine Dunkelkomponente des Tap A und repräsentiert D_B eine Dunkelkomponente des Tap B.
Das heißt, der Ausgabewert vom Tap A enthält zusätzlich zu dem reflektierten Licht vom Objekt das Hintergrundlicht und die Dunkelkomponente des Tap A. Ähnlich enthält der Ausgabewert vom Tap B zusätzlich zum reflektierten Licht vom Objekt das Hintergrundlicht und die Dunkelkomponente des Tab B. Die Bildgebungsvorrichtung 10 gibt die Summe des Pixel-Signals A und des Pixel-Signals B als RAW-Bildinformationen an die Bildverarbeitungsvorrichtung 20 aus. Somit beinhalten die von der Bildgebungsvorrichtung 10 an die Bildverarbeitungsvorrichtung 20 ausgegebenen RAW-Bildinformationen einen Einfluss des Hintergrundlichts, der Dunkelkomponente des Tap A und der Dunkelkomponente des Tap B. Somit ist es wünschenswert, den Einfluss des Hintergrundlichts, der Dunkelkomponente des Tap A und der Dunkelkomponente des Tap B zu entfernen, um eine Erkennungsverarbeitung wie etwa eine Gesichtsauthentifizierung genau durchzuführen.
7B(a) ist eine Ansicht, die die Menge eines von der lichtempfangenden Einheit 12 empfangenen Lichts veranschaulicht, 7B(b) ist eine Ansicht, die den Ausgabewert des Pixel-Signals vom Tap A veranschaulicht, und 7B(c) ist eine Ansicht, die den Ausgabewert des Pixel-Signals vom Tap B veranschaulicht.
Wie in 7B(a) veranschaulicht ist, empfängt die lichtempfangende Einheit 12 nur das Hintergrundlicht, da die Lichtquelleneinheit 11 in einem ausgeschalteten Zustand ist. Wenn die Bildgebungsvorrichtung 10 das Objekt in solch einer Situation abbildet, gibt der Tap A ein nur das Hintergrundlicht und die Dunkelkomponente enthaltendes Pixel-Signal A_Off ab. Ähnlich gibt der Tap B ein nur das Hintergrundlicht und die Dunkelkomponente enthaltendes Pixel-Signal B_Off ab. Werte des Pixel-Signals A_Off und des Pixel-Signals B_Off zu dieser Zeit können wie folgt ausgedrückt werden. $A_{Off} = G_{A} ({Amb}_{Off}) + D_{AOff}$
$B_{Off} = G_{B} ({Amb}_{Off}) + D_{BOff}$
In dem Ausdruck (3) und dem Ausdruck (4) ist Amb_Off das Hintergrundlicht, wenn die Lichtquelleneinheit 11 im ausgeschalteten Zustand ist, ist D_AOff die Dunkelkomponente des Tap A, wenn die Lichtquelleneinheit 11 im ausgeschalteten Zustand ist, und ist D_Boff die Dunkelkomponente des Tap B, wenn die Lichtquelleneinheit 11 im ausgeschalteten Zustand ist. Da sich das Hintergrundlicht und die Dunkelkomponente ungeachtet davon, ob der Zustand der Lichtquelleneinheit 11 der eingeschaltete Zustand oder der ausgeschaltete Zustand ist, nicht ändern, gelten die folgenden Beziehungen. ${Amb}_{Off} = Amb$
$D_{AOff} = D_{A}$
$D_{BOff} = D_{B}$
Ein Substituieren des Ausdrucks (5) bis zum Ausdruck (7) in den Ausdruck (3) und ein Subtrahieren des Ausdrucks (3) vom Ausdruck (1) ergibt die folgende Beziehung. $A - A_{Off} = {SG}_{A}$
Ein Substituieren des Ausdrucks (5) bis zum Ausdruck (7) in den Ausdruck (4) und ein Subtrahieren des Ausdrucks (4) vom Ausdruck (2) ergeben die folgende Beziehung. $B - B_{OFF} = {SG}_{B}$
Danach wird die folgende Beziehung durch Berechnung des Ausdrucks (8) und des Ausdrucks (9) ermittelt. $(A - A_{Off}) + (B - B_{Off}) = S (G_{A} + G_{B})$
Wie oben beschrieben wurde, kann die Bildkorrektureinheit 213 den Einfluss des Hintergrundlichts und der Dunkelkomponente auf der Basis der Stücke von RAW-Bildinformationen entfernen, die in einem Zustand, in dem die Lichtquelle eingeschaltet ist, und einem Zustand, in dem die Lichtquelle ausgeschaltet ist, erfasst werden.
Ein Effekt der FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung wird mit Verweis auf 8A, 8B und 8C beschrieben. 8A bis 8C sind Ansichten, um einen Effekt der FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung zu beschreiben.
8A ist eine Ansicht, die ein IR-Bild IM1 vor der Korrektur veranschaulicht, welches Bild auf der Basis des Pixel-Signals vom Tap A und des Pixel-Signals vom Tap B erzeugt wird. Das IR-Bild IM1 enthält eine Person M1 und die Sonne S. Im IR-Bild IM1 ist das gesamte Gesicht der Person M1 aufgrund eines Einflusses des Sonnenlichts verschwommen. Selbst wenn eine Verarbeitung zur Gesichtsauthentifizierung einer Person auf der Basis des IR-Bildes IM1 ausgeführt wird, kann somit keine gewünschte Erkennungsgenauigkeit erzielt werden. Man beachte, dass das IR-Bild IM1 ein IR-Bild ist, das in einem Zustand aufgenommen wird, in dem die Lichtquelleneinheit 11 eingeschaltet ist.
8B ist eine Ansicht, die ein IR-Bild IM1A veranschaulicht, das durch Anwendung einer herkömmlichen FPN-Korrektur auf das in 8A veranschaulichte IR-Bild IM1 erfasst wird. Beispielsweise kann die Bildkorrektureinheit 213 das IR-Bild IM1A erfassen, indem die FPN-Korrektur auf der Basis eines in der Speichereinheit 230 vorher gespeicherten Dunkelbildes am IR-Bild IM1 ausgeführt wird. Jedoch ist es aufgrund des Einflusses der Sonne S auch im IR-Bild IM1A schwierig, das Gesicht der Person M1 zu erkennen. Wie oben beschrieben wurde, gibt es beispielsweise in einer Umgebung mit starkem Licht wie etwa Sonnenlicht einen Fall, in dem eine Fehlanpassung mit dem Dunkelbild erzeugt wird und ein gewünschtes IR-Bild nicht erfasst werden kann, selbst wenn die FPN-Korrektur durchgeführt wird.
8C ist eine Ansicht, die ein IR-Bild IM1B veranschaulicht, das durch Anwendung der FPN-Korrektur gemäß der Ausführungsform der vorliegenden Offenbarung auf das in 8A veranschaulichte IR-Bild IM1 erfasst wird. Das heißt, die Bildkorrektureinheit 213 führt die FPN-Korrektur an dem IR-Bild IM1, das in einem Zustand erfasst wird, in dem die Lichtquelleneinheit 11 eingeschaltet ist, auf der Basis eines dem IR-Bild IM1 entsprechenden Bilds bei ausgeschalteter Lichtquelle aus. Das IR-Bild IM1 und das dem IR-Bild IM1 entsprechende Bild bei ausgeschalteter Lichtquelle werden jeweils in aufeinanderfolgenden Phasen im gleichen Mikroframe aufgenommen. Wenn kein Einfluss des reflektierten Lichts enthalten bzw. einbezogen ist, ist das dem IR-Bild IM1 entsprechende Bild bei ausgeschalteter Lichtquelle ein IR-Bild, das nur die Sonne S enthält. Folglich ist es möglich, den Einfluss der Sonne S aus dem IR-Bild IM1 zu entfernen, indem das dem IR-Bild IM1 entsprechende Bild bei ausgeschalteter Lichtquelle verwendet wird. Somit kann das Gesicht der Person M1 im IR-Bild IM1B deutlich erkannt werden. Infolgedessen wird eine Erkennungsrate bei der Gesichtsauthentifizierung der Person M verbessert.
Es wird wieder auf 6 verwiesen. Die Bildkorrektureinheit 213 gibt das korrigierte IR-Bild an die Normalisierungseinheit 214 und die Einheit 216 zur Berechnung einer ersten Belichtungszeit aus. Konkret gibt die Bildkorrektureinheit 213 zumindest eines eines auf dem Dunkelbild basierenden Korrekturergebnisses oder eines Korrekturergebnisses, das auf dem dem IR-Bild IM1 entsprechenden Bild bei ausgeschalteter Lichtquelle basiert, an die Normalisierungseinheit 214 und die Einheit 216 zur Berechnung einer ersten Belichtungszeit aus.
Die Normalisierungseinheit 214 normalisiert das von der Bildkorrektureinheit 213 empfangene IR-Bild. Die Normalisierungseinheit 214 gibt das normalisierte IR-Bild nach außen aus. Infolgedessen wird dem Nutzer ein für eine Verarbeitung zur Gesichtsauthentifizierung geeignetes IR-Bild bereitgestellt.
Die Referenzeinheit 215 empfängt beispielsweise eine durch eine Tiefe-Berechnungseinheit 222 berechnete Tiefe. Beispielsweise empfängt die Referenzeinheit 215 eine Genauigkeit der Tiefe. Die Referenzeinheit 215 erzeugt ein Maskenbild auf der Basis der Tiefe und der Genauigkeit der Tiefe. Hier ist das Maskenbild beispielsweise ein Bild, das durch Maskieren eines anderen Gegenstands als des in einem Tiefenbild enthaltenen Objekts erfasst wird. Die Referenzeinheit 215 gibt das erzeugte Maskenbild an die Einheit 216 zur Berechnung einer ersten Belichtungszeit und die Einheit 217 zur Berechnung einer zweiten Belichtungszeit aus.
Auf der Basis des von der Bildkorrektureinheit 213 empfangenen korrigierten IR-Bildes und des von der Referenzeinheit 215 empfangenen Maskenbildes berechnet die Einheit 216 zur Berechnung einer ersten Belichtungszeit eine Belichtungszeit bei einer Abbildung bzw. Bildgebung, um ein IR-Bild zu erzeugen. Infolgedessen wird eine optimale Belichtungszeit zum Erzeugen des IR-Bildes berechnet.
Auf der Basis des von der Referenzeinheit 215 empfangenen Maskenbildes und der Genauigkeit der von der Tiefe-Berechnungseinheit 222 berechneten Tiefe berechnet die Einheit 217 zur Berechnung einer zweiten Belichtungszeit die Belichtungszeit bei einer Bildgebung, um die Tiefe zu berechnen.
Die Tiefe-Bildverarbeitungsvorrichtung 220 enthält eine Erfassungseinheit 221 und die Tiefe-Berechnungseinheit 222.
Die Erfassungseinheit 221 erfasst verschiedene Arten von Informationen von der Bildgebungsvorrichtung 10. Die Erfassungseinheit 221 erfasst zum Beispiel RAW-Bildinformationen in Bezug auf das durch die Bildgebungsvorrichtung 10 abgebildete Objekt. Beispielsweise erfasst die Erfassungseinheit 221 selektiv RAW-Bildinformationen jeder, in einem Mikroframe enthaltenen Phase. Die Erfassungseinheit 221 erfasst zum Beispiel RAW-Bildinformationen von vier Phasen, welche Informationen in den Phasen von 0°, 90°, 180° und 270° erfasst werden, um ein Tiefenbild zu erzeugen. Die Erfassungseinheit 221 gibt die erfassten RAW-Bildinformationen an die Tiefe-Berechnungseinheit 222 aus.
Beispielsweise berechnet die Tiefe-Berechnungseinheit 222 eine Tiefe auf der Basis der RAW-Bildinformationen der vier Phasen, welche Informationen von der Erfassungseinheit 221 empfangen werden. Die Tiefe-Berechnungseinheit 222 berechnet beispielsweise eine Genauigkeit auf der Basis der berechneten Tiefe. Zum Beispiel kann die Tiefe-Berechnungseinheit 222 das Tiefenbild auf der Basis der berechneten Tiefe erzeugen. Die Tiefe-Berechnungseinheit 222 gibt die berechnete Tiefe nach außen aus. Infolgedessen kann eine Abstandsinformation zum Objekt ermittelt werden. Auch gibt die Tiefe-Berechnungseinheit 222 die berechnete Tiefe und Genauigkeit an die Referenzeinheit 215 aus.
(2-3. Frame-Konfiguration)
Eine Frame-Konfiguration, die für eine Bildgebung gemäß der Ausführungsform der vorliegenden Offenbarung verwendet wird, wird mit Verweis auf 9A und 9B beschrieben. 9A und 9B sind Ansichten, um die für die Bildgebung gemäß der Ausführungsform der vorliegenden Offenbarung verwendete Frame-Konfiguration zu beschreiben.
Wie in 9A veranschaulicht ist, umfasst ein Frame F1 gemäß der Ausführungsform der vorliegenden Offenbarung einen IR-Bild-Mikroframe und einen Tiefenbild-Mikroframe.
Der IR-Bild-Mikroframe umfasst beispielsweise zwei Phasen, die eine Phase A0 und eine Phase A1 sind. Die Phase A0 ist beispielsweise eine Phase, in der das Objekt in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 ausgeschaltet ist. Die Phase A1 ist beispielsweise eine Phase, in der das Objekt in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 eingeschaltet ist.
Der Tiefenbild-Mikroframe umfasst beispielsweise vier Phasen, die eine Phase B0, eine Phase B1, eine Phase B2 und eine Phase B3 sind. Die Phase B0 ist beispielsweise eine Phase, in der das Objekt abgebildet wird, wenn eine Phasendifferenz zwischen einem Emissionslicht zum Objekt und einem reflektierten Licht vom Objekt 0° ist. Die Phase B1 ist beispielsweise eine Phase, in der das Objekt abgebildet wird, wenn die Phasendifferenz zwischen dem Emissionslicht zum Objekt und dem reflektierten Licht vom Objekt 90° ist. Die Phase B2 ist beispielsweise eine Phase, in der das Objekt abgebildet wird, wenn die Phasendifferenz zwischen dem Emissionslicht zum Objekt und dem reflektierten Licht vom Objekt 180° ist. Die Phase B3 ist beispielsweise eine Phase, in der das Objekt abgebildet wird, wenn die Phasendifferenz zwischen dem Emissionslicht zum Objekt und dem reflektierten Licht vom Objekt 270° ist.
Im Frame F1 kann eine Belichtungszeit in dem IR-Bild-Mikroframe und dem Tiefenbild-Mikroframe individuell eingestellt werden (automatische Belichtung (AE)). Beispielsweise kann die Belichtungszeit so eingestellt werden, dass sie im IR-Bild-Mikroframe lang ist, um Helligkeit zu gewährleisten, und kann die Belichtungszeit im Tiefenbild-Mikroframe kurz eingestellt werden, um einen Leistungsverbrauch zu steuern. In diesem Fall kann die Belichtungszeit in sowohl der Phase A0 als auch der Phase A1 des IR-Bild-Mikroframes auf beispielsweise 1 ms eingestellt werden. Auch kann die Belichtungszeit in sowohl der Phase B0, der Phase B1, der Phase B2 als auch der Phase B3 des Tiefenbild-Mikroframes beispielsweise auf 500 µs eingestellt werden. Man beachte, dass die Belichtungszeit in jeder Phase nicht auf diese beschränkt ist.
Wie in 9B veranschaulicht ist, kann ein Frame F2 gemäß der Ausführungsform der vorliegenden Offenbarung zusätzlich zu dem IR-Bild-Mikroframe und dem Tiefenbild-Mikroframe einen Mikroframe zur Detektion des Blicks der Augen einschließen. Im Folgenden wird, da Bedingungen des IR-Bild-Mikroframes und des Tiefenbild-Mikroframes den in 9A veranschaulichten Bedingungen ähnlich sind, deren Beschreibung weggelassen.
Der Mikroframe zur Detektion des Blicks der Augen enthält zum Beispiel zwei Phasen, die eine Phase C0 und eine Phase C1 sind. Die Phase C0 ist beispielsweise eine Phase, in der das Objekt in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 ausgeschaltet ist. Die Phase C1 ist beispielsweise eine Phase, in der das Objekt in einem Zustand abgebildet wird, in dem die Lichtquelleneinheit 11 eingeschaltet ist.
Im Frame F2 kann eine Belichtungszeit in dem IR-Bild-Mikroframe, dem Tiefenbild-Mikroframe und dem Mikroframe zur Detektion des Blicks der Augen individuell eingestellt werden. Falls beispielsweise eine zu fotografierende Person eine Brille trägt, gibt es einen Fall, in dem Licht von der Brille reflektiert wird und ein Blick der Augen nicht detektiert werden kann, wenn eine für eine Gesichtsauthentifizierung notwendige Detektion des Blicks der Augen durchgeführt wird. Somit kann im Mikroframe zur Detektion des Blicks der Augen die Belichtungszeit kürzer als jene des IR-Bild-Mikroframes und des Tiefenbild-Mikroframes auf solche eine Weise eingestellt werden, dass von der Brille Licht nicht reflektiert wird. Beispielsweise kann die Belichtungszeit in sowohl der Phase C0 als auch der Phase C1 des Mikroframes zur Detektion eines Blicks der Augen auf zum Beispiel 200 µs eingestellt werden. Man beachte, dass die Belichtungszeit in sowohl der Phase C0 als auch der Phase C1 nicht auf diese beschränkt ist.
Wie oben beschrieben wurde, wird in der ersten Ausführungsform ein IR-Bild, das in der Umgebung mit starkem Hintergrundlicht wie etwa der Sonne aufgenommen wird, auf der Basis eines IR-Bildes korrigiert, das in einem Zustand aufgenommen wird, in dem die Lichtquelle ausgeschaltet ist, wodurch ein Einfluss der Sonne entfernt werden kann. Infolgedessen kann die Erkennungsgenauigkeit der Gesichtsauthentifizierung unter Verwendung des durch den TOF aufgenommenen IR-Bildes oder dergleichen verbessert werden.
[3. Zweite Ausführungsform]
Eine Verarbeitung zur Auswahl eines Korrekturverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung wird beschrieben.
Wie oben beschrieben wurde, ist es, wenn eine Gesichtsauthentifizierung unter Verwendung eines IR-Bildes, das starkes Licht wie etwa Sonnenlicht enthält, durchgeführt wird, möglich, einen Einfluss des Sonnenlichts zu entfernen, indem anstelle eines Dunkelbildes ein Bild bei ausgeschalteter Lichtquelle verwendet wird. Somit kann eine Erkennungsrate verbessert werden. Wenn beispielsweise das IR-Bild unter Verwendung des Bilds bei ausgeschalteter Lichtquelle in einer Situation wie etwa im Innenraum korrigiert wird, in welcher Situation es eine geringe Menge an Umgebungslicht gibt, besteht jedoch eine Möglichkeit, dass ein Kontrast des Bildes gering wird und die Erkennungsrate verringert wird. Folglich ist es vorzuziehen, ein Umschalten zwischen einer Korrektur unter Verwendung eines Dunkelbildes und einer Korrektur unter Verwendung eines Bildes bei ausgeschalteter Lichtquelle gemäß einer Intensität des Hintergrundlichts durchzuführen.
(3-1. Bildverarbeitungsvorrichtung)
Eine Konfiguration einer Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Offenbarung wird mit Verweis auf 10 beschrieben. 10 ist ein Blockdiagramm, das die Konfiguration der Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 10 veranschaulicht ist, unterscheidet sich eine Bildverarbeitungsvorrichtung 20A von der in 6 veranschaulichten Bildverarbeitungsvorrichtung 20 in dem Punkt, dass eine IR-Bildverarbeitungsvorrichtung 210A eine Korrekturauswahleinheit 218 enthält.
Die Korrekturauswahleinheit 218 wählt ein Verfahren einer Korrektur in Bezug auf ein IR-Bild aus. Die Korrekturauswahleinheit 218 empfängt beispielsweise Informationen in Bezug auf eine Tiefe von einer Referenzeinheit 215. Beispielsweise empfängt die Korrekturauswahleinheit 218 von einer Bildkorrektureinheit 213 ein auf der Basis eines Bildes bei ausgeschalteter Lichtquelle korrigiertes IR-Bild. Die Korrekturauswahleinheit 218 wählt ein Korrekturverfahren auf der Basis des von der Bildkorrektureinheit 213 empfangenen IR-Bildes und der Informationen aus, die sich auf die Tiefe beziehen und von der Referenzeinheit 215 empfangen werden.
(3-2. Korrekturauswahlverfahren)
Das Korrekturauswahlverfahren wird mit Verweis auf 11 beschrieben. In 11 wird eine Situation angenommen, in der sich die Sonne S über einem Kopf einer Person M befindet.
Beispielsweise extrahiert die Korrekturauswahleinheit 218 Konturen bzw. Umrisse eines Kopfbereichs H und eines Rumpf- bzw. Körperbereichs B der Person M auf der Basis der Informationen, die sich auf die Tiefe beziehen und von der Referenzeinheit 215 empfangen werden. Beispielsweise berechnet die Korrekturauswahleinheit 218 einen Schwerpunkt G_M der Person M auf der Basis der extrahierten Umrisse.
Auf der Basis des von der Bildkorrektureinheit 213 empfangenen IR-Bildes nimmt beispielsweise die Korrekturauswahleinheit 218 einen Bereich, in dem eine Lichtmenge gesättigt ist, als die Sonne S an und extrahiert deren Umriss. Beispielsweise berechnet die Korrekturauswahleinheit 218 einen Schwerpunkt G_S der Sonne S auf der Basis des extrahierten Umrisses.
Die Korrekturauswahleinheit 218 zeichnet bzw. zieht eine gerade Linie L1, die den Schwerpunkt G_M und den Schwerpunkt G_S verbindet. Die Korrekturauswahleinheit 218 zieht eine orthogonale Linie O, die durch den Schwerpunkt G_S hindurchgeht und die zur geraden Linie L orthogonal ist. Beispielsweise zieht die Korrekturauswahleinheit 218 N gerade Linien (N ist eine ganze Zahl gleich oder größer als 2) wie etwa eine gerade Linie L2 und eine gerade Linie L3, die von der geraden Linie L1 zur Person M unter einem Winkel θ mit dem Schwerpunkt G_S als Ursprung innerhalb eines Bereichs von ±90 Grad von der geraden Linie L1 gezogen werden.
Die Korrekturauswahleinheit 218 extrahiert Kontaktpunkte zwischen den in Richtung der Person M gezogenen geraden Linien und dem Umriss der Person M. Beispielsweise extrahiert die Korrekturauswahleinheit 218 einen Kontaktpunkt I1 zwischen der geraden Linie L1 und dem Umriss der Person M, einen Kontaktpunkt I2 zwischen der geraden Linie L2 und dem Umriss der Person M und einen Kontaktpunkt I3 zwischen der geraden Linie L3 und dem Umriss der Person M.
Die Korrekturauswahleinheit 218 berechnet einen Abstand vom Schwerpunkt G_S zum Umriss der Person. Beispielsweise berechnet die Korrekturauswahleinheit 218 einen Abstand vom Schwerpunkt G_S zum Kontaktpunkt I1. Die Korrekturauswahleinheit 218 berechnet beispielsweise einen Abstand vom Schwerpunkt G_S zum Kontaktpunkt 12. Die Korrekturauswahleinheit 218 berechnet beispielsweise einen Abstand vom Schwerpunkt G_S zum Kontaktpunkt 13. Die Korrekturauswahleinheit 218 legt den Kürzesten unter den berechneten Abständen als den kürzesten Abstand fest. Im in 11 veranschaulichten Beispiel legt die Korrekturauswahleinheit 218 den Abstand vom Schwerpunkt G_S zum Kontaktpunkt I1 als den kürzesten Abstand fest.
Wenn beispielsweise der kürzeste Abstand gleich einem vorher festgelegten vorbestimmten Wert oder kürzer ist, bestimmt die Korrekturauswahleinheit 218, dass die Sonne nahe ist, und wählt eine Korrektur unter Verwendung eines Bilds bei abgeschalteter Lichtquelle aus. Falls beispielsweise der kürzeste Abstand den vorher festgelegten vorbestimmten Wert übersteigt oder bestimmt wird, dass keine Sonne vorhanden ist, wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines vorher in einer Speichereinheit 230 gespeicherten Dunkelbildes aus.
Man beachte, dass wie in 12 veranschaulicht selbst in einem Fall, in dem sich die Sonne S schräg zur Person M befindet, die Korrekturauswahleinheit 218 eine Korrektur mittels eines Verfahrens ähnlich dem in 11 veranschaulichten Verfahren auswählen kann. Konkret kann die Korrekturauswahleinheit 218 eine die Mitte des Schwerpunkts G_S und die Mitte des Schwerpunkts G_M verbindende gerade Linie L11 ziehen und eine Vielzahl gerader Linien wie etwa eine gerade Linie L12 und eine gerade Linie L13 ziehen, die unter einem Winkel θ von der geraden Linie innerhalb eines Bereichs von ±90 Grad geneigt sind. In diesem Fall kann die Korrekturauswahleinheit 218 einen Kontaktpunkt III zwischen der geraden Linie L11 und dem Umriss der Person M, einen Kontaktpunkt 112 zwischen der geraden Linie L12 und einem Umriss der Person M und einen Kontaktpunkt 113 zwischen der geraden Linie L13 und dem Umriss der Person M extrahieren und einen Abstand eines jeden davon berechnen. Die Korrekturauswahleinheit 218 kann dann den Kürzesten unter den berechneten Abständen als den kürzesten Abstand festlegen.
Effekte von Korrekturen, die mittels des Korrekturauswahlverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählt werden, werden mit Verweis auf 13A, 13B, 14A, 14B, 15A, 15B, 16A und 16B beschrieben. 13A bis 16B sind Ansichten, um die Effekte der mittels des Korrekturauswahlverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung ausgewählten Korrekturen zu beschreiben.
Ein in 13A veranschaulichtes IR-Bild IM2 ist ein IR-Bild vor einer Korrektur, in welchem Bild sich die Sonne S an einer verhältnismäßig nahen Position direkt oberhalb eines Kopfes einer Person M2 befindet. Im IR-Bild IM2 ist es aufgrund eines Einflusses von Sonnenlicht der Sonne S schwierig, ein Gesicht der Person M2 zu erkennen. Im Fall einer Korrektur solch eines IR-Bildes M2 wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Bildes bei ausgeschalteter Lichtquelle aus.
Ein in 13B veranschaulichtes IR-Bild IM2A ist ein IR-Bild, das mittels Ausführung der Korrektur an dem IR-Bild IM2 auf der Basis des Bildes bei ausgeschalteter Lichtquelle erfasst wird. Im IR-Bild IM2A ist der Einfluss des Sonnenlichts durch die auf dem Bild bei ausgeschalteter Lichtquelle basierende Korrektur entfernt. Somit kann das Gesicht der Person M2 im IR-Bild IM2A deutlich erkannt werden. Infolgedessen wird eine Erkennungsrate bei einer Gesichtsauthentifizierung der Person M2 verbessert.
Ein in 14A veranschaulichtes IR-Bild IM3 ist ein IR-Bild vor einer Korrektur, in welchem Bild sich die Sonne S an einer verhältnismäßig nahen Position schräg oberhalb eines Kopfes einer Person M3 befindet. Im IR-Bild IM3 ist es aufgrund eines Einflusses des Sonnenlichts der Sonne S schwierig, ein Gesicht der Person M3 zu erkennen. Im Fall einer Korrektur solch eines IR-Bildes IM3 wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Bildes bei ausgeschalteter Lichtquelle aus.
Ein in 14B veranschaulichtes IR-Bild IM3A ist ein IR-Bild, das mittels Ausführung der Korrektur an dem IR-Bild IM3 auf der Basis des Bildes bei ausgeschalteter Lichtquelle erfasst wird. Im IR-Bild IM3A ist der Einfluss des Sonnenlichts durch die auf dem Bild bei ausgeschalteter Lichtquelle basierende Korrektur entfernt. Somit kann das Gesicht der Person M3 im IR-Bild IM3A deutlich erkannt werden. Infolgedessen wird eine Erkennungsrate bei einer Gesichtsauthentifizierung der Person M3 verbessert.
Ein in 15A veranschaulichtes IR-Bild IM4 ist ein IR-Bild vor einer Korrektur, in welchem Bild sich die Sonne S an einer verhältnismäßig weit entfernten Position schräg oberhalb eines Kopfes einer Person M4 befindet. Im IR-Bild IM4 wird ein Gesicht der Person M4 verhältnismäßig einfach erkannt, da sich die Sonne an der verhältnismäßig weit entfernten Position befindet. Im Fall einer Korrektur solch eines IR-Bildes IM4 wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Dunkelbildes aus.
Ein in 15B veranschaulichtes IR-Bild IM4A ist ein IR-Bild, das mittels Ausführung der Korrektur an dem IR-Bild IM4 auf der Basis des Dunkelbildes erfasst wird. Im IR-Bild IM4A kann das Gesicht der Person M4 deutlicher erkannt werden, da ein Einfluss eines Hintergrunds durch die auf dem Dunkelbild basierende Korrektur entfernt ist. Infolgedessen wird eine Erkennungsrate bei einer Gesichtsauthentifizierung der Person M4 verbessert.
Ein in 16A veranschaulichtes IR-Bild IM5 ist ein IR-Bild vor einer Korrektur, in welchem Bild die Sonne nicht enthalten ist. Im IR-Bild IM4 wird ein Gesicht einer Person M5 verhältnismäßig leicht erkannt, da die Sonne nicht enthalten ist. Im Fall einer Korrektur solch eines IR-Bildes IM5 wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Dunkelbildes aus.
Ein in 16B veranschaulichtes IR-Bild IM5A ist ein IR-Bild, das mittels Ausführung der Korrektur an dem IR-Bild IM5 auf der Basis des Dunkelbildes erfasst wird. Im IR-Bild IM5A kann das Gesicht der Person M4 deutlicher erkannt werden, da ein Einfluss eines Hintergrunds durch die auf dem Dunkelbild basierende Korrektur entfernt ist. Infolgedessen wird eine Erkennungsrate bei einer Gesichtsauthentifizierung der Person M5 verbessert.
(3-3. Verarbeitung eines Korrekturauswahlverfahrens)
Ein Ablauf der Verarbeitung des Korrekturauswahlverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung wird mit Verweis auf 17 beschrieben. 17 ist ein Flussdiagramm, das ein Beispiel des Ablaufs der Verarbeitung des Korrekturauswahlverfahrens gemäß der zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Zunächst extrahiert auf der Basis von Informationen in Bezug auf die Tiefe die Korrekturauswahleinheit 218 einen Umriss einer Person, die in einem zu korrigierenden IR-Bild enthalten ist (Schritt S101). Danach geht die Verarbeitung zu Schritt S102 weiter.
Die Korrekturauswahleinheit 218 berechnet einen Schwerpunkt der Person auf der Basis des Umrisses der Person, welcher Umriss in Schritt S101 extrahiert wird (Schritt S102). Dann geht die Verarbeitung zu Schritt S103 weiter.
Die Korrekturauswahleinheit 218 extrahiert einen Umriss der Sonne auf der Basis eines Bereichs mit einer gesättigten Lichtmenge im zu korrigierenden IR-Bild (Schritt S103). Die Verarbeitung geht dann zu Schritt S104 weiter.
Die Korrekturauswahleinheit 218 berechnet einen Schwerpunkt der Sonne auf der Basis des Umrisses der Sonne, welcher Umriss in Schritt S103 extrahiert wird (Schritt S104). Die Verarbeitung geht dann zu Schritt S105 weiter.
Die Korrekturauswahleinheit 218 zieht eine gerade Linie, die den Schwerpunkt der Person, welcher Schwerpunkt in Schritt S102 berechnet wird, und den Schwerpunkt der Sonne verbindet, welcher Schwerpunkt in Schritt S104 berechnet wird (Schritt S105). Die Verarbeitung geht dann zu Schritt S106 weiter.
Die Korrekturauswahleinheit 218 zieht vom Schwerpunkt der Sonne eine Vielzahl gerader Linien zur Person (Schritt S106) . Konkret zieht die Korrekturauswahleinheit 218 eine Vielzahl gerader Linien innerhalb eines Bereichs von ±90 Grad vom Schwerpunkt der Sonne zu der in Schritt S105 gezogenen geraden Linie. Danach geht die Verarbeitung zu Schritt S107 weiter.
Die Korrekturauswahleinheit 218 berechnet einen Abstand zu einem Schnittpunkt von jeder der vom Schwerpunkt der Sonne in Schritt S106 gezogenen geraden Linien mit dem Umriss der Person (Schritt S107). Die Verarbeitung geht dann zu Schritt S108 weiter.
Die Korrekturauswahleinheit 218 bestimmt, ob der kürzeste Abstand der vom Schwerpunkt der Sonne zum Umriss der Person gezogenen geraden Linien gleich einem vorbestimmten Wert oder kürzer ist (Schritt S108). Falls bestimmt wird, dass der kürzeste Abstand gleich dem vorbestimmten Wert oder kürzer als dieser ist (Ja in Schritt S108), geht die Verarbeitung zu Schritt S109 weiter. Falls bestimmt wird, dass der kürzeste Abstand nicht gleich dem vorbestimmten Wert oder kürzer als dieser ist (Nein in Schritt S108), geht die Verarbeitung zu Schritt S110 weiter.
Falls in Schritt S108 Ja bestimmt wird, wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Bilds bei ausgeschalteter Lichtquelle aus (Schritt S109). Die Verarbeitung von 17 wird dann beendet.
Falls auf der anderen Seite in Schritt S108 Nein bestimmt wird, wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Dunkelbildes aus (Schritt S110). Danach wird die Verarbeitung von 17 beendet.
Wie oben beschrieben wurde, kann in der zweiten Ausführungsform eine Korrektur für ein IR-Bild gemäß einem Abstand zwischen einer Person und der Sonne geeignet ausgewählt werden. Folglich kann eine Erkennungsrate einer Gesichtsauthentifizierung oder dergleichen verbessert werden.
[4. Modifikationsbeispiel einer zweiten Ausführungsform]
Mit Verweis auf 18A und 18B wird ein Modifikationsbeispiel der zweiten Ausführungsform der vorliegenden Offenbarung beschrieben. 18A und 18B sind Ansichten, um das Modifikationsbeispiel der zweiten Ausführungsform der vorliegenden Offenbarung zu beschreiben.
Wie oben beschrieben wurde, wird in der zweiten Ausführungsform ein Korrekturverfahren auf der Basis des kürzesten Abstands von einem Schwerpunkt der Sonne zu einem Umriss einer Person ausgewählt. Da bei der Gesichtsauthentifizierung notwendige Informationen Gesichtsinformationen sind, kann in einem Modifikationsbeispiel der zweiten Ausführungsform beispielsweise ein Korrekturverfahren auf der Basis des kürzesten Abstands von einem Schwerpunkt der Sonne zu einem Umriss eines Gesichts einer Person ausgewählt werden.
Wie in 18A veranschaulicht ist, wird eine Situation betrachtet, in der sich die Sonne S auf einer Seite einer Person M befindet. In diesem Fall zieht die Korrekturauswahleinheit 218 eine gerade Linie L21 von einem Schwerpunkt G_S der Sonne zu einem Schwerpunkt G_M der Person M. Die Korrekturauswahleinheit 218 zieht dann eine Vielzahl gerader Linien wie etwa eine gerade Linie L22, eine gerade Linie L23 und eine gerade Linie L24 vom Schwerpunkt G_S in Richtung eines Umrisses der Person M. Die Korrekturauswahleinheit 218 extrahiert dann einen Kontaktpunkt 121 zwischen der geraden Linie L21 und dem Umriss der Person M, einen Kontaktpunkt 122 zwischen der geraden Linie L22 und dem Umriss der Person, einen Kontaktpunkt 123 zwischen der geraden Linie L23 und dem Umriss der Person M und einen Kontaktpunkt 124 zwischen der geraden Linie L24 und dem Umriss der Person M. In diesem Fall bestimmt die Korrekturauswahleinheit 218 einen Abstand vom Schwerpunkt G_S der Sonne zum Kontaktpunkt 122 als den kürzesten Abstand. Da der Schwerpunkt G_S verhältnismäßig nahe zum Kontaktpunkt 122 liegt, wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Bildes bei ausgeschalteter Lichtquelle aus. Da ein Abstand von einem Schwerpunkt G_S der Sonne zu einem Gesicht der Person M (Abstand vom Schwerpunkt G_S der Sonne zum Kontaktpunkt 123) verhältnismäßig lang ist, besteht jedoch eine Möglichkeit, dass eine gewünschte Erkennungsgenauigkeit durch die Korrektur unter Verwendung des Bilds bei ausgeschalteter Lichtquelle nicht erzielt werden kann, wenn eine Gesichtsauthentifizierung durchgeführt wird.
Wie in 18B veranschaulicht ist, berechnet die Korrekturauswahleinheit 218 im Modifikationsbeispiel der zweiten Ausführungsform einen Schwerpunkt G_F des Gesichts der Person M. Konkret extrahiert die Korrekturauswahleinheit 218 den Umriss der Person M auf der Basis von Informationen in Bezug auf die Tiefe und berechnet den Schwerpunkt G_F des Gesichts der Person M.
In dem in 18B veranschaulichten Beispiel zieht die Korrekturauswahleinheit 218 eine gerade Linie L31 vom Schwerpunkt G_S der Sonne zum Schwerpunkt G_F des Gesichts der Person M. Die Korrekturauswahleinheit 218 zieht dann eine Vielzahl gerader Linien wie etwa eine gerade Linie L32 und eine gerade Linie L33 vom Schwerpunkt G_S in Richtung eines Umrisses des Gesichts der Person M. Die Korrekturauswahleinheit 218 extrahiert dann einen Kontaktpunkt 131 zwischen der geraden Linie L31 und dem Umriss des Gesichts der Person M, einen Kontaktpunkt 132 zwischen der geraden Linie L32 und dem Umriss des Gesichts der Person M und einen Kontaktpunkt 133 zwischen der geraden Linie L33 und dem Umriss der Person M. In diesem Fall bestimmt die Korrekturauswahleinheit 218 einen Abstand vom Schwerpunkt G_S der Sonne zum Kontaktpunkt 131 als den kürzesten Abstand. Da der Schwerpunkt G_S der Sonne vom Kontaktpunkt 131 verhältnismäßig weit entfernt liegt, wählt die Korrekturauswahleinheit 218 eine Korrektur unter Verwendung eines Dunkelbildes aus. Infolgedessen ist es möglich, eine Erkennungsrate, wenn die Gesichtsauthentifizierung durchgeführt wird, zu verbessern.
Wie oben beschrieben wurde, kann im Modifikationsbeispiel der zweiten Ausführungsform eine Korrektur für ein IR-Bild gemäß einem Abstand von einem Gesicht einer Person zur Sonne geeignet ausgewählt werden. Somit kann die Erkennungsrate der Gesichtsauthentifizierung oder dergleichen weiter verbessert werden.
(Effekt)
Eine Bildverarbeitungsvorrichtung 20 gemäß einem Aspekt der vorliegenden Offenbarung enthält eine IR-Bilderzeugungseinheit 212, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, und eine Bildkorrektureinheit 213, die das erste IR-Bild auf der Basis des zweiten IR-Bildes korrigiert.
Somit kann das IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle eingeschaltet ist, auf der Basis des IR-Bildes korrigiert werden, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist. Infolgedessen ist es möglich, einen Einfluss von starkem Licht wie etwa der Sonne zu entfernen und eine Erkennungsrate zu verbessern.
Der IR-Bild-Frame kann auch eine Phase zum Erzeugen des ersten IR-Bildes und eine Phase zum Erzeugen des zweiten IR-Bildes umfassen.
Somit können ein IR-Bild in einem Zustand, in dem die Impulswelle eingeschaltet ist, und ein IR-Bild in einem Zustand, in dem die Impulswelle ausgeschaltet ist, in einem Mikroframe erzeugt werden.
Die Bildkorrektureinheit 213 kann auch auf der Basis des zweiten IR-Bildes Hintergrundlicht und eine im ersten IR-Bild enthaltene Dunkelkomponente entfernen.
Somit kann nur eine Komponente reflektierten Lichts extrahiert werden.
Die Bildkorrektureinheit 213 kann auch eine Belichtungszeit eines TOF-Sensors in jedem Frame individuell einstellen.
Die Belichtungszeit in jedem Stück einer Verarbeitung kann folglich geeignet eingestellt werden.
Die Bildkorrektureinheit 213 kann auch die Belichtungszeit des TOF-Sensors in sowohl dem IR-Bild-Frame als auch dem Tiefen-Frame individuell einstellen.
Ein IR-Bild und ein Tiefenbild können somit geeignet erzeugt werden.
Die Bildkorrektureinheit 213 kann auch die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase so steuern, dass sie länger als die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase ist.
Ein IR-Bild und ein Tiefenbild können folglich geeignet erzeugt werden, und der Leistungsverbrauch kann gesteuert werden.
Die Bildkorrektureinheit 213 kann auch die Belichtungszeit des TOF-Sensors in jedem des IR-Bild-Frames, des Tiefenbild-Frames und eines Frames zur Detektion eines Blicks der Augen individuell einstellen.
Folglich können ein IR-Bild und ein Tiefenbild geeignet erzeugt werden und kann ein Blick der Augen geeignet detektiert werden.
Die Bildkorrektureinheit 213 kann auch eine Steuerung auf solch eine Weise durchführen, dass die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase, die Belichtungszeit in einer im Frame zur Detektion des Blicks der Augen enthaltenen Phase und die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase in dieser Reihenfolge verlängert werden.
Somit können ein IR-Bild und ein Tiefenbild geeigneter erzeugt werden und kann ein Blick der Augen geeigneter detektiert werden. Außerdem kann der Leistungsverbrauch gesteuert werden.
Ferner kann eine Korrekturauswahleinheit 218, die ein Korrekturverfahren gemäß einer Positionsbeziehung zwischen einem im ersten IR-Bild enthaltenen Gegenstand und einer Lichtquelle auswählt, enthalten sein.
Somit ist es möglich, ein geeignetes Korrekturverfahren gemäß der Positionsbeziehung zwischen dem Gegenstand und der Lichtquelle auszuwählen und eine Erkennungsgenauigkeit zu verbessern.
Die Korrekturauswahleinheit 218 kann das Korrekturverfahren gemäß einem Abstand zwischen dem Gegenstand und der Lichtquelle auswählen.
Folglich ist es möglich, das Korrekturverfahren stärker gemäß dem Abstand zwischen dem Gegenstand und der Lichtquelle auszuwählen und ferner die Erkennungsgenauigkeit zu verbessern.
Die Korrekturauswahleinheit 218 kann für das erste IR-Bild entweder eine auf dem zweiten IR-Bild basierende Korrektur oder eine auf einem vorher in einer Speichereinheit 230 gespeicherten Dunkelbild basierende Korrektur gemäß dem Abstand zwischen dem Gegenstand und der Lichtquelle auswählen.
Somit ist es möglich, ein geeigneteres Korrekturverfahren gemäß dem Abstand zwischen dem Gegenstand und der Lichtquelle auszuwählen und die Erkennungsgenauigkeit weiter zu verbessern.
Für das erste IR-Bild kann die Korrekturauswahleinheit 218 die auf dem zweiten IR-Bild basierende Korrektur auswählen, falls der Abstand zwischen dem Gegenstand und der Lichtquelle gleich einer oder kürzer als eine Schwelle ist, und kann die auf dem Dunkelbild basierende Korrektur auswählen, falls der Abstand zwischen dem Gegenstand und der Lichtquelle die Schwelle übersteigt.
Infolgedessen wird die Erkennungsgenauigkeit verbessert, da ein geeigneteres legales bzw. zulässiges Verfahren dementsprechend ausgewählt werden kann, ob der Abstand zwischen dem Gegenstand und der Lichtquelle die Schwelle übersteigt.
Der Gegenstand kann ein Gesicht einer Person sein, und die Lichtquelle kann die Sonne sein.
Folglich ist es möglich, die Genauigkeit einer Gesichtsauthentifizierung im Freien, wo ein Einfluss des Sonnenlichts stark ist, zu verbessern.
Ein elektronisches Gerät 1 eines Aspekts der vorliegenden Offenbarung enthält einen TOF-Sensor, eine IR-Bilderzeugungseinheit 212, die ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, in einem IR-Bild-Frame auf der Basis einer Ausgabe vom TOF-Sensor erzeugt, und eine Bildkorrektureinheit 213, die das IR-Bild auf der Basis des zweiten IR-Bildes korrigiert.
Somit kann das IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle eingeschaltet ist, auf der Basis des IR-Bildes korrigiert werden, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist. Infolgedessen ist es möglich, einen Einfluss von starkem Licht wie etwa der Sonne zu entfernen und eine Erkennungsrate zu verbessern.
In einem Bildverarbeitungsverfahren eines Aspekts der vorliegenden Offenbarung werden ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, in einem IR-Bild-Frame erzeugt und wird das erste IR-Bild auf der Basis des zweiten IR-Bildes korrigiert.
Somit kann das IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle eingeschaltet ist, auf der Basis des IR-Bildes korrigiert werden, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist. Infolgedessen ist es möglich, einen Einfluss von starkem Licht wie etwa der Sonne zu entfernen und eine Erkennungsrate zu verbessern.
Ein Programm eines Aspekts der vorliegenden Offenbarung veranlasst, dass ein Computer als Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, und Bildkorrektureinheit fungiert, die das erste IR-Bild auf der Basis des zweiten IR-Bildes korrigiert.
Folglich kann das IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle eingeschaltet ist, auf der Basis des IR-Bildes korrigiert werden, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist. Infolgedessen ist es möglich, einen Einfluss von starkem Licht wie etwa der Sonne zu entfernen und eine Erkennungsrate zu verbessern.
Man beachte, dass die in der vorliegenden Beschreibung beschriebenen Effekte nur Beispiele sind und keine Beschränkungen darstellen und es einen unterschiedlichen Effekt geben kann.
Man beachte, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.

(1) Eine Bildverarbeitungsvorrichtung, aufweisend:
- eine Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist; und
- eine Bildkorrektureinheit, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.
(2) Die Bildverarbeitungsvorrichtung gemäß (1), wobei der IR-Bild-Frame eine Phase zum Erzeugen des ersten IR-Bildes und eine Phase zum Erzeugen des zweiten IR-Bildes umfasst.
(3) Die Bildverarbeitungsvorrichtung gemäß (1) oder (2), wobei die Bildkorrektureinheit Hintergrundlicht und eine im ersten IR-Bild enthaltene Dunkelkomponente auf Basis des zweiten IR-Bildes entfernt.
(4) Die Bildverarbeitungsvorrichtung gemäß einem von (1) bis (3), wobei die Bildkorrektureinheit eine Belichtungszeit eines TOF-Sensors in jedem Frame individuell einstellt.
(5) Die Bildverarbeitungsvorrichtung gemäß (4), wobei die Bildkorrektureinheit die Belichtungszeit des TOF-Sensors in sowohl dem IR-Bild-Frame als auch einem Tiefenbild-Frame individuell einstellt.
(6) Die Bildverarbeitungsvorrichtung gemäß (5), wobei die Bildkorrektureinheit die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase so steuert, dass sie länger als die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase ist.
(7) Die Bildverarbeitungsvorrichtung gemäß (4), wobei die Bildkorrektureinheit die Belichtungszeit des TOF-Sensors in jedem des IR-Bild-Frames, eines Tiefenbild-Frames und eines Frames zur Detektion des Blicks der Augen individuell einstellt.
(8) Die Bildverarbeitungsvorrichtung gemäß (7), wobei die Bildkorrektureinheit eine Steuerung auf solch eine Weise durchführt, dass die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase, die Belichtungszeit in einer im Frame zur Detektion des Blicks der Augen enthaltenen Phase und die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase in dieser Reihenfolge verlängert werden.
(9) Die Bildverarbeitungsvorrichtung gemäß einem von (1) bis (8), ferner aufweisend eine Korrekturauswahleinheit, die ein Korrekturverfahren gemäß einer Positionsbeziehung zwischen einem im ersten IR-Bild enthaltenen Gegenstand und einer Lichtquelle auswählt.
(10) Die Bildverarbeitungsvorrichtung gemäß (9), wobei die Korrekturauswahleinheit das Korrekturverfahren gemäß einem Abstand zwischen dem Gegenstand und der Lichtquelle auswählt.
(11) Die Bildverarbeitungsvorrichtung gemäß (9) oder (10), wobei die Korrekturauswahleinheit für das erste IR-Bild entweder eine auf dem zweiten IR-Bild basierende Korrektur oder eine auf einem vorher in einer Speichereinheit gespeicherten Dunkelbild basierende Korrektur gemäß dem Abstand zwischen dem Gegenstand und der Lichtquelle auswählt.
(12) Die Bildverarbeitungsvorrichtung gemäß einem von (9) bis (11), wobei die Korrekturauswahleinheit für das erste IR-Bild die auf dem zweiten IR-Bild basierende Korrektur auswählt, falls der Abstand zwischen dem Gegenstand und der Lichtquelle gleich einer oder kürzer als eine Schwelle ist, und die auf dem Dunkelbild basierende Korrektur auswählt, falls der Abstand zwischen dem Gegenstand und der Lichtquelle die Schwelle übersteigt.
(13) Die Bildverarbeitungsvorrichtung gemäß einem von (9) bis (12), wobei der Gegenstand ein Gesicht einer Person ist und die Lichtquelle die Sonne ist.
(14) Elektronisches Gerät, aufweisend:
- einen TOF-Sensor;
- eine Bilderzeugungseinheit, die auf Basis einer Ausgabe vom TOF-Sensor ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, in einem IR-Bild-Frame erzeugt; und
- eine Bildkorrektureinheit, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.
(15) Ein Bildverarbeitungsverfahren, aufweisend:
- ein Erzeugen, in einem IR-Bild-Frame, eines ersten IR-Bildes, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und eines zweiten IR-Bildes, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist; und
- ein Korrigieren des ersten IR-Bildes auf Basis des zweiten IR-Bildes.
(16) Ein Programm, das veranlasst, dass ein Computer als eine Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, und eine Bildkorrektureinheit fungiert, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.

Bezugszeichenliste

1: elektronisches Gerät
10: Bildgebungsvorrichtung
11: Lichtquelleneinheit
12: lichtempfangende Einheit
13: Bildgebungsverarbeitungseinheit
20: Bildverarbeitungsvorrichtung
30: Emissionslicht
31: Objekt
32: reflektiertes Licht
210: IR-Bildverarbeitungsvorrichtung
211, 221: Erfassungseinheit
212: IR-Bilderzeugungseinheit
213: Bildkorrektureinheit
214: Normalisierungseinheit
215: Referenzeinheit
216: Einheit zur Berechnung einer ersten Belichtungszeit
217: Einheit zur Berechnung einer ersten Belichtungszeit
218: Korrekturauswahleinheit
220: Tiefe-Bildverarbeitungsvorrichtung
222: Tiefe-Berechnungseinheit
230: Speichereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018117117 A [0004]

Claims

Bildverarbeitungsvorrichtung, aufweisend: eine Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist; und eine Bildkorrektureinheit, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der IR-Bild-Frame eine Phase zum Erzeugen des ersten IR-Bildes und eine Phase zum Erzeugen des zweiten IR-Bildes umfasst.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildkorrektureinheit Hintergrundlicht und eine im ersten IR-Bild enthaltene Dunkelkomponente auf Basis des zweiten IR-Bildes entfernt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Bildkorrektureinheit eine Belichtungszeit eines TOF-Sensors in jedem Frame individuell einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Bildkorrektureinheit die Belichtungszeit des TOF-Sensors in sowohl dem IR-Bild-Frame als auch einem Tiefenbild-Frame individuell einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Bildkorrektureinheit die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase so steuert, dass sie länger als die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase ist.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Bildkorrektureinheit die Belichtungszeit des TOF-Sensors in jedem des IR-Bild-Frames, eines Tiefenbild-Frames und eines Frames zur Detektion des Blicks der Augen individuell einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Bildkorrektureinheit eine Steuerung auf solch eine Weise durchführt, dass die Belichtungszeit in einer im IR-Bild-Frame enthaltenen Phase, die Belichtungszeit in einer im Frame zur Detektion des Blicks der Augen enthaltenen Phase und die Belichtungszeit in einer im Tiefenbild-Frame enthaltenen Phase in dieser Reihenfolge verlängert werden.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner aufweisend eine Korrekturauswahleinheit, die ein Korrekturverfahren gemäß einer Positionsbeziehung zwischen einem im ersten IR-Bild enthaltenen Gegenstand und einer Lichtquelle auswählt.
Bildverarbeitungsvorrichtung nach Anspruch 9, wobei die Korrekturauswahleinheit das Korrekturverfahren gemäß einem Abstand zwischen dem Gegenstand und der Lichtquelle auswählt.
Bildverarbeitungsvorrichtung nach Anspruch 10, wobei die Korrekturauswahleinheit für das erste IR-Bild entweder eine auf dem zweiten IR-Bild basierende Korrektur oder eine auf einem vorher in einer Speichereinheit gespeicherten Dunkelbild basierende Korrektur gemäß dem Abstand zwischen dem Gegenstand und der Lichtquelle auswählt.
Bildverarbeitungsvorrichtung nach Anspruch 11, wobei die Korrekturauswahleinheit für das erste IR-Bild die auf dem zweiten IR-Bild basierende Korrektur auswählt, falls der Abstand zwischen dem Gegenstand und der Lichtquelle gleich einer oder kürzer als eine Schwelle ist, und die auf dem Dunkelbild basierende Korrektur auswählt, falls der Abstand zwischen dem Gegenstand und der Lichtquelle die Schwelle übersteigt.
Bildverarbeitungsvorrichtung nach Anspruch 12, wobei der Gegenstand ein Gesicht einer Person ist und die Lichtquelle die Sonne ist.
Elektronisches Gerät, aufweisend: einen TOF-Sensor; eine Bilderzeugungseinheit, die auf Basis einer Ausgabe vom TOF-Sensor ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, in einem IR-Bild-Frame erzeugt; und eine Bildkorrektureinheit, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.
Bildverarbeitungsverfahren, aufweisend: ein Erzeugen, in einem IR-Bild-Frame, eines ersten IR-Bildes, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und eines zweiten IR-Bildes, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist; und ein Korrigieren des ersten IR-Bildes auf Basis des zweiten IR-Bildes.
Programm, das veranlasst, dass ein Computer als eine Bilderzeugungseinheit, die in einem IR-Bild-Frame ein erstes IR-Bild, das in einem Zustand aufgenommen wird, in dem eine Impulswelle eingeschaltet ist, und ein zweites IR-Bild erzeugt, das in einem Zustand aufgenommen wird, in dem die Impulswelle ausgeschaltet ist, und eine Bildkorrektureinheit fungiert, die das erste IR-Bild auf Basis des zweiten IR-Bildes korrigiert.