DE102013111706A1

DE102013111706A1 - Verfahren und Vorrichtungen zum Erkennen von Bewegung von Objekten und zugehörige Systeme

Info

Publication number: DE102013111706A1
Application number: DE102013111706.6A
Authority: DE
Inventors: Young-Gu Jin; Jung-Seop KIM; Dong-Wook Kwon; Kyung-Il Kim; Min-ho Kim; Gi-Sang Lee; Sang-Bo Lee; Jin-kyung Lee; Jin-Wuk Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-10-30
Filing date: 2013-10-24
Publication date: 2014-04-30
Also published as: US10186045B2; US9715740B2; US20170372486A1; US20140119603A1; KR101909630B1; CN103793685A; CN103793685B; KR20140054865A

Abstract

Ein Verfahren zum Erkennen einer Bewegung eines Objekts kann aufweisen: periodisches Abrufen (S200) von Tiefendaten (ZDATEN) einer ersten Auflösung und von zweidimensionalen Daten (FDATEN) einer zweiten Auflösung mit Bezug auf eine Szene unter Verwendung eines Geräts zur Bildaufnahme (100), wobei die zweite Auflösung höher ist als die erste Auflösung; Bestimmen eines Bewegungsverfolgungsbereichs (S400) durch Erkennen eines Zielobjekts in der Szene auf Grundlage der Tiefendaten (ZDATEN), so dass der Bewegungsverfolgungsbereich (BVB) einem Teil eines Frames entspricht und der Teil das Zielobjekt aufweist; periodisches Abrufen (S600) von Daten des Verfolgungsbereichs (VBDATEN) der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen; und/oder Analysieren (S800) der Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs (VBDATEN).

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN)
Diese Anmeldung beansprucht die Priorität der koreanischen Patentanmeldung Nr. 10-2012-0120883 , eingereicht am 30. Oktober 2012 bei dem Koreanischen Art für Geistiges Eigentum (KIPO), deren ganzer Inhalt hier durch Verweis aufgenommen ist.
HINTERGRUND
1. Gebiet
Einige beispielhafte Ausführungsformen beziehen sich im Allgemeinen auf Verarbeiten von Bilddaten. Einige beispielhafte Ausführungsformen können sich auf Verfahren und/oder Vorrichtungen zum Erkennen von Bewegung von Objekten auf Grundlage von Tiefendaten und/oder zweidimensionalen Daten beziehen.
2. Beschreibung des Stands der Technik
Ein zweidimensionaler Bildsensor kann verwendet werden, um zweidimensionale Daten zu erhalten, und die zwei-dimensionalen Daten können verwendet werden, um eine Form und/oder eine Bewegung eines Objekts zu erkennen. Insbesondere wird die Technologie zum Erkennen der Bewegung eines Benutzers verwendet, um eine Benutzerschnittstelle zu unterstützen. Die zweidimensionalen Daten für die Bewegungserkennung können Farbbilddaten oder Schwarz-Weiß-Bilddaten einschließen.
Alternativ kann ein Tiefensensor verwendet werden, um Tiefendaten zu erhalten, und die Tiefendaten können verwendet werden, um die Form und/oder die Bewegung des Objekts zu erkennen. Die Tiefendaten für die Bewegungserkennung können Information über einen Abstand von dem Sensor zu dem Objekt einschließen.
Im Allgemeinen können die zweidimensionalen Daten mit einer relativ höheren Auflösung zur Verfügung gestellt werden, aber es ist schwierig, das Objekt von dem Hintergrund auf Grundlage der zweidimensionalen Daten während der Datenverarbeitung für die Bewegungserkennung zu unterscheiden. Die Tiefendaten können mit einer relativ niedrigeren Auflösung zur Verfügung gestellt werden und deshalb ist es schwierig, die komplizierte Form des Objekts auf Grundlage der Tiefendaten während der Datenverarbeitung für die Bewegungserkennung zu erkennen.
ZUSAMMENFASSUNG
Einige beispielhafte Ausführungsformen des erfinderischen Konzepts können Verfahren zum Erkennen von Bewegung von Objekten zur Verfügung stellen, die in der Lage sind, die Bewegung der Objekte effizient auf Grundlage von Tiefendaten und/oder zweidimensionalen Daten zu erkennen.
Einige beispielhafte Ausführungsformen des erfinderischen Konzepts können Vorrichtungen zum Erkennen von Bewegung von Objekten zur Verfügung stellen, die in der Lage sind, die Bewegung der Objekte effizient auf Grundlage von Tiefendaten und/oder zweidimensionalen Daten zu erkennen.
Einige beispielhafte Ausführungsformen des erfinderischen Konzepts können Systeme zur Verfügung stellen, die die Verfahren und/oder Vorrichtungen zum Erkennen der Bewegung der Objekte anwenden.
In einigen beispielhaften Ausführungsformen kann ein Verfahren zum Erkennen von Bewegung eines Objekts aufweisen: periodisches Erhalten von Tiefendaten einer ersten Auflösung und zweidimensionalen Daten einer zweiten Auflösung mit Bezug auf eine Szene unter Verwendung eines Geräts zur Bildaufnahme, wobei die zweite Auflösung höher als die erste Auflösung ist; Bestimmen eines Bewegungsverfolgungsbereichs durch Erkennen eines Zielobjekts in der Szene auf Grundlage der Tiefendaten, so dass der Bewegungsverfolgungsbereich einem Teil eines Frames entspricht und der Teil das Zielobjekt aufweist; periodisches Erhalten von Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen; und/oder Analysieren der Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs.
In einigen beispielhaften Ausführungsformen kann periodisches Erhalten der Tiefendaten und der zweidimensionalen Daten Bereitstellen der Tiefendaten, die dem Frame entsprechen, mit einer ersten Frame-Periode unter Verwendung von Tiefenpixeln der ersten Auflösung; und/oder Bereitstellen der zweidimensionalen Daten, die dem Frame entsprechen, mit einer zweiten Frame-Periode unter Verwendung von Farbpixeln der zweiten Auflösung.
In einigen beispielhaften Ausführungsformen kann das Verfahren ferner Synchronisieren der Tiefendaten und der zweidimensionalen Daten, so dass sie aufeinander abgestimmt sind, aufweisen, wenn die erste Frame-Periode verschieden ist von der zweiten Frame-Periode.
In einigen beispielhaften Ausführungsformen können die Daten des Verfolgungsbereichs, die dem Bewegungsverfolgungsbereich entsprechen, mit der ersten Frame-Periode oder mit der zweiten Frame-Periode zur Verfügung gestellt werden.
In einigen beispielhaften Ausführungsformen kann periodisches Erhalten der Daten des Verfolgungsbereichs der zweiten Auflösung aufweisen: Extrahieren von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den zweidimensionalen Daten der zweiten Auflösung, die dem Frame entsprechen; und/oder Bereitstellen der Bereichsbilddaten der zweiten Auflösung als die Daten des Verfolgungsbereichs.
In einigen beispielhaften Ausführungsformen kann periodisches Erhalten der Daten des Verfolgungsbereichs der zweiten Auflösung aufweisen: Extrahieren von Bereichstiefendaten der ersten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den Tiefendaten der ersten Auflösung, die dem Frame entsprechen; Extrahieren von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den zweidimensionalen Daten der zweiten Auflösung, die dem Frame entsprechen; Kompensieren von Bereichstiefendaten der ersten Auflösung unter Verwendung von Bereichsbilddaten der zweiten Auflösung, um Bereichstiefendaten der zweiten Auflösung zu erzeugen; und/oder Bereitstellen von Bereichstiefendaten der zweiten Auflösung als die Daten des Verfolgungsbereichs.
In einigen beispielhaften Ausführungsformen können die Tiefenpixel und die Farbpixel in einer gemeinsamen Pixel-Matrix angeordnet sein.
In einigen beispielhaften Ausführungsformen können die Tiefenpixel und die Farbpixel jeweils in getrennten Pixel-Matrizen angeordnet sein, die voneinander räumlich getrennt sind.
In einigen beispielhaften Ausführungsformen kann periodisches Erhalten der Tiefendaten und der zweidimensionalen Daten aufweisen periodisches Bereitstellen von Rohdaten, die dem Frame entsprechen, unter Verwendung von Flugzeit (TOF, engl.: time-of-flight)-Tiefenpixeln, wobei die TOF-Tiefenpixel in Reaktion auf eine Mehrzahl von Demodulationssignalen mit voneinander verschiedenen Phasen arbeiten; und/oder Berechnen der Tiefendaten der ersten Auflösung und der zweidimensionalen Daten der zweiten Auflösung auf Grundlage der Rohdaten.
In einigen beispielhaften Ausführungsformen kann Berechnen der Tiefendaten der ersten Auflösung und der zweidimensionalen Daten der zweiten Auflösung aufweisen: Bereitstellen der Tiefendaten der ersten Auflösung durch Kombinieren von allen M Bits der Rohdaten, wobei M eine positive ganze Zahl gleich oder größer als zwei ist, und/oder Bereitstellen der zweidimensionalen Daten der zweiten Auflösung durch Kombinieren von allen N Bits der Rohdaten, wobei N eine positive ganze Zahl gleich oder kleiner als M ist.
In einigen beispielhaften Ausführungsformen können die Demodulationssignale eine Phasendifferenz von 0, 90, 180 bzw. 270 Grad haben bezüglich zu Transmissionslicht, das von dem Gerät zur Bildaufnahme ausgestrahlt wird.
In einigen beispielhaften Ausführungsformen kann Bereitstellen der Tiefdaten der ersten Auflösung Bereitstellen von einem Bitwert der Tiefendaten auf Grundlage von vier Bitwerten der Rohdaten aufweisen, wobei die vier Bitwerte jeweils den vier Demodulationssignalen mit der Phasendifferenz von 0, 90, 180 bzw. 270 Grad entsprechen.
In einigen beispielhaften Ausführungsformen kann Bereitstellen der zweidimensionalen Daten der zweiten Auflösung aufweisen: Bereitstellen von einem Bitwert der zweidimensionalen Daten durch Summieren von zwei Bitwerten der Rohdaten, wobei die zwei Bitwerte jeweils den zwei Demodulationssignalen mit den Phasendifferenzen von 0 bzw. 180 Grad entsprechen; und/oder Bereitstellen eines anderen Bitwerts der zweidimensionalen Daten durch Summieren von zwei anderen Bitwerten, der Rohdaten, wobei die zwei anderen Bitwerte jeweils den zwei Demodulationssignalen mit den Phasendifferenzen von 90 bzw. 270 Grad entsprechen.
In einigen beispielhaften Ausführungsformen kann periodisches Erhalten der Daten des Verfolgungsbereichs der zweiten Auflösung aufweisen: Extrahieren von Bereichstiefendaten der ersten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den Tiefendaten der ersten Auflösung, die dem Frame entsprechen, Extrahieren von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den zweidimensionalen Daten der zweiten Auflösung, die dem Frame entsprechen; Kompensieren von Bereichstiefendaten der ersten Auflösung unter Verwendung der Bereichsbilddaten der zweiten Auflösung, um Bereichstiefendaten der zweiten Auflösung zu erzeugen; und/oder Bereitstellen der Bereichstiefendaten der zweiten Auflösung als die Daten des Verfolgungsbereichs.
In einigen beispielhaften Ausführungsformen kann Bestimmen des Bewegungsverfolgungsbereichs aufweisen: Bestimmen von Koordinaten eines zentralen Punkts des Bewegungsverfolgungsbereichs in dem Frame; und/oder Bestimmen einer Größe des Bewegungsverfolgungsbereichs in dem Frame.
In einigen beispielhaften Ausführungsformen kann das Verfahren ferner Aktualisieren des Bewegungsverfolgungsbereichs gemäß der Bewegung des Zielobjekts aufweisen.
In einigen beispielhaften Ausführungsformen kann Aktualisieren des Bewegungsverfolgungsbereichs Erfassen einer Veränderung einer Position des Zielobjekts in der Szene auf Grundlage der Tiefendaten und/oder von sich verändernden Koordinaten eines zentralen Punkts des Bewegungsverfolgungsbereichs in dem Frame auf Grundlage der Veränderung der Position des Zielobjekts in der Szene aufweisen.
In einigen beispielhaften Ausführungsformen kann Aktualisieren des Bewegungsverfolgungsbereichs aufweisen: Erfassen einer Veränderung eines Abstands zu dem Zielobjekt auf Grundlage der Tiefendaten; Verringern einer Größe des Bewegungsverfolgungsbereichs, wenn sich der Abstand zu dem Zielobjekt erhöht; und/oder Erhöhen der Größe des Bewegungsverfolgungsbereichs, wenn sich der Abstand zu dem Zielobjekt verringert.
In einigen beispielhaften Ausführungsformen kann eine Vorrichtung zum Erkennen einer Bewegung eines Objekts aufweisen: ein Gerät zur Bildaufnahme, das ausgelegt ist, periodisch Tiefendaten einer ersten Auflösung und zweidimensionale Daten einer zweiten Auflösung mit Bezug auf eine Szene zur Verfügung zu stellen, wobei die zweite Auflösung höher als die erste Auflösung ist; eine Verfolgung des Bewegungsbereichs, die ausgelegt ist, einen Bewegungsverfolgungsbereich zu bestimmen, indem sie ein Zielobjekt in der Szene auf Grundlage der Tiefendaten erkennt, so dass der Bewegungsverfolgungsbereich einem Teil eines Frames entspricht und der Teil das Zielobjekt aufweist, und ausgelegt ist, periodisch Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, zur Verfügung zu stellen; und/oder einen Bewegungsanalysator, der ausgelegt ist, die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs zu analysieren.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme aufweisen: eine Pixel-Matrix, in der Tiefenpixel der ersten Auflösung und Farbpixel der zweiten Auflösung abwechselnd angeordnet sind, wobei die Tiefenpixel die Tiefendaten mit einer ersten Frame-Periode zur Verfügung stellen und die Farbpixel die zweidimensionalen Daten mit einer zweitem Frame-Periode zur Verfügung stellen.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme aufweisen: eine erste Pixel-Matrix, in der Tiefen-Pixel der ersten Auflösung angeordnet sind, wobei die Tiefen-Pixel die Tiefendaten mit einer ersten Frame-Periode zur Verfügung stellen; und/oder eine zweite Pixel-Matrix, in der Farbpixel der zweiten Auflösung angeordnet sind, wobei die Farbpixel die zweidimensionalen Daten mit einer zweiten Frame-Periode zur Verfügung stellen.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme aufweisen: eine Pixel-Matrix, in der Flugzeit(TOF)-Tiefenpixel angeordnet sind, wobei die TOF-Tiefenpixel in Reaktion auf eine Mehrzahl von Demodulationssignalen mit voneinander verschiedenen Phasen arbeiten, um periodisch Rohdaten, die dem Frame entsprechen, zur Verfügung zu stellen.
In einigen beispielhaften Ausführungsformen können die Demodulationssignale eine Phasendifferenz von 0, 90, 180 bzw. 270 Grad haben mit Bezug auf Transmissionslicht, das von dem Gerät zur Bildaufnahme ausgestrahlt wird, und/oder ein Bitwert der Tiefendaten kann auf Grundlage von vier Bitwerten der Rohdaten zur Verfügung gestellt werden, wobei die vier Bitwerte jeweils den vier Demodulationssignalen mit der Phasendifferenz von 0, 90, 180 bzw. 270 Grad entsprechen.
In einigen beispielhaften Ausführungsformen kann ein System aufweisen: ein Gerät zur Bildaufnahme, das ausgelegt ist, periodisch Tiefendaten einer ersten Auflösung, die einem Frame einer Szene entsprechen, und zweidimensionale Daten einer zweiten Auflösung, die dem Frame entsprechen, zur Verfügung zu stellen, wobei die zweite Auflösung höher ist als die erste Auflösung; einen Bewegungsbereichsverfolger, der ausgelegt ist, einen Bewegungsverfolgungsbereich zu bestimmen, indem er ein Zielobjekt in der Szene auf Grundlage der Tiefendaten erkennt, so dass der Bewegungsverfolgungsbereich einem Teil des Frames entspricht und der Teil das Zielobjekt aufweist, und ausgelegt ist, Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, periodisch zur Verfügung zu stellen; einen Bewegungsanalysator, der ausgelegt ist, Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs zu analysieren; und/oder ein Steuerungsgerät, das ausgelegt ist, ein Ereignis zu erzeugen, das der Bewegung des Zielobjekts entspricht, auf Grundlage eines Analyseresultats des Bewegungsanalysators.
In einigen beispielhaften Ausführungsformen kann das System ein Benutzerschnittstellensystem sein, das durch Erkennen einer Bewegung eines Benutzers funktioniert. Das Zielobjekt kann einen Körper des Benutzers oder einen Teil des Körpers des Benutzers einschließen.
In einigen beispielhaften Ausführungsformen kann eine Vorrichtung zum Erkennen einer Bewegung eines Objekts aufweisen: ein erstes Gerät, das ausgelegt ist, Tiefendaten für eine Szene, welche das Objekt bei einer ersten Auflösung enthalten, und zweidimensionale Daten für die Szene bei einer zweiten Auflösung zur Verfügung zu stellen; ein zweites Gerät, das ausgelegt ist, einen Bewegungsverfolgungsbereich zu bestimmen, indem es das Objekt auf Grundlage der Tiefendaten erkennt, und ausgelegt ist, Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, zur Verfügung zu stellen; und/oder ein drittes Gerät, das ausgelegt ist, die Bewegung des Objekts auf Grundlage der Daten des Verfolgungsbereichs zu analysieren. Die zweite Auflösung kann höher als die erste Auflösung sein. Der Bewegungsverfolgungsbereich kann einem Teil eines Frames entsprechen. Der Teil des Frames kann das Objekt aufweisen.
In einigen beispielhaften Ausführungsformen kann das erste Gerät eine Messeinheit umfassen. Die Messeinheit kann eine Tiefenpixel-Matrix umfassen. Die Tiefenpixel-Matrix kann ausgelegt sein, Tiefeninformation auszugeben.
In einigen beispielhaften Ausführungsformen kann das erste Gerät eine Messeinheit umfassen. Die Messeinheit kann eine Farbpixel-Matrix umfassen. Die Farbpixel-Matrix kann ausgelegt sein, Farbinformation auszugeben.
In einigen beispielhaften Ausführungsformen kann das erste Gerät eine Messeinheit umfassen. Die Messeinheit kann eine Tiefenpixel-Matrix und eine Farbpixel-Matrix umfassen. Die Tiefenpixel-Matrix kann ausgelegt sein, Tiefeninformation auszugeben. Die Farbpixel-Matrix kann ausgelegt sein, Farbinformation auszugeben.
In einigen beispielhaften Ausführungsformen kann das erste Gerät eine Messeinheit umfassen. Die Messeinheit kann eine Pixel-Matrix umfassen. Die Pixel-Matrix kann ausgelegt sein, Tiefeninformation, Farbinformation, oder Tiefen- und Farbinformation auszugeben.
In einigen beispielhaften Ausführungsformen kann ein Verfahren zum Erkennen einer Bewegung eines Objekts aufweisen: Erhalten von Tiefendaten einer ersten Auflösung mit Bezug auf eine Szene; Erhalten von zweidimensionalen Daten einer zweiten Auflösung mit Bezug auf die Szene; Erkennen des Objekts in der Szene auf Grundlage der Tiefendaten; Verfolgen des Objekts unter Verwendung eines Bewegungsverfolgungsbereichs, um Daten des Verfolgungsbereichs der zweiten Auflösung zur Verfügung zu stellen; und/oder Analysieren der Bewegung des Objekts auf Grundlage der Daten des Verfolgungsbereichs. Die zweite Auflösung kann höher als die erste Auflösung sein.
In einigen beispielhaften Ausführungsformen kann Erhalten der Tiefendaten der ersten Auflösung aufweisen: Verwenden einer Tiefenpixel-Matrix einer Messeinheit, um Tiefeninformation auszugeben.
In einigen beispielhaften Ausführungsformen kann Erhalten der zweidimensionalen Daten der zweiten Auflösung Verwenden einer Farbpixel-Matrix einer Messeinheit, um Farbinformation auszugeben, aufweisen.
In einigen beispielhaften Ausührungsformen kann Erhalten der Tiefendaten der ersten Auflösung Verwenden einer Tiefenpixel-Matrix einer Messeinheit aufweisen, um Tiefeninformation auszugeben, und/oder Erhalten der zweidimensionalen Daten der zweiten Auflösung kann Verwenden einer Farbpixel-Matrix der Messeinheit aufweisen, um Farbinformation auszugeben.
In einigen beispielhaften Ausführungsformen kann Erhalten der Tiefendaten der ersten Auflösung Verwenden einer Pixel-Matrix einer Messeinheit aufweisen, um Tiefeninformation auszugeben, und/oder Erhalten der zweidimensionalen Daten der zweiten Auflösung kann Verwenden der Pixel-Matrix der Messeinheit aufweisen, um Farbinformation auszugeben.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die obigen und/oder andere Gesichtspunkte und Vorteile werden offenkundiger werden und von der folgenden detaillierten Beschreibung von beispielhaften Ausführungsformen einfacher verstanden werden, in Verbindung mit den begleitenden Zeichnungen, in denen:
1 ein Flussdiagramm ist, das ein Verfahren zum Erkennen einer Bewegung eines Objekts gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
2 ein Diagramm ist, das ein Beispiel einer Verwendung eines System gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
3 ein Blockdiagramm ist, das ein System gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
4 ein Blockdiagramm ist, das ein Beispiel eines Geräts zur Bildaufnahme in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
5 ein Diagramm ist, das ein Beispiel einer Messeinheit in dem Gerät zur Bildaufnahme von 4 illustriert;
6 ein Diagramm ist, das ein Beispiel einer Pixel-Matrix in der Messeinheit von 5 illustriert;
7 ein Diagramm ist, das einen Frame von beispielhaften Tiefendaten, die von einem Gerät zur Bildaufnahme erhalten werden, illustriert;
8 ein Diagramm ist, das einen Frame von beispielhaften zweidimensionalen Daten, die von einem Gerät zur Bildaufnahme erhalten werden, illustriert;
9 ein Diagramm ist, das ein Beispiel eines Bewegungsverfolgungsbereichs illustriert, der gemäß einigen beispielhaften Ausführungsformen der erfinderischen Konzepts bestimmt wird;
10 ein Diagramm ist, das ein Beispiel einer Messeinheit in dem Gerät zur Bildaufnahme von 4 illustriert;
11A und 11B Diagramme sind, die beispielhafte Pixel-Matrizen in der Messeinheit von 10 illustrieren;
12A, 12B, 12C und 12D Schaltdiagramme sind, die einige beispielhafte Einheitspixel in einer Pixel-Matrix illustrieren;
13 ein Flussdiagramm ist, das ein Verfahren der Erkennung einer Bewegung eines Objekts gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
14 ein Blockdiagramm ist, das ein Beispiel einen Bewegungsbereichsverfolger in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
15A, 15B und 15C Diagramme sind, die beispielhafte Vorgänge eines Synchronisierers in dem Bewegungsbereichsverfolger von 14 illustrieren;
16 ein Diagramm zur Beschreibung von Daten des Verfolgungsbereichs, die durch den Bewegungsbereichsverfolger von 14 zur Verfügung gestellt werden, ist;
17A und 17B Diagramme zur Beschreibung eines Verfahrens des Aktualisierens eines Bewegungsverfolgungsbereichs gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts sind;
18 ein Flussdiagramm ist, das ein Verfahren der Erkennung einer Bewegung eines Objekts gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
19 ein Blockdiagramm ist, das ein Beispiel einer Verfolgung des Bewegungsbereichs in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
20 ein Diagramm zur Beschreibung von Daten des Verfolgungsbereichs, die von der Verfolgung des Bewegungsbereichs von 19 zur Verfügung gestellt werden, ist;
21 ein Flussdiagramm ist, das ein Verfahren der Erkennung einer Bewegung eines Objekts gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
22 ein Blockdiagramm ist, das ein Beispiel eines Bewegungsbereichsverfolgers in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
23 ein Diagramm ist, das ein Beispiel einer Pixel-Matrix, die in einem Tiefensensor enthalten ist, illustriert;
24 ein Schaltdiagramm ist, das beispielhafte Flugzeit(TOF)-Tiefenpixel in der Pixel-Matrix von 23 illustriert.
25 ein Zeitablaufdiagramm ist, das einen Betrieb der TOF-Pixel von 24 illustriert;
26 ein Diagramm ist, das eine beispielhafte Kombination zur Bereitstellung von Tiefendaten illustriert;
27 ein Diagramm zur Beschreibung eines Verfahrens der Berechnung von zweidimensionalen Daten auf Grundlage von Rohdaten, die unter Verwendung von Tiefenpixeln erhalten werden, ist;
28A und 28B Diagramme sind, die beispielhafte Kombinationen zur Bereitstellung von zweidimensionalen Daten illustrieren;
29 ein Blockdiagramm einer Kamera mit einem dreidimensionalen Bildsensor gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert;
30 ein Blockdiagramm eines Rechnersystems mit einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert; und
31 ein Blockdiagramm einer Schnittstelle, die in dem Rechnersystem von 30 einsetzbar ist, gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
AUSFÜHRLICHE BESCHREIBUNG
Beispielhafte Ausführungsformen werden vollständiger nun mit Bezug auf die begleitenden Zeichnungen beschrieben werden. Ausführungsformen können allerdings in vielen verscheiden Formen realisiert sein und sollten nicht als auf die Ausführungsformen, die hier dargelegt werden, beschränkt angesehen werden. Vielmehr werden diese beispielhaften Ausführungsformen zur Verfügung gestellt, so dass diese Offenbarung gründlich und vollständig ist und dem Fachmann den Umfang vollständig aufzeigt. In den Zeichnungen können die Dicken von Schichten und Bereichen zum Zwecke der Klarheit übertrieben sein.
Wenn ein Element als „auf”, „verbunden mit”, „elektrisch verbunden mit” oder „gekoppelt mit” einer anderen Komponente bezeichnet wird, versteht es sich, dass es direkt auf, verbunden mit, elektrisch verbunden mit, gekoppelt mit der anderen Komponente sein kann oder dass dazwischentretende Komponenten vorhanden sein können. Wenn dagegen eine Komponente als „direkt auf”, „direkt verbunden mit”, „direkt elektrisch verbunden mit” oder „direkt gekoppelt mit” einer anderen Komponente bezeichnet wird, sind keine dazwischentretenden Komponenten vorhanden. So wie er verwendet wird, schließt der Begriff „und/oder” jede beliebige und alle Kombinationen von einem oder mehreren der zugehörigen aufgelisteten Objekte ein.
Obwohl die Begriffe „erste(r)”, „zweite(r)”, „dritte(r)” usw. hier verwendet werden können, um verschiedene Elemente, Komponenten, Bereiche, Schichten und/oder Abschnitte zu beschreiben, wird offensichtlich sein, dass diese Elemente, Komponenten, Bereiche, Schichten und/oder Abschnitte nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element, eine Komponente, einen Bereich, eine Schicht und/oder einen Abschnitt von einem anderen Element, einer anderen Komponente, einem anderen Bereich, einer anderen Schicht und/oder einem anderen Abschnitt zu unterscheiden. Zum Beispiel könnte ein erstes Element, eine erste Komponente, ein erster Bereich, eine erste Schicht und/oder ein erster Abschnitt ein zweites Element, eine zweite Komponente, ein zweiter Bereich, eine zweite Schicht und/oder ein zweiter Abschnitt genannt werden, ohne von der Lehre von beispielhaften Ausführungsformen abzuweichen.
Begriffe mit einem räumlichen Bezug, wie etwa „unter”, „unterhalb”, „unterer”, „über”, „oberer” und dergleichen können hier verwendet werden zur Vereinfachung der Beschreibung, um die Beziehung einer Komponente und/oder einer Eigenschaft zu einer anderen Komponente und/oder einer anderen Eigenschaft oder anderen Komponenten und/oder anderen Eigenschaften zu beschreiben, wie sie in den Figuren illustriert werden. Es versteht sich, dass die Begriffe mit einem räumlichen Bezug verschiedene Orientierungen des Bauteils in Verwendung oder Betrieb zusätzlich zu der Orientierung, die in den Figuren dargestellt wird, umfassen sollen.
Die Terminologie, die hier verwendet wird, dient nur dem Zweck, spezielle beispielhafte Ausführungsformen zu beschreiben, und soll nicht einschränkend für beispielhafte Ausführungsformen sein. Die Singularformen „ein(e)” und „der/die/das” sollen, so wie sie hier verwendet werden, auch die Pluralformen einschließen, wenn der Zusammenhang es nicht klar anders anzeigt. Es versteht sich ferner, dass die Begriffe „aufweisen” und/oder „aufweisend” das Vorhandensein von angegebenen Eigenschaften, Ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten spezifizieren, wenn sie in dieser Spezifikation verwendet werden, aber nicht das Vorhandensein oder die Hinzufügung von einer oder mehreren anderen Eigenschaften, Ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
Beispielhafte Ausführungsformen können hier mit Bezug auf Querschnittillustrationen, welche schematische Illustrationen von idealisierten beispielhaften Ausführungsformen (und Zwischenstrukturen) sind, beschrieben werden. Als solche sind Abwandlungen von den Gestalten der Illustrationen zum Beispiel als Folge von Herstellungstechniken und/oder Toleranzen zu erwarten. Deshalb sollten beispielhafte Ausführungsformen nicht als beschränkt auf die speziellen Formen von Bereichen, die hier illustriert sind, angesehen werden, sondern sollen Abweichungen in Gestalten, die die Folge zum Beispiel von der Herstellung sind, einschließen. Zum Beispiel wird ein implantierter Bereich, der als ein Rechteck dargestellt ist, in der Regel abgerundete oder gebogene Eigenschaften und/oder einen Gradienten von Implantationskonzentration an seinen Kanten statt eines binären Wechsels von implantiertem zu nicht-implantiertem Bereich haben. In ähnlicher Weise wird ein vergrabener Bereich, der durch Implantation gebildet wird, zu einer gewissen Implantation in dem Bereich zwischen dem vergrabenen Bereich und der Oberfläche, durch die die Implantation stattfindet, führen. Folglich sind die Bereiche, die in den Figuren illustriert werden, in ihrer Natur schematisch, ihre Gestalten sollen nicht die tatsächliche Gestalt eines Bereichs eines Geräts illustrieren und ihre Gestalten sollen nicht den Umfang der beispielhaften Ausführungsformen einschränken.
Wenn es nicht anders definiert wird, haben alle Begriffe, die hier verwendet werden (einschließlich technischer und wissenschaftlicher Begriffe), dieselbe Bedeutung, wie sie gewöhnlich von einem Fachmann auf dem Gebiet, zu dem beispielhafte Ausführungsformen gehören, verstanden wird. Es versteht sich ferner, dass Begriffe wie etwa diejenigen, die in einschlägigen Wörterbüchern definiert werden, mit einer Bedeutung interpretiert werden sollen, die konsistent mit ihrer Bedeutung in dem Zusammenhang der relevanten Technik ist, und nicht in einem idealisierten oder übermäßig förmlichen Sinn interpretiert werden sollen, wenn sie nicht ausdrücklich so hier definiert werden.
Es wird nun Bezug genommen auf beispielhafte Ausführungsformen, die in den begleitenden Zeichnungen illustriert sind, wobei gleiche Bezugsziffern durchgehend gleiche Komponenten bezeichnen.
1 ist ein Flussdiagramm, das ein Verfahren zum Erkennen einer Bewegung eines Objekts gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 1 werden Tiefendaten ZDATEN einer ersten Auflösung RES1 und zweidimensionale Daten FDATEN einer zweiten Auflösung RES2 mit Bezug auf eine Szene oder eine Folge von Szenen unter Verwendung eines Geräts zur Bildaufnahme erhalten (S200). Die zweite Auflösung RES2 ist höher als die erste Auflösung RES1. Zum Beispiel kann die erste Auflösung RES1 die Quarter-Video-Graphic-Array(QVGA)-Auflösung von 320·240 Pixeln oder eine niedrigere Auflösung als die QVGA-Auflösung sein. Die zweite Auflösung RES2 kann die High-Density(HD)-Auflösung von 1280·720 Pixeln oder eine höhere Auflösung als die HD-Auflösung sein.
Die Tiefendaten ZDATEN stellen die Tiefeninformation oder die Abstandsinformation der Szene, die von dem Gerät zur Bildaufnahme aufgenommen wird, dar und die zweidimensionalen Daten FDATEN stellen die Bildinformation der Szene dar. Die Tiefendaten ZDATEN können in einer Form einer Tiefenkarte zur Verfügung gestellt werden, in der die Abstandsinformation der jeweiligen Teile der Szene in Einheit eines Pixels dargestellt wird. Die zweidimensionalen Daten FDATEN können die Farbinformation oder das Schwarz-Weiß-Bild der Szene darstellen.
Die Tiefendaten ZDATEN und die zweidimensionalen Daten FDATEN können periodisch in Einheiten eines Frames zur Verfügung gestellt werden. Eine erste Frame-Periode, die einer Zeitspanne zwischen den Frames der Tiefendaten ZDATEN entspricht, kann gleich oder verschieden von einer zweiten Frame-Periode, die einer Zeitspanne zwischen den Frames der zweidimensionalen Daten FDATEN entspricht, sein. Zum Beispiel kann die Frame-Rate der Tiefendaten ZDATEN 15 bis 30 Frames pro Sekunde (fps) sein und die Frame-Rate der zweidimensionalen Daten FDATEN kann 30 bis 60 fps sein.
Die Szene kann einen festen Hintergrund und ein Zielobjekt, das sich vor dem Hintergrund bewegt, aufweisen. Ein Bewegungsverfolgungsbereich BVB wird durch Erkennen des Zielobjekts in der Szene auf Grundlage der Tiefendaten ZDATEN bestimmt (S400). Der Bewegungsverfolgungsbereich BVB entspricht einem Teil des Frames und der Teil weist das Zielobjekt auf. Die Erkennung des Zielobjekts kann auf Grundlage der Tiefendaten, die ein paar Frames, die nacheinander aufgenommen werden, entsprechen, durchgeführt werden.
Das Zielobjekt kann ein unabhängiges Ding wie etwa ein Ball, ein menschlicher Körper usw. sein oder kann ein Teil des unabhängigen Dings wie etwa eine Hand, ein Arm, ein Kopf usw. sein. Die Erkennung des Zielobjekts kann nach verschiedenen Kriterien gemäß der Art der aufgenommenen Szene durchgeführt werden. Wenn zum Beispiel die Szene eine Mehrzahl von sich bewegenden Objekten aufweist, kann wenigstens ein Zielobjekt auf Grundlage der Art, des Abstands, der Geschwindigkeit der Objekte usw. bestimmt werden. In einigen beispielhaften Ausführungsformen kann ein einfacher dreidimensionaler Erkennungsalgorithmus verwendet werden, um das Zielobjekt auf Grundlage der Tiefendaten ZDATEN zu bestimmen. Der Bewegungsverfolgungsbereich BVB kann auf Grundlage einer solchen Erkennung des Zielobjekts bestimmt werden. Im Allgemeinen entspricht das Zielobjekt einem Teil der Szene und deshalb entspricht der Bewegungsverfolgungsbereich BVB einem Teil des ganzen Frames.
Nachdem der Bewegungsverfolgungsbereich BVB bestimmt worden ist, werden Daten des Verfolgungsbereichs VBDATEN der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, periodisch erhalten (S600). Manche beispielhafte Ausführungsformen zur Bereitstellung der Daten des Verfolgungsbereichs VBDATEN werden unten weiter beschrieben werden. Der Umfang der Daten des Verfolgungsbereichs ist geringer als der Datenumfang des Frames, weil der Bewegungsverfolgungsbereich einem Teil des Frames entspricht. Weil die Größe des Bewegungsverfolgungsbereichs BVB verglichen mit der Größe des Frames verringert ist, kann der Umfang der Daten des Verfolgungsbereichs VBDATEN signifikant verringert werden.
Eine Bewegung des Zielobjekts wird auf Grundlage der Daten des Verfolgungsbereichs VBDATEN analysiert (S800). Die Bewegungsanalyse kann mit verschiedenen Verfahren, die dem Fachmann bekannt sind, durchgeführt werden. Allerdings kann verglichen mit den herkömmlichen Verfahren der Analyse der Bewegung auf Grundlage von Daten, die dem ganzen Frame entsprechen, die Bewegungsanalyse gemäß einigen beispielhaften Ausführungsformen auf Daten des Verfolgungsbereichs VBDATEN des reduzierten Umfangs und der relativ höheren Auflösung, d. h. der zweiten Auflösung RES2, basieren.
So kann gemäß dem Verfahren der Erkennung der Bewegung von einigen beispielhaften Ausführungsformen das Zielobjekt unter Verwendung der Tiefendaten ZDATEN der geringeren ersten Auflösung RES1 erkannt werden, dann kann die Art, die Form und/oder die Bewegung des Zielobjekts unter Verwendung der Daten des Verfolgungsbereichs VBDATEN der höheren zweiten Auflösung RES2 analysiert werden und folglich kann die Bewegung des Zielobjekts besser erkannt werden. Zusätzlich kann die Datenübertragung und der Berechnungsumfang für die Bewegungserkennung reduziert werden, weil die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN des Bewegungsverfolgungsbereichs BVB, der einem Teil eines gesamten Frames entspricht, analysiert werden kann.
2 ist ein Diagramm, das ein Beispiel der Verwendung eines Systems gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert und 3 ist ein Blockdiagramm, das ein System gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Wie in 2 illustriert ist, kann ein System 10 ein Benutzerschnittstellensystem sein, das durch Erkennen einer Bewegung eines Benutzers 15 funktioniert. Das oben erwähnte Zielobjekt kann einen Körper des Benutzers 15 oder einen Teil des Körpers des Benutzers 15 wie zum Beispiel eine Hand, einen Arm, einen Kopf, einen Torso usw. einschließen.
Bezug nehmend auf 2 und 3 kann das System 10 ein Gerät zur Bewegungserkennung 20 und ein Steuerbauteil 30 aufweisen. Die Komponenten für die Benutzerschnittstelle wie zum Beispiel ein Anzeigegerät (ANZ) 41, ein Lautsprecher (LSP), ein Mikrophon (MIK) 45 usw. können unterschiedlich von und gekoppelt mit dem Steuerbauteil 30 sein oder können als integrale Teile des Steuergeräts 30 ausgebildet sein. Das Steuerbauteil 30 kann ein beliebiges Gerät mit einem Speicher und einem Prozessor sein. Zum Beispiel kann das Steuerbauteil 30 ein Notebook-Rechner, ein Laptop-Rechner, ein Fernseher, eine Spielekonsole usw. sein.
Das Gerät zur Bewegungserkennung 20 kann ein Gerät zur Bildaufnahme (SEN) 100, einen Bewegungsbereichsverfolger 300 und einen Bewegungsanalysator (BANAL) 500 aufweisen. Das Gerät zur Bildaufnahme 100 kann mit einem Gerät zur Bildaufnahme, das von den anderen Komponenten verschieden ist, realisiert sein.
Wenigstens ein Teil des Bewegungsbereichsverfolgers 300 und des Bewegungsanalysators 500 können mit Software realisiert sein. In diesem Fall kann die Software mit Programm-Codes realisiert sein, die von einem Prozessor für allgemeine Zwecke oder einem Anwendungsprozessor ausgeführt werden. Die Programm-Codes können in einer Form einer Subroutine realisiert sein, die von einem Hauptprogramm aufgerufen und ausgeführt wird. Gemäß einigen beispielhaften Ausführungsformen kann der Bewegungsanalysator 500 in dem Steuerbauteil 30 enthalten sein oder der Bewegungsbereichsverfolger 300 und der Bewegungsanalysator 500 können in dem Steuerbauteil 30 enthalten sein.
Wie mit Bezug auf 1 beschrieben worden ist, erhält das Gerät zur Bildaufnahme 100 die Tiefendaten ZDATEN der ersten Auflösung RES1 und die zweidimensionalen Daten FDATEN der zweiten Auflösung RES2 mit Bezug auf die Szene periodisch und stellt sie zur Verfügung, wobei die zweite Auflösung RES1 höher ist als die erste Auflösung RES1 (S200). Der Bewegungsbereichsverfolger 300 bestimmt den Bewegungsverfolgungsbereich BVB durch Erkennen des Zielobjekts in der Szene, die dem Frame entspricht, auf Grundlage der Tiefendaten ZDATEN (S400), so dass der Bewegungsverfolgungsbereich BVB einem Teil des Frames entspricht und der Teil das Zielobjekt aufweist. Zusätzlich erhält der Bewegungsbereichsverfolger 300 die Daten des Verfolgungsbereichs VBDATEN der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, periodisch und stellt sie zur Verfügung (S600). Der Bewegungsanalysator 500 analysiert die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN der zweiten Auflösung RES2 (S800).
Manche beispielhafte Ausführungsformen des Geräts zur Bildaufnahme 100 und des Bewegungsbereichsverfolgers werden ferner unter Bezugnahme auf 4 bis 28B beschrieben. Der Bewegungsanalysator 500 kann auf verschiedene Weisen, die dem Fachmann bekannt sind, realisiert sein, aber er führt die Bewegungserkennung nicht auf Grundlage der Daten, die dem ganzen Frame entsprechen, durch, sondern auf Grundlage der Daten des Verfolgungsbereichs VBDATEN, die dem Bewegungsverfolgungsbereich BVB entsprechen.
Das Steuerbauteil 30 erzeugt ein Ereignis, das der Bewegung des Zielobjekts entspricht, auf Grundlage eines Analyseresultats des Bewegungsanalysators 500. Das Ereignis kann an den Benutzer über das Anzeigegerät 41 und/oder den Lautsprecher 43 übertragen werden. Zum Beispiel kann ein Anzeigebild, das der analysierten Bewegung entspricht, dem Anwender über das Anzeigegerät 41 zur Verfügung gestellt werden und/oder der Ton, der der analysierten Bewegung entspricht, kann dem Benutzer über den Lautsprecher 43 zur Verfügung gestellt werden.
4 ist ein Blockdiagramm, das ein Beispiel eines Geräts zur Bildaufnahme in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 4 kann das Gerät zur Bildaufnahme 100 eine Lichtquelle (LQ) 110, eine Messeinheit 130 und eine Steuereinheit 150 aufweisen. Die Lichtquelle 110 erzeugt ein moduliertes Transmissionslicht TL, um ein Objekt mit dem modulierten Transmissionslicht TL zu beleuchten. Die Steuereinheit 150 erzeugt Steuersignale SYNC und KTRL, um den Betrieb der Lichtquelle 110 und der Messeinheit 130 zu steuern. Die Messeinheit 130 kann Tiefenpixel aufweisen, die empfangenes Licht EL in elektrische Signale umwandeln. Außerdem kann die Messeinheit 130 Farbpixel enthalten, die sichtbares Licht SL in elektrische Signale umwandeln.
Die Lichtquelle 110 kann das modulierte Transmissionslicht TL mit einer gegebenen, gewünschten oder vorher festgelegten Wellenlänge emittieren. Zum Beispiel kann die Lichtquelle 110 Infrarotlicht oder infrarotnahes Licht emittieren. Das Transmissionslicht TL, das von der Lichtquelle 110 erzeugt wird, kann auf das Objekt 60 durch eine Linse 51 fokussiert werden. Moduliertes Transmissionslicht TL kann von dem Objekt 60 zur Linse 53 als empfangenes Licht EL und sichtbares Licht SL reflektieren.
Die Lichtquelle 110 kann von dem Steuersignal SYNC gesteuert werden, um das modulierte Transmissionslicht TL auszugeben, so dass die Intensität des modulierten Transmissionslicht TL sich periodisch verändert. Zum Beispiel kann die Lichtquelle 110 mit einer lichtemittierenden Diode (LED), einer Laser-Diode oder dergleichen realisiert sein.
Das Steuersignal SYNC von der Steuereinheit 150 kann ein Rücksetzsignal RS und ein Übertragungssteuersignal TG, wie mit Bezug auf 12A bis 12D beschrieben werden wird, und Demodulationssignale TG1 bis TG4 aufweisen, wie mit Bezug auf 24 und 25 beschrieben werden wird. Das Steuersignal SYNC, das der Lichtquelle 110 zur Verfügung gestellt wird, kann ein Signal aufweisen, um das modulierte Transmissionslicht TL und die Demodulationssignale TG1 bis TG4 zu synchronisieren.
Die Messeinheit 130 kann eine Pixel-Matrix PX, in der Tiefenpixel und/oder Farbpixel angeordnet sind, aufweisen. Außerdem kann die Messeinheit 130 eine Analog-nach-Digital-Wandler-Einheit ADC und Auswahlschaltungen ROW und COL aufweisen, um einen speziellen Pixel in der Pixel-Matrix PX auszuwählen.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 ein dreidimensionaler Bildsensor sein, der Tiefenpixel zur Bereitstellung von Abstandsinformation und Farbpixel zur Bereitstellung von Bildinformation aufweist. In diesem Fall kann die Messeinheit 130 eine Pixel-Matrix PX_FZ aufweisen, in der eine Mehrzahl von Tiefenpixeln und eine Mehrzahl von Farbpixeln abwechselnd angeordnet sind, wie mit Bezug auf 6 beschrieben werden wird.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 einen Tiefensensor und einen zweidimensionalen Bildsensor, die voneinander verschieden sind, aufweisen. In diesem Fall kann die Messeinheit 130 eine Pixel-Matrix PX_F, in der eine Mehrzahl von Farbpixeln angeordnet ist, und eine Pixel-Matrix PX_Z aufweisen, in der eine Mehrzahl von Tiefenpixeln angeordnet ist, wie mit Bezug auf 11A und 11B beschrieben werden wird.
In einigen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 nur einen Tiefensensor aufweisen. In diesem Fall kann die Messeinheit 130 eine Pixel-Matrix PX_Z aufweisen, in der eine Mehrzahl von Tiefenpixeln angeordnet ist, wie mit Bezug auf 23 beschreiben werden wird.
In einigen beispielhaften Ausführungsformen kann die Analog-zu-Digital-Wandler-Einheit ADC Analog-zu-digital-Umwandlung nach Spalten durchführen, welche Analogsignale parallel unter Verwendung einer Mehrzahl von Analog-u-Digital-Wandlern, die jeweils mit einer Mehrzahl von Spaltenleitungen gekoppelt sind, umwandelt, oder kann eine einzige Analog-zu-Digital-Umwandlung durchführen, die die Analogsignale der Reihe nach unter Verwendung eines einzigen Analog-zu-Digital-Wandlers umwandelt.
In einigen beispielhaften Ausführungsformen kann die Analog-zu-digital-Wandler-Einheit ADC eine Einheit zur korrelierten Doppelabtastung (CDS, engl.: correlated double sampling) zum Extrahieren einer effektiven Signalkomponente (die gültige Spannung) auf Grundlage der Spannungen, die durch die Pixel abgetastet werden, aufweisen.
In manchen beispielhaften Ausführungsformen kann die CDS-Einheit analoge Doppelabtastung (ADS) durchführen, welche die effektive Signalkomponente auf Grundlage eines analogen Rücksetzsignals, das eine Rücksetzkomponente darstellt, und eines analogen Datensignals, das eine Signalkomponente darstellt, extrahiert.
In manchen beispielhaften Ausführungsformen kann die CDS-Einheit digitale Doppelabtastung (DDS) durchführen, welche das analoge Rücksetzsignal und das analoge Datensignal in zwei Digitalsignale umwandelt, um als die effektive Signalkomponente eine Differenz zwischen den zwei Digitalsignalen zu extrahieren.
In manchen beispielhaften Ausführungsformen kann die CDS-Einheit duale korrelierte Doppelabtastung durchführen, die sowohl analoge Doppelabtastung als auch digitale Doppelabtastung durchführt.
5 ist ein Diagramm, das ein Beispiel einer Messeinheit in dem Gerät zur Bildaufnahme von 4 illustriert. 5 illustriert eine beispielhafte Ausführungsformen der Messeinheit 130a in einem Fall, in dem das Gerät zur Bildaufnahme 100 von 4 ein dreidimensionaler Bildsensor ist.
Bezug nehmend auf 5 kann die Messeinheit 130a eine Pixel-Matrix PX_FZ, in der eine Mehrzahl von Farbpixeln und eine Mehrzahl von Tiefenpixeln angeordnet sind, eine Farbpixel-Auswahlschaltung FROW und FCOL, eine Tiefenpixel-Auswahlschaltung ZROW und ZCOL, einen Farbpixel-Wandler FADC und einen Tiefenpixel-Wandler ZDAC aufweisen. Die Farbpixel-Auswahlschaltung FROW und FCOL und der Farbpixel-Wandler FADC können Farbinformation RFDATEN zur Verfügung stellen, indem sie die Farbpixel, die in der Pixel-Matrix PX_FZ enthalten sind, steuern, und die Tiefenpixel-Auswahlschaltung ZROW und ZCOL und der Tiefenpixel-Wandler ZADC können Tiefeninformation RZDATEN zur Verfügung stellen, indem sie die Tiefenpixel, die in der Pixel-Matrix PX_FZ enthalten sind, steuern.
Die Farbinformation RFDATEN und die Tiefeninformation RZDATEN von der Messeinheit 130a können Rohdaten sein und die oben beschriebenen zweidimensionalen Daten FDATEN und die Tiefendaten ZDATEN können auf Grundlage der Rohdaten zur Verfügung gestellt werden. In dem dreidimensionalen Bildsensor, wie er in 5 illustriert ist, können Komponenten zur Steuerung der Farbpixel und Komponenten zur Steuerung der Tiefenpixel unabhängig arbeiten, um die Farbinformation RFDATEN und die Tiefeninformation RZDATEN des aufgenommenen Bilds zur Verfügung zu stellen.
6 ist ein Diagramm, das ein Beispiel einer Pixel-Matrix in der Messeinheit von 5 illustriert.
Bezug nehmend auf 6 kann die Pixel-Matrix PX_FZ die Farbpixel R, G und B zur Bereitstellung der Bildinformation und den Tiefenpixel Z zur Bereitstellung der Tiefeninformation aufweisen. Zum Beispiel kann das Pixel-Muster 101 mit dem Rot-Pixel R, dem Grün-Pixel G, dem Blau-Pixel B und dem Tiefenpixel Z wiederholt in der Pixel-Matrix PX_FZ angeordnet sein.
Jeder der Farbpixel R, G und B kann einen Photoerfassungsbereich zum Sammeln von Photoelektronen, die von dem einfallenden sichtbaren Licht erzeugt werden, aufweisen und der Tiefenpixel Z kann einen Photoerfassungsbereich zum Sammeln von Photoelektronen aufweisen, die von dem empfangenen Licht EL erzeugt werden, d. h. dem einfallenden Infrarotlicht oder infrarotnahen Licht. Um Quantenausbeute zu verbessern, kann zum Beispiel der Tiefenpixel Z eine Photodiode aufweisen, die tiefer als diejenige der Farbpixel R, G und B ausgebildet ist, da das Infrarotlicht eine längere Wellenlänge als diejenige des sichtbaren Lichts hat.
Farbfilter können über den Farbpixel R, B und B ausgebildet sein und Filter, die Infrarotlicht passieren lassen, können über dem Tiefenpixel Z ausgebildet sein. Zum Beispiel kann der Rot-Pixel R durch den Rotfilter definiert sein, der Grün-Pixel G kann durch den Grünfilter definiert sein, der Blaupixel B kann durch den Blaupixel definiert sein und der Tiefenpixel Z kann durch den Filter, der Infrarotlicht passieren lässt, definiert sein. Außerdem können Filter, die Infrarotlicht blockieren, ferner über den Farbpixeln R, G und B ausgebildet sein.
6 illustriert ein nicht-einschränkendes Beispiel des Pixelmusters 101 und das Pixel-Muster 101 kann auf vielfältige Weise verändert werden. Zum Beispiel kann das Flächenverhältnis des einen Farbpixels und des einen Tiefenpixels auf vielfältige Weise verändert werden und/oder das Anzahlverhältnis der Farbpixel und der Tiefenpixel in der Pixel-Matrix PX_FZ kann auf vielfältige Weise verändert werden.
7 ist ein Diagramm, das einen Frame von beispielhaften Tiefendaten, die von einem Gerät zur Bildaufnahme erhalten werden, illustriert, 8 ist ein Diagramm, das einen Frame von beispielhaften zweidimensionalen Daten, die von einem Gerät zur Bildaufnahme erhalten werden, illustriert, und 9 ist ein Diagramm, das ein Beispiel eines Bewegungsverfolgungsbereichs illustriert, der gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts bestimmt wird.
Wie in 7 und 8 illustriert wird, stellt das Gerät zur Bildaufnahme 100 den Frame der Tiefendaten ZDATEN, die eine relativ niedrigere Auflösung, d. h. die erste Auflösung RES1 haben, und den Frame der Farbdaten FDATEN zur Verfügung, die eine relativ höhere Auflösung, d. h. die zweite Auflösung RES2 haben. Zum Beispiel kann die erste Auflösung RES1 die Quarter-Video-Graphic-Array(QVGA)-Auflösung von 320·240 Pixeln oder eine niedrigere Auflösung als die QVGA-Auflösung sein und die zweite Auflösung RES2 kann die High-Density(HD)-Auflösung von 1280·720 Pixeln oder eine höhere Auflösung als die HD-Auflösung sein.
Der Bewegungsbereichsverfolger 300 von 3 kann das Zielobjekt auf Grundlage der Tiefendaten ZDATEN oder des Tiefen-Frames erkennen und bestimmt den Bewegungsverfolgungsbereich BVB. Der Bewegungsverfolgungsbereich BVB entspricht einem Teil des Frames und weist das Zielobjekt in der Szene auf. Die Szene kann einen festen Hintergrund aufweisen und das Zielobjekt kann sich vor dem Hintergrund bewegen. Zum Beispiel kann das Zielobjekt eine Hand eines Menschen sein, wie in 9 illustriert wird, und der Bewegungsbereichsverfolger 300 kann die Hand erkennen, um den Bewegungsverfolgungsbereich BVB mit der Hand zu bestimmen.
Der Bewegungsbereichsverfolger 300 kann den Bewegungsverfolgungsbereich BVB auf Grundlage der mehreren Frames der Tiefendaten ZDATEN bestimmen. Das Zielobjekt kann ein unabhängiges Ding wie zum Beispiel ein Ball, ein menschlicher Körper usw. oder ein Teil des unabhängigen Dings wie zum Beispiel eine Hand, ein Arm, ein Kopf usw. sein. Die Erkennung des Zielobjekts kann nach verschiedenen Kriterien gemäß der Art der aufgenommenen Szene durchgeführt werden. Wenn zum Beispiel die Szene eine Mehrzahl von sich bewegenden Objekten aufweist, kann wenigstens ein Zielobjekt auf Grundlage der Art, des Abstands, der Geschwindigkeit der Objekte usw. bestimmt werden. In manchen beispielhaften Ausführungsformen kann ein einfacher dreidimensionaler Erkennungsalgorithmus verwendet werden, um das Zielobjekt auf Grundlage der Tiefendaten ZDATEN zu bestimmen.
In einigen beispielhaften Ausführungsformen kann, wie in 9 illustriert ist, der Bewegungsverfolgungsbereich BVB bestimmt werden, indem Koordinaten (x, y) eines zentralen Punkts des Bewegungsverfolgungsbereichs BVB in dem Frame bestimmt werden und eine Größe (Lx, Ly) des Bewegungsverfolgungsbereichs BVB in dem Frame bestimmt werden. In manchen beispielhaften Ausführungsformen kann der Bewegungsverfolgungsbereich BVB bestimmt werden, indem Koordinaten von vier Randpunkten des Bewegungsverfolgungsbereichs BVB in dem Frame bestimmt werden.
Wie in 7, 8 und 9 gezeigt wird, entspricht das Zielobjekt einem Teil der aufgenommenen Szene und folglich entspricht der Bewegungsverfolgungsbereich einem Teil des gesamten Frames.
10 ist ein Diagramm, das ein Beispiel einer Messeinheit in dem Gerät zur Bildaufnahme von 4 illustriert. 10 illustriert eine beispielhafte Ausführungsform einer Messeinheit 130b in einem Fall, in dem das Gerät zur Bildaufnahme 100 von 4 einen Tiefensensor und einen zweidimensionalen Bildsensor, die voneinander verschieden sind, aufweist.
Bezug nehmend auf 10 kann die Messeinheit 130b eine Pixel-Matrix PX_F, in der eine Mehrzahl von Farbpixeln angeordnet ist, und eine Pixel-Matrix PX_Z aufweisen, in der eine Mehrzahl von Tiefenpixeln angeordnet ist. Das sichtbare Licht SL für die Bildinformation und das empfangene Licht EL für die Tiefeninformation können durch einen Strahlteiler 55 getrennt werden und dann die jeweiligen Pixel-Matrizen PX_F und PX_Z beleuchten.
Eine Farbpixel-Auswahlschaltung FROW und FCOL, eine Tiefenpixel-Auswahlschaltung ZROW und ZCOL, ein Farbpixel-Wandler FADC und ein Tiefenpixel-Wandler ZADC können benachbart zu den jeweiligen Pixel-Matrizen PX_F und PX_Z angeordnet sein. Die Farbpixel-Auswahlschaltung FROW und FCOL und der Farbpixel-Wandler FADC können die Farbinformation RFDATEN zur Verfügung stellen, indem sie die Farbpixel, die in der Pixel-Matrix PX_F enthalten sind, steuern, und die Tiefenpixel-Auswahlschaltung ZROW und ZCOL und der Tiefenpixel-Wandler ZADC können die Tiefeninformation RZDATEN zur Verfügung stellen, indem sie die Tiefenpixel, die in der Pixel-Matrix PX_Z enthalten sind, steuern. Die Farbinformation RFDATEN und die Tiefeninformation RZDATEN von der Messeinheit 130b können Rohdaten sein und die oben beschriebenen zweidimensionalen Daten FDATEN und die Tiefendaten ZDATEN können auf Grundlage der Rohdaten zur Verfügung gestellt werden.
So kann die Messeinheit 130b den Tiefensensor und den zweidimensionalen Bildsensor als getrennt voneinander aufweisen, so dass die Komponenten zur Steuerung der Farbpixel und die Komponenten zur Steuerung der Tiefenpixel realisiert werden können, so dass sie die Farbinformation RFDATEN bzw. die Tiefeninformation RZDATEN zur Verfügung stellen.
11A und 11B sind Diagramme, die beispielhafte Pixel-Matrizen in der Messeinheit von 10 illustrieren.
Bezug nehmend auf 11A weist eine erste Pixel-Matrix PX_F die Farbpixel R, G und B zur Bereitstellung der Bildinformation auf. Zum Beispiel kann ein Pixel-Muster 102 mit dem Grün-Pixel G, dem Rot-Pixel R, dem Blau-Pixel B und dem Grün-Pixel G wiederholt in der ersten Pixel-Matrix PX_F angeordnet sein. Jeder der Farbpixel R, G und B kann einen Photoerfassungsbereich zum Sammeln von Photoelektronen, die von dem einfallenden sichtbaren Licht erzeugt werden, aufweisen. Farbfilter können über den Farbpixeln R, G und B ausgebildet sein. Zum Beispiel kann der Rot-Pixel R durch den Rotfilter definiert sein, der Grün-Pixel G kann durch den Grünfilter definiert sein und/oder der Blau-Pixel B kann durch den Blaufilter definiert sein.
Bezug nehmend auf 11B weist eine zweite Pixel-Matrix PX_Z die Tiefenpixel Z zur Bereitstellung der Tiefeninformation auf. Zum Beispiel können die identischen Tiefenpixel Z wiederholt in der zweiten Pixel-Matrix PX_Z angeordnet sein. Jeder der Tiefenpixel Z kann einen Photoerfassungsbereich zum Sammeln von Photoelektronen, die von dem empfangenen Licht EL, das heißt, dem einfallenden Infrarotlicht oder infrarotnahen Licht, erzeugt werden, aufweisen. Der Filter, der Infrarotlicht passieren lässt, kann über jedem Tiefenpixel Z ausgebildet sein.
12A, 12B, 12C und 12D sind Schaltdiagramme, die beispielhafte Einheitspixel in einer Pixel-Matrix illustrieren.
Die Einheitspixel 200a, 200b, 200c und 200d, die in 12A, 12B, 12C und 12D illustriert sind, können ein Farbpixel mit einer Farbphotodiode oder ein Tiefenpixel mit einer Tiefenphotodiode sein.
Bezug nehmend auf 12A kann der Einheitspixel 200a ein photosensitives Element wie zum Beispiel eine Photodiode PD und eine Ausleseschaltung mit einem Übertragungstransistor TX, einem Rücksetztransistor RX, einem Antriebstransistor DX und einem Auswahltransistor SX aufweisen.
Zum Beispiel kann die Photodiode PD einen n-Typ-Bereich in einem p-Typ-Substrat aufweisen, so dass der n-Typ-Bereich und das p-Typ-Substrat eine p-n-Diode bilden. Die Photodiode PD empfängt das einfallende Licht und erzeugt eine Photoladung auf Grundlage des einfallenden Lichts. In manchen beispielhaften Ausführungsformen kann der Einheitspixel 200a einen Phototransistor, ein Photo-Gate, eine gepinnte Photodiode usw. statt oder zusätzlich zu der Photodiode PD aufweisen.
Die Photoladung, die in der Photodiode PD erzeugt wird, kann zu einem ungeerdeten Diffusionsknoten FD über den Übertragungstransistor TX übertragen werden, welcher in Reaktion auf ein Übertragungssteuersignal TG angeschaltet wird. Der Antriebstransistor DX fungiert als ein Sourcefolger-Verstärker, der ein Signal, das der Ladung an dem ungeerdeten Diffusionsknoten FD entspricht, verstärkt. Der Auswahltransistor SX kann das verstärkte Signal an eine Spaltenleitung COL in Reaktion auf ein Auswahlsignal SEL übertragen. Der ungeerdete Diffusionsknoten FD kann durch den Rücksetztransistor RX zurückgesetzt werden. Zum Beispiel kann der Rücksetztransistor RX den ungeerdeten Diffusionsknoten FD in Reaktion auf ein Rücksetzsignal RS für korrelierte Doppelabtastung (CDS) entladen.
12A illustriert den Einheitspixel 200a der Konfiguration mit vier Transistoren, welche die vier Transistoren TX, RX, DX und SX aufweist. Die Konfiguration des Einheitspixels kann auf vielfältige Weise verändert werden, wie in 12B, 12C und 12D illustriert wird. Spannung wird über den Spannungsversorgungsanschluss VDD und Masse zur Verfügung gestellt.
Bezug nehmend auf 12B kam der Einheitspixel 200b die Konfiguration mit drei Transistoren haben, die ein photosensitives Element wie etwa eine Photodiode und eine Ausleseschaltung aufweist, welche einen Rücksetztransistor RX, einen Antriebstransistor DX und einen Auswahltransistor SX aufweist. Verglichen mit dem Einheitspixel 200a von 12A wird der Übertragungstransistor TX in dem Einheitspixel 200b von 12B weggelassen.
Bezug nehmend auf 12C kann der Einheitspixel 200c die Konfiguration mit fünf Transistoren haben, die ein photosensitives Element wie etwa eine Photodiode und eine Ausleseschaltung aufweist, welche einen Übertragungstransistor TX, einen Gate-Transistor GX, einen Rücksetztransistor RX, einen Antriebstransistor DX und einen Auswahltransistor SX aufweist. Der Gate-Transistor GX kann wahlweise das Übertragungssteuersignal TG an den Übertragungstransistor TX in Reaktion auf das Auswahlsignal SEL anlegen. Verglichen mit dem Einheitspixel 200a von 12A ist der Gate-Transistor GX zusätzlich in dem Einheitspixel 200c von 12C enthalten.
Bezug nehmend auf 12D kann der Einheitspixel 200d die Konfiguration mit fünf Transistoren haben, die ein photosensitives Element wie etwa eine Photodiode PD und eine Ausleseschaltung aufweist, welche einen Phototransistor PX, einen Übertragungstransistor TX, einen Rücksetztransistor RX, einen Antriebstransistor DX und einen Auswahltransistor SX aufweist. Der Phototransistor PX kann an oder ausgeschaltet werden in Reaktion auf ein Photo-Gate-Signal PG. Der Einheitspixel 200d kann aktiviert sein, wenn der Phototransistor PX angeschaltet wird, und kann deaktiviert sein, wenn der Phototransistor PX ausgeschaltet ist. Verglichen mit dem Einheitspixel 200a von 12A ist der Photo-Transistor PX zusätzlich in dem Einheitspixel 200d von 12D enthalten. Außerdem kann der Einheitspixel die Konfiguration mit sechs Transistoren haben, welche ferner den Gate-Transistor GX von 12C (oder einen Vorspannungstransistor) zusätzlich zu der Konfiguration von 12D aufweist.
13 ist ein Flussdiagramm, das ein Verfahren zum Erkennen einer Bewegung eines Objekts gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 13 erhält das Gerät zur Bildaufnahme 100, das in 4 illustriert ist, Tiefendaten ZDATEN, die dem Frame entsprechen, mit einer ersten Frame-Periode PFRAME1 unter Verwendung der Tiefenpixel Z der ersten Auflösung RES1 und stellt sie zur Verfügung (S212). Zusätzlich erhält das Gerät zur Bildaufnahme 100 die zweidimensionalen Daten FDATEN, die dem Frame entsprechen, mit einer zweiten Frame-Periode PFRAME2 unter Verwendung der Farbpixel R, G und B der zweiten Auflösung RES2 und stellt sie zur Verfügung (S214). In manchen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 die eine Pixel-Matrix PX_FZ aufweisen, in der die Tiefenpixel Z und die Farbpixel R, G und B abwechselnd angeordnet sind, wie in 6 illustriert wird. In manchen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 die zwei verschiedenen Pixelmatrizen PX_FZ aufweisen, in denen die Tiefenpixel Z und die Farbpixel R, G und B jeweils angeordnet sind, wie in 11A und 12B illustriert ist. Mit anderen Worten kann das Gerät zur Bildaufnahme 100 einen dreidimensionalen Bildsensor in manchen beispielhaften Ausführungsformen und/oder den Tiefensensor und den zweidimensionalen Bildsensor, die voneinander verschieden sind, in manchen beispielhaften Ausführungsformen aufweisen.
Der Bewegungsbereichsverfolger 300 bestimmt den Bewegungsverfolgungsbereich BVB durch Erkennen des Zielobjekts in der Szene, die dem Frame entspricht, auf Grundlage der Tiefendaten ZDATEN (S400). Der Bewegungsbereichsverfolger 300 extrahiert Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, die dem Frame entsprechen (S612), und stellt die Bereichsbilddaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung (S614). Der Bewegungsanalysator 500 analysiert eine Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN (S800), die periodisch zur Verfügung gestellt werden.
14 ist ein Blockdiagramm, das ein Beispiel eines Bewegungsbereichsverfolgers in einem Gerät zur Bewegungserkennung gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 14 kann ein Bewegungsbereichsbestimmer 300a einen Datenpuffer (BUFF) 310, einen Synchronisierer (SYNC) 330, einen Verfolgungsbereichsbestimmer (BERG) 350 und einen Datenextrahierer (EXTR) 370 aufweisen.
Der Datenpuffer 310 kann die Tiefendaten ZDATEN, die mit der ersten Frame-Periode PFRAME1 zur Verfügung gestellt werden, und die zweidimensionalen Daten FDATEN, die mit der zweiten Frame-Periode PFRAME2 von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, speichern.
Der Synchronisierer 330 kann die Tiefendaten ZDATEN und die zweidimensionalen Daten FDATEN synchronisieren, so dass sie aufeinander abgestimmt sind, wenn die erste Frame-Periode PFRAME1 verschieden von der zweiten Frame-Periode PFRAME2 ist. Der Betrieb des Synchronisierers 330 wird weiter unter Bezugnahme auf 15A, 15B und 15C beschrieben. Der Synchronisierer 330 kann weggelassen werden, wenn die erste Frame-Periode PFRAME1 gleich der zweiten Frame-Periode PFRAME2 ist.
Der Verfolgungsbereichsbestimmer 350 kann den Bewegungsverfolgungsbereich BVB bestimmen, indem sie das Zielobjekt in der Szene auf Grundlage der Tiefendaten ZDATEN erkennt. Das Resultat der Bestimmung kann dem Datenextrahierer 370 als die Koordinaten (x, y) des zentralen Punkts und als die Größe (Lx, Ly) des Bewegungsverfolgungsbereichs BVB zur Verfügung gestellt werden, wie mit Bezug auf 9 beschrieben worden ist.
Der Datenextrahierer 370 kann die Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, die dem Frame entsprechen, extrahieren (S612) und stellt die Bereichsbilddaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung (S614).
So kann das Zielobjekt unter Verwendung der Tiefendaten ZDATEN der niedrigeren ersten Auflösung RES1 unterschieden werden, dann kann die Art, die Form und/oder die Bewegung des Zielobjekts unter Verwendung der Daten des Verfolgungsbereichs VBDATEN der höheren zweiten Auflösung RES2 analysiert werden und auf diese Weise kann die Bewegung des Zielobjekts besser erkannt werden.
15A, 15B und 15C sind Diagramme, die einen beispielhaften Betrieb eines Synchronisierers in dem Bewegungsbereichsverfolger von 14 illustrieren.
Wie in 15A, 15B und 15C illustriert ist, kann die erste Frame-Periode PFRAME1 der Tiefendaten ZDATEN verschieden sein von der zweiten Frame-Periode PFRAME2 der zweidimensionalen Daten FDATEN. Zum Beispiel kann die Frame-Rate (z. B. 60 fps) der zweidimensionalen Daten FDATEN dreimal die Frame-Rate (z. B. 20 fps) der Tiefendaten ZDATEN sein.
In diesem Fall kann das Gerät zur Bildaufnahme 100 erste, zweite und dritte zweidimensionale Frame-Daten FF1, FF2 und FF3 messen und zur Verfügung stellen, während es erste Tiefen-Frame-Daten TF1 misst und zur Verfügung stellt. Auf gleiche Weise kann das Gerät zur Bildaufnahme 100 vierte, fünfte und sechste zweidimensionale Frame-Daten FF4, FF5 und FF6 messen und zur Verfügung stellen, während es zweite Tiefen-Frame-Daten TF2 misst und zur Verfügung stellt. Die Daten des Verfolgungsbereichs VBDATEN können mit der ersten Frame-Periode PFRAME1 zur Verfügung gestellt werden, wie in 15A und 15B illustriert wird, oder mit der zweiten Frame-Periode PFRAME2, wie in 15C illustriert wird, gemäß dem Betrieb des Synchronisierers 330 in 14.
Bezug nehmend auf 15A kann der Synchronisierer 330 die einen Tiefen-Frame-Daten und die einen zweidimensionalen Frame-Daten, welche gleichzeitig von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, synchronisieren, um die synchronisierten Tiefen- und zweidimensionalen Frame-Daten dem Verfolgungsbereichsbestimmer 350 und dem Datenextrahierer 370 zur Verfügung zu stellen. Mit anderen Worten kann der Synchronisierer 330 die ersten Tiefen-Frame-Daten TF1 und die dritten zweidimensionalen Frame-Daten FF3 abstimmen und zur Verfügung stellen. Auf die gleiche Weise kann der Synchronisierer 330 die zweiten Tiefen-Frame-Daten TF2 und die sechsten zweidimensionalen Frame-Daten FF6 abstimmen und zur Verfügung stellen.
Der Verfolgungsbereichsbestimmer 350 kann einen ersten Bewegungsverfolgungsbereich BVB1 auf Grundlage der ersten Tiefen-Frame-Daten TF1 bestimmen und der Datenextrahierer 370 kann den Teil, der dem ersten Bewegungsverfolgungsbereich BVB1 entspricht, von den dritten zweidimensionalen Frame-Daten FF3 extrahieren, um Daten des ersten Verfolgungsbereichs TR1 zur Verfügung zu stellen. Auf die gleiche Weise kann der Verfolgungsbereichsbestimmer 350 einen zweiten Bewegungsverfolgungsbereich BVB2 auf Grundlage der zweiten Tiefen-Frame-Daten TF2 bestimmen und der Datenextrahierer 370 kann den Teil, der dem zweiten Bewegungsverfolgungsbereich BVB2 entspricht, von den sechsten zweidimensionalen Frame-Daten FF6 extrahieren, um Daten des zweiten Verfolgungsbereichs TR2 zur Verfügung zu stellen. So können die Daten des ersten Verfolgungsbereichs TR1 mit der ersten Frame-Periode PFRAME1 zur Verfügung gestellt werden.
Bezug nehmend auf 15B kann der Synchronisierer 330 die einen Tiefen-Frame-Daten und die einen zweidimensionalen Frame-Daten, die zu verschiedenen Zeitpunkten von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, synchronisieren, um die synchronisierten Tiefen- und zweidimensionalen Frame-Daten dem Verfolgungsbereichsbestimmer 350 und dem Datenextrahierer 370 zur Verfügung zu stellen. Mit anderen Worten kann der Synchronisierer 330 die ersten Tiefen-Frame-Daten TF1 und die zweiten zweidimensionalen Frame-Daten FF2 abstimmen und zur Verfügung stellen. Auf die gleiche Weise kann der Synchronisierer 330 die zweiten Tiefen-Frame-Daten TF2 und die fünften zweidimensionalen Frame-Daten FF5 abstimmen und zur Verfügung stellen. Weil die erste Frame-Periode PFRAME1 und die zweite Frame-Periode PFRAME2, können die Tiefen-Frame-Daten mit den zweidimensionalen Frame-Daten, die einer Mitte der Abtastperiode für die entsprechenden Tiefen-Frame-Daten entsprechen, abgestimmt werden.
Der Verfolgungsbereichsbestimmer 350 kann einen ersten Bewegungsverfolgungsbereich BVB1 auf Grundlage der ersten Tiefen-Frame-Daten TF1 bestimmen und der Datenextrahierer 370 kann den Teil, der dem ersten Bewegungsverfolgungsbereich BVB1 entspricht, von den zweidimensionalen Frame-Daten FF2 extrahieren, um Daten des ersten Verfolgungsbereichs TR1 zur Verfügung zu stellen. Auf die gleiche Weise kann der Verfolgungsbereichsbestimmer 350 einen zweiten Bewegungsverfolgungsbereich BVB2 auf Grundlage der zweiten Tiefen-Frame-Daten TF2 bestimmen und der Datenextrahierer 370 kann den Teil, der dem zweiten Bewegungsverfolgungsbereich BVB2 entspricht, von den fünften zweidimensionalen Frame-Daten FF5 extrahieren, um Daten des zweiten Verfolgungsbereichs TR2 zu bestimmen. So können die Daten des ersten Verfolgungsbereichs TR1 mit der ersten Frame-Periode PFRAME1 zur Verfügung gestellt werden.
Bezug nehmend auf 15C kann der Synchronisierer 330 die einen Tiefen-Frame-Daten und die drei zweidimensionalen Frame-Daten synchronisieren, um die synchronisierten Tiefen- und zweidimensionalen Frame-Daten dem Verfolgungsbereichsbestimmer 350 und dem Datenextrahierer 370 zur Verfügung zu stellen. Mit anderen Worten kann der Synchronisierer 330 die ersten Tiefen-Frame-Daten TF1 mit den ersten, zweiten und dritten zweidimensionalen Frame-Daten FF1, FF2 und FF3 abstimmen und zur Verfügung zu stellen. Auf die gleiche Weise kann der Synchronisierer 330 die zweiten Tiefen-Frame-Daten TF2 mit den vierten, fünften und sechsten zweidimensionalen Frame-Daten FF4, FF5 und FF6 abstimmen und zur Verfügung stellen.
Der Verfolgungsbereichsbestimmer 350 kann einen ersten Bewegungsverfolgungsbereich BVB1 auf Grundlage der ersten Tiefen-Frame-Daten TF1 bestimmen und der Datenextrahierer 370 kann die Teile, die dem ersten Bewegungsverfolgungsbereich BVB1 entsprechen, von den ersten, zweiten bzw. dritten zweidimensionalen Frame-Daten FF1, FF2 und FF3 extrahieren, um erste, zweite und dritte Daten des Verfolgungsbereichs TR1, TR2 und TR3 zur Verfügung zu stellen. Auf die gleiche Weise kann der Verfolgungsbereichsbestimmer 350 einen zweiten Bewegungsverfolgungsbereich BVB2 auf Grundlage der zweiten Tiefen-Frame-Daten TF2 bestimmen und der Datenextrahierer 370 kann die Teile, die dem zweiten Bewegungsverfolgungsbereich BVB2 entsprechen, von den vierten, fünften bzw. sechsten zweidimensionalen Frame-Daten FF4, FF5 bzw. FF6 extrahieren, um vierte, fünfte und sechste Daten des Verfolgungsbereichs TR4, TR5 und TR6 zur Verfügung zu stellen. So können die ersten Daten des Verfolgungsbereichs TR1 mit der zweiten Frame-Periode PFRAME2 zur Verfügung gestellt werden.
16 ist ein Diagramm zur Beschreibung von Daten des Verfolgungsbereichs, die von dem Bewegungsbereichsverfolger von 14 zur Verfügung gestellt werden.
16 illustriert den zweidimensionalen Bild-Frame, der den zweidimensionalen Daten FDATEN und den Daten des Verfolgungsbereichs VBDATEN, die von den zweidimensionalen Daten FDATEN extrahiert werden, entsprechen. Wie oben beschrieben worden ist, kann der Teil der zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, der dem Bewegungsverfolgungsbereich BVB entspricht, als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung gestellt werden. Der Datenübertragungs- und -berechnungsumfang für die Bewegungserkennung kann reduziert werden, weil die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN des Bewegungsverfolgungsbereichs BVB, welcher einem Teil eines gesamten Frames entspricht, analysiert werden, und die Bewegungserkennung kann besser durchgeführt werden, weil die Daten des Verfolgungsbereichs VBDATEN die höhere zweite Auflösung RES2 haben.
17A und 17B sind Diagramme zur Beschreibung eines Verfahrens der Aktualisierung eines Bewegungsverfolgungsbereichs gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts.
17A und 17B illustrieren die Bereiche mit Bewegungsverfolgung BVB1 bis BVB4 und die entsprechenden Daten der Verfolgungsbereiche VBDATEN1 bis VBDATEN4. Der Bewegungsverfolgungsbereich kann gemäß der Bewegung des Zielobjekts aktualisiert werden, wie in 17A und 17B illustriert ist. In manchen beispielhaften Ausführungsformen kann der Verfolgungsbereichsbestimmer 350 in 14 eine Veränderung einer Position des Zielobjekts in der Szene auf Grundlage der Tiefendaten ZDATEN und veränderte Koordinaten eines zentralen Punkts des Bewegungsverfolgungsbereichs in dem Frame auf Grundlage der Veränderung der Position des Zielobjekts in der Szene erfassen. In manchen beispielhaften Ausführungsformen kann der Verfolgungsbereichsbestimmer 350 eine Veränderung eines Abstands zu dem Zielobjekt auf Grundlage der Tiefendaten ZDATEN erfassen und die Größe des Bewegungsverfolgungsbereichs BVB auf Grundlage der Veränderung des Abstands zu dem Zielobjekt verändern.
17A illustriert einen Fall, in dem sich der Abstand zu dem Zielobjekt von dem Gerät zur Bildaufnahme 100 erhöht, und 17B illustriert einen Fall, in dem sich der Abstand zu dem Zielobjekt von dem Gerät zur Bildaufnahme 100 verringert. Wenn sich der Abstand zu dem Zielobjekt erhöht, wie in 17A illustriert ist, können die zentralen Koordinaten des Bewegungsverfolgungsbereichs von (x1, y1) zu (x2, y2) verändert werden und die Größe des Bewegungsverfolgungsbereichs kann von (Lx1, Ly1) auf (Lx2, Ly2) verringert werden. Wenn sich der Abstand zu dem Zielobjekt verringert, wie in 17B illustriert ist, können die zentralen Koordinaten des Bewegungsverfolgungsbereichs von (x3, y3) zu (x4, y4) verändert werden und die Größe des Bewegungsverfolgungsbereichs kann von (Lx3, Ly3) auf (Lx4, Ly4) erhöht werden.
18 ist ein Flussdiagramm, das ein Verfahren zur Erkennung einer Bewegung eines Objekts gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 18 erhält das Gerät zur Bildaufnahme 100, wie es in 4 illustriert ist, Tiefendaten ZDATEN, die dem Frame entsprechen, mit der ersten Frame-Periode PFRAME1 unter Verwendung der Tiefenpixel Z der ersten Auflösung RES1 und stellt sie zur Verfügung (S222). Zusätzlich erhält das Gerät zur Bildaufnahme 100 die zweidimensionalen Daten FDATEN, die dem Frame entsprechen, mit der zweiten Frame-Periode PFRAME2 unter Verwendung der Farbpixel R, G und B der zweiten Auflösung RES2 und stellt sie zur Verfügung (S224). In manchen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 die eine Pixel-Matrix PX_FZ aufweisen, in der die Tiefenpixel Z und die Farbpixel R, G und B abwechselnd angeordnet sind, wie in 6 illustriert ist. In manchen beispielhaften Ausführungsformen kann das Gerät zur Bildaufnahme 100 die zwei verschiedenen Pixel-Matrizen PX_Z und PX_F aufweisen, in denen die Tiefenpixel Z bzw. die Farbpixel R, G und B angeordnet sind, wie in 11A und 12B illustriert ist. Mit anderen Worten kann das Gerät zur Bildaufnahme 100 einen dreidimensionalen Bildsensor in manchen beispielhaften Ausführungsformen und/oder den Tiefensensor und den zweidimensionalen Bildsensor getrennt voneinander in manchen beispielhaften Ausführungsformen aufweisen.
Der Bewegungsbereichsverfolger 300 bestimmt den Bewegungsverfolgungsbereich BVB durch Erkennen des Zielobjekts in der Szene, die dem Frame entspricht, auf Grundlage der Tiefendaten ZDATEN (S400). Der Bewegungsbereichsverfolger 300 extrahiert Bereichstiefendaten der ersten Auflösung RES1, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den Tiefendaten ZDATEN der ersten Auflösung RES1, die dem Frame entsprechen (S622), und extrahiert Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, die dem Frame entsprechen (S624). Der Bewegungsbereichsverfolger 300 kompensiert die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Bereichsbilddaten der zweiten Auflösung RES2, um Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen (S626), und stellt die Bereichstiefendaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung (S628). Der Bewegungsanalysator 500 analysiert die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN, die periodisch zur Verfügung gestellt werden (S800).
19 ist ein Blockdiagramm, das ein Beispiel eines Bewegungsbereichsverfolgers in einem Gerät zur Bewegungserkennung gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 19 kann ein Bewegungsbereichsverfolger 300b einen Datenpuffer (BUFF) 310, einen Synchronisierer (SYNC) 330, einen Verfolgungsbereichsbestimmer (BERG) 350, eine Einheit zur Datenextrahierung 371 und einen Bildverbesserer (VERB) 381 aufweisen.
Der Datenpuffer 310 kann die Tiefendaten ZDATEN, die mit der ersten Frame-Periode PFRAME1 zur Verfügung gestellt werden, und die zweidimensionalen Daten FDATEN, die mit der zweiten Frame-Periode PFRAME2 von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, speichern.
Der Synchronisierer 330 kann die Tiefendaten ZDATEN und die zweidimensionalen Daten FDATEN synchronisieren, so dass sie aufeinander abgestimmt sind, wenn die erste Frame-Periode PFRAME1 von der zweiten Frame-Periode PFRAME2 verschieden ist. Der Betrieb des Synchronisierers 330 ist derselbe wie mit Bezug auf 15A, 15B und 15C beschrieben. Der Synchronisierer 330 kann weggelassen werden, wenn die erste Frame-Periode PFRAME1 gleich der zweiten Frame-Periode PFRAME2 ist.
Der Verfolgungsbereichsbestimmer 350 kann den Bewegungsverfolgungsbereich BVB durch Erkennen des Zielobjekts in der Szene auf Grundlage der Tiefendaten ZDATEN bestimmen (S400). Das Resultat der Bestimmung kann dem Datenextrahierer 370 als die Koordinaten (x, y) des zentralen Punkts und die Größe (Lx, Ly) des Bewegungsverfolgungsbereichs BVB zur Verfügung gestellt werden, wie mit Bezug auf 9 beschrieben worden ist.
Die Einheit zur Datenextrahierung 371 kann einen ersten Datenextrahierer (EXTR1) 372 und einen zweiten Datenextrahierer (EXTR2) 373 aufweisen. Der erste Datenextrahierer 372 kann Bereichstiefendaten der ersten Auflösung RES1, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den Tiefendaten ZDATEN der ersten Auflösung RES1, die dem Frame entsprechen, extrahieren (S622). Der zweite Datenextrahierer 373 kann Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, die dem Frame entsprechen, extrahieren (S624).
Der Bildverbesserer 381 kann die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Bereichsbilddaten der zweiten Auflösung kompensieren, um Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen (S626) und die Bereichstiefendaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung stellen (S628). Zum Beispiel kann der Bildverbesserer 381 Information von Kanten oder Oberflächenstruktur von den Bereichsbilddaten der zweiten Auflösung RES2 extrahieren und die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Kanten- und/oder Oberflächenstrukturinformation kompensieren, um die Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen.
So kann das Zielobjekt unter Verwendung der Tiefendaten ZDATEN der niedrigeren ersten Auflösung RES1 erkannt werden und dann kann die Art, die Form und/oder die Bewegung des Zielobjekts unter Verwendung der Daten des Verfolgungsbereichs VBDATEN der höheren zweiten Auflösung RES2 analysiert werden und so kann die Bewegung des Zielobjekts besser erkannt werden. Solch ein Verfahren der Verbesserung der Auflösung der Tiefendaten unter Verwendung der zweidimensionalen Daten der höhen Auflösung nur hinsichtlich eines Teils eines ganzen Frames kann als „lokale Super-Auflösung” bezeichnet werden.
20 ist ein Diagramm zur Beschreibung von Daten des Verfolgungsbereichs, die von dem Bewegungsbereichsverfolger von 19 zur Verfügung gestellt werden.
20 illustriert den Tiefen-Frame, der den Tiefendaten ZDATEN' und den Daten des Verfolgungsbereichs VBDATEN', die von den Tiefendaten ZDATEN' extrahiert werden, entspricht. Wie oben beschrieben worden ist, kann der Teil der Tiefendaten ZDATEN' der ersten Auflösung RES1, der dem Bewegungsverfolgungsbereich BVB entspricht, extrahiert werden. Der extrahierte Teil kann, wie oben beschrieben worden ist, kompensiert werden und der kompensierte Teil kann als die Daten des Verfolgungsbereichs VBDATEN' zur Verfügung gestellt werden. Wie in 20 illustriert ist, können die Kanten des Zielobjekts verglichen mit dem entsprechenden Teil der Tiefendaten ZDATEN' verstärkt werden. Auf diese Weise kann eine verbesserte Analyse zusätzlich zu der Verringerung von Datenübertragung und Berechnungsumfang erreicht werden, indem die Tiefendaten mit niedrigerer Auflösung, die nur einem Teil eines ganzen Frames entsprechen, verbessert werden.
21 ist ein Flussdiagramm, das ein Verfahren zur Erkennung einer Bewegung eines Objekts gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 21 erhält das Gerät zur Bildaufnahme 100, wie es in 4 illustriert ist, periodisch Rohdaten RZDATEN, die dem Frame entsprechen, unter Verwendung von Flugzeit(TOF)-Tiefenpixeln und stellt sie zur Verfügung (S232). In diesem Fall kann das Gerät zur Bildaufnahme 100 eine einzige Pixel-Matrix PX_Z aufweisen, in der die Tiefenpixel Z angeordnet sind, wie in 23 illustriert ist. Mit anderen Worten kann das Gerät zur Bildaufnahme 100 einem Tiefensensor entsprechen.
Der Bewegungsbereichsverfolger 300 stellt die Tiefendaten ZDATEN der ersten Auflösung RES1 zur Verfügung, indem er alle M Bits der Rohdaten RZDATEN kombiniert (S234), wobei M eine positive ganze Zahl gleich oder größer als zwei ist, wie mit Bezug auf 26 beschrieben werden wird, und stellt die zweidimensionalen Daten FDATEN der zweiten Auflösung RES2 zur Verfügung, indem er alle N Bits der Rohdaten RZDATEN kombiniert (S236), wobei N eine positive ganze Zahl gleich oder kleiner als M ist, wie mit Bezug auf 28A und 28B beschrieben werden wird. In diesem Fall können die zweidimensionalen Daten FDATEN Schwarz-Weiß-Bilddaten SWDATEN sein.
Der Bewegungsbereichsverfolger 300 bestimmt den Bewegungsverfolgungsbereich BVB, indem er das Zielobjekt in der Szene, die dem Frame entspricht, auf Grundlage der Tiefendaten ZDATEN erkennt (S400). Der Bewegungsbereichsverfolger 300 extrahiert Bereichstiefendaten der ersten Auflösung RES1, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den Tiefendaten ZDATEN der ersten Auflösung RES1, die dem Frame entsprechen (S632), und extrahiert Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten FDATEN der zweiten Auflösung RES2, die dem Frame entsprechen (S634). Der Bewegungsbereichsverfolger 300 kompensiert die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Bereichsbilddaten der zweiten Auflösung RES2, um Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen (S636), und stellt die Bereichstiefendaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung (S638). Der Bewegungsanalysator 500 analysiert die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs VBDATEN (S800), die periodisch zur Verfügung gestellt werden.
22 ist ein Blockdiagramm, das ein Beispiel eines Bewegungsbereichsverfolgers in einem Gerät zur Bewegungserkennung gemäß einigen beispielhaften Ausführungsformen des erfinderischen Konzepts illustriert.
Bezug nehmend auf 22 kann ein Bewegungsbereichsverfolger 300c einen ersten Kalkulator (KAL1) 305, einen zweiten Kalkulator (KAL2) 306, einen Datenpuffer (BUFF) 315, einen Verfolgungsbereichsbestimmer (BERG) 355, eine Einheit zur Datenextrahierung 375 und einen Bildverbesserer (VERB) 385 aufweisen.
Der erste Kalkulator 305 kann die Tiefendaten ZDATEN der ersten Auflösung RES zur Verfügung stellen, indem er alle M Bits der Rohdaten RZDATEN kombiniert (S234), die periodisch von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, wobei M eine positive ganze Zahl gleich oder größer als zwei ist. Der zweite Kalkulator 306 kann die zweidimensionalen Daten SWDATEN der zweiten Auflösung RES2 zur Verfügung stellen, indem er alle N Bits der Rohdaten RZDATEN kombiniert (S236), wobei N eine positive ganze Zahl gleich oder kleiner als M ist. Der Datenpuffer 315 kann die Tiefendaten ZDATEN und die zweidimensionalen Daten SWDATEN, die periodisch von dem Gerät zur Bildaufnahme 100 zur Verfügung gestellt werden, speichern. Der Verfolgungsbereichsbestimmer 355 kann den Bewegungsverfolgungsbereich BVB bestimmen, indem er das Zielobjekt in der Szene auf Grundlage der Tiefendaten ZDATEN erkennt (S400). Das Resultat der Bestimmung kann der Einheit zur Datenextrahierung 375 als die Koordinaten (x, y) des zentralen Punkts und die Größe (Lx, Ly) des Bewegungsverfolgungsbereichs BVB zur Verfügung gestellt werden, wie mit Bezug auf 9 beschrieben worden ist.
Die Einheit zur Datenextrahierung 375 kann einen ersten Datenextrahierer (EXTR1) 376 und einen zweiten Datenextrahierer (EXTR2) 377 aufweisen. Der erste Datenextrahierer 376 kann Bereichstiefendaten der ersten Auflösung RES1, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den Tiefendaten ZDATEN der ersten Auflösung RES1 extrahieren, die dem Frame entsprechen (S632). Der zweite Datenextrahierer 377 kann Bereichsbilddaten der zweiten Auflösung RES2, die dem Bewegungsverfolgungsbereich BVB entsprechen, von den zweidimensionalen Daten SWDATEN der zweiten Auflösung RES2 extrahieren, die dem Frame entsprechen (S634).
Der Bildverbesserer 385 kann die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Bereichsbilddaten der zweiten Auflösung RES2 kompensieren, um Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen (S636), und kann die Bereichstiefendaten der zweiten Auflösung RES2 als die Daten des Verfolgungsbereichs VBDATEN zur Verfügung stellen (S638). Zum Beispiel kann der Bildverbesserer 385 Informationen über Kanten und Oberflächenstrukturen von den Bereichsbilddaten der zweiten Auflösung RES2 extrahieren und die Bereichstiefendaten der ersten Auflösung RES1 unter Verwendung der Kanten- und/oder Oberflächenstrukturinformation kompensieren, um die Bereichstiefendaten der zweiten Auflösung RES2 zu erzeugen.
Auf diese Weise kann das Zielobjekt unter Verwendung der Tiefendaten ZDATEN der niedrigeren ersten Auflösung erkannt werden und dann können die Art, die Form und/oder die Bewegung des Zielobjekts unter Verwendung der Daten des Verfolgungsbereichs VBDATEN der höheren zweiten Auflösung RES2 analysiert werden und auf diese Weise kann die Bewegung des Zielobjekts besser erkannt werden.
Indem nur ein Tiefensensor ohne einen zweidimensionalen oder dreidimensionalen Bildsensor verwendet wird, können die Tiefendaten ZDATEN der niedrigeren ersten Auflösung RES1 und die zweidimensionalen Daten SWDATEN der höheren zweiten Auflösung RES2 erhalten werden und die oben erwähnte lokale Super-Auflösung kann durchgeführt werden, so dass die Tiefendaten mit niedrigerer Auflösung unter Verwendung der zweidimensionalen Daten der höheren Auflösung nur hinsichtlich eines Teils eines ganzen Frames verbessert werden.
23 ist ein Diagramm, das ein Beispiel einer Pixel-Matrix, die in einem Tiefensensor enthalten ist, illustriert.
Bezug nehmend auf 23 weist die Pixel-Matrix PX_Z eine Mehrzahl von Tiefenpixeln Z1, Z2, Z3 und Z4 auf. Die Tiefenpixel Z1, Z2, Z3 und Z4 können Flugzeit(TOF)-Tiefenpixel sein, die in Reaktion auf eine Mehrzahl von Demodulationssignalen mit voneinander verschiedenen Phasen arbeiten. Zum Beispiel kann der Tiefenpixel Z1 in Reaktion auf das Demodulationssignal mit einer Phasendifferenz von 0 Grad mit Bezug auf das Transmissionslicht TL, das von dem Gerät zur Bildaufnahme 100 von 4 ausgestrahlt wird, arbeiten. Mit anderen Worten kann der Tiefenpixel Z1 in Reaktion auf das Demodulationssignal mit derselben Phase wie das Transmissionslicht TL arbeiten. Der Tiefenpixel Z2 kann in Reaktion auf das Demodulationssignal mit einer Phasendifferenz von 90 Grad mit Bezug auf das Transmissionslicht TL arbeiten, der Tiefenpixel Z3 kann in Reaktion auf das Demodulationssignal mit einer Phasendifferenz von 180 Grad mit Bezug auf das Transmissionslicht TL arbeiten und der Tiefenpixel Z4 kann in Reaktion auf das Demodulationssignal mit einer Phasendifferenz von 270 Grad mit Bezug auf das Transmissionslicht TL arbeiten. Zum Beispiel kann das Pixel-Muster 103 mit den Tiefenpixeln Z1, Z2, Z3 und Z4, die jeweils in Reaktion auf die Demodulationssignale mit den Phasendifferenzen arbeiten, wiederholt in der Pixel-Matrix PX_Z angeordnet sein.
24 ist ein Schaltdiagramm, das beispielhafte Flugzeit(TOF)-Tiefenpixel in der Pixel-Matrix von 23 illustriert. 24 illustriert das eine Pixel-Muster 103 in der Pixel-Matrix PX_Z in 23.
Verglichen mit den Einheitspixeln einer Einzel-Tap-Struktur in 12A, 12B, 12C und 12D haben die ersten bis vierten Pixel Z1, Z2, Z3 und Z4 in 24 eine Zwei-Tap-Struktur zum Messen des Abstands gemäß der TOF-Methode.
Bezug nehmend auf 24 können der erste und dritte Pixel Z1 und Z3 ein photosensitives Element wie zum Beispiel eine Photodiode PD gemeinsam haben. Der erste Pixel Z1 kann eine erste Ausleseschaltung mit einem ersten Übertragungstransistor TX1, einem ersten Rücksetztransistor RX1, einem ersten Antriebstransistor DX1 und einem ersten Auswahltransistor SX1 aufweisen. Der dritte Pixel Z3 kann eine dritte Ausleseschaltung mit einem dritten Übertragungstransistor TX3, einem dritten Rücksetztransistor RX3, einem dritten Antriebstransistor DX3 und einem dritten Auswahltransistor SX3 aufweisen. Auf die gleiche Weise können der zweite und der vierte Pixel Z2 und Z4 ein photosensitives Element wie zum Beispiel eine Photodiode PD gemeinsam haben. Der zweite Pixel Z2 kann eine zweite Ausleseschaltung mit einem zweiten Übertragungstransistor TX2, einem zweiten Rücksetztransistor RX2, einem zweiten Antriebstransistor DX2 und einem zweiten Auswahltransistor SX2 aufweisen. Der vierte Pixel Z4 kann eine vierte Ausleseschaltung mit einem vierten Übertragungstransistor TX4, einem vierten Rücksetztransistor RX4, einem vierten Antriebstransistor DX4 und einem vierten Auswahltransistor SX4 aufweisen.
Zum Beispiel kann die Photodiode PD einen n-Typ-Bereich in einem p-Typ-Substrat aufweisen, so dass der n-typ-Bereich und das p-Typ-Substrat eine p-n-Diode bilden. Die Photodiode PD empfängt das einfallende Licht und erzeugt eine Photoladung auf Grundlage des einfallenden Lichts. In manchen beispielhaften Ausführungsformen kann der Einheitspixel 200e, der in 24 illustriert ist, einen Phototransistor, ein Photo-Gate, eine gepinnte Photodiode usw. statt oder zusätzlich der Photodiode PD aufweisen.
Die Photoladung, die in den Photodioden PD erzeugt wird, kann zu den ungeerdeten Diffusionsknoten FD1, FD2, FD3 und FD4 über die Übertragungstransistoren TX1, TX2, TX3 bzw. TX4 übertragen werden. Die Übertragungssteuersignale TG1, TG2, TG3 und TG4 können die oben beschriebenen Demodulationssignale mit der Phasendifferenz von 0, 90, 180 bzw. 270 Grad mit Bezug auf das Transmissionslicht TL sein. Auf diese Weise kann die Photoladung, die in den Photodioden PD erzeugt wird, in Reaktion auf die Demodulationssignale TG1, TG2, TG3 und TG4 geteilt werden, um die TOF hin und zurück des Lichts zu bestimmen, und der Abstand zu dem Objekt kann auf Grundlage der TOF hin und zurück berechnet werden.
Die Antriebstransistoren DX1, DX2, DX3 und DX4 fungieren als Sourcefolger-Verstärker, die Signale, die der jeweiligen Ladung an dem ungeerdeten Diffusionsknoten FD1, FD2, FD3 und FD4 entsprechen, verstärken. Die Auswahltransistoren SX1, SX2, SX3 und SX4 können die verstärkten Signale an die Spaltenleitungen COLT1 und COL2 in Reaktion auf die Auswahlsignale SEL1, SEL2, SEL3 bzw. SEL4 übertragen. Die ungeerdeten Diffusionsknoten FD1, FD2, FD3 und FD4 können durch die Rücksetztransistoren RX1, RX2, RX3 bzw. RX4 zurückgesetzt werden. Zum Beispiel können die Rücksetztransistoren RX1, RX2, RX3 und RX4 die ungeerdeten Diffusionsknoten FD1, FD2, FD3 bzw. FD4 in Reaktion auf Rücksetzsignale RS1, RS2, RS3 bzw. RS4 für korrelierte Doppelabtastung (CDS) entladen.
24 illustriert das nicht einschränkende Beispiel der Tiefenpixel der Zwei-Tap-Konfiguration und die Tiefenpixel können verschiedene Konfigurationen wie zum Beispiel eine Einzel-Tap-Konfiguration, Vier-Tap-Konfiguration usw. haben. Der Zeitablauf der Steuersignale kann geeignet in Abhängigkeit von der Konfiguration der Tiefenpixel bestimmt werden.
25 ist ein Zeitablaufdiagramm, das einen Betrieb der TOF-Pixel von 24 illustriert.
Bezug nehmend auf 25 wird ein Objekt mit einem modulierten Transmissionslicht TL während eines Integrationszeitintervalls TINT beleuchtet. Wie mit Bezug auf 4 beschrieben worden ist, kann das Gerät zur Bildaufnahme 100 eine Lichtquelle 110 oder ein lichtemittierendes Bauteil aufweisen, um das modulierte Transmissionslicht TL mit periodisch variierender Intensität zu erzeugen. Zum Beispiel kann das Gerät zur Bildaufnahme 100 die Transmission und Nicht-Transmission des modulierten Transmissionslicht TL wiederholen, indem das lichtemittierende Bauteil mit einer Frequenz zwischen etwa 10 MHz und etwa 200 MHz an- und ausgeschaltet wird. Obwohl 25 das modulierte Licht TL als eine Rechtecksignalfolge illustriert, kann ein beliebiges periodisches Lichtsignal wie zum Beispiel ein sinusförmiges Signal als das modulierte Transmissionslicht TL und die Demodulationssignale TG1, TG2, TG3 und TG4 verwendet werden.
Das modulierte Transmissionslicht TL wird von dem Objekt reflektiert und zu dem Gerät zur Bildaufnahme 100 als zu empfangendes Licht EL zurückgeworfen. Das empfangene Licht EL hat eine Verzögerung durch eine Flugzeit (TOF) mit Bezug auf das modulierte Transmissionslicht TL. Die Photoladung wird in dem Photoerfassungsbereich des Tiefenpixel durch das empfangene Licht EL erzeugt.
Die Demodulationssignale TG1, TG2, TG3 und TG4 haben eine gegebene, gewünschte oder vorher festgelegte Phase mit Bezug auf das modulierte Transmissionslicht TL. Wenn die Photoladungen Q1, Q2, Q3 und Q4, die während des Aktivierungsintervalls der Demodulationssignale TG1, TG2, TG3 und TG4 integriert werden, erhalten werden, kann die TOF auf Grundlage der Photoladungen Q1, Q2, Q3 und Q4 berechnet werden.
Wenn der Abstand von dem photosensitiven Gerät zu dem Objekt „D” ist und eine Lichtgeschwindigkeit „c” ist, kann der Abstand mit der Beziehung D = (TOF·c)/2 berechnet werden. Obwohl 25 die vier Demodulationssignale TG1, TG2, TG3 und TG4 mit verschiedenen Phasen illustriert, kann eine andere Kombination von Demodulationssignalen verwendet werden, um die TOF zu erhalten. Zum Beispiel kann das Gerät zur Bildaufnahme 100 nur das erste Demodulationssignal TG1 mit einer Phase gleich einer Phase des modulierten Transmissionslichts TL und ein drittes Demodulationssignal TG3 mit einer Phasen, die der Phase des modulierten Transmissionslichts TL entgegen gesetzt ist, haben. Obwohl es nicht in 25 illustriert ist, können die Photoerfassungsbereiche PD und die ungeerdeten Diffusionsbereiche FD initialisiert werden, indem das Rücksetzsignal RS usw. vor dem Integrationszeitintervall TIMT aktiviert werden.
Während eines Zeitintervalls zum Auslesen VBD werden Datenbits D1, D2, D3 und D4, die den integrierten Photoladungen Q1, Q2, Q3 und Q4 entsprechen, durch Spaltenleitungen COL1 und COL2 zur Verfügung gestellt. Die Datenbits D1, D2, D3 und D4 können als die oben beschriebenen Rohdaten RZDATEN ausgegeben werden und bei der Berechnung der Tiefendaten ZDATEN und/oder der zweidimensionalen Daten FDATEN verwendet werden.
26 ist ein Diagramm, das eine beispielhafte Kombination zur Bereitstellung von Tiefendaten illustriert.
Bezug nehmend auf 26 kann ein Bitwert der Tiefendaten ZDATEN auf Grundlage von vier Bitwerten der Rohdaten RZDATEN zur Verfügung gestellt werden, wobei die vier Bitwerte jeweils den vier Demodulationssignalen TG1, TG2, TG3 bzw. TG4 mit den Phasendifferenzen von 0, 90, 180 bzw. 270 Grad bezüglich des Transmissionslichts TL entsprechen. Mit anderen Worten kann jede Kombination KMB mit den vier Tiefenpixeln Z1, Z2, Z3 und Z4 den einen Bitwert der Tiefendaten ZDATEN zur Verfügung stellen.
Wie oben beschrieben worden ist, kann der eine Bitwert der Tiefendaten ZDATEN erhalten werden, indem die TOF auf Grundlage der Photoladungen Q1, Q2, Q3 bzw. Q4, die den Demodulationssignalen TG1, TG2, TG3 bzw. TG4 mit den Phasendifferenzen von 0, 90, 180 bzw. 270 Grad entsprechen, berechnet wird. In 26 werden die kleinen, ausgefüllten, rechteckigen Punkte dargestellt, um die Positionen anzuzeigen, die den Bits der berechneten Tiefendaten ZDATEN entsprechen. Wenn die Tiefenpixel in einer Matrix-Form mit der Auflösung 2X·2Y angeordnet sind, kann die oben beschriebene erste Auflösung RES1, d. h. die Auflösung der Tiefendaten ZDATEN, X·Y sein.
27 ist ein Diagramm zur Beschreibung eines Verfahrens zur Berechnung von zweidimensionalen Daten auf Grundlage von Rohdaten, die unter Verwendung von Tiefenpixeln erhalten werden.
Bezug nehmend auf 27 kann ein Bitwert der zweidimensionalen Daten SWDATEN erhalten werden, indem zwei Bitwerte, die den zwei Demodulationssignalen mit den entgegen gesetzten Phasen von den vier Bitwerten D1, D2, D3 und D4 der Rohdaten RZDATEN entsprechen, summiert werden. Ein Bitwert D1 + D3 der zweidimensionalen Daten SWDATEN kann erhalten werden, indem zwei Bitwerte D1 und D3 der Rohdaten RZDATEN summiert werden, wobei die zwei Bitwerte D1 und D3 jeweils den zwei Demodulationssignalen GT1 und GT3 mit den Phasendifferenzen von 0 und 180 Grad von den vier Bitwerten D1, D2, D3 und D4 der Rohdaten RZDATEN entsprechen. Zusätzlich kann ein weiterer Bitwert D2 + D4 der zweidimensionalen Daten SWDATEN erhalten werden, indem zwei andere Bitwerte D2 und D4 der Rohdaten RZDATEN summiert werden, wobei die anderen zwei Bitwerte D2 und D4 jeweils den zwei Demodulationssignalen GT2 und GT4 mit den Phasendifferenzen von 90 und 270 Grad von den vier Bitwerten D1, D2, D3 und D4 der Rohdaten RZDATEN entsprechen. Auf diese Weise können die berechneten zweidimensionalen Daten SWDATEN das Schwarz-Weiß-Bild darstellen, indem die zwei Bitwerte der Rohdaten RZDATEN, die den zwei Demodulationssignalen mit entgegen gesetzten Phasen entsprechen, summiert werden.
28A und 28B sind Diagramme von beispielhaften Kombinationen zur Bereitstellung von zweidimensionalen Daten.
Wie mit Bezug auf 27 beschrieben worden ist, kann jeder Bitwert der zweidimensionalen Daten SWDATEN zur Verfügung gestellt werden, indem die zwei Bitwerte der Rohdaten RZDATEN summiert werden.
Bezug nehmend auf 28A kann gemäß den Kombinationen KMB1 und KMB3 der eine Bitwert der zweidimensionalen Daten SWDATEN zur Verfügung gestellt werden, indem die zwei Bitwerte von den zwei Pixeln Z1 und Z3, die den Demodulationssignalen GT1 und GT3 mit den Phasendifferenzen 0 und 180 Grad mit Bezug auf das Transmissionslicht TL entsprechen, summiert werden. Zusätzlich kann gemäß den Kombinationen KMB2 und KMB4 der eine Bitwert der zweidimensionalen Daten SWDATEN zur Verfügung gestellt werden, indem die zwei Bitwerte von den zwei Pixeln Z2 und Z4, die den Demodulationssignalen GT2 und GT4 mit den Phasendifferenzen 90 und 270 Grad mit Bezug auf das Transmissionslicht TL entsprechen, summiert werden.
In 28A werden die kleinen, ausgefüllten, kreisförmigen Punkte dargestellt, um die Positionen anzuzeigen, die den Bits der berechneten zweidimensionalen Daten SWDATEN entsprechen. Wenn die Tiefenpixel in einer Matrix-Form mit der Auflösung 2X·2Y angeordnet sind, kann die oben beschriebene zweite Auflösung RES2, d. h. die Auflösung der zweidimensionalen Daten SWDATEN, 2X·(2Y – 1) sein.
Bezug nehmend auf 28B kann gemäß den Kombinationen KMB5, KMB6, KMB7 und KMB8 der eine Bitwert der zweidimensionalen Daten SWDATEN zur Verfügung gestellt werden, indem die vier Bitwerte von den vier Pixeln Z1, Z2, Z3 und Z4, die den Demodulationssignalen GT1, GT2, GT3 und GT4 mit den Phasendifferenzen 0, 90, 180 und 270 Grad mit Bezug auf das Transmissionslicht TL entsprechen, summiert werden.
In 28B werden die kleinen, ausgefüllten, dreieckigen Punkte dargestellt, um die Positionen anzuzeigen, die den Bits der berechneten zweidimensionalen Daten SWDATEN entsprechen. Wenn die Tiefenpixel in einer Matrix-Form mit der Auflösung 2X·2Y angeordnet sind, kann die oben beschriebene zweite Auflösung RES2, d. h. die Auflösung der zweidimensionalen Daten SWDATEN, (2X – 1)·(2Y – 1) sein.
Die Tiefendaten ZDATEN der niedrigeren ersten Auflösung RES1 (z. B. X·Y) können zur Verfügung gestellt werden, indem M Bits (z. B. vier Bits) der Rohdaten RZDATEN, wie oben mit Bezug auf 27 beschrieben worden ist, kombiniert werden, und die zweidimensionalen Daten SWDATEN der höheren zweiten Auflösung RES2 (z. B. 2X·(2Y – 1) oder (2X – 1)·(2Y – 1)) können zur Verfügung gestellt werden, indem N Bits (z. B. zwei Bits oder vier Bits) der Rohdaten RZDATEN kombiniert werden, wie mit Bezug auf 28A und 28B beschrieben worden ist.
Auf diese Weise können die Tiefendaten ZDATEN und die zweidimensionalen Daten SWDATEN erhalten werden, indem nur der Tiefensensor ohne den zweidimensionalen Bildsensor verwendet wird, und die oben erwähnte lokale Super-Auflösung kann durchgeführt werden, indem die erhaltenen Daten ZDATEN und SWDATEN verwendet werden.
29 illustriert ein Blockdiagramm einer Kamera mit einem dreidimensionalen Bildsensor gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts.
Bezug nehmend auf 29 weist eine Kamera 800 eine lichtbündelnde Linse 810, einen dreidimensionalen Bildsensor 900 und eine Engine-Einheit 840 auf. Der dreidimensionale Bildsensor 900 kann einen dreidimensionalen Bildsensor-Chip 820 und ein Lichtquellenmodul 820 aufweisen. Gemäß manchen beispielhaften Ausführungsformen können der dreidimensionale Bildsensor-Chip 820 und das Lichtquellenmodul 830 mit getrennten Bauteilen realisiert sein oder wenigstens ein Teil des Lichtquellenmoduls 830 kann in dem dreidimensionalen Bildsensor-Chip 820 enthalten sein. In manchen beispielhaften Ausführungsformen kann die lichtbündelnde Linse 810 in dem dreidimensionalen Bildsensor-Chip 820 enthalten sein.
Die lichtbündelnde Linse 810 kann einfallendes Licht auf einen lichtempfindlichen Bereich (z. B. Tiefenpixel und/oder Farbpixel, die in einer Pixel-Matrix enthalten sind) des dreidimensionalen Bildsensor-Chips 820 fokussieren. Der dreidimensionale Bildsensor-Chip 820 kann Daten DATEN1 mit Tiefeninformation und/oder Farbinformation auf Grundlage des einfallenden Lichts, das die lichtbündelnde Linse 810 passiert, erzeugen. Zum Beispiel können die Daten DATEN1, die von dem dreidimensionalen Bildsensor-Chip 820 erzeugt werden, Tiefendaten, die mit Hilfe von Infrarotlicht oder infrarotnahem Licht, das von dem Lichtquelle-Modul 830 emittiert wird, erzeugt werden, und Rot-Grün-Blau(RGB)-Daten eines Bayer-Musters aufweisen, die mit Hilfe von externem sichtbaren Licht erzeugt werden. Der dreidimensionale Bildsensor-Chip 820 kann die Daten DATEN1 der Engine-Einheit 840 auf Grundlage eines Taktsignals CLK zur Verfügung stellen. In manchen beispielhaften Ausführungsformen kann der dreidimensionale Bildsensor-Chip 820 eine Schnittstelle mit der Engine-Einheit 840 über ein Mobile-Industry-Prozessor-Interface (MIPI^®) und/oder ein Camera-Serial-Interface (CSI) haben.
Die Engine-Einheit 840 steuert den dreidimensionalen Bildsensor 900. Die Engine-Einheit 840 kann die Daten DATEN 1 verarbeiten, die von dem dreidimensionalen Bildsensor-Chip 820 erhalten werden. Um das oben beschriebene Verfahren zur Erkennung der Bewegung gemäß manchen beispielhaften Ausführungsformen durchzuführen, kann die Engine-Einheit 840 einen Bewegungsbereichsverfolger 300 und/oder den Bewegungsanalysator 500 aufweisen. Die Engine-Einheit kann Datenverarbeitung zusätzlich zu der Bewegungserkennung durchführen. Zum Beispiel kann die Engine-Einheit 840 dreidimensionale Farbdaten auf Grundlage der Daten DATEN1, die von dem dreidimensionalen Bildsensor-Chip 820 empfangen werden, erzeugen. In anderen Beispielen kann die Engine-Einheit 840 Luminanz- und Chominanz-Daten (YUV) mit einer Luminanz-Komponente Y, einer Komponente der Blau-Luminanz-Differenz U und einer Komponente der Rot-Luminanz-Differenz V erzeugen auf Grundlage der RGB-Daten, die in den Daten DATEN1 enthalten sind, oder komprimierte Daten, wie zum Beispiel Joint-Photographic-Experts-Group-Daten (JPEG). Die Engine-Einheit 840 kann mit einem Host/einer Anwendung 850 verbunden sein und kann Daten DATEN2 dem Host/der Anwendung 850 auf Grundlage eines Haupttakts MCLK zur Verfügung stellen. Weiterhin kann die Engine-Einheit 840 eine Schnittstelle mit dem Host/der Anwendung 850 über ein Serial-Peripheral-Interface (SPI) und/oder Inter-Integrated-Circuit (I2C) haben.
30 illustriert ein Blockdiagramm eines Rechnersystems mit einem Gerät zur Bewegungserkennung gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts.
Bezug nehmend auf 30 kann ein Rechnersystems 1000 einen Prozessor 1010, ein Speicherbauteil 1020, ein Speicherbauteil 1030, ein Bauteil zur Ein- und Ausgabe 1040, eine Spannungsversorgung 1050 und einen dreidimensionalen Bildsensor 900 aufweisen. Obwohl es nicht in 30 illustriert wird, kann das Rechnersystem 1000 ferner Anschlüsse aufweisen, die mit einer Videokarte, einer Tonkarte, einer Speicherkarte, einem Bauteil mit Universal-Serial-Bus (USB) und/oder anderen elektronischen Bauteilen kommunizieren.
Der Prozessor 1010 kann verschiedene Berechnungen und Aufgaben durchführen. Gemäß manchen Ausführungsformen kann der Prozessor 1010 ein Mikroprozessor oder eine zentrale Prozessoreinheit (CPU, engl.: central processing unit) sein. Der Prozessor 1010 kann mit dem Speicherbauteil 1020, dem Speicherbauteil 1030, dem Bauteil zur Ein- und Ausgabe 1040 über einen Adress-Bus, einen Steuer-Bus und/oder einen Daten-Bus kommunizieren. In manchen beispielhaften Ausführugsformen kann der Prozessor mit einem erweiterten Bus verbunden sein, zum Beispiel einem Peripheral-Component-Interconnection-Bus (PCI). Das Speicherbauteil 1020 kann Daten zum Betrieb des Rechnersystems 1000 speichern. Zum Beispiel kann das Speicherbauteil 1020 mit einem Bauteil mit dynamischem Direktzugriffspeicher (DRAM, engl.: dynamic random access memory), einem mobilen DRAM-Bauteil, einem Bauteil mit statischem Direktzugriffspeicher (SRAM), einem Bauteil mit Phasen-Direktzugriffspeicher (PRAM), einem Bauteil mit ferroelektrischem Direktzugriffspeicher (FRAM), einem Bauteil mit resistivem Direktzugriffspeicher (RRAM) und/oder einem Bauteil mit magnetischem Direktzugriffspeicher (MRAM) realisiert sein. Das Speicherbauteil kann ein Festkörperlaufwerk (SSD, engl.: solid state disk), eine Festplattenlaufwerk (HDD, engl.: hard disk drive), einen Compact-Disk-Nur-Lese-Speicher (CD-ROM, engl.: read-only memory) usw. einschließen. Das Bauteil zur Ein- und Ausgabe 1040 kann ein Eingabebauteil (z. B. eine Tastatur, einen Ziffernblock, eine Maus usw.) und ein Ausgabebauteil (z. B. einen Drucker, ein Anzeigegerät usw.) einschließen. Die Spannungsversorgung 1050 stellt Betriebsspannungen für das Rechnersystem 1000 bereit.
Der dreidimensionale Bildsensor 900 kann mit dem Prozessor 1010 über die Busse oder andere Kommunikationsverbindungen kommunizieren. Der dreidimensionale Bildsensor 900 kann mit dem Prozessor 1010 auf einem Chip integriert sein oder der dreidimensionale Bildsensor 900 und der Prozessor 1010 können als getrennte Chips realisiert sein.
Der dreidimensionale Bildsensor 900 kann Gehäuse verschiedener Formen haben, wie zum Beispiel package an package (PoP), ball grid arrays (BGAs), chip scale packages (CSPs), plastic leaded chip carrier (PLCC), plastic dual in-line package (PDIP), die in waffle pack, die in wafer form, chip an board (COB), ceramic dual inline package (CERDIP), plastic metric quad flat pack (MQFP), thin quad flat pack (TQFP), small outline integrated circuit (SOIC), shrink small outline package (SSOP), thin small outline package (TSOP), system in package (SIP), multi-chip package (MCP), wafer-level fabricated package (WFP) oder wafer-level processed stack package (WSP).
Das Rechnersystem 1000 kann jedes beliebige Rechnersystem sein, das einen dreidimensionalen Bildsensor verwendet. Zum Beispiel kann das Rechnersystem 1000 eine Digitalkamera, ein Mobiltelefon, ein Smartphone, ein tragbares Multimedia-Abspielgerät (PMP, engl.: portable multimedia player), einen persönlichen digitalen Assistenten (PDA) usw. einschließen.
31 illustriert ein Blockdiagramm einer Schnittstelle, die in dem Rechnersystem von 30 gemäß manchen beispielhaften Ausführungsformen des erfinderischen Konzepts einsetzbar ist.
Bezug nehmend auf 31 kann ein Rechnersystem 1100 durch ein Gerät zur Datenverarbeitung realisiert sein, das eine Mobile-Industry-Processor-Interface(MIPI^®)-Schnittstelle verwendet oder unterstützt. Das Rechnersystem 1100 kann einen Anwendungsprozessor 1110, einen dreidimensionalen Bildsensor 1140, ein Anzeigebauteil 1150 usw. aufweisen. Ein CSI-Host 1112 des Anwendungsprozessors 1110 kann eine serielle Kommunikation mit einem CSI-Bauteil 1141 des dreidimensionalen Bildsensors 1140 über eine serielle Kamera-Schnittstelle (CSI) durchführen. In manchen beispielhaften Ausführungsformen kann der CSI-Host 1112 einen Deserialisierer (DES) aufweisen und das CSI-Bauteil 1141 kann einen Serialisierer (SER) aufweisen. Ein DSI-Host 1111 des Anwendungsprozessors 1110 kann eine serielle Kommunikation mit einem DSI-Bauteil 1151 des Anzeigebauteils 1150 über eine serielle Anzeige-Schnittstelle (DSI) durchführen.
In einigen beispielhaften Ausführungsformen kann der DSI-Host 1111 einen Serialisierer (SER) aufweisen und das DSI-Bauteil 1151 kann einen Deserialisierer (DES) aufweisen. Das Rechnersystem 1100 kann ferner einen Radiofrequenz(RF)-Chip 1160 aufweisen, der eine Kommunikation mit dem Anwendungsprozessor 1110 und einem DigRF^SMslave 1162 durchführt, welcher Kommunikation mit anderen Bauteilen zur Verfügung stellt. Eine physikalische Schicht (PHY) 1113 des Rechnersystems 1100 und eine physikalische Schicht (PHY) 1161 des RF-Chips 1160 können Datenkommunikation auf Grundlage eines MIPI^® DigRF^SM durchführen. Der Anwendungsprozessor 1110 kann ferner einen DigRF^SM MASTER 1114 aufweisen, der die Datenkommunikation der PHY 1161 steuert.
Das Rechnersystem 1100 kann ferner ein Global-Positioning-System (GPS) 1120, einen Speicher 1170, ein MIK 1180, ein DRAM-Bauteil 1185 und einen Lautsprecher 1190 aufweisen. Zusätzlich kann das Rechnersystem 1100 Kommunikation unter Verwendung von Ultrabreitband (UWB, engl.: ultra-wideband) 1210, eines drahtlosen lokalen Netzwerks (WLAN, engl.: wireless local area network), eines WIMAX-Netzwerks (engl.: worldwide interoperability for microwave access) 1230 usw. durchführen. Allerdings sind die Struktur und die Schnittstelle des Rechnersystems 1100 nicht darauf beschränkt.
Manche beispielhafte Ausführungsformen des erfinderischen Konzepts können auf beliebige Bauteile und/oder Systeme angewendet werden, die schnelle und/oder verbesserte Bewegungserkennung für das sich bewegende Objekt erfordern. Insbesondere können manche beispielhafte Ausführungsformen des erfinderischen Konzepts nutzbringend auf die Geräte und/oder Systeme angewendet werden, die eine Benutzerschnittstelle auf Grundlage der Bewegung des Benutzers erfordern.
Es versteht sich, dass beispielhafte Ausführungsformen, die hier beschrieben worden sind, nur in einem beschreibenden Sinn und nicht zu Zwecken von Einschränkungen betrachtet werden sollen. Beschreibungen von Eigenschaften und Gesichtspunkten in jeder Ausführungsform sollten in der Regel als verfügbar für andere ähnliche Eigenschaften und Gesichtspunkte in anderen Ausführungsformen angesehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2012-0120883 [0001]

Claims

Verfahren zum Erkennen einer Bewegung eines Objekts, wobei das Verfahren aufweist: periodisches Abrufen (S200) von Tiefendaten (ZDATEN) einer ersten Auflösung und von zweidimensionalen Daten (FDATEN) einer zweiten Auflösung mit Bezug auf eine Szene unter Verwendung eines Geräts zur Bildaufnahme (100), wobei die zweite Auflösung höher ist als die erste Auflösung; Bestimmen (S400) eines Bewegungsverfolgungsbereichs (BVB) durch Erkennen eines Zielobjekts in der Szene auf Grundlage der Tiefendaten (ZDATEN), so dass der Bewegungsverfolgungsbereich (BVB) einem Teil eines Frames entspricht und der Teil das Zielobjekt aufweist; periodisches Abrufen (S600) von Daten des Verfolgungsbereichs (VBDATEN) der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen; und Analysieren (S800) der Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs (VBDATEN).
Verfahren nach Anspruch 1, wobei periodisches Abrufen der Tiefendaten (ZDATEN) und der zweidimensionalen Daten (FDATEN) aufweist: Bereitstellen (S212) der Tiefendaten (ZDATEN), die dem Frame entsprechen, mit einer ersten Frame-Periode unter Verwendung von Tiefenpixeln (Z) der ersten Auflösung; und Bereitstellen (S214) der zweidimensionalen Daten (FDATEN), die dem Frame entsprechen, mit einer zweiten Frame-Periode unter Verwendung von Farbpixeln (R, G, B) der zweiten Auflösung.
Verfahren nach Anspruch 2, weiter mit: Synchronisieren der Tiefendaten (ZDATEN) und der zweidimensionalen Daten (FDATEN), damit sie aufeinander abgestimmt sind, wenn die erste Frame-Periode verschieden ist von der zweiten Frame-Periode.
Verfahren nach Anspruch 3, wobei die Daten des Verfolgungsbereichs (VBDATEN), die dem Bewegungsverfolgungsbereich (BVB) entsprechen, mit der ersten Frame-Periode oder der zweiten Frame-Periode zur Verfügung gestellt werden.
Verfahren nach Anspruch 1, wobei periodisches Abrufen der Daten des Verfolgungsbereichs (VBATEN) der zweiten Auflösung aufweist: Extrahieren (S612) von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen, von den zweidimensionalen Daten (FDATEN) der zweiten Auflösung, die dem Frame entsprechen (S612); und Bereitstellen (S614) der Bereichsbilddaten der zweiten Auflösung als die Daten des Verfolgungsbereichs.
Verfahren nach Anspruch 2, wobei periodisches Abrufen der Daten des Verfolgungsbereichs der zweiten Auflösung aufweist: Extrahieren von Bereichstiefendaten der ersten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den Tiefendaten (ZDATEN) der ersten Auflösung, die dem Frame entsprechen (S622); Extrahieren von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich entsprechen, von den zweidimensionalen Daten (FDATEN) der zweiten Auflösung, die dem Frame entsprechen (S624); Kompensieren der Bereichstiefendaten der ersten Auflösung unter Verwendung der Bereichsbilddaten der zweiten Auflösung, um Bereichstiefendaten der zweiten Auflösung zu erzeugen (S626); und Bereitstellen der Bereichstiefendaten der zweiten Auflösung als die Daten des Verfolgungsbereichs (S628).
Verfahren nach Anspruch 2, wobei die Tiefenpixel (Z) und die Farbpixel (R, G, B) in einer gemeinsamen Pixel-Matrix (PX_FZ) angeordnet sind.
Verfahren nach Anspruch 2, wobei die Tiefenpixel (Z) und die Farbpixel (R, G, B) jeweils in verschiedenen Pixel-Matrizen (PX_Z, PX_F), die voneinander räumlich getrennt sind, angeordnet sind.
Verfahren nach Anspruch 1, wobei periodisches Abrufen der Tiefendaten (ZDATEN) und der zweidimensionalen Daten (FDATEN) aufweist: periodisches Bereitstellen von Rohdaten, die dem Frame entsprechen, unter Verwendung von Flugzeit(TOF)-Tiefenpixeln (S232), wobei die TOF- Tiefenpixel in Reaktion auf eine Mehrzahl von Demodulationssignalen (TG1, TG2, TG3, TG4) mit voneinander verschiedenen Phasen arbeiten; und Berechnen der Tiefendaten (ZDATEN) der ersten Auflösung und der zweidimensionalen Daten (FDATEN) der zweiten Auflösung auf Grundlage der Rohdaten.
Verfahren nach Anspruch 9, wobei Berechnen der Tiefendaten (ZDATEN) der ersten Auflösung und der zweidimensionalen Daten (FDATEN) der zweiten Auflösung aufweist: Bereitstellen der Tiefendaten (ZDATEN) der ersten Auflösung durch Kombinieren von allen M Bits der Rohdaten (S234), wobei M eine positive ganze Zahl gleich oder größer als zwei ist; und Bereitstellen der zweidimensionalen Daten (FDATEN) der zweiten Auflösung durch Kombinieren von allen N Bits der Rohdaten (S236), wobei N eine positive ganze Zahl gleich oder kleiner als M ist.
Verfahren nach Anspruch 9, wobei die Demodulationssignale (TG1, TG2, TG3, TG4) eine Phasendifferenz von 0, 90, 180 bzw. 270 Grad mit Bezug auf Transmissionslicht (TL) haben, das von dem Gerät zur Bildaufnahme (100) ausgestrahlt wird.
Verfahren nach Anspruch 11, wobei Bereitstellen der Tiefendaten (ZDATEN) der ersten Auflösung aufweist: Bereitstellen von einem Bitwert der Tiefendaten (ZDATEN) auf Grundlage von vier Bitwerten der Rohdaten, wobei die vier Bitwerte jeweils den vier Demodulationssignalen mit der Phasendifferenz 0, 90, 180 bzw. 270 Grad entsprechen.
Verfahren nach Anspruch 11, wobei Bereitstellen der zweidimensionalen Daten (FDATEN) der zweiten Auflösung aufweist: Bereitstellen von einem Bitwert der zweidimensionalen Daten (FDATEN) durch Summieren von zwei Bitwerten der Rohdaten, wobei die zwei Bitwerte jeweils den Demodulationssignalen mit den Phasendifferenzen von 0 bzw. 180 Grad entsprechen; und Bereitstellen eines anderen Bitwerts der zweidimensionalen Daten (FDATEN) durch Summieren von zwei anderen Bitwerten der Rohdaten, wobei die zwei anderen Bitwerte jeweils den zwei Demodulationssignalen mit den Phasendifferenzen von 90 bzw. 270 Grad entsprechen.
Verfahren nach Anspruch 1, wobei periodisches Abrufen der Daten des Verfolgungsbereichs der zweiten Auflösung aufweist: Extrahieren von Bereichstiefendaten der ersten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen, von den Tiefendaten (ZDATEN) der ersten Auflösung, die dem Frame entsprechen (S632); Extrahieren von Bereichsbilddaten der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen, von den zweidimensionalen Daten (FDATEN) der zweiten Auflösung, die dem Frame entsprechen (S634); Kompensieren der Bereichstiefendaten der ersten Auflösung unter Verwendung der Bereichsbilddaten der zweiten Auflösung, um Bereichstiefendaten der zweiten Auflösung zu erzeugen (S636); und Bereitstellen der Bereichstiefendaten der zweiten Auflösung als die Daten des Verfolgungsbereichs (S638).
Verfahren nach Anspruch 1, wobei Bestimmen des Bewegungsverfolgungsbereichs (BVB) aufweist: Bestimmen von Koordinaten eines zentralen Punkts des Bewegungsverfolgungsbereichs (BVB) in dem Frame; und Bestimmen einer Größe des Bewegungsverfolgungsbereichs (BVB) in dem Frame.
Verfahren nach Anspruch 1, weiter mit: Aktualisieren des Bewegungsverfolgungsbereichs (BVB) gemäß der Bewegung des Zielobjekts.
Verfahren nach Anspruch 16, wobei Aktualisieren des Bewegungsverfolgungsbereichs (BVB) aufweist: Erfassen einer Veränderung einer Position des Zielobjekts in der Szene auf Grundlage der Tiefendaten (ZDATEN); und Verändern von Koordinaten eines zentralen Punkts des Bewegungsverfolgungsbereichs (BVB) in dem Frame auf Grundlage der Veränderung der Position des Zielobjekts in der Szene.
Verfahren nach Anspruch 16, wobei Aktualisieren des Bewegungsverfolgungsbereichs (BVB) aufweist: Erfassen einer Veränderung eines Abstands zu dem Zielobjekt auf Grundlage der Tiefendaten (ZDATEN); Verringern einer Größe des Bewegungsverfolgungsbereichs (BVB), wenn sich der Abstand zu dem Zielobjekts erhöht; und Vergrößern der Größe des Bewegungsverfolgungsbereichs, wenn sich der Abstand zu dem Zielobjekts verringert.
Vorrichtung zum Erkennen einer Bewegung eines Objekts (20), wobei die Vorrichtung aufweist: ein Gerät zur Bildaufnahme (100), das ausgelegt ist, periodisch Tiefendaten (ZDATEN) einer ersten Auflösung und zweidimensionale Daten (FDATEN) einer zweiten Auflösung mit Bezug auf eine Szene zur Verfügung zu stellen, wobei die zweite Auflösung höher ist als die erste Auflösung; einen Bewegungsbereichsverfolger (300), der ausgelegt ist, einen Bewegungsverfolgungsbereich (BVB) durch Erkennen eines Zielobjekts in der Szene auf Grundlage der Tiefendaten (ZDATEN) zu bestimmen, so dass der Bewegungsverfolgungsbereich (BVB) einem Teil eines Frames entspricht und der Teil das Zielobjekt aufweist, und der ausgelegt ist, periodisch Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen, zur Verfügung zu stellen; und einen Bewegungsanalysator (500), der ausgelegt ist, die Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs zu analysieren.
Vorrichtung nach Anspruch 19, wobei das Gerät zur Bildaufnahme (100) aufweist: eine Pixel-Matrix (PX_FZ), in der Tiefenpixel (Z) der ersten Auflösung und Farbpixel (R, G, B) der zweiten Auflösung abwechselnd angeordnet sind, wobei die Tiefenpixel (Z) die Tiefendaten (ZDATEN) mit einer ersten Frame-Periode zur Verfügung stellen und die Farbpixel (R, G, B) die zweidimensionalen Daten (FDATEN) mit einer zweiten Frame-Periode zur Verfügung stellen.
Vorrichtung nach Anspruch 19, wobei das Gerät zur Bildaufnahme (100) aufweist: eine erste Pixel-Matrix (PX_Z), in der Tiefenpixel (Z) der ersten Auflösung angeordnet sind, wobei die Tiefenpixel (Z) die Tiefendaten (ZDATEN) mit einer ersten Frame-Periode zur Verfügung stellen; und eine zweite Pixel-Matrix (PX_F), in der Farbpixel (R, G, B) der zweiten Auflösung angeordnet sind, wobei die Farbpixel (R, G, B) die zweidimensionalen Daten (FDATEN) mit einer zweiten Frame-Periode zur Verfügung stellen.
Vorrichtung nach Anspruch 19, wobei das Gerät zur Bildaufnahme (100) aufweist: eine Pixel-Matrix (PX_Z), in der Flugzeit(TOF)-Tiefenpixel (Z1, Z2, Z3, Z4) angeordnet sind, wobei die TOF-Tiefenpixel (Z1, Z2, Z3, Z4) in Reaktion auf eine Mehrzahl von Demodulationssignalen (TG1, TG2, TG3, TG4) mit voneinander verschiedenen Phasen arbeiten, um periodisch Rohdaten (RZDATEN), die dem Frame entsprechen, zur Verfügung zu stellen.
Vorrichtung nach Anspruch 22, wobei die Demodulationssignale eine Phasendifferenz von 0, 90, 180 bzw. 270 Grad mit Bezug auf Transmissionslicht (TL) haben, das von dem Gerät zur Bildaufnahme (100) ausgestrahlt wird, und ein Bitwert der Tiefendaten (ZDATEN) auf Grundlage von vier Bitwerten (D1, D2, D3, D4) der Rohdaten (RZDATEN) zur Verfügung gestellt wird, wobei die vier Bitwerte (D1, D2, D3, D4) jeweils den vier Demodulationssignalen (TG1, TG2, TG3, TG4) mit der Phasendifferenz von 0, 90, 180 bzw. 270 Grad entsprechen.
System (10), das aufweist: ein Gerät zur Bildaufnahme (100), das ausgelegt ist, periodisch Tiefendaten (ZDATEN) einer ersten Auflösung, die einem Frame einer Szene entsprechen, und zweidimensionale Daten (FDATEN) einer zweiten Auflösung, die dem Frame entsprechen, zur Verfügung zu stellen, wobei die zweite Auflösung höher ist als die erste Auflösung; einen Bewegungsbereichsverfolger (300), der ausgelegt ist, einen Bewegungsverfolgungsbereich (BVB) durch Erkennen eines Zielobjekts in der Szene auf Grundlage der Tiefendaten (ZDATEN) zu bestimmen, so dass der Bewegungsverfolgungsbereich (BVB) einem Teil des Frames entspricht und der Teil das Zielobjekt aufweist, und der ausgelegt ist, periodisch Daten des Verfolgungsbereichs der zweiten Auflösung, die dem Bewegungsverfolgungsbereich (BVB) entsprechen, zur Verfügung zu stellen; einen Bewegungsanalysator (500), der ausgelegt ist, Bewegung des Zielobjekts auf Grundlage der Daten des Verfolgungsbereichs zu analysieren; und ein Steuerbauteil (30), das ausgelegt ist, ein Ereignis, das der Bewegung des Zielobjekts entspricht, auf Grundlage eines Analyseresultats des Bewegungsanalysators (500) zu erzeugen.
System nach Anspruch 24, wobei das System ein Benutzerschnittstellensystem ist, das durch Erkennen einer Bewegung eines Benutzers (15) arbeitet, und wobei das Zielobjekt einen Körper des Benutzers (15) oder einen Teil des Körpers des Benutzers (15) einschließt.
Verfahren zum Erkennen einer Bewegung eines Objekts, wobei das Verfahren aufweist: Abrufen von Tiefendaten (ZDATEN) einer ersten Auflösung mit Bezug auf eine Szene; Abrufen von zweidimensionalen Daten (FDATEN) einer zweiten Auflösung mit Bezug auf die Szene; Erkennen des Objekts in der Szene auf Grundlage der Tiefendaten (ZDATEN); Verfolgen des Objekts unter Verwendung eines Bewegungsverfolgungsbereichs (BVB), um Daten des Verfolgungsbereichs der zweiten Auflösung zur Verfügung zu stellen; und Analysieren der Bewegung des Objekts auf Grundlage der Daten des Verfolgungsbereichs; wobei die zweite Auflösung höher ist als die erste Auflösung.
Verfahren nach Anspruch 26, wobei Abrufen der Tiefendaten (ZDATEN) der ersten Auflösung Verwenden einer Tiefenpixel-Matrix (PX_Z) einer Messeinheit (130b) zum Ausgeben von Tiefeninformation (RZDATEN) aufweist.
Verfahren nach Anspruch 26, wobei Abrufen der zweidimensionalen Daten (FDATEN) der zweiten Auflösung Verwenden einer Farbpixel-Matrix (PX_F) einer Messeinheit (130b) zum Ausgeben von Farbinformation (RFDATEN) aufweist.
Verfahren nach Anspruch 26, wobei Abrufen der Tiefendaten (ZDATEN) der ersten Auflösung Verwenden einer Tiefenpixel-Matrix (PX_F) einer Messeinheit (130b) zum Ausgeben von Tiefeninformation (RZDATEN) aufweist, und wobei Abrufen der zweidimensionalen Daten (FDATEN) der zweiten Auflösung Verwenden einer Farbpixel-Matrix (PX_F) der Messeinheit (130b) zum Ausgeben von Farbinformation (RFDATEN) aufweist.
Verfahren nach Anspruch 26, wobei Abrufen der Tiefendaten (ZDATEN) der ersten Auflösung Verwenden einer Pixel-Matrix (PX_FZ) einer Messeinheit (130a) zum Ausgeben von Tiefeninformation (RZDATEN) aufweist, und wobei Abrufen der zweidimensionalen Daten (FDATEN) der zweiten Auflösung Verwenden der Pixel-Matrix (PX_FZ) der Messeinheit (130a) zum Ausgeben von Farbinformation (RFDATEN) aufweist.