DE102013111558A1

DE102013111558A1 - Mobilsystem mit Bildsensoren, Verfahren zum Betreiben von Bildsensoren und Verfahren zum Betreiben von Mobilsystemen

Info

Publication number: DE102013111558A1
Application number: DE102013111558.6A
Authority: DE
Inventors: Yoon-dong Park; Won-joo Kim; Young Gu Jin; Dong-Wook Kwon; Kyung-Il Kim; Min-ho Kim; Gi-Sang Lee; Sang-Bo Lee; Jin-kyung Lee; Jin-Wuk Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-10-23
Filing date: 2013-10-21
Publication date: 2014-05-08
Also published as: US20140111423A1; CN103777750A; KR20140051572A; KR101938648B1; US9829983B2; CN103777750B

Abstract

Ein Mobilsystem kann einen dreidimensionalen (3D) Bildsensor (100) auf einer ersten Oberfläche des Mobilsystems (1000), der konfiguriert ist zum Durchführen einer ersten Abtastung derart, dass er eine Nähe eines Subjekts erfasst, und einer zweiten Abtastung derart, dass er eine Geste des Subjekts durch Erfassen einer Abstandsinformation für das Subjekt erkennt; und/oder eine Anzeigevorrichtung (1041) auf der obersten Fläche des Mobilsystems (1000) zum Anzeigen von Ergebnissen der ersten Abtastung und der zweiten Abtastung aufweist. Ein Mobilsystem (1000) kann eine Lichtquelleneinheit (140), eine Mehrzahl von Tiefenpixeln (111) und/oder eine Mehrzahl von Farbpixeln (211) aufweisen. Die Lichtquelleneinheit (140), die Mehrzahl von Tiefenpixeln (111) oder die Mehrzahl von Farbpixeln (211) können basierend auf einem Betriebsmodus des Mobilsystems (1000) aktiviert werden.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht die am 23. Oktober 2012 beim Korean Intellectual Property Office (KIPO) eingereichte koreanische Patentanmeldung KR 10-2012-0117760 A , deren Gesamtheit durch Bezugnahme hierin mit offenbart wird.
HINTERGRUND
1. Technisches Gebiet
Einige beispielhafte Ausführungsformen betreffen allgemein Bildsensoren. Einige beispielhafte Ausführungsformen können Bildsensoren enthaltende Mobilsysteme, Verfahren zum Betreiben der Bildsensoren, und Verfahren zum Betreiben der die Bildsensoren enthaltenden Mobilsysteme betreffen.
2. Beschreibung des Standes der Technik
Ein Bildsensor ist eine Vorrichtung zum Umwandeln eines eine Information über ein Bild oder einen Abschnitt (z. B. Tiefe) enthaltenden optischen Signals in ein elektrisches Signal. Studien über den Bildsensor wurden aktiv durchgeführt, um erforderliche Informationen sorgfältig und präzise bereitzustellen. Insbesondere wurden aktiv Studien und Forschung für einen dreidimensionalen (3D) Bildsensor durchgeführt, der in der Lage ist, eine Abstandsinformation sowie eine Bildinformation vorzusehen. Der 3D-Bildsensor wird hauptsächlich für eine Bewegungserkennung oder Gestenerkennung verwendet. Mittlerweise kann, falls in der Zukunft eine 3D-Anzeige bei einem Mobilsystem angewendet wird, eine Nutzerschnittstelle notwendig sein, die ein Raumberührungsverfahren einsetzt. Diesbezüglich können Techniken zum wirksamen Installieren des 3D-Bildsensors in ein System und Techniken zum Verringern des Leistungsverbrauchs des 3D-Bildsensors erforderlich sein.
KURZFASSUNG DER ERFINDUNG
Einige beispielhafte Ausführungsformen können Mobilsysteme vorsehen, die mit 3D-Bildsensoren ausgestattet sind, um eine Näherungsabtastung und/oder eine Bewegungserkennung ohne zunehmende Größe der Mobilsysteme auszuführen.
Einige Ausführungsformen können Verfahren zum Betreiben von Bildsensoren vorsehen, die in der Lage sind, eine Näherungsabtastung und/oder eine Bewegungserkennung auszuführen.
Einige beispielhafte Ausführungsformen können ein Verfahren zum Betreiben von Mobilsystemen vorsehen, die Bildsensoren enthalten, die in der Lage sind, eine Näherungsabtastung und/oder eine Bewegungserkennung auszuführen.
Bei einigen beispielhaften Ausführungsformen weist ein Mobilsystem einen dreidimensionalen (3D)-Bildsensor auf einer ersten Oberfläche des Mobilsystems, der derart konfiguriert ist, dass er eine erste Abtastung zum Erfassen einer Nähe eines Subjekts und eine zweite Abtastung zum Erkennen einer Geste des Subjekts durch Erfassen einer Abstandsinformation für das Subjekt ausführt, und/oder eine Anzeigevorrichtung auf der ersten Oberfläche des Mobilsystems zum Anzeigen von Ergebnissen der ersten Abtastung und der zweiten Abtastung auf.
Bei einigen beispielhaften Ausführungsformen kann ein erster Betriebsmodus zum Ausführen der ersten Abtastung basierend auf einem Auslösesignal aktiviert werden. Die zweite Abtastung kann selektiv ausgeführt werden, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann ein erster Betriebsmodus zum Ausführen der ersten Abtastung basierend auf einem Auslösesignal aktiviert werden. Die zweite Abtastung kann selektiv ausgeführt werden, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann das Mobilsystem ferner eine Eingabevorrichtung zum Empfangen einer Nutzereingabe aufweisen. Wenigstens einer von einem zweiten Betriebsmodus zum Ausführen einer ersten Zieloperation basierend auf der zweiten Abtastung und einem dritten Betriebsmodus zum Ausführen einer zweiten Zieloperation basierend auf einem durch die Eingabevorrichtung erzeugten Eingabesignal, kann aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann der zweite Betriebsmodus aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist, und/oder ein Betriebsmodus des Mobilsystems kann in dem zweiten Betriebsmodus beibehalten werden oder von dem zweiten Betriebsmodus zu dem dritten Betriebsmodus verändert werden basierend auf der ersten Zieloperation.
Bei einigen beispielhaften Ausführungsformen kann der dritte Betriebsmodus aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist, und ein Betriebsmodus des Mobilsystems kann in dem dritten Betriebsmodus beibehalten werden oder von dem dritten Betriebsmodus zu dem zweiten Betriebsmodus verändert werden basierend auf der zweiten Zieloperation.
Bei einigen beispielhaften Ausführungsformen können der zweite Betriebsmodus und der dritte Betriebsmodus gleichzeitig aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann das Mobilsystem ferner einen zweidimensionalen (2D)-Bildsensor auf der ersten Oberfläche des Mobilsystems zum Ausführen einer dritten Abtastung derart, dass er eine Farbbildinformation für das Subjekt erfasst, aufweisen.
Bei einigen beispielhaften Ausführungsformen kann ein erster Betriebsmodus zum Ausführen der ersten Abtastung basierend auf einem Auslösesignal aktiviert werden, und einer von der zweiten Abtastung und der dritten Abtastung wird durchgeführt, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Mehrzahl von Tiefenpixeln aufweisen und kann die erste Abtastung in dem ersten Betriebsmodus basierend auf den zueinander benachbarten ersten Tiefenpixeln von den Tiefenpixeln ausführen.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Mehrzahl von Tiefenpixeln enthalten und der 2D-Bildsensor kann eine Mehrzahl von Farbpixeln enthalten. Einer von einem zweiten Betriebsmodus zum Ausführen der zweiten Abtastung basierend auf den zueinander benachbarten ersten Tiefenpixeln, während ein Teilarray von den Tiefenpixeln gebildet wird, einem dritten Betriebsmodus zum Ausführen der zweiten Abtastung basierend auf den Tiefenpixeln, einem vierten Betriebsmodus zum Ausführen der dritten Abtastung basierend auf den Farbpixeln, und einem fünften Betriebsmodus zum gleichzeitigen Ausführen der zweiten Abtastung und der dritten Abtastung basierend auf den Tiefenpixeln und den Farbpixeln kann aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann der zweite Betriebsmodus aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist, und ein Betriebsmodus des Mobilsystems wird von dem zweiten Betriebsmodus zu einem von dem dritten bis fünften Betriebsmodus basierend auf einem Ergebnis der in dem zweiten Betriebsmodus ausgeführten zweiten Abtastung verändert.
Bei einigen beispielhaften Ausführungsformen kann der dritte Betriebsmodus aktiviert werden, wenn das Subjekt in der Nähe des 3D-Bildsensors ist, und ein Betriebsmodus des Mobilsystems wird in dem dritten Betriebsmodus beibehalten oder von dem dritten Betriebsmodus zu einem von einem vierten und einem fünften Betriebsmodus basierend auf einem Ergebnis der in dem dritten Betriebsmodus ausgeführten zweiten Abtastung verändert.
Bei einigen Ausführungsformen kann die dritte Abtastung ferner basierend auf wenigstens einem Teil der Farbpixel ausgeführt werden, wenn der zweite Betriebsmodus aktiviert wird.
In einigen beispielhaften Ausführungsformen können der 3D-Bildsensor und der 2D-Bildsensor ein integrierter Schaltungschip oder zwei getrennt voneinander integrierte Schaltungschips sein.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Mehrzahl von Tiefenpixeln enthalten, der 2D-Bildsensor kann eine Mehrzahl von Farbpixeln enthalten, und die Tiefenpixel und Farbpixel können ein Pixelarray oder zwei voneinander getrennte Pixelarrays bilden.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Lichtquelleneinheit aufweisen, die nicht aktiviert wird, wenn die erste Abtastung ausgeführt wird, und die aktiviert wird, wenn die zweite Abtastung ausgeführt wird.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Lichtquelleneinheit aufweisen, die Licht mit geringer Helligkeit emittiert, wenn die erste Abtastung ausgeführt wird, und die Licht mit hoher Helligkeit emittiert, wenn die zweite Abtastung ausgeführt wird.
Bei einigen beispielhaften Ausführungsformen kann ein Verfahren zum Betreiben eines dreidimensionalen (3D) Bildsensors Ausführen einer ersten Abtastung basierend auf einem Auslösesignal derart, dass er eine Nähe eines Subjekts erfasst, und/oder Ausführen einer zweiten Abtastung derart, dass er eine Geste des Subjekts durch Erfassen einer Abstandsinformation für das Subjekt erkennt, erfassen, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des 3D-Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann ferner das Verfahren Ausführen einer Zieloperation basierend auf der zweiten Abtastung aufweisen.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor eine Mehrzahl von Tiefenpixeln aufweisen. Die erste Abtastung kann basierend auf einem Teil der Tiefenpixel ausgeführt werden und die zweite Abtastung kann basierend auf allen Tiefenpixeln ausgeführt werden.
Bei einigen Ausführungsformen kann ein Verfahren zum Betreiben eines eine Mehrzahl von Tiefenpixeln und Farbpixeln enthaltenden Bildsensors Ausführen einer ersten Abtastung basierend auf einem Auslösesignal derart, dass eine Nähe eines Subjekts erfasst wird, und/oder Ausführen wenigstens einer von einer zweiten Abtastung derart, dass eine Geste des Subjekts durch Erfassen einer Abstandsinformation für das Subjekt erkannt wird, und einer dritte Abtastung derart aufweisen, dass eine Farbbildinformation des Subjekts erfasst wird, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann das Ausführen wenigstens einer von der zweiten Abtastung und der dritten Abtastung Ausführen der zweiten Abtastung basierend auf zueinander benachbarten ersten Tiefenpixeln, während ein Teilarray aus den Tiefenpixeln gebildet wird, Ausführen der zweiten Abtastung basierend auf den Tiefenpixeln, Ausführen der dritten Abtastung basierend auf den Farbpixeln, und/oder gleichzeitiges Ausführen der zweiten Abtastung und der dritten Abtastung basierend auf den Tiefenpixeln und den Farbpixeln aufweisen.
Bei einigen beispielhaften Ausführungsformen kann das Ausführen von wenigstens einer von der zweiten Abtastung und der dritten Abtastung Verändern eines Betriebsmodus des Bildsensors basierend auf einem Ergebnis der basierend auf den ersten Tiefenpixeln ausgeführten zweiten Abtastung aufweisen.
Bei einigen beispielhaften Ausführungsformen kann ein Verfahren zum Betreiben eines einen dreidimensionalen (3D) Bildsensor enthaltenden Mobilsystems Ausführen einer ersten Abtastung basierend auf einem Auslösesignal derart, dass eine Nähe eines Subjekts erfasst wird, und/oder gleichzeitiges Ausführen einer zweiten Abtastung derart aufweisen, dass eine Geste des Subjekts durch Erfassen einer Abstandsinformation für das Subjekt erkannt wird, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt in der Nähe des Bildsensors ist.
Bei einigen beispielhaften Ausführungsformen kann das Mobilsystem ferner eine Eingabevorrichtung enthalten, um eine Nutzereingabe zu empfangen. Das selektive Ausführen der zweiten Abtastung kann Ausführen einer ersten Zieloperation basierend auf der zweiten Abtastung, und/oder Ausführen einer zweiten Zieloperation basierend auf einem durch die Eingabevorrichtung erzeugten Eingabesignal aufweisen.
Bei einigen beispielhaften Ausführungsformen kann ein Mobilsystem eine Lichtquelleneinheit, eine Mehrzahl von Tiefenpixeln, und/oder eine Mehrzahl von Farbpixeln aufweisen. Die Lichtquelleneinheit, wenigstens eines von der Mehrzahl von Tiefenpixeln oder wenigstens eines von der Mehrzahl von Farbpixeln kann basierend auf dem Betriebsmodus des Mobilsystems aktiviert werden.
Bei einigen beispielhaften Ausführungsformen kann die Lichtquelleneinheit basierend auf dem Betriebsmodus des Mobilsystems aktiviert werden.
Bei einigen beispielhaften Ausführungsformen können wenigstens zwei von der Mehrzahl von Tiefenpixeln basierend auf dem Betriebsmodus des Mobilsystems aktiviert werden.
Bei einigen beispielhaften Ausführungsformen können alle von der Mehrzahl von Tiefenpixeln basierend auf dem Betriebsmodus des Mobilsystems aktiviert werden.
Bei einigen beispielhaften Ausführungsformen kann die Mehrzahl von Farbpixeln basierend auf dem Betriebsmodus des Mobilsystems aktiviert werden.
Bei einigen beispielhaften Ausführungsformen können die Lichtquelleneinheit, das wenigstens eine von der Mehrzahl von Tiefenpixeln oder das wenigstens eine von der Mehrzahl von Farbpixeln basierend auf einem Betriebsmodus des Mobilsystems aktiviert werden, um einen Leistungsverbrauch des Mobilsystems zu verringern.
Bei einigen beispielhaften Ausführungsformen können die Lichtquelleneinheit, das wenigstens eine von der Mehrzahl von Tiefenpixeln und das wenigstens eine von der Mehrzahl von Farbpixeln basierend auf einem Betriebsmodus des Mobilsystems aktiviert werden, um einen Leistungsverbrauch des Mobilsystems zu verringern.
KURZE BESCHREIBUNG DER FIGUREN
Die vorstehenden und/oder weiteren Aspekte und Vorteile werden aus der nachfolgenden in Verbindung mit den begleitenden Zeichnungen zu betrachtenden detaillierten Beschreibung der beispielhaften Ausführungsformen ersichtlicher und leicht verständlich, in denen:
1 eine Draufsicht ist, die ein Mobilsystem gemäß einiger beispielhafter Ausführungsformen darstellt,
2 ein Blockdiagramm ist, das eine beispielhafte Ausführungsform des in 1 gezeigten Mobilsystems darstellt,
3 ein Blockdiagramm ist, das ein Beispiel eines in dem in 1 gezeigten Mobilsystem enthaltenden 3D-Bildsensor darstellt,
4 ein Flussdiagramm ist, das ein Verfahren zum Betreiben eines Bildsensors gemäß einiger beispielhafter Ausführungsform darstellt,
5A, 5B, 5C, 6A, 6B, 6C und 6D Ansichten sind, die ein Verfahren zum Betreiben des in 4 gezeigten Bildsensors darstellen,
7A und 7B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellen,
8A, 8B, 8C, 8D und 8E Ansichten sind, um ein Verfahren zum Betreiben des in 7A und 7B gezeigten Mobilsystems zu erläutern,
9A und 9B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellen,
10A und 10B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellen,
11A und 11B Ansichten sind, die ein Verfahren zum Betreiben eines in den 10A und 10B gezeigten Mobilsystems erläutern,
12A und 12B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellen,
13 eine Draufsicht ist, die ein Mobilsystem gemäß einigen beispielhaften Ausführungsformen darstellt,
14 ein Blockdiagramm ist, das das in 13 gezeigte Mobilsystem darstellt,
15 ein Blockdiagramm, das ein Beispiel eines in dem in 13 Mobilsystem enthaltenden zweidimensionalen (2D)-Bildsensors darstellt,
16A und 16B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen,
17, 18A, 18B, 18C, 18D, 19A, 19B und 20 Ansichten sind, die ein Verfahren zum Betreiben des in den 16A und 16B gezeigten Bildsensors darstellen,
21A und 21B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen,
22A und 22B Flussdiagramme sind, die ein Verfahren zum Betreiben eines Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen,
23 ein Flussdiagramm ist, das ein Verfahren zum Betreiben eines Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellt,
24 eine Draufsicht ist, die ein Mobilsystem gemäß einigen beispielhaften Ausführungsformen darstellt,
25 ein Blockdiagramm ist, das ein Beispiel des in 24 gezeigten Mobilsystems darstellt,
26 eine Draufsicht ist, die ein Mobilsystem gemäß einigen beispielhaften Ausführungsformen darstellt,
27 ein Blockdiagramm ist, das ein Beispiel des in 26 gezeigten Mobilsystems darstellt,
28 ein Blockdiagramm ist, das ein Beispiel eines in den in
27 gezeigten Mobilsystem enthaltenden Bildsensors darstellt,
29A und 29B Ansichten sind, die Beispiele von Abtasteinheiten darstellen, die in dem in 28 gezeigten Bildsensor enthalten sind, und
30 ein Blockdiagramm ist, das ein Beispiel einer Schnittstelle darstellt, die in einem Mobilsystem gemäß einigen beispielhaften Ausführungsformen verwendet wird.
DETAILLIERTE BESCHREIBUNG
Beispielhafte Ausführungsformen werden nun hier vollständig mit Bezug auf die begleitenden Figuren beschrieben. Ausführungsformen können jedoch in vielen verschiedenen Ausgestaltungen verkörpert werden und sollen nicht die hierin dargelegten Ausführungsformen beschränken und auslegen. Vielmehr sind diese Ausführungsformen derart vorgesehen, dass diese Offenbarung durchgängig und vollständig sein wird, und den Schutzbereich der Erfindung den Fachleuten vollständig vermitteln wird. In den Figuren können die Dicken der Schichten und Regionen zum Zwecke der Klarheit übertrieben sein.
Es wird verstanden werden, dass ein Element als „an”, „verbunden mit”, „elektrisch verbunden mit” oder „gekoppelt an” ein anderes Element bezeichnet wird, das direkt an, verbunden mit, elektrisch verbunden mit, oder gekoppelt an das andere Element sein kann oder dazwischenliegende Komponenten können vorhanden sein. Im Gegensatz, wenn eine Komponente als „direkt an”, „direkt verbunden mit”, „direkt elektrisch verbunden mit” oder „direkt gekoppelt an” eine andere Komponente, sind keine dazwischenliegenden Komponenten vorhanden. Wie hier verwendet, enthält der Begriff „und/oder” alle Kombinationen von einem oder mehreren der zugehörigen aufgelisteten Gegenstände.
Es soll verstanden werden, dass obwohl hier die Begriffe erstens, zweitens, drittens usw. zum Beschreiben verschiedener Elemente, Komponenten, Regionen, Schichten und/oder Sektionen verwendet werden, diese Elemente, Komponenten, Regionen, Schichten und/oder Sektionen nicht auf diese Begriffe begrenzt sein sollen. Diese Begriffe werden lediglich verwendet, um ein Element, Komponente, Region, Schicht und/oder Sektion von einem anderen Element, Komponente, Region, Schicht und/oder Sektion zu unterscheiden. Beispielsweise kann ein erstes Element, Komponente, Region, Schicht und/oder Sektion ein zweites Element, Komponente, Region, Schicht und/oder Sektion bezeichnen, ohne von den Lehren der beispielhaften Ausführungsformen abzuweichen.
Räumlich relative Begriffe wie z. B. „unterhalb”, „unten”, „unter”, „oben”, „oberhalb” und dergleichen können hier für eine Vereinfachung der Beschreibung verwendet werden, um eine Komponente oder ein Merkmal zu einer weiteren Komponente oder einem weiteren Merkmal, wie in den Figuren dargestellt, zu beschreiben. Es wird verstanden werden, dass die räumlich relativen Begriffe beabsichtigen, verschiedene Orientierungen der Vorrichtung im Gebrauch oder Betrieb zusätzlich zu den nicht in den Figuren dargestellten Orientierungen zu umfassen.
Die nachfolgend verwendete Terminologie ist nur zum Zwecke der Beschreibung von besonderen beispielhaften Ausführungsformen und ist nicht dazu gedacht, die beispielhaften Ausführungsformen zu beschränken. Die hier verwendeten Singularformen „eine/einer/eines” und „der/die/das” sind dazu gedacht, auch die Pluralformen zu umfassen, soweit der Zusammenhang nichts anderes klar anzeigt. Es wird verstanden werden, dass die Begriffe „aufweisen” und/oder „aufweisend”, „enthalten” und/oder „enthaltend”, wenn sie in diesen Unterlagen verwendet werden, das Vorhandensein von genannten Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, aber nicht das Vorhandensein oder Hinzufügen von einem oder mehreren weiteren Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
Beispielhafte Ausführungsformen können hierin mit Bezug auf die Querschnittsdarstellungen erläutert werden, die schematische Darstellungen von idealisierten beispielhaften Ausführungsformen (und dazwischenliegenden Strukturen) darstellen. Daher werden Veränderungen der Form der Darstellungen beispielsweise als ein Ergebnis der Herstellungstechnik und/oder -toleranzen erwartet. Somit sollen beispielhafte Ausführungsformen nicht besondere Formen der hierin dargestellten Regionen beschränkend auslegen, sondern Abweichungen in der Form enthalten, die beispielsweise das Ergebnis aus der Herstellung sind. Beispielsweise wird eine als Rechteck dargestellte implantierte Region üblicherweise abgerundete oder gekrümmte Merkmale und/oder einen Gradienten einer implantierten Konzentration bei deren Rändern aufweisen, anstatt einer binären Veränderung von einer implantierten zu einer nicht implantierten Region. Gleichermaßen kann eine durch Implantieren ausgebildete verborgene Region zu einigen Implantierungen der Region zwischen der verborgenen Region und der Oberfläche führen, durch die die Implantierung erfolgt. Somit sind die in den Figuren dargestellten Regionen schematischer Natur, deren Formen werden nicht beabsichtigt, die tatsächliche Form einer Region einer Vorrichtung darzustellen, und deren Formen werden nicht beabsichtigt, den Schutzumfang der beispielhaften Ausführungsformen zu beschränken.
Sofern nichts anderes definiert ist, haben alle hier verwendeten Begriffe (einschließlich technische und wissenschaftliche Begriffe) die gleiche Bedeutung wie sie von einem gewöhnlichen Fachmann in den Bereichen, zu denen die beispielhaften Ausführungsformen gehören, verstanden werden. Es wird weiter verstanden werden, dass hier verwendete Begriffe so interpretiert werden sollen, dass ihre Bedeutung übereinstimmend mit ihrer Bedeutung in dem Kontext dieser Beschreibung und der verwandten Technik ist, und nicht in einer idealisierten oder überformalen Art und Weise ausgelegt werden, außer wenn es ausdrücklich hier so definiert ist.
Bezug genommen wird nun auf die beispielhaften Ausführungsformen, die in den begleitenden Figuren dargestellt werden, wobei sich gleiche Bezugszeichen durchgängig auf die gleichen Komponenten beziehen.
1 ist eine Draufsicht, die ein Mobilsystem gemäß einigen beispielhaften Ausführungsformen darstellt. Einige beispielhafte Ausführungsformen der Mobilsysteme können Bildsensoren aufweisen, die eine Nähe, Tiefe und/oder Farbe erfassen. Einige beispielhafte Ausführungsformen der Mobilsysteme können Bildsensoren aufweisen, die keine Nähe erfassen. Einige beispielhafte Ausführungsformen des Mobilsystems können Bildsensoren aufweisen, die keine Tiefe erfassen. Einige beispielhafte Ausführungsformen der Mobilsysteme können Bildsensoren aufweisen, die keine Farbe erfassen.
Bezugnehmend auf 1 enthält das Mobilsystem 1000 einen 3D-Bildsensor 100 und eine Anzeigevorrichtung 1041. Das Mobilsystem 1000 kann ferner einen Touchscreen 1044, Knöpfe 1043 und 1045, ein Mikrofon 1047 und einen Lautsprecher 1048 enthalten.
Der 3D-Bildsensor 100 ist auf einer ersten Oberfläche (z. B. einer vorderen Oberfläche) des Mobilsystems 1000 installiert. Der 3D-Bildsensor 100 führt eine erste Abtastung, um eine Nähe eines Subjekts zu erfassen, und eine zweite Abtastung aus, um eine Geste des Objekts durch Erfassen einer Abstandsinformation für das Subjekt zu erkennen. Das bedeutet, dass der 3D-Bildsensor 100 die Näherungsabtastfunktion und die Gestenerkennungsfunktion aufweist.
Der 3D-Bildsensor 300 kann eine Abtasteinheit 110 mit einer Mehrzahl von Tiefenpixeln und eine Lichtqelleneinheit 140 enthalten, um Infrarotstrahlen oder Nah-Infrarotstrahlen zu emittieren. Die Lichtquelleneinheit 140 kann selektiv aktiviert werden oder kann Licht mit voneinander verschiedener Helligkeit entsprechend dem Betriebsmodus emittieren. Zudem können alle oder ein Teil der in der Abtasteinheit 110 enthaltenden Tiefenpixel entsprechend dem Betriebsmodus aktiviert werden. Die detaillierte Operation und Struktur des 3D-Bildsensors 100 wird nachstehend beschrieben.
Bei einigen beispielhaften Ausführungsformen kann der 3D-Bildsensor 100 einer von verschiedenen Typen von Tiefensensoren sein, die eine Lichtquelle benötigen und ein TOF(time of light bzw. Laufzeit)-Programm, ein strukturiertes Lichtprogramm, ein gemustertes Lichtprogramm oder ein Intensitätskennfeldprogramm anwenden.
In 1 ist der 3D-Bildsensor 100 an dem linken oberen Abschnitt einer vorderen Oberfläche des Mobilsystems 1000 installiert. Allerdings kann der 3D-Bildsensor 100 an einem vorbestimmten Abschnitt des Mobilsystems 1000 installiert sein, um die Näherungsabtastung und die Gestenerkennung auszuführen.
Die Anzeigevorrichtung 1041 ist auf der ersten Oberfläche des Mobilsystems 1000 installiert, um das Ergebnis der ersten Abtastung und der zweiten Abtastung anzuzeigen. Die Anzeigevorrichtung 1041 kann verschiedene Typen von Anzeigepanels enthalten, wie z. B. eine LCD (Flüssigkristallanzeige), eine OLED(organische lichtemittierende Dioden)-Anzeige und eine FED (Feldemissionsanzeige), die derart konfiguriert ist, dass sie Bilder anzeigt.
Der Touchscreen 1044 und die Knöpfe 1043 und 1045 können Nutzereingaben empfangen und können Eingabesignale erzeugen, um die durch den Nutzer basierend auf der Nutzereingabe beabsichtigte Funktion (z. B. Zieloperation) auszuführen. Beispielsweise berührt ein Nutzerfinger oder ein Eingabestift eine Oberfläche des Touchscreens 1044, wodurch die durch den Nutzer beabsichtigte Funktion ausgeführt werden kann. Zudem kann die durch den Nutzer beabsichtigte Funktion ausgeführt werden, wenn der Nutzerfinger die Knöpfe 1043 und 1045 drückt. Der Knopf 1043 kann ein Leistungsknopf sein, um das Mobilsystem 1000 zu aktivieren oder zu inaktivieren. Das Mikrofon 1047 kann die Sprachekennung ausführen und der Lautsprecher 1048 kann die Stimme ausgeben.
Bei einigen beispielhaften Ausführungsformen kann das Touchscreen 1044 eines von verschiedenen Typen von Touchscreens sein, wie z. B. ein kapazitivartiges Touchscreen, ein widerstandsartiges Touchscreen und ein ultraschallartiges Touchscreen. Das Touchscreen 1044 und die Displayvorrichtung 1041 können integral angeordnet sein, während sie sich miteinander überlappen. Gemäß einigen beispielhaften Ausführungsformen kann auf wenigstens einer von den Knöpfen 1043 und 1045, dem Mikrofon 1047 und dem Lautsprecher 1048 verzichtet werden.
Ein Mobilsystem gemäß Stand der Technik enthält verschiedene Eingabe-/Ausgabe-Vorrichtungen, die auf einer vorderen Oberfläche des Mobilsystems installiert sind, wie z. B. einen Näherungssensor, um die Näherungsabtastung auszuführen, eine Anzeigevorrichtung, ein Mikrofon und ein Lautsprecher. Somit kann, wenn die Bewegungserkennungsfunktion zu dem Mobilsystem hinzugefügt wird, ein 3D-Bildsensor 100 nicht auf einfache Weise in das Mobilsystem installiert werden, außer die Größe des Mobilsystems wird vergrößert.
Das Mobilsystem gemäß einigen beispielhaften Ausführungsformen enthält den 3D-Bildsensor 100, der eine Näherungsabtastung und eine Bewegungserkennung ausführt. Der 3D-Bildsensor 100 kann als ein Näherungssensor arbeiten, wenn die erste Abtastung ausgeführt wird, und kann als allgemeiner Tiefensensor arbeiten, wenn die zweite Abtastung ausgeführt wird. Da das Mobilsystem 1000 lediglich einen 3D-Bildsensor 100 ohne den Näherungssensor und den Tiefensensor enthält, kann das Mobilsystem 1000 die Bewegungserkennungsfunktion sowie die Näherungsabtastfunktion ohne Vergrößerung der Größe des Mobilsystems 1000 aufweisen. Außerdem kann der 3D-Bildsensor 100 in verschiedenen Programmen entsprechend dessen Betriebsmodus operiert werden. Beispielsweise ist, wenn die erste Abtastung ausgeführt wird, die Lichtquelleneinheit 140 inaktiv oder Licht mit geringer Helligkeit wird emittiert und einige in der Abtasteinheit 110 enthaltenden Tiefenpixel werden aktiviert, so dass der Leistungsverbrauch des 3D-Bildsensors 100 und des Mobilsystems 1000 verringert werden kann. Zudem wird, wenn die zweite Abtastung ausgeführt wird, die Lichtquelleneinheit 140 aktiviert oder das Licht mit hoher Helligkeit wird ausgegeben und alle Tiefenpixel können aktiviert werden, so dass der 3D-Bildsensor 100 und das Mobilsystem 1000 genau die Bewegung des Subjekts erkennen können.
2 zeigt ein Blockdiagramm, das ein Beispiel des in 1 gezeigten Mobilsystems darstellt.
Bezugnehmend auf 2 enthält das Mobilsystem 1000 einen Anwendungsprozessor 1010, eine Verbindungseinheit 1020, eine Speichervorrichtung 1030, einen 3D-Bildsensor 100, eine Nutzerschnittstelle 1040 und eine Leistungsversorgung 1050. Gemäß einigen beispielhaften Ausführungsformen kann das Mobilsystem 1000 ein vorbestimmtes Mobilsystem sein, wie z. B. ein Mobiltelefon, ein Smartphone, ein Tablet-PC (Personal-Computer), ein Laptop, ein PDA (persönlicher digitaler Assistent), ein PMP (tragbarer Multimediaplayer), eine Digitalkamera, ein Musikplayer, eine tragbare Spielekonsole oder ein Navigationssystem.
Der Anwendungsprozessor 1010 kann ein Betriebssystem (OS) ausführen, um das Mobilsystem 1000 zu operieren. Zudem kann der Anwendungsprozessor 1010 verschiedene Anwendungen ausführen, um einen Internetbrowser, ein Spiel, ein dynamisches Bild vorzusehen. Gemäß einigen beispielhaften Ausführungsformen kann der Anwendungsprozessor 1010 einen einzelnen Kern oder mehrere Kerne enthalten. Außerdem kann gemäß einigen beispielhaften Ausführungsformen der Anwendungsprozessor 1010 ferner einen Cache-Speicher enthalten, der innerhalb oder außerhalb des Anwendungsprozessors 1010 positioniert ist.
Die Verbindungseinheit 1020 kann mit externen Vorrichtungen kommunizieren. Beispielsweise kann die Verbindungseinheit 1020 die USB(universeller serieller Bus)-Kommunikation, Ethernet-Kommunikation, NFC (Nahfeldkommunikation), RFD(Radiofrequenz-Identifikation)-Kommunikation, mobile Telekommunikation oder Speicherkartenkommunikation durchführen. Beispielsweise kann die Verbindungseinheit 1020 einen Basisbandchipsatz enthalten und kann Kommunikationen unterstützen, wie z. B. GSM (globales System für mobile Kommunikation), GPRS (General Packet Radio Service), BCDMA (Whiteband Code Division Multiple Access) und HSxPA (High Speed Packet Access).
Die Speichervorrichtung 1030 kann durch den Anwendungsprozessor 1010 verarbeitete Daten speichern oder kann als Arbeitsspeicher arbeiten. Zudem kann die Speichervorrichtung 1030 ein Basisbild zum Booten des Mobilsystems 1000, ein Dateisystem betreffend dem Betriebssystem, um das Mobilsystem 1000 zu operieren, einen Vorrichtungstreiber betreffend externer Vorrichtungen, die mit dem Mobilsystem 1000 verbunden sind, und Anwendungen, die in dem Mobilsystem 1000 ausgeführt werden, speichern. Beispielsweise kann die Speichervorrichtung 1030 einen flüchtigen Speicher enthalten, wie z. B. DRAM (dynamischer Schreib-Lesespeicher), SRAM (statischer Arbeitsspeicher), mobiler DRAM, DDR (doppelte Datenrate), SDRAM (synchroner dynamischer Arbeitsspeicher), LPDDRn (Low Power Double Data Rate) SDRAM, GDDR (Graphics Double Data Rate) SDRAM, oder RDRAM (Rambus dynamischer Schreib-Lesespeicher), oder kann einen nicht flüchtigen Speicher enthalten, wie z. B. EEPROM (elektrisch löschbarer programmierbarer Lesespeicher), Flashspeicher, PRAM (PhaseChange-Arbeitsspeicher), RRAM (Widerstand-Arbeitsspeicher), NFGN (Nano Floating Gate Memory), PoRAM (Polymer-Arbeitsspeicher), MRAM (magnetischer Arbeitsspeicher) oder FRAM (ferroelektrischer Arbeitsspeicher).
Der 3D-Bildsensor 100 kann die erste Abtastung und die zweite Abtastung durchführen. Beispielsweise kann der Bildsensor 100 die erste Abtastung und anschließend nacheinander oder selektiv die zweite Abtastung basierend auf dem Ergebnis der ersten Abtastung ausführen.
Die Nutzerschnittstelle 1040 kann wenigstens eine Eingabevorrichtung, wie z. B. eine Tastatur, die Knöpfe 1043 und 1045 (z. B. 1) oder den Touchscreen 1044 (z. B. 1), und/oder wenigstens eine Ausgabevorrichtung enthalten, wie z. B. den Lautsprecher 1048 (siehe 1) oder die Anzeigevorrichtung 1041 (z. B. 1). Die Leistungsversorgung 1050 kann eine Betriebsspannung zu dem Mobilsystem 1000 zuführen.
Das Mobilsystem 1000 oder Komponenten des Mobilsystems 1000 können unter Verwendung von verschiedensten Typen von Packungen montiert sein, wie z. B. PoP (Package an Package), BGAs (Ball Grid Arrays), CSPs (Chip Scale Packages), PLCC (Plastic Leaded Chip Carrier), PDIP (Plastic Dual In-Line Package), Gießen-in-Wafer-Paket (Die In Wafer Packet), Gießen-in-Wafer-Form (Die In Wafer Form), COB (Chip On Board), CERDIP (Ceramic Dual In-Line Package), MQFP (Plastic Metric Quad Flat Pack), TQFP (Thin Quad Flat-Pack), SOIC (Small Outline Integrated Circuit), SSOP (Shrink Small Outline Package), TSOP (Thin Small Outline Package), TQFP (Thin Quad Flat-Pack), SIP (System In Package), MCP (Multi Chip Package), WFP (Waferlevel Fabricated Package), and WSP (Wafer-Level Processed Stack Package).
3 zeigt ein Blockdiagramm, das ein Beispiel des in dem in 1 gezeigten Mobilsystem enthaltenden 3D-Bildsensors 100 darstellt.
Bezugnehmend auf 3 kann der 3D-Bildsensor 100 eine Abtasteinheit 110, eine RD(Zeilenansteuer)-Einheit 120, eine ADC(Analog-Zu-Digital-Wandler)-Einheit 130, eine Lichtquelleneinheit 140, eine DSP(Digitalsignalverarbeitungs)-Einheit 150 und eine Steuereinheit 160 enthalten.
Die Lichtquelleneinheit 140 kann Licht TL mit einer gewünschten Wellenlänge (die vorbestimmt werden kann oder nicht, z. B. Infrarotstrahlen oder Nah-Infrarotstrahlen) ausgeben. Die Lichtquelleneinheit 140 kann selektiv aktiviert werden oder kann Licht mit voneinander unterschiedlicher Helligkeit entsprechend dem Betriebsmodus emittieren.
Die Lichtquelleneinheit 140 kann eine Lichtquelle 141 und eine Linse 143 enthalten. Die Lichtquelle 141 kann das Licht TL erzeugen. Beispielsweise kann die Lichtquelle 141 als eine LED (lichtemittierende Diode) oder eine Laserdiode realisiert werden. Bei einigen beispielhaften Ausführungsformen kann die Lichtquelle 141 ein periodisch zu veränderndes moduliertes Licht mit einer Intensität erzeugen. Beispielsweise kann die Intensität des Lichts TL in der Form einer Impulswelle mit kontinuierlichen Impulsen, einer Sinuswelle oder einer Kosinuswelle moduliert werden. Bei einigen beispielhaften Ausführungsformen kann die Lichtquelle 141 ein Licht mit konstanter Intensität erzeugen, d. h. ein nicht moduliertes Licht. Die Linse 143 kann das von der Lichtquelle 141 emittierte Licht TL auf ein Subjekt 180 konzentrieren. Die Wellenform des von der Lichtquelleneinheit 140 emittierten Lichts TL wird nachstehend mit Bezug auf die 6B, 6C und 6D beschrieben.
Die Abtasteinheit 110 empfängt von dem Subjekt 180 reflektiertes Licht RL, um das Licht RL in ein elektrisches Signal umzuwandeln. Bei einigen beispielhaften Ausführungsformen kann das empfangene Licht RL basierend auf Infrarotstrahlen oder Nah-Infrarotstrahlen TL empfangen, die aus der Lichtquelleneinheit 140 emittiert werden. Bei einigen beispielhaften Ausführungsformen kann das empfangene Licht RL basierend auf den Infrarotstrahlen oder Nah-Infrarotstrahlen, die in einem Umgebungslicht enthalten sind. Bei einigen beispielhaften Ausführungsformen kann das empfangene Licht RL basierend auf sichtbare Strahlen erzeugt werden, die in dem Umgebungslicht enthalten sind. Bei einigen beispielhaften Ausführungsformen kann das empfangene Licht RL sowohl basierend auf Infrarotstrahlen oder Nah-Infrarotstrahlen als auch sichtbare Strahlen erzeugt werden.
Die Abtasteinheit 110 kann eine Mehrzahl von Tiefenpixeln 111 enthalten. Alle oder ein Teil der Tiefenpixel 111 können entsprechend dem Betriebsmodus aktiviert werden. Die Tiefenpixel 111 sind in der Form eines Pixelarrays ausgerichtet und stellen Informationen über den Abstand zwischen dem 3D-Bildsensor 100 und dem Subjekt 180 bereit. Beispielsweise kann ein Infrarotfilter oder ein Nah-Infrarotfilter an den Tiefenpixeln 111 ausgebildet sein.
Die Zeilenansteuereinheit 120 ist mit jeder Zeile der Abtasteinheit 110 zum Erzeugen eines Ansteuersignals verbunden, um jede Zeile anzusteuern. Beispielsweise kann die Zeilenansteuereinheit 120 die Tiefenpixel 111, die in der Abtasteinheit 110 enthalten sind, in einer Einheit der Zeile ansteuern.
Die ADC-Einheit 130 ist mit jeder Spalte der Abtasteinheit 110 verbunden, um ein von der Abtasteinheit 110 ausgegebenes Analogsignal und ein Digitalsignal umzuwandeln. Bei einigen beispielhaften Ausführungsformen enthält die ADC-Einheit 130 eine Mehrzahl von Analog-Digital-Wandlern und kann die Spalte ADC ausführen, um parallel (d. h. gleichzeitig) die von jeder Säulenleitung ausgegebenen Analogsignale in Digitalsignale umzuwandeln. Bei einigen beispielhaften Ausführungsformen enthält die ADC-Einheit 130 einen einzelnen Analog-Digital-Wandler und kann einzelne ADC ausführen, um Analogsignale in Digitalsignale umzuwandeln.
Gemäß einigen beispielhaften Ausführungsformen kann die ADC-Einheit 130 eine CDS(korrelierte Doppelabtastung)-Einheit enthalten, um wirksam Signalkomponenten zu extrahieren. In einigen beispielhaften Ausführungsformen kann die CDS-Einheit das analoge Doppelsampling ausführen, um die wirksamen Signalkomponenten basierend auf dem Unterschied zwischen einem analogen Rücksetzsignal, das eine Rücksetzkomponente angibt, und ein analoges Datensignal, das eine einzelne Komponente angibt, zu extrahieren. Bei einigen beispielhaften Ausführungsformen kann die CDS-Einheit das digitale Doppelsampling ausführen, um die wirksamen Signalkomponenten basierend auf einem Unterschied zwischen zwei Digitalsignalen zu extrahieren nachdem das Analogrücksetzsignal und das Analogdatensignal in zwei Datensignale umgewandelt werden. Bei einigen beispielhaften Ausführungsformen kann die CDS-Einheit das dual korrelierte Doppelsampling durch Ausführen sowohl des Analogdoppelsamplings und des Digitaldoppelsamplings ausführen.
Die DSP-Einheit 150 empfängt das von der ADC-Einheit 130 ausgegebene Digitalsignal, um die Bilddatenverarbeitung bezüglich des Digitalsignals auszuführen. Beispielsweise kann die DSP-Einheit 150 die Bildinterpolation, die Farbenkorrelation, den Weißabgleich, die Gammakorrekturen und die Farbumwandlung ausführen.
Die Steuereinheit 160 kann die Zeilenansteuereinheit 120, die ADC-Einheit 130, die Lichtquelleneinheit 140 und die DSP-Einheit 150 steuern. Die Steuereinheit 160 kann Steuersignale liefern, wie z. B. Taktsignale und Zeitpunktansteuersignale, die benötigt werden, um die Zeilenansteuereinheit 120, die ADC-Einheit 130, die Lichtquelleneinheit 140 und die DSP-Einheit 150 operieren. Bei einigen beispielhaften Ausführungsformen kann die Steuereinheit 160 eine logische Steuerschaltung, eine PLL(Phasenregelschleife)-Schaltung, eine Zeitpunktsteuerschaltung und eine Kommunikationsschnittstellenschaltung sein.
4 zeigt ein Flussdiagramm, das ein Verfahren zum Betreiben des Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellt. Das Verfahren zum Betreiben des in 4 dargestellten Bildsensors kann angewandt werden, um den in dem Mobilsystem 1000 installierten 3D-Bildsensor 100 zu operieren, um die Näherungsabtastung und die Bewegungserkennung auszuführen. 5A, 5B, 5C, 6A, 6B, 6C und 6D sind Ansichten, die ein Verfahren zum Betreiben des in 4 gezeigten Bildsensors darstellen. Zum Zwecke der einfachen Darstellung sind lediglich die 3D-Bildsensoren 100 und die Anzeigevorrichtung 1041 in dem Mobilsystem in den 5A, 5B, 5C und 6A dargestellt.
Bezugnehmend auf die 1, 4, 5A, 5B, 5C, 6A, 6B, 6C und 6D wird, um den 3D-Bildsensor 100 zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation S110). Beispielsweise sind, wie in 5A gezeigt, das Mobilsystem 1000 und der 3D-Bildsensor 100 in der frühen Phase der Operation inaktiviert. Falls der Nutzer das Mobilsystem 1000 durch Drücken des Leistungsknopfes 1043 aktiviert oder das Mobilsystem 1000 bereit ist, um bald zu operieren, d. h. wenn ein anderer Nutzer einen Anruf an das Mobilsystem 1000 bei dem Fall sendet, bei dem das Mobilsystem 1000 ein tragbares Telefon oder ein Smartphone ist, kann das Auslösesignal aktiviert werden.
Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet der 3D-Bildsensor 100 für die Aktivierung des Auslösesignals.
Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastungsmodus) aktiviert. Der 3D-Bildsensor 100 führt die erste Abtastung aus, um eine Nähe des Subjekts zu erfassen (Operation S120). Beispielsweise wird, wie in 5B gezeigt, wenn ein anderer Nutzer einen Anruf sendet, das Auslösesignal aktiviert und der erste Betriebsmodus wird aktiviert, so dass die erste Abtastung ausgeführt werden kann. Bei der in 5B gezeigten beispielhaften Ausführungsform kann, falls der Betriebsmodus aktiviert wird, die Lichtquelleneinheit 140 inaktiviert werden, so dass das Licht nicht emittiert werden kann. Zudem können lediglich einige in der Abtasteinheit 110 enthaltende Tiefenpixel, z. B. lediglich zueinander benachbarte erste Tiefenpixel aktiviert werden. Die erste Abtastung wird basierend auf dem Aktivierten erster Tiefenpixel aktiviert und die aktivierten ersten Tiefenpixel können Informationen über eine Nähe des Subjekts basierend auf den Infrarotstrahlen oder den Nah-Infrarotstrahlen vorsehen, die in dem Umgebungslicht enthalten sind. Beispielsweise sind die ersten Tiefenpixel alle oder ein Teil der Tiefenpixel, die in einer Reihe oder einer Spalte von den in der Abtasteinheit 110 enthaltenden Tiefenpixeln angeordnet.
Die Nähe des Subjekts wird basierend auf der ersten Abtastung bestimmt (Operation S130). Beispielsweise kann eine in die Abtasteinheit 110 einfallende Menge der Infrarotstrahlen oder Nah-Infrarotstrahlen, wenn das Subjekt nicht in der Nähe des 3D-Bildsensors 100 ist (d. h. wenn ein Abstand zwischen dem Subjekt und dem 3D-Bildsensor 100 länger als ein Referenzabstand ist), unterschiedlich zu einer in die Abtasteinheit 110 einfallenden Menge von Infrarotstrahlen oder Nah-Infrarotstrahlen sein, wenn das Subjekt in der Nähe des 3D-Bildsensors 100 ist (d. h. wenn ein Abstand zwischen dem Subjekt und dem 3D-Bildsensor 100 kürzer als ein Referenzabstand ist). Die aktivierten ersten Tiefenpixel können Informationen über die Nähe des Subjekts durch Erfassen einer Veränderung der in die Abtasteinheit 110 einfallenden Menge von Infrarotstrahlen oder Nah-Infrarotstrahlen vorsehen.
Falls bestimmt wird, dass das Subjekt nicht in der Nähe des 3D-Bildsensors 100 ist (Operation S130: NEIN), führt der 3D-Bildsensor 100 das Ausführen der ersten Abtastung fort.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der zweite Betriebsmodus (z. B. 3D-Betriebsmodus oder Tiefenmodus) aktiviert. Der 3D-Bildsensor 100 erfasst Informationen über den Abstand des Subjekts und führt die zweite Abtastung aus, um die Bewegung des Subjekts zu erkennen (Operation S140). Beispielsweise kann, wie in 5C gezeigt, falls das Subjekt 180 in der Nähe des 3D-Bildsensors 100 ist, während ein Anruf von einem anderen Nutzer empfangen wird, der zweite Betriebsmodus aktiviert werden. Bei der beispielhaften Ausführungsform von 5C wird, wenn der zweite Betriebsmodus aktiviert wird, die Lichtquelleneinheit 140 aktiviert, so dass die Lichtquelleneinheit 140 das Licht emittieren kann (z. B. Licht mit hoher Helligkeit). Zudem können alle in der Abtasteinheit 110 enthaltenen Tiefenpixel aktiviert werden. Die zweite Abtastung kann basierend auf den aktivierten Tiefenpixeln ausgeführt werden. Die aktivierten Tiefenpixel können Informationen über den Abstand und die Bewegung des Subjektes basierend auf einem reflektierten Licht vorgesehen werden, das von dem Subjekt reflektiert wird nachdem es von der Lichtquelleneinheit 140 emittiert wird.
Das Mobilsystem 1000 führt die Zieloperation basierend auf der zweiten Abtastung aus (Operation S150). Beispielsweise kann die Zieloperation eine von verschiedenen Operationen sein, wie z. B. Auswählen oder Ausführen von Menüs und/oder Anwendungen basierend auf der Bewegungserkennung (z. B. 3D-Schnittstellenoperation), Ausführen der durch den Nutzer beabsichtigten Funktion auf dem ausgeführten Menü und/oder der Anwendung basierend auf der Bewegungserkennung (z. B. 3D-Anwendungsoperation, wie z. B. Spielmanipulation oder Abspielen der Multimediadaten) und Fotografieren von 3D-Bildern (z. B. 3D-Fotografieoperation).
Mittlerweile kann unterschiedlich zu der beispielhaften Ausführungsform von 5B die Lichtquelleneinheit 140 aktiviert werden, wenn der ersten Betriebsmodus aktiviert wird. Beispielsweise kann, wie in 6A gezeigt, wenn ein Anruf von einem anderen Nutzer empfangen wird, das Auslösesignal aktiviert werden, und der erste Betriebsmodus kann aktiviert werden. Bei der beispielhaften Ausführungsform von 6A wird, falls der erste Betriebsmodus aktiviert wird, die Lichtquelleneinheit 140 aktiviert, so dass die Lichtquelleneinheit 140 das Licht emittieren kann (z. B. Licht mit geringer Helligkeit). Zudem können lediglich die ersten Tiefenpixel von den in der Abtasteinheit 110 enthaltenen Tiefenpixeln aktiviert werden, und die erste Abtastung kann basierend auf den aktivierten ersten Tiefenpixeln ausgeführt werden. Die aktivierten ersten Tiefenpixel können Informationen über die Nähe des Subjektes basierend auf dem reflektierten Licht vorsehen, das von dem Subjekt reflektiert wird, nachdem es von der Lichtquelleneinheit 140 emittiert wird.
Falls die Lichtquelleneinheit 140 sowohl in dem ersten Betriebsmodus als auch in dem zweiten Betriebsmodus aktiviert wird, kann die Lichtquelleneinheit 140 das Licht mit den voneinander unterschiedlichen Helligkeiten basierend auf dem Betriebsmodus emittieren. Beispielsweise kann, wie in 6B gezeigt, die Lichtquelleneinheit 140 ein Licht TLH mit hoher Helligkeit in dem zweiten Betriebsmodus emittieren, bei dem die zweite Abtastung ausgeführt wird. Das Licht TLH mit hoher Helligkeit weist eine Helligkeit entsprechend der Amplitude A1 auf und kann derart moduliert werden, dass deren Intensität periodisch verändert werden kann (um kontinuierliche Impulse wie eine Impulswelle aufzuweisen). Bei einigen beispielhaften Ausführungsformen kann, wie in 6C gezeigt, die Lichtquelleneinheit 140 ein Licht TLL1 mit geringer Helligkeit in dem ersten Betriebsmodus emittieren, bei dem das erste Abtasten ausgeführt wird. Das Licht TLL1 mit geringer Helligkeit weist eine Helligkeit entsprechend der Amplitude A2 auf und kann derart moduliert sein, dass sich dessen Intensität periodisch verändern kann. Bei einigen beispielhaften Ausführungsformen kann, wie in 6B gezeigt, die Lichtquelleneinheit 140 das Licht TLL2 mit geringer Helligkeit in dem ersten Betriebsmodus emittieren, bei dem das erste Abtasten ausgeführt wird. Das Licht TLL2 mit geringer Helligkeit weist eine Helligkeit entsprechend einer Amplitude A2 und einer konstanten Intensität ohne Modulation auf, so dass der Leistungsverbrauch des 3D-Bildsensors 100 und des Mobilsystems 1000 in dem ersten Betriebsmodus weiter verringert werden kann.
Mittlerweile kann, wie nachstehend mit Bezug auf die 7A, 7B, 10A, 10B, 12A und 12B beschrieben, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), der 3D-Bildsensor 100 selektiv die zweite Abtastung ausführen.
Zudem kann gemäß einigen beispielhaften Ausführungsformen das Verfahren zum Betreiben des 3D-Bildsensors 100, das in 4 gezeigt ist, zum Betreiben des den 3D-Bildsensor 100 enthaltenden Mobilsystems 1000 angewandt werden.
7A und 7B sind Flussdiagramme, die ein Verfahren zum Betreiben eines Mobilsystems 1000 gemäß einigen beispielhaften Ausführungsformen darstellen. Das Verfahren zum Betreiben des wie in den 7A und 7B dargestellten Mobilsystems kann angewandt werden, um das Mobilsystem 1000, das den 3D-Bildsensor 100 enthält, der die Näherungsabtastung und Bewegungserkennung ausführt, und Eingabevorrichtungen zu operieren, wie z. B. den Touchscreen 1044 und die Knöpfe 1043 und 1045. 8A, 8B, 8C, 8D und 8E sind Ansichten, die das Verfahren zum Betreiben des in den 7A und 7B gezeigten Mobilsystems erläutern. Zum Zwecke der einfachen Darstellung werden lediglich der 3D-Bildsensor 100, die Anzeigevorrichtung 1041, der Leistungsknopf 1043 und der Touchscreen 1044 in dem Mobilsystem in den 8A, 8B, 8C, 8D und 8E dargestellt.
Bezugnehmend auf die 1, 7A, 7B, 8A, 8B, 8C, 8D und 8E wird, um das Mobilsystem 8000 zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation S110). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1000 für die Aktivierung des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (Operation S115) und das erste Abtasten wird ausgeführt (Operation S120). Beispielsweise wird, wie in 8A gezeigt, falls der Nutzer den Leistungsknopf 1043 drückt, das Ansteuersignal aktiviert und der erste Betriebsmodus wird aktiviert, so dass die erste Abtastung ausgeführt werden kann. Die Nähe des Subjekts wird basierend auf dem ersten Abtasten bestimmt (Operation S130). Operationen S110, S120 und S130 können im Wesentlichen identisch zu den in 4 gezeigten Operationen S110, S120 und S130 sein.
Falls bestimmt wird, dass das Subjekt nicht in der Nähe des 3D-Bildsensors 100 ist (Operation S130: NEIN), fährt der 3D-Bildsensor 100 das Ausführen der ersten Abtastung fort.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der zweite Betriebsmodus (z. B. 3D-Betriebsmodus) aktiviert (Operation S210). Der 3D-Bildsensor 100 erfasst Informationen über den Abstand des Subjekts und führt das zweite Abtasten aus, um die Bewegung des Subjekts zu erkennen (Operation S220). Das Mobilsystem 1000 führt die erste Zieloperation basierend auf der zweiten Abtastung aus (Operation S230). Beispielsweise wird, wenn das Subjekt 180 in der Nähe des 3D-Bildsensors 100 ist, wie in 8A und 8B gezeigt, ein Bildschirm, um ein Menü und/oder eine Anwendung auszuwählen, auf der Anzeigevorrichtung 1041 angezeigt und der 3D-Betriebsmodus wird aktiviert. Die Lichtquelleneinheit 140 wird aktiviert, so dass die Lichtquelleneinheit 140 das Licht emittieren kann (z. B. Licht mit hoher Helligkeit). Zudem können alle von den in der Abtasteinheit 110 enthaltenden Tiefenpixeln aktiviert werden. Der 3D-Bildsensor 100 kann die zweite Abtastung ausführen, um die Bewegung des Subjekts 180 zu erkennen, die ein Menüsymbol und/oder ein Anwendungssymbol in einem Raum aufnimmt oder klickt. Das Mobilsystem 1000 kann das Menü und/oder die Anwendung basierend auf der zweiten Abtastung auswählen oder ausführen. Das bedeutet, dass die erste Zieloperation die 3D-Schnittstellenoperation sein kann, um das Menü und/oder die Anwendung basierend auf der zweiten Abtastung auszuwählen oder auszuführen.
Der Betriebsmodus des Mobilsystems 1000 kann basierend auf der ersten Zieloperation verändert werden oder nicht.
Als ein Ergebnis der ersten Zieloperation, falls die Operation die Eingabevorrichtung verwendet, wie z. B. den Touchscreen 1044 und die Knöpfe 1043 und 1045, erforderlich ist (Operation S235: U2), wird der dritte Betriebsmodus (z. B. 2D-Betriebsmodus) aktiviert (Operation S240). Die Eingabevorrichtung erzeugt das Eingabesignal basierend auf der Nutzereingabe (Operation S250). Das Mobilsystem 1000 führt die zweite Zieloperation basierend auf dem Eingabesignal aus (Operation S260). Beispielsweise wird, wie in 8C gezeigt, wenn die Textanwendung ausgewählt wird, ein Texteingabebildschirm auf der Anzeigenvorrichtung 1041, wie in 8C gezeigt, angezeigt und die 2D-Operation kann aktiviert werden. Das Touchscreen 1044 kann das Eingabesignal basierend auf dem berührten Ereignis erzeugen, wie z. B. einen Kontakt eines Nutzerfingers 190 auf dem Touchscreen 1044. Das Mobilsystem 1000 kann den Text basierend auf dem Eingabesignal eingeben. Genauer kann die zweite Zieloperation sich auf die Operation beziehen, um die durch den Nutzer beabsichtigte Funktion auf dem ausgeführten Menü und/oder Anwendung mit der Eingabevorrichtung ausführen (z. B. 2D-Anwendungsoperation, wie z. B. Texteingabe). Mittlerweile können bei dem dritten Betriebsmodus die Lichtquelleneinheit 140 und die in der Abtasteinheit 110 enthaltenden Tiefenpixel inaktiviert werden.
Als Ergebnis der ersten Zieloperation, falls das zweite Abtasten immer noch erforderlich ist (Operation S235: U3), wird der zweite Betriebsmodus beibehalten (Operation S270). Der 3D-Bildsensor 100 führt die zweite Abtastung aus (Operation S280). Das Mobilsystem 1000 führt die dritte Zieloperation basierend auf der zweiten Abtastung aus (Operation S290). Beispielsweise kann, falls eine Kameraanwendung ausgewählt wird, wie in 8D gezeigt, der 3D-Bildsensor 100 ein 3D-Bild durch Ausführen der zweiten Abtasteinheit, wie in 8E gezeigt, fotografieren. Das bedeutet, dass sich die dritte Zieloperation auf die 3D-Fotografieroperation beziehen kann, um das 3D-Bild zu fotografieren. Gemäß einigen beispielhaften Ausführungsformen kann die dritte Zieloperation die 3D-Anwendungsoperation sein, um die durch den Nutzer beabsichtigte Funktion basierend auf der Bewegungserkennung auszuführen oder kann die 3D-Schnittstellenoperation sein, die im Wesentlichen identisch zu der ersten Zieloperation ist. Inzwischen können die Lichtquelleneinheit 140 und die in der Abtasteinheit 110 enthaltenden Tiefenpixel aktiviert beibehalten werden.
Bei der beispielhaften Ausführungsform von 7A und 7B wird, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist, der 3D-Betriebsmodus aktiviert, und der Betriebsmodus des Mobilsystems 1000 kann in dem 3D-Betriebsmodus gehalten werden oder von dem 3D-Betriebsmodus in den 2D-Betriebsmodus verändert werden basierend auf der 3D-Schnittstellenoperation, die in dem 3D-Betriebsmodus ausgeführt wird.
Währenddessen kann, obwohl in den Figuren nicht gezeigt, der Leistungsverbrauch des 3D-Bildsensors 100 und des Mobilsystems 1000 durch Ausführen der zweiten Abtastung in der Operation S220 basierend auf den die Pixelarray bildenden Tiefenpixeln weiter reduzieren werden.
9A und 9B sind Flussdiagramme, die ein Verfahren zum Betreiben des Mobilsystems 1000 gemäß einigen beispielhaften Ausführungsformen darstellen.
Bezugnehmend auf 9A und 9B beim Vergleich mit 7A und 7B werden Operationen S215, S265 und S295 zusätzlich ausgeführt, um das Mobilsystem 1000 zu operieren. Operationen S110, S115, S120, S130, S210, S220, S230, S240, S250, S260, S270, S280 und S290 von den 9A und 9B können im Wesentlichen identisch zu den jeweiligen Operationen S110, S115, S120, S130, S210, S220, S230, S240, S250, S260, S270, S280 und S290 von den 7A und 7B sein, so dass auf deren redundanten Beschreibung verzichtet wird.
Nachdem der zweite Betriebsmodus aktiviert wird (Operation S210), wird bestimmt, ob der erste Abschlussbefehl erzeugt wird (Operation S215). Falls der erste Abschlussbefehl nicht erzeugt wird (Operation S215: NEIN), führt der 3D-Bildsensor 100 die zweite Abtastung aus (Operation S220). Falls der erste Abschlussbefehl erzeugt wird (Operation S215: JA), wird der zweite Betriebsmodus beendet und der erste Betriebsmodus wird erneut aktiviert (Operation S115). Beispielsweise verschwindet, wie in den 8B und 8D gezeigt, der Bildschirm zum Auswählen oder Ausführen des Menüs und/oder der Anwendung, die Bewegungserkennung wird beendet, und die Näherungsabtastung wird erneut ausgeführt.
Nachdem die zweite Zieloperation ausgeführt wurde (Operation S260), wird bestimmt, ob der zweite Abschlussbefehl erzeugt wird (Operation S265). Falls der zweite Abschlussbefehl nicht erzeugt wird (Operation S265: NEIN), wartet das Mobilsystem auf die Nutzereingabe. Falls die Nutzereingabe erzeugt wird, wird das Eingabesignal erzeugt (Operation S250) und die zweite Zieloperation wird ausgeführt (Operation S260) und dieser Prozess wird wiederholt. Falls der zweite Abschlussbefehl erzeugt wird (Operation S265: JA), wird der dritte Betriebsmodus beendet und der zweite Betriebsmodus wird erneut aktiviert (Operation S210). Beispielsweise verschwindet, wie in 8C gezeigt, der Bildschirm zum Eingeben des Textes, der Bildschirm zum Auswählen oder Ausführen des Menüs und/oder der Anwendung wird angezeigt, wie in den 8B und 8D gezeigt, und die Bewegungserkennung wird erneut für die 3D-Schnittstellenoperation ausgeführt.
Nachdem die dritte Zieloperation ausgeführt wurde (Operation S290), wird bestimmt, ob der dritte Abschlussbefehl erzeugt wird (Operation S295). Falls der dritte Abschlussbefehl nicht erzeugt wird (Operation S295: NEIN), wartet das Mobilsystem auf die Bewegung des Subjekts. Falls die Bewegung des Subjekts erfasst wird, wird die zweite Abtastung ausgeführt (Operation S280) und die dritte Zieloperation wird ausgeführt (Operation S290) und dieser Prozess wird wiederholt. Falls der dritte Abschlussbefehl erzeugt wird (Operation S295: JA), kehrt der Prozess zu Operation S210 zurück, so dass der zweite Betriebsmodus erneut aktiviert wird. Beispielsweise verschwindet der Bildfotografiebildschirm, wie in 8E gezeigt, der Bildschirm zum Auswählen oder Ausführen des Menüs und/oder der Anwendung wird, wie in den 8B und 8D gezeigt, angezeigt und die Bewegungserkennung wird erneut für die 3D-Schnittstellenoperation ausgeführt.
10A und 10B sind Flussdiagramme, die ein Verfahren zum Betreiben des Mobilsystems 1000 gemäß einigen beispielhaften Ausführungsformen darstellen. Das Verfahren zum Betreiben des in den 10A und 10B dargestellten Mobilsystems kann angewandt werden, um das den 3D-Bildsensor 100 und die Eingabevorrichtung enthaltende Mobilsystem 1000 zu operieren. 11A und 11B zeigen Ansichten, um ein Verfahren zum Betreiben des in den 10A und 10B gezeigten Mobilsystems zu erläutern. Zum Zwecke der einfachen Darstellung sind lediglich der 3D-Bildsensor 100, die Anzeigevorrichtung 1041, der Leistungsknopf 1043 und der Touchscreen 1044 in dem Mobilsystem in den 11A und 11B dargestellt.
Bezugnehmend auf 1, 10A, 10B, 11A und 11B wird, um das Mobilsystem 1000 zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation Silo). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1000 auf die Aktivierung des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (Operation S115), die erste Abtastung wird ausgeführt (Operation S120) und eine Nähe des Subjekts wird bestimmt (Operation S130). Operationen S110, S115, S120 und S130 können im Wesentlichen identisch zu den in 7A gezeigten Operationen S110, S115, S120 und S130 sein.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der dritte Betriebsmodus (z. B. 2D-Betriebsmodus) aktiviert (Operation S310). Die Eingabevorrichtung, wie z. B. der Touchscreen 1044 und die Knöpfe 1043 und 1045, erzeugt das Eingabesignal basierend auf der Nutzereingabe (Operation S320). Das Mobilsystem 1000 führt die Zieloperation basierend auf der zweiten Abtastung aus (Operation S330). Beispielsweise wird, wenn das Subjekt 180 in der Nähe des 3D-Bildsensors 100 ist, wie in den 11A und 11B gezeigt, ein Bildschirm, um ein Menü und/oder eine Anwendung auszuwählen, auf der Anzeigevorrichtung 1041 angezeigt und der 2D-Betriebsmodus wird aktiviert. Der Touchscreen 1044 kann ein Eingabesignal basierend auf dem berührenden Ereignis erzeugen, wie z. B. eine Berührung eines Nutzerfingers 190 auf dem Touchscreen 1044. Das Mobilsystem 1000 kann das Menü und/oder die Anwendung basierend auf dem Eingabesignal auswählen oder ausführen. Das bedeutet, dass die erste Zieloperation sich auf die Operation (z. B. 2D-Schnittstellenoperation) bezieht, um das Menü und/oder die Anwendung mit der Eingabevorrichtung auszuwählen oder auszuführen. Mittlerweile können bei dem dritten Betriebsmodus die Lichtquelleneinheit 140 und die in der Abtasteinheit 110 enthaltenden Tiefenpixel inaktiviert werden.
Der Betriebsmodus des Mobilsystems 1000 kann basierend auf der ersten Zieloperation verändert werden oder nicht (Operation S335).
Als Ergebnis der ersten Zieloperation, falls die zweite Abtastung benötigt wird (Operation S335: U3), wird der zweite Betriebsmodus (z. B. 3D-Betriebsmodus) aktiviert (Operation S340). Der 3D-Bildsensor 100 führt die zweite Bildabtastung aus (Operation S280). Das Mobilsystem 1000 führt die zweite Zieloperation basierend auf der zweiten Abtastung aus (Operation S360). Beispielsweise kann, wie in 11B gezeigt, falls die Kameraanwendung ausgewählt wird, der 3D-Betriebsmodus aktiviert werden. In dem 3D-Betriebsmodus wird die Lichtquelleneinheit 140 aktiviert, um Licht (z. B. Licht mit höherer Helligkeit) zu emittieren und alle in der Abtasteinheit 110 enthaltenden Tiefenpixel können aktiviert werden. Der 3D-Bildsensor 100 kann ein 3D-Bild durch Ausführen der zweiten Abtastung, wie in 8E gezeigt, fotografieren, das bedeutet, dass sich die zweite Zieloperation auf die 3D-Fotografieoperation bezieht, um das 3D-Bild zu fotografieren. Gemäß einigen Ausführungsformen kann die zweite Zieloperation die 3D-Anwendungsoperation sein, um die durch den Nutzer beabsichtigte Funktion basierend auf der Bewegungserkennung auszuführen.
Als Ergebnis der ersten Zieloperation, falls die Operation durch die Eingabevorrichtung immer noch benötigt wird (Operation S335: U2), wird der dritte Betriebsmodus (z. B. 2D-Betriebsmodus) aktiviert (Operation S370). Die Eingabevorrichtung erzeugt das Eingabesignal basierend auf der Nutzereingabe (Operation S380). Das Mobilsystem 1000 führt die dritte Zieloperation basierend auf dem Eingabesignal aus (Operation S390). Beispielsweise, wie in 11A gezeigt, wenn eine Textanwendung ausgewählt wird, wird ein Texteingabebildschirm auf der Anzeigevorrichtung 1041 angezeigt, wie in 8C gezeigt. Der Touchscreen 1044 kann das Eingabesignal basierend auf dem berührenden Ereignis erzeugen und das Mobilsystem 1000 kann den Text basierend auf dem Eingabesignal eingeben. Genauer kann sich die dritte Zieloperation auf die 2D-Anwendungsoperation beziehen, um die durch den Nutzer beabsichtigte Funktion auszuführen. Gemäß einigen beispielhaften Ausführungsformen kann die dritte Zieloperation die 2D-Schnittstellenoperation sein, die im Wesentlichen identisch zu der ersten Zieloperation ist. Mittlerweile können die Lichtquelleneinheit 140 und die in der Abtasteinheit 110 enthaltenden Tiefenpixel inaktiviert bleiben.
Bei der beispielhaften Ausführungsform der 10A und 10B, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist, wird der 2D-Betriebsmodus aktiviert und der Betriebsmodus des Mobilsystems 1000 kann in dem 2D-Betriebsmodus gehalten werden oder in den 3D-Betriebsmodus von dem 2D-Betriebsmodus basierend auf der 2D-Schnittstellenoperation verändert werden, die in den 2D-Betriebsmodus ausgeführt wird.
Obwohl in den 10A und 10B nicht gezeigt, kann, um das Mobilsystem 1000 zu operieren, ähnlich zu der beispielhaften Ausführungsform der 9A und 9B eine Bestimmungsoperation, ob der erste Abschlussbefehl erzeugt wird, eine Bestimmungsoperation, ob der zweite Abschlussbefehl erzeugt wird, und eine Bestimmungsoperation, ob der dritte Abschlussbefehl erzeugt wird, hinzugefügt werden.
12A und 12B zeigen Flussdiagramme, die ein Verfahren zum Betreiben des Mobilsystems 1000 gemäß einigen beispielhaften Ausführungsformen darstellen. Das Verfahren zum Betreiben des in den 12A und 12B dargestellten Mobilsystems kann angewandt werden, um das den 3D-Bildsensor und die Eingabevorrichtung enthaltende Mobilsystem 1000 zu operieren.
Bezugnehmend auf 1, 12A und 12B wird, um das Mobilsystem 1000 zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation Silo). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1000 auf das Aktivieren des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (Operation S115), die erste Abtastung wird ausgeführt (Operation S120) und die Nähe des Subjekts wird bestimmt (Operation S130). Operationen S110, S115, S120 und S130 können im Wesentlichen identisch zu den in 7A gezeigten Operationen S110, S115, S120 und S130 sein.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), werden der zweite Betriebsmodus (z. B. 3D-Betriebsmodus) und der dritte Betriebsmodus (z. B. 2D-Betriebsmodus) gleichzeitig aktiviert (Operation S410). Somit wird das zweite Abtasten ausgeführt oder das Eingabesignal wird basierend auf der Nutzereingabe erzeugt (Operation S420). Die erste Zieloperation wird basierend auf der zweiten Abtastung oder dem Eingabesignal ausgeführt (Operation S430). Beispielsweise wird, wenn das Subjekt 180 in der Nähe des 3D-Bildsensors 100 ist, ein Bildschirm, um ein Menü und/oder eine Anwendung auszuwählen, auf der Anzeigevorrichtung 1041 angezeigt und der 3D-Betriebsmodus und der 2D-Betriebsmodus werden gleichzeitig aktiviert. Zu dieser Zeit kann die zweite Abtastung ausgeführt werden, um die Bewegung des Subjekts 180, wie in den 8B und 8D gezeigt, zu erkennen oder das Eingabesignal kann basierend auf dem in den 11A und 11B gezeigten berührenden Ereignis erzeugt werden. Das Mobilsystem 1000 kann das Menü und/oder die Anwendung basierend auf der zweiten Abtastung und dem Eingabesignal auswählen oder ausführen. Das bedeutet, dass die erste Zieloperation die 3D-Schnittstellenoperation oder die 2D-Schnittstellenoperation sein kann.
Einer der Betriebsmodi des Mobilsystems 1000 wird basierend auf der ersten Zieloperation ausgewählt (Operation S435). Falls die zweite Abtastung als Ergebnis der ersten Zieloperation benötigt wird (Operation S435: U3), wird der zweite Betriebsmodus ausgewählt (Operation S440), führt der 3D-Bildsensor 100 die zweite Abtastung aus (Operation S450) und das Mobilsystem 1000 führt die zweite Zieloperation basierend auf der zweiten Abtastung aus (Operation S460). Falls die Operation mit der Eingabevorrichtung als Ergebnis der ersten Zieloperation benötigt wird (Operation S435: U2), wird der dritte Betriebsmodus ausgewählt (Operation S470), die Eingabevorrichtung erzeugt das Eingabesignal basierend auf der Nutzereingabe (Operation S480) und das Mobilsystem 1000 führt die dritte Zieloperation basierend auf dem Eingabesignal aus (Operation S490).
13 zeigt eine Draufsicht, die das Mobilsystem gemäß einigen beispielhaften Ausführungsformen zeigt.
Bezugnehmend auf 13 enthält das Mobilsystem 1100 einen 3D-Bildsensor 100, einen 2D-Bildsensor 200 und eine Anzeigevorrichtung 1041. Das Mobilsystem 1100 kann ferner ein Touchscreen 1044, Knöpfe 1043 und 1045, ein Mikrofon 1047 und einen Lautsprecher 1048 enthalten.
Beim Vergleich mit dem Mobilsystem 1000 von 1 kann das Mobilsystem 1100 von 13 ferner den 2D-Bildsensor 200 enthalten.
Der 3D-Bildsensor 100 ist an einer ersten Oberfläche (z. B. einer vorderen Oberfläche) des Mobilsystems 1100 installiert. Der 3D-Bildsensor 100 führt eine erste Abtastung, um eine Nähe eines Subjekts zu erfassen, und eine zweite Abtastung aus, um eine Geste des Subjekts durch Erfassen von Abstandsinformationen für das Subjekt zu erkennen. Der 3D-Bildsensor 100 kann eine Abtasteinheit 110 mit einer Mehrzahl von Tiefenpixeln und eine Lichtquelleneinheit 140 enthalten, die Infrarotstrahlen oder Nah-Infrarotstrahlen emittiert.
Der 2D-Bildsensor 200 ist auf der ersten Oberfläche des Mobilsystems 1100 installiert und führt eine dritte Abtastung aus, um eine Farbbildinformation für das Subjekt zu erfassen. Der 2D-Bildsensor 200 kann eine zweite Abtasteinheit 210 mit einer Mehrzahl von Farbpixeln enthalten.
Bei der beispielhaften Ausführungsform von 13 können der 3D-Bildsensor 100 und der 2D-Bildsensor 200 als zwei voneinander getrennte integrierte Schaltungschips ausgebildet sein. Das bedeutet, dass das Mobilsystem 1100 zwei Abtastmodule enthält. In diesem Fall können die Tiefenpixel und die Farbpixel zwei voneinander getrennte Pixelarrays bilden.
Die Anzeigevorrichtung 1041 ist auf der ersten Oberfläche des Mobilsystems 1100 installiert, um die Ergebnisse der ersten Abtastung, der zweiten Abtastung und der dritten Abtastung anzuzeigen.
Das Mobilsystem 1100 gemäß einigen beispielhaften Ausführungsformen enthält den 3D-Bildsensor 100, der die erste Abtastung und die zweite Abtastung ausführt, so dass das Mobilsystem 1100 die Bewegungserkennungsfunktion sowie die Näherungsabtastfunktion aufweist ohne Zunahme der Größe des Mobilsystems 1100. Außerdem werden alle oder ein Teil der in der ersten Abtasteinheit 110 enthaltenden Tiefenpixel und die Lichtquelleneinheit 140 des 3D-Bildsensors 100 selektiv entsprechend dem Betriebsmodus aktiviert und der 2D-Bildsensor 200 wird auch entsprechend dem Betriebsmodus selektiv aktiviert. Somit kann der Leistungsverbrauch des 3D-Bildsensors 100 und des 2D-Bildsensors 200 und des Mobilsystems 1100 verringert werden.
Mittlerweile kann in dem Fall, bei dem der 2D-Bildsensor 200 inaktiviert wird, das Mobilsystem 1100 im Wesentlichen identisch zu dem Mobilsystem 1000 von 1 sein. In diesem Fall kann das Mobilsystem 1100 basierend auf einigen beispielhaften Ausführungsformen operieren, die vorstehend mit Bezug auf die 4 bis 11 erläutert werden.
14 zeigt ein Blockdiagramm, das das in 13 gezeigte Mobilsystem darstellt.
Bezugnehmend auf 14 enthält das Mobilsystem 1100 einen Anwendungsprozessor 1010, eine Verbindungseinheit 1020, eine Speichervorrichtung 1030, einen 3D-Bildsensor 100, eine Nutzerschnittstelle 1040 und eine Leistungsversorgung 1050.
Beim Vergleich mit dem Mobilsystem 1000 von 2 kann das Mobilsystem 1100 von 14 ferner den 2D-Bildsensor 200 aufweisen.
Der 3D-Bildsensor 100 kann die erste Abtastung und die zweite Abtastung ausführen und der 2D-Bildsensor 200 kann die dritte Abtastung ausführen. Beispielsweise kann der 3D-Bildsensor 100 primär die erste Abtastung ausführen und wenigstens einer von der zweiten Abtastung und der dritten Abtastung kann basierend auf dem Ergebnis der ersten Abtastung ausgeführt werden.
15 ist ein Blockdiagramm, das ein Beispiel des in dem in 13 gezeigten Mobilsystem 1000 enthaltenden 2D-Bildsensors 200 darstellt.
Bezugnehmend auf 15 kann der 2D-Bildsensor 200 eine zweite Abtasteinheit 210, eine Zeilenansteuereinheit 220, eine ADC (Analog-Zu-Digital-Wandler) Einheit 230, eine DSP (Digitalsignalverarbeitung) Einheit 250 und eine Steuereinheit 260 enthalten.
Die zweite Abtasteinheit 210 kann ein einfallendes Licht (z. B. visuelle Strahlen) in ein elektrisches Signal umwandeln. Die zweite Abtasteinheit 210 kann eine Mehrzahl von Farbpixeln 211 enthalten. Die Farbpixel 211 sind in der Form eines Pixelarrays ausgerichtet und stellen Informationen über das Farbbild für das Subjekt bereit. Beispielsweise können ein roter Filter, ein grüner Filter bzw. grüne Filter, und ein blauer Filter auf den Farbpixeln 211 ausgebildet sein. Bei einigen beispielhaften Ausführungsformen kann ein gelber Filter, ein Cyanfilter bzw. Cyanfilter, und ein Magentafilter auf den Farbpixeln 211 ausgebildet sein.
Die Zeilenansteuereinheit 220 ist mit jeder Zeile der zweiten Abtasteinheit 210 verbunden, um das Ansteuersignal zu erzeugen, um jede Zeile anzusteuern. Die ADC-Einheit 230 ist mit jeder Spalte der zweiten Abtasteinheit 210 verbunden, um ein aus der zweiten Abtasteinheit 210 ausgegebenes Analogsignal in ein Digitalsignal umzuwandeln. Gemäß einigen beispielhaften Ausführungsformen kann die ADC-Einheit 230 eine CDS (korrelierte Doppelabtastung) Einheit enthalten, um die wirksamen Signalkomponenten zu extrahieren. Die DSP-Einheit 250 empfängt das von der ADC-Einheit 230 ausgegebene Digitalsignal, um die Bilddatenverarbeitung bezüglich des Digitalsignals auszuführen. Die Steuereinheit 260 kann die Zeilenansteuereinheit 220, die ADC-Einheit 230 und die DSP-Einheit 250 steuern.
16A und 16B sind Flussdiagramme, die ein Verfahren zum Betreiben des Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen. Das Verfahren zum Betreiben des in den 16A und 16B dargestellten Bildsensors kann angewandt werden, um den 3D-Bildsensor 100 und den 2D-Bildsensor 200 zu operieren, die in dem Mobilsystem 1100 installiert sind. Der 3D-Bildsensor 100 enthält eine Mehrzahl von Tiefenpixeln und führt die Näherungsabtastung und die Bewegungserkennung aus. Der 2D-Bildsensor 200 enthält eine Mehrzahl von Farbpixeln und stellt Farbbildinformationen bereit.
Bezugnehmend auf 13, 16A und 16B wird, um den Bildsensor zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation Silo). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1100 auf die Aktivierung des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (S115). Der 3D-Bildsensor 100 führt die erste Abtastung aus, um eine Nähe des Subjekts basierend auf den zueinander benachbarten ersten Tiefenpixel zu erfassen (Operation S120a). Beispielsweise wird, wenn ein anderer Nutzer einen Anruf sendet oder der Nutzer den Leistungsknopf 1043 drückt, das Auslösesignal aktiviert und der erste Betriebsmodus wird aktiviert, so dass die erste Abtastung ausgeführt werden kann.
Die Nähe des Subjekts wird basierend auf der ersten Abtastung bestimmt (Operation S130). Falls bestimmt wird, dass das Subjekt nicht in der Nähe des 3D-Bildsensors 100 ist (Operation S130: NEIN), fährt der 3D-Bildsensor 100 mit der Ausführung der ersten Abtastung fort.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der zweite Betriebsmodus (z. B. Skim-Modus) aktiviert (Operation S510). Der 3D-Bildsensor 100 erfasst Informationen über dem Abstand des Subjekts basierend auf den zueinander benachbarten zweiten Tiefenpixeln von den Tiefenpixeln, während ein Teilarray gebildet wird, und führt die zweite Abtastung aus, um die Bewegung des Subjekts zu erkennen (Operation S520). Anschließend wird die erste Zieloperation basierend auf der zweiten Abtastung ausgeführt (Operation S530). Beispielsweise wird, wenn das Subjekt in der Nähe des 3D-Bildsensors 100 ist, ein Bildschirm, um den eingehenden Anruf zu beantworten oder das Menü und/oder die Anwendung auszuwählen, auf der Anzeigevorrichtung 1041 angezeigt und das Menü und/oder die Anwendung können/kann basierend auf der zweiten Abtastung durch die zweiten Tiefenpixel ausgewählt oder ausgeführt werden. Das bedeutet, dass die erste Zieloperation die 3D-Schnittstellenoperation ist. Bei dem zweiten Betriebsmodus kann die relativ einfache Bewegungserkennung ausgeführt werden.
Bei einigen beispielhaften Ausführungsformen kann die Anzahl der zweiten Tiefenpixel größer als die Anzahl der ersten Tiefenpixel sein.
Der Betriebsmodus des Mobilsystems 1100 wird basierend auf der ersten Zieloperation verändert (Operation S535).
Wenn eine relativ komplexe Bewegungserkennung als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MD), wird der dritte Betriebsmodus (z. B. Tiefenmodus) aktiviert (Operation S540). Der 3D-Bildsensor 100 führt die zweite Abtastung basierend auf allen Tiefenpixeln aus (Operation S545). Das Mobilsystem 1100 führt die zweite Zieloperation basierend auf der zweiten Abtastung aus (Operation S550). Beispielsweise kann, wenn eine Spielanwendung basierend auf der ersten Zieloperation ausgeführt wird, die Spielmanipulation basierend auf der zweiten Abtastung bezüglich aller Tiefenpixel ausgeführt werden. Das bedeutet, dass die zweite Zieloperation die 3D-Anwendungsoperation sein kann.
Falls ein Farbbildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MC), wird der vierte Betriebsmodus (z. B. Farbmodus) ausgeführt (Operation S560). Der 2D-Bildsensor 200 führt die dritte Abtastung aus, um Farbbildinformationen für das Subjekt basierend auf allen Farbpixeln zu erfassen (Operation S565). Das Mobilsystem 1100 führt die dritte Zieloperation basierend auf der dritten Abtastung aus (Operation S570). Beispielsweise kann, wenn die 2D-Kameraanwendung basierend auf der ersten Zieloperation ausgeführt wird, das 2D-Farbbild basierend auf der dritten Abtastung fotografiert werden. Das bedeutet, dass sich die dritte Zieloperation auf die Operation beziehen kann, um das 2D-Farbbild zu fotografieren.
Alle Tiefenpixel werden exklusiv in dem dritten Betriebsmodus aktiviert und alle Farbpixel werden exklusiv in dem vierten Betriebsmodus aktiviert. Somit können die dritten und vierten Betriebsmodi als Individualmodi bezeichnet werden.
Falls ein Farb-3D-Bildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MCC), wird der fünfte Betriebsmodus (z. B. gleichzeitiger Modus) ausgeführt (Operation S580). Der 3D-Bildsensor 100 führt die zweite Abtastung basierend auf allen Tiefenpixeln aus und führt gleichzeitig die dritte Abtastung basierend auf allen Farbpixeln aus (Operation S585). Die vierte Zieloperation wird basierend auf der zweiten Abtastung und der dritten Abtastung ausgeführt (Operation S590). Beispielsweise kann, wenn die 3D-Kameraanwendung basierend auf der ersten Zieloperation ausgeführt wird, das 3D-Farbbild basierend auf der zweiten Abtastung und der dritten Abtastung fotografiert werden. Das bedeutet, dass sich die vierte Zieloperation auf die Operation bezieht, um das 3D-Farbbild zu fotografieren (z. B. 3D-Fotografie Operation).
Bei der beispielhaften Ausführungsform der 16A und 16B wird, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist, der Skim-Modus aktiviert und der Betriebsmodus des Mobilsystems 1100 kann von dem Skim-Modus zu dem Tiefenmodus verändert werden, wobei der Farbmodus oder der gleichzeitige Modus auf der in dem Skim-Modus ausgeführten 3D-Schnittstellenoperation basiert.
Obwohl in den 16A und 16B nicht gezeigt, wenn der zweite Betriebsmodus gemäß einigen beispielhaften Ausführungsformen aktiviert wird (Operation S510), kann wenigstens ein Teil der Farbpixel weiter aktiviert werden. Beispielsweise können, wenn die 3D-Schnittstellenoperation ausgeführt wird, wenn die Bildkommunikation ausgeführt wird, die zweiten Tiefenpixel und wenigstens ein Teil der Farbpixel gleichzeitig aktiviert werden. Der 2D-Bildsensor 200 kann ferner die dritte Abtastung basierend auf wenigstens einem Teil der in dem zweiten Betriebsmodus ausgeführten Farbpixel weiter ausführen.
17, 18A, 18B, 18C, 18D, 19A, 19B und 20 zeigen Ansichten, die ein Verfahren zum Betreiben des in den 16A und 16B gezeigten Bildsensors darstellen. Zum Zwecke der einfachen Darstellung sind lediglich die eine Mehrzahl von Tiefenpixeln enthaltende erste Abtasteinheit 110 und die eine Mehrzahl von Farbpixeln enthaltende zweite Abtasteinheit 210 in den Bildsensoren in den 17, 18A, 18B, 18C, 18D, 19A, 19B und 20 dargestellt.
Bezugnehmend auf die 16A und 17 können, wenn der erste Betriebsmodus aktiviert wird (Operation S115), erste Tiefenpixel 113 der in der ersten Abtasteinheit 110 enthaltenen Tiefenpixeln aktiviert werden und die Lichtquelleneinheit 140 wird inaktiviert, so dass Licht nicht emittiert werden kann. Alle in der zweiten Abtasteinheit 210 enthaltenen Farbpixel können inaktiviert werden. Somit kann, wenn die Näherungsabtastung ausgeführt wird, der Leistungsverbrauch des 3D-Bildsensors 100, des 2D-Bildsensors 200 und des Mobilsystems 1100 verringert werden.
In 17 werden die ersten Tiefenpixel 113 entsprechend einer Spalte der Tiefenpixel ausgerichtet. Allerdings können gemäß einigen beispielhaften Ausführungsformen die ersten Tiefenpixel 113 entsprechend einer Zeile der Tiefenpixel ausgerichtet werden oder können entsprechend eines Teils einer Zeile oder Spalte ausgerichtet werden. Ferner kann gemäß einigen beispielhaften Ausführungsformen, wie in den 6C und 6D gezeigt, die Lichtquelleneinheit 140 ein Licht mit geringer Helligkeit in dem ersten Betriebsmodus emittieren.
Bezugnehmend auf die 16A und 18A können, wenn der zweite Betriebsmodus aktiviert wird (Operation S510), zweite Tiefenpixel 115 der in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel aktiviert werden und die Lichtquelleneinheit 140 kann, wie in 6B gezeigt, ein Licht mit hoher Helligkeit emittieren. Alle der in der zweiten Abtasteinheit 210 enthaltenen Farbpixel können inaktiviert werden. Daher kann, wenn die relativ einfache Bewegungserkennung ausgeführt wird, der Leistungsverbrauch des 3D-Bildsensors 100 und des 2D-Bildsensors 200 und Mobilsystems 1100 verringert werden. Insbesondere kann bei der beispielhaften Ausführungsform von 18A der Leistungsverbrauch der ersten Abtasteinheit 110 verringert werden.
Bezugnehmend auf die 16A, 18B und 18C können, wenn der zweite Betriebsmodus aktiviert wird (Operation S510), zweite Tiefenpixel 115 der in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel aktiviert werden und die Lichtquelleneinheit 140 kann, wie in 6B gezeigt, Licht mit hoher Helligkeit emittieren. Zu dieser Zeit können erste Farbpixel 215 der in der zweiten Abtasteinheit 210 enthaltenen Farbpixel, die den zweiten Farbpixel 115 entsprechen, aktiviert werden (siehe 18B) oder alle Farbpixel 219 können aktiviert werden (siehe 18C).
Bezugnehmend auf 16A und 18D kann, wenn der zweite Betriebsmodus aktiviert wird (Operation S510), die Klasseneinteilung- bzw. Binning-Operation bezüglich der in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel ausgeführt werden. Beispielsweise kann, wie in 18D, ein Pixel durch Kombinieren von vier benachbarten Pixel (d. h. 2 × 2 Binning) ausgebildet werden und die zweite Abtastung kann durch Aktivieren aller kombinierten Pixel 107 ausgeführt werden. Wie in der 6D gezeigt, kann die Lichtquelleneinheit 140 Licht mit geringer Helligkeit emittieren. Alle der in der zweiten Abtasteinheit 210 enthaltenen Farbpixel können inaktiviert werden. Daher kann, wenn die relativ einfache Bewegungserkennung ausgeführt wird, der Leistungsverbrauch des 3D-Bildsensors 100 und des 2D-Bildsensors 200 und des Mobilsystems 2100 verringert werden. Insbesondere kann bei der beispielhaften Ausführungsform von 18D der Leistungsverbrauch der Lichtquelleneinheit 140 verringert werden.
Gemäß einigen beispielhaften Ausführungsformen kann die Binning-Operation unter Verwendung von Hardware oder Software ausgeführt werden.
Gemäß einigen beispielhaften Ausführungsformen können, wenn die Binning-Operation bezüglich der in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel ausgeführt wird, alle Farbpixel 219 oder ein Teil (z. B. erste Farbpixel 215 von 18B) der in der zweiten Abtasteinheit 210 enthaltenen Farbpixel aktiviert werden.
Bezugnehmend auf 16B und 19A können, wenn der dritte Betriebsmodus aktiviert wird (Operation 540), alle in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel 119 aktiviert werden und die Lichtquelleneinheit 140 kann, wie in 6B gezeigt, Licht mit hoher Helligkeit emittieren. Alle in der zweiten Abtasteinheit 210 enthaltenen Farbpixel können inaktiviert werden. Somit kann die relativ komplexe Bewegungserkennung genau ausgeführt werden.
Bezugnehmend auf 16B und 19B können, wenn der vierte Betriebsmodus aktiviert wird (Operation 560), alle in der zweiten Abtasteinheit 210 enthaltenen Farbpixel 219 aktiviert werden. Alle in der ersten Abtasteinheit 110 und der Lichtequelleneinheit 140 enthaltenen Tiefenpixel können inaktiviert werden. Somit kann das 2D-Farbbild wirksam fotografiert werden.
Bezugnehmend auf die 16B und 20 können, wenn der fünfte Betriebsmodus aktiviert wird (Operation 560), alle in der ersten Abtasteinheit 110 enthaltenen Tiefenpixel 119 aktiviert werden und die Lichtequelleneinheit 140 kann, wie in 6B gezeigt, Licht mit hoher Helligkeit emittieren. Alle in der zweiten Abtasteinheit 210 enthaltenen Farbpixel 219 können aktiviert werden. Somit kann das 3D-Farbbild wirksam fotografiert werden.
Wie vorstehend beschrieben, können alle oder ein Teil der in dem 3D-Bildsensor 100 enthaltenen Tiefenpixel und/oder die in dem 2D-Bildsensor 200 enthaltenen Farbpixel selektiv entsprechend dem Betriebsmodus aktiviert werden, und die Lichtquelleneinheit 140 wird selektiv aktiviert oder emittiert Lichter mit einer voneinander unterschiedlichen Helligkeit entsprechend dem Betriebsmodus, so dass der Leistungsverbrauch des 3D-Bildsensors 100 und des 2D-Bildsensors 200 und des Mobilsensors 1100, das den 3D-Bildsensor 100 und den 2D-Bildsensor 200 enthält, verringert werden.
21A und 21B zeigen Flussdiagramme, die ein Verfahren zum Betreiben eines Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen.
Bezugnehmend auf 21A und 21B können beim Vergleich mit den 16A und 16B Operation S515, S555, S575, S595 zusätzlich ausgeführt werden, um den Bildsensor zu operieren. Operationen S110, S115, S120a, S130, S510, S520, S530, S540, S545, S550, S560, S565, S570, S580, S585 und S590 von den 21A und 21B können im Wesentlichen identisch zu den jeweiligen Operationen S110, S115, S120a, S130, S510, S520, S530, S540, S545, S550, S560, S565, S570, S580, S585 und S590 von den 16A und 16B sein, so dass auf deren redundanten Beschreibung verzichtet wird.
Nachdem der zweite Betriebsmodus aktiviert wird (Operation S510), wird bestimmt, ob der erste Abschlussbefehl erzeugt wird (Operation S515). Falls der erste Abschlussbefehl nicht erzeugt wird (Operation S515: NEIN), führt der 3D-Bildsensor 100 die zweite Abtastung basierend auf den zweiten Tiefenpixeln aus (Operation S520). Falls der erste Abschlussbefehl erzeugt wird (Operation S515: JA), wird der zweite Betriebsmodus beendet und der erste Betriebsmodus wird erneut aktiviert (Operation S115).
Nachdem die zweite Zieloperation ausgeführt wurde (Operation S550), wird bestimmt, ob der zweite Abschlussbefehl erzeugt wird (Operation S555). Falls der zweite Abschlussbefehl nicht erzeugt wird (Operation S555: NEIN), wartet das Mobilsystem für die Geste des Subjekts. Falls die Geste des Subjekts erzeugt wird, wird die zweite Abtastung ausgeführt (Operation S545) und die zweite Abtastung wird ausgeführt (Operation S550) und dieser Prozess wird wiederholt. Falls der zweite Abschlussbefehl erzeugt wird (Operation S555: JA), wird der dritte Betriebsmodus beendet und der zweite Betriebsmodus wird erneut aktiviert (Operation S510).
Nachdem die dritte Zieloperation ausgeführt wurde (Operation S570), wird bestimmt, ob der dritte Abschlussbefehl erzeugt wird (Operation S575). Falls der dritte Abschlussbefehl nicht erzeugt wird (Operation S575: NEIN), wird die dritte Abtastung entsprechend der Nutzereingabe ausgeführt (Operation S565) und die dritte Zieloperation wird ausgeführt (Operation S570) und dieser Prozess wird wiederholt. Falls der dritte Abschlussbefehl erzeugt wird (Operation S575: JA), wird die vierte Operation beendet und der zweite Betriebsmodus wird erneut aktiviert (Operation S510).
Nachdem die vierte Zieloperation ausgeführt wurde (Operation S590), wird bestimmt, ob der vierte Abschlussbefehl erzeugt wird (Operation S595). Falls der vierte Abschlussbefehl nicht erzeugt wird (Operation S595: NEIN), werden die zweite Abtastung und die dritte Abtastung entsprechend der Nutzereingabe ausgeführt (Operation S585) und die vierte Zieloperation wird ausgeführt (Operation S590) und dieser Prozess wird wiederholt. Falls der vierte Abschlussbefehl erzeugt wird (Operation S595: JA), wird der fünfte Betriebsmodus beendet und der zweite Betriebsmodus wird erneut aktiviert (Operation S510).
22A und 22B zeigen Flussdiagramme, die ein Verfahren zum Betreiben des Bildsensors gemäß einigen beispielhaften Ausführungsformen darstellen. Das Verfahren zum Betreiben des in den 22A und 22B dargestellten Bildsensors können angewandt werden, um den 3D-Bildsensor 100 und den 2D-Bildsensor 200 zu operieren, die in dem Mobilsystem 1100 installiert sind.
Bezugnehmend auf 13, 22A und 22B wird, um den Bildsensor zu operieren, bestimmt, ob ein Auslösesignal aktiviert wird (Operation Silo). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1100 auf die Aktivierung des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (Operation S115), die erste Abtastung wird basierend auf den ersten Tiefenpixeln ausgeführt (Operation S120a) und die Nähe des Subjekts wird bestimmt (Operation S130). Operationen S110, S115, S120a und S130 können im Wesentlichen identisch zu den in 16A gezeigten Operationen S110, S115, S120a und S130 sein.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der dritte Betriebsmodus (z. B. Tiefenmodus) aktiviert (Operation S610). Der 3D-Bildsensor 100 führt die zweite Abtastung basierend auf allen Tiefenpixeln aus (Operation S620). Das Mobilsystem 1100 führt die erste Zieloperation basierend auf der zweiten Abtastung (Operation S630) aus. Die erste Zieloperation kann die 3D-Schnittstellenoperation sein und die 3D-Schnittstellenoperation kann basierend auf der relativ einfachen Bewegungserkennung ausgeführt werden.
Der Betriebsmodus des Mobilsystems 1100 kann basierend auf der ersten Zieloperation verändert werden oder nicht (Operation S635).
Als Ergebnis der ersten Zieloperation, falls die relativ komplexe Bewegungserkennung benötigt wird (Operation S635: MD), wird der dritte Betriebsmodus beibehalten (Operation S640). Der 3D-Bildsensor 100 führt die zweite Abtastung basierend auf allen Tiefenpixeln aus (Operation S545). Das Mobilsystem 1100 führt die zweite Zieloperation basierend auf der zweiten Abtastung aus (Operation S550). Falls ein Farbbildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S635: MC), wird der vierte Betriebsmodus (z. B. Farbmodus) aktiviert (Operation S560). Der 2D-Bildsensor 200 führt die dritte Abtastung aus, um Farbbildinformationen für das Subjekt basierend auf allen Farbpixeln zu erfassen (Operation S565). Das Mobilsystem 1100 führt die dritte Zieloperation basierend auf der dritten Abtastung aus (Operation S570). Falls ein Farb-3D-Bildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S635: MCC), wird der fünfte Betriebsmodus (z. B. gleichzeitiger Modus) aktiviert (Operation S580). Der 3D-Bildsensor 100 führt gleichzeitig die zweite Abtastung und die dritte Abtastung basierend auf allen Tiefenpixeln und Farbpixeln aus (Operation S585). Die vierte Zieloperation wird basierend auf der zweiten Abtastung und der dritten Abtastung ausgeführt (Operation S590). Die Operationen S545, S550, S560, S565, S570, S580, S585, und S590 können im Wesentlichen identisch zu den jeweiligen Operationen S545, S550, S560, S565, S570, S580, S585, und S590 von 16B sein.
Bei der beispielhaften Ausführungsform der 22A und 22B wird, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist, der Tiefenmodus anstatt des Skim-Modus aktiviert und der Betriebsmodus des Mobilsystems 1100 kann in dem Tiefenmodus beibehalten werden oder kann von dem Tiefenmodus zu dem Farbmodus oder dem gleichzeitigen Modus basierend auf der in dem Tiefenmodus ausgeführten 3D-Schnittstellenoperation verändert werden.
Obwohl in den 22A und 22B nicht gezeigt, können ähnlich zu der beispielhaften Ausführungsformen von den 21A und 21B Bestimmungsoperationen, ob die ersten bis vierten Abschlussbefehle erzeugt werden, weiter hinzugefügt werden, wenn der Bildsensor operiert wird.
Inzwischen kann gemäß einigen beispielhaften Ausführungsformen das Verfahren zum Betreiben des in den 16A, 16B, 21A, 21B, 22A, und 22B gezeigten Bildsensors auch anwendbar sein, um das Mobilsystem 1100 zu operieren, das den 3D-Bildsensor 100 und den 2D-Bildsensor 200 enthält.
23 zeigt ein Flussdiagramm, das ein Verfahren zum Betreiben des Mobilsystems gemäß einigen beispielhaften Ausführungsformen darstellt. Das Verfahren zum Betreiben des in 23 gezeigten Mobilsystems kann auch anwendbar sein, um das Mobilsystem 1100 zu betreiben, das den 3D-Bildsensor 100, den 2D-Bildsensor 200 und die Eingabevorrichtung enthält.
Bezugnehmend auf die 13, 16B und 23 wird, um das Mobilsystem zu betreiben, bestimmt, ob ein Auslösesignal aktiviert wird (Operation Silo). Falls das Auslösesignal inaktiviert wird (Operation S110: NEIN), wartet das Mobilsystem 1100 auf die Aktivierung des Auslösesignals. Falls das Auslösesignal aktiviert wird (Operation S110: JA), wird der erste Betriebsmodus (z. B. Näherungsabtastmodus) aktiviert (Operation S115), wird die erste Abtastung basierend auf den ersten Tiefenpixeln ausgeführt (Operation S120a) und die Nähe des Subjekts wird bestimmt (Operation S130). Operationen S110, S115, S120a und S130 können im Wesentlichen identisch zu den in 16A gezeigten Operationen S110, S115, S120a und S130 sein.
Falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist (Operation S130: JA), wird der 2D-Betriebsmodus aktiviert (Operation S710). Die Eingabevorrichtung, wie z. B. der Touchscreen 1044 und die Knöpfe 1043 und 1045, erzeugt das Eingabesignal basierend auf der Nutzereingabe (Operation S720). Die erste Zieloperation wird basierend auf dem Eingabesignal (Operation S730) ausgeführt. Beispielsweise wird, wenn das Subjekt in der Nähe des 3D-Bildsensors 100 ist, ein Bildschirm, um ein Menü und/oder eine Anwendung auszuwählen, auf der Anzeigevorrichtung 1041 angezeigt und das Menü und/oder eine Anwendung können ausgewählt werden oder basierend auf dem durch das berührenden Ereignis, wie z. B. eine Berührung auf dem Touchscreen 1044, verursachten Eingabesignal ausgeführt werden. Das bedeutet, dass die erste Zieloperation die 2D-Schnittstellenoperation sein kann.
Der Betriebsmodus des Mobilsystems 1100 kann basierend auf der ersten Zieloperation verändert werden (Operation S535).
Wenn eine relativ komplexe Bewegungserkennung als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MD), wird der dritte Betriebsmodus beibehalten (Operation S540). Falls ein Farbbildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MC), wird der vierte Betriebsmodus (z. B. Farbmodus) aktiviert (Operation S560). Falls ein Farb-3D-Bildfotografieren als Ergebnis der ersten Zieloperation benötigt wird (Operation S535: MCC), wird der fünfte Betriebsmodus (z. B. gleichzeitige Modus) aktiviert (Operation S580).
Bei der beispielhaften Ausführungsform der 23 und 16B, wird, falls bestimmt wird, dass das Subjekt in der Nähe des 3D-Bildsensors 100 ist, der 2D-Betriebsmodus anstatt des Skim-Modus ausgeführt und der Betriebsmodus des Mobilsystems 1100 kann von dem 2D-Betriebsmodus zu dem Tiefenmodus verändert werden, wobei der Farbmodus oder der gleichzeitige Modus in dem 2D-Betriebsmodus auf der in dem 2D-Betriebsmodus ausgeführten 2D-Schnittstellenoperation basiert.
Obwohl in den 23 und 16B nicht gezeigt, können ähnlich zu der beispielhaften Ausführungsform der 21A und 21B Bestimmungsoperationen, ob erste bis vierte Abschlussbefehle erzeugt werden, weiter hinzugefügt werden, wenn das Mobilsystem operiert wird.
24 zeigt eine Draufsicht, die das Mobilsystem entsprechend einigen beispielhaften Ausführungsformen darstellt.
Bezugnehmend auf 24 enthält das Mobilsystem 1200 einen Bildsensor 300 und eine Anzeigevorrichtung 1041. Das Mobilsystem 1200 kann ferner einen Touchscreen 1044, Knöpfe 1043 und 1045, ein Mikrofon 1047 und einen Lautsprecher 1048 enthalten.
Der Bildsensor 300 ist an einer ersten Oberfläche (z. B. einer vorderen Oberfläche) des Mobilsystems 1200 installiert. Der Bildsensor 300 führt eine erste Abtastung, um eine Nähe eines Subjekts zu erfassen, eine zweite Abtastung, um eine Geste des Subjektes durch Erfassen von Abstandsinformationen für das Subjekt zu erkennen, und eine dritte Abtastung aus, um Farbbildinformationen für das Subjekt zu erfassen.
Der Bildsensor 300 kann eine erste Abtasteinheit 110 mit einer Mehrzahl von Tiefenpixeln, eine Lichtquelleneinheit 41, um Infrarotstrahlen oder Nah-Infrarotstrahlen zu emittieren, und eine zweite Abtasteinheit 210 mit einer Mehrzahl von Farbpixeln enthalten.
Bei der beispielhaften Ausführungsform von 24 können ein 3D-Bildsensor und ein 2D-Bildsensor als ein integrierter Schaltungschip ausgestaltet sein. Das bedeutet, dass das Mobilsystem 1200 ein Abtastmodul enthalten kann. In diesem Fall können die Tiefenpixel und Farbpixel zwei voneinander getrennte Pixelarrays bilden.
Die Anzeigevorrichtung 1041 ist an der ersten Oberfläche des Mobilsystems 1200 installiert, um die Ergebnisse der ersten Abtastung, der zweiten Abtastung und der dritten Abtastung anzuzeigen.
Das Mobilsystems 1200 von 24 ist im Wesentlichen identisch zu dem Mobilsystem 1100 von 13 jedoch mit der Ausnahme, dass der 3D-Bildsensor und der 2D-Bildsensor des Mobilsystems 1200 als ein integrierter Schaltungschip ausgestaltet sind. Daher kann das Mobilsystem 1200 basierend auf einigen vorstehend mit Bezug auf 16 bis 23 beschriebenen beispielhaften Ausführungsformen operiert werden. Bei dem Fall, bei dem der zweite Bildsensor (d. h. zweite Abtasteinheit 210) inaktiviert wird, kann das Mobilsystem 1200 basierend auf einigen beispielhaften Ausführungsformen operiert werden, die vorstehend mit Bezug auf die 4 bis 11 beschrieben werden.
25 zeigt ein Blockdiagramm, das ein Beispiel des in 24 gezeigten Mobilsystems 1200 darstellt.
Bezugnehmend auf 25 enthält das Mobilsystem 1200 einen Anwendungsprozessor 1010, eine Verbindungseinheit 1020, eine Speichervorrichtung 1030, einen Bildsensor 300, eine Nutzerschnittstelle 1040 und eine Leistungsversorgung 1050.
Beim Vergleich mit dem Mobilsystem 1100 von 14 kann das Mobilsystem 1200 von 25 ferner den Bildsensor 300 enthalten, bei dem der 3D-Bildsensor 100 und der 2D-Bildsensor 200 integriert sind.
Der Bildsensor 300 kann die erste Abtastung, die zweite Abtastung und die dritte Abtastung ausführen. Beispielsweise kann der Bildsensor 300 vorzugsweise die erste Abtastung ausführen und wenigstens einer von der zweiten Abtastung und der dritten Abtastung kann basierend auf dem Ergebnis der ersten Abtastung ausgeführt werden.
26 zeigt eine Draufsicht, die das Mobilsystem gemäß einigen beispielhaften Ausführungsformen darstellt.
Bezugnehmend auf 26 enthält das Mobilsystem 1300 einen Bildsensor 400 und eine Anzeigevorrichtung 1041. Das Mobilsystem 1300 kann ferner einen Touchscreen 1044, Knöpfe 1045 und 1045, ein Mikrofon 1047 und einen Lautsprecher 1048 enthalten.
Der Bildsensor 400 ist an einer ersten Oberfläche (z. B. einer vorderen Oberfläche) des Mobilsystems 1300 installiert. Der Bildsensor 400 führt eine erste Abtastung, um eine Nähe eines Subjekts zu erfassen, eine zweite Abtastung, um eine Geste des Subjektes durch Erfassen von Abstandsinformationen für das Subjekt zu erkennen, und eine dritte Abtastung aus, um Farbbildinformationen für das Subjekt zu erfassen. Der Bildsensor 400 kann eine Abtasteinheit 410 mit einer Mehrzahl von Tiefenpixeln und Farbpixeln und eine Lichtquelleneinheit 440 enthalten, um Infrarotstrahlen oder Nah-Infrarotstrahlen zu emittieren.
Bei der beispielhaften Ausführungsform von 26 kann ein 3D-Bildsensor und 2D-Bildsensor als ein integrierter Schaltungschip ausgestaltet sein. Das bedeutet, dass das Mobilsystem 1300 ein Abtastmodul enthalten kann. In diesem Fall können die Tiefenpixel und die Farbpixel ein Pixelarray bilden. Genauer kann der Bildsensor 400 ein 3D-Farbbildsensor, z. B. ein RGBZ (rot, grün, blau, tiefen) Sensor, sein.
Die Anzeigevorrichtung 1041 ist an der ersten Oberfläche des Mobilsystems 1300 installiert, um die Ergebnisse der ersten Abtastung, der zweiten Abtastung und der dritten Abtastung anzuzeigen.
Das Mobilsystem 1300 von 26 ist im Wesentlichen identisch zu dem Mobilsystem 1100 von 13 jedoch mit der Ausnahme, dass der 3D-Bildsensor und der 2D-Bildsensor des Mobilsystems 1300 als ein integrierter Schaltungschip ausgestaltet sind und die Tiefenpixel und die Farbpixel ein Pixelarray bilden. Daher kann das Mobilsystem 1300 basierend auf den vorstehend mit Bezug auf die 16a bis 23 beschriebenen beispielhaften Ausführungsformen operiert werden. Bei dem Fall, bei dem die Farbpixel inaktiviert werden, kann das Mobilsystem 1300 basierend auf einigen beispielhaften Ausführungsformen operiert werden, die vorstehend mit Bezug auf 4 bis 11 beschrieben werden.
27 zeigt ein Blockdiagramm, das ein Beispiel des in 26 gezeigten Mobilsystems darstellt.
Bezugnehmend auf 27 enthält das Mobilsystem 1300 einen Anwendungsprozessor 1010, eine Verbindungseinheit 1020, eine Speichervorrichtung 1030, einen Bildsensor 400, eine Nutzerschnittstelle 1040 und eine Leistungsversorgung 1050.
Beim Vergleich mit dem Mobilsystem 1100 von 14 kann das Mobilsystem 1300 von 24 ferner den 3D-Farbbildsensor 400 enthalten, bei dem der 3D-Bildsensor und der 2D-Bildsensor integriert sind, und eine Mehrzahl von Tiefenpixeln und Farbpixeln bilden ein Pixelarray.
Der Bildsensor 400 kann die erste Abtastung, die zweite Abtastung und die dritte Abtastung ausführen. Beispielsweise kann der Bildsensor 400 zunächst die erste Abtastung ausführen und wenigstens einer von der zweiten Abtastung und der dritten Abtastung kann basierend auf dem Ergebnis der ersten Abtastung ausgeführt werden.
28 ist ein Blockdiagramm, das ein Beispiel des in 27 dargestellten Mobilsystems zeigt. 29A und 29B sind Ansichten, die Beispiele der in dem in 28 gezeigten Bildsensor enthaltenden Abtasteinheiten darstellen.
Bezugnehmend auf 28 kann der Bildsensor 400 eine Abtasteinheit 410, eine Zeilenansteuereinheit 420a, eine zweite Zeilenansteuereinheit 420b, eine erste ADC (Analog-Zu-Digital-Wandler) Einheit 430a, eine zweite ADC-Einheit 430b, eine Lichtquelleneinheit 440, eine DSP (Digital-Signal-Verarbeitung) Einheit 450 und eine Steuereinheit 460 enthalten.
Die Lichtquelleneinheit 440 kann ein Licht TL mit einer gewünschten Länge ausgeben (die vorbestimmt werden kann oder nicht, z. B. Infrarotstrahlen oder Nicht-Infrarotstrahlen). Die Lichtquelleneinheit 440 kann selektiv aktiviert werden oder Lichter mit voneinander unterschiedlicher Helligkeit entsprechend dem Betriebsmodus emittieren. Die Lichtquelleneinheit 440 kann eine Lichtquelle 441, um das Licht TL zu erzeugen, und eine Linse 443 enthalten, um das Licht auf das Subjekt 180 zu konzentrieren.
Die Abtasteinheit 410 kann Abstandsinformationen durch Empfangen des von dem Subjekt 180 reflektierten Lichtes RL vorsehen und das Licht RL in ein elektrisches Signal wandeln. Zudem kann die Abtasteinheit 410 Farbbildinformation durch Umwandeln von einfallendem Licht (z. B. sichtbare Strahlung) in ein elektrisches Signal umwandeln.
Die Abtasteinheit 410 kann eine Mehrzahl von Tiefenpixeln und Farbpixeln enthalten. Gemäß einigen beispielhaften Ausführungsformen können die Tiefenpixel und Farbpixel in der Abtasteinheit 410 mit verschiedenen Anzahlverhältnissen und Größenverhältnissen enthalten sein. Beispielsweise kann eine Abtasteinheit 410a, Tiefenpixel 411a und Farbpixel 413a, wie in 29A gezeigt, enthalten oder eine Abtasteinheit 410b kann Tiefenpixel 411b und Farbpixel 413b, wie in 29B gezeigt, enthalten. Bei einigen beispielhaften Ausführungsformen wird ein Infrarotfilter (oder Nah-Infrarotfilter) über den Tiefenpixeln ausgebildet und Farbfilter (z. B. Rot-, Grün- bzw. grüne und Blaufilter) werden über den Farbpixeln ausgebildet.
Die erste Zeilenansteuereinheit 420a ist mit jeder Zeile der Pixel verbunden und kann ein erstes Ansteuersignal erzeugen, um jede Zeile der Farbpixel anzusteuern. Die zweite Zeilenansteuereinheit 420b ist mit jeder Zeile der Tiefenpixel verbunden und kann ein zweites Ansteuersignal erzeugen, um jede Zeile der Tiefenpixel anzusteuern. Die erste ADC-Einheit 430a ist mit jeder Spalte der Farbpixel verbunden und kann ein von jeder Spalte der Farbpixel ausgegebenes erstes Analogsignal in ein erstes Digitalsignal umwandeln. Die zweite ADC-Einheit 430b ist mit jeder Spalte der Tiefenpixel verbunden und kann ein von jeder Spalte der Tiefenpixel ausgegebenes zweites Analogsignal in ein zweites Digitalsignal umwandeln. Die DSP-Einheit 450 empfängt die von der ersten und zweiten ADC-Einheiten 430a und 430b ausgegebenen ersten und zweiten Digitalsignale, um die Bilddatenverarbeitung bezüglich der ersten und zweiten Digitalsignale auszuführen. Die Steuereinheit 460 kann die erste Zeilenansteuereinheit 420a, die zweite Zeilenansteuereinheit 420b, die erste ADC-Einheit 430a, die zweite ADC-Einheit 430b, die Lichtquelleneinheit 440 und die DSP-Einheit 450 steuern.
30 zeigt ein Blockdiagramm, das ein Beispiel einer in dem Mobilsystem verwendeten Schnittstelle gemäß einigen beispielhaften Ausführungsformen darstellt.
Bezugnehmend auf 30 kann das Mobilsystem 2000 als eine Datenverarbeitungsvorrichtung implementiert sein (z. B. ein tragbares Telefon, ein persönliches digitales System, ein tragbarer Multimediaplayer oder ein Smartphone), der eine Mobile Industry Prozessor Interface(MIPI)-Schnittstelle verwendet oder unterstützt und kann einen Anwendungsprozessor 2110, einen Bildsensor 2140 und eine Anzeige 2150 enthalten.
Ein CSI-Host 2112 des Anwendungsprozessors 2110 kann eine serielle Kommunikation mit einer CSI-Vorrichtung 2141 des Bildsensors 2140 über eine serielle Schnittstelle einer Kamera (CSI) durchführen. In einer Ausführungsform kann der CSI-Host 2112 einen optischen Serialisierer DES enthalten und die CSI-Vorrichtung 2141 kann einen optischen Serialisierer SER enthalten. Ein DSE-Host 2111 des Anwendungsprozessors 2110 kann eine serielle Kommunikation mit einer DSE-Vorrichtung 2151 der Anzeige 2150 über eine serielle Schnittstelle einer Anzeige (Display Serial Interface, DSI) durchführen. In einer Ausführungsform kann der DSI-Host 2111 einen optischen Serialisierer SER enthalten und die DSI-Vorrichtung 2151 kann einen optischen Serialisierer DES enthalten.
Zudem kann das Mobilsystem 2000 ferner einen RF(Funkfrequenz)-Chip 2160 enthalten, der eine Kommunikation mit dem Anwendungsprozessor 2110 durchführt. Daten können zwischen einer PHY (physischen Schicht) 2113 des Mobilsystems 2000 und einer PHY 2161 des RF-Chips 2160 entsprechend MIPI DigRF übermittelt werden. Zudem kann der Anwendungsprozessor 2110 ferner einen DigRF MASTER 2114 enthalten, um eine Datenübertragung entsprechend MIPI DigRF zu steuern und der RF-Chip 2160 kann einen DigRF SLAVE 2162 enthalten, der durch den DigRF MASTER 2114 gesteuert wird.
Mittlerweile kann das Mobilsystem ein GPS (globales Positionierungssystem) 2120, einen Speicher 2170, ein Mikrofon 2180, ein DRAM (dynamischer Arbeitsspeicher) 2185 und einen Lautsprecher 2190 enthalten. Zudem kann das Mobilsystem 2000 die Kommunikation mit einem UWB (Ultrabreitband) 2210, einem WLAN (drahtloses lokales Netzwerk) 2220 und einem WIMAX (Worldwide Interoperability für Microwave Access) 2230 ausführen. Die Struktur und die Schnittstelle des Mobilsystems 2000 haben lediglich darstellende Zwecke und beispielhafte Ausführungsformen können nicht darauf begrenzt werden.
Einige beispielhafte Ausführungsformen können an dem 3D-Bildsensor, der geeignet ist, eine Näherungsabtastung und eine Gestenerkennung auszuführen, und an dem die beiden enthaltenden Mobilsystem angewandt werden. Beispielsweise können einige beispielhaften Ausführungsformen an verschiedenen Anschlüsse angewandt werden, wie z. B. einem mobilen Telefon, einem Smartphone, einem Tablet-PC, einem Laptop, einem persönlichen digitalen Assistent (PDA), einem tragbaren Multimediaplayer (PMP), einer Digitalkamera, einem Musikplayer, einer tragbaren Spielekonsole und einem Navigationsgerät.
Es soll verstanden werden, dass die hier beschriebenen beispielhaften Ausführungsformen lediglich in einer anschaulichen Weise betrachtet werden sollen und nicht zum Zwecke der Begrenzung. Beschreibungen der Merkmale und Aspekte innerhalb jeder Ausführungsform sollten möglicherweise als für andere ähnliche Merkmale oder Aspekte in weiteren Ausführungsformen verfügbar betrachtet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2012-0117760 A [0001]

Claims

Mobilsystem, aufweisend: einen dreidimensionalen (3D)-Bildsensor (100) auf einer ersten Oberfläche des Mobilsystems (1000; 1100; 1200; 1300; 2000), der konfiguriert ist zum Ausführen einer ersten Abtastung derart, dass er eine Nähe eines Subjekts (180) erfasst, und einer zweiten Abtastung derart, dass er eine Geste des Subjekts (180) durch Erfassen einer Abstandsinformation für das Subjekt (180) erkennt; und eine Anzeigevorrichtung (1041) auf der ersten Oberfläche des Mobilsystems (1000; 1100; 1200; 1300; 2000) zum Anzeigen von Ergebnissen der ersten Abtastung und der zweiten Abtastung.
Mobilsystem nach Anspruch 1, wobei ein erster Betriebsmodus zum Ausführen der ersten Abtastung basierend auf einem Auslösesignal aktiviert wird, und wobei die zweite Abtastung selektiv ausgeführt wird, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Mobilsystem nach Anspruch 2, ferner aufweisend: eine Eingabevorrichtung zum Empfangen einer Nutzereingabe, wobei wenigstens einer von einem zweiten Betriebsmodus zum Ausführen einer ersten Zieloperation basierend auf der zweiten Abtastung und einem dritten Betriebsmodus zum Ausführen einer zweiten Zieloperation basierend auf einem durch die Eingabevorrichtung erzeugten Eingabesignal aktiviert ist, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Mobilsystem nach Anspruch 3, wobei der zweite Betriebsmodus aktiviert wird, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist, und ein Betriebsmodus des Mobilsystems (1000; 1100; 1200; 1300; 2000) in dem zweiten Betriebsmodus beibehalten wird oder von dem zweiten Betriebsmodus zu dem dritten Betriebsmodus verändert wird basierend auf der ersten Zieloperation.
Mobilsystem nach Anspruch 3, wobei der dritte Betriebsmodus aktiviert wird, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist, und ein Betriebsmodus des Mobilsystems (1000; 1100; 1200; 1300; 2000) in dem dritten Betriebsmodus beibehalten wird oder von dem dritten Betriebsmodus zu dem zweiten Betriebsmodus verändert wird basierend auf der zweiten Zieloperation.
Mobilsystem nach Anspruch 3, wobei der zweite Betriebsmodus und der dritte Betriebsmodus gleichzeitig aktiviert werden, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Mobilsystem nach Anspruch 1, ferner aufweisend: einen zweidimensionalen (2D) Bildsensor (200) auf der ersten Oberfläche des Mobilsystems (1000; 1100; 1200; 1300; 2000) zum Ausführen einer dritten Abtastung derart, dass er eine Farbbildinformation für das Subjekt (180) erfasst.
Mobilsystem nach Anspruch 7, wobei ein erster Betriebsmodus zum Ausführen der ersten Abtastung basierend auf einem Auslösesignal aktiviert wird, und wenigstens eine von der zweiten Abtastung und der dritten Abtastung ausgeführt wird, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Mobilsystem nach Anspruch 8, wobei der 3D-Bildsensor (100) eine Mehrzahl von Tiefenpixeln (111) aufweist und die erste Abtastung in dem ersten Betriebsmodus basierend auf den ersten Tiefenpixeln ausführt, die von den Tiefenpixeln (111) zueinander benachbart sind.
Mobilsystem nach Anspruch 8, wobei der 3D-Bildsensor eine Mehrzahl von Tiefenpixeln (111) aufweist und der 2D-Bildsensor (200) eine Mehrzahl von Farbpixeln (211) aufweist, und wobei einer von einem zweiten Betriebsmodus zum Ausführen der zweiten Abtastung basierend auf den ersten Tiefenpixeln, die zueinander benachbart sind, während ein Teilarray von den Tiefenpixeln (111) gebildet ist, einem dritten Betriebsmodus zum Ausführen der zweiten Abtastung basierend auf den Tiefenpixeln (111), einem vierten Betriebsmodus zum Ausführen der dritten Abtastung basierend auf den Farbpixeln (211) und einem fünften Betriebsmodus zum gleichzeitigen Ausführen der zweiten Abtastung und der dritten Abtastung basierend auf den Tiefenpixeln (111) und den Farbpixeln (211) aktiviert wird, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Mobilsystem nach Anspruch 10, wobei der zweite Betriebsmodus aktiviert wird, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist, und ein Betriebsmodus des Mobilsystems (1000; 1100; 1200; 1300; 2000) von dem zweiten Betriebsmodus zu einem von dem dritten bis fünften Betriebsmodus basierend auf einem Ergebnis der in dem zweiten Betriebsmodus ausgeführten zweiten Abtastung verändert wird.
Mobilsystem nach Anspruch 10, wobei der dritte Betriebsmodus aktiviert wird, wenn das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist, und ein Betriebsmodus des Mobilsystems (1000; 1100; 1200; 1300; 2000) in dem dritten Betriebsmodus beibehalten wird oder von dem dritten Betriebsmodus zu einem von dem vierten oder fünften Betriebsmodus basierend auf einem Ergebnis der in dem dritten Betriebsmodus ausgeführten zweiten Abtastung verändert wird.
Mobilsystem nach Anspruch 10, wobei die dritte Abtastung ferner basierend auf wenigstens einem Teil der Farbpixel (211) ausgeführt wird, wenn der zweite Betriebsmodus aktiviert wird.
Mobilsystem nach Anspruch 7, wobei der 3D-Bildsensor (100) und der 2D-Bildsensor (200) ein integrierter Schaltungschip oder zwei voneinander getrennte integrierte Schaltungschips sind.
Mobilsystem nach Anspruch 7, wobei der 3D-Bildsensor (100) eine Mehrzahl von Tiefenpixeln (111) aufweist, der 2D-Bildsensor (200) eine Mehrzahl von Farbpixeln (211) aufweist, und die Tiefenpixel (111) und die Farbpixel (211) ein Pixelarray oder zwei voneinander getrennte Pixelarrays bilden.
Mobilsystem nach Anspruch 1, wobei der 3D-Bildsensor (100) eine Lichtquelleneinheit aufweist, die nicht aktiviert ist, wenn die erste Abtastung ausgeführt wird, und die aktiviert ist, wenn die zweite Abtastung ausgeführt wird.
Mobilsystem nach Anspruch 1, wobei der 3D-Bildsensor (100) eine Lichtquelleneinheit aufweist, die ein Licht mit geringer Helligkeit emittiert, wenn die erste Abtastung ausgeführt wird, und das Licht mit hoher Helligkeit emittiert, wenn die zweite Abtastung ausgeführt wird.
Verfahren zum Betreiben eines dreidimensionalen (3D)-Bildsensors (100), wobei das Verfahren aufweist: Ausführen einer ersten Abtastung basierend auf einem Auslösesignal, um eine Nähe eines Subjekts (180) zu erfassen; und Ausführen einer zweiten Abtastung, um eine Geste des Subjekts (180) durch Erfassen einer Abstandsinformation für das Subjekt (180) zu erkennen, wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt (180) in der Nähe des 3D-Bildsensors (100) ist.
Verfahren nach Anspruch 18, ferner aufweisend: Ausführen einer Zieloperation basierend auf der zweiten Abtastung.
Verfahren nach Anspruch 18, wobei der 3D-Bildsensor (100) eine Mehrzahl von Tiefenpixeln (111) aufweist, und wobei die erste Abtastung basierend auf einem Teil der Tiefenpixel (111) ausgeführt wird, und die zweite Abtastung basierend auf allen Tiefenpixeln (111) ausgeführt wird.
Verfahren zum Betreiben eines eine Mehrzahl von Tiefenpixeln (111) und Farbpixeln (211) enthaltenden Bildsensors, wobei das Verfahren aufweist: Ausführen einer ersten Abtastung basierend auf einem Auslösesignal, um eine Nähe eines Subjekts (180) zu erfassen; und Ausführen wenigstens einer von einer zweiten Abtastung zum Erkennen einer Geste des Subjekts (180) durch Erfassen einer Abstandsinformation für das Subjekt (180) und einer dritten Abtastung zum Erfassen einer Farbbildinformation des Subjekts (180), wenn ein Ergebnis der ersten Abtastung angibt, dass das Subjekt (180) in der Nähe des Bildsensors ist.
Verfahren nach Anspruch 21, wobei das Ausführen wenigstens eine von der zweiten Abtastung und der dritten Abtastung aufweist: Ausführen der zweiten Abtastung basierend auf den ersten Tiefenpixeln, die zueinander benachbart sind, während ein Teilarray von den Tiefenpixeln (111) gebildet wird; Ausführen der zweiten Abtastung basierend auf den Tiefenpixeln (111); Ausführen der dritten Abtastung basierend auf den Farbpixeln (211); und gleichzeitiges Ausführen der zweiten Abtastung und der dritten Abtastung basierend auf den Tiefenpixeln (111) und den Farbpixeln (211).
Verfahren nach Anspruch 22, wobei das Ausführen wenigstens einer von der zweiten Abtastung und der dritten Abtastung ferner aufweist: Verändern eines Betriebsmodus des Bildsensors basierend auf einem Ergebnis der basierend auf den ersten Tiefenpixeln ausgeführten zweiten Abtastung.