DE102013106685A1

DE102013106685A1 - Bildsensorchip, Verfahren zum Betreiben desselben und System mit dem Bildsensorchip

Info

Publication number: DE102013106685A1
Application number: DE102013106685.2A
Authority: DE
Inventors: Hae Kyung KONG; Tae Chan Kim
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-07-05
Filing date: 2013-06-26
Publication date: 2014-01-09
Also published as: US9055242B2; KR101896666B1; CN103533234B; US20140009650A1; KR20140006465A; CN103533234A

Abstract

Ein Verfahren zum Betreiben eines Bildsensorchips mit einem Bildsensorbildpunkt, der eine Bewegung eines Objektes erfasst und einem Tiefensensorbildpunkt umfassend die Aktivierung von entweder dem Tiefensensorbildpunkt oder dem Bewegungssensorbildpunkt gemäß einem Betriebsartauswahlsignal; und Verarbeiten eines Bildpunktsignalausgangs von entweder dem aktivierten Tiefensensorbildpunkt oder dem aktivierten Bewegungssensorbildpunkt.

Description

Bezugnahme auf verbundene Anmeldungen
Diese Patentanmeldung beansprucht die Priorität der am 5. Juli 2012 am koreanischen Patentamt eingereichten koreanischen Patentanmeldung Nr. 10-2012-0073439 , deren Offenbarung durch Bezugnahme komplett mit einbezogen wird.
Hintergrund
Beispielhafte Ausführungsformen beziehen sich auf Bildsensorchips. Insbesondere beziehen sich beispielhafte Ausführungsformen auf ein Verfahren zum Erhalten von Bilddaten basierend auf einem Bildpunktsignal, das von einem Tiefensensorbildpunkt und einem Bewegungssensorbildpunkt in den Bildsensorchip ausgegeben wird und auf Vorrichtungen, die dieses Verfahren verwenden.
Komplementär Metall-Oxid-Halbleiter-Bildsensoren sind Festkörperbilderfassungsvorrichtungen, die einen CMOS verwenden. Die CMOS-Bildsensoren können im Vergleich zu Ladungs-gekoppelten Vorrichtungsbildsensoren (CCD) die Hochspannungsanalogschaltungen enthalten und billig hergestellt werden und verbrauchen aufgrund ihrer relativ kleinen Größe wenig Energie. Da sich die Leistung der CMOS-Bildsensoren verbessert hat, sind die CMOS-Bildsensoren inzwischen weitverbreitet. Beispielsweise werden die CMOS-Bildsensoren in verschiedenen Heimanwendungen und Mobilgeräten, wie beispielsweise Smartphones und Digitalkameras angewandt.
In Mobilgeräten ist es eine ständige Anforderung den Energieverbrauch der CMOS-Bildsensoren zu verringern. Da der Energieverbrauch und die Leistungsfähigkeit in gegenseitiger Beziehung stehen, ist es nötig den Energieverbrauch des CMOS-Bildsensors soweit wie möglich zu reduzieren ohne dabei auch die Leistungsfähigkeit zu reduzieren.
Zusammenfassung
Gemäß einem Aspekt beispielhafter Ausführungsformen wird ein Verfahren zum Betreiben eines Bildsensorchips bereitgestellt umfassend einen Bewegungssensorbildpunkt, der eine Bewegung eines Objekts erfasst und einen Tiefensensorbildpunkt, wobei das Verfahren außerdem das Aktivieren entweder des Tiefensensorbildpunkts oder des Bewegungssensorbildpunkts gemäß eines Betriebsmodusauswahlsignals enthält, und das Verarbeiten eines Bildpunktsignalausgangs durch entweder den aktivierten Tiefensensorbildpunkt oder den aktivierten Bewegungssensorbildpunkt.
Gemäß einer Ausführungsform umfasst das Verfahren außerdem vor dem Aktivieren des entweder einen Tiefensensorbildpunkts oder Bewegungssensorbildpunkts, das Aktivieren des Bewegungssensorbildpunkts als Standardeinstellung, und das Ändern des Niveaus des Betriebsmodusauswahlsignals basierend auf einem Bildpunktsignalausgang von dem standardmäßig aktivierten Bewegungssensorbildpunkt. Gemäß einer Ausführungsform umfasst das Ändern des Niveaus des Betriebsmodusauswahlsignals das Ändern des Niveaus des Betriebsmodusausgangssignals, wenn Daten die als Ergebnis der Verarbeitung des Bildpunktsignalausgangs von dem standardmäßig aktivierten Bewegungssensorbildpunkt mit Referenzdaten übereinstimmen.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren das Analysieren einer Nutzereingabe und das Erzeugen eines Betriebsmodusauswahlsignals gemäß dem analysierten Ergebnis der Nutzereingabe. Gemäß einer Ausführungsform kann der Bewegungssensorbildpunkt ein Dynamic-Vision-Sensor-Bildpunkt (DVS) sein, und der Tiefensensorbildpunkt kann ein Time-Of-Flight-Sensorbildpunkt (TOF) sein, der die Tiefeninformation zwischen dem Objekt und den Bildsensorchips gemäß eines TOF-Verfahrens erhält.
Gemäß einem weiteren Aspekt beispielhafter Ausführungsformen wird ein Verfahren zum Betreiben eines Bildsensorchips bereitgestellt, der einen Bewegungssensorbildpunkt umfasst, der geeignet ist eine Bewegung eines Objektes zu erfassen und einen Tiefensensorbildpunkt, wobei das Verfahren das Aktivieren des Bewegungssensorbildpunkts umfasst, das Ermitteln ob der Tiefensensorbildpunkt gemäß eines Betriebsmodusauswahlsignals zu aktivieren ist, und die Verarbeitung eines Bildpunktsignalausgangs durch entweder den Bewegungssensorbildpunkt oder den Tiefensensorbildpunkt basierend auf einem Ergebnis der Ermittlung und des Betriebsmodusauswahlsignals.
Gemäß einer Ausführungsform umfasst die Verarbeitung des Bildpunktsignals das Verarbeiten des Bildpunktsignalausgangs durch den Tiefensensorbildpunkt, wenn der Tiefensensorbildpunkt aktiviert ist, und das Verarbeiten des Bildpunktsignalausgangs durch den Bewegungssensorbildpunkt, wenn der Tiefensensorbildpunkt deaktiviert ist. Gemäß einer Ausführungsform kann der Bewegungssensorbildpunkt ein DVS-Bildpunkt sein, und der Tiefensensorbildpunkt kann ein TOF-Sensorbildpunkt sein, der die Tiefeninformation zwischen dem Objekt und dem Bildsensorchip gemäß eines Time-Of-Flight(TOF)-Verfahrens erhält.
Gemäß einem weiteren Aspekt beispielhafter Ausführungsformen wird ein Bildsensorchip bereitgestellt, wobei der Bildsensorchip ein Bildpunktarray mit einer Gruppe an Tiefensensorbildpunkten umfasst, die eine Vielzahl an Tiefensensorbildpunkten enthält und einer Bewegungssensorbildpunktgruppe, die eine Vielzahl an Bewegungssensorbildpunkten enthält, einer Steuerschaltung, die geeignet ist, um entweder die Tiefensensorbildpunktgruppe oder die Bewegungssensorbildpunktgruppe gemäß einem Betriebsmodusauswahlsignals auszuwählen, und einer Bildpunktsignalverarbeitungsschaltung, die geeignet ist, um Bildpunktsignalausgänge der entweder aktivierten Tiefensensorbildpunktgruppe oder der aktivierten Bewegungssensorbildpunktgruppe zu verarbeiten. Gemäß einer Ausführungsform kann der Bildpunktsensorchip außerdem einen Bewegungssensorbildpunktaktivierungscontroller enthalten der geeignet ist die Leistung die an die Bewegungssensorbildpunktgruppe angelegt wird unter der Kontrolle der Steuerschaltung zu steuern.
Gemäß einer Ausführungsform kann jeder der Vielzahl der Bewegungssensorbildpunkte ein DVS-Bildpunkt sein. Die Bildpunktsignalverarbeitungsschaltung kann eine Zeilenadressereignisdarstellung (AER) enthalten, die geeignet ist, um wenigstens eines der Vielzahl an Ereignissignalen die von der Vielzahl der Bewegungssensorbildpunkte erzeugt werden zu verarbeiten und eine Spalten AER, die geeignet ist, um wenigstens eines der Vielzahl der Ereignissignale die von der Vielzahl der Bewegungssensorbildpunkten erzeugt werden zu verarbeiten. Die Zeilen AER kann auf einer gegenüberliegenden Seite eines Zeilentreibers zum Aktivieren der Vielzahl der Tiefensensorbildpunkten angeordnet sein.
Gemäß einer Ausführungsform kann die Zeilen AER auf der gleichen Seite wie ein Zeilentreiber zum Aktivieren der Vielzahl der Tiefensensorbildpunkten angeordnet sein. Die Bewegungssensorbildpunktgruppe und die Tiefensensorbildpunktgruppe können getrennt voneinander angeordnet sein.
Gemäß einer weiteren Ausführungsform kann die Vielzahl der Bewegungssensorbildpunkten zwischen den Tiefensensorbildpunkten angeordnet sein. Gemäß einer weiteren Ausführungsform kann die Vielzahl der Bewegungssensorbildpunkten an Rändern der Tiefensensorbildpunktgruppe angeordnet sein. Die Vielzahl der Bewegungssensorbildpunkten kann sich in Zeilenrichtung mit der Vielzahl der Tiefensensorbildpunkten abwechseln. Die Vielzahl der Bewegungssensorbildpunkten kann sich auch in Spaltenrichtung mit der Vielzahl der Tiefensensorbildpunkten abwechseln.
Gemäß einer Ausführungsform kann die Größe von jedem der Vielzahl der Bewegungssensorbildpunkten von der Größe eines jeden der Vielzahl der Tiefensensorbildpunkten verschieden sein. Gemäß einer Ausführungsform können ein Bewegungssensorbildpunkt und ein Tiefensensorbildpunkt mit der gleichen Spaltenadresse aus der Vielzahl der Bewegungssensorpunkten und der Vielzahl der Tiefensensorpunkten sich wenigstens eine Signalleitung teilen.
Gemäß einer Ausführungsform kann die Bildpunktsignalverarbeitungsschaltung eine Bewegungssensorbildpunktsignalverarbeitungsschaltung enthalten, die geeignet ist, um von der Bewegungssensorbildpunktgruppe ausgegebene Bildpunktsignale zu verarbeiten, und eine Tiefensensorbildpunktsignalverarbeitungseinheit, die geeignet ist, um von der Tiefensensorbildpunktgruppe ausgegebene Bildpunktsignale zu verarbeiten. Gemäß einer weiteren Ausführungsform kann die Bildpunktsignalverarbeitungsschaltung außerdem eine Ausgangsauswahlschaltung enthalten, die geeignet ist, um entweder einen Ausgang der Bewegungssensorbildpunktsignalverarbeitungsschaltung oder einen Ausgang der Tiefensensorbildpunktsignalverarbeitungsschaltung auszuwählen.
Gemäß einem weiteren Aspekt beispielhafter Ausführungsformen wird ein System-On-Chip (SoC) bereitgestellt mit einem Bildsensorchip, einem Bildsignalprozessor (ISP), der geeignet ist die von dem Bildsensorchip ausgegebenen Bildausgangsdaten zu verarbeiten, und einer zentralen Recheneinheit (CPU), die geeignet ist, um die von dem ISP verarbeitenden Bilddaten zu verarbeiten und ein Betriebsauswahlsignal basierend auf den verarbeitenden Bilddaten zu erzeugen.
Gemäß einem weiteren Aspekt beispielhafter Ausführungsformen wird ein Bildsensorchip bereitgestellt mit einem Pixelarray mit einem Tiefensensorbildpunkt und einem Bewegungssensorbildpunkt und mit einer Ausgangsauswahlschaltung, die geeignet ist, entweder ein von dem Tiefensensorbildpunkt erhaltenes Signal oder ein von dem Bewegungssensorbildpunkt erhaltenes Signal gemäß einem Betriebsmodusauswahlsignal auszuwählen und das ausgewählte Signal auszugeben.
Gemäß einer Ausführungsform kann der Bewegungssensorbildpunkt ein DVS-Bildpunkt sein, und der Tiefensensorbildpunkt kann ein TOF-Sensorbildpunkt sein. Die Ausgangsauswahlschaltung kann einen Multiplexer enthalten.
Gemäß einem weiteren Aspekt beispielhafter Ausführungsformen wird ein Bildverarbeitungssystem bereitgestellt mit einem Bildsensor der Bilddaten entsprechend entweder der Tiefeninformation von wenigstens einem des Tiefensensorbildpunkts oder Bewegungsinformation von wenigstens einem Bewegungssensorbildpunkt zu erzeugen und die Bilddaten zu übertragen, und mit einem Bildsignalprozessor (ISP) der geeignet ist, um die Bilddaten von dem Bildsensor zu empfangen und zu verarbeiten und die verarbeitenden Bilddaten zu übertragen und mit einer Anzeigeeinheit, die geeignet ist, um die verarbeitenden Bilddaten zu empfangen und die verarbeitenden Bilddaten darzustellen.
Kurze Beschreibung der Figuren
Beispielhafte Ausführungsformen werden durch die folgende detaillierte Beschreibung im Zusammenhang mit den beiliegenden Figuren klarer in denen:
1 ein Blockdiagramm eines Bildverarbeitungssystems gemäß der beispielhaften Ausführungsformen zeigt;
2 ein Blockdiagramm einer Ausführungsform eines Bildsensors in einem Bildverarbeitungssystem aus 1 zeigt;
3 ein Blockdiagramm eines Bildsensors in einer Ausführungsform einer in 2 dargestellten Bildsignalverarbeitungsschaltung zeigt;
4 eine Ausführungsform eines in 2 dargestellten Bildpunktarrays zeigt;
5 eine weitere Ausführungsform eines in 2 gezeigten Bildpunktarrays zeigt;
6 eine weitere Ausführungsform eines in 2 dargestellten Bildpunktarrays zeigt;
7 eine weitere Ausführungsform eines in 2 dargestellten Bildpunktarrays zeigt;
8 eine weitere Ausführungsform eines in 2 dargestellten Bildpunktarrays zeigt;
9 ein Schaltungsdiagramm einer Ausführungsform von Verdrahtungen eines in 4 dargestellten Bildpunktarrays zeigt;
10 ein Schaltungsdiagramm einer weiteren Ausführungsform von Verdrahtungen eines in 4 dargestellten Bildpunktarrays zeigt;
11 ein Schaltungsdiagramm einer Ausführungsform eines in den 9 oder 10 dargestellten Bewegungssensorbildpunktes zeigt;
12A ein Schaltungsdiagramm einer Ausführungsform eines in 9 oder 10 dargestellten Tiefensensorbildpunkts zeigt;
12B ein Schaltungsdiagramm einer weiteren Ausführungsform eines in 9 oder 10 dargestellten Tiefensensorbildpunkts zeigt;
13 ein Blockdiagramm einer weiteren Ausführungsform eines in dem Bildverarbeitungssystem aus 1 enthaltenen Bildsensors zeigt;
14 ein Blockdiagramm einer weiteren Ausführungsform eines in dem Bildverarbeitungssystem aus 1 enthaltenen Bildsensors zeigt;
15 ein Blockdiagramm einer weiteren Ausführungsform eines in dem Bildverarbeitungssystem aus 1 enthaltenen Bildsensors zeigt;
16 ein Blockdiagramm eines Bildsensors mit einer anderen Ausführungsform einer in 2 dargestellten Bildsignalverarbeitungsschaltung;
17 ein Blockdiagramm eines Bildsensors mit einer anderen Ausführungsform einer in 2 dargestellten Bildsignalverarbeitungsschaltung zeigt;
18 ein Blockdiagramm einer Modifikation einer in 17 dargestellten Bildsignalverarbeitungsschaltung zeigt;
19 ein Blockdiagramm eines Bildsensors mit einer anderen Ausführungsform einer in 2 dargestellten Bildpunktsignalverarbeitungsschaltung zeigt;
20 ein Blockdiagramm eines Bildsensors mit einer Ausführungsform einer in 14 dargestellten Bildpunktsignalverarbeitungsschaltung zeigt;
21 ein Blockdiagramm eines Bildsensors mit einer Ausführungsform einer in 14 dargestellten Bildpunktverarbeitungsschaltung zeigt;
22 ein Blockdiagramm eines Bildsensors mit einer weiteren Ausführungsform einer in 14 dargestellten Bildpunktsignalverarbeitungsschaltung zeigt;
23 ein Blockdiagramm eines Bildsensors mit einer weiteren Ausführungsform einer in 14 dargestellten Bildpunktsignalverarbeitungsschaltung zeigt;
24 ein Flussdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips gemäß einer Ausführungsform zeigt;
25 ein Flussdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips gemäß einer anderen Ausführungsform zeigt;
26 ein Flussdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips gemäß einer weiteren Ausführungsform zeigt;
27 ein Blockdiagramm eines elektronischen Systems mit einem in 1 dargestellten Bildsensors gemäß einer beispielhaften Ausführungsform zeigt; und
28 ein Blockdiagramm eines Bildverarbeitungssystems mit dem in 1 dargestellten Bildsensor gemäß beispielhafter Ausführungsformen zeigt.
Detaillierte Beschreibung beispielhafter Ausführungsformen
1 zeigt ein Blockdiagramm eines Bildverarbeitungssystems 10 gemäß beispielhafter Ausführungsformen. Bezugnehmend auf 1 umfasst das Bildverarbeitungssystem 10 einen Bildsensor 100, einen Bildsignalprozessor (IPS) 200, eine Anzeigeeinheit 205, eine zentrale Recheneinheit (CPU) 210, und eine Peripherieschaltung 220.
Das Bildverarbeitungssystem 10 kann durch ein System-On-Chip (SOC) realisiert werden. Das Bildverarbeitungssystem 10 kann die Funktion eines Tiefensensors der geeignet ist, um Tiefeninformation eines Objekts zu erfassen, und die Funktion eines Bewegungssensors der geeignet ist um Bewegungsinformation durch Erfassung der Bewegung eines Objekts zu erfassen.
Gemäß einer Ausführungsform kann der Bewegungssensor ein erfasstes oder eingefangenes Bild in Einheiten von Frames eines Objektes analysieren und kann die Schattierungsinformation über jeden Frame als digitalen Code in einen nicht gezeigten Frame-Speicher entsprechend dem Ergebnis der Analyse speichern. Der Bewegungssensor kann Teile der Schattierungsinformation eines vorangegangenen Frames und eines aktuellen Frames, die in dem Frame-Speicher gespeichert sind, miteinander vergleichen und kann die Bewegung des Objekts entsprechend dem Ergebnis des Vergleichs erfassen.
Wenn die Schattierungsinformation eines Pixels erfasst wird, kann der Bewegungssensor die erfasst Schattierungsinformation zusammen mit der Schattierungsinformation über Bildpunkte (z. B. 4 Bildpunkte, insbesondere oberhalb, unterhalb, links und rechts) benachbart zu dem Bildpunkt verarbeiten und die Bewegungsrichtung der Schattierung entsprechend der Schattierungsinformation aus dem Ergebnis der Verarbeitung berechnen.
Gemäß einer anderen Ausführungsform kann der Bewegungssensor eine Signalspeichervorrichtung (z. B. einen Kondensator) in jedem Bildpunkt enthalten. Der Bewegungssensor kann einen Spannungswert entsprechend einem Bildpunktsignal eines vorangegangenen Frames des Objekts speichern, den gespeicherten Wert mit einem Spannungswert entsprechend einem Bildpunktsignal eines aktuellen Frames des Objekts vergleichen und eine Bewegung des Objekts entsprechend dem Ergebnis des Vergleichs erfassen.
Der Bildsensor 100 kann Tiefeninformation von wenigstens einem der Tiefensensorbildpunkt (nicht gezeigt) und/oder Bewegungsinformation ausgegeben von wenigstens einem der Bewegungssensorbildpunkt (nicht gezeigt) erzeugen und digitale Daten entsprechend der Tiefeninformation oder der Bewegungsinformation zu dem ISP 200 übertragen. Zum Beispiel können die digitalen Daten Bilddaten IDATA sein.
Der Bildsensor 100 kann Bilddaten IDATA entsprechend der Tiefeninformation (oder ein Tiefenbild) oder der Bewegungsinformation (oder ein Bewegungsbild) gemäß eines Betriebsartauswahlsignals MSEL ausgegeben von der CPU 210 ausgeben. Die CPU 210 ist ein Beispiel einer Logik oder Hardware die geeignet ist, um ein Betriebsartauswahlsignal MSEL zu erzeugen. Zum Beispiel falls das Betriebsartauswahlsignal MSEL sich in einem ersten Niveau befindet, z. B. einem unteren Niveau kann der Bildsensor 100 Bilddaten IDATA entsprechend dem Bewegungsbild ausgeben, und wenn das Betriebsartauswahlsignal MSEL sich in einem zweiten Niveau befindet, z. B. einem hohen Niveau, kann der Bildsensor 100 Bilddaten IDATA entsprechend dem Tiefenbild ausgeben. Die Ausführungsformen sind jedoch nicht darauf beschränkt.
Der Bildsensor 100 kann auch als separater, unabhängiger Chip ausgebildet sein. Der Bildsensor 100 kann unter Verwendung eines CMOS-Bildsensorchips ausgebildet sein.
Der ISP 200 kann die Bilddaten IDATA empfangen und die Bilddaten IDATA verarbeiten, um verarbeitete Bilddaten IDATA' zu erzeugen. Beispielsweise kann der ISP 200 die Bilddaten IDATA in Einheiten von Frames verarbeiten oder konfigurieren. Der ISP 200 kann auch Licht und Schattierung, Kontrast, Sättigung, etc. der Bilddaten IDATA korrigieren. Gemäß einer Ausführungsform kann der ISP 200 einen Frame-Speicher enthalten, die Schattierungsinformation eines vorangegangenen Frames mit der Schattierungsinformation eines gegenwärtigen Frames unter Verwendung des Frame-Speichers vergleichen und Bewegungsinformation oder das Bewegungsbild basierend auf dem Ergebnis des Vergleichs erzeugen. Gemäß einer weiteren Ausführungsform kann der ISP 200 die Schattierungsinformation eines Bildpunkts, zusammen mit der Schattierungsinformation über Bildpunkte benachbart zu dem Bildpunkt verarbeiten und eine Richtung der Bewegung einer Schattierung entsprechend der Schattierungsinformation gemäß dem Ergebnis der Verarbeitung berechnen.
Der ISP 200 kann die verarbeitenden Bilddaten IDATA' an die Anzeigeeinheit 205 vermitteln und/oder an die CPU 210. Gemäß einer Ausführungsform steuert die ISP 200 den gesamten Betrieb des Bildsensors 100 durch Steuern eines Steuerregisterblocks (nicht gezeigt) in den Bildsensor 100. Obwohl der ISP 200 außerhalb des Bildsensors 100 gemäß der vorliegenden Ausführungsform implementiert ist, kann der ISP 200 auch im Inneren des Bildsensors 100 ausgebildet sein.
Die Display-Einheit 205 bildet eine Vorrichtung die geeignet ist, die verarbeitenden Bilddaten IDATA' darzustellen. Die CPU 210 kann die verarbeitenden Bilddaten IDATA' von dem ISP 200 empfangen, die verarbeitenden Bilddaten IDATA' analysieren und ein Betriebsartauswahlsignal MSEL basierend auf dem Ergebnis der Analyse erzeugen. Die CPU 210 kann das Betriebsartauswahlsignal MSEL an den Bildsensor 100 übertragen.
Beispielsweise falls Leistung an das Bildverarbeitungssystem 10 angelegt wird oder das Bildverarbeitungssystem 10 gebootet wird, gibt die CPU 210 ein Betriebsartauswahlsignal MSEL in einem Standardniveau, beispielsweise einem unteren Niveau an den Bildsensor 100 aus. Die CPU 210 kann die verarbeitenden Bilddaten IDATA' analysieren und falls analysiert wird, dass ein Betriebsartwechsel nötig ist kann die CPU 210 das Niveau des Betriebsartauswahlsignals MSEL von einem unteren Niveau auf ein höheres Niveau ändern und ein Betriebsartauswahlsignal MSEL in einem hohen Niveau ausgeben.
Gemäß einer Ausführungsform kann die CPU 210 die verarbeitenden Bilddaten IDATA' mit Referenzdaten REF vergleichen und das Betriebsartauswahlsignal MSEL basierend auf dem Ergebnis des Vergleichs erzeugen. Wenn die verarbeitenden Bilddaten IDATA' mit den Referenzdaten REF übereinstimmen, kann die CPU 210 das Niveau des Betriebsartauswahlsignals MSEL ändern. Beispielsweise können die Referenzdaten REF ein spezielles zweidimensionales (2D) Bild sein, wie beispielsweise ein Fingerabdruck oder das Gesicht einer Person, oder ein dreidimensionales (3D) Bild inklusive Abstandsinformation, oder Referenzbewegungsdaten, die eine kontinuierliche Bewegung darstellen, sowie beispielsweise die Geste eines Körpers, z. B. eine Hand. Die Referenzdaten REF sind programmierbar. Die Referenzdaten REF können in einem Register gespeichert werden.
Gemäß einer Ausführungsform können die Referenzdaten REF Bewegungsdaten über eine Bewegung sein die ein Objekt, beispielsweise eine Person, die mit ihrer Hand einen Kreis zeichnet, sein. In diesem Fall vergleicht die CPU 210 die verarbeitenden Bilddaten IDATA' mit den Referenzdaten REF und erzeugt ein Betriebsartauswahlsignal MSEL auf einem ersten Niveau oder einem zweiten Niveau basierend auf dem Ergebnis des Vergleichs.
Gemäß einer weiteren Ausführungsform kann der Bewegungssensorbildpunkt (nicht gezeigt) standardmäßig aktiviert sein und der Tiefensensorbildpunkt (nicht gezeigt) kann beispielsweise deaktiviert sein standardmäßig in einem Schlafmodus. Beispielsweise falls die Bewegung einer Person als Bilddaten IDATA' eingegeben werden und die eingegebenen Bilddaten IDATA' identisch mit den Referenzdaten REF sind, kann die CPU 210 den nicht gezeigten Tiefensensorbildpunkt aktivieren (z. B. aufwecken) oder aber auch ein anderes System, z. B. ein mit dem Bildverarbeitungssystem 10 verbundenes Leistungsversorgungssystem oder Tonsystem oder eine andere spezielle Anwendung aktivieren. Die Referenzdaten REF können gemäß einer Nutzeranforderung auch variieren. Die Referenzdaten REF können auf einen Standardwert gesetzt werden.
Die CPU 210 kann die von der Peripherieschaltung 220 empfangene Daten interpretieren, ein Betriebsartauswahlsignal MSEL basierend auf dem Ergebnis der Interpretation erzeugen und das Betriebsartauswahlsignal MSEL an den Bildsensor 100 übermitteln.
Der Bildsensor 100 kann unter Verwendung eines Tiefensensors Tiefeninformation oder unter Verwendung eines Bewegungssensors Bewegungsinformation gemäß dem empfangenen Betriebsartauswahlsignal MSEL erzeugen und Bilddaten IDATA entsprechend der erzeugten Tiefeninformation oder Bewegungsinformation ausgeben.
Die Peripherieschaltung 220 kann Daten die gemäß dem Zustand des Bildverarbeitungssystems 10 oder verschiedener Eingangsdaten erzeugt wurden an die CPU 210 bereitstellen. Gemäß einer Ausführungsform kann die Peripherieschaltung 220 unter Verwendung einer Eingangsschnittstelle implementiert sein. In diesem Fall kann die Peripherieschaltung 220 die Funktion einer Eingangsschnittstelle durchführen und die CPU 210 mit Daten die entsprechend der Eingabe eines Nutzers erzeugt wurden versorgen. Die Eingangsschnittstelle kann eine Eingabevorrichtung wie beispielsweise ein Knopf, ein Touchscreen oder eine Maus sein. Die CPU 210 kann das Betriebsartauswahlsignal MSEL basierend auf diesen Daten erzeugen.
Gemäß einer weiteren Ausführungsform kann die Peripherieschaltung 220 als Leistungsüberwachungsmodul ausgebildet sein. In diesem Fall falls erfasst wird, dass die Leistung des Bildverarbeitungssystems 10 ungenügend ist, kann die Peripherieschaltung 220 die als Leistungsüberwachungsmodul ausgebildet ist Daten die entsprechend der Erfassung erzeugt wurden an die CPU 210 ausgeben. Die CPU 210 kann basierend auf diesen Daten ein Betriebsartauswahlsignal MSEL erzeugen.
Gemäß einer anderen Ausführungsform kann die Peripherieschaltung 220 als Anwendungsausführungsmodul implementiert sein. In diesem Fall kann die Peripherieschaltung 220 die als Anwendungsausführungsmodul implementiert ist die Ausführung einer speziellen Anwendung überwachen und Daten die entsprechend dem Ergebnis der Überwachung erzeugt wurden an die CPU 210 ausgeben. Die CPU 210 kann basierend auf diesen Daten ein Betriebsartauswahlsignal MSEL erzeugen. Die spezielle Anwendung kann eine Kamerabetriebsanwendung, eine erweiterte Realitätsanwendung, sein ist jedoch nicht hierauf beschränkt.
2 zeigt ein Blockdiagramm eines Bildsensors 100A der eine Ausführungsform des Bildsensors 100 wie in 1 dargestellt ist. Bezugnehmend auf 2 kann der Bildsensor 100A ein Bildpunkt(Sensor)Array 110, eine Steuerlogik (oder eine Steuerschaltung) 120, einen Zeilentreiber 130, einen Bewegungssensorbildpunktaktivierungscontroller 140, und eine Bildpunktsignalverarbeitungsschaltung 150 enthalten.
Das Bildpunkt(Sensor)Array 110 enthält eine Vielzahl an Tiefensensorbildpunkten D, um Tiefeninformation eines Objektes zu erhalten und eine Vielzahl an Bewegungssensorbildpunkten M, um eine Bewegung eines Objekts zu erfassen. Gemäß einer Ausführungsform, wenn die Tiefensensorbildpunkte D des Bildpunktarrays 110 Time-Of-Flight(TOF)Sensorbildpunkte sind, die entsprechend eines TOF-Verfahrens arbeiten, kann der Bildsensor 100A außerdem eine Lichtquelle (nicht gezeigt) (z. B. eine Infrarot (IF) Lichtquelle) enthalten, die von der Steuerlogik 120 gesteuert wird, und einen IF-Durchgangsfilter (nicht gezeigt) zum Herausfiltern von Licht das nicht von dem Objekt reflektiert wird. Gemäß einer Ausführungsform kann jeder der Bewegungssensorbildpunkte unter Verwendung eines Dynamic-Vision-Sensor(DVS)-Bildpunkts implementiert sein. Die Ausführungsformen sind jedoch nicht hierauf beschränkt.
Die Steuerlogik 120 kann den gesamten Betrieb des Bildsensors 100A basierend auf dem Betriebsartauswahlsignal MSEL steuern. Die Steuerlogik 120 kann den Zeilentreiber 130, den Bewegungssensorbildpunktaktivierungscontroller 140, und die Bildpunktsignalverarbeitungsschaltung 150 steuern.
Der Zeilentreiber 130 kann die in Einheiten von Zeilen angeordneten Tiefensensorbildpunkte D unter der Steuerung der Steuerlogik 120 aktivieren. Der Bewegungssensorbildpunktaktivierungscontroller 140 kann die Bewegungssensorbildpunkte M unter der Steuerung der Steuerlogik 120 aktivieren. Gemäß einer Ausführungsform steuert der Bewegungssensorbildpunktaktivierungscontroller 140 die Leistung die an die Bewegungssensorbildpunkte M angelegt wird unter der Steuerung der Steuerlogik 120.
Gemäß einer Ausführungsform steuert die Steuerlogik 120 den Zeilentreiber 130 und den Bewegungssensorbildpunktaktivierungscontroller 140 basierend auf dem Betriebsartauswahlsignal MSEL, so dass entweder eine Tiefensensorbildpunktgruppe mit Tiefensensorbildpunkten D oder eine Bewegungssensorbildpunktgruppe mit Bewegungssensorbildpunkten M aktiviert wird. In diesem Fall kann die Bildpunktsignalverarbeitungseinheit 150 ein von dem Bildpunktarray 110 ausgegebenes Bildpunktsignal (z. B. Bildpunktsignale, die von den Bewegungssensorbildpunkten M oder Bildpunktsignalen, die von den Tiefensensorbildpunkten D ausgegeben wurden) verarbeiten und Bilddaten IDATA entsprechend dem Verarbeitungsergebnis ausgeben.
Gemäß einer weiteren Ausführungsform kann die Steuerlogik 120 auch nur Steuern ob die Tiefensensorbildpunktgruppe mit Tiefensensorbildpunkten D gemäß dem Betriebsartauswahlsignal MSEL aktiviert werden soll, wenn die Bewegungssensorbildpunktgruppe mit den Bewegungssensorbildpunkten M aktiviert ist. In dem Fall kann die Bildpunktsignalverarbeitungseinheit 150 nur ein Bildpunktsignalausgang wie er von jedem Bewegungssensorbildpunkt M ausgegeben wird und einen Bildpunktsignalausgang von jedem der Tiefensensorbildpunkte D auswählen und die Bilddaten IDATA basierend auf dem Ergebnis der Auswahl erzeugen.
Gemäß einer Ausführungsform, wenn jeder der Bewegungssensorbildpunkte M unter Verwendung eines DVS-Bildpunkts implementiert ist, kann die Bildpunktsignalverarbeitungseinheit 150 eine Adressereignisdarstellung (AER) (nicht gezeigt) enthalten. Die AER kann ein von jedem der Bewegungssensorbildpunkte M ausgegebenes Ereignissignal, wenn eine Änderung der Lichtmenge erfasst wird ausgeben, und ein Signal zum Zurücksetzen des Bewegungssensorbildpunktes der das Ereignissignal ausgibt an den Bewegungssensorbildpunkt übertragen. Der Betrieb und die Anordnung der AER wird im Detail unter Bezugnahme auf die 3, 16, 17 und 19 beschrieben.
3 zeigt ein Blockdiagramm eines Bildsensors 100A-1 mit einer Bildpunktsignalverarbeitungsschaltung 150A, die eine Ausführungsform einer Bildpunktsignalverarbeitungsschaltung 150 aus 2 ist. In 3 ist jeder der Bewegungssensorbildpunkte M unter Verwendung eines DVS-Bildpunkts implementiert.
Bezugnehmend auf die 2 und 3 kann die Bildpunktsignalverarbeitungsschaltung 150A eine Spalten AER 154, eine Ausleseschaltung 156, eine Zeilen AER 158 und eine Ausgangsauswahlschaltung 160 enthalten.
Jeder der Bewegungssensorbildpunkte M in dem Bildpunktarray 110 kann ein Ereignissignal bei Änderung der Lichtmenge ausgeben. In diesem Fall kann die Spalten AER 154 das Eventsignal empfangen und einen Spaltenadresswert des Bewegungssensorbildpunktes, der das Ereignissignal ausgegeben hat basierend auf den empfangenen Ereignissignal ausgeben. Das Ereignissignal wird im Detail in Bezugnahme auf 11 beschrieben.
Die Ausleseschaltung 156 kann ein Bildpunktsignal das von jedem der Tiefensensorbildpunkte D in dem Bildpunktarray 110 ausgegeben wird empfangen und das empfangene Bildpunktsignal verarbeiten. Gemäß einer Ausführungsform kann die Ausleseschaltung 156 einen Spaltendekoder, einen Spaltentreiber, einen Ausgangspuffer, etc. die nicht gezeigt sind, enthalten. Die Spalten AER 154 und die Ausleseschaltung 156 können unter Verwendung separater Schaltkreise implementiert sein.
Die Zeilen AER 158 kann das Ereignissignal das von den Bewegungssensorbildpunkten M ausgegeben wird empfangen und einen Zeilenadresswert des Bewegungssensorbildpunkts der das Ereignissignal ausgegeben hat basierend auf dem empfangenen Ereignissignal ausgeben. Der Zeilenadresswert kann an die Ausgangsauswahlschaltung 160 übermittelt werden. Die Zeilen AER 158 kann auf dem Zeilentreiber 130 der gegenüberliegenden Seite ausgewählt sein.
Die Ausgangsauswahlschaltung 160 kann wenigstens eines der Ausgangssignal der Spalten AER 154 auswählen und ein Signal der Zeilen AER 158 ausgeben, und ein Ausgangssignal der Ausleseschaltung 156 unter der Steuerung der Steuerlogik 120 auswählen und die Bilddaten IDATA basierend auf dem Ergebnis der Auswahl ausgeben.
Gemäß einer Ausführungsform kann die Ausgangsauswahlschaltung 160 entweder das Ausgangssignal der Spalten AER 154 oder das Ausgangssignal der Zeilen AER 158 unter Steuerung der Steuerlogik 120 auswählen und die Bilddaten IDATA basierend auf dem Ergebnis der Auswahl ausgeben. Gemäß einer weiteren Ausführungsform kann die Ausgangsauswahlschaltung 160 das Ausgangssignal der Ausleseschaltung 156 unter der Steuerung der Steuerlogik 120 auswählen und Bilddaten IDATA basierend auf dem Auswahlergebnis ausgeben.
Die Ausgangsauswahlschaltung 160 kann unter Verwendung einer Schaltung zum Auswählen eines aus einer Vielzahl an Eingangssignalen beispielsweise als Multiplexer implementiert sein. Die Implementierung der Ausgangsauswahlschaltung 160 ist jedoch nicht hierauf beschränkt. Gemäß einer Ausführungsform, wenn wenigstens ein Signal von entweder der Tiefensensorbildpunktgruppe mit den Tiefensensorbildpunkten D oder der Bewegungssensorbildpunktgruppe mit den Bewegungssensorbildpunkten M ausgegeben wird, kann die Ausgangsauswahlschaltung 160 das wenigstens eine Signal umgehen.
4 bis 8 zeigen Bildpunktarrays 110-1 bis 110-5 (zusammen als Bildpunktarray 110 bezeichnet) die Ausführungsformen des Bildpunktarrays 110 aus 2 darstellen. Obwohl das Bildpunktarray 110 in den 4 bis 7 zur Vereinfachung als 5×5 Matrix dargestellt ist, ist das Bildpunktarray 110 nicht darauf beschränkt.
Bezugnehmend auf die 2 und 4 bis 8 umfasst das Bildpunktarray 110 eine Tiefensensorbildpunktgruppe mit einer Vielzahl an Tiefensensorbildpunkten D, und eine Bewegungssensorbildpunktgruppe mit einer Vielzahl an Bewegungssensorbildpunkten M. Gemäß einer Ausführungsform kann eine oder beide der Tiefensensorbildpunktgruppe und der Bewegungssensorbildpunktgruppe gemäß dem Betriebsartauswahlsignal MSEL aktiviert werden.
Jeder der Tiefensensorbildpunkte D in dem Bildpunktarray 110-1 aus 4 kann zwischen zwei benachbarten Bildpunktsensorbildpunkten M angeordnet sein. Gemäß einer Ausführungsform kann eine Vielzahl an Bewegungssensorbildpunkten M zwischen zwei benachbarten Tiefensensorbildpunkten D angeordnet sein, die Ausührungsformen sind jedoch nicht hierauf beschränkt. Gemäß anderer Ausführungsformen, können die Tiefensensorbildpunkte D und die Bewegungssensorbildpunkte M auch in unregelmäßigen Intervallen angeordnet sein.
Das Bildpunktarray 110-2 aus 5 kann eine in der Mitte ausgebildete Tiefensensorbildpunktgruppe enthalten, und Bewegungssensorbildpunkte M die an Rändern der Tiefensensorbildpunktgruppe ausgebildet sind. Mit anderen Worten kann eine Bewegungssensorbildpunktgruppe mit Bewegungssensorbildpunkten M an Rändern der Tiefensensorbildpunktgruppe mit Tiefensensorbildpunkten D angeordnet sein. Gemäß einer Ausführungsform können die Tiefensensorbildpunkte D auch an Rändern der Bewegungssensorbildpunkte M angeordnet sein.
Das Bildpunktarray 110-3 aus 6 umfasst eine Vielzahl an Tiefensensorbildpunkten D und eine Vielzahl an Bewegungssensorbildpunkten M. In diesem Fall können sich die Bewegungssensorbildpunkte M mit den Tiefensensorbildpunkten D in einer Zeilenrichtung abwechseln.
Die Bewegungssensorbildpunkte M können in regelmäßigen Intervallen oder in unregelmäßigen Intervallen in Zeilenrichtung angeordnet sein. Mit anderen Worten kann wenigstens ein Tiefensensorbildpunkt D zwischen zwei benachbarten Bewegungssensorbildpunkten M in Zeilenrichtung angeordnet sein. Alternativ dazu kann auch wenigstens ein Bewegungssensorbil dpunkt M zwischen zwei benachbarten Tiefensensorbildpunkten D in Zeilenrichtung angeordnet sein.
Das Bildpunktarray 110-4 aus 7 umfasst eine Vielzahl an Tiefensensorbildpunkten D und eine Vielzahl an Bewegungssensorbildpunkten M. In diesem Fall können sich die Bewegungssensorbildpunkte M mit den Tiefensensorbildpunkten D in Spaltenrichtung abwechseln.
Die Bewegungssensorbildpunkte M können in regelmäßigen Intervallen oder in unregelmäßigen Intervallen in Spaltenrichtung angeordnet sein. Mit anderen Worten kann wenigstens einer der Tiefensensorbildpunkte D zwischen zwei benachbarten Bewegungssensorbildpunkten M in Spaltenrichtung angeordnet sein. Alternativ dazu kann wenigstens ein Bewegungssensorbildpunkt M zwischen zwei benachbarten Tiefensensorbildpunkten D in Spalten angeordnet sein.
Wie in 8 dargestellt umfasst das Bildpunktarray 110-5 einen Bewegungssensorbildpunkt M und eine Vielzahl an Tiefensensorbildpunkten D. Der Bewegungssensorbildpunkt M hat eine andere Größe als die Tiefensensorbildpunkte D. Gemäß einer Ausführungsform hat der Bewegungssensorbildpunkt M in jedem der Bildpunktarrays 110-1 bis 110-4 der 4 bis 7 eine von den Tiefensensorbildpunkten D verschiedene Größe.
9 zeigt ein Schaltungsdiagramm einer Ausführungsform von Linien eines Bildpunktarrays 112 wie in 4 dargestellt. 9 zeigt das Bildpunktarray 112 das ein Teil des Bildpunktarrays 110-1 in 4 ist, eine Spalten AER 154, und eine Ausleseschaltung 156. Die Spalten AER 154 und die Ausleseschaltung 156 können als verschiedene Schaltkreise ausgebildet sein.
Das Bildpunktarray 112 umfasst einen Tiefensensorbildpunkt D und Bewegungssensorbildpunkte 112-1 und 112-2. Die Struktur und die Betriebsweise der Bewegungssensorbildpunkte 112-1 und 112-2 sind gleich. Die Verdrahtung der Bewegungssensorbildpunkte 112-1 entspricht der des Bewegungssensorbildpunkts 112-2.
Die Verdrahtung in Zeilenrichtung kann eine Rücksetzsignalleitung RS, eine Übertragungssteuersignalleitung TG, eine Auswahlsignalleitung SEL, eine Zeilen AER Ereignissignalleitung REQY, und eine Zeilen AER Rücksetzsignalleitung ACKY enthalten. Jede der Rücksetzsignalleitungen RS, der Übertragungssteuersignalleitung TG, und der Auswahlsignalleitung SEL können mit dem Zeilentreiber 130 und dem Tiefensensorbildpunkt D verbunden sein.
Der Zeilentreiber 130 kann ein Rücksetzsignal, ein Übertragungssteuersignal, und ein Auswahlsignal an den Tiefensensorbildpunkt D über eine Rücksetzsignalleitung RS, die Übertragungssteuersignalleitung TG, und die Auswahlsignalleitung SEL entsprechend übertragen.
Die Reihen AER Ereignissignalleitung REQY kann mit dem Zeilen AER 158 und dem Bewegungssensorbildpunkt 112-1 verbunden sein. Der Bewegungssensorbildpunkt 112-1 kann ein AN/AUS-Ereignissignal an die AER 158 über die Zeilen AER Ereignissignalleitung REQY übertragen. Die Zeilen AER Rücksetzsignalleitung ACKY kann mit der Zeilen AER 158 und dem Bewegungssensorbildpunkt 112-1 verbunden sein. Die Zeilen AER 158 kann ein erstes DVS-Rücksetzsignal an den Bewegungssensorbildpunkt 112-1 über die Zeilen AER Ereignissignalleitung REQY übertragen.
Die Verdrahtungen in einer Spaltenrichtung können eine Bildpunktsignalleitung PIXEL enthalten, eine Spalten AER EIN-Ereignissignalleitung REQX_ON, eine Spalten AER AUS-Ereignissignalleitung REQX_OFF, und eine Spalten AER Rücksetzsignalleitung ACKX.
Die Bildpunktsignalleitung PIXEL kann mit dem Zeilentreiber 156 und dem Tiefensensorbildpunkt D verbunden sein. Der Tiefensensorbildpunkt D kann ein Bildpunktsignal an die Ausleseschaltung 156 über die Bildpunktsignalleitung PIXEL übertragen.
Die Spalten AER AN-Ereignissignalleitung REQX_ON kann mit dem Spalten AER 154 und dem Bewegungssensorbildpunkt 112-2 verbunden sein. Der Bewegungssensorbildpunkt 112-2 kann ein AN-Ereignissignal an den Spalten AER 154 über die Spalten AER AN-Ereignissignalleitung REQX_ON übertragen. Die Spalten AER AUS-Ereignissignalleitung REQX_OFF kann mit der Spalten AER 154 und dem Bewegungssensorbildpunkt 112-2 verbunden sein. Der Bewegungssensorbildpunkt 112-2 kann ein AUS-Ereignissignal an die Spalten AER 154 über die Spalten AER AUS-Ereignissignalleitung REQX_OFF übertragen.
Die Spalten AER Rücksetzsignalleitung ACKX kann mit der Spalten AER 154 und dem Bewegungssensorbildpunkt 112-2 verbunden sein. Die Spalten AER 154 kann ein zweites DVS-Rücksetzsignal an den Bewegungssensorbildpunkt 112-2 über die Spalten AER Rücksetzsignalleitung ACKX übertragen.
Die über die in 9 dargestellten Signalleitungen entsprechenden übertragenen Signale werden im Detail später unter Bezugnahme auf die 11 bis 12B beschrieben.
10 zeigt ein Schaltungsdiagramm einer anderen Ausführungsform von Verdrahtungen von Bildpunktarrays 112 wie in 4 dargestellt. Bezugnehmend auf 10 werden die Bildpunktsignalleitung PIXEL und die Spalten AER Rücksetzsignalleitung ACKX aus 9 durch eine einzelne gemeinsame Signalleitung ACKX und PIXEL ersetzt. Mit anderen Worten ist die gemeinsame Signalleitung ACKX und PIXEL mit dem Tiefensensorbildpunkt D, dem Bewegungssensorbildpunkt 112-2 und einer Signalpfadauswahlschaltung 170 verbunden.
Die Signalpfadauswahlschaltung 170 kann die gemeinsame Signalleitung ACKX und PIXEL mit der Ausleseschaltung 156 oder der Spalten AER 154 unter der Steuerung der Steuerlogik 120 verbinden. Beispielsweise kann die Signalpfadauswahlschaltung 170 unter Verwendung eines Schalters oder eines Demultiplexers implementiert sein.
Gemäß einer Ausführungsform kann die Signalauswahlschaltung 170, wenn das Betriebsmodusauswahlsignal MSEL in einem ersten Niveau ist beispielsweise in einem niederen Niveau, die gemeinsame Signalleitung ACKX und PIXEL unter der Steuerung der Steuerlogik 120 mit der Spalten AER 154 verbinden. Demgemäß kann die gemeinsame Signalleitung ACKX und PIXEL als Spalten AER Rücksetzsignalleitung ACKX betrieben werden. Auf der anderen Seite falls das Betriebsmodusauswahlsignal MSEL in einem zweiten Niveau ist, beispielsweise einem hohen Niveau, kann die Signalpfadauswahlschaltung 170 die gemeinsame Signalleitung ACKX und PIXEL unter der Steuerung der Steuerlogik 120 mit der Ausleseschaltung 156 verbinden. Demgemäß kann die gemeinsame Signalleitung ACKX und PIXEL als Bildpunktsignalleitung PIXEL betrieben werden.
11 zeigt ein Schaltungsdiagramm einer Ausführungsform eines Bewegungssensorbildpunkts 112-1 und 112-2 wie in 9 oder 10 dargestellt. Bezugnehmend auf die 9 bis 11 kann jeder der Bewegungssensorbildpunkte 112-1 und 112-2 aus 9 oder 10 ein DVS-Bildpunkt 117 sein. Mit anderen Worten können die Strukturen und die Betriebsarten der Bewegungssensorbildpunkte 112-1 und 112-2 und dem DVS-Bildpunkt 117 im Wesentlichen gleich sein.
Der DVS-Bildpunkt 117 kann eine Fotodiode (PD) 117-1, einen Strom/-Spannungs(I/V)-Wandler 117-2, eine Verstärkerschaltung 117-3, eine Komparatorschaltung 117-4, und eine Digitallogik 117-5 enthalten.
Die PD 117-1 ist ein Beispiel einer fotoelektrischen Wandlervorrichtung und kann unter Verwendung eines Fototransistors, eines Foto-Gates, einer gepinnten Fotodiode (PPD) oder einer Kombination von zwei oder mehr dieser Vorrichtungen sein. Die PD 117-1 kann einen Fotostrom I entsprechend der einfallenden Lichtintensität erzeugen.
Der I/V-Wandler 117-2 kann einen Wandlertransistor Cx und einen Wandler INV enthalten. Der Wandlertransistor Cx kann seine Leistung von dem Bewegungssensorbildpunktaktivierungscontroller 140 empfangen. Beispielsweise falls eine Bewegungssensorbildpunktgruppe ausgeschaltet oder deaktiviert ist, kann der Bewegungssensorbildpunktaktivierungscontroller 140 den Wandlertransistor Cx durch Anlegen einer Spannung mit einem vorher festgelegten Niveau oder kleiner deaktivieren. Der Wandler INV kann eine erste Spannung Vin durch Invertieren einer Spannung eines ersten Anschlusses der PD 117-1 ausgeben.
Der I/V-Wandler 117-2 kann einen fotoelektrischen Strom I, der durch die PD 117-1 fließt erfassen und den Fotostrom I in die erste Spannung Vin entsprechend dem Ergebnis der Erfassung umwandeln.
Die Verstärkungsschaltung 117-3 kann einen ersten Kondensator C1, einen zweiten Kondensator C2, einen Verstärker AMP, und einen Rücksetzschalter SW umfassen. Die Verstärkerschaltung 117-3 kann eine zweite Ausgangsspannung Vout in Verbindung mit der Änderung der ersten Spannung Vin über die Zeit basierend auf der ersten Spannung Vin ausgeben.
Der Rücksetzschalter SW kann die zweite Spannung Vout als eine Rücksetzspannung unter der Steuerung der Digitallogik 117-5 zurücksetzen.
Die Vergleichsschaltung 117-4 kann einen ersten Komparator COMP1 und einen zweiten Komparator COMP2 enthalten. Der erste Komparator COMP1 kann die zweite Spannung Vout mit einer AN-Schwellspannung vergleichen und ein AN-Ereignissignal gemäß dem Ergebnis des Vergleichs erzeugen. Der zweite Komparator COMP2 kann die zweite Spannung Vout mit einer AUS-Schwellwertspannung vergleichen und ein AUS-Ereignissignal gemäß einem Ergebnis des Vergleichs erzeugen.
Die Komparatorschaltung 117-4 kann das AN-Ereignissignal oder das AUS-Ereignissignal erzeugen, wenn die Änderungsgeschwindigkeit der von dem DVS-Bildpunkt 117 erfassten Schattierung einem vorher festgelegten Niveau oder Größe entspricht. Beispielsweise kann das AN-Ereignissignal auf einem hohen Niveau sein, wenn die von dem DVS-Bildpunkt 117 erfasste Schattierung sich schnell aufhält. Beispielsweise kann das AUS-Ereignissignal in einem hohen Niveau sein, falls die von dem DVS-Bildpunkt 117 erfasste Schattierung sich schnell verdunkelt. Das AN-Ereignissignal und/oder das AUS-Ereignissignal kann an die Digitallogik 117-5 übertragen werden.
Die Digitallogik 117-5 kann ein Ereignissignal gemäß dem AN-Ereignissignal und dem AUS-Ereignissignal ausgegeben von der Komparatorschaltung 117-4 erzeugen. Beispielsweise kann die Digitallogik 117-5 unter Verwendung einer OR-Gate-Schaltung, realisiert sein und die OR-Gate-Schaltung kann eine OR-Operation auf das ON-Ereignissignal und das OFF-Ereignissignal durchführen. Wenn das ON-Ereignissignal oder das OFF-Ereignissignal ein hohes Niveau hat, erzeugt die OR-Gate-Schaltung ein Ereignissignal. Das Ereignissignal kann über die Zeilen AER Ereignissignalleitung REQY auf den Zeilen AER 158 übertragen werden.
Gemäß einer Ausführungsform kann die OR-Gate-Schaltung außerhalb der DVS-Bildpunkte 112-1, 112-2, oder 117, oder innerhalb des Zeilen AER 158 implementiert sein.
Die Digitallogik 117-5 kann das empfangene ON-Ereignissignal an den Spalten AER 154 über die Spalten AER AN-Ereignissignalleitung REQX_ON übertragen. Die Digitallogik 117-5 kann das empfangene AUS-Ereignissignal an den Spalten AER 154 über die Spalten AER AUS-Ereignissignalleitung REQX_OFF übertragen.
Die Digitallogik 117-5 kann ein Rücksetzschaltungssignal RS_SW basierend auf dem EIN-Ereignissignal und dem AUS-Ereignissignal ausgegeben von der Komparatorschaltung 117-4 erzeugen. Beispielsweise falls die Digitallogik 117-5 unter Verwendung einer OR-Gate-Schaltung implementiert ist, kann die OR-Gate-Schaltung das Rücksetzschaltungssignal RS_SW erzeugen falls entweder das AN-Ereignissignal oder das AUS-Ereignissignal auf hohem Niveau sind. Der Rücksetzschalter SW kann die zweite Spannung Vout gemäß dem Rücksetzschaltungssignal RS_SW zurücksetzen. Gemäß einer Ausführungsform kann die OR-Gate-Schaltung außerhalb der DVS-Bildpunkte 112-1, 112-2 oder 117 oder innerhalb der Zeilen-AER 158 ausgeführt sein.
Gemäß einer anderen Ausführungsform kann die OR-Gate-Schaltung zum Erzeugen des Ereignissignals und die OR-Gate-Schaltung zum Erzeugen des Rücksetzschaltsignals RS_SW unter Verwendung einer identischen OR-Gate-Schaltung implementiert sein.
Die Digitallogik 117-5 kann das erste DVS-Reset-Signal und das zweite DVS-Rücksetzsignal von der Reihen AER 158 und der Spalten AER 154 entsprechend über die Reihen AER Rücksetzsignalleitung ACKY und die Spalten AER Rücksetzsignalleitung ACKX entsprechend empfangen. Die Digitallogik 117-5 kann gemäß dem ersten DVS-Rücksetzsignal empfangen von der Zeilen AER 158 und dem zweiten DVS-Rücksetzsignal empfangen von der Spalten AER 154 das Rücksetzschaltsignal RS_SW erzeugen.
Beispielsweise kann die Digitallogik 117-5 unter Verwendung einer AND-Gate-Schaltung implementiert sein. Die AND-Gate-Schaltung kann das Rücksetzschaltungssignal RS_SW auf einem hohen Niveau erzeugen, wenn beide das von dem Zeilen AER 158 empfangene erste DVS-Rücksetzsignal und das von dem Spalten AER 154 empfangene zweite DVS-Rücksetzsignal auf hohem Niveau sind. Gemäß einer Ausführungsform kann die AND-Gate-Schaltung außerhalb der DVS-Bildpunkte 112-1, 112-2 oder 117 ausgeführt sein.
Die Digitallogik 117-5 kann unter Verwendung von Hardware, die geeignet ist, um eine Boolesche Funktion durchzuführen, implementiert sein.
12A zeigt ein Schaltungsdiagramm eines Tiefensensorbildpunktes D, der eine Ausführungsform eines Tiefensensorbildpunkts D bildet wie in 9 oder 10 dargestellt. Bezugnehmend auf die 9, 10 und 12A kann beispielsweise ein TOF-Sensorbildpunkt unter Verwendung eines TOF-Verfahrens, beispielsweise der Tiefensensorbildpunktsensor D unter Verwendung einer 1-Tap-Struktur mit vier Transistoren implementiert sein.
Der Tiefensensorbildpunktsensor D kann eine Fotodiode PD und vier Transistoren, nämlich einen Übertragungstransistor TX, einen Rücksetztransistor RX, einen Treibertransistor DX und einen Auswahltransistor SX enthalten. Die Fotodiode PD erzeugt Fotoladungen entsprechend dem einfallenden Licht. Die Fotodiode PD kann unter Verwendung eines Fototransistors, eines Foto-Gates, einer PPD, etc. implementiert sein.
Der Übertragungstransistor TX überträgt die von der Fotodiode PD erzeugten Fotoladungen an ein floatendes Diffusionsgebiet FD in Antwort auf ein Übertragungssteuersignal wie es über eine Übertragungssteuersignalleitung TG empfangen wird. Der Rücksetztransistor RX kann das floatende Diffusionsgebiet FD in Antwort auf ein Rücksetzsignal wie es von einer Rücksetzsignalleitung RS empfangen wird zurücksetzen. Der Treibertransistor DX kann die Funktion eines Source-Follower-Pufferverstärkers ausführen, der in Antwort auf eine Spannung des floatenden Diffusionsgebiets FD arbeitet. Der Auswahltransistor SX überträgt ein Bildpunktsignal gemäß der von der Fotodiode PD erzeugten Fotoladungen auf die Bildpunktsignalleitung PIXEL in Antwort auf ein Auswahlsignal wie es von der Auswahlsignalleitung SEL empfangen wird.
Obwohl der Tiefensensorbildpunkt D umfassend die Fotodiode PD und die vier Transistoren TX, RX, DX und SX in 12A dargestellt sind, kann der Tiefensensorbildpunkt D auch eine PD und drei Transistoren oder eine PD und fünf Transistoren enthalten.
12B zeigt ein Schaltungsdiagramm eines Tiefensensorbildpunkts D' gemäß einer weiteren Ausführungsform des Tiefensensorbildpunkts D aus 9 oder 10. Bezugnehmend auf die 2, 9, 10, 12A und 12B verwendet der Tiefensensorbildpunkt D' ein TOF-Verfahren und kann als 2-Tap-Struktur mit einem ersten Tiefensensorbildpunkt D1 und einem zweiten Tiefensensorbildpunkt D2 realisiert sein.
Der erste Tiefensensorbildpunkt D1 und der zweite Tiefensensorbildpunkt D2 haben im Wesentlichen die gleiche Struktur. Die Struktur und die Arbeitsweise des Tiefensensorbildpunkts D aus 12A entsprechen im Wesentlichen der eines jeden der Tiefensensorbildpunkt D1 und D2 mit Ausnahme der ersten und zweiten Foto-Gates PG1 und PG2.
Ein Unterschied zwischen den Phasen des ersten Gate-Signals Pa und eines zweiten Gate-Signals Pb kann 180° betragen. Das erste Foto-Gate PG1 wird von dem ersten Gate-Signal Pa gesteuert und das zweite Foto-Gate PG2 wird von dem zweiten Gate-Signal Pb gesteuert.
Bezugnehmend auf die 2 und 12B umfasst die Steuerlogik 120, wenn jeder Tiefensensorbildpunkt D in dem Bildpunktarray 110 unter Verwendung des Tiefensensorbildpunkts D' mit einer 2-Tap-Struktur implementiert ist, einen Schaltkreis zum Anlegen eines ersten Gate-Signals Pa und eines zweiten Gate-Signals Pb an jeden Tiefensensorbildpunkt D in dem Bildpunktarray 110.
Bezugnehmend auf die 2, 9, 10 und 12B, falls jeder Tiefensensorbildpunkt D in dem Bildpunktarray 110 unter Verwendung des Tiefensensorbildpunkts D' mit einer 2-Tap-Struktur implementiert ist, kann das Bildpunktarray 100 die Auswahlsignalleitung SEL, zwei Bildpunktsignalleitung PIXEL1 und PIXEL2, zwei Übertragungssteuersignalleitungen TG1 und TG2, Signalleitungen zum Übertragen der ersten und zweiten Gate-Signale Pa und Pb, und die Rücksetzsignalleitung RS enthalten. Die Ausführungsformen sind jedoch nicht hierauf beschränkt. Beispielsweise können die Bildpunktsignalleitungen PIXEL aus 9 durch die Bildpunktsignalleitungen PIXEL1 und PIXEL2 ersetzt werden. In diesem Fall können die Bildpunktsignalleitungen PIXEL1 und PIXEL2 und die Spalten AER Rücksetzsignalleitung ACKX geteilt werden.
13 zeigt ein Blockdiagramm eines Bildsensors 100E gemäß einer weiteren Ausführungsform eines Bildsensors 100 aus 1. Bezugnehmend auf 1 und 13, umfasst der Bildsensor 110B ein Tiefensensorbildpunktarray 110A und ein Bewegungssensorbildpunktarray 110B. Das Tiefensensorbildpunktarray 110A umfasst nur Tiefensensorbildpunkte D und das Bewegungssensorbildpunktarray 110E umfasst nur Bewegungssensorbildpunkte M.
Der Zeilentreiber 130 kann die Tiefensensorbildpunkte D in dem Tiefensensorbildpunktarray A aktivieren unter der Steuerung der Steuerlogik 120. Der Bewegungssensorbildpunktaktivierungscontroller 150 kann Steuern, ob jeder der Bewegungssensorbildpunkte M in dem Bewegungssensorbildpunktarray 110B unter der Steuerung der Steuerlogik 120 aktiviert werden soll.
14 zeigt ein Blockdiagramm eines Bildsensors 1000 gemäß einer weiteren Ausführungsform des Bildsensors 100 aus 1. 15 zeigt ein Blockdiagramm eines Bildsensors 100D gemäß einer weiteren Ausführungsform des Bildsensors 100 aus 1. Bezugnehmend auf die 1, 14 und 15 umfasst der Bildsensor 1000 oder 100D nicht den Bewegungssensorbildpunktaktivierungscontroller 150.
Die Bildpunktsignalverarbeitungsschaltung 150 kann die Ausgabe von jedem der Vielzahl der Bewegungssensorbildpunkte M unter der Steuerung der Steuerlogik 120 steuern. Mit anderen Worten falls die Bewegungssensorbildpunkte M aktiviert sind, kann die Bildpunktsignalverarbeitungsschaltung 150 den Ausgangs von jedem der Tiefensensorbildpunkte D und der Bewegungssensorbildpunkte M steuern.
Gemäß einer Ausführungsform, wenn jeder der Bewegungssensorbildpunkte M unter Verwendung eines DVS-Bildpunkts implementiert ist, kann jede der Bewegungssensorbildpunkte M kein Ereignissignal gemäß eines von der Bildpunktsignalsteuerschaltung 150 empfangenen Signals ausgeben.
16 zeigt ein Blockdiagramm eines Bildsensors 100A-2 mit einer Bildpunktsignalverarbeitungsschaltung 150B, gemäß einer weiteren Ausführungsform der Bildpunktsignalverarbeitungsschaltung 150 aus 2. 17 zeigt ein Blockdiagramm eines Bildsensors 100A-3 mit einer Bildpunktsignalverarbeitungsschaltung 150C, gemäß einer weiteren Ausführungsform der Bildpunktsignalverarbeitungsschaltung 150 aus 2. Bezugnehmend auf die 2, 16 und 17 umfasst jeder der Bildsensoren 100A-2 oder 100A-3 Bewegungssensorbildpunkte die unter Verwendung von DVS-Bildpunkten implementiert sind.
Bezugnehmend auf 16 können die Spalten AER 154 und die Ausleseschaltung 156 in der Bildpunktsignalverarbeitungsschaltung 150B unter Verwendung separater Schaltungen realisiert sein. Die Zeilen AER 158 in der Bildpunktsignalverarbeitungsschaltung 150B kann auf der gleichen Seite wie der Zeilentreiber 130 ausgebildet sein.
Eine Zeilen AER und Zeilentreiberblock 132 kann einen Zeilentreiber 130 und die Zeilen AER 158 enthalten. Das heißt, dass die Zeilen AER und Zeilentreiberblock 132 logisch und funktionell in die Zeilen AER 158 und den Zeilentreiber 130 aufgeteilt ist. Die Ausführungsformen sind jedoch nicht hierauf beschränkt.
Bezugnehmend auf 17, umfasst die Bildpunktsignalverarbeitungsschaltung 150C eine Spalten AER und Ausleseschaltungsblock 152 und die Zeilen AER 158.
Die Spalten AER und Ausleseschaltungsblock 152 kann den Spaltentreiber 154 und die Ausleseschaltung 156 enthalten. Das heißt, dass die Spalten AER und Ausleseschaltungsblock 152 funktionell und logisch in der Spalten AER 154 und die Ausleseschaltung 156 aufgeteilt ist. Die Ausführungsformen sind jedoch nicht hierauf beschränkt.
Gemäß einer Ausführungsform kann die Spalten AER und Ausleseschaltungsblock 152 ein Ereignissignal ausgegeben von jedem der Bewegungssensorbildpunkte M verarbeiten und ebenso ein Bildpunktsignal ausgegeben von jedem der Tiefensensorbildpunkte D verarbeiten gemäß einem identischen Verfahren oder Logik. In diesem Fall kann ein Block zum Durchführen einer Analog-Digitalwandlung (ADC) auf dem Bildpunktsignalausgang von jedem der Tiefensensorbildpunkte D innerhalb oder außerhalb des Spalten AER und Ausleseschaltungsblocks 152 installiert sein.
Die Spalten AER 158 kann auf der dem Zeilentreiber 130 gegenüberliegenden Seite implementiert sein. Ein Spaltenadresswert eines Bewegungssensorbildpunkts der ein Ereignissignal entsprechend einer Änderung der Lichtmenge ausgibt kann von dem Zeilen AER 158 zu der Spalten AER und Ausleseschaltungsblock 152 übermittelt werden.
18 zeigt ein Blockdiagramm einer Bildpunktsignalverarbeitungsschaltung 150C' welche eine Modifikation der Bildpunktsignalverarbeitungsschaltung 150C aus 17 ist. Bezugnehmend aus 17 und 18 umfasst die Bildpunktsignalverarbeitungsschaltung 150C' eine Spalten AER und Analog-Front-End(AFE)-Schaltungsblock 152', die Zeilen AER 158 und eine Ausgangsauswahlschaltung 160', und einen Analog-Digitalwandler(ADC)-Block 172.
Die Spalten AER und AFE-Schaltungsblock 152' kann die Spalten AER 154 und einen AFE-Schaltkreis 170 enthalten. Der AFE-Schaltkreis 170 kann einen Schaltkreis mit Komponenten umfassen welche Aufgaben des vorher beschriebenen ADCs der Komponenten in der Ausgangsschaltung 156 durchführen.
Die Spalten AER und AFE-Schaltungsblock 152' impliziert, dass er funktionell und logisch in die Spalten AER 154 und die Ausleseschaltung 170 unterteilt ist. Die Ausführungsformen sind jedoch nicht hierauf beschränkt. Gemäß einer Ausführungsform verarbeitet die Spalten AER und AFE-Schaltungsblock 152' ein Ereignissignalausgang von jedem Bewegungssensorbildpunkt M und ein Bildpunktsignalausgang von jedem Tiefensensorbildpunkt D gemäß einem identischen Verfahren oder Logik.
Die AER und AFE-Schaltungsblock 152' kann einen Ereignissignalausgang von jedem Bewegungssensorbildpunkt M und Bildpunktsignalausgang von jedem Tiefensensorbildpunkt D verarbeiten. Die Spalten AER und AFE-Schaltungsblock 152' kann ein Ergebnis der Verarbeitung das ADC erfordert (z. B. ein Ergebnis der Verarbeitung des Bildpunktsignalausgangs von jedem der Tiefensensorbildpunkte D) an den ADC-Block 172 übertragen, und kann das Ergebnis der Verarbeitung das keine ADC (z. B. ein Ergebnis der Verarbeitung des Ereignissignalausgangs von jedem Bewegungssensorbildpunkt M) erfordert an die Ausgangsauswahlschaltung 160' übertragen.
Der ADC-Block 172 kann ADC auf dem von den Spalten AER und AFE-Schaltungsblock 152' erhaltenen Ergebnis durchführen (z. B. das Ergebnis des Verarbeitens des Bildpunktsignalausgangs von jedem Tiefensensorbildpunkt D) und ein digitales Signal entsprechend dem Ergebnis der ADC zu der Ausgangsauswahlschaltung 160' übertragen. Gemäß einer Ausführungsform kann der ADC-Block 172 eine korrelierte Doppelabtastschaltung (CDS), einen Rampensignalgenerator, einen Komparator, und einen Zähler, die nicht gezeigt sind, enthalten.
Die Ausgangsauswahlschaltung 160' kann entweder ein Signal wie es von der Spalten AER und AFE-Schaltungsblock 152' empfangen wurde auswählen und verarbeiten oder das digitale Signal wie es von dem ADC-Block 172 unter der Steuerung der Steuerlogik 120 empfangen wurde und ein Ergebnis des Verarbeitens der Bilddaten IDATA ausgeben.
19 zeigt ein Blockdiagramm eines Bildsensors 100A-4 mit einer Bildpunktsignalverarbeitungseinheit 150D, die eine andere Ausführungsform einer Bildpunktsignalverarbeitungsschaltung 150 aus 2 darstellt. Die Reihen AER 158, die in der Bildpunktsignalverarbeitungsschaltung 150D angeordnet ist, kann auf der gleichen Seite wie der Reihentreiber 130 angeordnet sein.
Die Reihen AER und Reihentreiberblock 132 kann den Reihentreiber 130 und die Reihen AER 158 enthalten. Die Reihen AER und Reihentreiberblock 132 impliziert, dass er in der Reihen AER 158 und den Reihentreiber 130 funktionell und logisch unterteilt sein kann. Die Ausführungsformen sind jedoch nicht hierauf begrenzt.
20 bis 23 zeigen Blockdiagramme eines Bildsensors 1000-1 bis 1000-4 mit dem Bildpunktsignalverarbeitungsschaltungen 150A bis 150D entsprechend, welche Ausführungsformen der Bildpunktsignalverarbeitungsschaltungen 150 aus 14 darstellen. Bezugnehmend auf 14, und 20 bis 23, umfasst jeder der Bildsensoren 1000-1 bis 1000-4 eine Vielzahl an Bewegungssensorbildpunkten M, die durch die Verwendung von DVS-Bildpunkten implementiert sind, enthält jedoch nicht den Bewegungssensorbildpunktaktivierungscontroller 140 aus 2.
Wenn die Bewegungssensorbildpunkte M, die in dem Bildpunktarray 100 von jedem der Bildpunktsensoren 1000-1 bis 1000-4 enthalten sind aktiviert sind, kann der Spalten AER 154 und der Zeilen AER 158 die Ausgaben der Bewegungssensorbildpunkte M steuern.
Bezugnehmend auf die 11 und 20 bis 23, kann die Spalten AER 154 und die Zeilen AER 158 die Spannung Vout eines Knotens von jedem der Bewegungssensorbildpunkte M, die als Kriterium zur Erzeugung eines jeden Ereignissignals verwendet wird, in einem Anfangszustand (z. B. einem Reset-Zustand) unter der Steuerung der Steuerlogik 120 aufrecht erhalten. Demgemäß erzeugt keiner der Bewegungssensorbildpunkte M ein Ereignissignal.
Wenn beispielsweise die Tiefensensorbildpunkte D entsprechend dem Betriebsmodesignal MSEL aktiviert werden, steuern die Spalten AER 154 und die Zeilen AER 158 alle Bewegungssensorbildpunkte M, um kein Ereignissignal unter der Steuerung der Steuerlogik 120 auszugeben.
24 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips gemäß einer Ausführungsform. Bezugnehmend auf die 1–3 und 13–24, kann die Steuerlogik 120 entweder einen Tiefensensorbildpunkt D oder einen Bewegungssensorbildpunkt M basierend auf dem Betriebsartauswahlsignal MSEL im Betrieb S10 aktivieren.
Gemäß einer weiteren Ausführungsform kann das Betriebsartauswahlsignal MSEL von der CPU 210 gemäß einem Ergebnis der Analyse einer von der Peripherieschaltung 220 erfassten Nutzereingabe erzeugen. Gemäß einer weiteren Ausführungsform kann die Steuerlogik 120 den Tiefensensorbildpunkt D unter Verwendung des Zeilentreibers 130 aktivieren, und die Steuerlogik 120 kann den Bewegungssensorbildpunkt M unter Verwendung des Bewegungssensorbildpunktaktivierungscontrollers 140 aktivieren.
Die Bildpunktsignalverarbeitungsschaltung 150 kann eine Bildpunktsignalausgabe von entweder dem aktivierten Tiefensensorbildpunkt D oder dem aktivierten Bewegungssensorbildpunkt M im Betrieb S12 verarbeiten.
25 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips gemäß einer weiteren Ausführungsform. Bezugnehmend auf die 1–3 und 13–25, kann die CPU 210, wenn Leistung an das Bildverarbeitungssystem 10 angelegt ist, das Betriebsartauswahlsignal MSEL auf einem Default-Niveau ausgeben. Beispielsweise kann die Steuerlogik 120 einen Bewegungssensorbildpunkt M als Default basierend auf dem Betriebsartauswahlsignal MSEL im Betrieb S20 aktivieren.
Der Bildpunktsignalausgang aktiviert durch den Bewegungssensorbildpunkt M kann von der Bildpunktsignalverarbeitungseinheit 150 verarbeitet werden und ein durch den Prozess erhaltenes Signal kann als Bildpunktdaten IDATA an die ISP 200 ausgegeben werden. Die ISP 200 kann die Bilddaten IDATA verarbeiten, um die verarbeiteten Bilddaten IDATA' zu erzeugen, und kann die verarbeitenden Bilddaten IDATA' an die CPU 210 weitergeben. Die CPU 210 kann das Niveau des Betriebsartauswahlsignals MSEL basierend auf den verarbeiteten Bilddaten IDATA' im Betriebsablauf S22 ändern. Mit anderen Worten kann die CPU 210 das Niveau des Betriebsartauswahlsignals MSEL basierend auf dem Bildpunktsignalausgang des Bewegungssensorbildpunkts M ändern.
Da die Betriebsabläufe S24 und S26 in 25 im Wesentlichen den Abläufen S10 und S12 in 24 entsprechen wird auf eine detaillierte Beschreibung verzichtet.
26 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben eines Bildsensorchips zum Betreiben einer weiteren Ausführungsform. Bezugnehmend auf die 2, 3, 13 bis 24 und 26 kann der Bewegungssensorbildpunktaktivierungscontroller 140 einen Bewegungssensorbildpunkt M im Betrieb S30 aktivieren.
Die Steuerlogik 120 kann erfassen, ob ein Tiefensensorbildpunkt D basierend auf dem Betriebsartauswahlsignal MSEL im Betrieb S32 zu aktivieren ist.
Die Bildpunktsignalverarbeitungsschaltung 150 kann einen Bildpunktsignalausgang durch entweder den Tiefensensorbildpunkt D oder den Bewegungssensorbildpunkt M im Betrieb S34 verarbeiten. Gemäß einer Ausführungsform, wenn der Tiefensensorbildpunkt D aktiviert ist, kann die Bildpunktsignalverarbeitungsschaltung 150 den Bildpunktsignalausgang durch den Tiefensensorbildpunkt D verarbeiten. Außerdem falls der Tiefensensorbildpunkt D deaktiviert ist, kann die Bildpunktsignalverarbeitungsschaltung 150 den Bildpunktsignalausgang des Bewegungssensorbildpunkts M verarbeiten.
Gemäß einer weiteren Ausführungsform, kann die Ausgangauswahlschaltung 160 entweder den Bildpunktsignalausgang des Bewegungssensorbildpunkts M oder des Bildpunktsignalausgangs des Tiefensensorbildpunkts D auswählen und verarbeiten falls der Tiefensensorbildpunkt D deaktiviert ist und als Ergebnis der Verarbeitung die Bildpunktdaten IDATA ausgeben.
27 zeigt ein Blockdiagramm eines elektronischen Systems 1000 mit dem Bildsensor 100 aus 1, gemäß beispielhafter Ausführungsformen. Bezugnehmend auf die 1 und 27 kann das elektronische System 1000 unter Verwendung einer Datenverarbeitungsvorrichtung implementiert sein, die geeignet ist, ein Mobile-Industry-Processor-Interface (MIPI) zu verwenden oder zu unterstützen, beispielsweise einen persönlichen digitalen Assistenten (PDA), einen tragbaren Multi-Media-Player (PMP), einen Internetprotokollfemseher (IPTV), oder ein Smartphone.
Das elektronische System 1000 enthält den Bildsensor 100, einen Anwendungsprozessor 1010 und eine Anzeige 1050.
Ein serieller Kameraschnittstellen-Host (CSI) 1012, der in dem Anwendungsprozessor 1010 implementiert ist, kann seriell mit einer CSI-Vorrichtung 1041 des Bildsensors 100 über eine CSI kommunizieren. In diesem Fall kann der CSI-Host beispielsweise einen Deserialisierer DES, und die CSI-Vorrichtung 1041 mit einem Serialisierer SER enthalten.
Ein Anzeigen-serieller-Schnittstellen-Host (DSI) 1011, der in dem Anwendungsprozessor 1010 implementiert ist, kann seriell mit einer DSI-Vorrichtung 1051 des Displays 1050 über eine DSI kommunizieren. In diesem Fall kann beispielsweise der DSI-Host 1011 einen Serialisierer SER enthalten, und die DSI-Vorrichtung 1051 kann einen Deserialisierer DES enthalten.
Gemäß einer Ausführungsform kann das elektronische System 1000 außerdem einen Funkfrequenz(RF)-Chip 1060 enthalten, der geeignet ist, um mit dem Anwendungsprozessor 1010 zu kommunizieren. Eine physikalische Schicht (PHY) 1013 indem Anwendungsprozessor 1010 und eine PHY 1061 in dem RF-Chip 1060 kann Daten zu und voneinander über eine MIPI DigRF übertragen und empfangen.
Gemäß einer Ausführungsform kann das elektronische System 1000 außerdem ein globales Positionierungssystem (GPS) 1020, einen Speicher 1070, ein Mikrofon (MIC) 1080, ein Direktzugriffsspeicher DRAM 1085 und einen Lautsprecher 1090 enthalten. Das elektronische System 1000 kann über World-Interoperability-For-Microwave-Access (Wimax) 1030, ein drahtloses lokales Netzwerk (WLAN) 1100 und/oder ein Ultra-Wideband (UWB) 1110 kommunizieren.
28 zeigt ein Blockdiagramm eines Bildverarbeitungssystems 1200 mit einem Bildsensor 100 aus 1 gemäß beispielhafter Ausführungsformen. Bezugnehmend auf die 1 und 28, kann das Bildverarbeitungssystem 1200 den Bildsensor 100, einen Prozessor 1210, einen Speicher 1220, eine Display-Einheit 1230, und eine Schnittstelle (I/F) 1240 enthalten.
Der Prozessor 1210 kann den Betrieb des Bildsensors 100 steuern. Beispielsweise kann der Prozessor 1210 ein 2D- oder 3D-Bild basierend auf der Tiefeninformation und der Bewegungsinformation erhalten von dem Bildsensor 100 erzeugen. Der Speicher 1220 kann ein Programm zur Steuerung des Betriebs des Bildsensors 100 über einen Bus 1250 unter der Steuerung des Prozessors 1210 und von dem Prozessor 1210 erzeugte Bilder speichern. Der Prozessor 1210 kann das Programm unter dem Zugriff auf die gespeicherte Information ausführen. Der Speicher 1220 kann unter Verwendung eines nicht-flüchtigen Speichers implementiert sein.
Der Bildsensor 100 kann 2D- oder 3D-Bildinformation basierend auf jedem digitalen Bildpunktsignal, beispielsweise der Tiefeninformation des Tiefensensorbildpunkts und/oder Bewegungsinformation des Bewegungssensorbildpunkts unter der Steuerung des Prozessors 1210 erzeugen.
Die Display-Einheit 1230 kann ein Bild von dem Prozessor 1210 oder dem Speicher 1220 empfangen und das Bild auf der Anzeige beispielsweise einer Flüssigkristallanzeige (LCD), einer Lichtabgebenden Dioden(LED)-Anzeige, einer organischen Lichtabgebenden Diode(OLED)-Anzeige, einer aktiven Matrix-OLED(AMOLED)-Anzeige, oder einem flexiblen Display anzeigen.
Die I/F 1240 kann unter Verwendung einer Schnittstelle zum Empfangen und Ausgeben eines 2D- oder 3D-Bildes implementiert sein. Gemäß einer Ausführungsform kann die I/F 1240 unter Verwendung einer drahtlosen Schnittstelle implementiert sein.
In einem Verfahren und einer Vorrichtung gemäß beispielhafter Ausführungsformen kann die Bewegung eines Objekts durch das Erhalten der Daten basierend auf einer Bildpunktsignalausgabe des Tiefensensorbildpunkts gemäß verschiedener Nutzungsumgebungen genau erfasst werden. Außerdem führt in dem Verfahren und der Vorrichtung gemäß beispielhafter Ausführungsformen das Erhalten der Daten basierend auf der Bildpunktsignalausgabe des Tiefensensorbildpunkts gemäß verschiedener Nutzungsumgebungen auch zu einer Verringerung des Leistungsverbrauchs. In dem Verfahren und der Vorrichtung gemäß beispielhafter Ausführungsformen kann entweder die genaue Erfassung eines Bildes eines Objektes oder die Verringerung des Leistungsverbrauchs gemäß verschiedener Nutzungsumgebungen ausgewählt werden.
Obwohl beispielhafte Ausführungsformen in Bezug auf beispielhafte Ausführungsformen gezeigt und beschrieben wurden ist es klar, dass auch Veränderungen in Form und Details davon gemacht werden können ohne von dem Sinn und dem Umfang der folgenden Ansprüche abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2012-0073439 [0001]

Claims

Verfahren zum Betreiben eines Bildsensorchips mit einem Bildsensorbildpunkt, der die Bewegung eines Objektes erfasst und einem Tiefensensorbildpunkt umfassend: Aktivieren von entweder dem Tiefensensorbildpunkt oder dem Bewegungssensorbildpunkt gemäß einem Betriebsartauswahlsignal (S10); und Verarbeiten eines Bildpunktsignalausgangs von entweder dem aktivierten Tiefensensorbildpunkt oder dem aktivierten Bewegungssensorbildpunkt (S12).
Verfahren nach Anspruch 1, vor dem Aktivieren von entweder dem Tiefensensorbildpunkt oder dem Bewegungssensorbildpunkt außerdem umfassend: Aktivieren des Bewegungssensorbildpunkts als Voreinstellung (S20); und Ändern des Niveaus des Betriebsartauswahlsignals basierend auf einem Bildpunktsignalausgang des als Voreinstellung aktivierten Bewegungssensorbildpunktes (S22).
Verfahren nach Anspruch 2, wobei das Ändern des Niveaus des Betriebsartauswahlsignals das Ändern des Niveaus des Betriebsartauswahlsignals umfasst falls die Daten die als Ergebnis der Verarbeitung des Bildsignalausgangs von dem voreingestellt aktivierten Bewegungssensorbildpunkts mit Referenzdaten übereinstimmen.
Verfahren nach Anspruch 1, vor dem Aktivieren entweder der Tiefensensorbildpunkte oder der Bewegungssensorbildpunkte außerdem umfassend: Analysieren einer Benutzereingabe; und Erzeugen eines Betriebsartauswahlsignals gemäß dem Analysierungsergebnisses der Nutzereingabe.
Verfahren nach Anspruch 1, wobei der Bewegungssensorbildpunkt ein Dynamic-Vision-Sensor(DVS)-Bildpunkt ist, und der Tiefensensorbildpunkt ein Time-Of-Flight(TOF)-Sensorbildpunkt ist, der die Tiefeninformation zwischen dem Objekt und dem Bildsensorchip nach einem TOF-Verfahren erhält.
Verfahren zum Betreiben eines Bildsensorchips umfassend einen Bewegungssensorbildpunkt, der geeignet ist, die Bewegung eines Objektes zu erfassen und mit einem Tiefensensorbildpunkt, umfassend: Aktivieren des Bewegungssensorbildpunktes (S30); Erfassen ob der Tiefensensorbildpunkt gemäß einem Betriebsartauswahlsignals zu aktivieren ist (S32); und Verarbeiten eines Bildpunktsignalausgangs von entweder dem Bewegungssensorbildpunkt oder dem Tiefensensorbildpunkt, basierend auf dem Ergebnis der Erfassung und dem Betriebsartauswahlsignal (S34).
Verfahren nach Anspruch 6, wobei das Verarbeiten des Bildpunktsignals die Verarbeitung des Bildpunktsignalausgangs des Tiefensensorbildpunkts umfasst, wenn der Tiefensensor aktiviert ist und das Verarbeiten des Bildsignalausgangs des Bewegungssensorbildpunktes, wenn der Tiefensensorbildpunkt deaktiviert ist.
Verfahren nach Anspruch 6, wobei der Bewegungssensorbildpunkt ein Dynamic-Vision-Sensor(DVS)-Bildpunkt ist, und der Tiefensensorbildpunkt ein Time-Of-Flight(TOF)-Sensorbildpunkt ist, der die Tiefeninformation zwischen dem Objekt und dem Bildsensorchip gemäß eines Time-Of-Flight(TOF)-Verfahrens erhält.
Bildsensorchip umfassend: ein Bildpunktarray (110) mit einer Tiefensensorbildpunktgruppe, die eine Vielzahl an Tiefensensorbildpunkten (D) enthält und einer Bewegungssensorbildpunktgruppe, die eine Vielzahl an Bewegungssensorbildpunkten (M) enthält; eine Steuerschaltung (120), die geeignet ist, um entweder die Tiefensensorbildpunktgruppe oder die Bewegungssensorbildpunktgruppe gemäß einem Betriebsartauswahlsignal zu aktivieren; und eine Bildpunktsignalverarbeitungsschaltung (150), die geeignet ist, die Bildpunktsignale, die von entweder der aktivierten Tiefensensorbildpunktgruppe oder der aktivierten Bewegungssensorbildpunktgruppe ausgegeben wurden, zu verarbeiten.
Bildsensorchip nach Anspruch 9, außerdem umfassend einen Bewegungssensorbildpunktaktivierungscontroller (140), der geeignet ist, die Leistung, die der Bewegungssensorbildpunktgruppe zugeführt wird unter der Steuerung der Steuerschaltung (120) zu steuern.
Bildsensorchip nach Anspruch 9, wobei jeder der Vielzahl der Bewegungssensorbildpunkte (M) ein Dynamic-Vision-Sensor(DVS)-Bildpunkt ist, und die Bildpunktsignalverarbeitungsschaltung (150) umfasst: eine Zeilenadressereignisdarstellung (AER), die geeignet ist, um wenigstens eines der Vielzahl an Ereignissignalen, die von der Vielzahl der Bewegungssensorbildpunkten (M) erzeugt wird, zu verarbeiten; und eine Spalten AER (154), die geeignet ist wenigstens ein weiteres der Vielzahl der Ereignissignale, die von der Vielzahl der Bewegungssensorbildpunkten (M) erzeugt wurden, zu verarbeiten; und die Zeilen AER (158) auf einer gegenüberliegenden Seite eines Zeilentreibers (130) zur Aktivierung der Vielzahl der Tiefensensorbildpunkte (D) angeordnet ist.
Bildsensorchip nach Anspruch 9, wobei jeder der Vielzahl der Bewegungssensorbildpunkte (M) ein DVS-Bildpunkt ist, und die Bildpunktsignalverarbeitungsschaltung (150) umfasst: eine Zeilen AER (158), die geeignet ist wenigstens eines der Vielzahl an Ereignissignalen, die von der Vielzahl der Bewegungssensorbildpunkten (M) erzeugt wird, zu verarbeiten; und eine Spalten AER (154), die geeignet ist wenigstens ein weiteres der Vielzahl an Ereignissignalen, die von der Vielzahl der Bewegungssensorbildpunkten (M) erzeugt wird, zu verarbeiten; und die Zeilen AER (158) auf der gleichen Seite wie ein Zeilentreiber (130) zur Aktivierung der Vielzahl der Tiefensensorbildpunkte (D) angeordnet ist.
Bildsensorchip nach Anspruch 9, wobei die Bewegungssensorbildpunktgruppe und die Tiefensensorbildpunktgruppe getrennt voneinander angeordnet sind.
Bildsensorchip nach Anspruch 9, wobei jeder der Vielzahl der Bewegungssensorbildpunkten (M) zwischen den Tiefensensorbildpunkten (D) angeordnet ist.
Bildsensorchip nach Anspruch 9, wobei die Vielzahl der Bewegungssensorbildpunkte (M) auf Rändern der Tiefensensorbildpunktgruppe angeordnet ist.
Bildsensorchip nach Anspruch 9, wobei die Vielzahl der Bewegungssensorbildpunkte (M) sich in Zeilenrichtung mit der Vielzahl der Tiefensensorbildpunkte (D) abwechseln.
Bildsensorchip nach Anspruch 9, wobei sich die Vielzahl der Bewegungssensorbildpunkte in Spaltenrichtung mit der Vielzahl der Tiefensensorbildpunkte (D) abwechseln.
Bildsensorchip nach Anspruch 9, wobei die Größe jedes der Vielzahl der Bewegungssensorbildpunkten (M) von der Größe der Vielzahl der Tiefensensorbildpunkte (D) verschieden ist.
Bildsensorchip nach Anspruch 9, wobei sich ein Bewegungssensorbildpunkt (M) und ein Tiefensensorbildpunkt (D) aus der Vielzahl der Bewegungssensorbildpunkten (M) und der Vielzahl der Tiefensensorbildpunkten (D) mit der gleichen Spaltenadresse wenigstens eine Signalleitung teilen.
Bildsensorchip nach Anspruch 9, wobei die Bildpunktsignalverarbeitungsschaltung (150) umfasst: eine Bewegungssensorbildpunktsignalverarbeitungsschaltung, die geeignet ist Bildpunktsignale, die von der Bewegungssensorbildpunktgruppe ausgegeben werden, zu verarbeiten; und eine Tiefensensorbildpunktsignalverarbeitungsschaltung, die geeignet ist, um von der Tiefensensorbildpunktgruppe ausgegebene Bildpunktsignale zu verarbeiten.
Bildsensorchip nach Anspruch 20, wobei die Bildpunktsignalverarbeitungsschaltung (150) außerdem eine Ausgangsauswahlschaltung (160) umfasst, die geeignet ist, um entweder einen Ausgang der Bewegungssensorbildpunktsignalverarbeitungsschaltung oder einen Ausgang der Tiefensensorbildpunktsignalverarbeitungsschaltung auszuwählen.
Ein Ein-Chip(SoC)-System umfassend: einen Bildsensorchip nach Anspruch 9; einen Bildsignalprozessor (ISP) (200), der geeignet ist, um von dem Bildsensorchip ausgegebene Bilddaten zu verarbeiten; und eine zentrale Recheneinheit (CPU) (210), die geeignet ist, um von dem ISP (200) verarbeitete Bilddaten zu empfangen und ein Betriebsartauswahlsignal basierend auf den verarbeitenden Bilddaten zu erzeugen.
Bildsensorchip umfassend: ein Bildarray (110) mit einem Tiefensensorbildpunkt (D) und einem Bewegungssensorbildpunkt (M); und einer Ausgangsauswahlschaltung (160), die geeignet ist, um entweder ein von dem Tiefensensorbildpunkt (D) empfangenes Signal oder ein von dem Bewegungssensorbildpunkt (M) empfangenes Signal entsprechend einem Betriebsartauswahlsignal auszuwählen und das ausgewählte Signal auszugeben.
Bildsensorchip nach Anspruch 23, wobei der Bewegungssensorbildpunkt (M) ein DVS-Bildpunkt ist und der Tiefensensorbildpunkt (D) ein TOF-Sensorbildpunkt ist.
Bildsensorchip nach Anspruch 23, wobei die Ausgangsauswahlschaltung (160) einen Multiplexer umfasst.
Bildverarbeitungssystem (10) umfassend: einen Bildsensor (100), der Bilddaten entsprechend entweder einer Tiefeninformation von wenigstens einem Tiefensensorbildpunkt oder Bewegungsinformation von wenigstens einem Bewegungssensorbildpunkt erzeugt und Bilddaten überträgt; einen Bildsignalprozessor (ISP) (200), der geeignet ist, die Bilddaten von dem Bildsensor (100) zu empfangen und zu verarbeiten und die verarbeiteten Bilddaten zu übertragen; und eine Anzeigeeinheit (205), die geeignet ist, die verarbeiteten Bilddaten zu empfangen und die verarbeiteten Bilddaten anzuzeigen.
Bildverarbeitungssystem nach Anspruch 26, außerdem umfassend: eine zentrale Recheneinheit (210), die geeignet ist, gemäß einem von den verarbeiteten Bilddaten des ISP und einem Signal eines Leistungsbeobachtungsmoduls ein Betriebsartauswahlsignal zu erzeugen und das Betriebsartauswahlsignal zu übertragen.
Bildverarbeitungssystem nach Anspruch 27, wobei das Leistungsbeobachtungsmodul erfasst ob das Bildverarbeitungssystem ausreichend Leistung hat, und ein Signal an die zentrale Recheneinheit überträgt falls das Bildverarbeitungssystem nicht ausreichend Leistung hat.
Bildverarbeitungssystem nach Anspruch 27, wobei falls die CPU (210) geeignet ist, um entsprechend der verarbeiteten Bilddaten des ISP ein Betriebsartauswahlsignal zu erzeugen, die CPU die verarbeiteten Bilddaten mit Referenzdaten vergleicht und das Betriebsartauswahlsignal basierend auf dem Ergebnis des Vergleichs erzeugt.
Bildverarbeitungssystem nach Anspruch 27, wobei der Bildsensor (100) die Bilddaten entsprechend entweder der Tiefeninformation oder der Bewegungsinformation basierend auf dem Betriebsartauswahlsignal der CPU erzeugt.