DE102017111215B4

DE102017111215B4 - Vorrichtung und Verfahren zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten

Info

Publication number: DE102017111215B4
Application number: DE102017111215.4A
Authority: DE
Inventors: Jan Otterstedt
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2017-05-23
Filing date: 2017-05-23
Publication date: 2024-02-08
Anticipated expiration: 2037-05-24
Also published as: DE102017111215A1; US11620507B2; US20180341858A1

Abstract

Eine Vorrichtung (10), umfassend:ein Sensormodul (12), umfassend:ein elektromagnetischer Strahlungssensor (12a), der zum Bereitstellen elektromagnetischer Strahlungssensordaten ausgebildet ist, undeine codierte Maske (12b), die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor (12a) auftrifft; undein Rechenmodul (14), das ausgebildet ist zum:Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor (12a),Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, wobei das Rechenmodul (14) ausgebildet ist, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen, undAusgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang (16).

Description

Gebiet
Beispiele beziehen sich auf eine Vorrichtung und ein Verfahren zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten und ein Verfahren zum Herstellen einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten, wobei die Eigenschaft genauer gesagt aber nicht ausschließlich unter Verwendung eines künstlichen neuronalen Netzes detektiert wird.
Hintergrund
Die Detektion von Eigenschaften elektromagnetischer Strahlung, z. B. visueller Eigenschaften zur Bewegungs- und Gesten-Detektion, ist ein interessantes Thema in Forschung und Entwicklung. Zum Beispiel können mobile Vorrichtungen, wie beispielsweise Smartphones oder Spielekonsolen, basierend auf einer solchen detektierten Bewegung und Gesten gesteuert werden.
US-Patentanmeldung US 2009/0279737 A1 offenbart die Nutzung einer Sensoranordnung mit einer Apertur-codierten Maske, um daraus die Position und Bewegung von bestimmten Zielobjekten innerhalb der aufgenommenen Szene zu bestimmen. Dabei wird ein Bayes` sches Inferenzverfahren auf die Sensordaten angewandt, um die gewünschten Daten herzuleiten.
Guoquiang Peter Zhang (2000): „Neural Networks for Classification: A Survey“ offenbart eine Nutzung von Neuronalen Netzwerken zur Klassifikation von Bilddaten. Dabei werden neuronale Netzwerke als Ersatz für Bayes'sche Klassifikationsverfahren beschrieben.
Zusammenfassung
Es kann ein Bedarf bestehen für ein verbessertes Konzept für elektromagnetische Strahlungssensor-Vorrichtungen, die ein dünneres Profil der Sensorvorrichtung ermöglichen können.
Ein solcher Bedarf kann durch den Gegenstand der angehängten Ansprüche erfüllt sein.
Ein Beispiel bezieht sich auf eine Vorrichtung umfassend ein Sensormodul. Das Sensormodul umfasst einen elektromagnetischen Strahlungssensor, der ausgebildet ist, um elektromagnetische Strahlungssensordaten bereitzustellen. Das Sensormodul umfasst ferner eine codierte Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Die Vorrichtung umfasst ferner ein Rechenmodul, das zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor ausgebildet ist. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes ausgebildet. Dabei ist das Rechenmodul ausgebildet, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang ausgebildet.
Ein Beispiel bezieht sich auf ein Verfahren. Das Verfahren umfasst ein Erfassen einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten. Das Verfahren umfasst ferner ein Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes. Dabei wird die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes detektiert, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen. Das Verfahren umfasst ferner ein Ausgeben von Informationen bezogen auf die detektierte Eigenschaft.
Ein Beispiel bezieht sich auf ein Verfahren zum Herstellen einer Vorrichtung. Das Verfahren umfasst ein Bilden eines Sensormoduls durch Bilden eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und ein Bilden einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Das Verfahren umfasst ferner das Bilden eines Rechenmoduls, das ein künstliches neuronales Netz aufweist (oder ausgebildet ist, dieses zu emulieren und betreiben). Das Rechenmodul ist ausgebildet zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes ausgebildet. Dabei ist das Rechenmodul ausgebildet, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft ausgebildet.
Kurze Beschreibung der Figuren
Nachfolgend werden einige Beispiele von Vorrichtungen und/oder Verfahren ausschließlich beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen

1a ein Blockdiagramm einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt;
1b ein Blockdiagramm einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt, die ferner ein Filter aufweist;
1c ein Flussdiagramm eines Verfahrens zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt;
2 ein Flussdiagramm eines Verfahrens zum Herstellen einer Vorrichtung zeigt;
3 eine schematische Draufsicht einer Apertur-codierten Maske zeigt;
4 ein schematisches Diagramm einer Gitter-codierten Maske zeigt; und
5 ein schematisches Diagramm eines abstimmbaren Fabry-Perot Filters zeigt.

Detaillierte Beschreibung
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
Während sich weitere Beispiele für verschiedene Modifikationen und alternative Formen eignen, sind dementsprechend einige bestimmte Beispiele derselben in den Figuren gezeigt und werden nachfolgend ausführlich beschrieben. Allerdings beschränkt diese detaillierte Beschreibung weitere Beispiele nicht auf die beschriebenen bestimmten Formen. Weitere Beispiele können alle Modifikationen, Entsprechungen und Alternativen abdecken, die in den Rahmen der Offenbarung fallen. Gleiche Bezugszeichen beziehen sich in der gesamten Beschreibung der Figuren auf gleiche oder ähnliche Elemente, die bei einem Vergleich miteinander identisch oder in modifizierter Form implementiert sein können, während sie die gleiche oder eine ähnliche Funktion bereitstellen.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, die Elemente direkt, oder über ein oder mehrere Zwischenelemente, verbunden oder gekoppelt sein können. Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B. Eine alternative Formulierung für die gleichen Kombinationen ist „zumindest eines von A und B“. Das Gleiche gilt für Kombinationen von mehr als 2 Elementen.
Die Terminologie, die hier zum Beschreiben bestimmter Beispiele verwendet wird, soll nicht begrenzend für weitere Beispiele sein. Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch Pluralelemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion nachfolgend als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweist“ und/oder „aufweisend“ bei Gebrauch das Vorhandensein der angegebenen Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente und/oder Komponenten derselben präzisieren, aber nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe derselben ausschließen.
Sofern nicht anderweitig definiert, werden alle Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) hier in ihrer üblichen Bedeutung des Gebiets verwendet, zu dem Beispiele gehören.
1 zeigt ein Blockdiagramm einer Vorrichtung 10. Die Vorrichtung 10 ist geeignet zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten. Die Vorrichtung 10 umfasst ein Sensormodul 12. Das Sensormodul umfasst einen elektromagnetischen Strahlungssensor 12a, der ausgebildet ist, um elektromagnetische Strahlungssensordaten bereitzustellen. Das Sensormodul 12 umfasst ferner eine codierte Maske 12b, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor 12a auftrifft (z.B. um modulierte, elektromagnetische Strahlung zu erhalten). Die Vorrichtung 10 umfasst ferner ein Rechenmodul 14, das zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor 12a ausgebildet ist. Das Rechenmodul 14 ist ferner zum Detektieren der Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul 14 ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang 16 ausgebildet.
Das Verwenden eines linsenlosen Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer Apertur-codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können, z.B. innerhalb einer kleineren Distanz als es bei einem Linsen-basierten Kamerasystem möglich ist. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der Apertur-codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann.
Zum Beispiel kann das Sensormodul 12 ein Kamera-Sensormodul sein. Das Steuerungsmodul 12 kann zum Erfassen einer optischen Information ausgebildet sein, z.B. innerhalb von zumindest einem eines ultravioletten Lichtspektrums, eines sichtbaren Lichtspektrums und eines Infrarot-Lichtspektrums. Bei einigen Ausführungsbeispielen kann das Sensormodul 12 ein linsenloses Sensormodul 12 sein. Dies kann ein dünneres Profil des Sensormoduls ermöglichen. Die codierte Maske 12b kann direkt benachbart zu dem elektromagnetischen Strahlungssensor 12a angeordnet sein.
Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a ein optischer Sensor sein. Der elektromagnetische Strahlungssensor 12a kann zum Erfassen von sichtbarem Licht (elektromagnetischer (EM) Strahlung innerhalb eines sichtbaren Lichtspektrums) ausgebildet sein. Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a ausgebildet sein, um Infrarotlicht zu erfassen (EM-Strahlung innerhalb eines Infrarot-Lichtspektrums). Bei anderen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a kann zum Erfassen von ultraviolettem Licht (EM Strahlung innerhalb eines ultravioletten Lichtspektrums) ausgebildet sein. Das Erfassen von Licht (z.B. ultraviolettem, sichtbarem oder Infrarot-Licht) ist eine übliche Anwendung bei der Detektion von Gesten oder Bewegung und bei der Gesichtserkennung. Der elektromagnetische Strahlungssensor 12a kann ein Aktiv-Pixel-Sensor sein. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a einer eines CMOS-Sensors (Complementary Metal-Oxide-Semiconductor; komplementärer Metall-Oxid-Halbleiter) und eines CCD-Sensors (Charge-Coupled Device; ladungsgekoppelte Vorrichtung) sein.
Der elektromagnetische Strahlungssensor 12a kann zum Bereitstellen der elektromagnetischen Strahlungssensordaten als rohe oder unverarbeitete elektromagnetische Strahlungssensordaten ausgebildet sein. Die rohen elektromagnetischen Strahlungssensordaten können optische Sensordaten sein, die nicht in ein Bildformat umgewandelt sind. Zum Beispiel können die rohen elektromagnetischen Strahlungssensordaten digitalen Werten von analogen Werten entsprechen, die durch ein oder mehrere Sensorelemente des elektromagnetischen Strahlungssensors 12a erfasst werden und in einem vordefinierten Format angeordnet sind, ohne weitere Verarbeitung der digitalen Werte. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a zum Bereitstellen der elektromagnetischen Strahlungssensordaten als digitale Werte ausgebildet sein, die Strömen, Kapazitäten oder Spannungen entsprechen, die durch den elektromagnetischen Strahlungssensor 12a erfasst werden. Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a zum Bereitstellen der elektromagnetischen Strahlungssensordaten als digitale Werte oder als analoge Ströme oder Spannungen an das Rechenmodul 14 ausgebildet sein.
Zum Beispiel kann die elektromagnetische Strahlung zumindest eines aus ultraviolettem Licht, sichtbarem Licht oder Infrarotlicht sein oder dies umfassen. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a kann ausgebildet sein zum Erfassen von zumindest einem aus ultraviolettem Licht, sichtbarem Licht und Infrarotlicht. Zum Beispiel kann das Sensormodul 12 ferner ein Bandpassfilter aufweisen (z.B. Filter 18 aus 1C), das ausgebildet ist, um elektromagnetische Strahlung, die auf dem elektromagnetischen Strahlungssensor 12a auftrifft, auf einen gewünschten Frequenzbereich einzuschränken.
Bei einigen Ausführungsbeispielen, wie in 1b gezeigt ist, kann das Sensormodul ferner ein Filter 18 aufweisen, das ausgebildet ist, um elektromagnetische Strahlung außerhalb eines vordefinierten Frequenzbereichs zu blockieren (z.B. um gefilterte, elektromagnetische Strahlung zu erhalten). Das Filter 18 kann zwischen dem elektromagnetischen Strahlungssensor 12a und der codierten Maske 12b angeordnet sein. Alternativ kann die codierte Maske 12b zwischen dem Filter 18 und dem elektromagnetischen Strahlungssensor 12a angeordnet sein. Alternativ kann das Filter 18 in der codierten Maske 12b integriert sein, z.B. innerhalb einer Mehrzahl von Löchern, die einen Körper der codierten Maske queren. Das Filter kann die elektromagnetische Strahlung, die auf den elektromagnetischen Strahlungssensor auftrifft, auf einen Frequenzbereich einschränken, der die zu detektierende Eigenschaft aufweist. Der vordefinierte Frequenzbereich kann basierend auf der Eigenschaft definiert sein, die detektiert werden soll. Der vordefinierte Frequenzbereich kann zumindest eines abdecken aus einem ultravioletten Lichtfrequenzbereich, einem sichtbaren Lichtfrequenzbereich und einem Infrarot-Lichtfrequenzbereich. Das Sensormodul 12 kann ferner ein optisches Filter 18a aufweisen, das ausgebildet ist, um Licht außerhalb von zumindest einem eines sichtbaren Lichtfrequenzbereichs, eines Infrarotlicht-Frequenzbereichs und eines ultravioletten Lichtfrequenzbereichs zu blockieren. Bei zumindest einigen Ausführungsbeispielen kann das Sensormodul 12 ferner ein abstimmbares Farbfilter 18b aufweisen, das ausgebildet ist, um Licht außerhalb eines einstellbaren Frequenzbereichs zu blockieren. Das abstimmbare Farbfilter kann auf einem abstimmbaren Fabry-Perot Filter basieren, z.B. auf zwei Bragg-Spiegeln basieren (z.B. wie in 5 gezeigt ist). Ein abstimmbares Farbfilter kann eine Einstellung des Filters basierend auf der Eigenschaft ermöglichen, die detektiert werden soll, oder basierend auf einer elektromagnetischen Umgebungs- oder Hintergrund-Strahlung. Das Rechenmodul 14 kann ausgebildet sein zum Einstellen des abstimmbaren Farbfilters 18b basierend auf der Eigenschaft der zu detektierenden, elektromagnetischen Strahlung und/oder basierend auf einer elektromagnetischen Umgebungs-/Hintergrund-Strahlung.
Bei einigen Ausführungsbeispielen kann die codierte Maske 12b eine Apertur-codierte, optische Maske sein. Zum Beispiel kann die Apertur-codierte Maske 12b eine optische Maske mit einem festen Körper sein (z.B. einem Körper, der zumindest 90% der elektromagnetischen Strahlung blockiert, die auf den Körper bei einer gewünschten Wellenlänge auftrifft, z.B. bei einer Wellenlänge, die die zu detektierende Eigenschaft umfasst) und einem oder einer Mehrzahl von Löchern innerhalb des festen Körpers. Zum Beispiel kann die Apertur-codierte Maske 12b eine Mehrzahl von Löchern aufweisen, die in einem codierten Muster angeordnet und dimensioniert sind. Die Mehrzahl von Löchern kann den Körper der codierten Maske vertikal queren. Die Mehrzahl von Löchern kann von jeglicher Form in einer lateralen Richtung sein, z.B. rund, quadratisch, rechteckig, länglich, polygonal etc. Die Mehrzahl von Löchern kann zumindest 10% (oder zumindest 20%, zumindest 30%, zumindest 40%, zumindest 50%) einer Oberfläche des Körpers der Apertur-codierten Maske 12b belegen. Zum Beispiel kann die Apertur-codierte Maske 12b eines aus einem modifizierten, einheitlich redundanten Array (Modified Uniformly Redundant Array), einem hexagonalen einheitlich redundanten Array (Hexagonal Uniformly Redundant Array), einem Stiftloch, einer Apertur-codierten Maske mit einem Pseudozufallsmuster, einer Apertur-codierten Maske mit einem Zufallsmuster, einer Apertur-codierten Maske mit einem Chip-spezifischen oder Chip-individuellen Muster und einer Apertur-codierte Maske mit einem annähernd flachen Fourier-Spektrum sein. Zum Beispiel kann ein Muster (der Mehrzahl von Löchern) der codierten Maske 12b individuell für jedes Sensormodul 12 erzeugt werden. Dies kann ein Herstellen der codierten Maske mit höheren Herstellungstoleranzen ermöglichen. Zum Beispiel kann ein Muster (der Mehrzahl von Löchern) der codierten Maske 12b ein Zufalls- oder Pseudozufalls-Ergebnis eines Bildens der codierten Maske 12b sein. Zum Beispiel kann die Apertur-codierte Maske 12b eine codierte, binäre (z.B. ist es elektromagnetischer Strahlung erlaubt, die Apertur-codierte Maske 12b zu passieren oder nicht zu passieren, basierend auf dem Muster) optische Maske sein.
Alternativ kann die codierte Maske 12b eine Gitter-codierte Maske sein. Die Gitter-codierte Maske kann eine Mehrzahl von lateralen Abschnitten aufweisen. Laterale Abschnitte einer ersten Teilmenge der Mehrzahl von lateralen Abschnitten umfassen eine erste vertikale Dicke, und laterale Abschnitte einer zweiten Teilmenge der Mehrzahl von lateralen Abschnitten umfassen eine zweite vertikale Dicke. Die erste vertikale Dicke kann ungefähr eine halbe Wellenlänge (z.B. zwischen 40% und 60% einer Wellenlänge) einer elektromagnetischen Strahlung umfassend die zu detektierende Eigenschaft größer sein als die zweite vertikale Dicke. Laterale Abschnitte der ersten Teilmenge und laterale Abschnitte der zweiten Teilmenge können abwechselnd angeordnet sein, z.B. außerhalb einer lateralen Randregion der Gitter-codierten Maske, ein lateraler Abschnitt der ersten Teilmenge kann lateral direkt benachbart zu zwei lateralen Abschnitten der zweiten Teilmenge sein, und ein lateraler Abschnitt der zweiten Teilmenge kann lateral direkt benachbart zu zwei lateralen Abschnitten der ersten Teilmenge sein. Ferner weisen die lateralen Abschnitte der Mehrzahl von lateralen Abschnitten zwei oder mehr laterale Breiten auf. Ein erster lateraler Abschnitt der ersten Teilmenge mit einer lateralen Breite und ein zweiter lateraler Abschnitt der zweiten Teilmenge mit derselben Breite können in derselben Distanz von einem Mittelpunkt oder einer Mittellinie der Gitter-codierten Maske (oder eines Feldes der Gitter-codierten Maske) so angeordnet sein, dass die Mehrzahl von lateralen Abschnitten anti-symmetrisch (laterale Abschnitte mit derselben Breite aber unterschiedlichen Dicken haben dieselbe laterale Distanz von dem Mittelpunkt/Mittellinie) um den Mittelpunkt oder die Mittellinie verteilt sind. Die Mehrzahl von lateralen Abschnitten kann in einem Muster angeordnet sein, z.B. in einem anti-symmetrischen Muster. Die Mehrzahl von lateralen Abschnitten kann dasselbe Material aufweisen. 4 zeigt eine beispielhafte Gitter-codierte Maske.
Gemäß einigen Ausführungsbeispielen kann eine Distanz zwischen dem elektromagnetischen Strahlungssensor 12a und dem Körper der codierten Maske 12b kleiner sein als 5 mm (oder kleiner als 4 mm, kleiner als 3 mm, kleiner als 2 mm, kleiner als 1 mm, kleiner als 800 µm, kleiner als 600 µm, kleiner als 400 µm). Dies kann ein dünneres Profil des Sensormoduls (und der Vorrichtung 10) ermöglichen. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a (direkt) benachbart zu der codierten Maske 12b angeordnet sein, z.B. ohne dass eine Linse zwischen dem elektromagnetischen Strahlungssensor 12a und der codierten Maske 12b angeordnet ist.
Bei zumindest einigen Ausführungsbeispielen kann die codierte Maske die elektromagnetische Strahlung (z.B. das ultraviolette, sichtbare und/oder Infrarot-Licht, das auf den elektromagnetischen Strahlungssensor 12a auftrifft) basierend auf dem Muster der (Mehrzahl von Löchern der) codierten Maske modulieren. Die Apertur-codierte Maske kann die elektromagnetische Strahlung (die auf den elektromagnetischen Strahlungssensor 12a auftrifft) basierend auf einer Punktverteilungsfunktion des Musters der codierten Maske 12b modulieren.
Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 zum direkten Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor 12a ausgebildet sein. Zum Beispiel können die elektromagnetischen Strahlungssensordaten rohen oder unverarbeiteten elektromagnetischen Strahlungssensordaten entsprechen. Dies kann die Rechenkomplexität der Detektion der Eigenschaft reduzieren, da künstliche neuronale Netze basierend auf den rohen oder unverarbeiteten elektromagnetischen Strahlungssensordaten trainiert sein können. Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um die elektromagnetischen Strahlungssensordaten als digitale Daten zu empfangen. Alternativ kann das Rechenmodul 14 ausgebildet sein, um analoge Werte zu erhalten, die elektromagnetischen Strahlungssensordaten repräsentieren, und um die erhaltenen analogen Werte in digitale, elektromagnetische Strahlungssensordaten umzuwandeln.
Bei zumindest einigen Ausführungsbeispielen ist die Eigenschaft eine Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung 10. Zum Beispiel kann die Eigenschaft eine Dichteverteilung der modulierten, elektromagnetischen Strahlung über den elektromagnetischen Strahlungssensor 12a sein oder darauf basieren. Zum Beispiel kann die elektromagnetische Strahlung durch das Objekt beeinflusst werden, das in der Nähe der Vorrichtung 10 angeordnet ist. Das zumindest eine Objekt kann einen Menschen umfassen, z.B. eine Hand eines Menschen, einen Finger eines Menschen, ein Gesicht eines Menschen. Alternativ oder zusätzlich kann das zumindest eine Objekt ein Objekt sein, das durch einen Menschen getragen oder manipuliert wird, z.B. ein Etikett oder ein Identifizierer. Alternativ oder zusätzlich kann das zumindest eine Objekt einige oder alle Objekte in der Nähe der Vorrichtung 10 umfassen.
Bei verschiedenen Beispielen kann die Eigenschaft der elektromagnetischen Strahlung eine optische Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung 10 sein, wobei die elektromagnetische Strahlung durch das zumindest eine Objekt beeinflusst wird. Zum Beispiel kann die optische Eigenschaft der elektromagnetischen Strahlung zumindest eines einer Geste, einer Handgeste, einer Fingergeste, einer Gesichtsgeste, einer Körpergeste eines Menschen, ein Gesichtsmuster, eine Bewegung eines Objekts, das verfolgt werden soll und einer Bilddarstellung der elektromagnetischen Strahlung sein. Das Rechenmodul kann ausgebildet sein, um die optische Eigenschaft von zumindest einem Objekt zu klassifizieren, das die elektromagnetischen Strahlungssensordaten beeinflusst, unter Verwendung des künstlichen neuronalen Netzes. Das Klassifizieren der optischen Eigenschaft kann das Auslösen von Aktionen basierend auf der optischen Eigenschaft ermöglichen, da Aktionen, die ausgelöst werden sollen, mit Klassifikationen verknüpft sein können. Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um ein Muster (z.B. eine Geste, ein Gesicht oder eine Bewegung) basierend auf den elektromagnetischen Strahlungssensordaten zu detektieren, um die Eigenschaft zu detektieren. Das Rechenmodul 14 kann ausgebildet sein, um die optische Eigenschaft basierend auf zumindest einem von einer Mehrzahl von erlernten optischen Eigenschaften innerhalb der elektromagnetischen Strahlungssensordaten zu klassifizieren. Zusätzlich oder alternativ kann das Rechenmodul 14 ausgebildet sein, um eine Gesichtserkennung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann die Gesichtserkennung innerhalb der Vorrichtung ermöglichen, was eine Privatsphäre innerhalb des Systems erhöhen kann, da die Vorrichtung möglicherweise nicht zugreifbar ist, um externen Zugriff auf Gesichtserkennungsdaten zu verhindern. Das künstliche neuronale Netz kann basierend auf einem oder mehreren Gesichtern oder Gesichtskonturen eines Menschen trainiert werden. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um visuelle Etiketten zu identifizieren, z.B. visuelle Muster, die Objekte identifizieren. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um eine menschliche Gesten-Detektion oder Gesten-Interpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann eine schnelle und rechentechnisch kostengünstige Gesten-Detektion oder Gesten-Interpretation ermöglichen, ohne die Beteiligung eines Host-Systems. Bei zumindest einigen Ausführungsbeispielen kann das künstliche neuronale Netz auf einer oder mehreren Gesten basieren, die detektiert werden sollen. Die eine oder die mehreren Gesten können zumindest ein Element der Gruppe aus Handgesten, Körpergesten, Gesichtsgesten, Fingergesten, Lichtgesten und Zeichengesten umfassen. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um eine Bewegungsdetektion oder Bewegungsinterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann eine schnelle und rechentechnisch kostengünstige Bewegungsdetektion oder Bewegungsinterpretation ermöglichen, ohne die Beteiligung eines Host-Systems. Die Bewegung kann eine Bewegung eines menschlichen Körpers oder eine Bewegung eines bewegbaren Objekts sein.
In manchen Beispielen, die nicht erfindungsgemäß sind, kann das Rechenmodul 14 ausgebildet sein, um eine Bilddarstellung der elektromagnetischen Strahlung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Zum Beispiel kann die Bilddarstellung die detektierte Eigenschaft repräsentieren. Die Bilddarstellung der elektromagnetischen Strahlung kann eine zumindest teilweise Dekonvolution der modulierten, elektromagnetischen Strahlung umfassen, die durch den elektromagnetischen Strahlungssensor 12a erfasst wird. Die Bilddarstellung der elektromagnetischen Strahlung kann eine Repräsentation von sichtbarem, Infrarot- oder ultraviolettem Licht sein, das auf das Sensormodul 12 auftrifft. Zum Beispiel kann innerhalb der Bilddarstellung ein Konvolutionseffekt der Apertur-codierten Maske 12b auf die elektromagnetische Strahlung, die durch den elektromagnetischen Strahlungssensor 12a erfasst wird, zumindest teilweise durch das künstliche neuronale Netz umgekehrt werden.
Das Rechenmodul 14 ist ausgebildet, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne Berechnen einer Bilddarstellung der elektromagnetischen Strahlungssensordaten. Das künstliche neuronale Netz kann ausgebildet sein, um die Eigenschaft basierend auf den rohen oder unverarbeiteten, elektromagnetischen Strahlungssensordaten zu detektieren.
Das künstliche neuronale Netz kann ein trainiertes oder vortrainiertes, künstliches neuronales Netz sein. Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz basierend auf der Apertur-codierten Maske und basierend auf der Eigenschaft, die detektiert werden soll, trainiert sein. Zum Beispiel kann das künstliche neuronale Netz innerhalb des Rechenmoduls 14 trainiert werden. Dies kann das Herstellen der Apertur-codierten Maske mit hohen Herstellungstoleranzen ermöglichen. Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um das künstliche neuronale Netz zumindest teilweise basierend auf der Apertur-codierten Maske zu trainieren. Ein teilweise trainiertes, künstliches neuronales Netz kann in das Rechenmodul 14 geladen werden (z.B. trainiert basierend auf der Eigenschaft, die detektiert werden soll), und das Rechenmodul 14 kann ausgebildet sein, um das Trainieren des künstlichen neuronalen Netzes basierend auf der codierten Maske 12b zu erweitern. Alternativ (oder zusätzlich) kann ein zumindest teilweise trainiertes, künstliches neuronales Netz in das Rechenmodul 14 geladen werden. Bei einigen Ausführungsbeispielen kann das zumindest teilweise trainierte, künstliche neuronale Netz basierend auf den elektromagnetischen Strahlungssensordaten des elektromagnetischen Strahlungssensors 12a trainiert werden, zum Beispiel innerhalb einer externen Vorrichtung (z.B. einer Arbeitsstation oder einem Server). Dies kann ein zeitintensives Training des künstlichen neuronalen Netzes auf dem Chip eliminieren oder reduzieren. Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz ein vortrainiertes, künstliches neuronales Netz sein.
Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 eine Allzweck-Verarbeitungseinheit aufweisen, die ausgebildet ist, um das künstliche neuronale Netz zu emulieren oder auszuführen. Dies kann eine Implementierung des künstlichen neuronalen Netzes unter Verwendung einer existierenden Prozessortechnik ermöglichen. Alternativ kann das künstliche neuronale Netz unter Verwendung einer dedizierten Hardware für Knoten und Zwischenverbindungen (z.B. gewichtete Zwischenverbindungen) zwischen Knoten implementiert sein. Zum Beispiel kann das künstliche neuronale Netz unter Verwendung resistiver Direktzugriffsspeicher-Elemente implementiert sein, um seine Funktion zu konfigurieren. Dies kann eine Implementierung des künstlichen neuronalen Netzes mit einer reduzierten Größe auf dem Chip bereitstellen. Künstliche neuronale Netze, z.B. das künstliche neuronale Netz, das durch das Rechenmodul 14 verwendet wird, können unter Verwendung unterschiedlicher Architekturen realisiert werden, z.B. Architekturen, die zumindest einem Element der Gruppe eines neuronalen Feedforward-Netzes, eines rekurrierenden neuronalen Netzes, eines probabilistischen neuronalen Netzes, eines neuronalen Zeitverzögerungs-Netzes, eines regulatorischen neuronalen Netzes und eines neuronalen Spiking-Netzes (Anreicherung) entsprechen. Künstliche neuronale Netze können eine unterschiedliche Anzahl von verdeckten Schichten einsetzen (z.B. Schichten von Neuronen, die nicht direkt mit Eingängen oder Ausgängen verbunden sind), wobei mehr verdeckte Schichten das realisieren komplexerer Funktionen ermöglichen können aber das Trainieren des künstlichen neuronalen Netzes komplizieren können (z.B. tiefe neuronale Netze versus flache neuronale Netze). Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz zumindest zwei verdeckte Schichten aufweisen. Bei anderen Ausführungsbeispielen kann das künstliche neuronale Netz zumindest drei oder zumindest vier verdeckte Schichten aufweisen. Die Verwendung von mehr verdeckten Schichten kann eine Qualität der Detektion der Eigenschaft verbessern.
Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 eine Allzweck-Verarbeitungseinheit aufweisen, die ausgebildet ist, um die detektierte Eigenschaft zu verarbeiten, um ein Steuerungssignal zu erzeugen, um eine externe Entität zu steuern. Dies kann das Verwenden der Vorrichtung ohne einen Host zum Steuern der externen Entität ermöglichen.
Das Rechenmodul 14 kann unter Verwendung von einer oder mehreren Verarbeitungseinheiten, einem oder mehreren Verarbeitungsgeräten, jeglichem Mittel zum Verarbeiten, z. B. einem Prozessor, einem Computer oder einer programmierbaren Hardwarekomponente, die mit entsprechend adaptierter Software betriebsfähig ist, implementiert sein. Anders ausgedrückt, die beschriebene Funktion des Rechenmoduls 14 kann auch in Software implementiert sein, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können einen Allzweckprozessor, einen digitalen Signalprozessor (DSP), einen Mikrocontroller etc. umfassen. Die Allzweck-Verarbeitungseinheit kann ferner ausgebildet sein, um das künstliche neuronale Netz zu trainieren, zu emulieren oder zu betreiben. Das Steuerungsmodul 14 kann ausgebildet sein, um das Steuerungssignal bereitzustellen, um ein mobiles Gerät basierend auf Gesten eines Benutzers des mobilen Geräts zu steuern, die durch elektromagnetische Strahlung repräsentiert werden. Zum Beispiel kann die externe Entität eines sein aus einem Roboter, einem Maschinenwerkzeug, einem Fahrzeug, einer elektronischen Verriegelung, einem Monitor, einem TV-Set, einem elektronischen Spiel, einer Spielesteuerung, einer Küchenausrüstung, einem Haushaltsgerät, einer Vorrichtung, die ausgebildet ist, um aktiv gesteuert zu werden und einer Vorrichtung, die ausgebildet ist, um auf ihre Umgebung zu reagieren.
Die Informationen bezogen auf die detektierte Eigenschaft können eine digitale oder analoge Darstellung der detektierten Eigenschaft umfassen. Bei verschiedenen Ausführungsbeispielen können die Informationen, die sich auf die detektierte Eigenschaft beziehen, auf einem Paketformat basieren, das einen Bitcode oder eine Bitsequenz umfasst, die die detektierte Eigenschaft repräsentieren. Die Informationen bezogen auf die detektierte Eigenschaft können eine digitale Repräsentation einer Klassifizierung der detektierten Eigenschaft aufweisen, z.B. eine detektierte Geste gemäß einer Klassifizierung von Gesten oder eine detektierte Bewegung gemäß einer Klassifizierung einer Bewegung. Zum Beispiel können die Informationen bezogen auf die detektierte Eigenschaft anzeigen, dass ein bekanntes Gesicht detektiert wurde.
Bei einigen Ausführungsbeispielen können das Sensormodul 12 und das Rechenmodul 14 auf einem einzelnen Chip implementiert sein. Zum Beispiel können sowohl das das Sensormodul 12 als auch das Rechenmodul 14 innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sein. Bei zumindest einigen Ausführungsbeispielen können das Rechenmodul 14 und der elektromagnetische Strahlungssensor 12a innerhalb desselben Halbleitersubstrats implementiert sein und die codierte Maske 12b kann innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sein. Alternativ können das Sensormodul 12 und das Rechenmodul 14 unter Verwendung eines Chipstapels implementiert sein. Bei einigen anderen Ausführungsbeispielen kann das Sensormodul 12 innerhalb eines ersten Chips des Chipstapels implementiert sein und das Rechenmodul 14 kann innerhalb eines zweiten Chips des Chipstapels implementiert sein. Alternativ kann der elektromagnetische Strahlungssensor 12a innerhalb des ersten Chips implementiert sein und die codierte Maske 12b kann auf dem ersten Chip angeordnet sein. Alternativ oder zusätzlich können das Sensormodul 12 und das Rechenmodul 14 innerhalb des gleichen Halbleitergehäuses implementiert sein. Das Bilden des Sensormoduls und des Rechenmoduls auf demselben Chip/Substrat/Gehäuse kann eine Größe einer Vorrichtung reduzieren, während Herstellungskosten der Vorrichtung reduziert werden, da eine Anzahl von Schritten reduziert werden kann, die zum Herstellen der Vorrichtung erforderlich sind.
Die vertikale Richtung und eine vertikale Abmessung oder Dicken von Schichten können orthogonal zu einer Vorderseitenoberfläche des elektromagnetischen Strahlungssensors 12a gemessen werden und eine laterale Richtung und laterale Abmessungen können parallel zu der Vorderseitenoberfläche des elektromagnetischen Strahlungssensors 12a gemessen werden.
Der Ausgang 16 kann einer Schnittstelle zum Senden von Information entsprechen, die durch digitale (Bit-)Werte gemäß einem spezifizierten Code oder Protokoll, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen unterschiedlicher Entitäten repräsentiert sein kann.
1C zeigt ein Flussdiagramm eines (entsprechenden) Verfahrens zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten. Das Verfahren umfasst ein Erfassen 110 einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten. Das Verfahren umfasst ferner ein Detektieren 120 einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes. Dabei wird die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes detektiert, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen. Das Verfahren umfasst ferner ein Ausgeben 130 von Informationen bezogen auf die detektierte Eigenschaft.
Das Verwenden eines (linsenlosen) Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann. Das Verwenden eines künstlichen neuronalen Netzes zum lokalen Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine leistungseffiziente Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht an einen entfernten Server übertragen werden müssen, damit der Server die Eigenschaft detektiert.
Weitere Details und Aspekte des Verfahrens werden in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1a bis 1b) beschriebenen Beispielen erwähnt. Das Verfahren kann ein oder mehrere zusätzliche optionale Merkmale aufweisen, die einem oder mehreren Aspekten des vorgeschlagenen Konzepts oder einem oder mehreren, vorstehend oder nachstehend beschriebenen Beispielen entsprechen.
2 zeigt ein Flussdiagramm eines Verfahrens zum Herstellen oder Bilden einer Vorrichtung, z.B. zum Bilden der Vorrichtung 10 von 1a-1b. Die Vorrichtung kann ähnlich zu der Vorrichtung 10 von 1a-1b implementiert sein. Das Verfahren umfasst ein Bilden 210 eines Sensormoduls (z.B. des Sensormoduls 12 von 1a-1b) durch Bilden 212 eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und Bilden 214 einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Das Verfahren umfasst ferner das Bilden 220 eines Rechenmoduls (z.B. des Rechenmoduls 14 aus 1a-1b), das ein künstliches neuronales Netz aufweist (oder ausgebildet ist, dieses zu emulieren und betreiben). Das Rechenmodul ist ausgebildet zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes ausgebildet. Dabei ist das Rechenmodul ausgebildet, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft ausgebildet.
Das Verwenden eines linsenlosen Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft aus den elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann.

Claims

Eine Vorrichtung (10), umfassend: ein Sensormodul (12), umfassend: ein elektromagnetischer Strahlungssensor (12a), der zum Bereitstellen elektromagnetischer Strahlungssensordaten ausgebildet ist, und eine codierte Maske (12b), die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor (12a) auftrifft; und ein Rechenmodul (14), das ausgebildet ist zum: Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor (12a), Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, wobei das Rechenmodul (14) ausgebildet ist, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen, und Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang (16).
Die Vorrichtung (10) gemäß Anspruch 1, wobei die elektromagnetischen Strahlungssensordaten rohen elektromagnetischen Strahlungssensordaten entsprechen, und/oder wobei die elektromagnetischen Strahlungssensordaten unverarbeiteten elektromagnetischen Strahlungssensordaten entsprechen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) ein linsenloses Sensormodul (12) ist.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) und das Rechenmodul (14) auf einem einzelnen Chip implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) innerhalb des gleichen Halbleitergehäuses implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) unter Verwendung eines Chipstapels implementiert sind.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei die codierte Maske (12b) eine Apertur-codierte Maske ist, und wobei die Apertur-codierte Maske einem Element der Gruppe von einem modifizierten einheitlich redundanten Array, einem hexagonalen einheitlich redundanten Array, einem Stiftloch, einer Apertur-codierten Maske mit einem Pseudozufallsmuster, einer Apertur-codierten Maske mit einem Zufallsmuster, einer Apertur-codierten Maske mit einem Chip-spezifischen oder Chip-individuellen Muster und einer Apertur-codierten Maske mit einem annähernd flachen Fourier-Spektrum entspricht, und/oder wobei die Apertur-codierte Maske eine Apertur-codierte, optische Maske ist.
Die Vorrichtung (10) gemäß einem der Ansprüche 1-4, wobei die codierte Maske (12b) eine Gitter-codierte Maske ist.
Die Vorrichtung (100) gemäß einem der vorangehenden Ansprüche, wobei eine Distanz zwischen dem elektromagnetischen Strahlungssensor (12a) und der codierten Maske (12b) weniger als 5mm ist, und/oder wobei die elektromagnetische Strahlung zumindest eines ist aus ultraviolettem Licht, sichtbarem Licht und Infrarotlicht, und/oder wobei die Eigenschaft eine optische Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung (10) ist, wobei die elektromagnetische Strahlung durch das zumindest eine Objekt beeinflusst wird.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um sichtbares Licht zu erfassen, und/oder wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um Infrarotlicht zu erfassen, und/oder wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um ultraviolettes Licht zu erfassen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul ferner ein Filter aufweist, das ausgebildet ist, um elektromagnetische Strahlung außerhalb eines vordefinierten Frequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß Anspruch 9, wobei das Sensormodul (12) ferner ein optisches Filter aufweist, das ausgebildet ist, um Licht außerhalb von zumindest einem eines sichtbaren Lichtfrequenzbereichs, eines Infrarotlicht-Frequenzbereichs und eines ultravioletten Lichtfrequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) ferner ein abstimmbares Farbfilter aufweist, das ausgebildet ist, um Licht außerhalb eines einstellbaren Frequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netz unter Verwendung resistiver Direktzugriffsspeicher-Elemente implementiert ist, um seine Funktion zu konfigurieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ferner eine Allzweck-Verarbeitungseinheit aufweist, die ausgebildet ist, um die detektierte Eigenschaft zu verarbeiten, um ein Steuerungssignal zu erzeugen, um eine externe Entität zu steuern, und/oder wobei das Rechenmodul (14) ferner eine Allzweck-Verarbeitungseinheit aufweist, die ausgebildet ist, um das künstliche neuronale Netz zu emulieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ausgebildet ist, um eine optische Eigenschaft von zumindest einem Objekt zu klassifizieren, die die elektromagnetische Strahlung beeinflusst, unter Verwendung des künstlichen neuronalen Netzes, wobei das Rechenmodul (14) ausgebildet ist, um eine Gesichtserkennung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Gestendetektion oder Gesteninterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Bewegungsdetektion oder Bewegungsinterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Bilddarstellung der elektromagnetischen Strahlung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netz zumindest zwei verdeckte Schichten aufweist.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ausgebildet ist, um das künstliche neuronale Netz zumindest teilweise basierend auf der codierten Maske zu trainieren, oder wobei das künstliche neuronale Netz einem vortrainierten künstlichen neuronalen Netz entspricht.
Ein Verfahren, umfassend: Erfassen (110) einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten; Detektieren (120) einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, wobei die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes detektiert wird, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen; Ausgeben (130) von Informationen bezogen auf die detektierte Eigenschaft.
Ein Verfahren zum Herstellen einer Vorrichtung, das Verfahren umfassend: Bilden (210) eines Sensormoduls durch Bilden (212) eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und Bilden (214) einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft; Bilden (220) eines Rechenmoduls, das ein künstliches neuronales Netz aufweist, wobei das Rechenmodul ausgebildet ist zum: Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor; Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, wobei das Rechenmodul ausgebildet ist, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen, und Ausgeben von Informationen bezogen auf die detektierte Eigenschaft.
Das Verfahren gemäß Anspruch 18, wobei das Bilden (220) des Rechenmoduls ferner das zumindest teilweise Trainieren des künstlichen neuronalen Netzes unter Verwendung des Rechenmoduls basierend auf der codierten Maske aufweist, und/oder wobei das Bilden (220) des Rechenmoduls ferner das Laden von Informationen bezogen auf ein vortrainiertes künstliches neuronales Netz in das Rechenmodul aufweist, um das künstliche neuronale Netz zu erhalten.
Das Verfahren gemäß einem der Ansprüche 18 oder 19, wobei das Bilden (210) des Sensormoduls folgendes umfasst: Bilden (212a) des elektromagnetischen Strahlungssensors innerhalb eines Halbleitersubstrats eines Halbleiterbauelements, umfassend die Vorrichtung; Bilden (214a) der codierten Maske auf oder innerhalb des Halbleitersubstrats; und Bilden (216) eines Hohlraums zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske, wobei eine vertikale Distanz zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske innerhalb des Hohlraums kleiner ist als 1 mm.