DE102015223121A1

DE102015223121A1 - Hochauflösungsbilderzeugungsgeräte mit niedrigauflösungssensoren und compressive sensing unter ausnutzung von joint sparsity

Info

Publication number: DE102015223121A1
Application number: DE102015223121.6A
Authority: DE
Inventors: Edgar A. Bernal; Xuejin Wen; Qun Li; Raja Bala
Original assignee: Xerox Corp
Current assignee: Conduent Business Services LLC
Priority date: 2014-12-11
Filing date: 2015-11-23
Publication date: 2016-06-16
Also published as: KR102434554B1; KR20160071318A; US20160173771A1; US9615022B2

Abstract

Ein Verfahren und ein System zum Rekonstruieren eines Bildes einer Szene umfasst das Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster. Mit der Szene assoziierte Lichtenergie, die auf das räumlich variierende Muster fällt, wird gesammelt und optisch auf die Fotodetektoren fokussiert. Daten, die die Intensität der fokussierten Lichtenergie von jedem der genannten wenigstens zwei Fotodetektoren anzeigen, werden gesammelt. Daten von den Fotodetektoren werden dann zum Rekonstruieren eines Bildes der Szene kombiniert.

Description

Die Interaktion von Bildverarbeitungs- und Computer-Vision-Technologien mit Abbildungungstechnologien hat zu Fortschritten in Bereichen wie Transportüberwachung, Überwachung sowie Bilderzeugung in der Medizin und anderen geführt. Bei einigen Anwendungen werden Bilder mit sehr hoher Auflösung benötigt, um Algorithmen für räumliche Merkmalsextraktion, Verfolgungsanwendungen, bei denen Objektwege mit einer bestimmten Genauigkeit bekannt sein müssen, usw. zu unterstützen.
Zum Beispiel, in Anwendungen wie dem Erkennen der Kontur eines Krebstumors in einem menschlichen Körper wird Wärmebilderzeugung mit hoher Auflösung benötigt. Siliciumgestützte Imaging-Sensoren auf der Basis von sichtbaren und NIR-(Naheinfrarot)Sensoren wie ladungsgekoppelte Geräte (CCD) und komplementäre Metalloxidhalbleiter (CMOS) können mit üblichen und kostenarmen Siliciumverarbeitungstechniken hergestellt werden. Da Silicium im sichtbaren elektromagnetischen (EM) Bereich fotoempfindlich ist, ist es dann möglich, Rot-Grün-Blau-(RGV) und NIR-Sensoren mit Auflösungen von bis zu 10.000 (H) × 7096 (V) Pixeln auf einem 35 mm (diagonale Länge) Chip zu relativ niedrigen Kosten herzustellen. Für die Thermografie (und andere Anwendungen) ist die benötigte Pixelgröße jedoch von Natur aus hoch und fotoempfindliches Material mit Empfindlichkeit in diesen EM-Bändern sind mit Siliciumherstellungstechnologien nicht kompatibel. Somit lassen sich im thermischen Band empfindliche Imaging-Sensor-Chips mit hoher Auflösung nur schwer und teuer herstellen.
Es besteht daher Bedarf an Verfahren, Systemen und Vorrichtungen, die Bilderzeugung mit hoher Definition jenseits des sichtbaren EM-Bereichs mittels Niedrigauflösungssensorchips und Compressive-Sensing-Konzepten unter Ausnutzung von Joint-Sparsity-Annahmen ermöglichen.
Die folgende Zusammenfassung soll ein Verständnis von einigen der innovativen Merkmale erleichtern, die für die offenbarten Ausgestaltungen spezifisch sind und keine vollständige Beschreibung darstellen sollen. Ein vollständiges Bild der verschiedenen Aspekte der Ausgestaltungen kann anhand der gesamten Spezifikation, der Ansprüche, der Zeichnungen und der Zusammenfassung insgesamt gewonnen werden.
Es ist daher ein Aspekt der offenbarten Ausgestaltung, ein Verfahren und ein System zur Bilderzeugung bereitzustellen.
Es ist ein anderer Aspekt der offenbarten Ausgestaltungen, ein Verfahren und ein System zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren bereitzustellen.
Es ist noch ein anderer Aspekt der offenbarten Ausgestaltungen, ein verbessertes Verfahren und System zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren mit Compressive-Sensing-Techniken und unter Ausnutzung von Joint Sparsity bereitzustellen.
Die oben erwähnten Aspekte sowie andere Aufgaben und Vorteile können nun wie hierin beschrieben erzielt werden. Ein Verfahren und ein System zum Rekonstruieren eines Bildes einer Szene beinhaltet das Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster, das Sammeln und optische Fokussieren von mit der Szene assozierter Lichtenergie, die auf das räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren einfällt; das Sammeln von Daten, die die Intensität der fokussierten Lichtenergie von jedem der wenigstens zwei Fotodetektoren anzeigen; und das Kombinieren der Daten von den wenigstens zwei Fotodetektoren, um ein Bild der Szene zu rekonstruieren.
Die Begleitzeichnungen, in denen sich gleiche Bezugsziffern auf identische oder funktionell ähnliche Elemente in allen separaten Ansichten beziehen und die in die Spezifikation integriert sind oder Bestandteil davon bilden, illustrieren die Ausgestaltungen weiter und dienen, zusammen mit der ausführlichen Beschreibung, zum Erläutern der hierin offenbarten Ausgestaltungen.
1A zeigt ein Blockdiagramm eines Computersystems, das gemäß den offenbarten Ausgestaltungen implementiert ist;
1B zeigt ein Blockdiagramm einer Bildaufnahmevorrichtung mit einem assoziierten Computersystem, die gemäß den offenbarten Ausgestaltungen implementiert ist;
2 zeigt eine grafische Darstellung eines Netzwerks von Datenverarbeitungsgeräten, in denen Aspekte der vorliegenden Erfindung implementiert werden können;
3 illustriert ein Computersoftwaresystem zum Leiten des Betriebs des in 1 dargestellten Datenverarbeitungssystems gemäß einer beispielhaften Ausgestaltung;
4A zeigt ein System zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
4B zeigt eine alternative Ausgestaltung eines Systems zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
5A zeigt ein Mapping zwischen einem Bildsensor und einem digitalen Lichtmodulator, assoziiert mit einem System und einem Verfahren zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
5B zeigt einen Bildsensor, assoziiert mit einem System und einem Verfahren zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
6 zeigt ein Fließschema von Logikoperationsschritten, assoziiert mit einem Verfahren zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
7 zeigt ein Fließschema von Logikoperationsschritten, assoziiert mit einem alternativen Verfahren zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
8 zeigt ein Fließschema von Logikoperationsschritten, assoziiert mit einem anderen alternativen Verfahren zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen;
9A zeigt ein Blockdiagramm von Modulen, assoziiert mit einem System und einer Vorrichtung zum Implementieren eines Verfahrens zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen; und
9B zeigt ein Blockdiagramm von Modulen, assoziiert mit einer alternativen Ausgestaltung eines Systems und einer Vorrichtung zum Implementieren eines Verfahrens zur Hochauflösungsbilderzeugung unter Verwendung von Niedrigauflösungssensoren gemäß den offenbarten Ausgestaltungen.
Die in diesen nicht begrenzenden Beispielen erörterten besonderen Werte und Konfigurationen können variiert werden und sollen lediglich wenigstens eine Ausgestaltung illustrieren und deren Umfang nicht begrenzen.
Die 1–3 werden als beispielhafte Diagramme von Datenverarbeitungsumgebungen gegeben, in denen Ausgestaltungen der vorliegenden Erfindung implementiert werden können. Es ist zu verstehen, dass die 1–3 lediglich beispielhaft sind und dass sie keine Begrenzung mit Bezug auf die Umgebungen auferlegen oder implizieren sollen, in denen Aspekte oder Ausgestaltungen der offenbarten Ausgestaltungen implementiert werden können. Es können zahlreiche Modifikationen an den veranschaulichten Umgebungen vorgenommen werden, ohne von Wesen und Umfang der offenbarten Ausgestaltungen abzuweichen.
1 zeigt ein Blockdiagramm eines Computersystems 100, das Programmierung zum Implementieren von Teilen der hierin offenbarten Verfahren und Systeme ausführt. Ein Computergerät in Form eines Computers 110, konfiguriert für eine Verbindung mit Sensoren und anderen hierin offenbarten Elementen, kann eine Verarbeitungseinheit 102, Memory 104, entfernbaren Speicher 112 und nicht entfernbaren Speicher 114 umfassen. Memory 104 kann flüchtigen Memory 106 und nichtflüchtigen Memory 108 beinhalten. Der Computer 110 kann eine Rechenumgebung beinhalten oder Zugang zu einer solchen haben, die eine Reihe verschiedener transistorischer und nicht transitorischer computerlesbarer Medien wie flüchtigen Memory 106 und nichtflüchtigen Memory 108, entfernbaren Speicher 112 und nicht entfernbaren Speicher 114 beinhaltet. Computerspeicher beinhaltet beispielsweise Arbeitsspeicher (RAM), Festwertspeicher (ROM), löschbaren programmierbaren Festwertspeicher (EPROM) und elektrisch löschbaren, programmierbaren Festwertspeicher (EEPROM), Flash-Memory oder andere Memory-Technologien, Compact-Disc-Festwertspeicher (CD ROM), Digital Versatile Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, Magnetband, Magnetplattenspeicher oder andere Magnetspeichergeräte oder jedes andere Medium, das computerlesbare Befehle sowie Daten einschließlich Bilddaten speichern kann.
Der Computer 110 kann eine Rechenumgebung beinhalten oder Zugang zu einer solchen haben, die den Eingang 116, den Ausgang 118 und eine Kommunikationsverbindung 120 beinhaltet. Der Computer kann in einer vernetzten Umgebung mit einer Kommunikationsverbindung an ein oder mehrere Ferncomputer oder -geräte arbeiten. Der Ferncomputer kann einen PC (Personal Computer), Server, Router, Netzwerk-PC, ein Peer-Gerät oder einen anderen gemeinsamen Netzwerkknoten oder dergleichen beinhalten. Das Ferngerät kann eine Kamera, eine Videokamera, ein Ortungsgerät, ein Bildsensor oder dergleichen sein. Die Kommunikationsverbindung kann ein lokales Datennetz (LAN), ein Weitverkehrsnetz (WAN) oder ein anderes Netzwerk sein. Diese Funktionalität wird ausführlicher in Verbindung mit 2 unten beschrieben.
Der Ausgang 118 wird üblicherweise als Computermonitor bereitgestellt, kann aber auch jedes andere Computerausgabegerät beinhalten. Der Ausgang 118 kann auch eine mit dem Computersystem 110 assoziierte Datensammelvorrichtung beinhalten. Zusätzlich erlaubt es der Eingang 116, der gewöhnlich eine Computertastatur und/oder ein Zeigegerät wie eine Computermaus, ein Computer-Trackpad oder dergleichen beinhaltet, einem Benutzer, das Computersystem 100 auszuwählen und zu bedienen. Es kann eine Benutzerschnittstelle über den Ausgang 118 und den Eingang 116 bereitgestellt werden. Der Ausgang 118 kann als Display zum Anzeigen von Daten und Informationen für einen Benutzer und zum interaktiven Anzeigen einer grafischen Benutzeroberfläche (GUI) 130 fungieren.
Man beachte, dass sich der Begriff „GUI” allgemein auf einen Umgebungstyp bezieht, der Programme, Dateien, Optionen und so weiter mittels grafisch angezeigter Icons, Menüs und Dialogboxen auf einem Computer-Monitorbildschirm darstellt. Ein Benutzer kann mit der GUI interagieren und solche Optionen durch direktes Berühren des Bildschirms und/oder durch Zeigen und Anklicken mit einem Benutzereingabegerät 116 wie zum Beispiel einem Zeigegerät wie einer Maus und/oder mit einer Tastatur auswählen und aktivieren. Ein bestimmter Gegenstand kann auf dieselbe Weise in allen Anwendungen für den Benutzer funktionieren, weil die GUI standardmäßige Softwareroutinen bereitstellt (z. B. Modul 125), um diese Elemente zu handhaben und die Aktionen des Benutzers zu melden. Die GUI kann ferner zum Anzeigen der elektronischen Service-Image-Frames wie nachfolgend erörtert benutzt werden.
Computerlesbare Befehle, zum Beispiel das Programmmodul 125, das für andere hierin beschriebene Module repräsentativ sein kann, werden auf einem computerlesbaren Medium gespeichert und können von der Verarbeitungseinheit 102 des Computers 110 ausgeführt werden. Das Programmmodul 125 kann eine Computer-Anwendung beinhalten. Eine Festplatte, CD-ROM, RAM, Flash-Memory und ein USB-Drive sind nur einige Beispiele für Artikel, die ein computerlesbares Medium beinhalten.
1B illustriert eine alternative Ausgestaltung, in der das Computersystem 110 in ein Bildaufnahmegerät 204 integriert ist. In dieser Ausgestaltung ist das Bildaufnahmegerät 204 mit einem Prozessor 102, einem flüchtigen Memory 106 und einem nichtflüchtigen Memory 108, einem entfernbaren Speicher 112, einem nicht entfernbaren Speicher 114 und einer Kommunikationsverbindung 120 ausgestattet. Das Bildaufnahmegerät 204 kann auch einen assoziierten Eingang 116 und Ausgang 118 haben.
In der in 1B illustrierten Ausgestaltung kann ein Programm 125 mit der mit dem Bordcomputersystem 110 assoziierten internen Hardware implementiert werden. Dies lässt es zu, dass die nachfolgend beschriebene Verarbeitung ohne externes Computersystem oder in Assoziation mit einem externen Computersystem implementiert wird. In alternativen Ausgestaltungen kann die mit dem Bordcomputersystem assoziierte Hardware physisch von dem Bildaufnahmegerät getrennt sein und beide Geräte können über ein Kommunikationsnetz verknüpft sein.
2 zeigt eine grafische Darstellung eines Netzwerks von Datenverarbeitungssystemen 200, in denen Aspekte der vorliegenden Erfindung implementiert sein können. Das Netzdatenverarbeitungssystem 200 ist ein Netzwerk von Computern, in dem Ausgestaltungen der vorliegenden Erfindung implementiert sein können. Man beachte, dass das System 200 im Zusammenhang mit einem Software-Modul wie dem Programmmodul 125 implementiert sein kann. Das System 200 beinhaltet ein Netzwerk 202 in Kommunikation mit einem oder mehreren Clients 210, 212 und 214. Das Netzwerk 202 ist ein Medium, das zum Bereitstellen von Kommunikationsverbindungen zwischen verschiedenen Geräten und Computern benutzt werden kann, die innerhalb eines verletzten Datenverarbeitungssystems wie dem Computersystem 100 miteinander verbunden sind. Das Netzwerk 202 kann Verbindungen wie verdrahtete Kommunikationsverbindungen, drahtlose Kommunikationsverbindungen oder Lichtwellenleiter beinhalten. Das Netzwerk 202 kann ferner mit einem oder mehreren Servern 206, einem oder mehreren externen Geräten wie dem Sensor 204 und einer Memory-Speichereinheit wie beispielsweise dem/der Memory oder Datenbank 208 kommunizieren.
In dem beschriebenen Beispiel sind der Sensor 204 und der Server 206 mit dem Netzwerk 202 zusammen mit der Speichereinheit 208 verbunden. Zusätzlich sind die Clients 210, 212 und 214 mit dem Netzwerk 202 verbunden. Diese Clients 210, 212 und 214 können beispielsweise PCs oder Netzwerkcomputer sein. Das in 1 gezeigte Computersystem 100 kann beispielsweise ein Client wie der Client 210, 212 und/oder 214 sein. Alternativ können Clients 210, 212 und 214 auch beispielsweise eine fotografische Kamera, eine Videokamera, ein Ortungsgerät, ein medizinisches Bilderzeugungsgerät usw. sein.
Das Computersystem 100 kann auch als Server wie der Server 206 implementiert werden, je nach Designüberlegungen. In dem dargestellten Beispiel stellt der Server 206 Daten wie Boot-Dateien, Betriebssystembilder, Anwendungen und Anwendungs-Updates für Clients 210, 212 und 214 und/oder für die Videokamera 204 bereit. Die Clients 210, 212 und 214 sowie der Sensor 204 sind in diesem Beispiel Clients gegenüber dem Server 206. Das Netzdatenverarbeitungssystem 200 kann zusätzliche Server, Clients und andere Geräte (nicht gezeigt) beinhalten. Speziell, Clients können mit jedem beliebigen Mitglied eines Netzwerks von Servern verbunden werden, die äquivalenten Inhalt bereitstellen.
In dem gezeigten Beispiel ist das Netzdatenverarbeitungssystem 200 das Internet, wobei das Netzwerk 202 eine weltweite Sammlung von Netzwerken und Gateways repräsentiert, die die TCP/IP-(Transmission Control Protocol/Internet Protocol)-Protokoll-Suite benutzen, um miteinander zu kommunizieren. Kernstück des Internets ist ein Gerüst von Hochgeschwindigkeits-Datenkommunikationsleitungen zwischen Hauptknoten oder Host-Computern bestehend aus Tausenden von Gewerbe-, Regierungs-, Ausbildungs- und anderen Computersystemen, die Daten und Nachrichten leiten. Das Netzdatenverarbeitungssystem 200 kann natürlich auch als eine Reihe verschiedener Netzwerktypen implementiert werden, wie zum Beispiel ein Intranet, ein lokales Datennetz (LAN) oder ein Weitverkehrsnetz (WAN). Die 1 und 2 sind als Beispiele und nicht als architektonische Begrenzungen für verschiedene Ausgestaltungen der vorliegenden Erfindung gedacht.
3 illustriert ein Computer-Softwaresystem 300, das zum Anweisen des Betriebs der Datenverarbeitungssysteme wie das in 1 gezeigte Computersystem 100 eingesetzt werden können. Eine Software-Anwendung 305 kann in Memory 104, auf einem entfernbaren Speicher 112 oder auf einem nicht entfernbaren Speicher 114 wie in 1 gezeigt gespeichert werden und beinhaltet im Allgemeinen ein und/oder ist assoziiert mit einem Kernel oder Betriebssystem 310 und einer Shell oder Interface 315. Ein oder mehrere Anwendungsprogramme, wie zum Beispiel Modul(e) 125, kann/können zur Ausführung durch das Datenverarbeitungssystem 100 „geladen” (d. h. vom entfernbaren Speicher 114 in das Memory 104 übertragen) werden. Das Datenverarbeitungssystem 100 kann Benutzerbefehle und Daten durch die Benutzeroberfläche 315 empfangen, die einen für einen Benutzer 320 zugängigen Eingang 116 und Ausgang 118 haben kann. Auf diese Eingänge kann dann das Computersystem 100 gemäß Befehlen vom Betriebssystem 310 und/oder der Software-Anwendung 305 oder (einem) beliebigen Software-Modul(en) 125 davon einwirken.
Im Allgemeinen können Programmmodule (z. B. das Modul 125), jedoch ohne darauf begrenzt zu sein, Routinen, Subroutinen, Software-Anwendungen, Programme, Objekte, Komponenten, Datenstrukturen usw. beinhalten, die bestimmte Aufgaben erfüllen oder bestimmte abstrakte Datentypen und Befehle implementieren. Ferner wird die Fachperson erkennen, dass das offenbarte Verfahren und System mit anderen Computer-Systemkonfigurationen wie Handgeräten, Multi-Prozessorsystemen, Datennetzen, Mikroprozessor-basierter oder programmierbarer Verbraucherelektronik, vernetzten PCs, Minicomputern, Mainframe-Computern, Servern und dergleichen umgesetzt werden können.
Man beachte, dass sich der hierin verwendete Begriff Modul auf eine Sammlung von Routinen und Datenstrukturen beziehen kann, die eine bestimmte Aufgabe erfüllen oder einen bestimmten abstrakten Datentyp implementieren. Module können sich aus zwei Teilen zusammensetzen: einer Schnittstelle, die die Konstanten, Datentypen, Variablen und Routinen aufführt, auf die von anderen Modulen oder Routinen zugegriffen werden kann; und einer Implementation, die typischerweise privat (das heißt nur für dieses Modul zugängig) ist und die Source-Code beinhaltet, der tatsächlich die Routinen in dem Modul implementiert. Der Begriff Modul kann sich auch einfach auf eine Anwendung wie zum Beispiel ein Computer-Programm beziehen, das zum Assistieren beim Durchführen einer bestimmten Aufgabe wie zum Beispiel Textverarbeitung, Rechnungswesen, Inventarmanagement usw. ausgelegt ist.
Die Schnittstelle 315 (z. B. eine grafische Benutzeroberfläche 130) kann zum Anzeigen von Ergebnissen dienen, so dass ein Benutzer 320 zusätzliche Eingaben machen oder eine bestimmte Sitzung beenden kann. In einigen Ausgestaltungen kann das Betriebssystem 310 und die GUI 130 in Zusammenhang mit einem „Windows”-System implementiert werden. Man wird jedoch erkennen, dass auch andere Systemtypen möglich sind. Zum Beispiel, anstatt eines traditionellen „Windows”-Systems können auch andere Betriebssysteme wie beispielsweise ein Echtzeitbetriebssystem (RTOS), das eher in drahtlosen Systemen eingesetzt wird, ebenfalls mit Bezug auf das Betriebssystem 310 und die Schnittstelle 315 zum Einsatz kommen. Die Software-Anwendung 305 kann beispielsweise (ein) Modul(e) 125 beinhalten, das/die Befehle zum Ausführen von Schritten oder Logikoperationen wie den hierin gezeigten und beschriebenen beinhalten.
Die folgende Beschreibung wird mit Bezug auf Ausgestaltungen der vorliegenden Erfindung präsentiert, die im Zusammenhang mit einem solchen Computersystem 100, in Verbindung mit dem Programmmodul 125, dem Datenverarbeitungssystem 200 und dem Netzwerk 202 wie in den 1–3 veranschaulicht ausgestaltet sein kann oder den Einsatz eines solchen Systems erfordern. Die vorliegende Erfindung ist jedoch nicht auf irgendeine besondere Anwendung oder irgendeine besondere Umgebung begrenzt. Stattdessen wird die Fachperson finden, dass das System und Verfahren der vorliegenden Erfindung vorteilhafterweise auf eine Reihe verschiedener System- und Anwendungssoftware einschließlich Datenbankmanagementsysteme, Textverarbeiter und dergleichen angewandt werden kann. Darüber hinaus kann die vorliegende Erfindung auf einer Reihe verschiedener Plattformen wie Windows, Macintosh, UNIX, LINUX, Android und dergleichen ausgestaltet werden. Daher sind die nachfolgenden Beschreibungen der beispielhaften Ausgestaltungen lediglich für illustrative Zwecke und sind nicht als Begrenzung anzusehen.
Die hierin offenbarten Ausgestaltungen nutzen Compressive-Sensing-Technologien zum Rekonstruieren von Bildern mit einem Imaging-Sensor oder einem Fotodetektor-Array, gekoppelt mit einem räumlichen oder mehrdimensionalen digitalen Lichtmodulator (DLM). Der Imaging-Sensor kann eine Reihe von fotosensitiven Pixeln umfassen.
In einer Ausgestaltung der Erfindung wird Licht von einem/r Objekt/Szene zunächst über eine Linse oder ein anderes optisches System auf die Oberfläche eines DLM fokussiert. Der DLM ist gemäß einer Serie von Abtastmustern (gewöhnlich zufällig oder pseudozufällig), ein Muster pro Aufnahmezyklus, konfiguriert. In einer Ausgestaltung, wenn ein reflektiver DLM wie zum Beispiel ein Mikrospiegelaktor (DMD) oder ein reflektives LCOS-(Flüssigkristall auf Silicium)-Gerät benutzt wird, kann man sich den DLM als aus einem Array von Teilsektionen bestehend aus einem Satz von Mikrospiegeln zusammengesetzt vorstellen. In anderen Ausgestaltungen können transmissive DLMs wie zum Beispiel solche auf der Basis von transmissivem Flüssigkristall (LC) benutzt werden; in diesem Fall kann man sich den DLM als aus einem Array von Teilsektionen bestehend aus einem Satz von transmissiven Lichtmodulatoren zusammengesetzt vorstellen. Jede der Teilsektionen kann auf ein Element in einem assoziierten Fotodetektor gemappt werden.
In einem einzigen Aufnahmezyklus wird auf den DLM einfallendes Licht nach dem räumlichen Muster moduliert, gemäß dem der DLM konfiguriert ist (oder spezieller, nach jeder der Teilsektionen des DLM), und das modulierte Licht wird von einem Fotodetektor gesammelt, der mit einem stromabwärts im Lichtweg befindlichen Imaging-Sensor assoziiert ist. Jede Teilsektion des DLM hat ein assoziiertes optisches Element wie zum Beispiel eine Linse, die Licht auf ein individuelles Pixel in dem Fotodetektor oder dem Imaging-Sensor fokussiert. Jeder/s Fotodetektor oder Pixel gibt einen gemessenen Lichtintensitätswert aus, der der Intensität des Lichts entspricht, das gemäß dem in der entsprechenden Teilsektion des DLM erzeugten Zufallsmuster moduliert wird.
Der DLM kann gemäß einem anderen räumlichen Muster umgeordnet werden, dann kann der Aufnahmezyklus wiederholt werden. Für jeden Aufnahmezyklus werden eine Vielzahl von gemessenen Werten zusammen mit den entsprechenden räumlichen Mustern und optional Joint-Sparsity-Annahmen zusammen mit gemessenen Werten und entsprechenden Mustern über benachbarte Fotodetektoren oder Pixel zum Rekonstruieren der Bilder im Sichtfeld jedes Pixels in dem Imaging-Sensor anhand von Compressive-Sensing-Theorie benutzt. Die Bilder von individuellen Pixeln werden dann zusammengestitcht oder mosaikförmig zusammengefügt, um ein Bild des/der ursprünglichen Objekts/Szene zu bilden.
4A illustriert ein Blockdiagramm 400, das mit Systemen und Verfahren zum Rendern von Hochauflösungsbildern mittels Niedrigauflösungssensoren und Compressive-Sensing-Technologie unter Ausnutzung von Joint-Sparsity-Annahmen assoziiert ist.
In 4A hat ein Imaging-System 425 einen Lichtweg mit einer ersten Linse 405, gefolgt von einem DLM 410. Der DLM 410 kann beispielsweise ein Array von reflektierenden oder transmittierenden Elementen sein, wie zum Beispiel Mikrospiegel im reflektiven Fall, oder alternativ Pixel in einem Flüssigkristall-(LC)-Gerätearray im transmissiven Fall. Der DLM 410 kann gemäß einem Array von Teilsektionen der Größe |×k (wie in 5A gezeigt) segmentiert werden. Der Linsensatz 415 fokussiert Licht von jeder Teilsektion des DLM 410 auf einen relativ niedrig auflösenden Imaging-Sensor (oder Fotodetektor-Array) 420, der Pixel (zum Beispiel ein Array von Pixeln der Größe m×n wie in 5B gezeigt) beinhaltet. In einer Ausgestaltung ist m ≤ 640 und n ≤ 480, aber es können alternativ auch andere Pixel-Array-Größen benutzt werden. Es ist zu verstehen, dass die vorliegende Erfindung DLMs und Imaging-Sensoren mit Pixel-Arrays verschiedener Größen je nach Designüberlegungen beinhalten kann.
Der DLM 410 moduliert eingehendes Licht 402 gemäß der räumlichen Musterkonfiguration und projiziert (z. B. reflektiert oder transmittiert) das modulierte Licht auf den Bildsensor 420 über das Linsenarray 415. In einer bevorzugten Ausgestaltung werden eine Reihe von Aufnahmen gemacht. Die Charakteristiken des räumlichen Musters, gemäß dem DLM 410 konfiguriert ist, werden für jede Aufnahme variiert. Dies kann durch Modifizieren der Konfiguration der Teilsektionen 610 des DLM 410 nach jeder Aufnahme erfolgen. Es ist zu verstehen, dass die neue DLM 410 Konfiguration sehr schnell erzielt werden kann und dass jede Aufnahme dann in einer Zeitskala von Mikro- bis Millisekunden gemacht werden kann. Das von jeder der Teilsektionen 610 des DLM 410 modulierte Licht wird auf diskrete Pixel im Bildsensor 420 projiziert. Dies wird durch das geeignete Design des optischen Projektionssystems erzielt. Dies kann eine einzelne Linse, ein Array von Linsen 415 oder ein Subsystem von optischen Komponenten (nicht gezeigt) sein.
In einer bevorzugten Ausgestaltung werden mehrere Aufnahmen (d. h. Aufnahmen entsprechend unterschiedlichen Konfigurationen, zum Beispiel 510A, 510B, 510H [wobei 510A, 510B, ..., 510H eine ganze Zahl von Konfigurationen gewöhnlich kleiner |·k bedeuten] der |×k-Element Teilsektionen von DLM 410) gemacht. Für jede der Aufnahmen entsprechend Konfigurationen 510A, 510B, ..., 510H werden die Daten von jedem Pixel im Bildsensor 420 gespeichert.
Die Vergrößerung dieses optischen Projektionssystems wird durch die aktive Dimension des Bildsensors 420 dividiert durch die aktive Dimension des DLM 410 definiert, wobei sich die aktive Dimension auf die Dimension des Bildes auf dem jeweiligen Gerät bezieht. Die von jedem Pixel des Bildsensors 420 gesammelten Daten werden dann zum Computer 100 zur Verarbeitung gemäß den hierin offenbarten Verfahren übertragen. Es ist zu verstehen, dass eine solche Verarbeitung mit einem externen Computersystem erfolgen kann, oder das Imaging-System 425 kann in ein Bildaufnahmegerät wie das Gerät 204 mit einem zur Bildverarbeitung benutzten Bordcomputergerät integriert werden.
Die Auflösung des Imaging-Systems 425 kann anhand der Auflösung des DLM 410 und der Auflösung des Imaging-Sensors 420 je nach Systemkonfiguration ermittelt werden. Demgemäß kann ein DLM 410 in Verbindung mit einem relativ niedrig auflösenden Bildsensor 420 benutzt werden, um Bilder mit einer hohen Auflösung relativ zur Auflösung des Sensors zu erzeugen. In einer Ausgestaltung werden Teilsektionen 610 des DLM 410 in Verbindung mit individuellen Pixeln oder Fotodetektoren des Imaging-Sensors 420 definiert oder vom Computersystem 100 abgeleitet. In dieser Ausgestaltung wird die Auflösung des Imaging-Systems 425 durch die Anzahl von Pixeln in jeder DLM-Teilsektion 610 und die Anzahl von Pixeln im Bildsensor 420 diktiert. Zum Beispiel, wenn jede DLM-Teilsektion 610 aus 32×32 Pixeln besteht und alle Teilsektionen einem Pixel im Imaging-Sensor ohne Überlappung zugeordnet werden, dann ist die Pixelzahl im fertigen rekonstruierten Bild gleich der Pixelzahl des Imaging-Sensors multipliziert mit einem Faktor von 32×32 (oder 1024). Wenn nicht alle Teilsektionen einem Pixel im Imaging-Sensor zugeordnet werden, aber es immer noch keine Überlappung zwischen den Teilsektionen gibt, dann ist die Pixelzahl im fertigen rekonstruierten Bild gleich der Zahl von Pixeln im Imaging-Sensor, denen eine DLM-Teilsektion zugeordnet ist, multipliziert mit der Größe der entsprechenden Teilsektion. Wenn Überlappung zwischen den einem Pixel im Imaging-Sensor zugeordneten DLM-Teilsektionen besteht, dann ist die Pixelzahl im fertigen rekonstruierten Bild gleich der Anzahl von Pixeln mit zugeordneter DLM-Teilsektion im Imaging-Sensor, multipliziert mit der Größe der entsprechenden Teilsektion; in diesem Fall kann die endgültige Pixelzahl größer sein als die Elementezahl im DLM. In einigen Ausgestaltungen sind die Größen der unterschiedlichen, den Pixeln im Imaging-Sensor zugeordneten DLM-Teilsektionen evtl. nicht gleich. Zum Beispiel, in einer Ausgestaltung können größere Teilsektionen Pixeln in der Mitte des Imaging-Sensors zugeordnet werden und die Größe der Teilsektionen kann mit zunehmendem Abstand von der Mitte des Imaging-Sensors abnehmen.
4B illustriert ferner den Bildmessvorgang mit dem Imaging-System 425 gemäß Ausgestaltungen der vorliegenden Erfindung. Von einem Objekt 505 reflektiertes Licht 402 fällt zunächst auf die Linse 405. Die Linse 405 sammelt und fokussiert dieses Licht auf den DLM 410. Ein Mapping von DLM 410 auf den Bildsensor 420 wird in 5A gezeigt. Der Einfachheit halber überlappen die DLM-Teilsektionen im illustrierten Mapping nicht, obwohl die Teilsektionen je nach Ausgestaltung überlappen können. Jede der |×k-Element-DLM-Teilsektionen 610 ist gemäß einem Abtastmuster konfiguriert. Zum Beispiel, in einer ersten Teilsektion des DLM 610 (d. h. in Teilsektion (1, 1) hat der DLM 410 Abtastmuster 510A). Das Bild von Objekt 505 entsprechend dem auf die |×k Pixel-Teilsektion 610 einfallenden Licht wird somit um das Abtastmuster 510A moduliert. Dieses modulierte Licht wird dann von einer aus dem Array von Linsen 415 auf ein(en) spezifisches/n Pixel oder Fotodetektor (wie zum Beispiel Pixel (1, 1)) in Verbindung mit dem Bildsensor 420 projiziert. 5B zeigt eine auseinander gezogene Ansicht des Bildsensors 420. Die Lichtintensität V1 403 entspricht der Lichtintensität am Imaging-Pixel (1, 1), die vom Modulieren von in die Teilsektion (1, 1) eingehendem Licht um das Abtastmuster 510A resultiert. Diese Intensität wird vom Computersystem 100 aufgezeichnet, bei dem es sich um ein unabhängiges Computersystem eines in eine Kamera integrierten Verarbeitungssystems handeln kann. Derselbe Vorgang wird gleichzeitig für jede Teilsektion 610 des DLM 410 durchgeführt, so dass jedes Pixel im Bildsensor 420 einen Intensitätswert aufzeichnet.
Am Abtastzeitpunkt 2, das heißt für den zweiten Aufnahmezyklus, wird der DLM 410 gemäß einem zweiten Abtastmuster umgeordnet. Zum Beispiel, in der Teilsektion 610 des DLM 410 wird ein zweites Abtastmuster 510B während des zweiten Aufnahmezyklus benutzt. Das Bild von Objekt 505 entsprechend dem auf die Teilsektion 610 einfallenden Licht, moduliert um das Abtastmuster 510B, wird auf ein(en) Pixel oder Fotodetektor des Bildsensors 420 von einer der Linsen im Linsenarray 415 projiziert. Die Lichtintensität V2 (nicht gezeigt) an dem mit dem zweiten Aufnahmezyklus assoziierten Pixel (1, 1) wird vom Bildsensor 420 gemessen und vom Computersystem 100 aufgezeichnet. Gleichzeitig wird Licht von jeder der Teilsektionen des DLM 410 moduliert und diskret auf jedes Element im Bildsensor 420 für den zweiten Aufnahmezyklus projiziert.
Dieser Vorgang kann so oft wie gewünscht (zum Beispiel „M” mal) wiederholt werden. Nach M Messungen, jeweils eine entsprechend jedem Aufnahmezyklus, wurden M Zufallsmustern (510A, 510B, ..., 510H) benutzt und M Lichtintensitäten wurden beispielsweise an dem mit der DLM-Teilsektion 610 assoziierten Pixel (1, 1) aufgezeichnet. Dieser Vorgang wird wiederholt, so dass M Lichtintensitäten für jedes Fotodetektorelement oder Pixel im Bildsensor 420 gemessen werden, wobei 1 ≤ i ≤ m, 1 ≤ j ≤ n ist.
Wenn alle Messungen vom Bildsensor 420 durchgeführt wurden, dann kann ein Bildrekonstruktionsvorgang eingeleitet werden. Im Allgemeinen wird der Bildrekonstruktionsvorgang von einem Computer wie einem Computersystem 100 vollendet.
Die Bildrekonstruktion kann auf eine Reihe von Weisen erfolgen. In einer Ausgestaltung würde der Objektteilbildbereich, der jeder |×k Pixelgruppe im DLM 410 entspricht (in 5A gezeigt), unabhängig mit traditionellen Compressive-Sensing-Algorithmen rekonstruiert. Bei Compressive Sensing wird die Kenntnis der M Abtastmuster und der entsprechenden aufgezeichneten M Lichtintensitäten zusammen mit Annahmen über die Sparsity (Komprimierbarkeit) des Bildes der Szene in einer Domäne (z. B. räumlicher Domäne, diskreter Kosinus-Transformation-Domäne, Wavelet-Transformation-Domäne usw.) zum Rekonstruieren des genannten Bildes benutzt. In einer alternativen Ausgestaltung kann die Nutzung der Korrelation, die unter benachbarten Pixeln in natürlichen Bildern auftritt, zu einem effizienteren Rekonstruktionsvorgang führen.
In der ersten Ausgestaltung kann ein Compressive-Sensing-Rahmen eingesetzt werden, um das Bild oder die Szene zu rekonstruieren. Compressive Sensing beruht auf der Benutzung eines Satzes von M Abtastfunktionen, die M räumlichen Mustern entsprechen, gemäß denen der Lichtmodulator über M aufeinander folgende Aufnahmezyklen konfiguriert ist. φ = {φ₁, ..., φ_M} (1)
Jede Abtastfunktion hat eine Dimensionalität äquivalent zur Pixelzahl des DLM 410. Zum Beispiel, wenn der DLM 410 eine Größe von L×K Pixeln hat, dann hat jede Funktion φ_i L×K Elemente und kann demgemäß in r |×k-Element Teilsektionen partitioniert werden, nämlich φ_i1, φ_i2, ..., φ_ir, wobei r eine positive ganze Zahl ist, die die Anzahl von Teilsektionen im DLM bezeichnet. Man beachte, dass, wenn jeder Fotodetektor im m×n Sensorarray einer DLM-Teilsektion zugeordnet ist, dann ist r = m·n.
Eingehendes Licht 402 wird vom DLM 410 gemäß den mehreren räumlichen Mustern entsprechend den Abtastfunktionen moduliert. Das von der Teilsektion s des DLM 410 reflektierte/transmittierte Licht wird dann auf sein entsprechendes Pixel s (wobei 1 ≤ s ≤ r) von einer der mehreren Linsen 415 des Bildsensors 420 fokussiert. Pixel s im Bildsensor 420 tastet sequentielle Messungen des von ihm aufgenommenen Lichts ab und misst effektiv die Größe des inneren Produkts: y_is = <X_s, φ_is>, (2) wobei X_s eine vektorisierte |×k-dimensionale Matrix bedeutet, die eine |×k-Pixelabgetastete Version des vom Pixel s abgebildeten Teils der Szene repräsentiert, y_is bedeutet den vom Pixel s erhaltenen i-ten Messwert. Man beachte, dass das Szenenbild X durch Zusammenstitchen von Teilbildern X₁, X₂, ..., X_r gebildet wird.
Dann kann ein Bild der von dem Pixel aufgenommenen Szene rekonstruiert werden, vorzugsweise nach M Messungen, wobei M << L×K ist. Dies ergibt das hier beschriebene Compressive Sensing.
Anhand der Matrixnotation können die Messwerte zu einem einzelnen Ausdruck gestapelt werden: Y_s = φ_svec(X_s) (3) wobei vec(•) Matrixvektorisierung, φ_s = [vec(φ_1s), ..., vec(φ_Ms)]^T und Y_s = [y_1s, ..., y_Ms]^T bedeutet. Die Rekonstruktion wird durch Lösen des Optimierungsproblems erzielt: X ^_S = argmin{∥X_s∥₁} (4) vorbehaltlich Gleichung 3, wobei |•|₁ den I₁ Norm-Operator bedeutet und X ^_s die Schätzung von X_s ist, gewonnen von mit dem Pixel s erhaltenen Messungen. Man beachte, dass beim Compressive Sensing davon ausgegangen wird, dass X in einer Domäne Φ sparse ist (z. B. es wird angenommen, dass natürliche Bilder in den DCT(Discrete Cosine Transform)- und Wavelet-Domänen etwa sparse sind). Ein Signal mit N Einträgen wird als k-sparse bezeichnet, wenn es höchstens k Einträge von ungleich null hat. Mathematisch bedeutet dies, dass, wenn X = Φ_x für einen Satz von Koeffizienten x ist, x höchstens k Einträge von ungleich null hat. In der Praxis wird ein Signal als sparse angesehen, wenn die meisten seiner Einträge null oder nahe null sind.
In dieser Ausgestaltung könnte, wenn keine Überlappung zwischen Teilsektionen des DLM vorliegt, die oben beschriebene Compressive-Sensing-Manipulation vom Computersystem 100 unabhängig für jedes DLM-Gruppe/Sensorpixel-Paar angewandt werden, um unabhängig m×n Teilbilder zu rekonstruieren, jedes mit einer Auflösung von |×k Pixeln. Die m×n Teilbilder werden dann zusammengestitcht oder mosaikartig zusammengefügt, um ein Hochauflösungsbild der Szene zu erhalten, wobei die relative Platzierung der Teilbilder in dem Stitchvorgang anhand der relativen Platzierung der entsprechenden Imaging-Pixel bestimmt wird.
In einer anderen Ausgestaltung kann, anstatt jedes DLM-Gruppe/Sensorpixel-Paar unabhängig bei der Rekonstruktion zu behandeln, die Korrelation, die an proximalen Stellen von natürlichen Bildern existiert, über einen Compressive-Sensing-Rahmen genutzt werden, der Joint Sparsity nutzt. Joint Sparsity bezieht sich auf die Tatsache, dass zwei Signale, wenn sie stark korreliert sind, wahrscheinlich beide in einer gemeinsamen Domäne wie Φ sparse sein werden. Zwei Signale sind korreliert, wenn sie nicht unabhängig sind. Der Korrelationsgrad zwischen zwei Signalen oder Sätzen von Datenpunkten kann mit einem Korrelationskoeffizienten gemessen werden. Man lasse X₁ und X₂ die vektorisierte Version der zwei N-Pixel-Bilder bedeuten, das heißt X_i = {X_i1, X_i2, ..., X_iN} für i = 1, 2. Der Korrelationskoeffizienz zwischen X₁ und X₂ kann wie folgt geschrieben werden:
In einer Ausgestaltung werden zwei Signale dann als hoch korreliert angesehen, wenn ihr Korrelationskoeffizient eine vorbestimmte Schwelle T übersteigt. In einer Ausgestaltung ist dies T = 0,6. Wenn zwei Signale hoch korreliert sind, dann können für die Rekonstruktion von einem Signal benutzte Messwerte Informationen über ein anderes Signal führen, das mit dem ersten „jointly sparse” (gemeinsam komprimierbar) ist. Jointly-Sparse-Modelle beinhalten das Sparse-Common-Component-Modell, das jedes Signal als die Kombination eines gemeinsamen Mittels und einer individuellen Variation darstellt; und das Common-Supports-Modell, in dem alle Signale vom selben sparsen Satz von Basisvektoren rekonstruiert werden, aber mit unterschiedlichen Koeffizienten. Es ist zu verstehen, dass auch andere Joint-Sparsity-Modelle in anderen Ausgestaltungen der Erfindung zum Einsatz kommen können. Wenn die Joint-Sparsity-Annahme gilt, dann ist eine effizientere Rekonstruktion des Bildes möglich.
In einer Ausgestaltung nutzen, wenn das Common-Component-Modell angenommen wird, räumlich benachbarte |×k Pixel-Teilbilder X_s eine Common-Sparse-Komponente für unterschiedliche Werte von s gemeinsam, wobei jedes individuelle Teilbild eine Sparse-Innovation-Komponente enthält. Mit anderen Worten, X_s = Z + Z_s. Diese Beziehung kann als über lokal benachbarte Teilbilder oder für alle Teilbilder X_s als gegeben angenommen werden, wobei 1 ≤ s ≤ r ist. In diesem Fall ist Z, die gemeinsame Komponente über Teilbilder, in einer Domäne Φ sparse. Die Rückgewinnung von zwei Teilbildern X_s und X_t kann gemeinsam durch Lösen des Optimierungsproblems erfolgen: X ^_u = argmin{∥X_u∥₁} vorbehaltlich von Y_u = φ_uvec(X_u), wobei
für die Abtastmatrix φ ist. In alternativen Ausgestaltungen ist die gemeinsame Komponente evtl. nicht sparse.
In einer anderen Ausgestaltung sind, wenn das Common-Sparse-Supports-Modell angenommen wird, räumlich benachbarte |×k Pixel-Teilbilder X_s in einer gemeinsamen Domäne Φ sparse. Das heißt, wenn X_s = Φx_s und X_t = Φx_t für zwei benachbarte Teilbilder mit räumlichen Indexen s und t sind, dann haben beide Koeffizienten, die zum Repräsentieren von X_s und X_t in der Domäne Φ benötigt werden, nämlich x_s und x_t, höchstens k Einträge von ungleich null. Unter diesen Annahmen können Teilbilder durch Lösen des Optimierungsproblems zurückgewonnen werden: X ^_s = argmin{∥X_s∥_2,0} vorbehaltlich Gleichung 3, wobei ∥X_s∥_2,0 das Berechnen der I₂ Norm über die Spalten und der I₀ Norm über die Reihen bedeutet. Mit anderen Worten, die Lösung für das unterdeterminierte System ist die mit der geringsten Reihen-Sparsity. In einer alternativen Ausgestaltung nutzen Teilbilder X_s eine gemeinsame Komponente für unterschiedliche Werte von s gemeinsam, während jedes einzelne Teilbild eine Sparse-Innovation-Komponente enthält und die gemeinsam genutzten Innovationskomponenten in einer gemeinsamen Domäne sparse sind.
In einer Ausgestaltung kann ein Joint-Sparsity-Rahmen bei der Rekonstruktion von Bildern benutzt werden, die mit benachbarten oder nahegelegenen DLM-Gruppe/Sensor-Pixel-Paaren assoziiert sind. Erstens, es können nicht überlappende Supergruppen von p×q DLM-Gruppen gebildet werden. Die Rekonstruktion der p×q Teilbilder erfolgt gemeinsam. In dieser Ausgestaltung würden die Sätze von p×q Teilbildern mosaikartig zusammengesetzt oder gestitcht, um eine hochauflösendes Bild der Szene zu erhalten.
In einer anderen Ausgestaltung können die Supergruppen überlappen. Wenn eine gegebene Pixelgruppe zu P überlappenden Supergruppen gehört, dann können die endgültigen Bildpixelwerte durch Aggregieren (durch Mitteln oder mit einem anderen analytischen Kombinationsverfahren) über Pixelschätzungen erhalten werden, die von den P jointly sparsen Rekonstruktionen erhalten werden. Ein solcher Ansatz nutzt Korrelation in lokalen Nachbarschaften und ergibt somit eine größere Kompression auf Kosten von zusätzlichem Rechenaufwand.
6 illustriert Logikoperationsschritte in Verbindung mit einem ersten Ansatz zum Aufnehmen eines Bildes 700 gemäß den hierin offenbarten Ausgestaltungen. Das Verfahren beginnt mit Schritt 705.
In Schritt 710 kann eine Mehrzahl von räumlich variierenden Mustern erzeugt werden, die mit einem digitalen Lichtmodulator assoziiert sind. Als Nächstes kann in Schritt 715 von einem Objekt reflektiertes Licht durch eine Linse (oder ein System von Linsen) passieren, um Licht auf den DLM optisch zu fokussieren. Das Licht von jeder diskreten DLM-Elementegruppe wandert dann zu einer diskreten Linse (oder einem anderen optischen System), die das Licht auf ein getrenntes Fotodetektorelement fokussiert, das mit einem Fotodetektor-Array assoziiert ist, das wenigstens eine, und möglicherweise viele, Pixel wie in Schritt 720 gezeigt beinhaltet. Jedes diskrete Fotodetektorelement misst die Lichtintensität des einfallenden Lichts. Dieser Vorgang wird für „M” Aufnahmezyklen wie durch den Pfeil 722 gezeigt wiederholt. Es ist zu verstehen, dass jeder der „M” Aufnahmezyklen in rascher Folge wiederholt werden kann und die Vollendung aller Aufnahmezyklen weitaus weniger als eine Sekunde erfordern kann. Compressive-Sensing-Algorithmen, wie oben beschrieben, können in Schritt 725 auf die gesammelten Daten von jedem der Aufnahmezyklen angewandt werden. Dies ergibt ein Bild, das mit jedem Pixel assoziiert ist, das für ein kleines Stück des/der Objekts oder Szene von Interesse repräsentativ ist. Die Bilder von jedem der individuellen Pixel können dann wie in Schritt 730 gezeigt zusammengestitcht werden, um ein Bild der/des ursprünglichen Objekts oder Szene zu bilden. Das Verfahren endet mit Schritt 735.
Ebenso illustriert 7 Logikoperationsschritte, die mit einem anderen Ansatz zum Aufnehmen eines Bildes 800 gemäß einer hierin offenbarten alternativen Ausgestaltung assoziiert sind. Das Verfahren beginnt mit Schritt 805. Die Schritte 710, 715, 720 und 722 sind mit denen des Verfahrens 700 äquivalent und auch so beschriftet.
In Schritt 825 können Pixel im Fotodetektor gemäß ihrem relativen Ort im Fotodetektor miteinander gruppiert werden. Diese Zuordnung kann gemäß dem Design des optischen Systems erfolgen. Nach dem Definieren der Gruppen von Pixeln können Compressive-Sensing-Verfahren auf die gesammelten Daten für jede Gruppe von Pixeln wie in Schritt 830 gezeigt angewandt werden. Dieser Schritt führt zu einem mit jeder Pixelgruppe assoziierten Bild. Benachbarte Bilder von den Pixelgruppen können dann mosaikartig zusammengefügt werden, um ein Bild des/der ursprünglichen Objekts oder Szene wie in Schritt 835 gezeigt zu bilden. Das Verfahren endet mit Schritt 840.
8 schließlich illustriert noch einen anderen Satz von Logikoperationssschritten, die mit einem anderen Ansatz zum Aufnehmen eines Bildes 900 gemäß einer hierin offenbarten alternativen Ausgestaltung assoziiert sind. Das Verfahren beginnt mit Schritt 705. Die Schritte 710, 715, 720 und 722 sind äquivalent mit denen von Verfahren 700 und sind auch so beschriftet. In Schritt 925 können Pixel im Fotodetektor Gruppen zugeordnet werden, wobei die Gruppen einander überlappen. Dies kann gemäß dem Design des optischen Systems erfolgen. In Schritt 930 können die von jeder Gruppe gesammelten Daten aggregiert werden und dann kann anhand von Compressive Sensing ein mit jeder überlappenden Pixelgruppe wie in Schritt 935 gezeigt assoziiertes Bild gewonnen werden. Wiederum kann in Schritt 940 das Bild von jeder jeweiligen Pixelgruppe dann zusammengestitcht oder mosaikartig zusammengefügt werden, um ein Bild des/der ursprünglichen Objekts oder Szene zu bilden, und das Verfahren endet dann mit Schritt 945.
9A illustriert ein Blockdiagramm 1000 von Modulen, die zum Implementieren von Verfahrensschritten wie in den 6–8 beschrieben benutzt werden können. Wenn einfallendes Licht 402 dem Lichtweg durch das Imaging-System 425 folgt, dann können die resultierenden, an den Fotodetektoren aufgezeichneten Intensitäten einem Computersystem 110 bereitgestellt werden. Das Computersystem 110 kann ein Pixelgruppierungsmodul 1005 beinhalten, das benutzt wird, um zu definieren, welche Pixel gemäß einem Satz von Joint-Sparsity-Anforderungen gruppiert werden. Das Compressive-Sensing-Modul 1010 kann zum Anwenden von Compressive-Sensing-Algorithmen auf die vom Imaging-System 425 gesammelten Daten benutzt werden. Der Ausgang vom Compressive-Sensing-Modul 1010 beinhaltet Bilder, die mit jedem Fotodetektor oder mit jeder vom Pixelgruppierungsmodul 1005 definierten Gruppe von Fotodetektoren assoziiert sind. Dieser Ausgang kann dem elektronischen Stitching-Modul 1015 bereitgestellt werden, das alle Bilder von jedem der Fotodetektoren nimmt und sie zusammenstitcht, um ein fertiges Bild des Objekts oder der Szene von Interesse zu erzeugen.
9B illustriert ein Blockdiagramm 1100 einer alternativen Ausgestaltung von Modulen, die zum Implementieren der in 6–8 beschriebenen Verfahrensschritte benutzt werden können. In dieser Ausgestaltung sind das Pixelgruppierungsmodul 1005, das Compressive-Sensing-Modul 1010 und das elektronische Stitching-Modul 1015 alle in einem Computermodul enthalten (z. B. dem Computersystem 110), das in das Bildaufnahmegerät 204 integriert ist. Zusätzlich kann das Imaging-System 425 im Bildaufnahmegerät 204 integriert sein. In dieser Ausgestaltung umfasst das Bildaufnahmegerät 204 eine alleinstehende Einheit, die für eine Hochauflösungsbilderzeugung mit Niedrigauflösungssensoren und Compressive-Sensing-Technologie durch Nutzen von Joint-Sparsity konfiguriert ist.
Auf der Basis des oben Gesagten wird man verstehen, dass eine Reihe von Ausgestaltungen, bevorzugt und alternativ, hierin offenbart ist. Zum Beispiel, in einer Ausgestaltung beinhaltet ein Verfahren zum Rekonstruieren eines Bildes einer Szene das Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster, das Sammeln und optische Fokussieren von mit der Szene assoziierter Lichtenergie, die auf das räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren fällt; das Sammeln von Daten, die die Intensität der fokussierten Lichtenergie von jedem der wenigstens zwei Fotodetektoren anzeigen; und das Kombinieren der Daten von den wenigstens zwei Fotodetektoren, um ein Bild der Szene zu rekonstruieren.
In einer Ausgestaltung beinhaltet das Kombinieren der Daten von den wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der Szene ferner das Anwenden eines Compressive-Sensing-Rekonstruktionsalgorithmus auf die Daten von jedem der wenigstens zwei Fotodetektoren unabhängig, um ein mit jedem der Fotodetektoren assoziiertes Bild zu erzeugen, und das Anordnen der mit jedem der wenigstens zwei Fotodetektoren assoziierten Bilder gemäß dem relativen Ort der Fotodetektoren.
In einer anderen Ausgestaltung beinhaltet das Kombinieren der Daten von den wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der Szene ferner das Bilden von mehreren Fotodetektorgruppen durch Assoziieren der wenigstens zwei Fotodetektoren mit wenigstens zwei Gruppen von Elementen in dem digitalen Lichtmodulator, wobei das mit jedem Fotodetektor assoziierte Bild der Szene eine Sparsity-Anforderung erfüllt. Die Ausgestaltung beinhaltet ferner das Anwenden eines Compressive-Sensing-Algorithmus auf die gesammelten Daten von jeder der Fotodetektorgruppen, um ein mit jeder der Fotodetektorgruppen assoziiertes Bild zu erzeugen, und das Anordnen der mit jeder der Fotodetektorgruppen assoziierten Bilder gemäß dem relativen Ort der Fotodetektorgruppen.
Die Sparsity-Anforderung kann eine Joint-Sparsity-Anforderung sein und kann ein Sparse-Common-Component-Modell oder ein Common-Supports-Modell sein. Die wenigstens zwei Fotodetektoren umfassen wenigstens zwei mit einem Sensor assoziierte Pixel.
In einer anderen Ausgestaltung beinhaltet das Kombinieren der Daten von den wenigstens zwei Fotordetektoren zum Rekonstruieren eines Bildes der Szene ferner das Bilden einer Mehrzahl von Fotodetektorgruppen durch Assoziieren von wenigstens zwei Fotodetektoren mit wenigstens zwei überlappenden Gruppen von Elementen in dem digitalen Lichtmodulator, wobei das mit jedem Fotodetektor assoziierte Bild der Szene eine Sparsity-Anforderung erfüllt. Die Ausgestaltung beinhaltet das Aggregieren der mit jeder der Fotodetektorgruppen assoziierten Daten und das Anwenden eines Compressive-Sensing-Algorithmus auf die aggregierten Daten von jeder der Fotodetektorgruppen, um ein mit jeder der Fotodetektorgruppen assoziiertes Bild zu erzeugen. Schließlich werden die mit jeder der Fotodetektorgruppen nebeneinander assoziierten Bilder zu einem Bild angeordnet. Die Sparsity-Anforderung ist eine Joint-Sparsity-Anforderung, die ein Sparse-Common-Component-Modell oder ein Common-Supports-Modell beinhaltet.
In einer anderen Ausgestaltung umfasst der digitale Lichtmodulator wenigstens eines aus einem Array von wenigstens einem Pixel; einem Array von wenigstens einem transmissiven Lichtmodulator; einem Array von wenigstens einem reflektiven Lichtmodulator und einem Array von Mikrospiegeln.
In noch einer anderen Ausgestaltung beinhaltet ein Verfahren zum Rekonstruieren eines Bildes einer Szene das Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster; das Sammeln und optische Fokussieren von mit der Szene assoziierter Lichtenergie, die auf das räumlich variierende Abtastmuster auf jedem von wenigstens zwei Fotodetektoren einfällt, die mit einem Sensor assoziierte Pixel umfassen; das Sammeln von Daten, die die Intensität der fokussierten Lichtenergie von jedem der wenigstens zwei Pixel anzeigen; das Bilden von mehreren Fotodetektorgruppen durch Assoziieren von wenigstens zwei Fotodetektoren mit wenigstens zwei überlappenden Gruppen von Elementen in dem digitalen Lichtmodulator, wobei das mit jedem Fotodetektor assoziierte Bild der Szene eine Sparsity-Anforderung erfüllt; das Aggregieren der mit jeder der Fotodetektorgruppen assoziierten Daten; das Anwenden eines Compressive-Sensing-Algorithmus auf die aggregierten Daten von jeder der Fotodetektorgruppen, um ein mit jeder der Fotodetektorgruppen assoziiertes Bild zu erzeugen; und das Anordnen der mit jeder der Fotodetektorgruppen assoziierten Bilder nebeneinander.
Das Sammeln und optische Fokussieren von mit einer Szene assoziierter Lichtenergie, die auf das räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren einfällt, die mit einem Sensor assoziierte Pixel umfassen, beinhaltet ferner das Leiten der durch wenigstens eine diskrete Teilsektion des räumlich variierenden Musters passierenden Lichtenergie auf einen diskreten einen der wenigstens zwei Fotodetektoren. Die Sparsity-Anforderung kann eine Joint-Sparsity-Anforderung sein, die ein Sparse-Common-Component-Modell oder ein Common-Support-Modell umfasst.
Zusätzlich umfasst der digitale Lichtmodulator wenigstens eines aus einem Array von wenigstens einem Pixel; einem Array von wenigstens einem transmissivem Lichtmodulator; einem Array von wenigstens einem reflektiven Lichtmodulator; und einem Array von Mikrospiegeln.
In noch einer anderen Ausgestaltung umfasst ein System zum Rekonstruieren eines Bildes einer Szene Folgendes: einen digitalen Lichtmodulator, konfiguriert gemäß einem räumlich variierenden Muster; ein Linsensystem, konfiguriert zum optischen Fokussieren von mit der Szene assoziierter Lichtenergie, das auf das räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren einfällt, wobei die wenigstens zwei Fotodetektoren Daten sammeln, die die Intensität der fokussierten Lichtenergie anzeigen; und Verarbeitungsmodul, konfiguriert zum Kombinieren der Daten von wenigstens zwei Fotodetektoren, um ein Bild der Szene zu rekonstruieren.
In einer Ausgestaltung umfasst das zum Kombinieren der Daten von den wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der Szene konfigurierte Verarbeitungsmodul ein Compressive-Sensing-Modul, konfiguriert zum Anwenden eines Compressive-Sensing-Rekonstruktionsalgorithmus auf die Daten von jedem der wenigstens zwei Fotodetektoren unabhängig, um ein mit jedem der Fotodetektoren assoziiertes Bild zu erzeugen; und ein elektronisches Stitching-Modul, konfiguriert zum Anordnen der mit jedem der wenigstens zwei Fotodetektoren assoziierten Bilder gemäß dem relativen Ort der Fotodetektoren.
In einer anderen Ausgestaltung umfasst das Verarbeitungsmodul, das zum Kombinieren der Daten von den wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der Szene konfiguriert ist, ferner ein Pixelgruppierungsmodul, konfiguriert zum Bilden von mehreren Fotodetektorgruppen durch Assoziieren der wenigstens zwei Fotodetektoren mit wenigstens zwei Gruppen von Elementen in dem digitalen Lichtmodulator, wobei das mit jedem Fotodetektor assoziierte Bild der Szene eine Sparsity-Anforderung erfüllt; ein Compressiv-Sensing-Modul, konfiguriert zum Anwenden eines Compressive-Sensing-Algorithmus auf die gesammelten Daten von jeder der Fotodetektorgruppen, um ein mit jeder der Fotodetektorgruppen assoziiertes Bild zu erzeugen; oder ein elektronisches Stitching-Modul, konfiguriert zum Anordnen der mit jeder der Fotodetektorgruppen assoziierten Bilder gemäß dem relativen Ort der Fotodetektorgruppen.
Die Sparsity-Anforderung kann eine Joint-Sparsity-Anforderung sein, die ein Sparse-Common-Component-Modell oder ein Common-Supports-Modell umfasst. Die wenigstens zwei Fotodetektoren umfassen wenigstens zwei mit einem Sensor assoziierte Pixel.
In einer anderen Ausgestaltung sind der digitale Lichtmodulator, das Linsensystem, die wenigstens zwei Pixel und das Verarbeitungsmodul in einem Bildaufnahmegerät integriert.

Claims

Verfahren zum Rekonstruieren eines Bildes einer Szene, das Folgendes beinhaltet: Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster; Sammeln und optisches Fokussieren von mit der genannten Szene assoziierter Lichtenergie, die auf das genannte räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren fällt; Sammeln von Daten, die die Intensität der fokussierten Lichtenergie von jedem der genannten wenigstens zwei Fotodetektoren anzeigen; und Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der genannten Szene.
Verfahren nach Anspruch 1, wobei das Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der genannten Szene ferner Folgendes beinhaltet: Anwenden eines Compressive-Sensing-Rekonstruktionsalgorithmus auf die genannten Daten von jedem der genannten wenigstens zwei Fotodetektoren unabhängig, um ein mit jedem der genannten Fotodetektoren assoziiertes Bild zu erzeugen; und Anordnen der genannten mit jedem der genannten wenigstens zwei Fotodetektoren assoziierten Bilder gemäß dem relativen Ort der Fotodetektoren.
Verfahren nach Anspruch 1, wobei das Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der genannten Szene ferner Folgendes beinhaltet: Bilden von mehreren Fotodetektorgruppen durch Assoziieren der genannten wenigstens zwei Fotodetektoren mit wenigstens zwei Gruppen von Elementen in dem genannten digitalen Lichtmodulator, wobei das genannte, mit jedem Fotodetektor assoziierte Bild der genannten Szene eine Sparsity-Anforderung erfüllt; Anwenden eines Compressive-Sensing-Algorithmus auf die genannten gesammelten Daten von jeder der genannten Fotodetektorgruppen zum Erzeugen eines mit jeder der genannten Fotodetektorgruppen assoziierten Bildes; und Anordnen der genannten, mit jeder der genannten Fotodetektorgruppen assoziierten Bilder gemäß dem relativen Ort der Fotodetektorgruppen.
Verfahren nach Anspruch 3, wobei die genannte Sparsity-Anforderung eine Joint-Sparsity-Anforderung ist.
Verfahren zum Rekonstruieren eines Bildes einer Szene, das Folgendes beinhaltet: Konfigurieren eines digitalen Lichtmodulators gemäß einem räumlich variierenden Muster; Sammeln und optisches Fokussieren von mit der genannten Szene assoziierter Lichtenergie, die auf das genannte räumlich variierende Abtastmuster auf jedem von wenigstens zwei Fotodetektoren einfällt, die mit einem Sensor assoziierte Pixel umfassen; Sammeln von Daten, die die Intensität der fokussierten Lichtenergie von jedem der genannten wenigstens zwei Pixel anzeigen; Bilden einer Mehrzahl von Fotodetektorgruppen durch Assoziieren von wenigstens zwei Fotodetektoren mit wenigstens zwei überlappenden Gruppen von Elementen in dem genannten digitalen Lichtmodulator, wobei das genannte, mit jedem Fotodetektor assoziierte Bild der genannten Szene eine Sparsity-Anforderung erfüllt; Aggregieren der genannten Daten, die mit jeder der genannten Fotodetektorgruppen assoziiert sind; Anwenden eines Compressive-Sensing-Algorithmus auf die genannten aggregierten Daten von jeder der genannten Fotodetektorgruppen zum Erzeugen eines mit jeder der genannten Fotodetektorgruppen assoziierten Bildes; und Anordnen der genannten, mit jeder der genannten Fotodetektorgruppen assoziierten Bilder nebeneinander, um das genannte Bild der genannten Szene zu rekonstruieren.
Verfahren nach Anspruch 5, wobei das Sammeln und optische Fokussieren von mit einer Szene assoziierter Lichtenergie, die auf das genannte räumlich variierende Muster auf jedem der genannten wenigstens zwei Fotodetektoren fällt, die mit einem Sensor assoziierte Pixel umfassen, ferner Folgendes beinhaltet: Leiten der genannten durch wenigstens eine diskrete Teilsektion des genannten räumlich variierenden Musters passierenden Lichtenergie auf einen diskreten einen der genannten wenigstens zwei Fotodetektoren.
Verfahren nach Anspruch 6, wobei die genannte Sparsity-Anforderung eine Joint-Sparsity-Anforderung ist.
System zum Rekonstruieren eines Bildes einer Szene, das Folgendes umfasst: einen digitalen Lichtmodulator, konfiguriert gemäß einem räumlich variierenden Muster; ein Linsensystem, konfiguriert zum optischen Fokussieren von mit der genannten Szene assoziierter Lichtenergie, die auf das genannte räumlich variierende Muster auf jedem von wenigstens zwei Fotodetektoren einfällt, wobei die genannten wenigstens zwei Fotodetektoren Daten sammeln, die die Intensität der fokussierten Lichtenergie anzeigen; und ein Verarbeitungsmodul, konfiguriert zum Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren zum Rekonstruieren eines Bildes der genannten Szene.
System nach Anspruch 8, wobei das genannte Verarbeitungsmodul, das zum Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren konfiguriert ist, um ein Bild der genannten Szene zu rekonstruieren, ferner Folgendes umfasst: ein Compressive-Sensing-Modul, konfiguriert zum Anwenden eines Compressive-Sensing-Rekonstruktionsalgorithmus auf die genannten Daten von jedem der genannten wenigstens zwei Fotodetektoren unabhängig, um ein mit jedem der genannten Fotodetektoren assoziiertes Bild zu erzeugen; und ein elektronisches Stitching-Modul, konfiguriert zum Anordnen der genannten, mit jedem der genannten wenigstens zwei Fotodetektoren assoziierten Bilder gemäß dem relativen Ort der Fotodetektoren.
System nach Anspruch 8, wobei das genannte Verarbeitungsmodul, das zum Kombinieren der genannten Daten von den genannten wenigstens zwei Fotodetektoren konfiguriert ist, um ein Bild der genannten Szene zu rekonstruieren, ferner Folgendes umfasst: ein Pixelgruppierungsmodul, konfiguriert zum Bilden mehrerer Fotodetektorgruppen durch Assoziieren der genannten wenigstens zwei Fotodetektoren mit wenigstens zwei Gruppen von Elementen in dem genannten digitalen Lichtmodulator, wobei das genannte, mit jedem Fotodetektor assoziierte Bild der genannten Szene eine Sparsity-Anforderung erfüllt; ein Compressive-Sensing-Modul, konfiguriert zum Anwenden eines Compressive-Sensing-Algorithmus auf die genannten gesammelten Daten von jeder der genannten Fotordetektorgruppen zum Erzeugen eines mit jeder der genannten Fotodetektorgruppen assoziierten Bildes; und ein elektronisches Stitching-Modul, konfiguriert zum Anordnen der genannten, mit jeder der genannten Fotodetektorgruppen assoziierten Bilder gemäß dem relativen Ort der Fotodetektorgruppen.