DE102008060076B4

DE102008060076B4 - Digitale Präsentationseinrichtung

Info

Publication number: DE102008060076B4
Application number: DE102008060076.8A
Authority: DE
Inventors: Il Dong Yun
Original assignee: Empire Technology Development LLC
Current assignee: Empire Technology Development LLC
Priority date: 2008-08-26
Filing date: 2008-12-02
Publication date: 2014-03-27
Anticipated expiration: 2028-12-03
Also published as: JP2010057156A; CN101661154B; US8736751B2; US20100053415A1; DE102008060076A1; CN101661154A; JP4888978B2

Abstract

Vorrichtung zum Anzeigen eines Bildes, die aufweist: eine Basis, die in der Lage ist, ein Objekt zu tragen, wobei die Basis einen Basisarm aufweist; ein Kamerasystem, das mit dem Basisarm gekoppelt ist, wobei das Kamerasystem ausgelegt ist, durch individuelles Versorgen und nicht Versorgen von Beleuchtern eines Beleuchtungssystems, die ausgelegt sind, das Objekt zu beleuchten, mit Energie mehrere Bilder des Objektes aufzunehmen; ein Beleuchtersteuerungssystem, das ausgelegt ist, die Beleuchter zu steuern; und ein Fokussteuerungssystem, das ausgelegt ist, einen Fokus des Kamerasystems einzustellen; wobei das Beleuchtersteuerungssystem den Helligkeitswert jeweiliger K-ter Pixel der Bilder für sämtliche M Pixel der Bilder miteinander vergleicht, wobei K eine Folgennummer für ein K-tes Pixel eines Bildes repräsentiert, und wobei M eine maximale Anzahl von Pixeln der Bilder repräsentiert; wenn der Helligkeitswert sämtlicher K-ter Pixel einen oberen Schwellenwert (TH) überschreitet, den niedrigsten Helligkeitswert für das K-te Pixel eines Ausgangsbildes auswählt, wenn der Helligkeitswert sämtlicher K-ter Pixel niedriger als ein unter Schwellenwert (TL) ist, den höchsten Helligkeitswert für das K-te Pixel des Ausgangsbildes auswählt, ansonsten einen mittleren Helligkeitswert für das K-te Pixel des Ausgangsbildes berechnet, das Ausgangsbild aus den Pixeln, die den ausgewählten Helligkeitswerten entsprechen, ausbildet; und die Vorrichtung zum Anzeigen des Ausgangsbildes ansteuert.

Description

Die vorliegende Erfindung betrifft im Allgemeinen digitale Präsentationseinrichtungen.
Eine digitale Präsentationseinrichtung kann verwendet werden, um eine Vielzahl von Medien von bedruckten Materialien (beispielsweise transparente Materialien, Dokumente, Bücher, etc.) bis hin zu anderen Medien, wie zum Beispiel Folien, Fotografien oder Filmen ebenso wie dreidimensionale physikalische Objekte anzuzeigen.
Im Gegensatz zu analogen Overhead-Projektoren kann eine digitale Präsentationseinrichtung eine Digitalkamera (Stehbild bzw. Einzelbild oder Video) verwendet werden, um Bilder von zwei- oder dreidimensionalen Objekten aufzunehmen, die dann an andere Ausgabevorrichtungen (beispielsweise Fernsehbildschirme oder Computermonitore) weitergegeben oder mittels eines LCD-Projektors, etc. angezeigt werden.
Eine digitale Präsentationseinrichtung enthält im Allgemeinen eine Lichtquelle (oder mehrere Lichtquellen), die in der Lage ist, eine ausreichende Beleuchtung bereitzustellen, um Bilder der Medien oder des anzuzeigenden Objektes zu erfassen und aufzunehmen. Im Hinblick dessen kann, da die digitale Präsentationseinrichtung eine Lichtquelle (Lichtquellen) zur Beleuchtung benötigt, wenn ein Bild von der Kamera aufgenommen wird, eine Spiegelreflexion (Glanzlicht oder Blendlicht) von der Oberfläche des anzuzeigenden Objektes die Qualität des aufgenommenen Bildes nachteilig beeinflussen.
Außerdem können, wenn die Oberflächen der Materialien, deren Bilder aufgenommen werden, nicht ausreichend flach sind, die aufgenommenen Bilder verschwommen oder unscharf sein. Die Abschnitte von Seiten in der Nähe des Rückens (oder der Bindung) von gebundenen Dokumenten (wie beispielsweise Büchern oder Zeitschriften) können beispielsweise gekrümmt sein, und demzufolge können derartige Abschnitte keine einheitliche oder ausreichende Beleuchtung aufnehmen, wodurch die Bilder, die von diesen Abschnitten aufgenommen werden, wahrscheinlich verschwommen oder unscharf werden.
Herkömmliche digitale Präsentationseinrichtungen können mehrere Lichtquellen und/oder Kameras verwenden, und es kann eine strategische Positionierung der Kameras und/oder Lichtquellen für eine geeignete Funktionsausübung notwendig sein – aber derartige Systeme sind aufwendig zu betreiben und teuer.
Die Druckschrift EP 1 653 408 A1 beschreibt beispielsweise ein Präzisionsmaschinensichtuntersuchungssystem, das eine bewegliche Werkstückstufe als eine Basis enthält, die in der Lage ist, ein Objekt zu tragen, wobei der Träger der Basis einen Arm aufweist. Ein Kamerasystem ist mit dem Arm gekoppelt und dazu ausgelegt, mehrere Bilder des Objekts (des Werkstücks) selektiv mit einer von mehren Lichtquellen zu beleuchten. Weiterhin kann der Fokus des Bildes des Werkstücks, das von dem Kamerasystem aufgenommen wird, geändert werden. Ein mittlerer Helligkeitswert des Bildes und ein Wert, der den Fokuszustand des Bildes angibt, werden jeweils aus den aufgenommenen Bildern berechnet. Wenn die mittlere Helligkeit des Bildes als zu niedrig bestimmt wird, werden Parameter, die den mittleren Helligkeitswert beeinflussen, entsprechend angepasst.
Aus der Druckschrift DE 1984 1555 A1 ist ein Verfahren zur Aufnahme und zur Abspeicherung optisch erfassbarer Daten eines Objekts auf einem Speichermedium bekannt, bei dem mit einer Kamera eine Sequenz von mehreren Einzelaufnahmen des Objekts unter verschiedenen räumlichen Einstellungen bezüglich der relativen Position zwischen Objekt und Kamera gemacht werden. Die scharf abgebildeten Bereiche der Einzelaufnahmen werden ermittelt und zu einem oder mehreren Resultatbildern zusammengesetzt.
Ein ähnliches Verfahren ist auch aus der Druckschrift JP H11-261797 A , bekannt, bei dem mehrere Einzelbilder mit unterschiedlichen Fokuseinstellungen zu einem Ausgabebild kombiniert werden, in dem sowohl naheliegende Objekte als auch weiter entfernt liegende Objekte scharf dargestellt sind.
Aufgabe der vorliegenden Erfindung ist es daher, verbesserte Vorrichtungen und Verfahren zum Anzeigen eines Bildes anzugeben, die kostengünstig und einfach zu betreiben sind.
Dies wird mit den Merkmalen der unabhängigen Ansprüche erreicht. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die obige Zusammenfassung gibt nur eine beispielhafte Auswahl der Konzepte in vereinfachter Form wieder, die im Folgenden in der genaueren Beschreibung weiter beschrieben werden. Der Bereich der Erfindung wird nur durch die zugehörigen Ansprüche beschränkt.
1 zeigt ein schematisches Diagramm einer beispielhaften Ausführungsform einer digitalen Präsentationseinrichtung;
2 zeigt ein Flussdiagramm, das einen Prozess zum Anzeigen eines Bildes eines Objektes gemäß einer beispielhaften Ausführungsform darstellt;
3 zeigt ein Flussdiagramm, das einen Prozess zum Verarbeiten von Pixeln von Bildern, die durch Einstellen von Beleuchtern erhalten werden, gemäß einer beispielhaften Ausführungsform darstellt; und
4 zeigt ein Flussdiagramm, das einen Prozess zum Verarbeiten von Pixeln von Bildern, die durch Einstellen des Kamerafokus aufgenommen werden, gemäß einer beispielhaften Ausführungsform darstellt.
Die folgende Beschreibung erfolgt mit Bezug auf die zugehörigen Zeichnungen. In den Zeichnungen bezeichnen in typischer Weise gleiche Bezugszeichen gleiche Komponenten, wenn der Kontext nichts anderes sagt. Die beispielhaften Ausführungsformen, die in der folgenden Beschreibung beschrieben werden, die Zeichnungen und Ansprüche sind nur im Rahmen des Bereichs der Ansprüche als einschränkend zu sehen. Es sind weitere Ausführungsformen und weitere Änderungen denkbar, ohne von dem Bereich des Gegenstands der Ansprüche abzuweichen. Die Komponenten der vorliegenden Beschreibung, die hier allgemein beschrieben werden und in den Figuren dargestellt sind, können in einer Vielzahl von unterschiedlichen Konfigurationen angeordnet, ersetzt, kombiniert und ausgelegt sein, soweit sie unter den Bereich der Ansprüche fallen.
1 zeigt eine beispielhafte Ausführungsform einer digitalen Präsentationseinrichtung 100. Die digitale Präsentationseinrichtung 100 enthält eine Basis 110, ein Kamerasystem 120, das an der Basis 110 mittels eines Basisarms 130 befestigt ist, ein Beleuchtungssystem 140, in dem mehrere Beleuchter 150 untergebracht sind, ein Beleuchtersteuerungssystem 160 und ein Fokussteuerungssystem 170. Gemäß einer anderen Ausführungsform, die in 1 nicht dargestellt ist, können Beleuchter 150 getrennt von dem Kamerasystem 120 vorgesehen sein, und zwar in einem Gehäuse, das an der Basis 110 mittels eines anderen Basisarms (nichtgezeigt) befestigt ist. Das Kamerasystem 120 kann eine Digitalkamera (Einzel- bzw. Stehbild oder Video) sein, die in der Lage ist, Bilder in einem elektronischen Format aufzunehmen und diese in digitale Bitfolgen umzuwandeln. Das Kamerasystem 120 kann optische Komponenten, die in 1 nicht gezeigt sind (beispielsweise Linsen, Gitter, Filter, Spiegel, etc.) zum richtigen Richten, Verstärken und Sammeln des Lichtes, das von einem Objekt reflektiert wird, dessen Bilder aufzunehmen sind, enthalten. Gemäß einer anderen Ausführungsform kann die digitale Präsentationseinrichtung 100 ebenfalls eine Flüssigkristallanzeige (LCD) oder eine andere Anzeigevorrichtung (beispielsweise eine flache Kathodenstrahlröhre, eine Plasmaanzeige, etc.) enthalten, um es einem Nutzer der Präsentationseinrichtung 100 zu ermöglichen, die Qualität von Bildern, die von dem Kamerasystem 120 aufgenommen werden, zu überprüfen und zu steuern. Ein Objekt 180, wie zum Beispiel ein Buch, ein transparentes Material (beispielsweise Dia) oder ein dreidimensionales Modell kann auf der Basis 110 platziert werden. Gemäß einer Ausführungsform kann das Kamerasystem 120 in Richtung der Basis 110 mittels einer linearen Gleitanordnung, einer Pneumatikzylinderanordnung oder einer anderen herkömmlichen Höheneinstelleinrichtung (in 1 nicht gezeigt) oder von dieser weg bewegbar sein. Die Höheneinstelleinrichtung kann mit einer Motoreinheit (nicht gezeigt) verbunden sein, so dass die Höhe des Kamerasystems 120 automatisch eingestellt werden kann. In Implementationen, in denen die Beleuchter 150 getrennt von dem Kamerasystem angeordnet sind, kann die Höhe der Beleuchter (beispielsweise der Abstand von der Basis 110) ebenfalls mittels einer linearen Gleitanordnung, einer Pneumatikzylinderanordnung oder einer anderen Höheneinstelleinrichtung eingestellt werden.
Die Beleuchter 150 können das Objekt 180 beleuchten, um Beleuchtungs- und/oder visuelle Effekte zu schaffen, so dass das Kamerasystem 120 Bilder des Objektes, das anzuzeigen ist, erfassen und aufnehmen kann.
Es können verschiedene Lichtquellen, wie zum Beispiel Licht emittierende Dioden (LEDs), Halogenleuchten, Kaltkathodenstrahlröhren, Glühlampen, etc. als Beleuchter 150 verwendet werden. Gemäß einer Ausführungsform können beispielsweise LED-Beleuchter verwendet werden, wobei die Beleuchter 150 um das Kamerasystem 120 angeordnet sein können, um das Objekt 180, das anzuzeigen ist, von oben zu beleuchten. Gemäß einer anderen Ausführungsform können die Beleuchter 150 in der Basis 110 integriert sein, so dass eine Beleuchtung von der Basis aus bereitgestellt wird, d. h. unterhalb des anzuzeigenden Objektes 180.
Gemäß einer beispielhaften Ausführungsform kann das Beleuchtersteuerungssystem 160 individuell die Beleuchter 150 mit Energie versorgen oder die Energieversorgung unterbrechen, und kann das Kamerasystem 120 derart steuern, dass es Bilder des Objektes 180 aufnimmt, während die Beleuchter individuell aktiviert oder mit Energie versorgt bzw. die Energieversorgung unterbrochen wird. Wenn jeder der Beleuchter 150 individuell mit Energie versorgt wird bzw. dessen Energieversorgung unterbrochen wird, kann das Kamerasystem 120 beispielsweise ein Bild des Objektes 180 aufnehmen, während dem entsprechenden Beleuchter Energie zugeführt wird. Das Kamerasystem 120 kann mit dem Beleuchtersteuerungssystem 160 synchronisiert werden, so dass das Kamerasystem 120 mehrere Bilder, die jeweils einem jeweiligen aktivierten Beleuchter 150 entsprechen, aufnimmt. Somit kann beispielsweise für jeden Beleuchter 150 ein Bild aufgenommen werden, wenn dem Beleuchter 150 Energie zugeführt wird, während die Energieversorgung der anderen Beleuchter 150 unterbrochen ist. Außerdem kann das Kamerasystem 120 eine Speichereinrichtung, die in 1 nicht gezeigt ist (beispielsweise einen Speicher mit wahlfreiem Zugriff (RAM), einen Flash-Speicher, Bänder, Scheibenlaufwerke, etc.) zum Speichern der aufgenommenen Bilder enthalten.
In einigen beispielhaften Ausführungsformen kann das Fokussteuerungssystem 170 durch Einstellen des Fokus einer Kameralinse in einem Kamerasystem 120 und/oder durch Erhöhen, Erniedrigen oder anderweitiges Manipulieren des Kamerasystems 120 in Bezug auf die Basis 110 tätig sein, um das Kamerasystem 120 zu fokussieren. Die Feldtiefe (DOF) kann als ein Bereich von Abständen zwischen dem Kamerasystem 120 und einem Objekt 180 beschrieben werden, innerhalb dessen ein Bild eines Objektes 180 als angemessen scharf betrachtet werden kann. Die DOF kann sich in Abhängigkeit von einem Kameratyp, einer Apertur und einem Fokussierabstand ändern. Dem Fachmann wird es im Lichte der hier beschriebenen Erfindung ersichtlich sein, dass, wenn ein Bild in einen Fokus gebracht wird, dieses ebenfalls bedeuten kann, dass ein Bildpunkt innerhalb der DOF liegt.
In einigen beispielhaften Ausführungsformen kann das Fokussteuerungssystem 170 bewirken, dass das Kamerasystem 120 Bilder des Objektes 180 in mehreren Fokussierabständen aufnimmt. Außerdem kann das Kamerasystem 120 mit den Fokussteuerungssystem 170 synchronisiert sein, um den Kamerafokus steuerbar einzustellen und Bilder des Objektes 180 aufzunehmen, wobei jedes Bild, das aufgenommen wird, einem jeweiligen Fokussierabstand entsprechen kann. Außerdem kann das Kamerasystem 120 mehrere Rahmenspeicher zum Speichern der aufgenommenen Bilder enthalten.
2 zeigt ein Flussdiagramm einer beispielhaften Ausführungsform eines Prozesses 200 zum Anzeigen eines Bildes eines Objektes. Während die folgende Beschreibung des Prozesses 200 aus Darstellungsgründen Bezug auf Elemente der Ausführungsform der 1 nimmt, ist der beanspruchte Gegenstand nicht darauf beschränkt, und somit sollte der Prozess 200 nicht als auf einen Prozess zum Aufnehmen von Bildern unter Verwendung einer Präsentationseinrichtung 100 verstanden werden. Im Block 210 können mehrere Bilder eines Objektes 180 beispielsweise durch das Kamerasystem 120 aufgenommen werden. Gemäß einer Ausführungsform können die jeweiligen Bilder aufgenommen werden, wenn ein jeweils unterschiedlicher Beleuchter mit Energie versorgt wird, während die anderen Beleuchter nicht mit Energie versorgt werden. Somit kann, während ein jeweiliger Beleuchter mit Energie versorgt wird, das Kamerasystem 120 ein Bild des Objektes 180 aufnehmen und das Bild in einem Speicher (beispielsweise RAM, Flash-Speicher, etc.) speichern. Jedes Bild kann beispielsweise in einem entsprechenden Rahmenspeicher des Kamerasystems 120 gespeichert werden. Der Block 210 kann wiederholt werden, bis sämtliche Beleuchter individuell mit Energie versorgt und entsprechende Bilder erhalten wurden. Wenn beispielsweise M Beleuchter verwendet werden, können M Bilder des Objektes 180 erhalten werden. Gemäß einer beispielhaften Ausführungsform kann M gleich 2 oder größer sein. Gemäß einer anderen beispielhaften Ausführungsform kann M in einem Bereich von 6 bis 8 liegen. Gemäß anderen beispielhaften Ausführungsformen kann ein Teilsatz der Beleuchter wahlweise mit Energie versorgt und ein entsprechender Satz von Bildern aufgenommen werden.
Gemäß einer anderen beispielhaften Ausführungsform können im Block 210 mehrere Bilder in mehreren Fokussierabständen der Kamera aufgenommen werden. Wenn beispielsweise der Fokus des Kamerasystems 120 geändert wird, können mehrere Bilder des Objektes 180 aufgenommen werden, wobei jedes Bild einem anderen Fokussierabstand der Kamera entspricht. Dieser Bilderlangungsprozess kann wiederholt werden, und es kann jedes Bild in einem Speicher des Kamerasystems 120 gespeichert werden. Wie es oben erläutert wurde, können anstelle des direkten Änderns des Fokus des Kamerasystems 120 ähnliche Fokusänderungswirkungen durch Bewegen der Basis 110 in Bezug auf das Kamerasystem 120 erzielt werden.
Im Block 220 können jeweilige Pixel der Bilder miteinander verglichen werden, und im Block 230 kann ein Pixel aus den jeweiligen Pixeln der Bilder auf den Vergleich der jeweiligen Pixel hin ausgewählt werden. Im Block 240 können die ausgewählten Pixel kombiniert werden, um ein endgültiges Bild, das im Block 250 auszugeben ist, auszubilden.
3 zeigt ein Flussdiagramm einer beispielhaften Ausführungsform eines Prozesses 300 zum Verarbeiten von Pixeln der Bilder, wenn die Bilder durch Einstellen der Beleuchter erhalten werden.
In 3 stellt K eine Folgennummer für ein K-tes Pixel eines Bildes dar, und M stellt eine maximale Anzahl von Pixeln des Bildes dar. Gemäß einer Ausführungsform, die nur beispielhaft ist, ist, wenn das Kamerasystem 120 ein Bild des Objektes 180 aufnimmt und dieses in ein 8×8-Pixelbild umwandelt, M gleich 64, und K variiert zwischen 1 und 64. Li stellt das i-te Bild aus den Bildern, die erhalten werden, dar. Gemäß anderen Ausführungsformen ist, wenn das Kamerasystem 120 ein Bild des Objektes 180 aufnimmt und dieses in ein 16×16-Pixelbild umwandelt, M gleich 256, und K variiert zwischen 1 und 256. Wenn beispielsweise 6 Bilder erhalten wurden, variiert i zwischen 1 und 6. Auf ähnliche Weise variiert, wenn 8 Bilder erhalten wurden, i zwischen 1 und 8. Li[K] stellt das K-te Pixel von Li dar. Zur Vereinfachung stellt Li[K] ebenfalls den Helligkeitswert des K-ten Pixels dar.
Im Block 310 des Prozesses 300 kann K zu 0 initialisiert und im Block 320 um eins inkrementiert werden. In Block 330 können, wenn K größer als M (maximale Anzahl der Pixel) ist, sämtliche Pixel als verarbeitet betrachtet werden, und der Prozess 300 kann beendet werden. Ansonsten erfolgt im Block 340 eine Bestimmung dahingehend, ob sämtliche K-ten Pixel der Bilder einen Helligkeitswert aufweisen, der größer als ein oberer Schwellenhelligkeitswert (T_H) ist. Die Helligkeit, die ebenfalls als Luminanz bezeichnet wird, kann als die Menge an Licht betrachtet werden, die einen bestimmten Bereich durchdringt oder von diesem emittiert wird, und die Standardeinheit für die Luminanz ist Candela je Quadratmeter (cd/m²). In einigen Ausführungsformen kann der obere Schwellenhelligkeitswert in einem Bereich von etwa 5 cd/m² bis etwa 20 cd/m², von etwa 10 cd/m² bis etwa 20 cd/m², von etwa 15 cd/m² bis etwa 20 cd/m², von etwa 5 cd/m² bis etwa 10 cd/m², von etwa 5 cd/m² bis etwa 15 cd/m² oder von etwa 10 cd/m² bis etwa 15 cd/m² reichen. In anderen Ausführungsformen kann der obere Schwellenhelligkeitswert etwa 5 cd/m², etwa 10 cd/m², etwa 15 cd/m² oder etwa 20 cd/m² betragen.
Wenn sämtliche Pixel einen Helligkeitswert aufweisen, der größer als der obere Schwellenhelligkeitswert ist, kann die Oberfläche des Objektes 180 als „hell” an dem Bildpunkt, der den K-ten Pixeln entspricht, bestimmt werden. Somit kann im Block 350 der minimale Helligkeitswert der K-ten Pixel als ein Helligkeitswert des K-ten Pixels ausgegeben werden. Wenn mindestens eines der Pixel eine Helligkeit aufweist, die niedriger als der obere Schwellenwert ist, kann der Prozess 300 zum Block 360 fortschreiten.
Im Block 360 kann bestimmt werden, ob sämtliche K-ten Pixel der Bilder einen Helligkeitswert aufweisen, der kleiner als ein unterer Schwellenhelligkeitswert (T_L) ist. In einigen Ausführungsformen kann der untere Schwellenhelligkeitswert in einem Bereich von 0,1 cd/m² bis etwa 5 cd/m², von etwa 0,5 cd/m² bis etwa 5 cd/m², von etwa 1 cd/m² bis etwa 5 cd/m², von etwa 2,5 cd/m² bis etwa 5 cd/m², von etwa 0,1 cd/m² bis etwa 0,5 cd/m² von etwa 0,1 cd/m² bis 1 cd/m², von etwa 0,1 cd/m² bis etwa 2,5 cd/m², von etwa 0,5 cd/m² bis etwa 1 cd/m² oder von etwa 1 cd/m² bis etwa 2,5 cd/m² reichen. In anderen Ausführungsformen kann der untere Schwellenhelligkeitswert etwa 0,1 cd/m², etwa 0,5 cd/m², etwa 1 cd/m², etwa 2,5 cd/m² oder etwa 5 cd/m² betragen.
Wenn sämtliche Pixel einen Helligkeitswert aufweisen, der kleiner als der Schwellenwert ist, kann die Oberfläche des Objektes 180 als „dunkel” an dem Bildpunkt, der den K-ten Pixeln entspricht, bestimmt werden. Somit kann im Block 370 ein maximaler Helligkeitswert der Pixel als ein Helligkeitswert des K-ten Pixels ausgegeben werden. Wenn mindestens eines der Pixel eine Helligkeit aufweist, die größer als der untere Schwellenwert ist, kann der Prozess 300 zum Block 380 fortschreiten.
Im Block 380 kann eine mittlere Helligkeit der Pixel als der Helligkeitswert des K-ten Pixels ausgegeben werden. Beim Berechnen des mittleren Helligkeitswertes kann Verschiedenes Berücksichtigung finden. Wenn beispielsweise die Anzahl der Pixel, die für einen speziellen Bereich eines Bildes abgetastet werden, relativ niedrig ist (beispielsweise 5 oder weniger Bilder wurden erhalten), können sämtliche Pixel für die Berechnung der mittleren Helligkeit verwendet werden. Wenn jedoch die Anzahl der Pixel, die abgetastet werden, relativ groß ist (beispielsweise 10 oder mehr Bilder wurden erhalten), können einige Pixel, die höhere oder niedrigere Helligkeitswerte aufweisen, von der Berechnung der mittleren Helligkeit ausgeschlossen werden.
Wenn sämtliche Pixel im Prozess 300 verarbeitet wurden, kann ein Bild, das dem Objekt 180 entspricht, aus den resultierenden (d. h. zusammengesetzten) Helligkeitswerten ausgebildet werden (Block 240). Somit können die Pixel des somit ausgebildeten Bildes von verschiedenen Bildern aus den Bildern, die für die jeweiligen Beleuchter 150 erhalten werden, abgeleitet werden. Danach kann ein Bild, das dem physikalischen Objekt 180 entspricht, im Block 250 durch externe Anzeigevorrichtungen ausgegeben werden.
Gemäß einer anderen Ausführungsform können mit Bezug auf 2 im Block 210 mehrere Bilder durch Ändern des Fokus des Kamerasystems 120 aufgenommen werden. 4 zeigt ein Flussdiagramm einer beispielhaften Ausführungsform eines Prozesses 400 zum Verarbeiten von Pixeln der Bilder, wenn die Bilder aufgenommen werden, wobei die jeweiligen Bilder unterschiedlichen Fokussierabständen des Kamerasystems 120 entsprechen.
In 4 stellt K eine Folgennummer für das K-te Pixel eines Bildes dar, und M stellt die maximale Anzahl von Pixeln des Bildes dar. Wenn beispielsweise das Kamerasystem 120 ein Bild des Objektes 180 aufnimmt und dieses in ein 8×8-Pixelbild umwandelt, ist M gleich 64, und K variiert zwischen 1 und 64. Fi stellt das i-te Bild aus den erhaltenen Bildern dar. Wenn beispielsweise sechs Bilder erhalten wurden, variiert i zwischen 1 und 6. Fi[K] stellt das K-te Pixel von Fi dar.
Gemäß 4 kann im Block 410 K zu 0 initialisiert und im Block 420 um eins inkrementiert werden. Im Block 430 kann, wenn K als größer als M (maximale Anzahl der Pixel) bestimmt wird, angenommen werden, dass sämtliche Pixel verarbeitet wurden, und der Prozess 400 kann beendet werden. Ansonsten kann im Block 440 ein Fokusmaß für jedes Fi[K] berechnet werden, und es kann ein maximales Fokusmaß aus den Fokusmaßen an demselben Bildpunkt des Objektes 180 ausgegeben werden.
Gemäß einer beispielhaften Ausführungsform kann ein automatisches Auswahlverfahren verwendet werden, um den Fokus der Kamera einzustellen und ein geeignetes Pixel aus den Pixeln der Bilder an demselben Bildpunkt zu bestimmen. Das automatische Auswahlverfahren kann ein Merkmal optischer Systeme sein, die in der Lage sind, einen richtigen Fokus eines Subjektes zu erhalten. In einer beispielhaften Ausführungsform kann das automatische Auswahlverfahren ein Shape-From-Focus-Verfahren (SFF) (Gestalt-aus-Fokus-Verfahren) sein. In einem Bild können Objekte in unterschiedlichen Abständen von einer Linse in unterschiedlichen Abständen in den Fokus gebracht werden. Ein SFF-Verfahren kann Kameraparameter, wie zum Beispiel eine Linsenposition und/oder eine Brennweite verwenden, um die Fokussierung eines Kamerasystems einzustellen. Gemäß dem SFF-Verfahren kann die Tiefe der Szene durch Ändern der Optiken der Kamera, bis ein interessierender Punkt in den Fokus gebracht ist, rekonstruiert werden. Die Änderung in den Optiken kann durch Ändern der Linsenposition und/oder der Objektposition in Bezug auf die Kamera erhalten werden.
Eine Tiefe eines Punktes eines Objektes im Fokus kann unter Verwendung der folgenden Gaußschen Linsenformel erhalten werden: 1/f = 1/u + 1/v, wobei f die Brennweite ist, u der Abstand des Objektes von der Linsenebene ist und v der Abstand des fokussierten Bildes von der Linsenebene ist. Ein deutliches oder fokussiertes Bild kann durch einen Bilddetektor erhalten werden, wenn der Bilddetektor mit der Bildebene zusammenfällt, d. h. wenn s = v gilt. Wenn der Bilddetektor in einem Abstand v (s = v) platziert ist, kann ein scharfes Bild erhalten werden. Wenn jedoch der Bilddetektor in einem Abstand s (s ≠ v) platziert ist, kann ein verschwommenes Bild der Punktquelle erhalten werden. Der Grad des Verschwimmens kann somit von der Brennweite f der Linse und den Abständen u und s abhängen. Wenn f und v bekannt sind, kann der Abstand u des Objektes unter Verwendung der oben angegebenen Gaußschen Linsenformel bestimmt werden.
Wenn I(x, y) die Bildintensität an einem Punkt (x, y) ist, ist der entsprechende Laplace-Operator:
Der Laplace-Operator kann für jedes Pixel eines gegebenen Bildfensters bestimmt werden, und eine Kriteriumsfunktion kann wie folgt lauten:
wobei T ein Schwellenwert ist. In dem Fall des Laplace-Operators können jedoch die zweiten Ableitungen in den x- und y-Richtungen unterschiedliche, d. h. entgegen gesetzte Vorzeichen aufweisen und sich gegenseitig auslöschen. D. h., die partiellen Ableitungen können hinsichtlich der Größe etwa gleich sein, aber ein entgegen gesetztes Vorzeichen aufweisen. Somit kann der folgende modifizierte Laplace-Operator verwendet werden:
Der modifizierte Laplace-Operator kann hinsichtlich des Betrags größer oder gleich dem Laplace-Operator sein. Eine diskrete Annäherung an den Laplace-Operator kann eine 3×3-Matrix oder ein 3×3-Operator sein. Um unterschiedliche Variationen der Größe von Texturelementen zu berücksichtigen, können partielle Ableitungen unter Verwendung eines variablen Zwischenraums bzw. Abstands (step) zwischen den Pixeln bestimmt werden, der verwendet wird, um die Ableitungen zu berechnen. Dementsprechend kann die diskrete Annäherung an den modifizierten Laplace-Operator aus Folgendem bestimmt werden: V 2 / MLI(x, y) = |2I(x, y) – I(x – step, y) – I(x + step, y)| + |2I(x, y) – I(x, y – step) – I(x, y + step)|.
Schließlich kann eine Fokusmessung an einem Punkt (i, j) als eine Summe aus den modifizierten Laplace-Operatoren in einem kleinen Fenster um (i, j) berechnet werden, die größer als ein Schwellenwert sind:
wobei der Parameter N die Fenstergröße bestimmt, die verwendet wird, um das Fokusmaß zu berechnen. Dieses Fokusmaß kann als Summen-Modifikations-Laplace-Operator (SML) bezeichnet werden.
Im SFF kann eine Folge von Bildern durch kontinuierliches Ändern des Abstandes zwischen den Linsen und dem Bilddetektor erhalten werden. Bei jedem Pixel kann der Bildrahmen, der das maximale Schärfemaß ergibt, bestimmt werden. Die gesamte Bildfolge kann als Bildvolumen Vi, x, y betrachtet werden, wobei x, y, und i die Anzahl jeweils der Spalten, Zeilen und Bildrahmen bezeichnen. Für jedes Bild in der Folge kann das Fokusmaß ∇ 2 / MLI(x, y) an jedem Pixel berechnet werden, und es wird ein Fokusmessvolumen SMLi, x, y erhalten. Ein Summen-Modifikations-Laplace-Operator-Volumen (SML-Volumen) SMLi, x, y, das F(x, y) verwendet, kann berechnet werden, wobei das SML-Volumen eine kleine (etwa 15×15) 2D-Bildnachbarschaft um das Pixel darstellt.
Aus einem SML-Volumen kann der Bildrahmen aus der Bildfolge, der ein maximales Schärfemaß ergibt, bestimmt werden. Dieser Bildrahmen kann eine endgültige Tiefenkarte repräsentieren. Der somit bestimmte Graupegel bzw. die Graustufe (proportional zur Bildstrahlungsintensität) des Pixels in dem Bildrahmen kann dem Graustufenwert des fokussierten Bildes für das Pixel entsprechen. Die Kameraparameterwerte für diesen Bildrahmen können verwendet werden, um den Abstand des Objektpunktes, der diesem Pixel entspricht, zu berechnen.
Wenn sämtliche Pixel gemäß 4 verarbeitet wurden, kann gemäß Block 240 der 2 ein Bild, das dem Objekt 180 entspricht, aus den ausgewählten Pixeln ausgebildet werden. Somit können Pixel dieses Bildes aus verschiedenen Bildern unter den Bildern, die durch das SFF-Verfahren erhalten wurden, erhalten werden. Danach kann im Block 250 der 2 das Bild, das dem physikalischen Objekt 180 entspricht, durch externe Anzeigevorrichtungen ausgegeben werden.
Gemäß einer anderen Ausführungsform kann ein Voreinstellungsverfahren anstelle des automatischen Auswahlverfahrens verwendet werden, um den Kamerafokus einzustellen und ein geeignetes Pixel aus den Pixeln der Bilder an demselben Punkt zu bestimmen. Das Voreinstellungsverfahren kann das Ändern des Fokus der Linse von einem niedrigeren Punkt zu einem höheren Punkt zu vorbestimmten Zeitpunkten beinhalten. In einigen beispielhaften Ausführungsformen kann die Zahl der vorbestimmten Zeitpunkte von 2 bis 10, von 5 bis 10, von 7 bis 10, von 2 bis 5, von 2 bis 7 oder von 5 bis 7 reichen. In anderen beispielhaften Ausführungsformen kann die Zahl der vorbestimmten Zeitpunkte gleich 2, 5, 7 oder 10 sein. Um Pixel zu bestimmen, kann das Voreinstellungsverfahren ebenfalls das Fokusmaß, das für das SFF-Verfahren verwendet wird, verwenden. In einigen Ausführungsformen kann, wenn sämtliche Pixel gemäß 4 verarbeitet wurden, ein Bild, das dem physikalischen Objekt 180 entspricht, aus den bestimmten Pixeln ausgebildet (Block 240) und durch externe Anzeigevorrichtungen ausgegeben werden (Block 250). In anderen Ausführungsformen kann ein Bild, das dem physikalischen Objekt 180 entspricht, ausgebildet werden, nachdem zumindest einige der Pixel verarbeitet wurden.
In weiteren Ausführungsformen können andere Fokusmessungen verwendet werden. Es kann beispielsweise eine Fokusmessung auf der Grundlage einer Hochfrequenzenergie in einem Leistungsspektrum unter Verwendung einer Fast-Fourier-Transformation (FFT) (Schnelle Fouriertransformation), der Varianz von Bildgraustufen, der L1-Norm eines Bildgradienten, der L2-Norm des Bildgradienten, der L1-Norm von zweiten Ableitungen des Bildes, der Energie des Laplace-Operators, des modifizierten Laplace-Operators, der Histogrammentropie des Bildes, des Histogramms der lokalen Varianz und der Summen-Modulus-Differenz, um nur einige zu nennen, durchgeführt werden, und dementsprechend ist der beanspruchte Gegenstand in dieser Hinsicht nicht durch die oben genannten Beispiele beschränkt.
Im Lichte der obigen Beschreibung ist es dem Fachmann ersichtlich, dass die Vorrichtung und die hierin beschriebenen Verfahren mittels Hardware, Software, Firmware, Middleware, oder Kombinationen aus diesen implementiert und in Systemen, Untersystemen, Komponenten oder Unterkomponenten von diesen verwendet werden können. Ein Verfahren, das mittels Software implementiert wird, kann beispielsweise einen Computercode enthalten, um die Operationen des Verfahrens durchzuführen. Dieser Computercode kann auf einem maschinenlesbaren Medium wie zum Beispiel einem prozessorlesbaren Medium oder einem Computerprogrammprodukt gespeichert sein oder als ein Computerdatensignal, das in einer Trägerwelle verkörpert ist, oder ein Signal, das durch einen Träger moduliert ist, über ein Übertragungsmedium oder eine Kommunikationsverbindung übertragen werden. Das maschinenlesbare Medium oder prozessorlesbare Medium kann ein beliebiges Medium beinhalten, das in der Lage ist, Informationen in einer Form zu speichern oder zu übertragen, die von einer Maschine (beispielsweise einem Prozessor, einem Computer, etc.) lesbar und ausführbar ist.
Für den Fachmann ist ersichtlich, dass die Funktionen, die in den Verfahren durchgeführt werden, in unterschiedlicher Reihenfolge implementiert sein können, und dass die umrissenen Schritte nur beispielhaft sind und dass einige Schritte optional sein können, in weniger Schritte kombiniert oder derart erweitert werden können, dass sie zusätzliche Schritte enthalten, ohne von dem Wesentlichen der vorliegenden Erfindung abzuweichen.
Die hier beschriebenen Ausführungsformen sind nur beispielhaft, und es sind verschiedene Modifikationen innerhalb des Bereichs der vorliegenden Erfindung, der durch die zugehörigen Ansprüche angegeben ist, abzuweichen.

Claims

Vorrichtung zum Anzeigen eines Bildes, die aufweist: eine Basis, die in der Lage ist, ein Objekt zu tragen, wobei die Basis einen Basisarm aufweist; ein Kamerasystem, das mit dem Basisarm gekoppelt ist, wobei das Kamerasystem ausgelegt ist, durch individuelles Versorgen und nicht Versorgen von Beleuchtern eines Beleuchtungssystems, die ausgelegt sind, das Objekt zu beleuchten, mit Energie mehrere Bilder des Objektes aufzunehmen; ein Beleuchtersteuerungssystem, das ausgelegt ist, die Beleuchter zu steuern; und ein Fokussteuerungssystem, das ausgelegt ist, einen Fokus des Kamerasystems einzustellen; wobei das Beleuchtersteuerungssystem den Helligkeitswert jeweiliger K-ter Pixel der Bilder für sämtliche M Pixel der Bilder miteinander vergleicht, wobei K eine Folgennummer für ein K-tes Pixel eines Bildes repräsentiert, und wobei M eine maximale Anzahl von Pixeln der Bilder repräsentiert; wenn der Helligkeitswert sämtlicher K-ter Pixel einen oberen Schwellenwert (TH) überschreitet, den niedrigsten Helligkeitswert für das K-te Pixel eines Ausgangsbildes auswählt, wenn der Helligkeitswert sämtlicher K-ter Pixel niedriger als ein unter Schwellenwert (TL) ist, den höchsten Helligkeitswert für das K-te Pixel des Ausgangsbildes auswählt, ansonsten einen mittleren Helligkeitswert für das K-te Pixel des Ausgangsbildes berechnet, das Ausgangsbild aus den Pixeln, die den ausgewählten Helligkeitswerten entsprechen, ausbildet; und die Vorrichtung zum Anzeigen des Ausgangsbildes ansteuert.
Vorrichtung zum Anzeigen eines Bildes, die aufweist: eine Basis, die in der Lage ist, ein Objekt zu tragen, wobei die Basis einen Basisarm aufweist; ein Kamerasystem, das mit dem Basisarm gekoppelt ist, wobei das Kamerasystem ausgelegt ist, mehrere Bilder des Objektes durch Ändern seines Fokus aufzunehmen; ein Beleuchtungssystem, das mehrere Beleuchter aufweist, die ausgelegt sind, das Objekt zu beleuchten; ein Beleuchtersteuerungssystem, das ausgelegt ist, die Beleuchter zu steuern; und ein Fokussteuerungssystem, das ausgelegt ist, den Fokus des Kamerasystems einzustellen; wobei das Fokussteuerungssystem ein Fokusmaß jeweiliger K-ter Pixel der Bilder für sämtliche M Pixel der Bilder berechnet, wobei K eine Folgennummer für ein K-tes Pixel eines Bildes repräsentiert, und wobei M eine maximale Anzahl von Pixeln der Bilder repräsentiert; das maximale Fokusmaß der K-ten Pixel für ein K-tes Pixel eines Ausgangsbildes auswählt; das Ausgangsbild aus den Pixeln, die den ausgewählten Fokusmaßen entsprechen, ausbildet; und die Vorrichtung zum Anzeigen des Ausgangsbildes ansteuert.
Vorrichtung nach Anspruch 2, wobei das Fokussteuerungssystem außerdem in der Lage ist, zu bewirken, dass das Kamerasystem die Bilder des Objektes mit mehreren Fokussierabständen aufnimmt, wobei ein jeweiliges Bild einem jeweiligen Fokussierabstand entspricht.
Vorrichtung nach Anspruch 3, wobei die Basis bewegt werden kann, um den Fokus des Kamerasystems einzustellen.
Vorrichtung nach Anspruch 2, wobei das Fokussteuerungssystem außerdem ausgelegt ist, das Fokusmaß zumindest durch Berechnen eines Summen-Modifikations-Laplace-Operators (SML) zu berechnen.
Verfahren zum Anzeigen eines Bildes, das aufweist: Aufnehmen mehrerer Bilder eines Objektes durch individuelles Versorgen und nicht Versorgen mehrerer Beleuchter mit Energie; Vergleichen der Helligkeitswerte jeweiliger K-ter Pixel der Bilder für sämtliche M Pixel der Bilder miteinander, wobei K eine Folgennummer für ein K-tes Pixel eines Bildes repräsentiert, und wobei M eine maximale Anzahl von Pixeln der Bilder repräsentiert; wenn der Helligkeitswert sämtlicher K-ter Pixel einen oberen Schwellenwert (TH) überschreitet, Auswählen des niedrigsten Helligkeitswerts für das K-te Pixel eines Ausgangsbildes, wenn der Helligkeitswert sämtlicher K-ter Pixel niedriger als ein unter Schwellenwert (T_L) ist, Auswählen des höchsten Helligkeitswerts für das K-te Pixel des Ausgangsbildes, ansonsten Berechnen eines mittleren Helligkeitswerts für das K-te Pixel des Ausgangsbildes, Ausbilden des Ausgangsbilds aus den Pixeln, die den ausgewählten Helligkeitswerten entsprechen; und Ausgeben des Ausgangsbildes.
Verfahren zum Anzeigen eines Bildes, das aufweist: Ansteuern eines Beleuchtungssystems, das mehrere Beleuchter aufweist, um ein Objekt zu beleuchten; Aufnehmen mehrerer Bilder des Objektes durch Ändern des Fokus eines Kamerasystems; Berechnen eines Fokusmaßes jeweiliger K-ter Pixel der Bilder für sämtliche M Pixel der Bilder, wobei K eine Folgennummer für ein K-tes Pixel eines Bildes repräsentiert, und wobei M eine maximale Anzahl von Pixeln der Bilder repräsentiert Auswählen des maximalen Fokusmaßes der K-ten Pixel für ein K-tes Pixel eines Ausgangsbildes; Ausbilden des Ausgangsbildes aus den Pixeln, die den ausgewählten Fokusmaßen entsprechen; und Ausgeben des Ausgangsbildes.
Verfahren nach Anspruch 7, wobei bei dem Berechnen des Fokusmaßes ein Summen-Modifikations-Laplace-Operator (SML) verwendet wird.
Vorrichtung nach Anspruch 7, wobei bei dem Berechnen des Fokusmaßes ein Summen-Modifikations-Laplace-Operator (SML) verwendet wird.
Prozessorlesbares Speichermedium, das Anweisungen speichert, die, wenn sie von einem Prozessor ausgeführt werden, bewirken, dass der Prozessor eine Vorrichtung steuert, um ein Verfahren nach einem der Ansprüche 6 bis 9 durchzuführen.