-
Die
vorliegende Erfindung betrifft im Allgemeinen eine autofokussierende
Vorrichtung und ein Verfahren für
eine Kamera und insbesondere eine autofokussierende Vorrichtung
und ein Verfahren für
eine Kamera, welches einem Kameramodul, das auf einem Mobiltelefon,
einem Smarttelefon, einem PDA-Computer (PDA, personal digital assistance)
oder ähnlichem
befestigt ist, ermöglicht,
diskrete Kosinustransformationskoeffizienten von einem Komprimierungsmodul
zu ermitteln und den Fokus einer Linse basierend auf den ermittelten Koeffizienten
einzustellen.
-
In
letzter Zeit wird mit der schnellen Entwicklung einer Informationsgesellschaft
zusätzlich
zu einem mobilen Datenübertragungsendgerät, das lediglich
Sprache übermittelt,
die Entwicklung eines multifunktionalen mobilen Datenübertragungsendgeräts, in welchem
sich eine Vielzahl von Funktionen befinden, benötigt.
-
Entsprechend
wurde, um die Nachfrage des multimedialen Zeitalters zu befriedigen,
ein multifunktionales mobiles Datenübertragungsendgerät entworfen,
in welchem eine Funktion zur Übermittlung
und zum Empfangen von Bildern mit einer Funktion zur Übermittlung
und zum Empfangen von Sprache kombiniert ist.
-
Solch
ein multifunktionales mobiles Datenübertragungsendgerät wird beispielhaft
anhand eines Kameratelefons erläutert,
in welchem eine Digitalkamerafimktion in einem mobilen Datenübertragungsendgerät (einem
so genannten Mobiltelefon), das üblicherweise
von einem Benutzer mitgeführt
wird, implementiert ist.
-
Wenn
ein Benutzer spontan wünscht,
ein Foto eines bestimmten Motivs oder eines für Geschäftszwecke benötigten Gegenstandes
aufzunehmen und zu behalten, ermöglicht
das Kameratelefon das Foto aufzunehmen und darin zu speichern.
-
Darüber hinaus
lässt das
Kameratelefon zu, das fotografierte Bild drahtlos durch ein mobiles
Datenübertragungsendgerät an ein
anderes mobiles Datenübertragungsendgerät zu übermitteln,
und das fotografierte Bild kann auf dem Bildschirm eines Arbeitsplatzcomputers
(PC) angezeigt und auf dem PC gespeichert werden, wenn das mobile
Datenübertragungsendgerät mit dem
PC verbunden ist.
-
In
der koreanischen Patentanmeldung Nr. 99-60177 mit dem Titel „photographed
image transmission method for camera phone" wird eine Technologie zu einem Kameratelefon
beschrieben.
-
Darüber hinaus
wurden in letzter Zeit ein mobiles Datenübertragungsendgerät (ein so
genanntes TV-Telefon, das im Stande ist, TV Rundfunkübertragungsprogramme
zu empfangen und auszugeben, und ein mobiles Datenübertragungsendgerät, das fähig ist
Internetinformationen herunter zu laden und bewegte Bilder darzustellen,
wenn es mit dem Internet verbunden ist, entwickelt. Ein mobiles
Datenübertragungsendgerät der nächsten Generation
wurde entwickelt, das erlaubt all diese Funktionen von mobilen Datenübertragungsendgeräten durchzuführen.
-
Der
Aufbau eines typischen Kameratelefons umfasst ein Kameramodul zum
Fotografieren von Bildern, ein Transmissionsmodul zum Übermitteln
der Stimme und des Bildes eines Benutzers und ein Empfangsmodul zum
Empfangen der Stimme und des Bildes des Gesprächpartners.
-
Das
Kameramodul umfasst ein Linsensubsystem und ein Bildverarbeitungssubsystem.
-
Das
Linsensubsystem umfasst eine Linseneinheit bestehend aus einer Zoomlinse
und einer Fokussierlinse, ein Stellglied zum Ansteuern der Zoom
und der Fokussierlinsen und einen Stellgliedtreiber.
-
Das
Bildverarbeitungssubsystem umfasst eine Bildsensor- und Bildsignalprozessor-Einheit
(ISP-Einheit, image signal processor unit) und einen Autofokus-Digitalsignalprozessor
(Autofokus-DSP, auto focus digital signal processor).
-
Das
Linsensubsystem fokussiert auf das zu fotografierende Motiv und
ermöglicht
dem Licht, das auf eine bestimmten Bereich einfällt, welche einen vorbestimmten
Bereich des Motivs einnimmt, mit dem Bildsensor in Kontakt zu kommen.
-
Der
Bildsensor des Bildverarbeitungssubsystems umfasst Fotozellen, die
Ladungen ansammeln, wenn das Licht während eines speziellen Absorptionszeitraums
mit dem Bildsensor in Kontakt kommt, die angesammelten Ladungen
in Digitalwerte (Pixelwerte) konvertieren und die resultierenden
Digitalwerte ausgeben.
-
Die
ISP-Einheit des Bildverarbeitungssubsystems führt die Bildverarbeitung, wie
Komprimierung und skalierende Bildverbesserung, der erhaltenden
Digitalwerte entsprechend den Pixeln durch und übermittelt die resultierenden
Werte dem Mobiltelefonzentralteil.
-
In
diesem Fall stellt das Linsensubsystem den Fokus einer Linse ein,
um ein scharfes Bild zu fotografieren, wobei eine Autofokuseinheit
verwendet wird, wie sie bei einer typischen Foto- und Digitalkamera
eingesetzt wird. Im Folgenden wird das Verfahren kurz beschrieben.
-
Wenn
die Komposition eines zu fotografieren beabsichtigten Gegenstandes
bestimmt ist und anschließend
ein Auslöseknopf
betätigt
wird, nimmt eine Autofokuseinheit in einer Vorrichtung zum Fotografieren,
zum Beispiel einer Fotokamera oder einer Digitalkamera, im Allgemeinen
ein Bild auf während
automatisch auf den Gegenstand fokussiert wird.
-
Die
Autofokuseinheit wendet ein aktives Verfahren und ein passives Verfahren
an.
-
Das
aktive Verfahren ist ein Verfahren zur Messung einer Distanz zu
einem Gegenstand durch Emission von infraroter Strahlung oder Ultraschallwellen
und Erfassung (sensing) der einfallenden Strahlung oder Wellen,
die von dem Gegenstand reflektiert werden.
-
Das
passive Verfahren ist ein Verfahren zur Bestimmung eines Abstands
zu einem Gegenstand, wobei Licht, das von dem Gegenstand unter natürlicher
Beleuchtung ohne eine separate Lichtquelle zu verwenden emittiert
wird, von der Linseneinheit empfangen wird und die Licht- und Dunkelheitsdifferenz
des Gegenstandes verwendet wird.
-
Mit
anderen Worten, das passive Verfahren führt eine Autofokusjustierungsfunktion
in der Weise durch, dass ein Hochbandfrequenzsignal, das eine zum
Kontrast proportionale Größe ist,
detektiert wird, indem das Leuchtdichtesignal einer Bildsignalausgabe
eines Bildsensors für
jeden Rahmen durch einen Hochbandfilter geschickt wird und eine
Fokussierlinse in eine Richtung bewegt wird, die den Kontrast erhöht, während der
erhaltene Kontrast mit dem Kontrast eines vorherigen Rahmens verglichen
wird, und die Drehung eines Fokussierlinsenstellglieds in einer
Stellung maximalen Kontrasts gestoppt wird.
-
1 ist ein Blockdiagramm
zur Veranschaulichung des Aufbaus eines Kameramoduls, das eine konventionelle
Autofokusjustierungsvorrichtung umfasst. Das Kameramodul umfasst
eine Linseneinheit 11, eine Bildsensor- und ISP-Einheit 12,
einen Autofokus-DSP 14, einen Stellgliedtreiber (actuator
driver) 15 und ein Stellglied (actuator) 16.
-
Die
Linseneinheit 11 umfasst eine Zoomlinse und eine Fokussierlinse.
Die Zoomlinse ist eine Linse zur Vergrößerung eines Bildes und die
Fokussierlinse ist eine Linse zur Fokussierung eines Bildes.
-
Der
Bildsensor verwendet einen Sensor, der einen Ladungsspeicherbaustein
(CCD, charge coupled device) oder einen CMOS-Halbleiter (CMOS, complementary
metal oxide semicondutor) benutzt. Der ISP ist ein Bauteil zur Durchführung einer
Bildverarbeitung, z. B. eines automatischen Weißabgleichs, einer automatischen
Belichtung und einer Gammakorrektur, so dass ein Bild konvertiert
wird, um dem menschlichen Sehvermögen zu entsprechen.
-
Die
Bildsensor- und ISP-Einheit 12 konvertiert bildverarbeitete
Daten in ein CCIR656- oder CCIR601-Format (YUV-Raum), empfängt einen
Grundtakt (master clock) von einem Mobiltelefonzentralrechner (mobile
phone host) 13 und gibt anschließend die Bilddaten Y/Cb/Cr
oder R/G/B an den Mobiltelefonzentralrechner 13 zusammen
mit einem vertikalen Synchronisationssignal Vsync, einem horizontalen
Synchronisationssignal Hsync und einem Pixeltaktsignal Pixel_Clock
aus.
-
Der
Autofokus-DSP 14 umfasst ein optisches Detektionsmodul
(ODM, optical detection modul) und eine Zentralprozessoreinheit
(CPU, central processing unit) zur Durchführung eines Autofokusalgorithmus,
der auf den resultierenden Werten des ODM basiert.
-
In
diesem Fall besteht der ODM im Allgemeinen aus einem digitalen Hochbandpassfilter,
einer Integrationsstufe und einem Fensterkontrollblock.
-
Wenn
der Autofokus-DSP 14 Bilddaten von der Bildsensor- und
ISP-Einheit 12 empfängt
und das empfangene Bild durch den digitalen Hochbandpassfilter gibt,
werden nur die Randkomponenten eines Bildes extrahiert.
-
In
diesem Fall empfängt
der Fensterkontrollbock bezüglich
eines Fenstereinstellungsbereiches (window set region) die Start-
und Endpositionen des Fensters und integriert die Ausgabewerte des
digitalen Hochbandpassfilter innerhalb des Fensters in der Integrationsstufe.
Durch die Integration erhaltene Fokussierungswerte werden als Referenzdaten
zur Justierung eines Fokus im Kameramodul verwendet.
-
Für ein unbewegtes
Bild wird der Fokus im Allgemeinen durch Bewegung der Linseneinheit 11 justiert. Für dasselbe
Bild wird ein Fokussierungswert hoch, wenn sich das Bild im Fokus
befindet bzw. scharf ist. Im Gegensatz dazu wird ein Fokussierungswert
niedrig, wenn sich das Bild außerhalb
des Fokus befindet bzw. unscharf ist.
-
Mit
Bezug auf 2 wird, wenn
dasselbe Bild in eine Kamera eingegeben wird, ein niedriger Fokussierungswert
generiert, wenn sich das Bild außerhalb des Fokus befindet
bzw. unscharf ist (siehe Bereiche „A" oder „C") und ein hoher Fo kussierungswert generiert,
wenn sich das Bild im Fokus befindet bzw. scharf ist (siehe Bereich „B"). Währenddessen
sind die Fokussierungswerte für
ein komplexes Bild in der Bereich „B" höher und
für ein
einfaches Bild sind die Fokussierungswerte in der Bereich „B" niedriger. Im Allgemeinen
ist eine Kamera auf das Zentrum eines Bildes fokussiert und ein
Fenster wird auf das Zentrum als Basis platziert.
-
Um
den maximalen Fokussierungswert eines Bildes zu finden, veranlasst
der Stellgliedtreiber 15 die Linseneinheit 11 sich
durch den Betrieb des Stellgliedes 16 zu bewegen. Die Stelle,
an welcher der Fokussierungswert, wie in 2 gezeigt, maximal ist, muss durch Bewegung
der Linseneinheit 11 festgestellt werden.
-
Das
Kameramodul bestimmt, ob die Linseneinheit 11 vorwärts oder
rückwärts bewegt
werden soll, und kontrolliert den Stellgliedtreiber 15 durch
Ausführung
eines Algorithmus zur Feststellung des maximalen Fokussierungswertes
in der CPU.
-
Währenddessen
muss in einem mobilen Datenübertragungsendgerät eine Autofokusjustierungseinheit
unter Verwendung von integrierten Schaltkreisen implementiert werden,
die minimale Kosten und Raum benötigen.
Idealerweise wird ein Autofokusjustierungsverfahren nicht unter
Verwendung von spezifischen Schaltkreisen, die nur automatisch einen
Fokus justieren können,
implementiert, sondern sollte unter Verwendung von Komponenten,
die auch für
andere Zwecke in einer Bildvorrichtung eingesetzt werden, implementiert werden.
-
Vor
dem Hintergrund des Stands der Technik ist es Aufgabe der vorliegenden
Erfindung, eine autofokussierende Vorrichtung und ein Verfahren
für eine
Kame ra bereit zu stellen, womit einem Kameramodul, das an einem
Mobiltelefon, einem Smarttelefon, einem PDA-Computer oder ähnlichem
befestigt ist, ermöglicht wird,
die benötigten
Informationen von einem Komprimierungsmodul zu erhalten und basierend
auf diesen Informationen den Fokus einer Linse einzustellen.
-
Diese
Aufgabe wird erfindungsgemäß gelöst wie in
den unabhängigen
Ansprüchen
angegeben.
-
Weitere
vorteilhafte Ausgestaltungen und Weiterbildungen, die jeweils einzeln
angewandt oder beliebig miteinander kombiniert werden können, sind
Gegenstand der jeweilig abhängigen
Ansprüche.
-
Um
den obigen Gegenstand auszuführen
stellt die vorliegende Erfindung eine autofokussierende Vorrichtung
für eine
Kamera bereit umfassend eine Bildsensoreinheit zur Transformation
eines optischen Signals in ein elektrisches Signal; eine Bildsignalprozessoreinheit
zum Empfangen des elektrischen Signals von der Bildsensoreinheit
und zur Ausgabe digitalisierter Bilddaten; ein Speicher enthaltendes
Komprimierungsmodul, wobei das Komprimierungsmodul die Bilddaten
entsprechend Rahmen (frame) bei der Eingabe der Bilder klassifiziert,
jeden Rahmen in eine Mehrzahl, insbesondere Vielzahl, von Blöcken vorbestimmter
Größe unterteilt, insbesondere
blockt, eine diskrete Kosinustransformation (DCT, discrete cosine
transform) auf den Blöcken durchführt und
anschließend
auf die Blöcke
bezogene DCT-Werte ausgibt; eine Fokussierungswertberechnungseinheit
zum Empfangen von DCT-Koeffizientenwerten, die mit der Mehrzahl
von Blöcken
eines Rahmens in Beziehung stehen, und zum Quantisieren der empfangenen
DCT-Koeffizientenwerte unter Verwendung einer im Bezug auf Blöcke in einem
Fenstereinstellungsbereich fixierten Schrittgröße und zur Berechnung der Fokussierungswerte
durch Integration vorbestimmter Frequenzanteile, insbesondere Grade,
der quantisierten DCT-Koeffizientenwerte; und ein Autofokus-Digitalsignalprozessor
zur Detektion eines maximalen Fokussierungswertes, während und/oder
indem eine Fokussierlinse bewegt wird und zur Durchführung einer
Autofokusjustierung, wenn die Fokussierungswerte von der Fokussierungswertberechnungseinheit
eingegeben werden.
-
Darüber hinaus
stellt die vorliegende Erfindung ein Verfahren zur automatischen
Justierung eines Fokus einer Kamera bereit, umfassend den Verfahrensschritt
1 einer Bildsensor- und ISP-Einheit zum Erhalten von Bilddaten entsprechend
Rahmen und zur Übermittlung
von Bilddaten an das Komprimierungsmodul; den Verfahrensschritt
2 eines Komprimierungsmoduls zum Unterteilen, insbesondere Blocken,
eines Rahmens in eine Mehrzahl von Blöcken vorbestimmter Größe, und
zur Durchführung
einer DCT auf den Blöcken
und zur Ausgabe der DCT-Koeffizienten;
den Verfahrensschritt 3 einer Fokussierungswertberechnungseinheit
zur Durchführung
einer schrittgrößenfixierten
Quantisierung und zur Berechnung von Fokussierungswerten durch Integration
vorbestimmter Frequenzanteile, insbesondere Grade, der quantisierten
DCT-Koeffizientenwerte bezüglich
von Blöcken
innerhalb des Fensters, wenn die blockbasierten DCT-Koeffizienten
von dem Komprimierungsmodul empfangen werden; und den Verfahrensschritt
4 eines Autofokus-DSP zum Empfangen der Fokussierungswerte, die
im dritten Verfahrensschritt berechnet werden, und zur Berechnung
eines maximalen Fokussierungswertes, während und/oder indem die Fokussierlinse
der Linseneinheit bewegt wird, und anschließend zur Durchführung einer
Autofokusjustierung.
-
Die
Fokussierungswertberechnungseinheit kann insbesondere den Fokussierungswert
durch kumulative Integration der quantisierten DCT-Koeffizientenwerte
der Blöcke
in dem Fenstereinstellungsbereich hinsichtlich einer vorbestimmten
Anzahl von sukzessiven Rahmen berechnen.
-
Das
Verfahren der Integration der vorbestimmten Frequenzanteile der
quantisierten DCT-Koeffizienten kann insbesondere durch kumulative
Integration der vorbestimmten Frequenzanteile der quantisierten DCT-Koeffizientenwerte
in Bezug auf die Blöcke
in dem auf die vorbestimmten sukzessiven Rahmen bezogenen Fenstereinstellungsbereich
durchgeführt
werden.
-
Weitere
vorteilhafte Ausgestaltungen und Einzelheiten, die jeweils einzeln
angewandt oder in geeigneter Weise kombiniert werden können, werden
anhand der folgenden Zeichnungen, welche die Erfindung nicht einschränken sondern
lediglich exemplarisch illustrieren sollen, näher erläutert. Es zeigen schematisch:
-
1 Ein
Blockdiagramm zur Veranschaulichung des Aufbaus eines Kameramoduls,
welches eine konventionelle Autofokusjustierungsvorrichtung umfasst;
-
2 eine
Darstellung zur Illustration eines konventionellen Verfahrens zur
automatischen Kontrolle eines Fokus;
-
3 eine
Autofokusjustierungsvorrichtung, die entsprechend einer Ausführungsform
der vorliegenden Erfindung diskrete Kosinustransformationskoeffizienten
verwendet;
-
4 ein
Blockdiagramm zur detaillierten Veranschaulichung des Komprimierungsmoduls
und der Fokussierungswertberechnungseinheit aus 3;
-
5A eine
Darstellung zur Illustration der von der Bildformatierungseinheit
aus 3 berechneten Werte;
-
5B eine
Darstellung, zur Veranschaulichung eines in Blöcke eingeteilten Bildsignals,
das in die Frequenzkonvertierungseinheit aus 3 eingegeben
wird;
-
5C eine
Darstellung zur Veranschaulichung der Verteilung von DCT-Koeffizienten,
die von der Frequenzkonvertierungseinheit aus 3 ausgegeben
werden;
-
5D eine
Darstellung zur Veranschaulichung der von dem Quantisierer aus 3 ausgegebenen Werte;
-
5E eine
Darstellung zur Illustration eines Fensters, das von der Fokussierungswertberechnungseinheit
verwendet wird;
-
5F eine
Darstellung zur Illustration der Fokusjustierung unter Verwendung
von Fokussierungswerten; und
-
6 ein
Flussdiagramm zur Illustration eines Verfahrens zur automatischen
Justierung des Fokus einer Kamera, unter Verwendung von DCT-Koeffizienten,
entsprechend einer Ausführungsform
der vorliegenden Erfindung.
-
Im
Folgenden wird Bezug auf die Zeichnungen genommen, in denen die
verwendeten Bezugszahlen durchweg gleiche oder ähnliche Komponenten kennzeichnen.
-
3 ist
eine Autofokusjustierungsvorrichtung unter Verwendung von DCT-Koeffizienten entsprechend
einer Ausführungsform
der vorliegenden Erfindung.
-
Bezugnehmend
auf die 3 umfasst die DCT-Koeffizienten
verwendende Autofokusjustierungsvorrichtung gemäß einer Ausführungsform
der vorliegenden Erfindung eine Linseneinheit 311, eine
Bildsensor- und ISP-Einheit 312, ein Komprimierungsmodul 313,
eine Fokussierungswertberechnungseinheit 314, einen Autofokus-DSP 315,
einen Stellgliedtreiber 316 und ein Stellglied 317.
Die Bildsensor- und ISP-Einheit 312 sind als Einheit ausgebildet.
Darüber
hinaus kann die Bildsensor- und ISP-Einheit 312 in einen
Bildsensor- und einen Bildsignalprozessor aufgetrennt werden.
-
Die
Linseneinheit 311 umfasst eine Zoomlinse und eine Fokussierlinse.
Die Zoomlinse ist eine Linse zur Vergrößerung eines Bildes und die
Fokussierlinse ist eine Linse zum Fokussieren eines Bildes.
-
Die
Bildsensor- und ISP-Einheit 312 verwendet einen Ladungsspeicherbausteinbildsensor
oder einen CMOS-Halbleiterbildsensor zur Konvertierung eines optischen
Signals in ein elektrisches Signal. Der ISP verbessert die Bildqualität durch
Konvertierung der Bilddaten, um die menschlichen visuellen Fähigkeiten
zu berücksichtigen,
und gibt Bilddaten mit verbesserter Bildqualität aus.
-
Der
CCD-Bildsensor wird gebildet durch die Anordnung einer Mehrzahl
von metallischen Elektroden einer sehr kleinen Größe auf einen
Silikonwafer. Der CCD-Bildsensor
ist zusammengesetzt aus einer Mehrzahl von Photodioden und wandelt
optische Energie in ein elektrisches Signal, wenn das optische Signal
auf eine Mehrzahl von Photodioden gelenkt wird.
-
Da
der CCD-Bildsensor in den pixelentsprechenden Photodioden generierte
Ladungen an einen Verstärker
durch vertikale und horizontale Transfer-CCDs unter Verwendung einer
hohen Potentialdifferenz übermittelt,
ist er durch einen hohen Energieverbrauch gekennzeichnet, jedoch
ist er robust gegenüber
Rauschen und führt
eine gleichmäßige Verstärkung durch.
-
Im
Gegensatz dazu wird der CMOS-Bildsensor gebildet, indem Photodioden
und Verstärker
den individuellen Pixeln entsprechend angeordneten werden. Der CMOS-Bildsensor
hat einen niedrigen Energieverbrauch und kann in einer kleinen Größe hergestellt
werden, jedoch weist er den Nachteil auf, dass seine Bildqualität niedrig
ist.
-
Die
CCD- und CMOS-Bildsensoren-Typen sind mannigfaltig und ihre ISP-Schnittstellen und
Charakteristika sind entsprechend dem herstellenden Betrieb unterschiedlich.
Dementsprechend wird ein Bildsignalprozessor für einen speziellen Sensor ausgelegt
und hergestellt.
-
Der
Bildsignalprozessor führt
Bildverarbeitung wie Farbfilterfeldinterpollation (colour filter
array interpolation), Farbmatrizenverarbeitung, Farbkorrektur und
Farbverstärkung
durch.
-
In
diesem Fall umfasst ein Signal, das als das Synchronisationssignal
eines jeden Bildrahmens (image frame) verwendet wird, ein vertikales
Synchronisationssignal Vsync, das den Anfang des Bildrahmens anzeigt, ein
horizontales Synchronisationssignal Hsync, das den aktuellen Zustand
eines Bildes in jeder Zeile innerhalb eines Bildrahmens anzeigt,
und ein Pixeltaktsignal pixel_clock, das die Synchronisation der
Pixeldaten anzeigt. Pixeldaten werden hinsichtlich eines tatsächlichen
Bildes in Form von pixel_data gebildet.
-
Die
Bildsensor- und ISP-Einheit 312 konvertiert bildverarbeitete
Daten in ein CCIR656- oder CCIR601-Format (YUV Raum) um, empfängt einen
Haupttakt (master clock) von einem Mobiltelefonzentrakechner 320 und
gibt dann die Bilddaten Y/Cb/Cr oder R/G/B an den Mobiltelefonzentralrechner 320 zusammen
mit einem vertikalen Synchronisationssignal Vsync, einem horizontalen
Synchronisationssignal Hsync und einem Pixeltaktsignal Pixel_Clock
aus.
-
Das
Komprimierungsmodul 313 komprimiert und gibt die von der
Bildsensor und ISP-Einheit 312 empfangenen Bilddaten aus.
Das interne Blockdiagramm des Komprimierungsmoduls 313 wird
in 5 gezeigt. Das Komprimierungsmodul 313 umfasst
eine Bildformatierungseinheit 410, eine Frequenzkonvertierungseinheit 415,
eine Umstellungseinheit 420, eine Quantisierungseinheit 425 und
einen variablen Längenkodierer 430.
-
Die
Bildformatierungseinheit 410 empfängt die Ausgabe des Bildsignalprozessors
und gibt pixel_data in der Form von YCbCr-4:2:2 oder YCbCr-4:2:0,
was CCIR656 oder CC1R601-Format entspricht, und die vertikalen und
horizontalen Signale eines Rahmens aus, so dass eine geeignete Eingabe
zur späteren
Bildverarbeitung zur Verfügung
gestellt wird.
-
Zu
diesem Zweck führt
die Bildformatierungseinheit 410 eine Farbkoordinatenkonvertierung
durch, d.h. sie konvertiert RGB-Format-Daten in YCbCr- oder YUV-Format.
-
Beispielsweise
werden Formeln zur CCIR-601-YCbCr-Farbraumkonvertierung wie folgt
ausgedrückt:
Y =
(77R + 150G + 29B)/256 | Range:
16~235 |
Cb
= (– 44R – 87G +
131B)/256 + 128 | Range:
16~240 |
Cr
= (131R – 110G – 21B)/256
+ 128 | Range:
16~240 |
-
Die
Bildformatierungseinheit 410 führt eine Farbwertformatkonvertierung
der wie oben beschrieben konvertierten YCbCr-Formatdaten durch,
so dass YCbCr-4:4:4-Formatdaten
in YCbCr-4:2:2-Formatdaten oder YCbCr-4:2:0-Formatdaten konvertiert
und dann ausgegeben werden. 5A zeigt
YCbCr, das ausgegeben wird, wenn die Zahl der Pixel eines Rahmens
640 × 480
beträgt.
-
In
dem 4:2:0-Format in 5A, wird ein Y-Signal in der
Form von 640 × 480
Pixeln in der Reihenfolge der zugewiesenen Referenznummern ausgegeben,
ein Cb-Signal wird in der Form von 320 × 240 Pixeln, die im Vergleich
zum Y-Signal in jeder Dimension halbiert werden, ausgegeben und
ein Cr-Signal wird auch in der Form von 320 × 240 Pixeln, die im Vergleich
zum Y-Signal in jeder Dimension halbiert werden, ausgegeben.
-
Die
Farbwertformatkonvertierung der Bildformatierungseinheit 410 basiert
auf einer niedrigen, räumlichen
Empfindlichkeit der Augen gegenüber
Farben. Studien haben bewiesen, dass Farbkomponenten-subsampling
unter Verwendung von vier Faktoren in horizontalen und vertikalen
Richtungen angemessen sind. Folglich kann ein Bildsignal durch vier
Leuchtdichtekomponenten (luminance components) und zwei Farbwertkomponenten
(chrominance components) dargestellt werden.
-
Darüber hinaus
umfasst die Bildformatierungseinheit 410 ein Frame Memory,
insbesondere einen Datenübertragungsblockspeicher,
und übermittelt
die Daten eines zweidimensionalen 8 × 8-Block, indem und/oder während die
Speicheradres sen der Y/Cb/Cr-Pixeldaten, die in einer horizontalen
Richtung eingegeben werden, variiert werden. Insbesondere übermittelt
die Bildformatierungseinheit 410 ein Y/Cb/Cr-Packet basierend
auf einem Makroblock, der sich aus einer Mehrzahl von 8 × 8-Blöcken zusammensetzt.
-
Mit
anderen Worten, die Bildformatierungseinheit 410 unterteilt
das Eingabebildsignal in Übereinstimmung
mit einem Einheitsbereich (einem Block), der aus einer vorbestimmten
Zahl von Pixeln zusammengesetzt ist, in Blöcke und gibt das in Blöcke gepackte
Bildsignal aus. In diesem Fall stellt der Block einen Bereich mit
einer vorbestimmten Größe in einem
Bild dar, der eine Einheit eines Kodierungsprozess von Bildsignalen ist
und aus einer vorbestimmten Zahl von Pixeln besteht.
-
Ein
Konvertierungsbeispiel der Bildformatierungseinheit 410 wird
in 5B gezeigt, in der ein Eingabebildsignal in eine
Mehrzahl von 8 × 8-Blöcken unterteilt
wird. In diesem Fall können
8 Bits als Wert jedes 8 × 8-Blocks
genutzt werden.
-
Anschließend frequenztransformiert
die Frequenzkonvertierungseinheit 415 die in Blöcke unterteilten Bildsignale
unter Verwendung einer diskreten Kosinustransformation und gibt
dann eine Frequenzkomponente aus, die zu jedem Block korrespondiert.
-
Die
im obigen Fall benutzte DCT teilt unregelmäßig auf dem Bildschirm verteilte
Pixelwerte durch Transformation der Pixelwerte in verschiedene Frequenzkomponenten,
die sich von einer Niedrigfrequenzkomponente bis hin zu einer Hochfrequenzkomponente
erstrecken, auf und konzentriert die Energie eines Bildes auf die
Niedrigfrequenzkomponente.
-
DCT,
das sich als Kerntechnik in vielen internationalen Standards wie
H.261, JPEG und MPEG etabliert hat, wird basierend auf einem 8 × 8-großen Block
ausgeführt.
Das Grundschema von DCT beruht auf dem Raumkonzept und DCT ist eine
Kerntechnik von H.261, JPEG und MPEG, die multimediabezogene internationale
Standards sind.
-
Das
Grundschema von DCT teilt Daten mit einer hohen räumlichen
Korrelation in eine Mehrzahl, insbesondere Vielzahl, von Frequenzkomponenten
auf, die sich von einer Niedrigfrequenzkomponente zu einer Hochfrequenzkomponente
erstrecken, unter Verwendung von Orthogonaltransformation auf und
quantisiert einzelne Frequenzkomponenten unterschiedlich.
-
Eine
Gleichung für
8 × 8
DCT und IDCT Operationen wird wie im Folgenden formuliert:
wobei
F(u,v) der DCT-Operation die Frequenzkomponente eines Blocks bezeichnet,
F(0,0) eine Niedrigfrequenzkomponente bezeichnet und die anderen
Komponenten Hochfrequenzkomponenten bezeichnen. Da die orthogonaltransformierten
Daten entfernt von einer Niedrigfrequenzkomponente sind, haben die
orthogo naltransformierten Daten eine höhere Frequenzkomponente. Das
heißt
die DCT erlaubt der Energie der Blöcke so verschoben zu werden,
dass ein Komprimierungseffekt erhöht werden kann, da der größte Teil
der Energie auf der Niedrigfrequenzkomponente einer Frequenzdomäne konzentriert
ist.
-
5C ist
eine Darstellung, zur Veranschaulichung der Anordnung von DCT-Koeffizienten im
Fall eines 8 × 8-Blocks,
wobei DC eine Niedrigfrequenzkomponente bezeichnet und ac01~ac77
Hochfrequenzkomponenten bezeichnen.
-
Die
Umstellungseinheit 420 stellt die Eingabedaten im Bereich
von einer Niedrigfrequenzkomponente zu einer Hochfrequenzkomponente
um und gibt umgestellten Daten aus. Das heißt, dass DCT-Koeffizienten unter
Durchführung
einer Zick-Zack-Abfrage
entlang der gepunkteten Linie in 5C in
die Reihenfolge ac01, ac10, ac20 ... ac77 umgestellt werden.
-
Danach
werden die umgestellten Daten in die Quantisierungseinheit 425 eingegeben
und darin quantisiert. Der Quantisierungsparameter variiert entsprechend
dem Block und DCT-Koeffizient.
-
In
diesem Fall ist der Quantisierungsparameter ein Parameter, der die
Größe des Quantisierungsschritts
darstellt und der Quantisierungsschritt ist nahezu proportional
zu dem Quantisierungsparameter. Das heißt, wenn der Quantisierungsparameter
groß ist,
ist der Quantisierungsschritt grob, so dass der Betrag der Quantisierungskomponente
klein wird. Dementsprechend, da der Nullablauf (zero run) (die Länge der
Komponenten, die kontinuierlich angeordnet sind und einen Nullwert
haben) der Quantisierungskomponente verlängert wird, sinkt der Betrag
eines Niveauwertes.
-
Im
Gegensatz dazu wird der Quantisierungsschritt fein, wenn der Quantisierungsparameter
klein ist, und somit der Betrag einer Quantisierungskomponente groß. Dementsprechend
wird der Nullablauf (zero run) verkürzt, so dass der Betrag des
Niveauwertes groß wird.
-
Im
Allgemeinen stellen Hochfrequenzkomponenten aufgrund des menschlichen
Wahrnehmungsvermögens
die Feinanteile eines Bildes dar. Da der Verlust einiger Hochfrequenzkomponenten
einen so kleinen Effekt auf die Bildqualität hat, sodass das menschliche
Auge es nicht wahrnehmen kann, werden Niedrigfrequenzkomponenten,
die viele Informationen enthalten, genau quantisiert mit einer reduzierten
Quantisierungsgröße, aber
Hochfrequenzkomponenten werden mit einer erhöhten Quantisierungsgröße quantisiert,
so dass die Komprimierungseffizienz unter nur geringem Verlust der
Bildqualität
maximiert werden kann.
-
In
der Quantisierungseinheit 425 quantisierte Daten weisen,
wie oben beschrieben, viele Daten die in „0" umgewandelt werden auf, werden in einen
variablen Längenkodierer 430 eingegeben
und dann darin in einen komprimierten Code umgewandelt. Zum Beispiel
zeigt 5E quantisierte DCT-Koeffizienten
umfassend DC, ac01, ac10, 0, 0, 0, ac03, 0, 0, ac31, 0, ac50, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, ac52, ..., das heißt DC, ac01,
ac10, drei Nullen, ac03, zwei Nullen, ac31 und eine Null ac50, vierzehn
Nullen, ....
-
Der
variable Längenkodierer 430 ordnet
einen Kode den Quantisierungskomponenten zu, wobei er die numerischen
Werte, welche die Größen der
Quantisierungskomponenten repräsentieren,
und eine Kodetabelle, welche die Übereinstimmung zum Kode repräsentiert,
verwendet und die Quantisierungskomponenten individueller Blöcke in einen
kodierten Datenstrom umwandelt.
-
Währenddessen
empfängt
eine schrittgrößenfixierte
Quantisierungseinheit 435 DCT-Koeffizienten von der Umstellungseinheit 420 und
quantisiert die empfangenen DCT-Koeffizienten, nachdem diese durch eine
vorbestimmte Quantisierungsschrittgröße geteilt wurden. Das heißt, die
schrittgrößenfixierte
Quantisierungseinheit 435 fixiert die Quantisierungsgröße und führt die
Quantisierung der empfangenen DCT-Koeffizienten durch. Im Allgemeinen
variiert die Quantisierungsgröße sowohl
mit den Hoch- und Niedrigfrequenzen als auch den Pixeln. Die schrittgrößenfixierte
Quantisierungseinheit 435 führt eine Quantisierung nach
Teilen der DCT-Koeffizienten durch eine vorbestimmte Quantisierungsschrittgröße durch.
-
In
diesem Fall gibt die schrittgrößenfixierte
Quantisierungseinheit 435 nur das Y-Signal ein, empfängt jedoch nicht das Cb/Cr-Signal.
-
Wie
oben beschrieben, empfängt
die schrittgrößenfixierte
Quantisierungseinheit 435 die DCT-Koeffizienten von der
Umstellungseinheit 420, quantisiert die empfangenen DCT-Koeffizienten
unter Verwendung einer fixierten Quantisierungsgröße und gibt
dann die quantisierten DCT-Koeffizienten aus. Alternativ kann die schrittgrößenfixierte
Quantisierungseinheit 435 die DCT-Koeffizienten von der
Frequenzkonvertierungseinheit 415 empfangen und nutzen.
-
Die
Integrationsstufe 440 integriert und gibt Koeffizienten
aus, welche die schrittgrößenfixierte
Quantisierungseinheit 435 durchlaufen haben. In diesem
Fall sind die Koeffizienten, die integriert werden müssen, pixelbezogene
Werte, die sich im zentralen Bereich des Rahmens befinden, wobei
nur Koeffizienten integriert werden, die in einem Bereich (Fenster)
liegen, der durch eine Fensterjustierungseinheit 445 ausgewählt wird. Der
ausgewählte
Bereich wird in 5E gezeigt. Im Allgemeinen ist
eine Kamera auf das Zentrum eines Bildes fokussiert, und ein Fenster
wird basierend auf dem Zentrum platziert.
-
In
diesem Fall führt
die Integrationsstufe 440 eine Integration der Koeffizienten
der Hochfrequenzkomponenten durch, insbesondere führt sie
die Integration vorbestimmter Grade, insbesondere Anteile, hoher
Frequenzen durch und extrahiert die Fokussierungswerte. Das heißt, es ist
wünschenswert,
dass die vorbestimmten Grade, insbesondere Frequenzanteile, der
Koeffizienten, wie z. B. ac01 und ac10, aus ac01~ac77 in 5C herausgenommen
werden. Weiterhin können
ac20~ac02 oder ac01~ac02 genommen werden.
-
Wie
oben beschrieben, können
die Grade, insbesondere Anteile, der Hochfrequenz beliebig bestimmt werden.
Wenn der Grad, insbesondere der Anteil, höher wird, steigt die Genauigkeit
des Fokussierungswertes, jedoch wird die Berechnung kompliziert,
so dass es erwünscht
ist, dass ein Bereich angemessenen Grades, insbesondere Frequenzanteils,
ausgewählt
wird.
-
Darüber hinaus,
entsprechend einer weiteren Ausführungsform
der vorliegenden Erfindung, um den Fokussierungswert zu erhalten
führt die
Integrationsstufe 440 nicht die Integration durch das Aufaddieren
der Koeffizienten hoher Frequenzen hinsichtlich eines einzigen Rahmens
durch, sondern führt
die Integration durch das Aufaddieren der Koeffizienten hoher Frequenzen
hinsichtlich einer Mehrzahl von Rahmen durch.
-
Die
Berechnung wird kompliziert aufgrund einer großen Zahl von Berechnungen,
wenn die Integration, entsprechend einer weiteren Ausführungsform
der vorliegenden Erfindung, durchgeführt wird. Die Genauigkeit steigt
jedoch, wenn die Integration komplizierter wird.
-
Anschließend setzt
die Fensterjustierungseinheit 445 ein Fenster, um die Fokussierungswerte,
wie in 5E gezeigt, zu erhalten. Im
Allgemeinen wird eine Kamera auf das Zentrum eines Bildes fokussiert
und ein Fenster wird basierend auf dem Zentrum platziert.
-
In
diesem Fall werden, im Bezug auf den Fenstereinstellungsbereich
des Bildes, die Start- und Endpositionen des Fensters in die Integrationsstufe 440 eingegeben.
-
Beim
Empfangen der DCT-Koeffizienten, bestimmt die Integrationsstufe 440,
ob die DCT-Koeffizienten mit den Blöcken eines Fenstereinstellungsbereichs
korrespondieren, ob die DCT-Koeffizienten mit den vorbestimmten
Graden, insbesondere Anteilen, der Koeffizienten korrespondieren,
wenn sie mit dem Block des Fenstereinstellungsbereiches korrespondieren,
und integriert alle Blöcke
des Fenstereinstellungsbereiches entsprechend mit den vorbestimmten
Graden, insbesondere Anteilen, der Koeffizienten und gibt einen
integrierten Wert als Fokussierungswert an die Autofokus-DSP 315 aus.
-
Währenddessen
empfängt
die Autofokus-DSP 315 die Fokussierungswerte von der Fokussierungswertberechnungseinheit 314 und
bestimmt einen Fokus während
und/oder indem die Fokussierungslinse vorwärts oder rückwärts geführt wird.
-
In 5F wird,
wenn dasselbe Bild in eine Kamera eingegeben wird, ein niedriger
Fokussierungswert generiert, wenn sich das Bild außerhalb
des Fokus befindet bzw. unscharf ist (siehe Bereiche „A" oder „C") und ein hoher Fokussierungswert
generiert, wenn sich das Bild im Fokus befindet bzw. scharf ist
(siehe Bereich „B").
-
Während dessen
ist der Fokussierungswert für
ein komplexes Bild in der Bereich „B" höher
und für
ein einfaches Bild ist der Fokussierungswert in der Bereich „B" niedriger.
-
Um
den maximalen Fokussierungswert eines Bildes zu finden, wird die
Linseneinheit 311 durch Betreiben des Stellglieds 317 unter
Verwendung des Stellgliedtreibers 316 bewegt. Die Stelle,
an welcher der Fokussierungswert maximal ist, wie in 5F gezeigt,
muss durch das Bewegen der Linseneinheit 311 herausgefunden
werden.
-
Das
Kameramodul der vorliegenden Erfindung bestimmt, ob die Linseneinheit 311 vorwärts oder
rückwärts zu bewegen
ist, und kontrolliert den Stellgliedtreiber 316 durch das
Ausführen
eines Algorithmus, welche den maximalen Fokussierungswert in dem
Autofokus-DSP 315 findet.
-
In
diesem Fall bewegt der Stellgliedtreiber 316 die Linseneinheit
durch das Betreiben des Stellglieds 317 entsprechend der
Kontrolle des Autofokus-DSP 315.
-
6 ist
ein Flussdiagramm zur Illustration eines Verfahrens zur automatischen
Justierung des Fokus einer Kamera entsprechend einer Ausführungsform
der vorliegenden Erfindung.
-
Erst
erhält
der Bildsensor und ISP 312 Bilddaten auf Basis eines Rahmens
und übermittelt
die Bilddaten an das Komprimierungsmodul 313 im Verfahrensschritt
S110.
-
Dann
führt die
Bildformatierungseinheit 410 des Komprimierungsmoduls 313 eine
Farbkoordinatentransformation und Farbwertformattransformation durch, unterteilt
ein Eingabebildsignal in Blöcke,
so dass das Eingabebildsignal mit Einheitsbereichen (Blöcken), von
denen jeder aus einer vorbestimmten Zahl von Pixeln besteht, korrespondiert,
und gibt die in Blöcke
unterteilten Bildsignale in den Verfahrensschritten S112 und S114
aus.
-
Anschließend frequenztransformiert
die Frequenzkonvertierungseinheit 415 die in Blöcke unterteilten Bildsignale
unter Verwendung von DCT und gibt die Frequenzkomponenten, die mit
individuellen Blöcken
aus Verfahrensschritt S114 korrespondieren, aus.
-
Anschließend empfängt die
schrittgrößenfixierte
Quantisierungseinheit 435 DCT-Koeffizienten von der Frequenzkonvertierungseinheit 415 und
quantisiert die empfangenen DCT-Koeffizienten durch Division der DCT-Koeffizienten
durch eine vorbestimmte Quantisierungsschrittgröße im Verfahrensschritt 5118.
Das heißt die
schrittgrößenfixierte
Quantisierungseinheit 435 führt eine Quantisierung der
empfangenen DCT-Koeffizienten unter Verwendung einer fixierten Quantisierungsgröße durch.
Im Allgemeinen variiert die Quantisierungsgröße entsprechend mit der Hochfrequenz,
mit der Niedrigfrequenz als auch mit den Pixeln; und die schrittgrößenfixierte Quantisierungseinheit 435 führt eine
Quantisierung durch Teilung durch eine vorbestimmte Quantisierungsschrittgröße durch.
-
In
diesem Fall gibt die schrittgrößenfixierte
Quantisierungseinheit 435 nur das Y-Signal aus, empfängt jedoch nicht das Cb/Cr-Signal.
-
Danach
integriert die Integrationsstufe 440 Koeffizienten und
gibt Koeffizienten aus, welche die schrittgrößenfixierte Quantisierungseinheit 435 durchlaufen
haben. In diesem Fall sind die Koeffizienten, die integriert werden
müssen,
Werte mit Bezug auf Pixel, die sich im zentralen Bereich eines Rahmens
befinden, und nur die Koeffizienten werden in Verfahrensschritt 5120 integriert,
die sich in einem durch die Fensterjustierungseinheit 445 ausgewählten Bereich
(Fenster) befinden.
-
Währenddessen
empfängt
der Autofokus-DSP 315 Fokussierungswerte von der Fokussierungswertberechnungseinheit 314 und
bestimmt den maximalen Fokus, während
und/oder indem die Fokussierungslinse in Verfahrensschritt S122
vorwärts
und rückwärts geführt wird.
-
Wie
oben beschrieben, kann das Kameramodul entsprechend der vorliegenden
Erfindung komprimierte Daten an eine Bildvorrichtung wie ein Mobiltelefon übermitteln,
da es die Bildkomprimierungseinheit in der autofokussierenden Vorrichtung
umfasst und keine zusätzliche
Hardware zum Extrahieren von Fokussierungswerten benötigt wird,
da das Kameramodul einen Fokussierungswert extrahiert, der zum Durchführen einer Autofokusoperation
benutzt wird und DCT-Koeffizienten
der Bildkomprimierungseinheit verwendet.
-
Obwohl
die bevorzugten Ausführungsformen
der vorliegenden Erfindung für
veranschaulichende Zwecke offenbart wurden, ist dem Fachmann klar,
dass verschiedene Modifikationen, Additionen und Substitutionen
möglich
sind, ohne von dem in den beiliegenden Ansprüchen definierten Umfang und
Erfindungsgedanken abzuweichen.