DE112011104256T5

DE112011104256T5 - Autofokus-Bildsystem

Info

Publication number: DE112011104256T5
Application number: DE112011104256.6T
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-12-07
Filing date: 2011-06-09
Publication date: 2014-02-13
Also published as: EP2649787A1; GB2501414A; AU2011340207A1; MX2013006517A; WO2012076992A1; JP2014504375A; CA2820856A1; SG190451A1; GB201311741D0

Abstract

Ein Autofokus-Bildsystem, das eine mit einem Fokussignalgenerator gekoppelte Pixelanordnung umfasst. Die Pixelanordnung erfasst ein Bild, das mehrere Kanten aufweist. Der Generator generiert ein Fokussignal, das eine Funktion von mehreren Kantenschärfemaßen ist, die jeweils an einer der mehreren Kanten gemessen werden. Der Generator kann auf Basis zweier Formmaße eine Kante bestimmen, dass ein relatives Ausmaß, in dem die Kante zu dem Fokussignal beiträgt, reduziert wird. Die beiden Formmaße werden an mehreren Stichprobenpaardifferenzen gemessen, wobei jede Stichprobenpaardifferenz eine Differenz zwischen zwei Bilddaten-Stichproben aus einer vorbestimmten Umgebung der Kante ist. Bei einem der Formmaße kann es sich um das Kantenschärfemaß der Kante handeln.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Patentanmeldung nimmt die Priorität der PCT-Patentanmeldung Nr. PCT/IB2010/055649 , eingereicht am 7. Dezember 2010, in Anspruch.
HINTERGRUND DER ERFINDUNG
1. Gegenstand der Erfindung
Die Erfindung betrifft die automatische Fokussierung elektronisch erfasster Bilder.
2. Hintergrundinformationen
Photographische Geräte wie Digitalkameras und digitale Camcorder können elektronische Bildsensoren enthalten, die Licht zur Verarbeitung in Fest- oder Videobilder erfassen. Elektronische Bildsensoren umfassen meistens Millionen von Lichterfassungselementen wie z. B. Photodioden.
Viele Bilderfassungsgeräte wie z. B. Kameras enthalten ein System zur automatischen Fokussierung. Das Verfahren zur automatischen Fokussierung umfasst die folgenden Schritte: Erfassen eines Bildes, Verarbeiten des Bildes zur Überprüfung der Fokussierung, und, falls das Bild nicht fokussiert ist, Erzeugen eines Rückkopplungssignals, das zur Anpassung einer Position einer Fokuslinse („Fokusposition”) verwendet wird. Es gibt zwei hauptsächliche Methoden der automatischen Fokussierung. Die erste Methode beruht auf einer Kontrastmessung, während bei der anderen die Phasendifferenz eines Bildpaars betrachtet wird. Bei der Kontrastmethode wird der Intensitätsunterschied zwischen nebeneinander liegenden Pixeln analysiert und der Fokus angepasst, bis ein maximaler Kontrast gefunden wird. Die Kontrastmethode ist zwar für Festbilder akzeptabel, aber nicht für bewegte Videobilder geeignet.
Bei der Phasendifferenzmethode wird ein Eingangsbild in zwei Bilder aufgeteilt, die von getrennten Bildsensoren erfasst werden. Die beiden Bilder werden verglichen, um die Phasendifferenz zu bestimmen. Die Fokusposition wird angepasst, bis die beiden Bilder übereinstimmen. Die Phasendifferenzmethode erfordert zusätzliche Gerätekomponenten wie einen Strahlteiler und einen zusätzlichen Bildsensor. Darüber hinaus wird beim Phasendifferenzverfahren ein verhältnismäßig kleiner Bereich festgelegter Erkennungspunkte analysiert. Aufgrund der geringen Anzahl der Erkennungspunkte ist das Verfahren fehleranfällig, da ein oder mehrere Punkte mit Rauschen überlagert sein können. Diese Methode ist außerdem ineffektiv, wenn die Erkennungspunkte nicht mit einer Bildkante zusammenfallen. Zuletzt ist anzuführen, dass die Lichtmenge, die einen Lichtsensor erreicht, bei der Phasendifferenzmethode halbiert oder noch stärker reduziert wird, da der Lichtstrahl geteilt wird. Dies kann sich bei schlechter Beleuchtung als problematisch erweisen, wo die Lichtintensität des Bilds ohnehin niedrig ist.
KURZDARSTELLUNG DER ERFINDUNG
Ein Autofokus-Bildsystem, das eine mit einem Fokussignalgenerator gekoppelte Pixelanordnung (Pixelarray) umfasst. Die Pixelanordnung erfasst ein Bild, das mehrere Kanten aufweist. Der Generator generiert ein Fokussignal, das eine Funktion von mehreren Kantenschärfemaßen ist, die an den einzelnen der mehreren Kanten gemessen werden. Der Generator kann auf Basis zweier Formmaße eine Kante bestimmen, dass ein relatives Ausmaß, in dem die Kante zu dem Fokussignal beiträgt, reduziert wird. Die beiden Formmaße werden an mehreren Stichprobenpaardifferenzen gemessen, wobei jede Stichprobenpaardifferenz eine Differenz zwischen zwei Bilddaten-Stichproben aus einer vorbestimmten Umgebung der Kante ist. Bei einem der Formmaße kann es sich um das Kantenschärfemaß der Kante handeln.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung einer Ausführungsform einer Autofokus-Bildaufnahmevorrichtung;
2 ist eine schematische Darstellung einer alternativen Ausführungsform einer Autofokus-Bildaufnahmevorrichtung;
3 zeigt ein Blockdiagramm eines Fokussignalgenerators;
4 stellt die Anwendung eines horizontalen Sobel-Operators auf eine Bildsignalmatrix dar;
5 illustriert eine Berechnung der Kantenbreite aus einem horizontalen Gradienten;
6A, 6B sind Illustrationen einer Berechnung der Kantenbreite einer vertikalen Kante, die einen Neigungswinkel ϕ aufweist;
6A, 6B sind Illustrationen einer Berechnung der Kantenbreite einer horizontalen Kante, die einen Neigungswinkel ϕ aufweist;
7 ist ein Ablaufdiagramm eines Verfahrens zur Berechnung eines Neigungswinkels ϕ und zur Korrektur der Kantenbreite einer vertikalen Kante, die eine Neigung aufweist;
8 zeigt eine vertikale Kantenkette;
9A zeigt eine Gruppe dicht beieinanderliegender vertikaler Balken;
9B ist ein Diagramm eines Bildsignals für 9A;
9C ist ein Diagramm eines horizontalen Sobel-Gradienten für 9A;
10 ist ein Ablaufdiagramm eines Verfahrens zur Eliminierung dicht beieinanderliegender Kanten, die eine geringe Modulationstiefe aufweisen;
11 ist ein Histogramm von Kantenbreiten, das einen Kantenbreitenbereich zur Berechnung eines Feinfokussignals zeigt;
12 zeigt eine Szene;
13 ist ein Diagramm, das die Veränderung der Anzahl schmaler Kanten während einer Abtastung des Fokuspositionsbereichs der Szene von 12 zeigt;
14 ist ein Diagramm, das die Veränderung eines Grobfokussignals während einer Abtastung des Fokuspositionsbereichs der Szene von 12 zeigt;
15 ist ein Diagramm, das die Veränderung eines Feinfokussignals in einem Fokuspositionsbereich zeigt;
16 ist eine Illustration einer Vorrichtung, die mehrere Objekte in einer Szene und eine Auswahlmarkierung über einem der Objekte anzeigt;
17 zeigt ein Blockdiagramm einer alternativen Ausführungsform eines Fokussignalgenerators;
18 ist eine schematische Darstellung einer alternativen Ausführungsform einer Autofokus-Bildaufnahmevorrichtung;
19 ist eine schematische Darstellung einer Ausführungsform einer Autofokus-Bildaufnahmevorrichtung, die eine Hauptpixelanordnung und eine Hilfspixelanordnung aufweist;
20 ist eine schematische Darstellung einer alternativen Ausführungsform einer Autofokus-Bildaufnahmevorrichtung, die eine Hauptpixelanordnung und eine Hilfspixelanordnung aufweist;
21 ist eine schematische Darstellung einer alternativen Ausführungsform einer Autofokus-Bildaufnahmevorrichtung, die eine Hauptpixelanordnung und eine Hilfspixelanordnung aufweist;
22 zeigt die Veränderung der Kantenbreite von einer Hauptpixelanordnung und die Veränderung der Kantenbreite von einer Hilfspixelanordnung für verschiedene Fokuspositionen;
23A veranschaulicht eine Auftragung einer symmetrischen Folge von Gradienten eines Bildsignals quer zu einer guten Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie zwei Breiten, die für zwei Paare interpolierter Gradienten auf jeweils unterschiedlichen Gradientenhöhen gemessen werden;
23B veranschaulicht eine weitere Auftragung einer symmetrischen Folge von Gradienten eines Bildsignals quer zu einer falsch erkannten Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie zwei Breiten, die für zwei Paare interpolierter Gradienten bei jeweils unterschiedlichen Gradientenhöhen gemessen werden, wobei der Quotient aus kleinerer Breite und größere Breite fast doppelt so groß ist wie in 23A;
24A veranschaulicht eine Auftragung einer symmetrischen Folge von Gradienten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie einen normierten Gradientenwert eines interpolierten Gradienten in einer vorbestimmten Distanz zu einem Spitzengradienten;
24B veranschaulicht eine Auftragung einer Folge von Gradienten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie eine Fläche eines Bereichs unter der aufgetragenen Gradientenfolge;
24C veranschaulicht eine Auftragung einer Folge von Gradienten eines Bildsignals quer einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie eine Steigung der aufgetragenen Gradientenfolge (d. h. eine zweite Ableitung des Bildsignals), die auf einer Gradientenhöhe bestimmt wird, die in Bezug auf einen interpolierten Spitzengradienten definiert ist;
24D veranschaulicht eine Auftragung von Gradienten eines Bildsignals quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz, einen Schwerpunkt (d. h. Momentennullpunkt) und Distanzen der Gradienten vom Schwerpunkt;
25 veranschaulicht eine Auftragung einer Folge zweiter Ableitungen eines Bildsignals quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden zweiten Ableitungen gemessene Distanz und zeigt a) eine Breite W_s zwischen einem Paar aus einer positiven und einer negativen Spitze, b) eine Breite W₁ zwischen einem Paar äußerster interpolierter zweiter Ableitungen mit gegebenem Betrag h₁, c) eine Breite W₂ zwischen einem inneren Paar interpolierter zweiter Ableitungen mit dem gegebenen Betrag h₁ und d) eine Distanz D₁ zwischen einem Nulldurchgang (zwischen dem Paar aus negativer und positiver Spitze) und einer äußersten interpolierten zweiten Ableitung mit dem gegebenen Betrag h₁;
26 veranschaulicht eine Auftragung einer Folge von Bilddaten-Stichproben des Bildsignals gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Stichproben gemessene Distanz und zeigt a) eine Breite W_Kante und einen Kontrast C_Kante zwischen zwei Stichproben an zwei Enden der Kante, b) einen Spitzengradientenwert g_Spitze zwischen zwei Stichproben, der die steilste Änderung des Stichprobenwerts anzeigt, c) einen ungeteilten Abschnitt der Kante mit einem Kontrast C_Teil1 und einer Breite W₁, und d) einen ungeteilten Abschnitt der Kante mit einem Kontrast C_Teil2 und einer Breite W₂;
26 veranschaulicht eine Auftragung zweier symmetrischer Folgen von Gradienten gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Stichproben der einzelnen Folgen gemessene Distanz, wobei die Folgen bezüglich ihrer jeweiligen Spitzengradienten normiert sind und wobei die Auftragung einer Folge eine Dreiecksform aufweist und die Auftragung der anderen Folge hutförmig ist;
27 veranschaulicht eine Auftragung zweier symmetrischer Folgen von Gradienten gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Stichproben der einzelnen Folgen gemessene Distanz, wobei die Folgen bezüglich ihrer jeweiligen Spitzengradienten normiert sind und wobei die Auftragung einer Folge bis herunter zu einer normierten Gradientenhöhe eine Dreiecksform aufweist und die Auftragung der anderen Folge gewölbeförmig ist;
28 zeigt ein Streudiagramm von vier Paaren von Erwartungswerten für je ein erstes und ein zweites Formmaß (W_1b, W_1a), (W_2b, W_2a), (W_3b, W_3a), (W_4b, W_4a) und veranschaulicht, wie ein Wert w'_b für das erste Formmaß durch Interpolation ausgehend von einem Wert w'_a für das zweite Formmaß gefunden wird;
29 veranschaulicht das Auffinden der Position einer interpolierten Spitze durch Interpolation;
30 zeigt eine alternative Ausführungsform eines Fokussignalgenerators.
AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung betrifft ein Autofokus-Bildsystem, das eine mit einem Fokussignalgenerator gekoppelte Pixelanordnung (Pixelarray) umfasst. Die Pixelanordnung erfasst ein Bild, das über wenigstens eine Kante mit einer Breite verfügt. Der Fokussignalgenerator kann ein Fokussignal erzeugen, das eine Funktion der Kantenbreite und/oder von Statistiken der Kantenbreiten ist. Der Generator kann eine Kante mit einer Asymmetrie eines Gradienten eines Bildsignals eliminieren. Der Generator kann auch eine Kante eliminieren, die nicht einer Vorlage für eine entsprechende Spitzenbildung des Gradienten entspricht. Ein Prozessor empfängt das Fokussignal und/oder die Statistiken der Kantenbreiten und korrigiert eine Fokusposition einer Fokuslinse. Die Kantenbreite kann mit Hilfe verschiedener Methoden ermittelt werden, u. A. durch Verwendung von Gradienten. Es kann ein Histogramm der Kantenbreiten eingesetzt werden, um festzustellen, ob ein bestimmtes Bild fokussiert oder unfokussiert ist. Ein Histogramm, das eine große Anzahl niedriger Kantenbreiten enthält, weist auf ein fokussiertes Bild hin.
Aufbau
Im Folgenden wird mit Hilfe von Bezugsnummern konkreter auf die Zeichnungen Bezug genommen. 1 zeigt eine Ausführungsform eines Autofokus-Bilderfassungssystems 102. Das System 102 kann Teil einer digitalen Standbildkamera sein. Es versteht sich jedoch von selbst, dass das System in jedem Gerät eingesetzt werden kann, das die kontrollierte Fokussierung eines Bilds erfordert. Das System 102 kann eine Fokuslinse 104, eine Pixelanordnung und Schaltkreise 108, einen A/D-Konverter 110, einen Prozessor 112, ein Display 114, eine Speicherkarte 116 und einen Antriebsmotor/-schaltkreis 118 umfassen. Das Licht einer Szene tritt durch die Linse 104 ein. Die Pixelanordnung und Schaltkreise 108 erzeugen ein analoges Signal, das durch den A/D-Konverter 110 in ein digitales Signal umgewandelt wird. Die Pixelanordnung 108 kann ein mosaikartiges Farbmuster umfassen, z. B. die Bayer-Matrix. Das digitale Signal kann an den Prozessor 112 übermittelt werden, der verschiedene Verarbeitungsvorgänge durchführt, z. B. Farbinterpolation, Regelung der Fokusposition, Farbkorrektur, Bildkomprimierung/-dekomprimierung, Steuerung der Benutzeroberfläche und Steuerung des Displays, sowie an den Fokussignalgenerator 120. Wenn der Fokussignalgenerator 120 und der Prozessor 112 sich in verschiedenen Paketen befinden, kann eine Farbinterpolationseinheit 148 vorgesehen sein, die eine Farbinterpolation für das digitale Signal 130 durchführt, um dem Fokussignalgenerator 120 Schätzwerte der fehlenden Farbsignale der einzelnen Pixel bereitzustellen. Wenn der Fokussignalgenerator 120 und der Prozessor 112 sich stattdessen gemeinsam innerhalb eines Pakets 144 befinden, kann der Fokussignalgenerator 120 alternativ interpolierte Farbbilder vom Prozessor 112 über den Bus 146 empfangen, wie in 2 gezeigt, oder ein einzelnes Bildsignal, das von dem ursprünglichen vom A/D-Konverter 110 erzeugten Bildsignal abgeleitet wurde, zum Beispiel ein Graustufensignal.
Der Fokussignalgenerator 120 empfängt darüber hinaus eine Gruppe von Steuersignalen 132 vom Prozessor 112 und kann Signale 134 an den Prozessor 112 ausgeben. Die Ausgabesignale 134 können eine oder mehrere der folgenden Komponenten umfassen: ein Fokussignal 134, einen Wert für die Anzahl der schmalen Kanten und einen Satz von Zahlen, die eine Statistik der Kantenbreiten im Bild darstellen. Der Prozessor 112 kann ein Fokussteuersignal 136 erzeugen, das zur Steuerung der Fokuslinse 104 an den Antriebsmotor/-schaltkreis 118 übermittelt wird. Als Ergebnis wird ein fokussiertes Bild auf das Display 114 übertragen und/oder in der Speicherkarte 116 gespeichert. Der Algorithmus bzw. die Algorithmen, die zur Einstellung einer Fokusposition verwendet werden, können vom Prozessor 112 ausgeführt werden.
Die Pixelanordnung und Schaltkreise 108, der A/D-Konverter 110, der Fokussignalgenerator 120 und der Prozessor 112 können sich alle innerhalb desselben Pakets befinden. Alternativ können sich die Pixelanordnung und Schaltkreise 108, der A/D-Konverter 110 und der Fokussignalgenerator 120 als der in 1 gezeigte Bildsensor 150 innerhalb eines Pakets 142 befinden und vom Prozessor 112 getrennt sein. Alternativ können sich der Fokussignalgenerator 120 und der Prozessor 112 als die in 2 gezeigte Kamerasteuerung 160 zusammen in einem Paket 144 befinden und von der Pixelanordnung 108 und dem A/D-Konverter 110 getrennt sein. Der Fokussignalgenerator 120 (oder eine alternative Ausführungsform wie die in 30 gezeigte) und der Prozessor 112 können sich zusammen auf einem Halbleitersubstrat wie einem Siliziumsubstrat befinden.
Fokussignalgenerator
3 zeigt eine Ausführungsform eines Fokussignalgenerators 120, der ein Bild bzw. Bilder von einer bildgebenden Einheit 202 empfängt. Bei der bildgebenden Einheit 202 kann es sich um die Farbinterpolationseinheit 148 in 1 oder den Prozessor 212 in 2 handeln. Der Fokussignalgenerator 120 kann eine Kantenerkennungs- und Breitenmesseinheit (KE-BM-Einheit) 206, eine Fokussignal-Berechnungseinheit 210, einen Längenfilter 212 und einen Breitenfilter 209 umfassen. Er kann weiterhin einen Feinsignalschalter 220 umfassen, der über die Eingabe ,fein' 222 gesteuert wird. Der Fokussignalgenerator 120 kann einen Wert für die Anzahl der schmalen Kanten vom Breitenfilter 209 und ein Fokussignal von der Fokussignal-Berechnungseinheit 210 bereitstellen, wobei das Fokussignal durch die Eingabe ,fein' 222 auf ein Fein- oder Grobfokussignal eingestellt werden kann. Alternativ können sowohl das Fein- als auch das Grobfokussignal berechnet und als Komponente der Ausgabesignale 134 ausgegeben werden. Die Kantenerkennungs- und Breitenmesseinheit 206 empfängt ein Bild bzw. Bilder, die von der bildgebenden Einheit 202 übermittelt werden. Im Zusammenhang mit 1 und 2 können Steuersignale wie das Steuersignal ,fein' 222 vom Prozessor 112 als Komponente der Signale 132 bereitgestellt werden. Ebenfalls im Zusammenhang mit 1 und 2 können die Ausgabesignale 134 dem Prozessor 112 bereitgestellt werden, der die Funktion einer Fokussystemsteuerung ausübt, welche die Fokusposition der Fokuslinse 104 regelt, um Bilder von Objekten auf der Pixelanordnung 108 zu fokussieren, indem zur Erkennung eines scharfen Objekts im Bild die Ausgabesignale 134 analysiert werden. Im Folgenden werden verschiedene Komponenten des Fokussignalgenerators 120 beschrieben.
Die KE-BM-Einheit 206 kann das Eingabebild umwandeln, so dass die drei Signale des Bilds, Rot (R), Grün (G) und Blau (B), in ein einziges Bildsignal konvertiert werden. Es können verschiedene Methoden eingesetzt werden, um ein Bild in ein einziges Bildsignal umzuwandeln. Zur Bildung des Einzelbildsignals können RGB-Werte verwendet werden, um einen Luminanz- oder Chrominanzwert zu berechnen, oder aber ein bestimmtes Verhältnis von RGB-Werten. Beispielsweise kann der Luminanzwert aus der Gleichung Y = 0,2126·R + 0,7152·G + 0,0722·B errechnet werden, wobei Y der Luminanzwert ist. Das Einzelbildsignal kann dann mit Hilfe eines Gauß-Filters oder beliebigen Tiefpassfilters verarbeitet werden, um die Bilddaten-Stichprobenwerte benachbarter Pixel zu glätten und Rauschen zu unterdrücken.
Der Fokussignalgenerator 120, 120', 120'' ist nicht auf Graustufensignale eingeschränkt. Er kann ein beliebiges einzelnes Bildsignal verarbeiten, um darin eine oder mehrere Kanten zu erkennen. Er kann auch eine beliebige Kombination von Bildsignalen verarbeiten, beispielsweise Y, R-G oder B-G. Er kann zur Erkennung von Kanten jedes der R-, G- und B-Signale des Bilds einzeln verarbeiten oder eine oder mehrere beliebige Kombinationen davon. Er kann Statistiken der Kantenbreiten für jedes der Bildsignale R, G und B oder für eine beliebige Kombination dieser erzeugen. Er kann auf Grundlage der Kantenbreiten-Statistik eines oder mehrerer Bildsignale ein Fokussignal erzeugen.
Der Fokussignalgenerator weist einen Kantendetektor zum Identifizieren einer Kante in einem Bildsignal auf. Der Kantendetektor kann einen Kantendetektionsoperator erster Ordnung wie einen Sobel-Operator, Prewitt-Operator, Roberts-Cross-Operator oder Roberts-Operator verwenden. Der Kantendetektor kann zum Identifizieren der Kante auch einen Kantendetektionsoperator höherer Ordnung verwenden, zum Beispiel einen Operator zweiter Ordnung wie einen Laplace-Operator. Der Kantendetektionsoperator kann jeden beliebigen bekannten Kantendetektionsoperator oder jeden beliebigen verbesserten Operator benutzen, der sich mit einem beliebigen der bekannten Operatoren ein gemeinsames Kantendetektionsprinzip teilt.
Sofern der Kantendetektor einen Kantendetektionsoperator erster Ordnung verwendet, wird ein Gradient (d. h., eine erste Ableitung) des Bildsignals berechnet. Es gibt verschiedene Verfahren zum Berechnen des Gradienten, darunter beliebige von verschiedenen Kantendetektionsoperatoren erster Ordnung wie dem Sobel-Operator, dem Prewitt-Operator, dem Roberts-Cross-Operator oder dem Roberts-Operator. Der Roberts-Operator hat zwei Kerne, bei denen es sich um eine einspaltige bzw. eine einzeilige Matrix [–1 +1] und ihre Transponierte handelt. Der Roberts-Operator hat zwei Kerne, bei denen es sich um 2×2-Matrizen [+1, 0; 0, –1] und [0, +1; –1, 0] handelt, die wie in Matlab als [<erster Zeilenvektor>; <zweiter Zeilenvektor>; <dritter Zeilenvektor>] angegeben sind. Der Prewitt- und der Sobel-Operator haben im Wesentlichen dieselben Kerne: [–1, 0, +1], der einen Gradienten in Zeilenrichtung berechnet, und seine Transponierte, die einen Gradienten in Spaltenrichtung berechnet, weiterhin multipliziert mit verschiedenen Tiefpassfilter-Kernen, die Tiefpassfiltervorgänge orthogonal zu den jeweiligen Gradientenrichtungen durchführen. Es können beispielsweise mit Hilfe des Sobel-X-Operators bzw. Sobel-Y-Operators die Gradienten in Zeilen- und Spaltenrichtung berechnet werden, um vertikale Kanten bzw. horizontale Kanten zu erkennen. Der Sobel-X-Operator an der Pixelposition [k, q], wobei k eine Zeilennummer und q eine Spaltennummer ist, ergibt sich aus der Gleichung Sx[k, q] = U[k, q + 1] – U[k, q – 1]. Der Sobel-Y-Operator an derselben Position ergibt sich aus der Gleichung Sy[k, q] = U[k + 1, q] – U[k – 1, q], wobei U ein Bildsignal des verarbeiteten Bilds ist.
Sofern als Kantendetektor ein Operator zweiter Ordnung verwendet wird, wird eine zweite Ableitung des Bildsignals (wie etwa der Laplace-Operator) berechnet.
Kennzeichnung der Orientierung
Jedes Pixel kann entweder als einer horizontalen Kante (,H') oder einer vertikalen Kante (,V') zugehörig gekennzeichnet werden, wenn entweder der Betrag des vertikalen oder des horizontalen Gradienten einen vorgegebenen unteren Grenzwert („Eliminations-Schwellwert”) überschreitet, z. B. 5 bei einem 8-Bit-Bild. Sind beide Bedingungen nicht erfüllt, wird das Pixel als keiner Kante zugehörig gekennzeichnet. Dieser untere Grenzwert verhindert die Fehlerkennung von Kanten aufgrund von weicher Schattierung oder Rauschen. Ein Pixel kann als Teil einer vertikalen Kante gekennzeichnet werden, wenn der Betrag seines horizontalen Gradienten den Betrag seines vertikalen Gradienten um einen vorgegebenen Hysteresewert oder mehr überschreitet, z. B. 2 bei einem 8-Bit-Bild, und umgekehrt. Wenn sich die Beträge der beiden Gradienten um weniger als den Hysteresewert unterscheiden, wird dem Pixel das gleiche Richtungskennzeichen zugewiesen wie dem nächsten Nachbarpixel, dessen Richtung bereits gekennzeichnet wurde. Wenn das Bild beispielsweise spaltenweise von links nach rechts und zeilenweise von oben nach unten abgetastet wird, können die benachbarten Pixel in der folgenden Reihenfolge überprüft werden: zuerst das Pixel unmittelbar darüber, als zweites das Pixel links darüber, als drittes das Pixel unmittelbar links davon und zuletzt das Pixel rechts darüber. Durch Anwendung dieser Hysterese wird sichergestellt, dass benachbarte Pixel, deren horizontaler und vertikaler Gradient betragsmäßig nahezu übereinstimmen, gleich gekennzeichnet werden. 4 zeigt das Ergebnis der Kennzeichnung am Beispiel einer Matrix von 6 mal 6 horizontalen und vertikalen Gradienten. In jeder Zelle wird der horizontale Gradient oben links, der vertikale Gradient rechts und die Richtungskennzeichnung unten angegeben. Nur Pixel, bei denen der Betrag des horizontalen oder vertikalen Gradienten 5 überschreitet, werden in diesem Schritt als Kantenpixel eingestuft. Sie sind in Fettdruck dargestellt und verfügen über eine Richtungskennzeichnung.
Das Bild, die Gradienten und Kennzeichnungen können bei vertikalen Kanten in horizontaler Richtung und bei horizontalen Kanten in vertikaler Richtung abgetastet werden. Eine Gruppe aufeinanderfolgender Pixel einer bestimmten Zeile, deren horizontale Gradienten das gleiche Vorzeichen haben und die alle als Teil einer vertikalen Kante gekennzeichnet sind, kann als vertikale Kante eingestuft werden, sofern keine angrenzenden Pixel links oder rechts davon die gleichen Bedingungen erfüllen. Analog dazu kann eine Gruppe aufeinanderfolgender Pixel einer bestimmten Spalte, deren vertikale Gradienten das gleiche Vorzeichen haben und die alle als Teil einer horizontalen Kante gekennzeichnet sind, als horizontale Kante eingestuft werden, sofern keine angrenzenden Pixel oberhalb oder unterhalb davon die gleichen Bedingungen erfüllen. Auf diese Weise können horizontale und vertikale Kanten erkannt werden.
Kantenbreite
Kanten können verfeinert werden, indem Pixel entfernt werden, bei denen der Betrag des Gradienten kleiner ist als ein bestimmter Bruchteil des Spitzengradientenbetrags der Kante. 5 stellt diesen Schritt dar, wobei für die Verfeinerung ein Schwellenwert von einem Drittel des höchsten Gradientenbetrags der Kante angesetzt wird. Die Breite der Kante wird damit von den ursprünglichen 9 Pixeln auf 3 reduziert. Durch diese Kantenverfeinerung wird die dominante Komponente des Gradienten hervorgehoben, welche die scheinbare, die visuelle Wahrnehmung prägende Kantenbreite bestimmt, auch wenn ein Bild mehrere sich überlappende Schattierungen aufweist, die zu einer allmählichen Abnahme des Gradienten über mehrere Pixel hinweg führen können.
Die Kantenbreite kann mit Hilfe verschiedener bekannter Methoden berechnet werden. Eine einfache solche Methode zur Berechnung der Kantenbreite stellt die Zählung der Pixel innerhalb einer Kante dar. Eine alternative Methode zur Berechnung der Kantenbreite wird in 5 gezeigt. In 5 wird eine erste Zwischenpixelposition (2, 4), die sich zwischen einem ersten äußeren Pixel (Pixel 3) einer verfeinerten Kante und einem benachbarten äußeren Pixel (Pixel 2) befindet, durch Interpolation der Position, die dem Verfeinerungs-Schwellenwert 304 entspricht, ermittelt. Auf analoge Weise wird eine zweite Zwischenpixelposition (5, 5) zwischen einem zweiten äußeren Pixel (Pixel 5) und seinem benachbarten äußeren Pixel (Pixel 6) ermittelt. Die Breite der Kante ist die Differenz zwischen diesen beiden Zwischenpixelpositionen, d. h. 5,5 – 2,4 = 3,1.
Ein weiteres alternatives Verfahren zur Kantenbreitenberechnung besteht darin, eine Differenz des Bildsignals (mit oder ohne Kantenverfeinerung) quer zum Verlauf der Kante zu berechnen und durch einen Spitzengradienten der Kante zu dividieren.
Alternativ hierzu kann die Kantenbreite eine Distanz zwischen einem Paar aus einer positiven und einer negativen Spitze (oder interpolierten Spitzen) der zweiten Ableitung des Bildsignals quer zum Verlauf der Kante sein. Weitere Alternativen sind möglich und werden später in dieser Patentschrift unter der Überschrift „Kantenschärfemaß” beschrieben.
Später in dieser Patentschrift wird sichtbar werden, dass es weitere Alternativen als eine Breite gibt, bei der es sich lediglich um ein Beispiel für ein Kantenschärfemaß handelt, das im Wesentlichen unabhängig von der Beleuchtung der Szene ist.
Neigungskorrektur
Zwar ist es möglich, jede Kante einer vorbestimmten Richtung (z. B. vertikale oder horizontale Richtung) oder einer anderen, orthogonalen vorbestimmten Richtung (z. B. horizontale Richtung oder vertikale Richtung) zuzuordnen und ihre Kantenbreite in einer Richtung zu messen, die orthogonal zu der zugeordneten Richtung verläuft, aber die Grenzen zwischen Bereichen unterschiedlicher Bildsignalwerte im Bild, aus denen diese Kanten entstehen, sind möglicherweise bzw. in der Regel nicht perfekt an einer der beiden vorbestimmten Richtungen ausgerichtet. In 6A sind eine bezüglich der vertikalen gestrichelten Linie unter einem Neigungswinkel ϕ geneigte Grenze (schattiertes Band) und eine in der dazu orthogonalen (d. h. horizontalen) Richtung gemessene Breite a gezeigt. Allerdings kommt eine in einer orthogonal zu der Richtung des Verlaufs der Grenze (und damit auch der Richtung einer Kante, die einen Teil der Grenze bildet) verlaufenden Richtung gemessene Breite b (siehe Zeichnung) der tatsächlichen Breite der Grenze (und auch der Kante) näher als die Breite a. Solche Breiten a, die nicht orthogonal zu den Verlaufsrichtungen der jeweiligen Kanten gemessen werden, sind in der Regel zu groß und stehen nicht für die realen Dicken der betreffenden Grenzen.
Zum Zweck der Berechnung eines Fokussignals anhand von Kantenbreiten müssen die Kantenbreiten, die in der einen oder anderen dieser vorgeschriebenen Richtungen gemessen werden, korrigiert werden, indem sie auf die Breite in einer zur Richtung der jeweiligen Kante orthogonalen Richtung reduziert werden. Die Kantenerkennungs- und Breitenmesseinheit 206 führt eine solche Korrektur der Kantenbreiten durch. Wie in 6A gezeigt, stellt die gemessene Breite a die Länge der Hypotenuse eines rechtwinkligen Dreiecks dar, dessen eine Kathete (durch die Breite b gekennzeichnet) orthogonal zur schattierten Grenze (also orthogonal zur Kantenrichtung) verläuft und den Winkel ϕ aufweist. Die korrigierte Breite b kann sodann durch Projektion der gemessenen Breite a auf die zur Verlaufsrichtung der Kante orthogonale Richtung ermittelt werden. Gemäß elementarer Trigonometrie kann eine solche Projektion durch b = a cos(ϕ) ausgedrückt werden. Es kann aber auch eine Näherung verwendet werden, solange eine Abweichung von nicht mehr als 20% nicht überschritten wird. Der Winkel ϕ oder cos(ϕ) selbst kann mit Hilfe einer der im Stand der Technik bekannten Methoden zur Ermittlung der Richtung einer Kante in einem Bild oder durch eine genauere Methode, die im Ablaufdiagramm von 7 beschrieben wird, ermittelt werden.
Die Kantenbreite jeder horizontalen oder vertikalen Kante kann um die Neigung relativ zur horizontalen bzw. vertikalen Richtung (den vorgeschriebenen Richtungen) korrigiert werden. Die 6A und 6B zeigen die Berechnung der Korrektur einer Kantenbreite, die in der horizontalen Richtung gemessen wird, für eine Grenze (und daher die Kanten, die die Grenze bilden), die relativ zur vertikalen Linie geneigt ist. Die 6C und 6D zeigen die Berechnung der Korrektur einer Kantenbreite, die in der vertikalen Richtung gemessen wird, für eine Grenze (und daher die Kanten, die die Grenze bilden), die relativ zur horizontalen Linie geneigt ist. Zur Korrektur kann die Kantenbreite, die in einer vorgeschriebenen Richtung wie der vertikalen oder horizontalen Richtung gemessen wird, mit dem Faktor cos(ϕ) multipliziert werden, wobei ϕ ein Neigungswinkel relativ zur vorgeschriebenen Richtung ist.
7 zeigt beispielsweise ein Ablaufdiagramm, das ein Verfahren zur Neigungskorrektur von Kantenbreiten für Kanten, die relativ zu einer vertikalen Linie geneigt sind, darstellt. (Für horizontale Kanten ist im Ablaufdiagramm ,Spalte' durch ,Zeile' zu ersetzen, und die Begriffe ,vertikal' und ,horizontal' sind auszutauschen.)
Von Schritt 502 bis Schritt 506 wird ein Neigungswinkel ϕ ermittelt. In Schritt 502 wird für jede vertikale Kante die Spaltenposition ermittelt, an welcher der Betrag des horizontalen Gradienten eine Spitze bildet, und der entsprechende horizontale Gradient x ermittelt. In Schritt 504 wird der Ort ermittelt, an dem der Betrag des vertikalen Gradienten in der betreffenden Spalte und in einem Abstand von bis zu zwei Pixeln eine Spitze bildet, und der vertikale Gradient y ermittelt.
In Schritt 506 wird der Neigungswinkel ϕ = tan^–1(y/x) ermittelt. In Schritt 506 kann der Neigungswinkel durch Auslesen aus einer Wertetabelle ermittelt werden. Die Schritte 502 bis 506 stellen nur eine bestimmte Vorgehensweise und Methode zur Ermittlung des Neigungswinkels dar. Es können stattdessen auch andere im Stand der Technik bekannte Vorgehensweisen und Methoden verwendet werden.
In Schritt 508 schließlich wird die Kantenbreite durch Multiplikation mit cos(ϕ) oder einer Annäherung davon heruntergerechnet, wie dies von einem Fachmann in der Praxis üblicherweise durchgeführt wird.
Als eine erste Modifikation des in 7 gezeigten Verfahrens werden Schritt 506 und Teil von Schritt 508 ersetzt, indem eine Wertetabelle bereitgestellt wird, die über Einträge für verschiedene Kombinationen der Eingabewerte x und y verfügt. Für jede Kombination der Eingabewerte x und y liefert die Wertetabelle einen Kantenbreiten-Korrekturfaktor. Der von der Wertetabelle gelieferte Kantenbreiten-Korrekturfaktor kann eine Annäherung von cos(tan^–1(y/x)) mit einer Abweichung von nicht mehr als 20% und bevorzugt von nicht mehr als 5% sein. Die Kantenbreite wird dann mit diesem Korrekturfaktor multipliziert, so dass sich eine neigungskorrigierte Kantenbreite ergibt.
Als eine zweite Modifikation wird ein Quotient y/x aus einem vertikalen Gradienten y und einem horizontalen Gradienten x berechnet, der als q bezeichnet wird. Anschließend wird q als Eingabe in eine Wertetabelle benutzt, die über Einträge für verschiedene Werte von q verfügt. Für jeden Wert von q liefert die Wertetabelle einen Kantenbreiten-Korrekturfaktor. Der Kantenbreiten-Korrekturfaktor kann eine Annäherung von cos(tan^–1(q)) mit einer Abweichung von nicht mehr als 20% und bevorzugt von nicht mehr als 5% sein.
Zur Berechnung des Neigungswinkels ϕ (oder einer Annäherung davon, so dass der Korrekturfaktor eine Abweichung von nicht mehr als 20% aufweist) und daraufhin des Korrekturfaktors cos(ϕ) (oder einer Annäherung davon) oder zur direkten Ermittlung des Korrekturfaktors ohne Ermittlung des Neigungswinkels ϕ (wie bei der ersten und zweiten Modifikation) können die Werte von x und y in den Schritten 502 bis 506 ermittelt werden, aber es können stattdessen auch andere Methoden angewandt werden.
Als eine dritte Modifikation werden die folgenden Schritte für jedes einer Mehrzahl von Pixeln in der Kante ausgeführt: (a) Es wird sowohl ein horizontaler Gradient x als auch ein vertikaler Gradient y eines Pixels ermittelt, (b) der Quotient q = y/x für dieses Pixel ermittelt und (c) ein q entsprechender Korrekturfaktor ermittelt, zum Beispiel cos(tan^–1(q)) oder eine Annäherung davon mit einer Abweichung von nicht mehr als 20%. Schließlich wird der Korrekturfaktor für die Kantenbreite durch Mittelung der Korrekturfaktoren der einzelnen Pixel der Mehrzahl von Pixeln ermittelt. Der Mittelwert kann ein gewichteter Durchschnitt sein, wobei zum Beispiel ein Pixel mit einem größeren horizontalen Gradienten eine höhere Gewichtung erhält als ein anderes Pixel, das über einen geringen horizontalen Gradienten verfügt.
Andere Modifikationen sind gemäß diesen oder anderen Vorschriften möglich.
Schwellenwert für die Filterung
Zur Bildung des Fokussignals können benachbarte Kanten entweder vollständig ausgeschlossen werden oder ihr Beitrag kann reduziert werden, wenn ihr Spitzengradientenbetrag kleiner als ein vorgegebener Bruchteil des Spitzengradientenbetrags einer benachbarten breiteren Kante ist. 9A, 9B und 9C stellen ein Problem dar, das behoben wird.
9A zeigt drei vertikale weiße Balken, die von zwei schmalen schwarzen Bereichen mit einer Breite von jeweils 2 Pixeln getrennt werden. Der mittlere weiße Balken ist ein schmaler Balken, der zwei Pixel breit ist. In 9B ist das Bildsignal in horizontaler Richtung für eine scharfe und eine unscharfe Version des Bilds in 9A aufgetragen. In 9C sind die Sobel-X-Gradienten von 9B für das scharfe und unscharfe Bild aufgetragen. In 9C ist erwartungsgemäß die erste Kante (Pixel 2–5) beim unscharfen Bild breiter als beim scharfen Bild und gleichermaßen die letzte Kante (Pixel 13–15). Die beiden schmalsten Kanten (Pixel 9 & 10 und Pixel 11 & 12) haben jedoch in beiden Bildern die Breite 2. Die entsprechenden Pegeländerungen bei den Pixeln 9 & 10 sowie 11 & 12 in 9B verlaufen jeweils über eine Länge von zwei Pixeln. Im unscharfen Bild ist der Betrags des Spitzengradienten der schmaleren Kanten jedoch deutlich – rund 50% – kleiner als derjenige der breiteren Kanten. Das scharfe Bild andererseits weist einen Unterschied von weniger als 10% zwischen den breiteren Kanten und schmaleren Kanten auf.
Ein deutlich geringerer Spitzengradientenbetrag einer schmaleren Kante – z. B. von 20% oder mehr –, die sich neben einer breiteren Kante mit einem Gradienten mit umgekehrten Vorzeichen befindet, ist ein Anzeichen dafür, dass das unscharfe Bild nicht gut fokussiert ist und die schmalere Kante daher keinen zuverlässigen Hinweis auf ein scharfes Bild darstellt.
In gleicher Weise stellen nebeneinander liegende Kanten wechselnden Gradientenvorzeichens auch dann keinen solchen zuverlässigen Hinweis dar, wenn ihre Kantenbreiten gering sind, sofern sie sich in unmittelbarer Nähe zueinander befinden, z. B. einen Abstand von nicht mehr als einem Pixel aufweisen („Minimaler Kantenabstand”). Der minimale Kantenabstand wird als Anzahl von Pixeln ausgedrückt, z. B. 1, 2 oder ein Wert dazwischen.
Da außerdem eine Kante aufgrund eines Spitzengradienten, dessen Betrag kleiner als der Schwellenwert für die Eliminierung ist, ausgelöscht worden sein könnte, können auch zwei aufeinanderfolgende schmale Kanten mit gleichem Gradientenvorzeichen und einem Abstand kleiner oder gleich dem doppelten minimalen Kantenabstand plus einer Breite_scharfer_Kanten (Breite_scharfer_Kanten ist eine Zahl, die die Kantenbreite einer scharfen Kante festlegt) als eine Bedingung zur Eliminierung oder Herabstufung des Beitrags einer oder beider der nebeneinander liegenden Kanten verwendet werden.
Die Kantenerkennungs- und Breitenmesseinheit 206 kann anhand eines Filterschwellenwerts, der anhand einer breiteren Kante festgelegt wird, und einer Modulations-Filterkennzeichnung, die aktiviert und deaktiviert werden kann, den folgenden Algorithmus zur Eliminierung dicht beieinander liegender schmalerer Kanten ausführen.
Für jede Kante werden der Filterschwellenwert und die Filterkennzeichnung, die für die unmittelbar nächste Kante mit umgekehrtem Vorzeichen verwendet werden sollen, gemäß dem Verfahren des in 10 gezeigten Ablaufdiagramms festgelegt.
Wenn der Filterwert und die Filterkennzeichnung festgelegt sind, kann eine Kante eliminiert werden, sofern nicht eine der folgenden Bedingungen erfüllt ist: (a) Für diese Kante ist die Filterkennzeichnung deaktiviert, (b) ein Spitzengradientenbetrag der Kante ist nicht kleiner als der Filterschwellenwert für diese Kante. Zu den Bedingungen (a) und (b) kann die folgende Bedingung hinzugefügt werden: (c) Die Kantenbreite ist nicht geringer als die Breite_scharfer_Kanten + 1, wobei dem Parameter Breite_scharfer_Kanten eine Zahl zugewiesen wurde, die der Kantenbreite einer scharfen Kante entspricht, und wobei der Summand „+1” variiert werden kann, um einen Kantenbreitenbereich oberhalb von Breite_scharfer_Kanten festzulegen, innerhalb dessen Kanten eliminiert werden können, wenn sie die Bedingungen (a) und (b) nicht erfüllen. Bei den in den 9A–9C gezeigten Beispielen kann der Wert von Breite_scharfer_Kanten 2 betragen. 10 ist ein Ablaufdiagramm für die Festlegung eines Filterschwellenwerts und einer Filterkennzeichnung für Kanten. Bei vertikalen Kanten wird angenommen, dass die Abtastung entlang einer Zeile von links nach rechts erfolgt, was aber keine Voraussetzung ist. (Bei horizontalen Kanten wird angenommen, dass die Abtastung entlang einer Spalte von oben nach unten erfolgt, was aber keine Voraussetzung ist.) Dem Parameter Breite_scharfer_Kanten wird eine Zahl zugewiesen, die bei den in den 9A–9C gezeigten Beispielen 2 betragen kann. Ausgehend von der ersten Kante in Schritt 702, werden alle Kanten in Schritt 720 daraufhin überprüft, ob die Kantenbreite größer oder gleich 1 plus Breite_scharfer_Kanten ist, wobei 1 der für diese Darstellung benutzte Wert des minimalen Kantenabstands ist. Es kann jedoch auch ein anderer Wert verwendet werden, zum Beispiel ein Wert zwischen 0,5 und 2,0. Wenn dies der Fall ist, handelt es sich bei der Kante um eine breitere Kante, und im darauffolgenden Schritt 706 wird der Filterschwellenwert für die unmittelbar nächste Kante mit umgekehrtem Vorzeichen auf beta mal einen Spitzengradientenbetrag der Kante festgesetzt, wobei beta zwischen 0,3 und 0,7 und bevorzugt bei 0,55 liegt. Im anschließenden Schritt 708 wird die Filterkennzeichnung für die nächste Kante aktiviert, woraufhin mit der nächsten Kante fortgefahren wird. Falls nicht, handelt es sich bei der Kante nicht um eine breitere Kante. Im darauffolgenden Schritt 730 wird überprüft, ob der Abstand der vorangehenden Kante gleichen Vorzeichens größer als der doppelte minimale Kantenabstand (oder ein anderer vorgegebener Wert) plus Breite_scharfer_Kanten und der Abstand der unmittelbar vorangehenden Kante entgegengesetzten Vorzeichens, sofern vorhanden, größer als der minimale Kantenabstand ist. Falls dies der Fall ist, wird im darauffolgenden Schritt 710 die Filterkennzeichnung für die nächste Kante deaktiviert.
Falls nicht, werden Filterkennzeichnung und Filterschwellenwert für die nächste Kante beibehalten und anschließend wird mit der nächsten Kante fortgefahren. Beta kann ein bestimmter vorgegebener Bruchteil sein oder anhand einer vorgegebenen Formel berechnet werden, die z. B. eine Funktion der Kantenbreite darstellen kann. Im letzteren Fall kann sich beta zwischen den verschiedenen Teilen des Bilds unterscheiden.
Alternative Ausführungsformen
Orientierung des Pixelgitters:
Das von dem Fokussignalgenerator 120 eingegebene Bild kann Pixel aufweisen, die in einem rechteckigen Gitter („Pixelgitter”) angeordnet sind, das um 45 Grad gegen einen rechtwinkligen Bildrahmen gedreht ist. In diesem Fall können die x- und y-Richtungen der Kantendetektionsvorgänge und Breitenmessvorgänge entsprechend rotiert werden.
Kantenschärfemaße:
In der vorstehenden Beschreibung wird die Schärfe eines Bilds einer Kante durch eine Breite der Kante dargestellt, die anhand einer Folge von Gradienten quer zum Verlauf der Kante gemessen wird, wobei die Kanten quer zum Verlauf der Kante ausgerichtet sind. Es gibt Alternativen, die nach einem ähnlichen Prinzip arbeiten. Im Wesentlichen kann das Fokussignal auf diese Weise erzeugt werden, weil die einzelnen Kanten jeweils eine Größe (im Weiteren: „Kantenschärfemaß”) beitragen, die von einer Skalierung der Bilddaten um beispielsweise 20% unabhängig oder im Wesentlichen unabhängig – Veränderung um höchstens 5% bei einer Herunterskalierung der Bilddaten um 20% – ist, was dazu beiträgt, das Fokussignal unabhängig oder deutlich weniger abhängig von der Beleuchtung der Szene des Bilds oder dem Reflexionsvermögen von Objekten in der Szene zu machen als bei dem herkömmlichen Kontrastdetektionsverfahren.
Bei dem vorliegenden Fokussignalgenerator 120 ist jedes Kantenschärfemaß, das zusätzlich die vorstehend erwähnte Eigenschaft aufweist, unabhängig oder im Wesentlichen unabhängig von einem 20%igen Herunterskalieren der Bilddaten zu sein, eine gute Alternative zu der von einem Gradienten oder interpolierten Gradienten zu einem anderen Gradienten oder interpolierten Gradienten mit demselben Gradientenwert gemessenen Breite.
Das alternative Kantenschärfemaß weist bevorzugt eine Einheit auf, die frei von Energieeinheiten ist. Die Einheit des Kantenschärfemaßes wird auf der Grundlage zweier Punkte festgelegt: a) Stichproben der Bilddaten, auf die der Kantendetektionsoperator erster Ordnung angewendet wurde, weisen Energieeinheiten auf, und b) Abstände zwischen Stichproben weisen Längeneinheiten auf. Aus a) und b) folgt, dass ein Gradientenwert eine Einheit aufweist, die eine Energieeinheit dividiert durch eine Längeneinheit ist. Auch der Kontrast quer zum Verlauf der Kante oder quer zu einem beliebigen ungeteilten Abschnitt der Kante weist eine Energieeinheit auf. Daher ist der Kontrast kein gutes Kantenschärfemaß, da aus der Einheit deutlich wird, dass er von der Beleuchtung der Szene und dem Reflexionsvermögen des Objekts beeinflusst wird. Auch der Spitzengradient der Kante ist ungeeignet, da in der Einheit des Spitzengradienten ebenfalls Energieeinheiten stecken, was anzeigt, dass auch diese Größe auf Änderungen der Beleuchtung der Szene reagiert. Der Quotient aus dem Spitzengradienten der Kante und einem Kontrast der Kante dagegen ist ein hinreichend gutes Kantenschärfemaß, da er eine Einheit aufweist, die der Kehrwert einer Längeneinheit ist. Als ein weiteres Beispiel ist die Anzahl der Gradienten, deren Gradientenwerte einen bestimmten vorbestimmten Bruchteil des Spitzengradienten übersteigen, ein gutes Kantenschärfemaß, da die Anzahl einfach ein auf die Größe des Abstands zwischen benachbarten Gradienten quantisiertes Maß für die Distanz ist und daher eine Längeneinheit aufweist.
Es sei hier darauf hingewiesen, dass bei der Erzeugung eines Kantenschärfemaßes ein Gradient mit einem Kantendetektionsoperator erster Ordnung, der zur Detektion der Kante benutzt wird, oder mit einem anderen Erste-Ableitungs-Operator (d. h. Gradientenoperator) erzeugt werden kann. Während beispielsweise der Sobel-Operator (oder sogar ein Kantendetektionsoperator zweiter Ordnung wie etwa ein Laplace-Operator) zur Detektion der Kante benutzt werden kann, kann zum Erzeugen des Gradienten der Roberts-Operator benutzt werden, dessen Kerne einfach [–1, +1] und die Transponierte davon sind, wodurch einfach eine Bilddatenstichprobe von der nächsten Stichprobe in Richtung des Gradientenoperators subtrahiert wird, wobei der sich ergebende Gradient in der Mitte zwischen den Stichproben angeordnet ist. Die Kanten können unabhängig von einem oder mehreren Ableitungsoperatoren, die zum Erzeugen des Kantenschärfemaßes oder eines beliebigen anderen im nächsten Abschnitt beschriebenen Formmaßes benutzt werden, mit einem Kantendetektionsoperator höherer als erster Ordnung detektiert werden.
Noch anders betrachtet: Das Kantenschärfemaß sollte eine Einheit aufweisen, die eine Potenz einer Länge ist, zum Beispiel das Quadrat, der Kehrwert, die Quadratwurzel aus der Länge oder die Länge selbst.
Jedes solche alternative Kantenschärfemaß kann bei dem Fokussignalgenerator 120 die Kantenbreite ersetzen.
Um eine Neigung der Kante zu korrigieren, muss der oben in Bezug auf die 6A bis 6D und 7 beschriebene Korrekturfaktor (im Weiteren „Breitenkorrekturfaktor”) in dieselbe Potenz konvertiert werden. Wenn zum Beispiel das Kantenschärfemaß der Spitzengradient dividiert durch einen Kontrast ist, was ihm den Kehrwert einer Längeneinheit als Einheit verleiht, so ist der geeignete Korrekturfaktor für das Kantenschärfemaß der Kehrwert des in Bezug auf die 6A bis 6D und 7 beschriebenen Korrekturfaktors. Wenn als weiteres Beispiel das Kantenschärfemaß eine Einheit aufweist, die das Quadrat einer Längeneinheit ist, so muss auch der Neigungskorrekturfaktor für das Kantenschärfemaß ein Quadrat des Breitenkorrekturfaktors sein.
Nachstehend werden anhand der Zeichnungen in den 24B, 24D, 25 und 26 mehrere Beispiele für alternative Kantenschärfemaße beschrieben.
24B veranschaulicht eine Auftragung einer Folge von Gradienten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie eine Fläche A₃ eines schraffierten Bereichs unter der aufgetragenen Gradientenfolge. In diesem Beispiel ist der Bereich zwischen zwei Gradientenhöhen L₁ und L₂ definiert, die in Bezug auf einen interpolierten Spitzengradientenwert (alternativ den Spitzengradientenwert) der Gradientenfolge zum Beispiel als vorbestimmter Anteil des interpolierten Spitzengradientenwerts definiert sein können. Der schraffierte Bereich weist vier Ecken auf, bei denen es sich um interpolierte Gradienten handelt. Die Fläche dividiert durch den interpolierten Spitzengradientenwert (alternativ: den Spitzengradientenwert) ist ein gutes Kantenschärfemaß, da es eine Längeneinheit aufweist. Es sei angemerkt, dass alternative Definitionen des Bereichs möglich sind. Zum Beispiel kann der Bereich von oben nicht von der Gradientenhöhe L₁, sondern von der Gradientenfolge begrenzt werden.
24D veranschaulicht eine Auftragung von Gradienten von Stichproben der Bilddaten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz, einen Schwerpunkt 3401 (d. h. Momentennullpunkt) und Distanzen u₂, u₃, u₄, u₅ und u₆ der Gradienten (mit Gradientenwerten g₂, g₃, g₄, g₅ und g₆) vom Schwerpunkt. Ein gutes Kantenschärfemaß ist ein k-tes Zentralmoment der Gradienten um den Schwerpunkt, und zwar ein gewichtetes Mittel der Distanzen der Gradienten vom Schwerpunkt, wobei die Gewichte Beträge der jeweiligen Gradienten sind und k eine gerade Ganzzahl ist. Zum Beispiel kann k gleich 2 sein, was das Kantenschärfemaß zu einer Varianz macht, so als ob die Gradientenfolge eine Wahrscheinlichkeitsverteilung wäre. In diesem Beispiel weist das Kantenschärfemaß eine Einheit auf, die ein Quadrat einer Längeneinheit ist. Allgemeiner kann das Kantenschärfemaß eine Funktion von Distanzen zwischen mehreren Gradienten aus einer Gradientenfolge und einer vordefinierten Position relativ zu den Gradienten sein, wobei die Folge als Array quer über die Kante angeordnet ist. Anstelle des Schwerpunkts kann es sich bei der vordefinierten Position auch um eine Position einer interpolierten Spitze für die Gradientenfolge handeln. Zur Teilnahme an dieser Berechnung kann gemäß einem vordefinierten Kriterium eine geeignete Teilmenge der Gradienten der Kante ausgewählt werden. Zum Beispiel kann an die Gradienten die Anforderung gestellt werden, Gradientenwerte aufzuweisen, die mindestens einen vorbestimmten Bruchteil des Spitzengradienten bzw. des Gradientenwerts einer interpolierten Spitze der Gradientenfolge erreichen.
25 veranschaulicht eine Auftragung einer Folge zweiter Ableitungen einer Folge von Stichproben von Bilddaten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden zweiten Ableitungen gemessene Distanz und zeigt a) eine Breite W_s zwischen einem Paar aus einer positiven und einer negativen Spitze, b) eine Breite W₁ zwischen einem Paar äußerster interpolierter zweiter Ableitungen mit gegebenem Betrag h₁, c) eine Breite W₂ zwischen einem inneren Paar interpolierter zweiter Ableitungen mit dem gegebenen Betrag h₁ und d) eine Distanz D₁ zwischen einem Nulldurchgang (zwischen dem Paar aus positiver und negativer Spitze) und einer äußersten interpolierten zweiten Ableitung mit dem gegebenen Betrag h₁. Jede der drei Breiten W_s, W₁ und W₂ kann als Kantenschärfemaß benutzt werden.
In dem Beispiel aus 25 kann das Kantenschärfemaß weiterhin eine gewichtete Summe der Distanzen zwischen den zweiten Ableitungen und dem Nulldurchgang (zwischen dem Paar aus positiver und negativer Spitze, ggf. interpoliert) sein, wobei die Beträge der jeweiligen zweiten Ableitungen als Gewichtungen dienen. Allgemeiner kann das Kantenschärfemaß eine Funktion von Distanzen zwischen mehreren zweiten Ableitungen quer zur Kante und einer vordefinierten Position relativ zu den mehreren zweiten Ableitungen sein. Anstelle der Position des Nulldurchgangs ist auch ein Schwerpunkt ein guter Kandidat für die vordefinierte Position, wobei Beträge der zweiten Ableitungen als Gewichtungen dienen. Ein weiterer guter Kandidat für die vordefinierte Funktion kann der Mittelpunkt zwischen dem Paar aus positivem und negativem Gradienten sein.
26 veranschaulicht eine Auftragung einer Folge von Bilddaten von Pixeln einer Kante gegen die in Vielfachen des Abstands zwischen benachbarten Pixeln gemessene Distanz und zeigt a) eine Breite W_Kante und einen Kontrast C_Kante zwischen zwei Stichproben an zwei Enden der Kante, b) einen Spitzengradientenwert g_Spitze (generiert von dem Roberts-Operator) zwischen zwei Stichproben, der die steilste Änderung des Stichprobenwerts anzeigt, c) einen schmalsten ungeteilten Abschnitt der Kante mit einem Kontrast C₁ und einer Breite W_Teil1, und d) einen schmalsten ungeteilten Abschnitt der Kante mit einem Kontrast C₂ und einer Breite W_Teil2. Wie zuvor erwähnt wurde, ist der Spitzengradientenwert g_Spitze dividiert durch den Kontrast C_Kante ein gutes Kantenschärfemaß. Die Breite W_Kante ist ein weiteres gutes Kantenschärfemaß. Die Breiten W_Teil1 und W_Teil2 sind ebenfalls gute Alternativen. Die Kontraste C₁ und/oder C₂ können so definiert sein, dass sie ein vorbestimmter Anteil des Kantenkontrasts C_Kante sind. Alternativ hierzu können sie jeweils als vorbestimmtes Vielfaches eines Spitzengradienten der Kante wie dem Spitzengradienten g_Spitze definiert sein. Es sei hier auch angemerkt, dass der „schmalste ungeteilte Abschnitt” durch interpolierte Stichproben von Bilddaten begrenzt sein kann, wie sie in 26 durch Quadrate gezeigt werden, oder durch Ab- oder Aufrunden auf die nächstliegende Pixelzahl.
Kantenqualifizierung
Die 23A und 23B zeigen eine Auftragung eines Paars symmetrischer Folgen von Gradienten des Bildsignals quer zu zwei verschiedenen Kanten gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz. In beiden Figuren werden für zwei Paare interpolierter Gradienten auf jeweils unterschiedlicher Gradientenhöhe zwei Breiten (eine obere Breite und eine untere Breite) gemessen.
Es lässt sich sehen, dass die unteren Breiten der beiden Gradientenfolgen um lediglich 10% voneinander abweichen, die obere Breite in 23B dagegen fast doppelt so breit wie die obere Breite in 23A ist. Nicht beide Kanten können als gültige Kanten akzeptiert werden, um daraus ein zuverlässiges Fokussignal abzuleiten.
Der Erfinder hat erkannt, dass lediglich eine einzelne Messung an Stichproben von Bilddaten an und in der Umgebung der Kante unzureichend ist, um eine fehlerhaft erkannte Kante zu identifizieren, wenn die fehlerhaft erkannte Form eine perfekte Reflexionssymmetrie der Gradienten quer zu sich selbst aufweist. Der Erfinder hat erkannt, dass mindestens zwei Messungen an Stichproben der Bilddaten innerhalb einer vordefinierten Umgebung der Kanten notwendig sind, um zu entscheiden, ob eine Kante im Fokussignal niedriger gewichtet oder vollständig aus diesem ausgeschlossen werden soll.
Die KE-BM-Einheit implementiert ein solches Verfahren zum Einstufen von Kanten als bei der Erzeugung des Fokussignals zu berücksichtigende Kanten. Das Verfahren beruht darauf, dass mindestens zwei Messungen an Stichproben der Bilddaten innerhalb einer vorbestimmten Umgebung der Kante (im Weiteren „Formmaße”) vorgenommen werden. Bei der vorbestimmten Umgebung kann es sich um alle Bilddatenstichproben handeln, aus denen alle Gradienten und/oder zweiten Ableitungen innerhalb der Kante berechnet werden, um die Kante zu erkennen. Alternativ hierzu kann die vorbestimmte Umgebung alle Pixel innerhalb eines vorbestimmten Abstands von der Kante umfassen, zum Beispiel 8 Pixel bzw. einen Mindestabstand, der ausreicht, um alle Bilddatenstichproben zu berücksichtigen, die zur Detektion der Kante und/oder zum Berechnen des Kantenschärfemaßes der Kante benutzt werden.
Jedes Formmaß der Kante wird anhand von mindestens zwei Stichprobenpaardifferenzen gemessen, wobei jede Stichprobenpaardifferenz eine Differenz zwischen zwei Bilddaten-Stichproben ist, die aus einer Folge von als Array quer zur Kante angeordneten Bilddaten-Stichproben stammen.
Das Verfahren kann daraufhin abhängig von den Werten von mindestens zwei Formmaßen für die Kante entscheiden, ob ein relatives Ausmaß, in dem die Kante zu dem Fokussignal beiträgt (im Vergleich zu anderen Kanten, die zu dem Fokussignal beitragen), reduziert werden soll. Wenn beispielsweise das Fokussignal als gewichtetes Mittel aller Kanten berechnet wird, die zum Fokussignal beitragen dürfen, können die bereits von anderen Verfahren (wie dem im nächsten Abschnitt beschriebenen Längenfilter) bestimmten Gewichtungen durch Multiplikation mit einem bei der Bestimmung als relatives Ausmaß berechneten Faktor (im Weiteren „Formqualifizierungsfaktor”) weiter gegenüber anderen Kanten reduziert werden.
Das Verfahren kann ermitteln, ob die mindestens zwei Formmaße zusammen ein Kriterium erfüllen, um das relative Ausmaß zu bestimmen, in dem der Beitrag der Kante zum Fokussignal reduziert werden soll. Zum Beispiel kann das Kriterium als Grenze ausgedrückt werden, die in einem zweidimensionalen Streudiagramm, in dem das ersten Maß gegen das zweite Maß aufgetragen sind, einen Bereich mit keiner oder wenig Reduktion des relativen Ausmaßes von allen anderen Bereichen trennt. Konturen können so definiert sein, dass sich Paare aus einem ersten Messwert und einem zweiten Messwert, denen dasselbe relative Ausmaß zugewiesen wird, auf derselben Kontur, befinden, und das relative Ausmaß wird aus einem Speicher ausgelesen, indem nachgeschlagen wird, zu welcher Kontur das Paar für die Kante gehört. Zum Beispiel kann das Verfahren auswerten, ob eines der mindestens zwei Formmaße ein Kriterium erfüllt, das von einem oder mehreren der anderen Formmaße abhängt. Zum Beispiel kann das Kriterium fordern, dass ein erstes Formmaß innerhalb eines vorbestimmten Toleranzbereichs um einen Erwartungswert liegen muss, der eine Funktion des zweiten Formmaßes ist. Je nach Ergebnis der Auswertung kann die Kante bei der Erzeugung des Fokussignals ausgelassen oder niedriger gewichtet werden, wenn das Kriterium nicht erfüllt ist. Zum Beispiel kann, wenn die Kante niedriger gewichtet werden soll, das relative Ausmaß eine Funktion sein, die zwischen einem Wert (zum Beispiel eins) für Erfüllung des Kriteriums und einem anderen Wert für Nichterfüllung des Kriteriums (zum Beispiel null) variiert und einen stetigen Übergang entsprechend der Variation der Differenz zwischen dem Wert des ersten Maßes und dem Erwartungswert aufweisen, und das relative Ausmaß kann benutzt werden, um eine Gewichtung der Kante im Fokussignal zu reduzieren, indem diese Gewichtung mit diesem relativen Ausmaß multipliziert wird, bevor das Fokussignal berechnet wird, wobei das Fokussignal ein gewichtetes Mittel derjenigen Kanten ist, die dazu beitragen. Eine solche Funktion nimmt bevorzugt eine Form einer S-Kurven-Funktion bezüglich der Differenz an.
Alternativ hierzu kann das Verfahren das relative Ausmaß als eine Funktion der mindestens zwei Formmaße berechnen. Zum Beispiel kann das relative Ausmaß als X/E berechnet werden, wobei E der Erwartungswert ist (der sich durch Einsetzen des Messwerts für die Kante für das zweite Maß in die Funktion ergibt) und X der Messwert für das erste Formmaß ist.
Der Erwartungswert für das erste Maß in Abhängigkeit vom zweiten Maß kann als mathematische Formel ausgedrückt werden, die auf einem computerlesbaren Medium wie einem nichtflüchtigen Speicher (zum Beispiel Flash-Speicher) aufgezeichnet ist, und kann zur Ausführung in die KE-BM-Einheit abgerufen werden. Alternativ hierzu kann eine in dem computerlesbaren Medium gespeicherte Wertetabelle verwendet werden. Es wird auf 28 Bezug genommen. 28 zeigt ein Streudiagramm von vier Paaren von Werten für je ein erstes und ein zweites Formmaß (w_1b, w_1a), (w_2b, w_2a), (w_3b, w_3a), (w_4b, w_4a) und veranschaulicht, wie ein Wert w'_b für das erste Formmaß durch Interpolation ausgehend von einem Wert w'_a für das zweite Formmaß gefunden wird. In der Wertetabelle können Wertepaare aus ersten und zweiten Maßen gespeichert sein, und die KE-BM-Einheit kann Paare zur Interpolation abrufen, um den Erwartungswert eines Formmaßes anhand des gegebenen Messwerts für ein anderes Formmaß zu ermitteln.
Es sei hier angemerkt, dass das Verfahren das relative Ausmaß nicht auf der Grundlage eines Ausmaßes bestimmt, in dem eine Gradientenfolge quer zu der Kante von einer perfekten Spiegelsymmetrie abweicht. Insbesondere, wie unmittelbar unter der aktuellen Überschrift unter Bezugnahme auf die 23A und 23B beschrieben ist, in denen jeweils eine perfekt symmetrische Folge von Gradienten einer Kante aufgetragen ist, gibt es Kanten, die das Verfahren zurückstuft, obwohl die Kanten in ihren jeweiligen Gradientenfolgen quer über sich selbst eine perfekte Spiegelsymmetrie aufweisen. Aus den später in diesem Abschnitt angeführten Beispielen geht hervor, dass eine perfekte Spiegelsymmetrie in einer Folge von Gradienten quer zur Kante nicht verhindert, dass eine Kante zurückgestuft (d. h. ihr relatives Ausmaß reduziert) wird.
Spezieller gibt es eine Folge von Gradienten mit perfekter Spiegelsymmetrie, bei deren Vorliegen quer zu einer Kante gemäß diesem Verfahren das relative Ausmaß des Beitrags der Kante reduziert wird. Ein Beispiel für eine solche Folge ist {0,1, 0,15, 0,2, 0,9, 0,9, 1, 0,9, 0,9, 0,2, 0,15, 0,1}. Ein weiteres Beispiel für eine solche Folge ist die in 25 gezeigte hutfömige Folge 8002: {0, 0,2, 0,2, 0,7, 0,7, 1, 0,7, 0,7, 0,2, 0,2, 0}. Ein drittes Beispiel für eine solche Folge ist die in Figur gezeigte Folge 8000 in der Form eines gleichschenkligen Dreiecks: {0, 0,25, 0,5, 0,75, 1, 0,75, 0,5, 0,25, 0}.
Bei einem der Formmaße kann es sich um das Kantenschärfemaß der Kante handeln, das ist jedoch keine Voraussetzung. Sofern keines der Formmaße das Kantenschärfemaß ist und die Kante disqualifiziert, d. h. ihr Beitrag zum Fokussignal ausgelassen wird, kann die Berechnung des Kantenschärfemaßes für die Kante unterbleiben.
Die Formmaße sind gegenseitig unabhängig insofern, als keines der Formmaße aus dem anderen Formmaß berechnet werden kann, ohne zusätzlich mindestens eine Bilddatenstichprobe aus der vorbestimmten Umgebung der Kante heranzuziehen, für die das fragliche Formmaß berechnet wird.
Vorzugsweise wird ein Formmaß nicht für jede Kante, für die das Formmaß berechnet wird, aus einem positiven Gradienten und einem negativen Gradienten berechnet. Für die meisten Kanten ist es nicht erforderlich, zwischen einem positiven Gradienten und einem negativen Gradienten zu interpolieren, um einen interpolierten Gradienten auf den Kanten zu finden.
Vorzugsweise hängt das Auswerten eines Formmaßes für eine Kante nicht von der Detektion einer andere Kante ab. Häufig weist eine Kante ihre eigene Verteilung normierter Gradienten auf, die unabhängig von anderen Kanten ist, und ein auf der Grundlage einer solchen Eigenschaft der Kante formuliertes Formmaß wird nicht von der Detektion oder Nichtdetektion der anderen Kante beeinflusst, insbesondere, wenn die vorbestimmte Umgebung der anderen Kante und diese Kante einander nicht überlappen.
Bevorzugt wird ein Formmaß nicht zum Messen einer Kante gewählt, es sei denn, ein 20%iger Rückgang der Szene führt nicht zu einem Unterschied darin, ob die Kante ausgelassen wird oder zum Fokussignal beitragen darf. Alternativ hierzu wird ein Formmaß bevorzugt nicht zum Messen einer Kante gewählt, es sein denn, ein 20%iger Rückgang der Bildsignalwerte innerhalb der vorbestimmten Umgebung führt nicht zu einem Unterschied darin, ob die Kante ausgelassen wird oder zum Fokussignal beitragen darf.
Im Allgemeinen kann jedes der unter der Überschrift „Kantenschärfemaße” beschriebene Verfahren zum Berechnen eines Kantenschärfemaßes benutzt werden, um ein oder mehrere Formmaße zu erstellen, solange alle Formmaße und die Kantenschärfe auf unterschiedliche Weise berechnet werden. Bezugnehmend auf 23B kann zum Beispiel ein erstes Formmaß die Breite W₂ zwischen zwei interpolierten Gradienten auf der oberen normierten Gradientenhöhe 3310 sein, und ein zweites Formmaß kann die zwischen einem Paar interpolierter Gradienten auf der unteren normierten Gradientenhöhe 3312 gemessene Breite W₁ sein. Das zweite Formmaß kann auch als Kantenschärfemaß für die Kante aus diesem Beispiel benutzt werden. Alternativ hierzu kann das Kantenschärfemaß auf einer dritten normierten Gradientenhöhe gemessen werden, die sich von der oberen 3310 und der unteren 3312 normierten Gradientenhöhe unterscheidet. Als weitere Alternative könnten entweder das zweite Maß oder das Kantenschärfemaß mit einem anderen Formmaß-Messverfahren gemessen werden, zum Beispiel als Funktion von Distanzen zwischen den Gradienten über die Kante und einer vordefinierten Position (z. B. einem Schwerpunkt), wobei ein Beispiel für eine solche Funktion von Distanzen der Gradienten ein zweites Moment der Distanzen ist, oder zum Beispiel als Distanz zwischen dem äußeren Paar interpolierter zweiter Ableitungen, die aus einer Folge von als Array quer über die Kante angeordneter zweiter Ableitungen interpoliert werden.
Das vorstehend in Bezug auf 23B erörterte Beispiel verwendet zwei Breiten (oder sogar Pixelzahlen – einer auf den Abstand zwischen benachbarten Pixeln quantisierten Distanz), die auf zwei unterschiedlichen Gradientenhöhen gemessen werden, aber es sind andere Kombinationen möglich, wie anhand weiterer Beispiele nachstehend erörtert wird.
Weiterhin kann jedes der Verfahren zum Gewinnen eines Kantenschärfemaßes, das eine Normierung bezüglich einer Potenz eines Spitzengradientenwerts oder interpolierten Spitzengradientenwerts verwendet, die Normierung umgehen und ein Formmaß erzeugen, dessen Einheit nicht frei von einer Energieeinheit ist. Wenn zum Beispiel das Kantenschärfemaß durch Messen einer Fläche eines Bereichs unter einer Folge von Gradienten gewonnen wird (siehe 24B und deren Erörterung unter der Überschrift „Kantenschärfemaße”) und die Fläche anhand eines Spitzengradientenwerts oder eines interpolierten Spitzengradientenwerts normiert wird, kann die Normierung unterbleiben, was dazu führt, dass eine Fläche für ein Kantenschärfemaß eine Einheit aufweist, die eine Einheit eines Gradienten multipliziert mit einer Längeneinheit und damit eine Energieeinheit ist.
Neben einem beliebigen Kantenschärfe-Messverfahren kann ein Formmaß auch durch andere Verfahren gewonnen werden. Weitere Beispiele werden nachstehend beschrieben.
24A veranschaulicht eine Auftragung einer symmetrischen Folge von Gradienten quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie einen normierten Gradientenwert eines interpolierten Gradienten in einer vorbestimmten Distanz D₃ zu einem Spitzengradienten. Diese Gradientenfolge weist einen Spitzengradienten 3212 auf. Eine Breite W₀, die auf einer normierten Gradientenhöhe L₀ gemessen wird, kann als zweites Formmaß verwendet werden. Die Distanz D₃ kann in Bezug auf die Breite W₀, zum Beispiel als vorbestimmter Bruchteil der Breite W₀, oder in Bezug auf eine andere Breite der Kante definiert sein, die anhand eines beliebigen der Kantenschärfemaße gemessen wurde, zum Beispiel als vorbestimmtes Vielfaches einer Quadratwurzel einer Varianz der Distanzen der Gradienten von einem Schwerpunkt der Gradienten. Bei der Distanz D₃ wird ein normierter interpolierter Gradientenwert L₃ berechnet. Dieser interpolierte Gradientenwert unterscheidet sich für verschiedene Gradientenfolgen, die auf der Gradientenhöhe L₀ dieselbe Breite Wo aufweisen, deren Gradientenwerte aber mit zunehmender Distanz zum Spitzengradienten 3212 schneller abfallen als bei der vorliegenden, in 24A gezeigten Gradientenfolge. Somit kann das Paar (D₃, W₀) gegen ein Kriterium geprüft werden, um aus der Gradientenfolge einer Kante das relative Ausmaß ihres Beitrags zu ermitteln.
24C veranschaulicht eine Auftragung einer Folge von Gradienten eines Bildsignals quer zu einer Kante gegen die in Vielfachen des Abstands zwischen aufeinanderfolgenden Gradienten gemessene Distanz sowie eine Steigung S_L der aufgetragenen normierten Gradientenfolge (d. h. eine normierte zweite Ableitung des Bildsignals), die bei einer normierten Gradientenhöhe 3274 bestimmt wird, die in Bezug auf einen interpolierten Spitzengradienten 3270 definiert ist. Vergleicht man diese Gradientenfolge bzw. ihre Form mit der in 24A gezeigten Gradientenfolge bzw. ihrer Form, so ist klar, dass bei derselben Breite auf der normierten Gradientenhöhe L₀ die auf dieser Höhe oder einer anderen normierten Gradientenhöhe gemessene Steigung unterschiedlich ist. Es können sich nicht beide Folgen gleichermaßen für die Erzeugung des Fokussignals eignen. Daher kommt auch die Steigung als Methode zum Gewinnen eines Formmaßes in Frage.
Als weiteres Verfahren zum Gewinnen eines Formmaßes kann eine Summe von Potenzen mehrerer normierter Gradientenwerte aus einer Gradientenfolge quer zur Kante benutzt werden. Wenn diese Summe zusätzlich mit derselben Potenz eines Spitzengradientenwerts oder eines interpolierten Spitzengradientenwerts normiert wird, kann sie als Kantenschärfemaß verwendet werden und weist eine Einheit auf, die ein Kehrwert einer Längeneinheit ist.
Das erste Formmaß und das zweite Formmaß, die zum Bestimmen des relativen Ausmaßes des Beitrags der Kante benutzt werden, können jeweils so gewählt werden, dass sie beide nicht von Skalierungen der Bilddaten-Stichproben aus der zuvor erwähnten vorbestimmten Umgebung der Kante beeinflusst werden. Zum Beispiel werden beide Breiten W₁ und W₂ aus der vorstehenden Erörterung unter Bezugnahme auf 23B nicht durch Skalierungen der Bilddaten beeinflusst, die in die Berechnung der Gradienten in der gezeigten Gradientenfolge eingehen. Alternativ dazu können beide Maße auch so gewählt werden, dass sie beide gleich stark beeinflusst werden. Zum Beispiel kann das erste Maß der interpolierte Gradientenwert L₃ in einer vorbestimmter Distanz D₃ zu einer interpolierten Spitze oder einem Spitzengradienten in der Gradientenfolge sein, wie in 24A gezeigt und vorstehend erörtert, und das zweite Maß kann eine Fläche eines Bereichs unter der gegen die Distanz aufgetragene Gradientenfolge sein, wie in 24B und vorstehend erörtert, jedoch kann die Normierung unterbleiben.
Es sei angemerkt, dass in dieser Offenbarung eine Größe, die eine Kante beschreibt, wie etwa eine Gradientenhöhe, als „normiert” bezeichnet wird, wenn sie sofern nichts Anderweitiges angegeben ist – entweder durch einen Spitzengradientenwert der Kante oder einen Gradientenwert einer interpolierten Spitze dividiert wird. So weist zum Beispiel in 23B der Spitzengradient 3212 einen normierten Wert von exakt 1 auf, wohingegen in 24C die interpolierte Spitze 3270 sich von dem Spitzengradienten 3212 unterscheidet, und die in 24C gezeigten Gradienten sind bezüglich der interpolierten Spitze 3270 und nicht des Spitzengradienten 3212 normiert.
Längenfilter
Im Folgenden wird eine Funktion des Längenfilters 212 beschrieben. Allgemein gesagt bewirkt der Längenfilter 212 eine Priorisierung von Kanten, die mit einer oder mehreren Kanten ähnlicher Orientierung verbunden sind. Eine Gruppe von Kanten, die ähnlich orientiert und innerhalb der Gruppe miteinander verbunden sind („Kantenkette”), ist mit geringerer Wahrscheinlichkeit auf Rauschen zurückzuführen als eine einzelne Kante, die keine andere Kante ähnlicher Orientierung berührt. Je mehr Kanten einer ähnlichen Orientierung auf diese Weise miteinander verbunden sind, desto geringer ist die Wahrscheinlichkeit, dass sie auf Rauschen zurückzuführen sind. Die Wahrscheinlichkeit, dass die Gruppe auf Rauschen zurückzuführen ist, fällt mit steigender Kantenanzahl der Gruppe exponentiell ab, also wesentlich schneller als nur linear. Diese Eigenschaft kann ausgenutzt werden, um Rauschen innerhalb des Bilds oder des relevanten Bildbereichs zu unterdrücken, insbesondere bei schlechter Beleuchtung oder kurzer Belichtungszeit, wo das Signal-Rausch-Verhältnis niedrig ist, z. B. kleiner als 10. Diese Priorisierung kann mit Hilfe jeder Methode umgesetzt werden, die zur Formulierung einer solchen Priorisierung geeignet ist. Die im Folgenden beschriebenen verschiedenen Verfahren stellen lediglich Beispiele dar.
Eine erste Methode ist die Beseitigung von Kanten, die zu vertikalen/horizontalen Kantenketten gehören, deren Längen einen Schwellenwert für Kantenketten unterschreiten. Der Schwellenwert für Kantenketten kann größer sein, wenn der relevante Bereich dunkler ist. Beispielsweise kann der Schwellenwert für Kantenketten normalerweise nur 2 betragen, aber auf 8 erhöht werden, wenn das Signal-Rausch-Verhältnis im relevanten Bereich auf 5 fällt. Der Schwellenwert für Kantenketten kann vom Prozessor 112, 112', 112'' bereitgestellt werden, beispielsweise als Komponente der Signale 132 durch ein ,Längenbefehl'-Signal, wie in 3 gezeigt. Alternativ kann der Schwellenwert anhand einer Formel durch den Fokussignalgenerator berechnet werden.
Eine zweite Methode ist die Bereitstellung einer Längengewichtung für jede Kante im Längenfilter 212 und die Verwendung dieser Gewichtung zur Berechnung eines Fokussignals in der Fokussignal-Berechnungseinheit 210. Eine Kante, die Teil einer längeren Kantenkette ist, wird stärker gewichtet als eine Kante, die Teil einer kürzeren Kette ist. Beispielsweise könnte sich die Längengewichtung aus dem Quadrat der Länge der Kantenkette ergeben. Auf diese Weise kann ein Beitrag jeder Kante zum Fokussignal mit einem Faktor A/B multipliziert werden, bevor alle Beiträge summiert werden, um das Fokussignal zu bilden. Dabei ist B die Summe der Längengewichtungen aller Kanten, die in die Berechnung des Fokussignals eingehen, und A eine Längengewichtung der Kante. In analoger Weise können diejenigen Kanten, die längeren Kantenketten angehören, bevorzugt mit einer höheren Gewichtung in die der jeweiligen Kantenbreite entsprechende Klasse des Kantenbreiten-Histogramms eingehen, das im Rahmen der Signale 134 ausgegeben werden kann, anstatt dass alle Kanten den jeweils gleichen Betrag, z. B. 1, beitragen. So kann beispielsweise jede Kante A/C beitragen, wobei C der mittlere Wert von A aller Kanten ist. In ähnlicher Weise können Kanten, die längeren Kantenketten angehören, mit höherer Gewichtung in die Zählung der schmalen Kanten eingehen. So können die einzelnen Kanten beispielsweise mit dem Faktor A/D gewichtet werden, wobei D der mittlere Wert von A aller Kanten ist, die in die Zählung der schmalen Kanten eingehen.
Eine Gruppe von N vertikalen (horizontalen) Kanten, von denen jede mit Ausnahme derjenigen ganz oben (ganz links) und ganz unten (ganz rechts) zwei andere vertikale (horizontale) Kanten berührt – nämlich eine darüber (links davon) und eine darunter (rechts davon) –, ist eine vertikale (horizontale) Kantenkette der Länge N. Die Kante ganz oben (ganz links) muss lediglich eine Kante berühren, die sich darunter (rechts davon) befindet. Die Kante ganz unten (ganz rechts) muss lediglich eine Kante berühren, die sich darüber (links davon) befindet.
8 zeigt eine vertikale Kantenkette sowie ihre Länge. In 8 bilden die Zellen R2C3 und R2C4 eine erste vertikale Kante, die Zellen R3C3, R3C4 und R3C5 gemeinsam eine zweite vertikale Kante und die Zellen R4C4 und R4C5 gemeinsam eine dritte vertikale Kante. Die erste und die dritte vertikale Kante berühren jeweils nur eine weitere vertikale Kante, die zweite Kante dagegen zwei weitere. Die erste, zweite und dritte vertikale Kante bilden gemeinsam eine vertikale Kantenkette der Länge 3.
Für den Fall (nicht gezeigt), dass eine vertikale (horizontale) Kantenkette zwei oder mehrere Verzweigungen aufweist, d. h. über zwei Kanten in einer Zeile (Spalte) verfügt, kann die Länge als die Gesamtzahl der Kanten innerhalb der Kantenkette definiert werden. Alternativ kann die Länge als der vertikale (horizontale) Abstand der Kante ganz oben (ganz links) zur Kante ganz unten (ganz rechts) der Kantenkette plus 1 definiert werden.
Neben den oben beschriebenen Vorschlägen gibt es auch noch weitere Möglichkeiten zur Definition der Kantenkettenlänge. Beispielsweise kann eine Definition der Länge einer Kantenkette die Eigenschaft aufweisen, dass die Länge bis zu einer Anzahl von mindestens 3 proportional zur Anzahl der in der Kantenkette enthaltenen Kanten ist. Dies hat der oben beschriebenen Überlegung zu entsprechen, dass die Wahrscheinlichkeit, dass eine Kantenkette auf Rauschen zurückzuführen ist, mit steigender Anzahl miteinander durch Berührung verbundener Kanten exponentiell abfällt. Folglich sollte die Länge bis zu einer geeigneten Anzahl, welche diese Wahrscheinlichkeit gegenüber der Wahrscheinlichkeit bei einer einzelnen Kante ausreichend reduziert, eine Proportionalität zur Anzahl der in der Kantenkette enthaltenen Kanten aufweisen. Der Längenfilter 212 kann Kanten mit einer Kantenkettenlänge von eins niedriger gewichten oder eliminieren, d. h., allgemein gesagt, zurückstufen. Der Längenfilter 212 kann Kanten mit einer Kantenkettenlänge von zwei zurückstufen. Der Längenfilter 212 kann Kanten mit einer Kantenkettenlänge von drei zurückstufen, um den Einfluss von Rauschen weiter zu reduzieren. Der Längenfilter 212 kann eine beliebige dieser Maßnahmen nach einem Befehl des Prozessors ausführen.
Der Längenfilter folgt in 3 zwar unmittelbar auf die Kantenerkennungs- & Breitenmesseinheit 206, es sind jedoch auch andere Anordnungen möglich. Beispielsweise kann der Längenfilter 212 vor dem Fokussignalgenerator 210 eingefügt werden, wobei die vom Längenfilter 212 verarbeiteten Kanten diejenigen sind, die in Abhängigkeit von dem Signal ,fein' den Breitenfilter 209 durchlaufen.
In einer alternativen Ausführungsform eines Fokussignalgenerators kann kein Feinsignalschalter 220 vorgesehen sein, so dass die Fokussignal-Berechnungseinheit 210 einen ersten Datensatz, der nicht vom Breitenfilter 209 gefiltert wird, sowie einen zweiten gefilterten Satz empfängt, für jeden ein anderes Fokussignal berechnet, nämlich ein Grobfokussignal für Ersteren und ein Feinfokussignal für Letzteren, und beide an den Prozessor 112, 112' ausgibt.
Breitenfilter
3 veranschaulicht die Arbeitsweise des Breitenfilters 209. 11 ist ein Histogramm von Kantenbreiten, d. h. ein Diagramm, dass die Häufigkeit von Kanten mit bestimmten Breiten zeigt. Bei einer Kantenbreite von 2, d. h. bei dem erwähnten Wert von Breite_scharfer_Kanten, liegt eine Spitze vor, die auf das Vorliegen scharfer Kanten im Bild hinweist. Bei den Kantenbreiten 4 und 5 liegen jedoch Spitzen vor, die auf unscharfe Kanten hinweisen. Der Grund dafür kann sein, dass die entsprechenden abgebildeten Objekte nicht fokussiert sind, weil sie sich in einem anderen Abstand zur Fokuslinse befinden als diejenigen Objekte, auf die die scharfen Kanten zurückzuführen sind. Bei der Berechnung eines Fokussignals können diejenigen Kanten, deren Breiten außerhalb eines vorgegebenen Bereichs liegen („Bereich schmaler Kanten”), mittels des Breitenfilters 209 nur in geringerem Maße berücksichtigt werden. Der Breitenfilter 209 kann für die Berechnung des Fokussignals eine geringere Gewichtung für Kantenbreiten festlegen, die nicht in den Bereich schmaler Kanten fallen. Beispielsweise können Kantenbreiten im Bereich schmaler Kanten eine Gewichtung von 1,0 erhalten, wohingegen denjenigen Kantenbreiten, die die obere Schranke 840 um mehr als 1 überschreiten, die Gewichtung 0 zugeordnet wird und Kantenbreiten im Bereich dazwischen eine Gewichtung, die mit steigender Breite monoton von 1,0 auf 0 abfällt. Alternativ kann der Breitenfilter 209 solche Kanten vollständig von der Berechnung des Fokussignals ausschließen. Welche Werte als obere und untere Schranken 830, 840 geeignet sind, hängt von verschiedenen Faktoren ab, z. B. optischem Übersprechen in der Pixelanordnung 108, der Interpolationsmethode, die zur Berechnung der fehlenden Farben des an den Fokussignalgenerator 120 übermittelten Bildsignals verwendet wird, sowie den Filterkoeffizienten, die für den von der Kantenerkennungs- und Breitenmesseinheit 206 eingesetzten Tiefpassfilter verwendet werden. Für die Bildaufnahmevorrichtung 102, 102' können geeignete obere und untere Schranken 830, 840 sowie der Parameter Breite_scharfer_Kanten festgelegt werden, indem Bilder verschiedener Schärfegrade aufgenommen und die Kantenbreiten-Histogramme untersucht werden. Wenn beispielsweise ein scharfes Bild eine Spitze bei der Kantenbreite 2 aufweist, könnten eine geeignete untere und obere Schranke bei 1,5 bzw. 3 liegen und der Parameter Breite_scharfer_Kanten auf 2,0 festgelegt werden. Die untere und obere Schranke sowie der Parameter Breite_scharfer_Kanten können wie oben beschrieben bestimmt und vom Prozessor 112, 112'' an den Fokussignalgenerator 120, 120', 120'' übermittelt werden. Wenn das Steuersignal ,fein' aktiviert ist, werden für das entsprechend berechnete Feinfokussignal Kantenbreiten außerhalb des Bereichs schmaler Kanten in geringerem Maße berücksichtigt.
Darüber hinaus kann der Breitenfilter 209 die Gesamtzahl der Kanten berechnen, deren Kantenbreite innerhalb des Bereichs schmaler Kanten liegt, und als Komponente der Ausgabesignale 134 ausgeben. Die Anzahl der schmalen Kanten kann an die Fokussystemsteuerung (Prozessor 112) übermittelt und von dieser verwendet werden, um das Vorliegen eines scharfen Bilds zu erkennen und/oder die Verfolgung zu aktivieren.
Fokussignal
Die Fokussignal-Berechnungseinheit 210, die in 3 dargestellt ist, empfängt Kantenbreitenwerte und gibt ein Fokussignal aus. Das Fokussignal kann als gewichtetes Mittel aller Kantenbreiten berechnet werden, wobei als Gewichtung jeweils die Anzahl der Kanten mit der entsprechenden Breite gewählt wird, d. h. Fokussignal = Σw_ie_i/Σw_i, wobei e_i die Kantenbreiten sind und w_i die Gewichtungen. Dabei gilt hier w_i = c_i, wobei c_i die Anzahl der Kanten mit der Kantenbreite e_i ist und i die Nummer einer Klasse eines Kantenbreiten-Histogramms. Alternativ kann die Gewichtung einer Kantenbreite das Produkt der Anzahl der Kanten der entsprechenden Breite und der Kantenbreite selbst sein, d. h. w_i = c_ie_i. Darüber hinaus können Prioritäten des Breitenfilters 209, die durch Gewichtungen ausgedrückt werden, mit den einzelnen Kantenbreiten multipliziert werden. Beispielsweise kann das Fokussignal anhand der vom Breitenfilter 209 erzeugten Gewichtungen Ω_i mit ΣΩ_i = 1 über die Formel ΣΩ_iw_ie_i/ΣΩ_iw_i berechnet werden. Wenn das Steuersignal ,fein' aktiviert und ,ausschließen' deaktiviert ist, erhält das Fokussignal im Beispiel von 11 einen Wert, der sehr nahe an der Breite scharfer Kanten, d. h. 2,0, liegt. Dies weist darauf hin, dass die meisten der Objektdetails in demjenigen Fokusabstandsbereich, der Kantenbreiten zwischen 2,0 und 3,0 entspricht, tatsächlich scharf fokussiert sind. Wenn sowohl das Steuersignal ,fein' als auch ,ausschließen' deaktiviert ist, könnte das Fokussignal einen Wert nahe 5,0 annehmen, was darauf hinweist, dass wesentliche Details des Bilds nicht fokussiert sind. Durch Aktivierung des Feinsignalschalters 220 wird das Fokussignal empfindlicher für Objekte, die etwas unscharf sind, aber weniger empfindlich für Objekte, die vollständig unscharf sind. Wenn der Feinsignalschalter 220 aktiviert ist, wird das Fokussignal hierin als „Feinfokussignal” bezeichnet. Ist der Feinsignalschalter 220 dagegen deaktiviert, heißt es „Grobfokussignal”. Wie zuvor erwähnt, kann die durch den Längenfilter 212 ausgedrückte Priorisierung auf verschiedene Weise im Fokussignal berücksichtigt werden, z. B. dadurch, dass Kanten, die keine Priorität erhalten, nicht in die Berechnung des Fokussignals einbezogen werden oder mit geringerer Gewichtung zur Häufigkeit e_i der entsprechenden Kantenbreitenklasse beitragen.
15 skizziert eine Reaktion des Feinfokussignals auf eine Anpassung der Fokusposition in der Nähe der Position, wo ein Objekt fokussiert ist. Das Feinfokussignal erreicht ein Minimum, wo die Fokusposition zu einem scharf fokussierten Bild führt – ungefähr bei Breite_scharfer_Kanten –, und nimmt ansonsten höhere Werte an. Das Feinfokussignal kann zum Verfolgen von Objekten verwendet werden, die bereits fokussiert oder beinahe fokussiert sind. Bei sich bewegenden Objekten kann das Fokussteuerungssystem mit Hilfe des Feinfokussignals die Fokussierung der Objekte auch dann aufrechterhalten, wenn sich die Entfernung von der Fokuslinse fortlaufend ändert. Das Feinfokussignal kann auch eingesetzt werden, um eine scharfe Fokussierung eines Objekts herzustellen („Scharffokussierung”), das zwar noch nicht scharf fokussiert ist, aber nahezu, so dass die zugehörigen Kanten eine Breite aufweisen, die in den Bereich schmaler Kanten fällt. Da das Kantenbreiten-Histogramm eine Spitze der auf das Objekt zurückzuführenden Kantenbreiten bei einem von Breite_scharfer_Kanten abweichenden Wert aufweist, kann das Fokussteuerungssystem reagieren, indem es die Fokusposition so anpasst, dass sich der Wert des Feinfokussignals dem Parameter Breite_scharfer_Kanten annähert und die Spitze der Kantenbreiten, die auf das Objekt zurückzuführen sind, bei einem Kantenbreitenwert von Breite_scharfer_Kanten zentriert wird.
Allgemeine Verwendung
Die 12–16 stellen dar, wie die Anzahl der schmalen Kanten, das Grobfokussignal und das Feinfokussignal zur Fokussteuerung verwendet werden können, um scharfe Bilder erzielen.
12 zeigt eine Szene im Freien, die 3 Gruppen von Objekten mit jeweils unterschiedlicher Entfernung von der Fokuslinse enthält: „Person” im Vordergrund, „Berg, Sonne und Horizont” im Hintergrund und „Fahrzeug” dazwischen.
In 13 ist die Anzahl der schmalen Kanten über der Zeit aufgetragen, während der die Fokusposition der Fokuslinse 104 in der in 12 gezeigten Szene aus großer Entfernung herangeholt wird. Die Anzahl der schmalen Kanten weist immer dann eine Spitze auf, wenn eine Fokusposition erreicht wird, bei der ein scharfes Bild eines Objekts auf die Pixelanordnung 108 projiziert wird. Das Diagramm der Anzahl der schmalen Kanten weist über den gesamten Fokuspositionsbereich 3 Spitzen auf, nämlich – in dieser Reihenfolge – eines für „Berg, Sonne und Horizont”, eines für „Fahrzeug” und eines für „Person”.
14 stellt das Grobfokussignal in Abhängigkeit von der Zeit dar. Das Grobfokussignal weist immer dann ein Minimum auf, wenn sich die Fokusposition in der Nähe der 3 Positionen befindet, wo die Anzahl der schmalen Kanten eine Spitze erreicht. Bei keinem der Minima entspricht das Grobfokussignal jedoch der Breite scharfer Kanten, in diesem Beispiel 2,0, da von den anderen, nicht fokussierten Objekten größere Kantenbreiten beigetragen werden.
15 zeigt das Feinfokussignal in Abhängigkeit von der Fokusposition in der Nähe derjenigen Position, an der das „Fahrzeug” der Szene von 12 scharf fokussiert ist. Das Feinfokussignal erreicht trotz Gegenwart unscharfer Objekte („Person” und „Berge, Sonne und Horizont”) im Wesentlichen den Wert der Breite scharfer Kanten, also in diesem Beispiel 2. Wieder bezogen auf 11, wo zwei Spitzen bei einer Breite von 4 und 5 von diesen beiden Gruppen unscharfer Objekte beigetragen werden, kann dies dadurch erklärt werden, dass der Breitenfilter 324 die Gewichtung der Beiträge der Kantenbreiten oberhalb der oberen Schranke 840 reduziert oder diese vollständig eliminiert hat.
Ein Fokussteuerungssystem kann das Grobfokussignal in einem Suchmodus dazu einsetzen, nach der nächsten scharf fokussierten Position zu suchen. Es kann die Fokusposition gegenüber der aktuellen Fokusposition verschieben, um zu überprüfen, ob das Grobfokussignal dabei höhere oder niedrigere Werte annimmt. Wenn das Grobfokussignal beispielsweise beim Verschieben der Fokusposition in die Nähe (Ferne) ansteigt (abfällt), gibt es eine scharf fokussierte Position, die weiter entfernt ist als die aktuelle Fokusposition. Der Prozessor 112, 112', 112'' kann dann ein Fokusantriebssignal bereitstellen, um die Fokuslinse 104 in Richtung der nächsten fokussierten Position zu verschieben.
Ein Fokussteuerungssystem kann das Feinfokussignal zur Verfolgung eines Objekts verwenden, das bereits scharf fokussiert ist, um die Schärfe des entsprechenden Bilds aufrechtzuerhalten („Verfolgungsmodus”), auch wenn sich die Szene ändert oder sich das Objekt oder die Bildaufnahmevorrichtung bewegt. Wenn ein Objekt scharf fokussiert ist, bleibt der Feinfokussignalpegel trotz solcher Änderungen konstant. Eine Änderung des Feinfokussignals weist daher auf eine Änderung der Entfernung des Objekts von der Fokuslinse der Bildaufnahmevorrichtung hin. Indem das Fokussteuerungssystem bei einem bestimmten Feinfokussignalpegel in der Nähe des Minimums „festgestellt” wird, beispielsweise zwischen 2,0 und 2,5, insbesondere bei 2,1, wird der Prozessor 112, 112', 112'' durch Änderungen des Feinfokussignalpegels sofort über Änderungen der Entfernung des Objekts von der Fokuslinse informiert. Der Prozessor 112, 112', 112'' kann dann eine Richtung ermitteln und eine Verschiebung der Fokuslinse 104 veranlassen, um den Pegel des Feinfokussignals wieder an den „festgestellten” Pegel anzugleichen. Die Bildaufnahmevorrichtung 102, 103, 103', 103'' ist somit in der Lage, ein sich bewegendes Objekt zu verfolgen.
Ein Fokussteuerungssystem, das z. B. in Form eines Algorithmus des Prozessors 112, 112', 112'' implementiert wird, kann auf Grundlage der Anzahl schmaler Kanten einen Wechsel von einem Suchmodus in einen Verfolgungsmodus einleiten. Im Verfolgungsmodus verwendet das Fokussteuerungssystem das Feinfokussignal, um die Fokussierung des Objekts aufrechtzuhalten. Solange die Fokusposition nicht ausreichend nahe an der Position ist, bei der das Objekt scharf fokussiert ist, kann das Fokussteuerungssystem das Grobfokussignal verwenden, um die Verschiebungsrichtung zu bestimmen und die Geschwindigkeit der Linsenverschiebung zu regeln. Wenn ein Objekt scharf fokussiert wird, steigt die Anzahl der schmalen Kanten stark an. Der Prozessor 112, 112', 112'' kann bei Erkennung eines starken Anstiegs der Anzahl schmaler Kanten und/oder einer Spitzenbildung in den Verfolgungsmodus wechseln und das Feinfokussignal zur Regelung der Fokusposition verwenden. Jeder Objektgruppe, die bei einer „Abtastung” des gesamten Fokuspositionsbereichs gefunden wird, kann ein Schwellenwert zugewiesen werden, der für jede der verschiedenen Positionen, bei denen eine Gruppe scharf fokussiert ist, unterschiedlich sein kann. Wenn daraufhin die Anzahl der schmalen Kanten diesen Schwellenwert übersteigt, wird die entsprechende Objektgruppe erkannt. Bei einer unbewegten Szene, z. B. der Aufnahme eines Standbilds, kann als Ergebnis der Abtastung des gesamten Fokuspositionsbereichs eine Liste von Maximalzählwerten zurückgegeben werden, d. h. ein Maximalzählwert für jede Spitze der Anzahl schmaler Kanten. Aus der Liste der Maximalzählwerte kann eine Liste von Schwellenwerten abgeleitet werden, beispielsweise, indem 50% des Werts der Maximalzählwerte zugrundegelegt werden.
16 stellt eine Bildaufnahmevorrichtung 102 dar, die ein Display 114, eine Eingabevorrichtung 107 mit Tasten und eine Auswahlmarkierung 1920 umfasst, die auf dem Display 114 angezeigt wird. Ein Benutzer kann die Auswahlmarkierung 1920 mit Hilfe der Eingabevorrichtung 107 aufrufen, bewegen und ihre Form anpassen. Obwohl die Eingabevorrichtung 107 in diesem Beispiel Tasten aufweist, kann sie auch einen berührungsempfindlichen Bildschirm umfassen, der vor dem Display 114 angebracht ist, damit die Positionen von Berührungen und Bewegungen auf dem Display 114 erkannt werden können. Der Auswahlbereich kann durch die Eingabevorrichtung 107 und den Prozessor 112, 112', 112'' oder eine separate, zu diesem Zweck bestimmte Steuerung (nicht gezeigt) für die Eingabevorrichtung 107 festgelegt werden. Die Parameter zur Beschreibung des Auswahlbereichs können über den Bus 132 an den Fokussignalgenerator 120, 120', 120'' übermittelt werden (oder intern im Prozessor 112, falls der Fokussignalgenerator 120 Teil des Prozessors 112 ist). Als Reaktion darauf kann der Fokussignalgenerator 120 die Berechnung des Fokussignals und/oder die Zählung der schmalen Kanten auf den durch die erwähnten Parameter beschriebenen Auswahlbereich einschränken oder Kanten außerhalb des Auswahlbereichs niedriger gewichten. Auf diese Weise kann der Einfluss unerwünschter Objekte auf das Fokussignal reduziert werden, so dass auch das Grobfokussignal nur ein Minimum mit einem Wert aufweist, der um 1,0 oder weniger von der Breite scharfer Kanten abweicht.
Alternative Ausführungsformen
17 zeigt eine alternative Ausführungsform eines Fokussignalgenerators 120'. Der Fokussignalgenerator 120' gibt Statistiken zu Kanten und Kantenbreiten aus. Die vom Fokussignalgenerator 120' ausgegebenen Kantenbreiten-Statistiken können eine oder mehrere der Folgenden umfassen: ein Kantenbreiten-Histogramm, das die Anzahl der Kanten mit verschiedenen Kantenbreiten enthält; eine Kantenbreite, bei der die Anzahl der entsprechenden Kanten maximal ist; einen Satz von Koeffizienten, die eine Splinefunktion definieren, die die Anzahl der Kanten für verschiedene Kantenbreiten approximiert; und andere Daten, die eine Funktion der Kantenbreite darstellen können. Die Zähleinheit 240 kann mit einer oder mehreren der anderen Einheiten des Fokussignalgenerators 120' berechnete Daten empfangen, um Statistiken der Kantenbreiten zu erstellen. Im Allgemeinen kann der Fokussignalgenerator 120' ein Signal ausgeben, das einen Hinweis auf eine Verteilung von Kantenbreiten gibt.
Bezogen auf 18 können die so über die Signale 134 einer alternativen Ausführungsform des Prozessors 112' in einer alternativen Autofokus-Bildaufnahmevorrichtung 102' bereitgestellten Kantenbreiten-Statistiken vom Prozessor 112' verwendet werden, um ein Grob- und/oder Feinfokussignal sowie die Anzahl schmaler Kanten gemäß den oben beschriebenen oder äquivalenten Methoden zu berechnen. Darüber hinaus können im Fokussignalgenerator 120' berechnete Daten als Komponente der Ausgabesignale 134 an den Prozessor 112' ausgegeben werden.
Der Prozessor 112' kann neben den im Prozessor 112 von 1 umfassten Funktionen intern ein Fokussignal und/oder einen Wert für die Anzahl der schmalen Kanten erzeugen.
Die Pixelanordnung 108, der A/D-Konverter 110, die Farbinterpolationseinheit 148 und der Generator 120' können sich innerhalb eines Pakets 142 befinden und zusammen einen vom Prozessor 112' getrennten Bildsensor 150' bilden.
Hilfspixelanordnung
19 zeigt eine alternative Ausführungsform einer Autofokus-Bildaufnahmevorrichtung 103. Neben den in einem System 102 enthaltenen Elementen kann das System 103 einen teilreflektierenden Spiegel 2850, einen totalreflektierenden Spiegel 2852, einen optischen Tiefpassfilter 2840, eine Hauptpixelanordnung 2808 und einen Haupt-A/D-Konverter 2810 umfassen. Der teilreflektierende Spiegel 2850 kann den einfallenden Lichtstrahl in einen ersten Lichtstrahl und einen zweiten Lichtstrahl aufteilen, indem ein Strahl durchgelassen und ein Strahl reflektiert wird. Der erste Teilstrahl kann weiterhin den optischen Tiefpassfilter 2840 durchlaufen, bevor er schließlich die Hauptpixelanordnung 2808 erreicht, die den ersten Teilstrahl erfasst und in analoge Signale umwandelt. Der zweite Teilstrahl kann vom totalreflektierenden Spiegel 2852 reflektiert werden, bevor er schließlich die Hilfspixelanordnung 108'' erreicht, die der Pixelanordnung 108 des in 1 gezeigten Systems 102 entspricht. Die Lichtintensität des ersten Strahls kann in einem Verhältnis von 1:1 oder größer als 1:1 zu der des zweiten Strahls stehen. Das Verhältnis kann z. B. 4:1 betragen.
Vor der Pixelanordnung 2808 kann sich eine Farbfilteranordnung einer Farbmatrix befinden, z. B. der Bayer-Matrix. Der optische Tiefpassfilter 2808 verhindert, dass die kleinsten auf der Pixelanordnung 2808 fokussierten Lichtpunkte zu klein sind und Aliasing verursachen. Wenn sich vor der Pixelanordnung 2808 eine Farbfilteranordnung einer Farbmatrix befindet, kann Aliasing nach einer Farbinterpolation einen Farb-Moiré-Effekt verursachen. Beispielsweise kann durch den optischen Tiefpassfilter sichergestellt werden, dass der kleinste Durchmesser eines Kreises, der 84 der Leistung des sichtbaren Lichts eines Lichtpunkts auf der Hauptpixelanordnung 2808 umfasst („kleinster Hauptdurchmesser”), größer als eineinhalb Pixelbreiten und kleiner als zwei Pixelbreiten ist. Wenn beispielsweise die Hauptpixelanordnung 2808 eine Pixelbreite von 4,5 μm aufweist, während der kleinste Durchmesser ohne optische Tiefpassfilterung 2,0 μm beträgt, kann über den optischen Tiefpassfilter 2840 erreicht werden, dass Lichtpunkte mindestens einen Durchmesser von 6,7 μm haben.
Die Hilfspixelanordnung 108'' kann eine oder mehrere Photodetektoranordnungen umfassen. Vor jeder dieser Anordnungen kann sich optional eine Farbfilteranordnung einer Farbmatrix befinden. Die Anordnung/en der Hilfspixelanordnung 108 gibt/geben ein Bild/Bilder in Form analoger Signale aus, die vom A/D-Konverter 110 in digitale Signale 130 umgewandelt werden. Die Bilder werden an den Fokussignalgenerator 120 übermittelt. Eine Farbinterpolationseinheit 148 kann die fehlenden Farben der Bilder berechnen, die von Pixeln mit Farbfilter geliefert werden. Wenn die Hilfspixelanordnung 108'' mehrere Anordnungen von Photodetektoren umfasst, kann jede Anordnung ein Teilbild erfassen, das einem Teil des von der Hauptpixelanordnung 2808 erfassten Bilds entspricht. Die verschiedenen Anordnungen können räumlich durch einen Abstand von mehr als 100 Pixelbreiten getrennt sein und optional ein gemeinsames Halbleitersubstrat verwenden. Wenn die Pixelanordnungen innerhalb der Hilfspixelanordnung 108'' kein gemeinsames Halbleitersubstrat besitzen, können sie zusammen in einem Paket untergebracht sein (nicht gezeigt).
Der Haupt-A/D-Konverter 2810 wandelt analoge Signale der Hauptpixelanordnung 2808 in ein digitales Hauptbild-Datensignal 2830 um, das an den Prozessor 112 übermittelt wird, wo das von der Hauptpixelanordnung 2808 erfasste Bild weiterverarbeitet (z. B. Farbinterpolation, Farbkorrektur und Bildkomprimierung/-dekomprimierung) und schließlich auf der Speicherkarte 116 gespeichert werden kann.
Eine Anordnung von Photodetektoren in der Hilfspixelanordnung 108'' kann eine geringere Pixelbreite („Hilfspixelbreite”) aufweisen als die Hauptpixelanordnung 2808 („Hauptpixelbreite”). Die Hilfspixelbreite kann um bis zu 50% kleiner sein als die Hauptpixelbreite. Wenn sich vor einem Hilfspixel ein Farbfilter befindet und die Hilfspixelbreite ohne optische Tiefpassfilterung kleiner als das 1,3-fache des kleinsten Punkts sichtbaren Lichts ist, kann ein zweiter optischer Tiefpassfilter vor der Hilfsanordnung 108'' eingefügt werden, um den kleinsten Durchmesser auf der Hilfspixelanordnung 108'' („kleinster Hilfsdurchmesser”) auf einen Wert zu erhöhen, der zwischen dem 1,3-fachen und 2-fachen liegt, aber immer noch kleiner als der kleinste Hauptdurchmesser ist, und bevorzugt auf das 1,5-fache. Der geringfügige Moiré-Effekt im Hilfsbild stellt kein Problem dar, da das Hilfsbild nicht die endgültige Aufnahme für den Benutzer ist.
22 zeigt, wie die Kantenbreiten im Bereich um eine scharfe Fokusposition bei Hauptbildern von der Hauptpixelanordnung 2808 (durchgezogene Linie) und bei Hilfsbildern von der Hilfspixelanordnung 108'' (gestrichelte Linie) variieren können. Die Hilfsbilder ergeben auch dann noch höhere Steigungswerte, wenn die Hauptbilder den Zielwert der Breite scharfer Kanten von 2 erreichen. Für das Hilfsbild kann ein Wert unterhalb des Zielwerts der Breite scharfer Kanten zugelassen werden, da Moiré-Effekte aufgrund von Aliasing beim Hilfsbild, das nicht die endgültige Aufnahme für den Benutzer darstellt, geringere Bedeutung haben. Dies ermöglicht es, eine höhere Steigung unterhalb und oberhalb der Breite scharfer Kante zu erzielen. Eine höhere Steigung wird auch dadurch begünstigt, dass die Hilfspixelbreite geringer als die Hauptpixelbreite ist.
Der schattierte Bereich in 22 stellt einen guten Bereich zur Regelung der Fokusposition dar, um die scharfe Fokussierung des Hauptbilds aufrechtzuerhalten. Eine Verschiebung der Fokusposition in die Ferne würde eine Erhöhung der Kantenbreite im Hilfsbild bewirken, eine Verschiebung in die Nähe dagegen eine Verringerung. Es kann ein lineares Rückkopplungs-Steuersystem eingesetzt werden, das den mittleren Wert der Hilfskantenbreite im schattierten Bereich als Zielwert und die sich aus den Hilfsbildern ergebenden Kantenbreiten als Rückkopplungssignal verwendet, um die Kantenbreiten des Hauptbilds in der Nähe der Breite scharfer Kanten zu halten.
Die Hilfspixelanordnung 108'', der A/D-Konverter 110 und der Fokussignalgenerator 120 können gemeinsam in einem Paket 142 angeordnet sein und einen Hilfssensor 150 darstellen. Der Hilfssensor 150 kann weiterhin eine Farbinterpolationseinheit 148 umfassen.
20 zeigt eine alternative Ausführungsform einer Autofokus-Bildaufnahmevorrichtung 103' ähnlich der Vorrichtung 103, aber mit dem Unterschied, dass der Fokussignalgenerator 120' den Fokussignalgenerator 120 ersetzt. Die Hilfspixelanordnung 108'', der A/D-Konverter 110 und der Fokussignalgenerator 120 können gemeinsam in einem Paket 142 angeordnet sein und einen Hilfssensor 150' darstellen. Der Hilfssensor 150 kann weiterhin eine Farbinterpolationseinheit 148 umfassen.
21 zeigt eine alternative Ausführungsform einer Autofokus-Bildaufnahmevorrichtung 103''. Der Fokussignalgenerator 120 und der Prozessor 112'' können getrennt von der Hilfspixelanordnung 108'' in einem Paket 144 als Kamerasteuerung angeordnet sein. Der Prozessor 112'' ist dem Prozessor 112 ähnlich, aber mit dem Unterschied, dass der Prozessor 112'' Bilder sowohl von der Hauptpixelanordnung 2808 als auch von der Hilfspixelanordnung 108'' empfängt. Der Prozessor 112'' kann für die über das Signal 2830 erhaltenen Bilder eine Farbinterpolation, Farbkorrektur, Komprimierung/Dekomprimierung und Speicherung auf der Speicherkarte 116 durchführen, ähnlich den Verarbeitungsvorgängen, die der Prozessor 112 für das Signal 130 in 2 durchführen kann. Anders als in 2 müssen die über das Signal 130 empfangenen Bilder hier nicht Komprimierung/Dekomprimierung und Speicherung auf der Speicherkarte 116 erfahren. Der Prozessor 112'' kann bei über das Signal 130 empfangenen Bildern eine Farbinterpolation für Pixel der Hilfspixelanordnung 108'' durchführen, vor denen sich ein Farbfilter befindet, und die interpolierten Bilder über das Signal 146 an den Fokussignalgenerator 120 übermitteln.
Die Autofokus-Bildaufnahmevorrichtung 102, 102', 103, 103', 103'' kann ein Speichermedium für Computerprogramme umfassen (nicht gezeigt), das Anweisungen enthält, die den Prozessor 112, 112' bzw. 112'' und/oder den Fokussignalgenerator 120, 120' dazu veranlassen, eine oder mehrere der hierin beschriebenen Funktionen auszuführen. Beispielsweise können die Anweisungen den Prozessor 112 oder den Generator 120' zur Durchführung einer Neigungskorrektur für eine Kantenbreite gemäß dem Ablaufdiagramm von 7 veranlassen. Als weiteres Beispiel können die Anweisungen den Prozessor 112' oder den Generator 120 zur Filterung der Kantenbreiten gemäß der obigen Beschreibung für den Breitenfilter 209 veranlassen. Alternativ kann der Prozessor 112, 112' oder der Generator 120, 120' mit einer Kombination von Firm- und Hardware oder einer reinen Hardware-Implementierung für eine oder mehrere der hierhin genannten Funktionen konfiguriert sein. Beispielsweise kann im Generator 120 eine Neigungskorrektur vollständig hardwarebasiert und eine Längenfilterung 212 gemäß den Anweisungen in der Firmware durchgeführt werden.
30 zeigt noch eine weitere Ausführungsform eines Fokussignalgenerators 120'. Diese Ausführungsform kann in jedem der obenstehenden Bilderfassungssysteme eingesetzt werden.
Obgleich eine Speicherkarte 116 als Teil des Systems 102 gezeigt wird, kann stattdessen auch jedes andere nichtflüchtige Speichermedium verwendet werden, z. B. eine Festplatte, von dem der Benutzer gespeicherte Bilder abrufen und auf einen anderen Datenträger außerhalb und entfernt vom System 102 kopieren kann.
Ein oder mehrere Parameter zum Betrieb des Systems, beispielsweise der Parameter Breite_scharfer_Kanten, können in einem nichtflüchtigen Speicher einer Vorrichtung innerhalb des Systems gespeichert werden. Bei dieser Vorrichtung kann es sich um eine Flashspeichervorrichtung, den Prozessor, den Bildsensor oder den Fokussignalgenerator als davon getrennte Einrichtung handeln. Ein oder mehrere Formeln zur Verwendung im System, z. B. zur Berechnung des Schwellenwerts für Kantenketten oder zur Berechnung von beta, können gleichermaßen als Parameter oder als computerausführbare Anweisungen in einem nichtflüchtigen Speicher in einer oder mehreren dieser Vorrichtungen gespeichert werden.
Es wird darauf hingewiesen, dass zwar bestimmte beispielhafte Ausführungsformen beschrieben und in den zugehörigen Zeichnungen dargestellt wurden, diese aber lediglich illustrativen Zwecken dienen und die Interpretation der Erfindung nicht einschränken, und dass diese Erfindung nicht auf die speziellen Konstruktionsweisen und Anordnungen beschränkt ist, die beschrieben und dargestellt wurden, da ein Fachmann verschiedene Modifikationen ableiten kann.

Claims

Verfahren zum Erzeugen eines Fokussignals aus mehreren Kanten eines Bilds einer Szene, um einen Bildschärfegrad anzuzeigen, umfassend: Auswerten eines ersten Maßes und eines zweiten Maßes auf einer aus dem Bild detektierten Kante in einer Recheneinrichtung, um einen ersten Wert bzw. einen zweiten Wert zu ermitteln; und Bestimmen anhand des ersten und des zweiten Werts, ob ein relatives Ausmaß, mit dem der Beitrag der Kante zu dem Fokussignal im Vergleich zu anderen Kanten, die zu dem Fokussignal beitragen, gewichtet wird, reduziert wird, wobei das erste und das zweite Maß von jeder beliebigen Kante jeweils eine Größe ist, die von mindestens zwei Bildstichproben-Differenzen abhängt, wobei jede Bildstichproben-Differenz jeweils eine Differenz zwischen zwei Bilddaten-Stichproben ist, wobei die Stichproben aus einer Folge von Bilddaten-Stichproben quer zu der besagten beliebigen Kante stammen.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Auswerten des ersten Maßes nicht von der Detektion einer weiteren Kante abhängt.
Verfahren nach einem der vorangehenden Ansprüche, wobei ein 20%iger Rückgang einer Beleuchtung der Szene keinen Unterschied dabei bewirkt, ob die Kante ausgelassen wird oder zu dem Fokussignal beitragen darf
Verfahren nach einem der vorangehenden Ansprüche, wobei das Bestimmen bestimmt, ob der erste Wert ein vorbestimmtes Kriterium erfüllt, das von dem zweiten Wert abhängt, um das relative Ausmaß zu bestimmen.
Verfahren nach Anspruch 4, weiterhin umfassend: Auslassen oder Niedrigergewichten der Kante beim Erzeugen des Fokussignals, wenn die Kante das vorbestimmte Kriterium nicht erfüllt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Bestimmen das relative Ausmaß als Funktion des ersten und des zweiten Maßes bestimmt.
Verfahren nach Anspruch 6, wobei das relative Ausmaß eine Gewichtung für den Beitrag der Kante beim Erzeugen des Fokussignals ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei jede beliebige Kante, die zu dem Fokussignal beiträgt, ein Kantenschärfemaß beiträgt, bei dem es sich um eine Größe handelt, die aus mehreren Bilddaten-Stichproben innerhalb einer vorbestimmten Umgebung der besagten beliebigen Kante berechnet wird.
Verfahren nach Anspruch 8, wobei das Kantenschärfemaß das zweite Maß ist.
Verfahren nach Anspruch 8, wobei das Kantenschärfemaß weder das erste Maß noch das zweite Maß ist.
Verfahren nach Anspruch 10, wobei das Kantenschärfemaß nicht ausgewertet wird, falls die Kante beim Erzeugen des Fokussignals ausgelassen wird.
Verfahren nach Anspruch 10, wobei das Kantenschärfemaß eine Breite eines vorbestimmten Abschnitts der Kante ist, der auf eine vorbestimmte Weise vordefiniert ist.
Verfahren nach Anspruch 10, wobei das Kantenschärfemaß ein maximaler Gradientenwert der Kante dividiert durch einen Kontrast quer zu der Kante oder quer zu einem vordefinierten Abschnitt der Kante ist.
Verfahren nach Anspruch 10, wobei das Kantenschärfemaß ein zweites Moment der Gradienten in der Gradientenfolge ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei jede Kante aus mehreren Pixeln besteht, die zusammenhängend in einer ersten Richtung als Array angeordnet sind und von einem Kantendetektor detektiert werden.
Verfahren nach Anspruch 15, wobei der Kantendetektor die einzelnen Kanten mit einem Kantendetektionsoperator erster Ordnung detektiert.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Maß gegenseitig unabhängig voneinander sind in der Weise, dass keines der Maße aus dem jeweils anderen Maß berechnet werden kann, ohne zusätzlich mindestens eine Bilddatenstichprobe aus einer vorbestimmten Umgebung der Kante heranzuziehen, für die das erste und das zweite Maß berechnet werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Maß und das Kantenschärfemaß jeder beliebigen Kante aus mehreren Bilddaten-Stichproben innerhalb einer vorbestimmten Umgebung der besagten beliebigen Kante berechnet werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß jeder beliebigen Kante eine Einheit aufweist, die eine Potenz einer Längeneinheit ist, sofern die Distanz zwischen Gradienten und die Pixelzahl eine Längeneinheit aufweisen, der Gradientenwert eine Einheit aufweist, die eine Energieeinheit dividiert durch eine Längeneinheit ist, und normierte Gradientenwerte einheitenfrei sind.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß jeder beliebigen Kante keine Energieeinheit in seiner Einheit aufweist, wobei jede Bilddaten-Stichprobe eine Energieeinheit aufweist und eine Differenz zwischen einem beliebigen Paar von Bilddaten-Stichproben dividiert durch eine Distanz zwischen den Stichproben eine Energieeinheit dividiert durch eine Längeneinheit aufweist, sofern die Distanz zwischen Gradienten und die Pixelzahl eine Längeneinheit aufweisen, der Gradientenwert eine Energieeinheit dividiert durch eine Längeneinheit aufweist und normierte Gradientenwerte einheitenfrei sind.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Schärfemaß der Kante nicht ausgewertet wird, wenn die Kante beim Erzeugen des Fokussignals ausgelassen wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Maß von einer Skalierung der mehreren Bilddaten-Stichproben um einen von null verschiedenen Skalierungsfaktor, während andere Bilddaten-Stichproben nicht skaliert werden, nicht beeinflusst werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Maß beide von einer Skalierung der mehreren Bilddaten-Stichproben um einen von null verschiedenen Skalierungsfaktor beeinflusst werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Maß genau ein beliebiges Maß aus einer Breite, einem Gradientenwert oder einer Differenz zwischen Gradientenwerten, einer ersten Ableitung des Gradienten oder einer Fläche unter den gegen die Distanz aufgetragenen Gradienten ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste Maß genau ein beliebiges Maß aus einem Gradientenwert oder einer Differenz zwischen Gradientenwerten, einer ersten Ableitung des Gradienten oder einer Fläche unter den gegen die Distanz aufgetragenen Gradienten ist und anhand eines maximalen Gradientenwerts oder eines interpolierten maximalen Gradientenwerts der Kante normiert ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste Maß ein anhand eines maximalen Gradientenwerts oder eines interpolierten maximalen Gradientenwerts normierter, interpolierter Gradientenwert in einer vordefinierten Distanz zu einem maximalen Gradienten oder einem interpolierten Maximum einer Folge von Gradienten quer zu der Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste Maß jeder beliebigen Kante eine Breite eines vordefinierten ungeteilten Abschnitts der besagten beliebigen Kante ist, wobei der vordefinierte ungeteilte Abschnitt auf eine vorbestimmte Weise in Bezug auf die mehreren Bilddaten-Stichproben der besagten beliebigen Kante definiert ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante eine Breite eines vordefinierten ungeteilten Abschnitts der besagten beliebigen Kante ist, wobei der vordefinierte Abschnitt auf eine vorbestimmte Weise in Bezug auf die mehreren Bilddaten-Stichproben der besagten beliebigen Kante definiert ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß jeder beliebigen Kante eine Breite eines vordefinierten ungeteilten Abschnitts der besagten beliebigen Kante ist, wobei der vordefinierte Abschnitt auf eine vorbestimmte Weise in Bezug auf die mehreren Bilddaten-Stichproben der besagten beliebigen Kante definiert ist.
Verfahren nach Anspruch 27, 28 oder 29, wobei der vordefinierte ungeteilte Abschnitt ein schmalster ungeteilter Abschnitt der besagten beliebigen Kante ist, der einen vorbestimmten Bruchteil eines Kontrasts quer zu der besagten beliebigen Kante beiträgt.
Verfahren nach Anspruch 27, 28 oder 29, wobei der vordefinierte ungeteilte Abschnitt alle Pixel der Kante umfasst, die Gradientenwerte über einem vorbestimmten Schwellwert aufweisen.
Verfahren nach Anspruch 27, 28 oder 29, wobei der vorbestimmte ungeteilte Abschnitt ein breitester ungeteilter Abschnitt zwischen einem Maximum (oder interpolierten Maximum) und einem Minimum (oder interpolierten Minimum) einer Folge von Ableitungen zweiter Ordnung quer zu der Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante genau ein beliebiges Maß aus einer Breite, einem Gradientenwert oder einer Differenz zwischen Gradientenwerten, einer ersten Ableitung des Gradienten oder einer Fläche unter den gegen die Distanz aufgetragenen Gradienten ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante genau ein beliebiges Maß aus einer Differenz zwischen Gradientenwerten und einer ersten Ableitung des Gradienten ist und weiterhin anhand eines maximalen Gradientenwerts oder eines interpolierten maximalen Gradientenwerts der besagten beliebigen Kante normiert ist und das zweite Maß nicht das Kantenschärfemaß der besagten beliebigen Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante ein anhand eines Gradientenwerts eines maximalen Gradienten oder eines interpolierten Maximums einer Folge von Gradienten quer zu der besagten beliebigen Kante normierter, interpolierter Gradientenwert in einer vordefinierten Distanz zu dem maximalen Gradienten oder dem interpolierten Maximum ist und das zweite Maß nicht das Kantenschärfemaß der besagten beliebigen Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante eine Distanz zwischen einem Gradienten/interpolierten Gradienten und einem weiteren Gradienten/interpolierten Gradienten misst, die beide Teil einer Folge von Gradienten quer zu der besagten beliebigen Kante sind und beide einen gemeinsamen Gradientenwert aufweisen, der um einen gegebenen Prozentsatz niedriger ist als ein maximaler Gradient oder ein interpoliertes Maximum der Folge von Gradienten.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante eine Fläche eines Bereichs unter einer Auftragung einer Folge von Gradienten der besagten beliebigen Kante gegen die Distanz ist und ferner anhand eines maximalen Gradientenwerts oder eines interpolierten maximalen Gradientenwerts der Folge von Gradienten normiert ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante ein maximaler Gradientenwert einer Folge von Gradienten quer zu der besagten beliebigen Kante dividiert durch einen Kontrast quer zu der besagten beliebigen Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite Maß jeder beliebigen Kante eine Funktion von Distanzen zwischen mehreren Gradienten aus einer Folge von Gradienten quer zu der besagten beliebigen Kante und einer vordefinierten Position relativ zu den mehreren Gradienten ist.
Verfahren nach Anspruch 39, wobei die vordefinierte Position ein Schwerpunkt der mehreren Gradienten ist, wobei die Gradientenwerte als Gewichte behandelt werden.
Verfahren nach Anspruch 40, wobei die Funktion ein k-tes Zentralmoment der mehreren Gradienten um die vordefinierte Position misst, wobei k eine positive gerade Ganzzahl ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Zweite Maß jeder beliebigen Kante gleich einer Summe von Potenzen mehrerer Gradientenwerte aus einer Folge von Gradienten quer zu der besagten beliebigen Kante ist und weiterhin anhand der Potenz eines maximalen Gradientenwerts oder eines interpolierten maximalen Gradientenwerts, der für die Folge von Gradienten interpoliert wird, normiert ist, und wobei das zweite Maß nicht das Kantenschärfemaß der besagten beliebigen Kante ist.
Verfahren nach Anspruch 42, wobei jeder Gradientenwert unter den mehreren Gradientenwerten größer oder gleich einem vorbestimmten Bruchteil des maximalen Gradientenwerts oder des interpolierten maximalen Gradientenwerts ist.
Verfahren nach Anspruch 43, wobei für jeden Gradientenwert unter den mehreren Gradientenwerten eine Konstante, die gleich dem vorbestimmten Bruchteil ist, von dem zweiten Maß subtrahiert wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß jeder beliebigen Kante eine Distanz zwischen einem Gradienten/interpolierten Gradienten und einem weiteren Gradienten/interpolierten Gradienten misst, die beide Teil einer Folge von Gradienten quer zu der besagten beliebigen Kante sind und beide einen gemeinsamen Gradientenwert aufweisen, der um einen gegebenen Prozentsatz niedriger ist als ein maximaler Gradient oder ein interpoliertes Maximum der Folge von Gradienten.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß einer beliebigen Kante eine Fläche eines Bereichs unter einer Auftragung einer Folge von Gradienten der besagten beliebigen Kante gegen die Distanz ist und weiterhin durch einen maximalen Gradientenwert oder einen interpolierten maximalen Gradientenwert der Folge von Gradienten dividiert ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß einer beliebigen Kante ein maximaler Gradientenwert einer Folge von Gradienten quer zu der besagten beliebigen Kante dividiert durch einen Kontrast quer zu der besagten beliebigen Kante ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Kantenschärfemaß jeder beliebigen Kante eine Funktion von Distanzen zwischen mehreren Gradienten aus einer Folge von Gradienten quer zu der besagten beliebigen Kante und einer vordefinierten Position relativ zu den mehreren Gradienten ist.
Verfahren nach Anspruch 48, wobei die vordefinierte Position ein Schwerpunkt der mehreren Gradienten ist, wobei die Gradientenwerte als Gewichte behandelt werden.
Verfahren nach Anspruch 48, wobei die Funktion ein k-tes Zentralmoment der mehreren Gradienten um die vordefinierte Position misst, wobei k eine positive gerade Ganzzahl ist.
Verfahren nach Anspruch 48, wobei jeder Gradientenwert unter den mehreren Gradientenwerten größer oder gleich einem vorbestimmten Bruchteil des maximalen Gradientenwerts oder des interpolierten maximalen Gradientenwerts ist.
Verfahren nach Anspruch 51, wobei für jeden Gradientenwert unter den mehreren Gradientenwerten eine Konstante, die gleich dem vorbestimmten Bruchteil ist, von dem zweiten Maß subtrahiert wird.
Verfahren nach einem der vorangehenden Ansprüche, weiterhin umfassend: Speichern der Kante in einem Speicher abhängig von dem relativen Ausmaß.
Verfahren nach einem der vorangehenden Ansprüche, weiterhin umfassend: Anzeigen der Kante auf einem Display abhängig von dem relativen Ausmaß.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Recheneinrichtung einen Puffer zum gleichzeitigen Speichern mindestens eines Abschnitts des Bildes aufweist.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Bestimmen nicht auf dem Messen eines Ausmaßes basiert, in dem eine Folge von Gradienten quer zu der besagten beliebigen Kante von einer perfekten Spiegelsymmetrie abweicht.
Verfahren nach einem der vorangehenden Ansprüche, wobei es eine fehlerkannte Folge von Gradienten mit perfekter Spiegelsymmetrie gibt, bei deren Vorliegen quer zu der Kante das Bestimmen das relative Ausmaß reduziert.
Verfahren nach Anspruch 57, wobei die fehlerkannte Gradientenfolge {0, 0,2, 0,2, 0,7, 0,7, 1, 0,7, 0,7, 0,2, 0,2, 0} ist.
Verfahren nach einem der vorangehenden Ansprüche, wobei nicht sowohl das erste als auch das zweite Maß jeder beliebigen Kante auf dem Messen von Breiten oder Pixelzahlen auf verschiedenen Gradientenhöhen an einer Folge von Gradienten quer zu der besagten beliebigen Kante beruhen.
Verfahren nach einem der vorangehenden Ansprüche, wobei, wenn sowohl das erste als auch das zweite Maß aus einer Folge von Gradienten quer zu der Kante ausgewertet werden, nicht sowohl das erste als auch das zweite Maß von Gradienten zu beiden Seiten eines maximalen Gradienten aus der Folge von Gradienten abhängen.
Verfahren nach einem der vorangehenden Ansprüche, wobei weder das erste noch das zweite Maß aus einem positiven Gradienten und einem negativen Gradienten berechnet werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das erste Maß nicht notwendigerweise einen Wert produziert, der das Kriterium für jede mögliche Kante mit perfekter Spiegelsymmetrie der Bilddaten-Stichproben in einer vorbestimmten Umgebung der Kante an einer senkrecht zu der Kante und durch einen Mittelpunkt der Kante schneidenden Linie erfüllt.
Computerlesbares Medium, das computerausführbare Anweisungen umfasst, die bei Ausführung durch eine Recheneinrichtung die Recheneinrichtung dazu veranlassen, ein Verfahren gemäß einem der voranstehenden Ansprüche auszuführen.
Schaltkreis, der aus mehreren Kanten eines Bilds einer Szene ein Fokussignal zum Anzeigen eines Bildschärfegrads erzeugt, umfassend: ein Kantenerkennungs- und Breitenmessmittel (EDWM) und ein Fokussignalberechnungsmittel, wobei das Kantenerkennungs- und Breitenmessmittel in Bilddaten des Bilds Kanten detektiert, für die Kanten die relativen Ausmaße bestimmt, mit denen sie jeweils zu dem Fokussignal beitragen werden, und Kantenschärfemaße für Kanten auswertet, die zu dem Fokussignal beitragen werden, wobei das Fokussignalberechnungsmittel aus den Kantenschärfemaßen ein Fokussignal generiert und dabei die jeweiligen relativen Ausmaße berücksichtigt, wobei das Kantenerkennungs- und Breitenmessmittel (EDWM) ein Verfahren nach einem der vorangehenden Verfahrensansprüche implementiert.
Bilderfassungssystem mit: einer Fokuslinse, einer Blende, einem Bildsensor, der eine bilderfassende Pixelanordnung umfasst, einem Fokuslinsenmotormittel und einem Schaltkreis nach dem vorangehenden Gegenstandsanspruch.