DE10301484B4

DE10301484B4 - Bildqualifikation für einen optischen Navigationssensor

Info

Publication number: DE10301484B4
Application number: DE2003101484
Authority: DE
Inventors: Chun-Huang Lin
Original assignee: Pixart Imaging Inc
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-04-16
Filing date: 2003-01-16
Publication date: 2006-08-31
Anticipated expiration: 2023-01-17
Also published as: TW526662B; JP2003317104A; DE10301484A1

Abstract

Verfahren zur Echtzeit-Bildqualifikation, insbesondere für einen optischen Navigationssensor, umfassend:
Bestimmen, dass ein Bildpunkt in einer Dimension eines Frames ein oberer Helligkeitsspitzenwert ist, wenn Bildpunkte von zwei Seiten der Dimension eine geringere Helligkeit als Bildpunkt aufweisen;
Bestimmen, dass ein Bildpunkt in einer Dimension eines Frames ein unterer Helligkeitsspitzenwert ist, wenn Bildpunkte von zwei Seiten der Dimension eine größere Helligkeit als der Bildpunkt aufweisen;
Bestimmen, dass ein Bildpunkt an einem Rand einer Dimension des Frames kein oberer Spitzenwert ist, selbst wenn der Bildpunkt eine maximale Helligkeit aufweist;
Bestimmen, dass ein Bildpunkt an einem Rand einer Dimension des Frames kein unterer Spitzenwert ist, selbst wenn der Bildpunkt eine minimale Helligkeit aufweist; und
Bestimmen, dass der Frame ein guter Frame ist, wenn eine Anzahl der Spitzenwerte des Frames Anforderungen genügt, oder Bestimmen, dass der Frame ein schlechter Frame ist;
wobei ein guter Frame zum Bestimmen von Bewegungen des...

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bildqualifikation und insbesondere ein Verfahren für einen optischen Navigationssensor.
Ein optischer Navigationssensor bestimmt Bewegungen durch Vergleichen der Korrelation von Bildern, die bei verschiedenen Zeiten erfasst werden. Die Bildqualität beeinflusst folglich Bewegungen, die durch den optischen Navigationssensor bestimmt werden. Die Bildqualität resultiert aus Rauschen, Unscharf-werden der Bildschärfe, Beleuchtung, usw. Die LED (Leuchtdiode) in dem optischen Navigationssensor wird konstant beleuchtet, um Fehler beim Bestimmen von Bewegungen zu verhindern, die aus einer Beleuchtungsvariation resultieren. Wenn der optische Navigationssensor einer Beleuchtung von einem Fluoreszenzlampenlicht ausgesetzt wird, das durch einen 60 Hz oder 50 Hz Wechselstrom betrieben wird, sind jedoch periodische Variationen vorhanden, die zu Flimmern bei Bildern, die von dem optischen Navigationssensor erfasst werden, und nachfolgenden Fehlern beim Bestimmen von Bewegungen führen.
Der Nachteil von herkömmlicher Bildqualifikation ist, dass mehrere Bildframes benötigt werden, um Korrelationen dazwischen zu berechnen zum Bestimmen, ob die optische Navigation außerhalb der Bildschärfe ist. Mehrere Puffer werden deshalb benötigt und eine Totzeit ist unvermeidbar. Es besteht ein Bedarf, eine Bildqualifikation für einen optischen Navigationssensor bereitzustellen, die nur ein Bildframe benötigt.

US 4,251,157 verwendet CCD-Sensoren, um aufgenommene Bilder nach ihrer Bildschärfe auszuwählen. Die Bildauswahl erfolgt anhand der Kantenschärfe.

Es ist deshalb eine Aufgabe der vorliegenden Erfindung eine Bildqualifikation in Echtzeit für einen optischen Navigationssensor bereitzustellen.

Um die vorstehenden Aufgaben zu lösen, stellt die vorliegende Erfindung ein Verfahren zur Bildqualifikation bereit, das nur ein Bildframe auf einmal benötigt. Die Bildqualifikation in der vorliegenden Erfindung umfasst die folgenden Schritte.

Ein Bildpunkt bzw. Pixel in einer Dimension eines Frames wird bestimmt, einen oberen Helligkeitsspitzenwert aufzuweisen, wenn Bildpunkte an zwei Seiten der Dimension eine geringere Helligkeit als der Bildpunkt aufweisen.

Ein Bildpunkt in einer Dimension des Frames wird bestimmt, einen unteren Helligkeitsspitzenwert aufzuweisen, wenn Bildpunkte an zwei Seiten der Dimension eine größere Helligkeit als der Bildpunkt aufweisen.

Ein Bildpunkt an einem Rand einer Dimension des Frames wird bestimmt, keinen oberen Spitzenwert aufzuweisen, selbst wenn der Bildpunkt eine maximale Helligkeit aufweist. Ein Bildpunkt an einem Rand einer Dimension des Frames wird bestimmt, keinen unteren Spitzenwert aufzuweisen, selbst wenn der Bildpunkt eine minimale Helligkeit aufweist.

Der Frame wird auf Basis der Anzahl der Spitzenwerte bestimmt, die Anforderungen genügen, ein guter oder schlechter Frame zu sein. Ein guter Frame wird zum Bestimmen von Bewegungen des Frames verwendet. Ein schlechter Frame wird nicht zum Bestimmten von Bewegungen des Frames verwendet.

Die vorstehend erwähnten Aufgaben, Merkmale und Vorteile dieser Erfindung wird durch Bezugnahme auf die folgende detaillierte Beschreibung der bevorzugten Ausführungsformen mit Bezugnahme auf die begleitenden Zeichnungen klarer werden, in denen:
1A eine schematische Zeichnung zeigt, um zwei Dimensionen von Bildsensorarrays zu veranschaulichen.
1B eine schematische Zeichnung zeigt, um Bilder zu veranschaulichen, die von einem Bildsensorarray in einer Dimension erfasst werden.
2A bis 2E schematische Zeichnungen zeigen, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird.
3 eine schematische Zeichnung zeigt, um ein Ablaufdiagramm eines Anti-Flimmer-Verfahrens zu veranschaulichen, das auf dem erfindungsgemäßen Verfahren zur Bildqualifikation zum Verhindern von Bewegungsfehlern basiert.
Die vorliegende Erfindung offenbart ein Verfahren zur Bildqualifikation, das nur ein Bildframe benötigt, um zu bestimmen, ob der Frame zum Bestimmen von Bewegungen ohne irgendeinen Puffer qualifiziert ist, so dass die Qualifikation in Echtzeit durchgeführt wird.
1A zeigt eine schematische Zeichnung, um zwei Dimensionen von Bildsensorarrays zu veranschaulichen. Um die Qualität eines Frames zu bestimmen, wird eine Dimension der Bildsensorbildpunkte zum Qualifizieren genommen. Zum Beispiel wird ein Bildsensorarray AA einer Dimension in X-Richtung analysiert und dann werden alle Bildsensorarrays in X-Richtung auf dem gleichen Weg analysiert. Ein Bildsensorarray BB einer Dimension in Y-Richtung wird analysiert und dann werden alle Bildsensorarrays in Y-Richtung auf dem gleichen Weg analysiert.
1B zeigt eine schematische Zeichnung, um Bilder zu veranschaulichen, die von einem Bildsensorarray in einer Dimension erfasst werden. Das Bildsensorarray in 1B kann in X- oder Y-Richtung in 1A sein. 1B zeigt, dass Variationen bei der Helligkeit der Bild-Bildpunkte bzw. -Pixel in einer Dimension vorhanden sind, d. h. dass lokale Maxima bei der Helligkeit vorhanden sind.
Die Qualität von Bildern in einer Dimension wird durch die Spitzenwerte der Helligkeit bestimmt. Es gibt zwei Arten von Spitzenwerten, die in der vorliegenden Erfindung wie folgt definiert sind:
Oberer Spitzenwert: Ein Bildpunkt in einer Dimension eines Frames, bei dem Bildpunkte an zwei Seiten der Dimension eine geringere Helligkeit als der Bildpunkt bis zu einem gewissen Grad aufweisen, wie U1, U2, die in 1B gezeigt sind.
Unterer Spitzenwert: Ein Bildpunkt in einer Dimension eines Frames, bei dem Bildpunkte an zwei Seiten der Dimension eine größere Helligkeit als der Bildpunkt bis zu einem gewissen Grad aufweisen, wie D1, D2, die in 1B gezeigt sind. Ein Bildpunkt bei einem Rand einer Dimension des Frames, wie M in 1B, wird nicht als ein oberer Spitzenwert definiert, selbst wenn der Bildpunkt eine maximale Helligkeit aufweist. Ein Bildpunkt bei einem Rand einer Dimension des Frames, wie m in 1B, wird nicht als ein unterer Spitzenwert definiert, selbst wenn der Bildpunkt eine minimale Helligkeit aufweist. Die Anzahl der oberen Spitzenwerte oder der unteren Spitzenwerte kann als die Anzahl der Helligkeitsspitzenwerte in einer Dimension gezählt werden. Wenn die Anzahl der Spitzenwerte eine kritische Anzahl überschreitet, werden die Bilder in einer Dimension als qualifiziert definiert.
Wenn ein Bildframe in zwei Dimensionen durch einen optischen Navigationssensor gelesen wurde, wurde die Anzahl der Spitzenwerte in zwei Dimensionen vollständig berechnet. Die Anzahl der Spitzenwerte in zwei Dimensionen, die Anforderungen genügen, hängt von der Anwendung ab. Sie kann zum Beispiel auf viele Weisen definiert werden, so dass wenigstens eine Spalte oder eine Zeile Anforderungen genügt oder dass dies jede Spalte tut oder jede Zeile tut, dann erfüllt der Bildframe in zwei Dimensionen Anforderungen und wird als ein guter Bildframe definiert. Ansonsten wird bestimmt, dass der Bildframe nicht die Anforderungen erfüllt und ein schlechter Bildframe ist.
Es kann ein guter Bildframe zur Bewegungselementschätzung und Korrelationsbewertung verwendet werden, um Bewegungen zu bestimmen. Ein schlechter Bildframe kann nicht zur Bestimmung von Bewegungen verwendet werden.
Eine andere Anwendung folgt. Es kann der gute Bildframe verwendet werden, um Bewegung zu bestimmen, und durch den guten Bildframe bestimmte Bewegungen werden ausgegeben. Es wird nicht gestattet, dass durch den schlechten Bildframe bestimmte Bewegungen ausgegeben werden.
Eine andere Anwendung ist wie folgt. Es kann der gute Bildframe verwendet werden, um Bewegungen zu bestimmen, und durch den guten Bildframe bestimmte Bewegungen werden ausgegeben. Wenn Bewegungen durch den schlechten Bildframe bestimmt werden, dann werden prädiktive Bewegungen gemäß den vorhergehenden Bewegungen ausgegeben. Wenn der optische Navigationssensor unter einem Flimmerbereich ist, resultieren Bewegungsfehler aus dem Flimmerbereich. Das in der vorliegenden Erfindung offenbarte Verfahren zur Bildqualifikation zum Verhindern von Bewegungsfehlern kann als Basis eines Anti-Flimmer-Verfahrens dienen.
2A zeigt eine schematische Zeichnung, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird.
Zu der Zeit t1 ist ein optischer Navigationssensor 10 nicht in einen Flimmerbereich 20, wie ein von einem Fluoreszenzlampenlicht beleuchteter Bereich, eingetreten. Ein von dem optischen Navigationssensor 10 erfasster Bildframe weist NR1 Zeilen von Bildpunkten auf, wobei jede Zeile eine größere Anzahl der Spitzenwerte als eine kritische Anzahl NPX davon aufweist. NR1 der Zeilen ist größer als NRX. Die Qualität des Bildframes erfüllt folglich Anforderungen. Eine zweite Anzahl der Bildframes mit der Qualität, die Anforderungen erfüllt, wird gezählt, so dass die zweite Anzahl ein zweites Maximum Nmax2 überschreitet. Dann wird eine erste Anzahl der Bildframes mit der Qualität, die nicht Anforderungen erfüllt, abgeglichen bzw. zurückgesetzt, und dieses Bild kann zum Bestimmen von Bewegung verwendet werden.
2B zeigt eine schematische Zeichnung, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird. Zu der Zeit t2 weist der optische Navigationssensor 10 einen eigenen Teil auf, der in den Flimmerbereich 20 eingetreten ist. Ein von dem optischen Navigationssensor 10 erfasster Bildframe weist NR2 Zeilen von Bildpunkten auf, wobei jede Zeile eine größere Anzahl von Spitzenwerten als eine kritische Anzahl NPX der Spitzenwerte aufweist. NR2 der Zeilen ist geringer als eine Anzahl NRX. Die Qualität der Bildframes erfüllt folglich nicht Anforderungen. Die erste Anzahl der Bildframes mit der Qualität, die nicht Anforderungen erfüllt, wird gezählt, so dass die erste Anzahl nicht ein erstes Maximum Nmax1 überschreitet. Bewegungen werden dann von dem Bildframe bestimmt.
2C zeigt eine schematische Zeichnung, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird. Zu der Zeit t3 ist ein optischer Navigationssensor 10 vollständig in den Flimmerbereich 20 eingetreten. Ein von dem optischen Navigationssensor 10 erfasster Bildframe weist NR3 Zeilen von Bildpunkten auf, wobei jede Zeile eine größere Anzahl der Spitzenwerte als eine kritische Anzahl NPX der Spitzenwerte aufweist. NR3 der Zeilen ist kleiner als eine Anzahl NRX. Die Qualität des Bildframes erfüllt folglich nicht Anforderungen. Die erste Anzahl der Bildframes mit der Qualität, die nicht Anforderungen erfüllt, wird gezählt, so dass die erste Anzahl das erste Maximum Nmax1 überschreitet. Die erste Anzahl und die zweite Anzahl werden beide abgeglichen bzw. zurückgesetzt. Der Bildframe wird übersprungen. Ein neuer Bildframe wird erfasst.
2D zeigt eine schematische Zeichnung, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird. Zu der Zeit t4 weist der optische Navigationssensor 10 einen eigenen Teil auf, der den Flimmerbereich 20 verlassen hat. Ein von dem optischen Navigationssensor 10 erfasster Bildframe weist NR4 Zeilen von Bildpunkten auf, wobei jede Zeile eine größere Anzahl der Spitzenwerte als eine kritische Anzahl NPX der Spitzenwerte aufweist. NR4 der Zeilen ist größer als NRX. Die Qualität des Bildframes erfüllt folglich Anforderungen. Die zweite Anzahl der Bildframes mit der Qualität, die Anforderungen erfüllt, wird gezählt, so dass die zweite Anzahl nicht das zweite Maximum Nmax2 überschreitet. Der Bildframe wird dann übersprungen. Ein neuer Bildframe wird erfasst.
2E zeigt eine schematische Zeichnung, um einen Flimmerbereich zu veranschaulichen, durch den der optische Navigationssensor beeinflusst wird. Zu der Zeit t5 hat der optische Navigationssensor 10 den Flimmerbereich 20 vollständig verlassen. Ein von dem optischen Navigationssensor 10 erfasster Bildframe weist NR5 Zeilen von Bildpunkten auf, wobei jede Zeile eine größere Anzahl der Spitzenwerte als eine kritische Anzahl NPX der Spitzenwerte aufweist. NR5 der Zeilen ist größer als NRX. Die Qualität des Bildframes erfüllt folglich Anforderungen. Die zweite Anzahl der Bildframes mit der Qualität, die Anforderungen erfüllt, wird gezählt, so dass die zweite Anzahl das zweite Maximum Nmax2 überschreitet. Dann wird die erste Anzahl abgeglichen bzw. zurückgesetzt. Bewegungen werden durch den Bildframe bestimmt.
3 zeigt eine schematische Zeichnung, um ein Ablaufdiagramm des Anti-Flimmer-Verfahrens zu veranschaulichen.
Bei Schritt S31 wird ein Bildframe erfasst, um die Qualität des Bildes zu bestimmen.
Bei Schritt S32 ist der Bildframe, wenn die Qualität des Bildframes die Anforderungen erfüllt, ein guter Bildframe, die Ausführung fährt mit Schritt S36 fort. Wenn nicht, fährt die Ausführung mit Schritt S33 fort.
Bei Schritt S33 wird eine erste Anzahl des Bildframes, der nicht die Anforderungen erfüllt, aufgespeichert. Wenn die erste Anzahl des Bildframes mit der Qualität, die nicht Anforderungen erfüllt, ein erstes Maximum Nmax1 überschreitet, fährt die Ausführung mit Schritt S34 fort. Ansonsten fährt die Ausführung mit Schritt S38 fort.
Bei Schritt S34 wird ein erster Zähler, der die erste Anzahl der Bildframes mit der Qualität zählt, die nicht Anforderungen erfüllt, abgeglichen bzw. zurückgesetzt. Ein zweiter Zähler, der die zweite Anzahl der Bildframes zählt, deren Qualität die Anforderungen erfüllt, wird abgeglichen bzw. zurückgesetzt.
Bei Schritt S35 wird der Bildframe übersprungen, und Bewegungen werden nicht ausgegeben. Das Verfahren geht zu Schritt S31 zurück.
Bei Schritt S36 erfüllt die Qualität des Bildframes Anforderungen, der zweite Zähler zählt die zweite Anzahl des Bildframes, dessen Qualität Anforderungen erfüllt. Wenn die zweite Anzahl des Bildframes mit der Qualität, die Anforderungen erfüllt, ein zweites Maximum Nmax2 überschreitet, fährt die Ausführung mit Schritt S37 fort, oder die Ausführung geht zu Schritt S35 zurück.
Bei Schritt S37 wird der erste Zähler abgeglichen bzw. zurückgesetzt.
Bei Schritt S38 werden Bewegungen des optischen Navigationssensors durch den Bildframe geschätzt.
Obwohl die vorliegende Erfindung in ihrer bevorzugten Ausführungsform beschrieben wurde, wird nicht beabsichtigt, die Erfindung auf diese hier offenbarte, präzise Ausführungsform einzuschränken. Der Fachmann kann immer noch verschiedene Alternativen oder Modifikationen machen, ohne das Wesen und den Schutzumfang dieser Erfindung zu verlassen. Der Schutzumfang der vorliegenden Erfindung soll deshalb durch die folgenden Ansprüche und ihre Äquivalente definiert und geschützt werden.

Claims

Verfahren zur Echtzeit-Bildqualifikation, insbesondere für einen optischen Navigationssensor, umfassend: Bestimmen, dass ein Bildpunkt in einer Dimension eines Frames ein oberer Helligkeitsspitzenwert ist, wenn Bildpunkte von zwei Seiten der Dimension eine geringere Helligkeit als Bildpunkt aufweisen; Bestimmen, dass ein Bildpunkt in einer Dimension eines Frames ein unterer Helligkeitsspitzenwert ist, wenn Bildpunkte von zwei Seiten der Dimension eine größere Helligkeit als der Bildpunkt aufweisen; Bestimmen, dass ein Bildpunkt an einem Rand einer Dimension des Frames kein oberer Spitzenwert ist, selbst wenn der Bildpunkt eine maximale Helligkeit aufweist; Bestimmen, dass ein Bildpunkt an einem Rand einer Dimension des Frames kein unterer Spitzenwert ist, selbst wenn der Bildpunkt eine minimale Helligkeit aufweist; und Bestimmen, dass der Frame ein guter Frame ist, wenn eine Anzahl der Spitzenwerte des Frames Anforderungen genügt, oder Bestimmen, dass der Frame ein schlechter Frame ist; wobei ein guter Frame zum Bestimmen von Bewegungen des Frames verwendet wird, und ein schlechter Frame nicht zum Bestimmten von Bewegungen des Frames verwendet wird.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, wobei die Anzahl der Spitzenwerte des Frames eine Anzahl der oberen Spitzenwerte oder eine Anzahl der unteren Spitzenwerte ist.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem die Anzahl der Spitzenwerte des Frames eine Anzahl der oberen Spitzenwerte einer Dimension des Frames oder eine Anzahl der unteren Spitzenwerte einer Dimension des Frames ist; und wobei, wenn wenigstens eine Spalte von Bildpunkten des Frames eine größere Anzahl der Spitzenwerte des Frames als eine kritische Anzahl der Spitzenwerte aufweist, bestimmt wird, dass der Frame Anforderungen genügt.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem die Anzahl der Spitzenwerte des Frames eine Anzahl der oberen Spitzenwerte einer Dimension eines Frames oder eine Anzahl der unteren Spitzenwerte einer Dimension des Frames ist; und wobei, wenn wenigstens eine Zeile von Bildpunkten des Frames eine größere Anzahl der Spitzenwerte des Frames als eine kritische Anzahl der Spitzenwerte aufweist, bestimmt wird, dass der Frame Anforderungen genügt.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem die Anzahl der Spitzenwerte einer Dimension des Frames eine Anzahl der oberen Spitzenwerte einer Dimension des Frames oder eine Anzahl der unteren Spitzenwerte der Dimension des Frames ist; und wobei, wenn jede Zeile von Bildpunkten des Frames eine größere Anzahl der Spitzenwerte des Frames als eine kritische Anzahl der Spitzenwerte aufweist, bestimmt wird, dass der Frame Anforderungen genügt.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem die Anzahl der Spitzenwerte des Frames eine Anzahl der oberen Spitzenwerte einer Dimension des Frames oder eine Anzahl der unteren Spitzenwerte einer Dimension des Frames ist; und wobei, wenn jede Spalte von Bildpunkten des Frames eine größere Anzahl der Spitzenwerte einer Dimension des Frames als eine kritische Anzahl der Spitzenwerte aufweist, bestimmt wird, dass der Frame Anforderungen genügt.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem der gute Frame zum Bestimmen von Bewegungen des Frames und Ausgeben der Bewegungen verwendet wird; und die durch den schlechten Frame bestimmten Bewegungen nicht ausgegeben werden.
Verfahren zur Echtzeit-Bildqualifikation gemäß Anspruch 1, bei dem der gute Frame zum Bestimmen von Bewegungen des Frames verwendet wird und die Bewegungen ausgegeben werden; und wenn ein schlechter Frame bestimmt wird, prädiktive Bewegungen gemäß den vorhergehenden Bewegungen ausgegeben werden.