-
Die
Erfindung betrifft eine Vorrichtung zur Aufnahme und Verarbeitung
mindestens einer getakteten Bildfolge mit einem Bildsensor, der
zur sequentiellen, zeilenweisen Aufnahme von Bilddaten der Bildfolge
vorgesehen ist, einem Bildspeicher zur Speicherung der Bilddaten,
Mitteln zur Erzeugung eines zur getakteten Bildfolge asynchronen
Auslösesignals
und einer Auswerteeinheit, die mittels mindestens eines Synchronisationssignals
zur Erstellung einer Bildfolge vorgesehen ist. Des Weiteren betrifft
die Erfindung ein entsprechendes Verfahren.
-
Eine
derartige Vorrichtung kommt im Bereich der Bildverarbeitung, insbesondere
der industriellen Bildverarbeitung zum Einsatz. In der Regel geht
es um die Erfassung schneller Vorgänge, wie zum Beispiel bei Prüfzwecken
in Zusammenhang mit automatischen Bestückungs- oder Verpackungsanlagen. Gegenstand
der Prüfung
bzw. der Bildverarbeitung ist ein Objekt oder ein Prüfobjekt,
welches auf eine schnelle und sichere Weise abgebildet bzw. überprüft werden
soll.
-
Eine
derartige Vorrichtung beinhaltet grundsätzlich einen Bildsensor und
Mittel zur Erzeugung eines asynchronen Auslösesignals.
-
Die
Mittel zur Erzeugung eines Auslösesignals
sind in der Praxis als Triggereinheit ausgeführt, die die Aufgabe hat, laufend
eine Entscheidung zu treffen, ob ein Objekt eine beispielsweise
senkrecht zur Bewegungsrichtung festgelegte Linie überschritten
hat. Diese Linie kann der Strahlengang einer Lichtschranke sein
oder eine nur gedachte Linie in einem Bildfenster. Prinzipiell besteht
die Möglichkeit der
Verwendung eines internen oder externen Triggers.
-
Bei
einem internen Trigger ist die Triggereinheit zur Abgabe eines Auslösesignals
vorgesehen, wobei die Triggereinheit innerhalb der Vorrichtung zur
Bildverarbeitung angeordnet ist. Eine der Bildaufnahme nachgeschaltete
Auswertelogik (in Form einer Hard- und/oder Software) erkennt aus
den laufend aufgenommenen Bildern, dass eine Objektbegrenzung, wie
zum Beispiel eine Vorderkante des Prüfobjekts, im Bildfenster eine
bestimmte Position erreicht hat. Durch eine sequentielle Aufnahme
einzelner Bilder entsteht eine Bildfolge, die eine vorgegebene Bildrate
aufweist.
-
Erkennt
der interne Trigger ein Ereignis, ist das aktuelle Bild in der Regel
gerade im Aufbau begriffen. Der Aufbau eines Bildes wird durch eine
kontinuierliche Aufnahme von streifenförmigen Teilbereichen bewerkstelligt.
Die Rate der Teilbereichaufnahmen ist somit ein Vielfaches der Bildrate.
Wenn das Triggerereignis erkannt wird, sind in der Regel Aufnahmen
von Teilbereichen des Bildes bereits erfolgt. Zudem sind während der
Triggerphase die Bilder in der Regel unterbelichtet und für eine weitergehende Auswertung
nicht zu gebrauchen. Folglich wird das aktuelle Bild, bei dessen
Aufbau das Triggerereignis eingetreten ist, zur Auswertung nicht
herangezogen, sondern das darauf folgende Bild.
-
Da
für eine
optimale Belichtung die Belichtungszeit zunächst verstreichen muss, kann
der Zeitpunkt des Triggerereignisses auch nicht direkt an der Grenze
zwischen Triggerbild und Prüfbild
liegen. Um ein Bild der Bildfolge als Prüfbild verwenden zu können, muss
spätestens
eine Belichtungszeitspanne vor dem Zeitpunkt, zu dem die erste Zeile
des Prüfbilds
ausgelesen wird, das Triggerereignis erfolgt sein. Ist dies nicht
erfolgt, so sind die ersten teilförmigen Teilbereiche des Prüfbilds aufgrund
der geringen Belichtungszeit zu dunkel. Damit könnte das Bild unbrauchbar geworden
sein.
-
Geht
man von einer sequentiellen Belichtung von streifenförmigen Teilbereichen
des Bildes aus, führt
die sequentielle Abfolge von Aufnahmen dieser Teilbereiche zu einem
Abbild des so genannten optischen Flusses. Der optische Fluss ist
ein Maß für die Bewegungsgeschwindigkeit
des Prüfobjektes
innerhalb des Bildes. Geht man des Weiteren davon aus, dass ein
Bild mittels der streifenförmigen
Teilbereiche von oben nach unten gefüllt wird, so entstehen die Teilaufnahmen
der oberen Bildstreifen zu einem früheren Zeitpunkt als die Teilbereiche
am unteren Ende des Bildes. Die sequentielle Aufnahme der streifenförmigen Teilbereiche
findet über
einen gewissen Zeitraum statt, in dem sich das Prüfobjekt
weiterbewegt. Aufgrund des optischen Flusses ist das Abbild des
Prüfobjekts
verzerrt.
-
Für den internen
Trigger empfiehlt es sich deshalb einen triggerempfindlichen Bereich
des Bildes zu definieren. In der Praxis wird eine Anzahl von horizontalen
streifenförmigen
Teilbereichen ausgewählt,
so dass eine ausreichende Belichtungszeit für das anschließend aufgenommene
Prüfbild
zur Verfügung
steht. Der Abstand der Unterkante dieses triggerempfindlichen Bereiches
bis zum unteren Bildende entspricht der maximal möglichen
Belichtungszeit.
-
Geht
man beispielsweise von einem triggerempfindlichen Bereich aus, der
zentral im Bild platziert ist und von der linken Bildkante bis zur
rechten Bildkante reicht, und dieser Bereich zusätzlich die Hälfte der
Gesamtbildfläche
abdeckt, so kann man bei einer Aufnahmezeit für ein gesamtes Bild von beispielsweise
10 ms eine maximale Belichtungszeit von 2,5 ms erreichen. In anderen
Worten, das Bild wurde vertikal im Verhältnis 1:2:1 (oberer Bildstreifen,
triggerempfindlicher Bereich, unterer Bildstreifen) aufgeteilt.
Die Höhe
des unteren Bildstreifens macht in diesem Beispiel somit ein Viertel
der Bildhöhe
aus.
-
Der
Einsatz eines externen Triggers ist weniger aufwendig. Ein optischer
Sensor, der in der Regel extern angeordnet ist, prüft, ob das
Objekt eine bestimmte Linie überschritten
hat. Die feste Platzierung des optischen Sensors im Vergleich zum
Bildsensor lässt
auf eine bestimmte Position im Bildfenster schließen. Löst der optische
Sensor aus, so ist die Position des Objektes bekannt.
-
In
der Praxis werden als optischer Sensor beispielsweise Lichtschranken
verwendet, die ein sehr einfaches und effektives Mittel darstellen.
Des Weiteren kann die Funktion des optischen Sensors ebenfalls durch
andere Sensoren, beispielsweise durch ein RFID-Lesegerät, ein Positionsschalter
oder durch einen anderen Sensor übernommen
werden.
-
Der
Vorteil des externen Triggers gegenüber dem internen Trigger liegt
darin, dass die Messfrequenz im Verhältnis zur Bildfolgefrequenz
praktisch unendlich ist. Dies bedeutet, dass die Bildfolgesequenz
nicht zu einer Sample-Frequenz, im Sinne einer Positionsabfragehäufigkeit
wird. Stattdessen ist es möglich,
dass die Triggerentscheidung, also die Aussendung des Auslösesignals,
sofort zu jedem beliebigen Zeitpunkt getroffen werden kann. Folglich entsteht
die größte zeitliche
Verzögerung
zur Akquisition des Prüfbildes,
wenn das Objekt kurz nach Beginn der Belichtungsvorlaufzeit an der
Triggerposition ankommt, die kürzeste,
wenn es kurz vor der Belichtungsverlaufzeit ankommt.
-
In
der Praxis werden Bildsensoren, die streifenförmige Teilbereiche des Gesamtbildes
akquirieren, in steigendem Maße
mit so genannten CMOS-Bildsensoren (Complementary Metal Oxide Semiconductor)
realisiert. In innovativen Produkten für industrielle Bildverarbeitung
werden diese CMOS-Bildsensoren meist anstelle von herkömmlichen
CCD-Sensoren verwendet (Smart Cameras, Vision Sensors).
-
Ein
Vorteil der CMOS-Technik ist das CMOS-Fertigungsverfahren, welches
sehr ausgereift ist und kostengünstige
Bauelemente zur Verfügung stellt.
Des Weiteren ist eine kostensparende Integration von Ansteuer- und
Ausleselogik auf einem Chip möglich.
Des Weiteren führt
die Verwendung von CMOS-Einheiten zur Reduktion der Verlustleistung und
zu kleinflächigen
Bildsensoren. Vorteilhafterweise findet die Ausgabe der Daten bereits
in standardisierter, digitalisierter Form (Pixels) statt, wobei
keine Ladungen über
lichtempfindliche Sensorflächen transportiert
werden müssen.
Stattdessen werden Spannungswerte weitergegeben, die ladungsbedingte
Schmier- und Bloomingeffekte
ausschließen.
-
Die
am meisten verwendeten CMOS-Bildsensoren funktionieren nach dem
Prinzip des kontinuierlichen Bildeinzugs analog zur Videotechnik,
das heißt
Belichtung und Ausgabe der gespeicherten, intern in Digitalwerte
umgewandelte Pixelinformation erfolgt periodisch mit einem als Bildwiederholfrequenz
(Frame Rate) bezeichneten Takt. Nach einem externen Triggerereignis
kann es bis über
die Aufnahmezeit eines Frames dauern, bis der Bildeinzug, also die
sequentielle Aufnahme der Bildteilbereiche, wieder in der ersten
Zeile beginnt. Bei schnelleren Transportvorgängen stellt dies einen eindeutigen
Nachteil dar, weil das zu prüfende
Objekt (Prüfobjekt)
dann bereits von der Position der ersten Aufnahme eines Teilbereiches
zur Position einer zweiten Aufnahme eines Teilbereiches des Bildes weiterbefördert worden
ist. Im Extremfall könnte
das Prüfobjekt
das Sichtfenster des Bildes zumindest teilweise wieder verlassen
haben. Der nahe liegende Ausweg, die Bewegungsgeschwindigkeit des
Prüfobjektes
(Fördergeschwindigkeit)
mit der Bildwiederholfrequenz zu synchronisieren, ist in der Praxis
aus Gründen
der Verhältnismäßigkeit
ausgeschlossen.
-
Kostengünstige CMOS-Bildsensoren
besitzen in der Regel einen elektronischen Verschluss (Electronic
Shutter), der aber um den Füllfaktor
eines einzelnen Pixels zu optimieren, als so genannter Rolling Shutter
ausgeführt
ist. Schnelle Vorgänge,
die mit diesem Kameratyp aufgenommen werden, führen zusätzlich zu der bei langen Belichtungszeiten
unvermeidlichen Unschärfe
zu einer Verzerrung in Form einer Scherung. Dies kann je nach Anwendung
zu der Notwendigkeit einer nachträglichen Bildverarbeitung führen. Häufig wird
das zu untersuchende Objekt linear und mit nahezu konstanter Geschwindigkeit
an einer Erfassungseinrichtung vorbeigefördert. Mit entsprechend starker
Beleuchtung lässt
sich die Bewegungsunschärfe
weitge hend vermeiden. Das Bild zeigt dann ein Objekt, dessen Proportionen
zwar verschoben, dessen Teilflächen
gegenüber
dem ruhenden Original in ihrer Größe aber unverändert sind.
-
Weisen
die Prüfobjekte
ein hohes Maß an Rechteckigkeit
auf, so kann im Bild des Prüfobjektes aufgrund
des Rolling-Shutter-Effektes
ein parallelogrammähnliches
Abbild erwartet werden. Der Basiswinkel des Parallelogramms hängt von
der Transportgeschwindigkeit und dem Abstand des Prüfobjektes
vom Sensor (Tastweite) ab. Wenn das gesamte Objekt erfasst werden
soll, so benötigt
man in Bewegungsrichtung genügend
Abstand, um die Tastweite entsprechend anzupassen. Der Effekt des
Rolling-Shutter-Prinzips muss bei den hier beschriebenen Vorgängen berücksichtigt
werden.
-
Aus
dem Datenblatt Sony CCD B-W Video Camera Modules der Serie XC-ST
ist für
Prüfaufgaben
von schnell bewegten Objekten eine spezielle CCD-Sensorentechnik
bekannt. Ein Sensor, der im Dokument beschrieben wird, ist in der
Lage, unmittelbar und unabhängig
vom aktuellen Ausgabezustand eine Belichtung der Photozellen durchzuführen. Allerdings
ist diese Technik relativ aufwendig und erfordert einen großflächigen Bildsensor,
der vergleichsweise kostenintensiv ist. Die Prüfobjekte erscheinen unabhängig von
ihrer Transportgeschwindigkeit an derselben Stelle im Bild.
-
Der
Erfindung liegt die Aufgabe zugrunde, eine schnelle und kostengünstige Vorrichtung
zur Bildverarbeitung mindestens einer getakteten Bildfolge anzugeben.
-
Diese
Aufgabe wird bei einer Vorrichtung der eingangs genannten Art dadurch
gelöst,
dass die Vorrichtung zur Aufnahme und Verarbeitung mindestens einer
getakteten Bildfolge mit einem Bildsensor, der zur sequentiellen,
zeilenweisen Aufnahme von Bilddaten der Bildfolge vorgesehen ist,
einem Bildspeicher zur Speicherung der Bilddaten, Mitteln zur Erzeugung
eines zur getakteten Bildfolge asynchronen Auslösesignals und einer Auswerteeinheit,
die mittels mindestens eines Synchro nisationssignals zur Erstellung
einer Bildfolge vorgesehen ist, wobei die Auswerteeinheit zur Erstellung
mindestens eines Bildes aus mindestens einem ersten und einem zweiten
Bild der Bildfolge vorgesehen ist, wobei das Auslösesignal
zur Ermittlung der zu entnehmenden Anteile der Bilddaten aus den
Bildern der Bildfolge vorgesehen ist. Weiterhin wird die Aufgabe
durch ein entsprechendes Verfahren gelöst.
-
Der
Erfindung liegt die Erkenntnis zugrunde, dass der Einsatz eines
CMOS-Sensors als Bildsensor die sensitive Fläche reduziert und potentiell
Kosten einspart.
-
Des
Weiteren liegt der Erfindung die Erkenntnis zugrunde, dass die oben
beschriebene kontinuierliche Bildaufnahme durch eine sequentielle Aufnahme
von streifenförmigen
Teilbereichen des Bildes einen so genannten Rolling-Shutter-Effekt
verursacht, wenn CMOS-Sensoren als Bildsensoren verwendet werden.
Der Rolling-Shutter-Effekt ist eine elektronische Variante des von
Spiegelreflexkameras her bekannten Schlitzverschlusses. Ein streifenförmiger Bereich
von mehreren Zeilen wird kontinuierlich belichtet, wobei die Breite
des Streifens der Belichtungszeit entspricht und die Vorschubgeschwindigkeit
des Streifens mit der Frame Rate synchronisiert ist.
-
Die
Funktionsweise der Erfindung basiert auf den Teilkomponenten der
Vorrichtung zur Aufnahme und Verarbeitung mindestens einer getakteten
Bildfolge. Die besagte Vorrichtung weist einen Bildsensor, insbesondere
einen CMOS-Sensor, einen Bildspeicher, Mittel zur Erzeugung eines
asynchronen Auslösesignals,
und eine Auswerteeinheit auf. Der Bildsensor ist zur sequentiellen,
zeilenweisen Aufnahme von Bilddaten der Bildfolge vorgesehen, wobei
Teilbereiche des Bildes (z.B. Zeilen) nacheinander abgelichtet und
deren Pixeldaten aufgenommen und zu den Bilddaten hinzugefügt werden.
Der Bildsensor bildet somit Bildanteile in Form von Bilddaten ab,
die zu unterschiedlichen Zeitpunkten aufgenommen werden. Während der
sequentiellen zeilenweisen Aufnahme ist es durch die Mittel zur
Erzeugung eines zur getakteten Bildfolge asynchronen Auslöse signals
möglich,
ein Auslösesignal
asynchron bereitzustellen, so dass das Auslösesignal eine Generierung eines
Bildes auslöst.
Ein erstes und ein zweites Bild der von der Auswerteeinheit mittels
mindestens eines Synchronisationssignals erstellten Bildfolge wird
zur Generierung des Bildes verwendet. Aus dem ersten und aus dem
zweiten Bild der Bildfolge werden Bilddaten zur Generierung des
Bildes entnommen. Das Auslösesignal
wird hierbei zur Ermittlung der zu entnehmenden Anteile der Bilddaten
aus den jeweiligen Bildern der Bildfolge verwendet. Das erste Bild
der Bildfolge stellt hierbei das Bild dar, welches gerade im Aufbau
begriffen ist, wenn das Auslösesignal
eintrifft. In Abhängigkeit
vom Auslösesignal
ist es möglich,
sofort mit der sequentiellen zeilenweisen Aufnahme für das Bild
zu beginnen. Es ist nicht notwendig, den Aufbau bzw. die Aufnahme
des ersten Bildes der Bildfolge abzuwarten, bevor mit der Aufnahme
von Bilddaten für
das Bild begonnen werden kann. Beispielsweise kann das Bild ein
virtuelles Bild darstellen, welches aus den letzten zeilenweisen
Aufnahmen von Bilddaten des ersten Bildes der Bildfolge und aus
den ersten zeilenweisen Aufnahmen von Bilddaten des zweiten Bildes der
Bildfolge besteht. Vorteilhafterweise ist es nicht notwendig, auf
ein Synchronisationssignal zu warten, sondern mit der Akquisition
bzw. Aufnahme der Daten für
das Bild sofort zu beginnen. Auf diese Weise kann die zeilenweise
Aufnahme des Bildsensors zu einer Zeitersparnis führen, die
eine höhere
Produkt- bzw. Objektfördergeschwindigkeit
erlaubt.
-
Vorteilhafterweise
ist die Auswerteeinheit zur Erstellung des Bildes mit dem, dem Auslösesignal zeitlich
unmittelbar folgenden oder zeitlich versetzten, durch den Bildsensor
aufgenommenen Bilddaten vorgesehen. Es kann zur Verbesserung der
Bildqualität
von Vorteil sein, einen längeren
Zeitraum nach dem Auslösesignal
abzuwarten, bevor die Aufnahme der Bilddaten für das Bild beginnt.
-
Eine
vorteilhafte Ausführungsform
weist zur Erstellung des Bildes durch die Auswerteeinheit eine objektorientierte
Wie derherstellungsfunktion auf. Objektorientiert bedeutet in diesem
Zusammenhang eine am Prüfobjekt,
das heißt
am tatsächlichen
Gegenstand orientierte Vorgehensweise, wie das Bild wiederherzustellen
ist.
-
Vorteilhafterweise
kann bei der objektorientierten Wiederherstellungsfunktion eine
Kompensation von Bildverschiebungen vorgesehen sein, wie sie üblicherweise
bei Bildsensoren, die mit dem Rolling-Shutter-Prinzip funktionieren,
auftreten. Dadurch können
die Bildverschiebungen, oder Bildscherungen größtenteils eliminiert werden.
Hierbei ist insbesondere ein Mustervergleich mittels der Bilddaten verwendbar,
der eine Rekonstruktion des Bildes des Prüfobjekts ermöglicht.
-
Eine
weitere vorteilhafte Ausführungsform beinhaltet
Mittel zur Erzeugung eines asynchronen Auslösesignals mindestens eines
Sensors, wobei der Sensor ein interner und/oder externer Sensor,
insbesondere der Bildsensor ist. Durch die entsprechende Wahl des
Sensors kann auf die Umstände
der Umgebung des zu prüfenden
Objektes abgestellt werden. Eine Kombination eines internen und
externen Sensors führt
zu einer größeren Menge
an Daten, die als mögliches
Entscheidungspotential genutzt werden können. Der Einsatz von mehreren
Sensoren erhöht die
Flexibilität
der Vorrichtung. Im Gegensatz dazu ist die Verwendung des Bildsensors
als Auslösesignal gebender
Sensor vorteilhaft, falls ein kompaktes System gewünscht ist.
-
Vorteilhafterweise
ist zur Vorrichtung zur Bildbearbeitung mindestens einer getakteten
Bildfolge ein Verfahren zur Funktionskontrolle angebbar. Hierbei
werden mindestens zwei Bilder, die in Verbindung mit unterschiedlichen
Auslösesignalen
erstellt sind, miteinander verglichen. Auf diese Weise kann festgelegt
werden, bei welchem optischen Fluss das Verfahren, bzw. die Vorrichtung
zur Bildverarbeitung mindestens einer getakteten Bildfolge optimal
funktioniert. Werden die Auslösesignale
bei unterschiedlichen optischen Flüssen ausgelöst, entstehen Bilder, die durch
Vergleich einen Hinweis auf die korrekte Funktionsweise geben.
-
Weitere
vorteilhafte Ausbildungen und bevorzugte Weiterbildungen der Erfindung
sind der Figurenbeschreibung und/oder den Unteransprüchen zu
entnehmen.
-
Im
Folgenden wird die Erfindung anhand der in den Figuren dargestellten
Ausführungsbeispiele näher beschrieben
und erläutert.
Es zeigen:
-
1 ein
Zeitschema einer getakteten Bildfolge,
-
2 ein
beispielhaftes Zeitschema mit virtuellen Bildern,
-
3 eine
Darstellung eines beispielhaften Prüfobjekts,
-
4 eine
Darstellung eines Abbildes des Prüfobjektes,
-
5 eine
schematische Darstellung zur beispielhaften Generation eines virtuellen
Bildes,
-
6 eine
schematische, objektbezogene Darstellung der im virtuellen Bild
aufgenommenen Zeilendaten,
-
7 eine
schematische Darstellung einer objektorientierten Rekonstruktion
des Abbildes, und
-
8 ein
Ausführungsbeispiel
einer Vorrichtung zur Aufnahme und Verarbeitung.
-
1 zeigt
ein Zeitschema einer getakteten Bildfolge F gemäß dem Stand der Technik. Die
Bildfolge F enthält
ein erstes Bild F0, ein zweites Bild F1 und ein drittes Bild F2.
Die Bilder F0, F1, F2 der getakteten Bildfolge F sind über einem
Pfeil dargestellt, der den zeitlichen Verlauf der Bildfolge F hervorhebt. Der
mit T bezeichnete schwarze Balken entspricht dem Zeitpunkt des Auslösesignals
(Trigger T). Da zu jedem Neubeginn eines Bildes der Bildfolge F
ein Synchronisationssignal erfolgt, wird nicht das erste Bild F0
zur Überprüfung des
Objektes verwendet, sondern es wird vielmehr das zweite Bild F1
in ein Auslesebild AF übertragen.
Die Zeit zwischen dem Trigger T und dem Beginn des Auslesebildes
verstreicht ungenutzt.
-
2 zeigt
ein beispielhaftes Zeitschema mit virtuellen Bildern, wobei die
virtuellen Bilder VF1, VF2 verwendet werden.
-
Wie
in 1 ist die getaktete Bildfolge F über einem
Pfeil dargestellt, der den zeitlichen Verlauf verdeutlicht. Das
Bild F100 der Bildfolge F ist das letzte Bild, in welchem kein Ereignis
stattfindet. In das erste Bild F0 der Bildfolge F fällt der
Trigger T. Das Triggerereignis erfolgt asynchron zum Takt der Bildfolge
F. Auf das Triggerereignis hin wird das erste virtuelle Bild VF1
aus den Bildern F0 und F1 der Bildfolge F generiert. Folglich korrespondiert
das zweite virtuelle Bild VF2 zu einer Zusammenstellung von Bilddaten
aus den Bildern F1 und F2. Vorteilhafterweise wird das virtuelle
Bild VF1 als Auslesebild ausgelesen und zur Prüfung herangezogen. Man beachte, dass
im Vergleich zum Stand der Technik in 1 der zeitliche
Abstand zwischen dem Trigger T und den Beginn des Auslesebildes
AF keine unnutz verstreichende Zeit liegt. Das Prinzip per se ermöglicht einen
instantanen Beginn der Aufnahme des Auslesebildes AF, wobei sich
in der Praxis unter Umständen
eine Verzögerung
aufgrund der elektronischen Komponenten ergeben kann.
-
3 zeigt
eine Darstellung eines beispielhaften Prüfobjekts P, welches eine rechteckige
Form aufweist. In den folgenden Figuren wird auf das Prüfobjekt
P Bezug genommen.
-
4 zeigt
eine Darstellung eines Abbildes AP des Prüfobjektes P, nachdem das Prüfobjekt
P durch einen Bildsensor aufgenommen wurde, der zur sequentiellen,
zeilenweisen Aufnahme von Bilddaten vorgesehen ist. Aufgrund der
zeitlich versetzten Aufnahmen, bildet sich ein geschertes Objektabbild,
wobei der Scherwinkel im direkten Zusammenhang mit der Bewegungsgeschwindigkeit
des Prüfobjektes
P steht. Aus dem Abbild AP des Prüfobjektes P wird deutlich,
dass sich das Prüfobjekt
P von rechts nach links bewegt haben muss. Hierbei ist vorausgesetzt, dass
die zeilenweise Aufnahme von oben nach unten stattgefunden hat.
Das Abbild AP wird in der Figurenbeschreibung zu 5 verwendet.
-
5 zeigt
eine schematische Darstellung zur beispielhaften Generation eines
virtuellen Bildes. Die schematische Darstel lung zeigt die Bilder
F0, F1 der getakteten Bildfolge F inklusive der zeilenweise aufgenommenen
Teilbereiche der Bilder F0, F1. Geht man von einem internen Triggermechanismus
aus, so könnte
das in der 5 zu sehende Kreuz ein Triggerereignis
darstellen, welches im triggersensitiven Bereich des Bildsensors
erkannt wurde. Der Trigger T erfolgt zu einem Zeitpunkt, da mehr
als die Hälfte
des ersten unterbelichteten Bildes F0 der Bildfolge F bereits aufgenommen
ist. Zudem ist der überwiegende
Teil des Abbildes AP des Prüfobjektes
P bereits abgebildet worden. Da diese Abbildung unter einer zu geringen
Belichtungsdauer stattfindet, ist der obere Teil des Abbildes AP
im ersten Bild F0 der Bildfolge F zur Prüfung nicht verwendbar. Die
Bilddaten, die nach dem Trigger T folgen, werden ab der folgenden
Zeile mit ausreichender Belichtungszeit aufgenommen. Gleichzeitig
wird ein virtuelles Bild VF1 generiert, welches die gleiche Datenmenge
aufnehmen kann, wie die Bilder F0, F1 der Bildfolge F. Folglich erstreckt
sich das virtuelle Bild VF1 über
das Bild F1 der Bildfolge F bis einschließlich dem oberen Teil des Bildes
F0. Folglich enthält
das virtuelle Bild VF1 ein komplettes Abbild AP, welches allerdings
aufgrund der unterschiedlichen Taktung geteilt ist. Dies bedeutet,
dass neben der ohnehin auftretenden Scherung zusätzlich eine Zerschneidung des
Abbildes AP auftritt. Es ist zu beachten, dass das gesamte Abbild
AP bereits nach der siebten Zeile des Bildes F1 der Bildfolge F
beendet ist, wobei im Vergleich zum herkömmlichen Verfahren die Aufnahme
des Abbildes frühestens
fünf Zeilen
später
erfolgt wäre.
Dies stellt eine deutliche Erhöhung
der Aufnahmegeschwindigkeit dar, die auch eine höhere Fördergeschwindigkeit der Prüfobjekte
P erlaubt.
-
6 zeigt
eine schematische, objektbezogene Darstellung der im virtuellen
Bild VF1 aufgenommenen Zeilendaten. Da das Abbild AP auf Bilddaten
aus dem ersten und zweiten Bild (F0, F2) der Bildfolge F aufgebaut
ist, ist die objektorientierte Darstellung des Abbildes AP in zwei
Abbildteile AP1, AP2 geteilt. 6 zeigt
die Zusammenführung
der entsprechenden Zeilen aus den beiden betroffenen Bildern F0,
F1 der Bildfol ge F. Es ist deutlich zu erkennen, dass das Abbild
AP nicht einteilig abgebildet ist, da die Abbildteile AP1, AP2 zu
unterschiedlichen Zeiten aufgenommen wurden. Dies führt zu unterschiedlichen
Bildpositionen. Die Abbildteile AP1, AP2 sind aufgrund der Fortbewegungsgeschwindigkeit des
Prüfobjekts
P im Bild voneinander separiert.
-
7 zeigt
eine schematische Darstellung einer objektorientierten Rekonstruktion
des Abbildes AP. Beispielsweise aufgrund einer Mustererkennungslogik
kann eine Auswerteeinheit 19 beide Abbildteile AP2, AP1
zusammenführen.
Das zweite Abbildungsteil AP2 ist nach links verschoben dargestellt,
damit beide Abbildungsteile AP1, AP2 das wiederhergestellte Abbild
AP zeigen. Des Weiteren ist das Auftauchen eines unbekannten Bereiches
UB im unteren rechten Teil ein untergeordneter Nebeneffekt, bei
dem keine Bilddaten des Abbildes AP betroffen sind.
-
Die
Suche nach der korrekten Position geschieht durch einen Mustervergleich
der beiden Zeilen an der Nahtstelle. Hierfür kommen mehrere aus der Literatur
bekannte Verfahren in Betracht: Summation der Absolutwerte, Summe
der quadrierten Differenzen, Kreuzkorrelation oder normierte Kreuzkorrelation.
-
Das
vorgestellte Verfahren bewirkt gegenüber dem einfachen Rolling-Shutter-Betrieb
eine Verdoppelung der möglichen
Bewegungsgeschwindigkeit des Prüfobjektes
P. Während
gemäß Abtasttheorem
das Prüfobjekt
nur maximal so schnell sein darf, dass der optische Fluss die Hälfte der
Bildfensterbreite beträgt,
ist im vorgestellten Verfahren erlaubt, dass beide gleich sind.
-
Des
Weiteren besteht eine Nachweismöglichkeit,
ob das verwendete Verfahren optimal funktioniert. Wird beispielsweise
für das
Prüfobjekt
P ein CMOS-Sensor als Bildsensor mit Rolling Shutter eingesetzt,
kann durch den Vergleich zweier Prüfungen festgestellt werden,
ob das Verfahren angewendet und ob das Verfahren korrekt angewendet
wird. Eine erste Teilprüfung
besteht aus einer Bildaufnahme, wobei der optische Fluss kleiner
ist als die halbe Bildfensterbreite. Des Weiteren wird ein Bild
aufgenommen, wobei der optische Fluss größer ist als die halbe Bildfensterbreite.
Aus beiden Teilprüfungen
kann durch Vergleich der erstellten Bilder eine Aussage über die
Funktionsweise des Verfahrens gemacht werden. Der optische Fluss
wird hierbei idealerweise in Pixel pro Zeiteinheit angegeben.
-
8 zeigt
ein Ausführungsbeispiel
einer Vorrichtung zur Aufnahme und Verarbeitung mindestens einer
getakteten Bildfolge F mit einem Bildsensor 10, insbesondere
eines CMOS-Sensors, der Bilddaten 15 an einen Bildspeicher 14 und
gleichzeitig ein Bildsynchronisationssignal 17 und ein
Zeilensynchronisationssignal 18 an eine Auswerteeinheit 19 weitergibt.
Die Auswerteeinheit 19 erstellt auf Eingang eines Auslösesignals 21 von
der Triggereinheit 11 ein Bild, wie zum Beispiel ein virtuelles
Bild VF1, wie es in 2 gezeigt ist, mittels der vom
Bildspeicher erhaltenen Bilddaten und der Synchronisationssignale 17, 18.
Das erstellte Bild kann des Weiteren objektorientierte Wiederherstellungsmaßnahmen
unterlaufen, wie zum Beispiel einer Kompensation der Scherung bzw.
einer Kompensation der Neutaktung der virtuellen Bilder. Anschließend kann
das Bild B des Prüfobjekts
P mittels eines Anzeigemittels 20 angezeigt werden.
-
Vorteilhafterweise
weist die Auswerteeinheit 19 eine Zeilenzählvorrichtung 12 auf,
womit die Auswerteeinheit 19 in der Lage ist, diejenige
Zeile zu bestimmen, die gerade vom Bildsensor 10 ausgegeben wurde,
als das Auslösesignal 21 eintraf.
Der Inhalt dieser und aller nachfolgenden Zeilen wird bei Bedarf in
den dafür
vorgesehenen Bildspeicher 14 geschrieben. Der Bildspeicher 14 lässt sich
wahlfrei beschreiben und hat die gleiche Organisation, wie das Bildformat,
so dass es ein leichtes ist, das erste Abbildteil AP1 und das zweite
Abbildteil AP2 entsprechend zuzuordnen.
-
Die
Zeilenzählvorrichtung 12 bzw.
die Adressiereinheit 13, die beide in der Auswerteeinheit 19 enthalten
sind, werden zweckmäßigerweise
als kundenspezifischer Schaltkreis, zum Beispiel als anwenderprogrammierbarer
Logikbaustein hoher Komplexität
(FPGA, Field Programmable Gate Array) ausgeführt. Beispielsweise lässt sich
der bereits beschriebene Mustervergleich ebenfalls vorteilhaft durch
eine kundenspezifische Schaltung realisieren. Im Allgemeinen ist
eine enge Verbindung von Bildsensor 10 und Auswerteeinheit 19,
zum Beispiel mit Hilfe von in kundenspezifischen Schaltkreisen eingebetteten
fertigen Prozessorkernen (Embedded CPU Cores) anzustreben. Dadurch
wird der Datenfluss unabhängig von
genormten, starren Schnittstellen und ist somit leichter handhabbar.
-
Zusammenfassend
betrifft die Erfindung eine Vorrichtung und ein Verfahren zur Aufnahme
und Verarbeitung mindestens einer getakteten Bildfolge mit einem
Bildsensor, der zur sequentiellen, zeilenweisen Aufnahme von Bilddaten
der Bildfolge vorgesehen ist, einem Bildspeicher zur Speicherung
der Bilddaten, Mitteln zur Erzeugung eines zur getakteten Bildfolge
asynchronen Auslösesignals
und einer Auswerteeinheit, die mittels mindestens eines Synchronisationssignals
zur Erstellung einer Bildfolge vorgesehen ist. Es soll ein Verfahren
bzw. eine Vorrichtung angegeben werden, die zu einer schnellen und
kostengünstigen
Bildverarbeitung mindestens einer getakteten Bildfolge führen. Die
Aufgabe wird gelöst,
indem eine Auswerteeinheit zur Erstellung mindestens eines Bildes
aus mindestens einem ersten und einem zweiten Bild der Bildfolge
vorgesehen ist, wobei ein Auslösesignal
zur Ermittlung der zu entnehmenden Anteile der Bilddaten aus den
Bildern der Bildfolge vorgesehen ist.