DE102016118918A1

DE102016118918A1 - Bildaufnahmeverfahren

Info

Publication number: DE102016118918A1
Application number: DE102016118918.9A
Authority: DE
Inventors: Krisztina Tichawa; Nikolaus Tichawa
Original assignee: Tichawa Vision GmbH
Current assignee: Tichawa Vision GmbH
Priority date: 2016-10-05
Filing date: 2016-10-05
Publication date: 2018-04-05
Anticipated expiration: 2036-10-06
Also published as: DE102016118918B4

Abstract

Ein Bildaufnahmeverfahren zur Aufnahme eines Bilds eines zu untersuchenden Objekts mittels einer mehrere, arrayförmig angeordnete Optiken aufweisenden Flächenkamera oder Zeilenkamera beinhaltet eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus einem aufgenommenen Bild erzeugten Teilbildern zu einem resultierenden Gesamtbild, wobei die Überlagerung und/oder das Zusammenfügen mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchgeführt wird. Ein Bildverarbeitungssystem zur Verwendung mit einem solchen Bildaufnahmeverfahren beinhaltet geeignete technische Mittel zur Durchführung des Verfahrens.

Description

HINTERGRUND
Die Erfindung betrifft ein Bildaufnahmeverfahren zur Verwendung bei der Inspektion von Objekten, und bezieht sich insbesondere auf Bildaufnahmeverfahren zur Aufnahme von Gesamtbildern als Zusammenfügung von Teilbildern aus mehreren Optiken und/oder Kameras auch bei sich zeitlich und lokal änderndem Arbeitsabstand zwischen einer Kamera und einem aufzunehmenden Objekt, das auf Flächenkameras und auf Zeilenkameras anwendbar ist.
STAND DER TECHNIK
In der Bildverarbeitung sind sehr häufig Auflösungen erforderlich, die mit einer einzigen Kamera und/oder Optik nicht mehr über das gesamte Bildfeld erreicht werden können, sondern mehrere Kameras und/oder mehrere Optiken erfordern. Ein bekanntes Beispiel ist der CIS basierte Desktop Scanner mit einem Linsenarray aus GRIN Linsen und einem Kamerasensorarray mit typisch 27 Einzelsensoren für das Format A4.
Zeilenkameras sind aus vielfältigen Gründen, etwa abhängig von Pixelgröße, Lichtausbeute, Chipgröße, Objektivgröße, Ausleserate und dergleichen, in der Auflösung derzeit auf maximal etwa 16000 Pixel pro Zeile beschränkt. Zur Erzielung höherer Auflösungen sind mehrere Zeilenkameras so kombinierbar, dass jede einzelne von mehreren Zeilenkameras einen Anteil einer gesamten Bahnbreite eines beispielsweise zu inspizierenden Objekts, etwa einer Bahnware, übernimmt. Solange das inspizierte Objekt hinreichend exakt in der Gegenstandsebene geführt wird, bleibt ein Arbeitsabstand zwischen dem inspizierten Objekt und einer Bildaufnahmevorrichtung in einem verarbeitbaren Bereich, und können jeweils erzeugte Teilbilder per Software zu einem Gesamtbild zusammengeführt werden.
Problematisch oder kritisch sind dabei vor allem Übergänge von einer Kamera zur nächsten. Üblicherweise werden daher die Kameras bei der Montage starr für eine definierte Gegenstandsebene eingerichtet, oder können mit Hilfe eines Testbogens und einer motorisierten Optik in Pausen in einem Inspektionsprozess automatisch einrichtbar sein. Lässt sich allerdings ein zu inspizierendes Objekt (Prüfling) aufgrund Unruhe oder zu geringer Planheit nicht hinreichend exakt in der Gegenstandsebene führen, führt eine Änderung der Gegenstandsebene bei üblichen Objektiven zu einer Änderung des Abbildungsmaßstabs der Teilbilder, so dass die zuvor sorgfältig eingerichteten Übergänge zwischen den Kameras entweder Lücken oder Dubletten zeigen und eine jeweiligen Anforderungen entsprechende Inspektion nur noch eingeschränkt oder insgesamt nicht mehr möglich ist.
Beispielsweise sind Systemtoleranzen derart auslegbar, dass zwar Dubletten, aber keine Lücken auftreten. In diesem Fall kann mit fehlender Maßhaltigkeit eine Inspektion auf Defekte noch möglich sein, eine höheren Anforderungen genügende Inspektion, beispielsweise eine Druckbildkontrolle oder dergleichen, wird jedoch unmöglich. Technische Lösungen wie sogenannte telezentrische Objektive, die bei Arbeitsabstandsänderungen die Bildgröße nur geringfügig ändern, sind anwendungsfallabhängig, etwa bei großen Bahnbreiten, aufgrund hoher Kosten, hohen Gewichts, niedriger Lichtausbeute und benötigten Bauraums nicht praktisch anwendbar.
Alternativ zu Zeilenkameras sind CIS Sensoren mit Linsenarrays verfügbar. CIS Sensoren mit Linsenarrays erzeugen sehr kleine Teilbilder, die nicht wie vorstehend beschrieben zusammengesetzt, sondern konstruktiv überlagert werden. Dadurch und auch aufgrund eines engen Rasters von typisch 1 mm kann eine Empfindlichkeitsmodulation als Funktion des Ortes auf 3 bis 5% gedrückt werden, während sie bei der vorgenannten Lösung ohne Weiteres die Größenordnung von 50% erreichen kann. Vorteile von CIS Sensoren mit Linsenarrays bestehen neben kompakter Bauform in hoher Auflösung, einfachem Aufbau, niedriger Verzeichnung, Winkeltreue und gleichmäßiger Ausleuchtung über die gesamte Lesebreite.
Zeilenkameras und CIS-Sensoren mit eindimensionalen Linsenarrays sowie Flächenkameras mit zweidimensionalen Linsenarrays sind an sich bekannt und werden daher hierin nicht redundant beschrieben.
Derartige Anordnungen sind jedoch hinsichtlich der erzielbaren Tiefenschärfe, die ein Maß ist für die Ausdehnung eines scharfen Bereichs in einem Objektraum eines abbildenden optischen Systems, stark eingeschränkt. Im Falle der Erzeugung eines Gesamtbilds mit einem Linsenarray und optischer Überlagerung ist eine Tiefenschärfe von etwa 10 Pixel bzw. des Zehnfachen der Optikauflösung erreichbar. Geht eine benötigte Tiefenschärfe darüber hinaus, schlägt die konstruktive optische Überlagerung der Teilbilder der einzelnen Linsen durch einen sich verändernden Abbildungsmaßstab in den einzelnen Abbildungspfaden des Linsenarrays fehl, da dann die Größe der Teilbilder nicht mehr mit einem zugrundeliegenden Kanalraster der beteiligten Einzelsysteme des Arrays übereinstimmt. Ein mechanisches Nachführen einzelner Linsen bei sich lokal änderndem Arbeitsabstand ist jedoch bei Anordnungen mit bis zu mehreren tausend Einzellinsen nicht durchführbar. Daher sind hochauflösende Bildaufnahmen nicht möglich.
1 zeigt schematisch vereinfacht ein Prinzip einer Überlagerung von Teilbildern zu einem Gesamtbild in der optischen Domäne, d. h. in Verarbeitung mit Bezug zu optischen Funktionen, mittels Stablinsen 1, die zu einem Linsenarray 2 kombinierbar sind, und bei einer Gegenstandsweite TC und 2 zeigt ein Diagramm bezüglich Kontrastverlusten des Linsenarrays 2 aus 1 als Funktion der Gegenstandsweite TC, d. h. des Abstands zwischen einem Objekt als abzubildendem Gegenstand und einer objektseitigen Hauptebene eines abbildenden optischen Systems.
Werden Teilbilder mit einzelnen Kameras mit jeweils zugeordneter Optik erzeugt und die Teilbilder in der elektrischen bzw. EDV Domäne, d. h. unter Verwendung elektrischer Signal- und/oder Datenverarbeitung, zusammengefügt, führt eine Abstandsänderung zu vergrößerten Teilbildern und Lücken bzw. fehlenden Bildinhalten oder zu verkleinerten Teilbildern und Dubletten bzw. mehrfach, beispielsweise doppelt, vorhandenen Bildinhalten. Eine Kalibrierung per Software oder automatisierter Mechanik ist grundsätzlich möglich, bedarf dann aber einer anzubringenden Vorlage und kann nicht auf transiente oder objektgebundene Abstandsunterschiede beispielsweise beim Flattern von Bahnware oder beim Abscannen rotierender Flaschen mit Griffmulden ausgleichen.
3A zeigt den Fall einer Zusammenfügung bzw. Superposition von aus einem Originalbild eines Objekts erzeugten Teilbildern zu einem Gesamtbild bei korrektem Objektabstand, in welchem Fall die Teilbilder in ihrer Summe das exakte Gesamtbild ergeben, 3B zeigt den Fall einer Zusammenfügung von aus einem Original erzeugten Teilbildern zu einem Gesamtbild bei zu geringem Objektabstand, in welchem Fall die Teilbilder maßstäblich zu groß und der Ausschnitt zu klein ist und daher das Gesamtbild Lücken bzw. fehlende Bildinhalte aufweist, und 3C zeigt den Fall einer Zusammenfügung von aus einem Original erzeugten Teilbildern zu einem Gesamtbild bei zu großem Objektabstand, in welchem Fall die Teilbilder maßstäblich zu klein und der Ausschnitt zu groß ist und daher das Gesamtbild Dubletten bzw. mehrfach vorhandene Bildinformation aufweist. Ein Zusammenfügen der Teilbilder zu einem Gesamtbild mittels so genanntem Stitching, d. h. Zusammenfügen, per Software ist in zumindest den letztgenannten Fällen nicht für alle Bildinhalte möglich und bedingt erheblichen Aufwand in der verarbeitenden Software.
Insgesamt ist keines der bekannten Verfahren in der Lage, Objekte auch dann sauber abzubilden, wenn sie eine exakte Gegenstandsebene aufgrund beispielsweise einer problematischen Bahnführung oder aufgrund der Gestalt eines zu inspizierenden Objekts bzw. Prüflings selbst verlassen.
Beispielsweise sei hierzu eine bedruckte Limonadenflasche aus Glas angenommen, die nicht nur bis in oberflächliche Verjüngungen hinein bedruckt werden soll, sondern darüber hinaus aufgrund von etwa Griffmulden nicht mehr rotationssymmetrisch ist, wobei die Flasche zu ihrer Inspektion und ebenso bei einem Bedrucken derselben um eine Längsachse rotiert, zu welcher die Leselinie einer Kamera parallel verläuft. Mit weiteren Parametern wie Maßtoleranzen, mangelndem Rundlauf und dergleichen kann eine solche Flasche bei ihrer Rotation um die Längsachse die Gegenstandsebene, für welche die Kamera eingerichtet oder einrichtbar ist, für benötigte Inspektionszwecke zu weit verlassen.
Vor diesem Hintergrund liegt der Erfindung als eine Aufgabe zugrunde, ein Verfahren zu schaffen, das die Aufnahme von Gesamtbildern als Zusammenfügung von Teilbildern auch bei sich zeitlich und lokal änderndem Arbeitsabstand zwischen Objekt und Kamera erlaubt, und das auf Flächenkameras wie auch auf Zeilenkameras anwendbar ist:
KURZBESCHREIBUNG DER ERFINDUNG
Erfindungsgemäß wird diese Aufgabe durch ein Bildaufnahmeverfahren mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der beigefügten Unteransprüche.
Erfindungsgemäß werden bekannte Vorteile eines Linsenarrays, beispielsweise eine gegenüber einer Einzellinse höhere erzielbare Auflösung bei geringeren Verzerrungen sowie kleinerer Parallaxenfehler genutzt, um den Nachteil geringerer Tiefenschärfe bei starrer Überlagerung von Teilbildern mittels dynamischer Überlagerung aufzuheben.
Dazu wird die Superposition im elektromagnetischen Feld – Teilbilder überlagern sich zuerst optisch und werden dann in Pixelladungen umgewandelt – durch eine Superposition und/oder ein Zusammenfügen bzw. Stitching in der Pixelladungsdomäne, d. h. mit Bezug zu einer Verarbeitung von Pixelladungen, ersetzt. Genauer werden Teilbilder erzeugt, in Pixelladungen umgewandelt und erst dann überlagert und/oder zusammengefügt. Insbesondere vorteilhaft ist hierbei, dass das Zusammensetzen der Teilbilder auch lokal an eine aktuell bestehende Abbildungsgeometrie anpassbar ist: Entfernt sich beispielsweise ein Teil eines zu inspizierenden Objekts bzw. einer Vorlage, etwa aufgrund eines eigengewichtbedingten Durchhangs eines dünn geschliffenen Wafers oder einer Griffmulde an einer Flasche, kann eine lokale Korrektur in der Datenverarbeitung einen dadurch entstehenden Abbildungsfehler wieder entzerren. Die dazu notwendige Information kann aus einer Wissensbasis, aus einem oder mehreren Sensoren, aus dem Bildsensor selbst mit Hilfe alternativer Lichtquellen oder sogar aus dem Bild selbst gewonnen werden.
Der Erfindung liegt daher die allgemeine Idee zugrunde, für ein verbessertes Bildaufnahmeverfahren ein Bildverarbeitungssystem mit einem Multiplex-Mechanismus auszustatten, der die Aufnahme des Objekts einerseits sowie das Einblenden eines Maßstabs, beispielsweise eines Vermessungsrasters mit geeignet vorbestimmter oder festgelegter Rasterweite, andererseits ermöglicht. Ein dazu geeignetes Verfahren besteht zum Beispiel in einem Zeitmultiplex etwa mit LED Lichtquellen, bei dem sich beispielsweise in einem Bild- oder Zeilenrhythmus eine homogene Lichtquelle zum Abscannen des Objekts mit einem Vermessungsraster, das beispielsweise in Form eines Laserlichtgitters bereitgestellt sein kann, abwechseln kann. Alternativ ist ein Verfahren mit Wellenlängenmultiplex möglich, bei dem Wellenlängenbereiche zum Abscannen des Objekts mit Wellenlängenbereichen für das Vermessungsraster überlagerbar sind und entsprechend ausgelegte Filter in der Kamera sodann Bildinformation von Vermessungsinformation beispielsweise nach Art einer Prismenkamera trennen. Weitere Möglichkeiten sind – beispielsweise im Digitaldruck – der Einbau eines klar sichtbaren oder aber erst durch geeignete Beleuchtung aktivierten Rasters in den Prüfling selbst entweder an festgelegten Orten oder in der Art digitaler Wasserzeichen.
Vorteilhaft kann dabei das Vermessungsraster so ausgestaltet sein, daß Rasterlinien oder Rasterpunkte für zu erwartende Objektabstände nahe an den Kamerarändern bzw. Erfassungsbereichen einer jeweiligen Kamera, aber innerhalb dieser Kameraränder liegen. Ebenfalls vorteilhaft kann es sein, das Raster möglichst orthogonal zur Bildebene einzublenden. Hierdurch kann der Aufwand bei der Bildkorrektur reduziert werden.
In einer derartigen Konfiguration ist sodann Bild für Bild oder Zeile für Zeile ein Verfahrensablauf wie nachstehend durchführbar: Das Mess- bzw. Vermessungsraster wird aus dem aufgenommenen Bild bzw. Vermessungsbild erkannt bzw. identifiziert, und entsprechende Vermessungsrasterinformation wird erzeugt; eine vorbestimmte Anzahl von Teilbildern werden ausgehend von dem Originalbild unter Verwendung der Vermessungsrasterinformation geeignet zugeschnitten; die geeignet zugeschnittenen Teilbilder werden geeignet skaliert und/oder in ihrer Auflösung umgerechnet; und die skalierten und/oder umgerechneten Teilbilder werden geeignet zusammengefügt.
Der Begriff ”geeignet” umfasst hierin insbesondere eine Bedeutung von ”korrekt”. Das Zusammenfügen kann ”hart”, d. h. mit spontanem Wechsel von einem ersten Teilbild zu einem jeweils zweiten bzw. nächsten Teilbild, oder ”weich”, d. h. mit beispielsweise einer gewichteten Überlagerung der jeweiligen Teilbilder in einem Übergangsbereich, erfolgen.
Ferner kann die Vermessungsrasterinformation unmittelbar oder zeitlich geglättet genutzt werden. Durch Glättung, beispielsweise unter Verwendung einer Mittelwertbildung unter Einbezug einer vorbestimmten Anzahl von Nachbarwerten, können Schwankungen von in zeitlicher Folge erhaltener Information, d. h. einer Zeitreihe, ausgeglichen werden.
Im Einzelnen wird die Aufgabe gelöst durch ein Bildaufnahmeverfahren zur Aufnahme eines Bilds eines zu untersuchenden Objekts mittels einer mehrere, arrayförmig angeordnete Optiken aufweisenden Flächenkamera oder Zeilenkamera, bei dem eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus einem aufgenommenen Bild erzeugten Teilbildern zu einem resultierenden Gesamtbild, wobei die Überlagerung und/oder das Zusammenfügen mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchgeführt wird.
Bevorzugt werden dabei die Teilbilder durch einen einzelnen Sensorchip mit einem Array von Optiken als einer Variante A, durch ein Array von Sensorchips mit einer einzigen Optik als einer Variante B, durch ein Array in Kombination der Varianten A und/oder B, oder durch ein Array von Sensorchips mit nicht strikt korreliertem Array von Optiken erzeugt. In anderen Worten können mögliche Anordnungen mit anfallenden Teilbildern beispielsweise ein einziger Sensorchip mit Array von Optiken, ein Array von Sensorchips mit einer einzigen Optik, eine Kombination der beiden vorgenannten Anordnungen, oder ein Array von Sensorchips mit nicht strikt korreliertem Array von Optiken sein. Insbesondere sind auch Anordnungen denkbar, bei welchen Kameras bei einem Endanwender entsprechend dessen Bildfeld zu Gruppen verbunden (zusammengesteckt) werden, vergleichbar zu einer aus der Densitometrie für die Druckindustrie bekannten Vorgehensweise.
Bevorzugt wird dabei ein Vermessungsraster in einen Erfassungsbereich der Kamera eingeblendet, das eingeblendete Vermessungsraster in einem aufgenommenen Bild erkannt, aus dem erkannten Vermessungsraster eine Vermessungsrasterinformation erzeugt, und die vorbestimmte Anzahl von Teilbildern durch Unterteilen des aufgenommenen Bilds auf der Grundlage der Vermessungsrasterinformation erzeugt. Das Vermessungsraster kann auch im Prüfling schon direkt sichtbar vorhanden, über Wellenlängen angeregt oder nach Art digitaler Wasserzeichen aus dem Prüfling dekodiert werden.
Bevorzugt wird das Vermessungsraster möglichst orthogonal zu einer Bildebene eingeblendet.
Bevorzugt wird das Vermessungsraster so ausgestaltet, das Rasterlinien und/oder Rasterpunkte für zu erwartende Objektabstände nahe an Kamerarändern und innerhalb der Kameraränder liegen.
Bevorzugt werden die aus dem aufgenommenen Bild erzeugten Teilbilder jeweils in Pixelladungen umgewandelt und erst nach ihrer Umwandlung in Pixelladungen überlagert und/oder zusammengefügt.
Bevorzugt werden die aus dem aufgenommenen Bild erzeugten Teilbilder vor ihrer Überlagerung und/oder ihrem Zusammenfügen jeweils in vorbestimmter Weise skaliert und/oder in ihrer Auflösung umgerechnet.
Weiter bevorzugt wird zumindest das Zusammenfügen mit spontanem Wechsel von einem jeweils ersten Teilbild zu einem jeweils zweiten, nächsten Teilbild durchgeführt.
Alternativ bevorzugt kann zumindest das Zusammenfügen in einer harten Form mit spontanem Wechsel von einem jeweils ersten Teilbild zu einem jeweils zweiten, nächsten Teilbild durchgeführt werden.
Bevorzugt wird zumindest das Zusammenfügen in einer weichen Form mit gewichteter Überlagerung jeweiliger Teilbilder in einem Übergangsbereich durchgeführt.
Alternativ bevorzugt wird die Vermessungsrasterinformation unmittelbar oder zeitlich geglättet erzeugt und/oder verwendet.
Vorteilhaft ist die Überlagerung und/oder das Zusammensetzen der Teilbilder zur lokalen Korrektur eines Abbildungsfehlers lokal an eine aktuelle Abbildungsgeometrie anpassbar, wobei zur Korrektur erforderliche Information in einem Anpassungsfall aus einer vordefinierten Wissensbasis, zumindest einem Sensor, der in vorbestimmter Zuordnung zu Objekt und/oder Kamera angeordnet ist, aus einem dedizierten Bildsensor und/oder aus dem Bild selbst generiert wird.
Weiter bevorzugt wird ein Zeitmultiplex bereitgestellt, in dem sich in einem vorbestimmten Bild- oder Zeilenrhythmus eine homogene Lichtquelle zum Abtasten des Objekts mit dem aufprojizierten Vermessungsraster abwechselt.
Alternativ bevorzugt kann ein Wellenlängenmultiplex bereitgestellt werden, in dem Wellenlängenbereiche zum Abtasten des Objekts mit Wellenlängenbereichen für das aufprojizierte Vermessungsraster überlagert werden, und sodann mittels eines Filters in der Kamera Bildinformation von Vermessungsinformation getrennt wird.
Die Aufgabe wird auch gelöst durch ein Bildverarbeitungssystem zur Verwendung mit einem Bildaufnahmeverfahren wie vorstehend angegeben, mit zumindest einer Flächenkamera oder zumindest einer Zeilenkamera, die mehrere, arrayförmig angeordnete Optiken aufweist, zur Aufnahme eines Bilds eines zu untersuchenden Objekts; einem Lichtsender zur Projektion eines Vermessungsrasters auf das zu untersuchende Objekt, wobei die Kamera und der Lichtsender einen Multiplex-Mechanismus bilden, der einerseits die Aufnahme des Objekts und andererseits das Einblenden des Vermessungsrasters als Maßstab erlaubt; einem Verarbeitungsmittel zur Erkennung des aufprojizierten Vermessungsrasters in einem aufgenommenen Bild, Erzeugen von Vermessungsrasterinformation aus dem erkannten Vermessungsraster und Erzeugen einer vorbestimmten Anzahl von Teilbildern durch Unterteilen des aufgenommenen Bilds auf der Grundlage der Vermessungsrasterinformation, wobei die Verarbeitungsmittel weiter dazu angeordnet sind, eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus dem aufgenommenen Bild erzeugter Teilbilder zu einem resultierenden Gesamtbild mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchzuführen.
Es versteht sich hierbei, dass die Verarbeitungsmittel beispielsweise ein FPGA oder dergleichen beinhalten und über dieses jeweils geeignete technische Mittel zur Durchführung der jeweiligen Verfahrensschritte bzw. der in diesen angegebenen Funktionalität bereitstellen können.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Erfindung wird nachstehend anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnung näher beschrieben. Es zeigen:
1 schematisch vereinfacht eine bekannte Überlagerung von Teilbildern zu einem Gesamtbild in einer optischen Domäne;
2 schematisch vereinfacht ein bekanntes Diagramm bezüglich Kontrastverlusten eines Linsenarrays als Funktion einer Gegenstandsweite;
3 erklärend mit 3A vereinfacht den Fall einer Zusammenfügung von aus einem Original erzeugten Teilbildern zu einem Gesamtbild bei korrektem Objektabstand, in welchem Fall die Teilbilder in ihrer Summe das exakte Gesamtbild ergeben, mit 3B den Fall einer Zusammenfügung von aus einem Original erzeugten Teilbildern zu einem Gesamtbild bei zu geringem Objektabstand, in welchem Fall die Teilbilder maßstäblich zu groß und der Ausschnitt zu klein ist und daher das Gesamtbild Lücken bzw. fehlende Bildinhalte aufweist, und mit 3C den Fall einer Zusammenfügung von aus einem Original erzeugten Teilbildern zu einem Gesamtbild bei zu großem Objektabstand, in welchem Fall die Teilbilder maßstäblich zu klein und der Ausschnitt zu groß ist und daher das Gesamtbild Dubletten bzw. mehrfach vorhandene Bildinformation aufweist;
4 schematisch vereinfacht eine Vorrichtung zur Implementierung des Bildaufnahmeverfahrens zur Bildaufnahme gemäß dem Ausführungsbeispiel der Erfindung;
5 ein Ablaufdiagramm eines Bildaufnahmeverfahrens gemäß einem Ausführungsbeispiel;
6 eine auszugsweise Abbildung einer konkreten Ausführungsform, die einen Aufbau mit einer erfindungsgemäßen Sensoranordnung bzw. eines erfindungsgemäßen Sensors und einer Testtrommel zeigt;
7 eine weitere auszugsweise Abbildung der konkreten Ausführungsform, die Höhenunterschiede zweier Siemenssterne bei dem Aufbau gemäß 6 veranschaulicht;
8 eine weitere auszugsweise Abbildung der konkreten Ausführungsform, die in die Konfiguration von 7 eingeblendete Laserlinien im Detail zeigt;
9 eine weitere auszugsweise Abbildung der konkreten Ausführungsform, die den Sensor derselben mit abgenommenem Scheibenabschnitt bzw. Fenster zeigt;
10 eine weitere auszugsweise Abbildung der konkreten Ausführungsform, die den Sensor derselben mit abgenommenem Fenster von 9 in vergrößerter Abbildung mit sichtbaren LEDs und Laserdioden zeigt; und
11 eine weitere auszugsweise Abbildung des Sensors von 9 und 10 in einer Seitenansicht.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
Es wird angemerkt, dass in der Zeichnung äquivalente oder gleich wirkende Elemente dieselben oder zumindest ähnliche Bezugszeichen tragen können und in diesem Fall jeweils nicht redundant beschrieben werden.
Ein Bildaufnahmeverfahren gemäß dem vorliegenden Ausführungsbeispiel kann auf Grundlage der Verwendung einer Bildaufnahmevorrichtung wie in 4 gezeigt durchgeführt werden. Die in 4 dargestellte Bildaufnahmevorrichtung kann an sich bekannte Stablinsen 1 und Anordnungen von Stablinsen 1 als Linsenarrays 2, die unter Verwendung von beispielsweise Silikonharz 3 zwischen faserverstärkte Kunststoffplatten bzw. FRP(Fiber-Reinforced Plastics)-Seitenplatten 4 eingebettet sind, wie in 1 beispielhaft dargestellt, beinhalten.
Bekannte Vorteile eines solchen Linsenarrays 2 sind beispielsweise eine gegenüber einer Einzellinse höhere erzielbare Auflösung bei geringeren Verzerrungen sowie kleineren Parallaxenfehlern. Vorteile dieser Art werden in diesem Ausführungsbeispiel dazu genutzt, den Nachteil geringerer Tiefenschärfe bei starrer Überlagerung von durch Einzelsysteme des Linsenarrays erzeugten Teilbildern, wie in 2 beispielhaft dargestellt, mittels dynamischer Überlagerung aufzuheben.
Genauer zeigt 4 als wesentliche Elemente einer Vorrichtung zur Durchführung des Verfahrens gemäß dem vorliegenden Ausführungsbeispiels, die in einem Gehäuse 5 verbaut sind und über (nicht gezeigte) elektrische Leiterverbindungen anschließbar und ansteuerbar sind, ein Linsenarray 10, beispielsweise eine Anordnung aus mehreren Stablinsen 1, eine LED-Beleuchtung bzw. mittels Leuchtdioden arbeitende Beleuchtungseinrichtung 20, eine Anordnung aus Linienlasern 30 zum Einblenden eines Vermessungsrasters. Es wird angemerkt, dass das Verfahren gemäß dem Ausführungsbeispiel mittels Hardware in beispielsweise einem FPGA (Field Programmable Gate Array) (nicht gezeigt) realisiert sein kann, das dazu ausgelegt ist, notwendige Bandbreiten zu erreichen, und FPGA-interne Verarbeitungsabläufe weiter in einer Kamera selbst enthalten sein können. Das Linsenarray 10, die LED-Beleuchtung 20, die Linienlaser 30, und ein FPGA als grundlegende technische Baugruppen der in 4 gezeigten Vorrichtung sind an sich bekannt und werden daher hierin nicht redundant beschrieben.
Die in 4 dargestellte Vorrichtung bildet beispielsweise zumindest einen Teil einer Flächenkamera oder Zeilenkamera als einer Bildaufnahmeeinrichtung aus, die in einem vorbestimmten Abstand zu einem zu inspizierenden Objekt positionierbar ist und dazu angeordnet ist, das zu inspizierende Objekt abzuscannen oder abzutasten und dabei jeweils Bilder des abgescannten oder abgetasteten Objekts aufzunehmen. Es versteht sich, dass dazu das zu inspizierende Objekt geeignet aufgelagert und/oder geführt werden kann. Ebenso versteht sich, dass die in 4 dargestellte Vorrichtung mit einer (nicht gezeigten) Datenverarbeitungsanlage zur weiteren Bildverarbeitung verbunden sein kann. Die Datenverarbeitungsanlage kann beispielsweise durch ein Computersystem gebildet sein, das über dort übliche Komponenten wie CPU, RAM, ROM, Datenspeicher, Schnittstellen, Eingabe/Ausgabe, Bildschirm, usw. verfügt.
Für eine Objektinspektion befindet sich ein zu inspizierender Bereich des Objekts zumindest teilweise in einer Fokusebene der Kamera. Gemäß 4 sind mehrere Zeilenkameras bzw. jeweils zugeordneten Optiken so kombiniert, dass jede einzelne einen Anteil einer gesamten Breite des zu inspizierenden Objekts übernimmt.
Nachstehend wird ein Bildaufnahmeverfahren unter Verwendung der in 4 gezeigten Vorrichtung beschrieben. Das Bildaufnahmeverfahren leistet die Aufnahme eines Bilds des zu untersuchenden Objekts mittels einer mehrere, arrayförmig angeordnete Optiken aufweisenden Flächenkamera oder Zeilenkamera, bei dem eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus einem aufgenommenen Bild erzeugten Teilbildern zu einem resultierenden Gesamtbild, wobei die Überlagerung und/oder das Zusammenfügen mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchgeführt wird.
Wird aus einer übergeordneten Verarbeitung, beispielsweise einer Steuerung oder Auslösung, eine Bildaufnahme des zu inspizierenden Objekts veranlasst, wird zunächst in einem Schritt S510 ein Vermessungsraster so in den Erfassungsbereich der Kamera eingeblendet oder projiziert, beispielsweise auf das zu inspizierende Objekt aufprojiziert, dass die Kamera das Vermessungsraster zusammen mit Bildinformation des Objekts aufzeichnet. Das Einblenden des Vermessungsrasters in vorbestimmt geeigneter Auslegung (Rastergröße) erfolgt bei dem vorliegenden Beispiel ausgerichteter Zeilensensoren hierin vorzugsweise durch eine Anordnung von Linienlasern 30, die wie in 4 gezeigt in dem Gehäuse der Kamera aufgenommen sind. Vorteilhaft kann dabei das Vermessungsraster so ausgestaltet sein, daß Rasterlinien oder Rasterpunkte für zu erwartende Objektabstände nahe an den Kamerarändern oder Rändern einzelner Kamerasysteme, aber innerhalb dieser Kameraränder liegen. Ebenfalls vorteilhaft kann es sein, das Raster orthogonal zur Bildebene einzublenden. Hierdurch kann der Aufwand bei der Bildkorrektur reduziert werden. Vorteilhaft erzielt werden kann dies durch Verwendung komplexerer Laserstrukturen, wie beispielsweise Kreuze unter 45 Grad oder Ringe, die ein zweidimensionales Vermessen und Skalieren ermöglichen.
In einem nachfolgenden Schritt S520 wird, während das Vermessungsraster eingeblendet ist, eine Bildaufnahme des Objekts durchgeführt.
Sodann wird in einem Schritt S530 das in Schritt S510 eingeblendete Vermessungsraster in dem aufgenommenen Bild identifiziert bzw. erkannt, beispielsweise mittels geeigneter Software und/oder auf der Grundlage von aufgrund des vorangehenden Einblendens bekannter Vermessungsrasterdaten aus den in Schritt S520 optisch aufgezeichneten Bilddaten herausgerechnet.
In einem Schritt S540 wird aus den in Schritt S530 erhaltenen Ergebnissen, d. h. dem in dem aufgenommenen Bild identifizierten Vermessungsraster, Vermessungsrasterinformation erzeugt. Hierbei kann die Vermessungsrasterinformation unmittelbar oder zeitlich geglättet genutzt werden. Für Information der hier vorliegenden Art sind verschiedenartige Glättungsverfahren bekannt, so dass diese hierin nicht redundant beschrieben werden.
Die erzeugte Vermessungsrasterinformation wird in einem nachfolgenden Schritt S550 dazu verwendet, eine vorbestimmte Anzahl von Teilbildern, die insoweit dem Vermessungsraster entsprechen, aus dem aufgenommenen Bild (Originalbild) zuzuschneiden. In anderen Worten wird das aufgenommene Bild auf der Grundlage der Vermessungsrasterinformation in eine entsprechende Anzahl von Teilbildern unterteilt.
Sodann werden in einem Schritt S560 die in Schritt S550 erzeugten Teilbilder skaliert und/oder umgerechnet, beispielsweise hinsichtlich Größe und/oder Auflösung. Genauer werden die erzeugten Teilbilder in Pixelladungen umgewandelt und dabei erforderlichenfalls lokal an eine aktuelle Abbildungsgeometrie angepasst. In anderen Worten kann ein Abbildungsfehler, der durch einen außerhalb eines verwendbaren Tiefenschärfebereichs zu liegen kommenden Teil des zu inspizierenden Objekts verursacht wird, in der Datenverarbeitung lokal korrigiert werden, um einen erfassten Abbildungsfehler wieder zu entzerren. Die dazu notwendige Information kann aus einer Wissensbasis, aus einem oder mehreren Sensoren, aus dem Bildsensor selbst mit Hilfe alternativer Lichtquellen oder sogar aus dem Bild selbst gewonnen werden.
Schließlich werden in einem Schritt S570 die soweit vorbereiteten Teilbilder durch Superposition in der Pixelladungsdomäne überlagert und/oder zusammengefügt. Die Superposition und das Zusammenfügen erfolgen hierbei in im Sinne von ”korrekt” geeigneter Weise. Das Zusammenfügen kann beispielsweise hart, d. h. mit spontanem Wechsel von einem ersten Teilbild zu einem jeweils zweiten bzw. nächsten Teilbild, oder weich, d. h. mit beispielsweise einer gewichteten Überlagerung der jeweiligen Teilbilder in einem Übergangsbereich, erfolgen.
Nach Schritt S570 kehrt der Prozessablauf zur weiteren Verarbeitung definiert zurück, beispielsweise zu der übergeordneten Verarbeitung, durch welche er anwendungsabhängig und etwa in vorbestimmter Weise zyklisch erneut angestoßen werden kann.
Vorstehend wurde somit ein Verfahren zur Aufnahme eines Bilds eines zu untersuchenden Objekts mittels einer mehrere, arrayförmig angeordnete Optiken aufweisenden Flächenkamera oder Zeilenkamera beschrieben. Das Verfahren leistet eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus einem aufgenommenen Bild erzeugten Teilbildern zu einem resultierenden Gesamtbild, wobei die Überlagerung und/oder das Zusammenfügen mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchgeführt wird. Ein Bildverarbeitungssystem zur Verwendung mit dem vorgenannten Bildaufnahmeverfahren beinhaltet zur Durchführung des Verfahrens geeignete Software und/oder Hardware.
Es versteht sich, dass die Erfindung nicht auf das vorstehend konkret beschriebene Ausführungsbeispiel beschränkt ist, sondern dass Modifikationen, die in äquivalenten, vergleichbaren oder ähnlichen Konfigurationen resultieren, für den Fachmann ohne weiteres ersichtlich und daher nicht als Abweichen vom Gegenstand der Erfindung wie in den nachfolgenden Ansprüchen definiert zu werten sind.

Claims

Bildaufnahmeverfahren zur Aufnahme eines Bilds eines zu untersuchenden Objekts mittels einer mehrere, arrayförmig angeordnete Optiken aufweisenden Flächenkamera oder Zeilenkamera, gekennzeichnet durch eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus einem aufgenommenen Bild erzeugten Teilbildern zu einem resultierenden Gesamtbild, wobei die Überlagerung und/oder das Zusammenfügen mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchgeführt wird.
Bildaufnahmeverfahren nach Anspruch 1, bei dem die Teilbilder durch einen einzelnen Sensorchip mit einem Array von Optiken als einer Variante A, durch ein Array von Sensorchips mit einer einzigen Optik als einer Variante B, durch ein Array in Kombination der Varianten A und/oder B, oder durch ein Array von Sensorchips mit nicht strikt korreliertem Array von Optiken erzeugt werden.
Bildaufnahmeverfahren nach Anspruch 1 oder 2, bei dem ein Vermessungsraster in einen Erfassungsbereich der Kamera eingeblendet, das eingeblendete Vermessungsraster in einem aufgenommenen Bild erkannt wird, aus dem erkannten Vermessungsraster eine Vermessungsrasterinformation erzeugt wird, und die vorbestimmte Anzahl von Teilbildern durch Unterteilen des aufgenommenen Bilds auf der Grundlage der Vermessungsrasterinformation erzeugt wird.
Bildaufnahmeverfahren nach Anspruch 3, bei dem das Vermessungsraster orthogonal zu einer Bildebene eingeblendet wird.
Bildaufnahmeverfahren nach Anspruch 3 oder 4, bei dem das Vermessungsraster so ausgestaltet wird, dass Rasterlinien und/oder Rasterpunkte für zu erwartende Objektabstände nahe an Kamerarändern und innerhalb der Kameraränder liegen.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche, bei dem die aus dem aufgenommenen Bild erzeugten Teilbilder jeweils in Pixelladungen umgewandelt und erst nach ihrer Umwandlung in Pixelladungen überlagert und/oder zusammengefügt werden.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche, bei dem die aus dem aufgenommenen Bild erzeugten Teilbilder vor ihrer Überlagerung und/oder ihrem Zusammenfügen jeweils in vorbestimmter Weise skaliert und/oder in ihrer Auflösung umgerechnet werden.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche, bei dem zumindest das Zusammenfügen mit spontanem Wechsel von einem jeweils ersten Teilbild zu einem jeweils zweiten, nächsten Teilbild durchgeführt wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 1 bis 8, bei dem zumindest das Zusammenfügen in einer harten Form mit spontanem Wechsel von einem jeweils ersten Teilbild zu einem jeweils zweiten, nächsten Teilbild durchgeführt wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 1 bis 8, bei dem zumindest das Zusammenfügen in einer weichen Form mit gewichteter Überlagerung jeweiliger Teilbilder in einem Übergangsbereich durchgeführt wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 3 bis 10, bei dem die Vermessungsrasterinformation unmittelbar oder zeitlich geglättet erzeugt und/oder verwendet wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche, bei dem die Überlagerung und/oder das Zusammensetzen der Teilbilder zur lokalen Korrektur eines Abbildungsfehlers lokal an eine aktuelle Abbildungsgeometrie anpassbar ist, wobei zur Korrektur erforderliche Information in einem Anpassungsfall aus einer vordefinierten Wissensbasis, zumindest einem Sensor, der in vorbestimmter Zuordnung zu Objekt und/oder Kamera angeordnet ist, aus einem dedizierten Bildsensor und/oder aus dem Bild selbst generiert wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 3 bis 12, bei dem ein Zeitmultiplex bereitgestellt wird, in dem sich in einem vorbestimmten Bild- oder Zeilenrhythmus eine oder mehrere homogene Lichtquelle(n) zum Abtasten des Objekts mit einem oder mehreren eingeblendeten Vermessungsraster(n) abwechselt.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 3 bis 12, bei dem ein Wellenlängenmultiplex bereitgestellt wird, in dem Wellenlängenbereiche zum Abtasten des Objekts mit Wellenlängenbereichen für das eingeblendete Vermessungsraster überlagert werden, und sodann mittels eines Filters in der Kamera Bildinformation von Vermessungsinformation getrennt wird.
Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche 3 bis 12, bei dem erst vom Anwender für sein Bildfeld zusammenfügbare Kamerabausteine zur Erzeugung der Teilbilder verwendet werden.
Bildverarbeitungssystem zur Verwendung mit einem Bildaufnahmeverfahren nach einem der vorangehenden Ansprüche, mit zumindest einer Flächenkamera oder zumindest einer Zeilenkamera, die mehrere, arrayförmig angeordnete Optiken aufweist, zur Aufnahme eines Bilds eines zu untersuchenden Objekts; einem Lichtsender zur Projektion eines Vermessungsrasters auf das zu untersuchende Objekt, wobei die Kamera und der Lichtsender einen Multiplex-Mechanismus bilden, der einerseits die Aufnahme des Objekts und andererseits das Einblenden des Vermessungsrasters als Maßstab erlaubt; einem Verarbeitungsmittel zur Erkennung des eingeblendeten Vermessungsrasters in einem aufgenommenen Bild, Erzeugen von Vermessungsrasterinformation aus dem erkannten Vermessungsraster und Erzeugen einer vorbestimmten Anzahl von Teilbildern durch Unterteilen des aufgenommenen Bilds auf der Grundlage der Vermessungsrasterinformation, wobei die Verarbeitungsmittel weiter dazu angeordnet sind, eine Überlagerung und/oder ein Zusammenfügen einer vorbestimmten Anzahl von aus dem aufgenommenen Bild erzeugter Teilbilder zu einem resultierenden Gesamtbild mittels dynamischer Überlagerung der Teilbilder in der Pixelladungsdomäne durchzuführen.