DE102016102110A1

DE102016102110A1 - Verfahren zur zeilenweisen Bildabtastung

Info

Publication number: DE102016102110A1
Application number: DE102016102110.5A
Authority: DE
Inventors: Krisztina Tichawa; Nikolaus Tichawa
Original assignee: Individual
Current assignee: Tichawa Vision De GmbH
Priority date: 2016-02-07
Filing date: 2016-02-07
Publication date: 2017-08-10
Also published as: WO2017133736A2; WO2017133736A3; EP3412024A2

Abstract

Ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltet ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet, und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche. Das Verfahren stellt durch Vollaussteuern sowohl kleiner als auch großer Pixel bei derselben Leuchtdichte eine konstante Empfindlichkeit bereit, die auch bei Vergrößerung eines Bildausschnitts zu einer interessierenden Region in nur unwesentlich ansteigender Bandbreite resultiert.

Description

HINTERGRUND
Die Erfindung betrifft ein Verfahren zur zeilenweisen Bildabtastung, und bezieht sich insbesondere auf ein Verfahren zur zeilenweisen Bildabtastung mit einer integrierten dynamischen Linsenfunktion unter Verwendung von Pixeln mit größenunabhängiger Empfindlichkeit.
STAND DER TECHNIK
Bislang sind auf dem Gebiet der Bildabtastung Zeilen- und Flächenkameras mit statisch umschaltbarer Auflösung bekannt. In Kameras dieser Art werden als optoelektronische Sensoren häufig CCD(Charged Coupled Device)-Sensoren eingesetzt. CCD-Sensoren sind helligkeits- bzw. lichtempfindliche elektronische Bauelemente, die auf dem bei Halbleitern auftretenden inneren Photoeffekt, im Bereich der Bildsensoren vorwiegend auf der anschließenden Akkumulation der von Photonen erzeugten Elektron-Loch-Paaren in Pixeln beruhen. CCD-Sensoren sind vorwiegend Flächensensoren, bei welchen für das Auslesen des Sensors die in einem Potentialtopf zwischengespeicherten Ladungen der Photodioden in zahlreiche vertikale CCDs (vertikales Schieberegister) übernommen und dann im Takt der Zeilenfrequenz vertikal verschoben wird. Die jeweils aus jeder CCD-Spalte austretende Ladung gelangt in ein oder mehrere horizontale CCD (horizontale Schieberegister), welche schnell verschoben werden (Videobandbreite bestimmende Pixelfrequenz). Am Ausgang der horizontalen Schieberegister sitzt jeweils eine Auslesestruktur, typisch ein Ladekondensator, ein Reset- oder Entladeschalter und ein ein- oder mehrstufiger Source Follower als Impedanzwandler. Die CCD Schieberegisterstrukturen liefern in aller Regel keinen Rauschbeitrag, die verstärkende Ausgangsstruktur dagegen schon.
Alternativ werden als optoelektronische Sensoren CMOS-Sensoren (Active Pixel Sensoren bzw aktive Pixelsensoren) eingesetzt. Ein aktiver CMOS-Pixelsensor ist ein Halbleiterdetektor zur Lichtmessung, der in CMOS-Technik hergestellt ist und bei dem jedes Bildelement eine Verstärkerschaltung für das Auslesen des Signals aufweist, sodass daher in der Regel nicht einzelne Verstärker wie bei CCD-Sensoren für mehrere Pixel genutzt werden müssen (passive CMOS-Pixel sind ihrer schlechten Kennwerte wegen nicht mehr üblich). Dadurch kann bei einer gegebenen Pixelrate jeder Verstärker mit einer geringeren Bandbreite und geringerem Eigenrauschen betrieben werden. Bei CMOS-Technik sind ferner weitere Funktionen, wie beispielsweise eine Belichtungssteuerung, eine Kontrastkorrektur oder eine Analog-Digitalwandlung, in einen Sensorchip integrierbar.
CMOS-Sensoren sind gegenüber CCD-Sensoren dahingehend vorteilhaft, dass durch direktes Adressieren der einzelnen Pixel und dadurch Entfall der Ladungsverschiebungen das Signal jedes einzelnen Pixels schneller und flexibler auslesbar ist. Weitere Vorteile beinhalten eine hohe Dynamik, die Erfassbarkeit kontrastreicher und heller Objekte, und eine gegenüber CCD-Sensoren einfachere Versorgung mit geringerer Leistungsaufnahme. Darüber hinaus sind sie hochgradig unempfindlich gegen Blooming.
Eine spezielle Form von Bildsensoren stellen Photodioden-Anordnungen bzw. Arrays (PDA) aus CCD- oder CMOS-Sensoren dar, die als solche die Form eines n×1-Bildsensors ausbilden, d.h. bei denen die einzelnen lichtempfindlichen Halbleiterpixel in Reihen angeordnet sind. Derartige Anordnungen können zur Herstellung von Zeilensensoren oder Photodiodenzeilen als optoelektronische Sensoren verwendet werden. Dabei bestimmt die Pixelgröße die Auflösung, wobei die Pixelanzahl wiederum von der Länge der Abtastzeile und der Pixelgröße abhängig ist. Anwendungsbezogen kann hierbei die Auflösung zwischen einigen wenigen Bildpunkten pro Zoll (dpi) bzw. cm und bis zu mehreren tausend Bildpunkten pro Zoll betragen. Die Zeilenzahl beträgt typisch zwischen einer Zeile für Monochrom-Anwendungen und bis zu 4 Zeilen für Farb(RGBIR oder RGBSW)-Anwendungen bzw. bis zu 128 Zeilen für sogenannte TDI (Time Delay and Integration) Sensoren mit besonders hoher Lichtempfindlichkeit sowie für 3D Sensoren mit räumlich strukturierter Beleuchtung.
Zeilensensoren sind insbesondere zur Verwendung als so genannte CCD-Zeilen oder (bei CMOS) Kontaktbildsensoren (CIS; Contact Image Sensor) in Geräten geeignet, in denen sie ein – vorzugsweise bereits bewegtes – Objekt zeilenweise abtasten. Beim Abtastvorgang wird der Sensorbereich mit einem Lichtstreifen beleuchtet. Das reflektierte Licht wird – für Zeilenkameras mit einem Objektiv, für CIS-Sensoren mit einem GRIN(Graded Index)-Linsenarray (SELFOC; SELf FOCusing) – auf den Zeilensensor abgebildet, von dem Zeilensensor als analoges Signal erfasst und sodann in einem A/D-Wandler in ein digitales Signal gewandelt. Insbesondere CIS-Sensoren erreichen mit bis zu 100000 Pixeln pro Zeile eine höhere Ortsauflösung als Zeilenkameras und weisen Freiheitsgrade zugunsten einer verzeichnungsfreien Optik und hoher Taktrate auf.
In einem bekannten Verfahren werden CCD-Sensoren der vorgenannten Art beim Auslesen so getaktet, dass noch auf einer Sensoranordnung (Sensorchip) Pixelladungen aufsummiert werden (beispielsweise durch analoge Addition der Helligkeitswerte durch physikalische Ladungsaddition und Ladungstransport auf dem Bildsensor selbst hin zum lokalen Zeilenverstärker) und dadurch eine zweidimensional lokal variable Auflösung erzielt wird. Die Möglichkeit der Summation von Ladungen ist ein inhärentes Merkmal von CCD Sensoren. Nachteilig sind hierbei jedoch auftretende Dynamikprobleme, weil – vereinfacht ausgedrückt – sowohl die noch auf der Sensoranordnung aufsummierten (und ein Vielfaches einer Einzelpixelladungsmenge darstellenden) Summenpixelladungen als auch Einzelpixelladungen durch dieselbe Auslesestruktur geführt werden und die Auslesestruktur einen entsprechend großen Dynamikbereich bereitstellen muss, damit Summenpixelladungen beispielsweise nicht ausblühen oder Einzelpixelladungen nicht in beispielsweise Rauschen untergehen. Außerdem ist dieses auf CCD-Technik basierende bekannte Verfahren mit lokal variablem Binning im CCD entweder auf Monochrom-Kameras beschränkt, weil benachbarte Pixel unterschiedliche Farben haben und nicht sinnvoll aufaddiert werden können, oder auf sehr aufwändige und damit teure 3-Chip-Kameras. Es wird angemerkt, dass das bekannte Verfahren grundsätzlich auch mit einem trilinearen Sensor möglich wäre. Jedoch sind dem Anmelder bislang keine trilinearen Sensoren mit der erforderlichen separaten Clock- bzw. Taktansteuerung bekannt, die jedenfalls benötigt werden, da sich die drei Sensoren an geometrisch verschiedenen Orten befinden und demzufolge daher auch zu verschiedenen Zeitpunkten die Auflösung umschalten müssen.
Bei der digitalen Bildgewinnung mit optoelektronischen Sensoren wird ein Zusammenfassen benachbarter Bildelemente bzw. (Einzel)Pixel innerhalb einer Zeile und/oder einer Spalte zu einem virtuellen Bildpunkt auch als Binning bezeichnet. Varianten des Binnings beinhalten horizontales oder vertikales Binning (eindimensional horizontal oder vertikal) sowie Vollbinning (zweidimensional). Durch das Zusammenfassen und dadurch Bilden von Pixelblöcken wird eine höhere Lichtempfindlichkeit pro einem virtuellen Bildpunkt erreicht, und verbessert sich der Signal-Rauschabstand aufgrund des statistisch verteilten Rauschens. Nachteilig reduziert sich jedoch die Bildauflösung entsprechend der Anzahl der zusammengefassten Pixel. Der Vollständigkeit halber wird angemerkt, dass bei Zeilensensoren die wirksame Pixelhöhe durch eine Mischfunktion aus geometrischer Pixelhöhe einerseits und dem Quotienten aus Vorschubgeschwindigkeit und Zeilenrate andererseits gegeben ist.
Binning kann somit zwar insbesondere dann, wenn hochauflösende Sensoren genutzt werden und wenn ein hoher Dynamikumfang erforderlich ist, die Bandbreite bei der Übertragung an eine nachfolgende Weiterverarbeitung reduzieren. Allerdings erfordert bereits ein Binning von beispielsweise (linear) 8:1 für 8 Bit Grauwerte eine Dynamik von 64×256 oder 16384 (2¹⁴ Helligkeitswerte entsprechend 84 dB). Gleichzeitig steigt das Risiko von Bloomingeffekten. Zwar sind Mechanismen zur Reduktion von Blooming bekannt, diese reduzieren aber wieder zwangsläufig den Dynamikbereich um bis zu fast eine Größenordnung.
Wesentliche Nachteile bisher bekannter Anordnungen und Verfahren unter Verwendung von CCD-Sensoren bestehen insoweit in entweder lediglich statischer Umschaltbarkeit der Auflösung und/oder darin, dass bei konstantem Beleuchtungsfluss und zweidimensional lokal variabler Auflösung das Pixelsignal mit dem Quadrat der Pixelabmessung zunimmt und einen außerordentlich hohen Dynamikbereich erfordert, der als solcher häufig nicht realisierbar ist und/oder extrem hohe Beleuchtungsintensitäten erfordert. Bei CCD Sensoren entstehen zusätzliche Probleme durch die Anfälligkeit für Blooming: Einzelne Glanzpunkte führen zu lokaler Übersteuerung. Im Schieberegister fließt dann überschüssige Ladung in zu den Nachbarpixeln gehörigen Potentialtöpfe über, der Glanzpunkt erscheint örtlich verschmiert, bedingt durch die vorstehend beschriebene Auslesestruktur vorwiegend in vertikaler Richtung:
CMOS Sensoren weisen im Gegensatz zu CCD-Sensoren nicht nur keinen intrinsischen Binningmechanismus auf, die aktiven Pixel sind durch die schwankende Schwellspannung der Verstärkertransistoren und die niedrige Ausgangsimpedanz sowie durch das Fehlen genauer Widerstände sogar besonders schlecht geeignet, zeitlich und lokal variables analoges Binning zu unterstützen. Digitales Binning hingegen führt – wie in Simulationen aufgezeigt wurde – zu enorm aufwendigen Summationsstrukturen mit extremen Verlustleistungen.
Stand der Technik ist auch der Einsatz von Shuttern bzw. Belichtungselektroden zur Steuerung der Akkumulation von Photoelektronen einerseits sowie von gepulsten Lichtquellen andererseits. Dabei scheint im CCD Bereich eher der Einsatz von Shuttern und Belichtungselektroden üblich, im CIS Bereich eher der Einsatz gepulster Lichtquellen. Beides – Shutter wie gepulste Lichtquellen – kann neben der Gewinnung gleich heller Bilder bei unterschiedlichen Transportgeschwindigkeiten auch zur Steuerung der Pixelgröße in Laufrichtung genutzt werden, gegebenenfalls auch durch Mehrfachblitzen. Die effektive Pixelhöhe ergibt sich im Wesentlichen als Faltungsintegral aus der geometrischen Pixelhöhe auf dem Sensor und aus dem – per Blitzdauer oder per Shutteröffnungsdauer multipliziert mit der Vorschubgeschwindigkeit – erfassten Bereich auf der Vorlage. Im CIS Bereich ist neben herkömmlichen trilinearen Sensoren mit Farbfiltern auch das Einlesen von Farbbildern mittels LED Multiplex weit verbreitet, beispielsweise in Bankomaten oder CIS basierten Desktop Scannern.
KURZBESCHREIBUNG DER ERFINDUNG
Der Erfindung liegt daher als eine Aufgabe zugrunde, die vorstehenden Nachteile zu überwinden und für Bildsensoren ein Verfahren zur zeilenweisen Bildabtastung mit dynamischer Umschaltbarkeit der Auflösung bei geringstmöglichen Kosten der Verarbeitungsstufen bereitzustellen.
Darüber hinaus soll ein solches Verfahren für eine Zeilenkamera und/oder einen Kontaktbildsensor bzw. CIS-Sensor bereitgestellt werden.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur zeilenweisen Bildabtastung mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der beigefügten Unteransprüche.
Der Erfindung liegt die allgemeine Idee zugrunde, mittels eines Bildsensors, vorzugsweise eines Zeilensensors, zumindest einen lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten eines abgetasteten Gegenstands oder Objekts ohne nennenswerten bzw. bei vernachlässigbarem Bandbreitenanstieg zu ermöglichen. Erfindungsgemäß wird hierzu eine dynamisch verfügbare, das heißt bei laufender Erfassung einer Bildaufnahme von Zeile zu Zeile in dem erfassten Bild umschaltbare lokale Vergrößerung (Zoom) vorgeschlagen, mit welcher in einem Bildfeld ein oder mehrere Fenster höherer Auflösung als interessierende Region (ROI, Region of Interest) wahlweise fest im Bild verankert oder beweglich derart implementiert wird/werden, dass die Videobandbreite dennoch nicht oder nur unwesentlich ansteigt. Das erfindungsgemäße Verfahren löst dabei zumindest drei unterschiedliche Arten anwendungsspezifischer Probleme bei einem zu untersuchenden Objekt, genauer solche einer vordefinierten festen Geometrie (Art und/oder Ort einer interessierenden Region sind bekannt, beispielsweise ein vorbestimmt großer Barcode oder eine Verbindungsstruktur wie etwa eine Verschweißung an einer vorbestimmten Stelle des Objekts), einer vordefinierten variablen Geometrie (Art und/oder Ort einer interessierenden Region können variieren, beispielsweise objektabhängig unterschiedlich große Barcodes an unterschiedlichen Orten), und/oder einer vorab unbekannten variable Geometrie (Art und/oder Ort einer interessierenden Region sind zunächst unbestimmt und aus einer laufenden Bildaufnahme zu erfassen, beispielsweise unregelmäßig auftretende Fehlerstellen, Löcher, Risse, Einschlüsse und dergleichen).
Eine dazu erfindungsgemäß konstante bzw. gleichbleibende Empfindlichkeit dahingehend, dass sowohl „kleine" Bildelemente bzw. Pixel (ohne Binning) als auch „große" Bildelemente bzw. Pixel (mit Binning) bei derselben bzw. gleicher Leuchtdichte voll ausgesteuert werden, kann durch Verwendung der ladungserzeugenden Photodiode als Ladekondensator erreicht werden, wodurch Pixel erhalten werden, die auf diese Weise unabhängig von einer aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert sind. Diese Pixel können dann simultan am selben Aufnahmeort und durch dieselbe Abbildungsoptik beliebige Bildausschnitte mit gleichen oder unterschiedlichen Auflösungen erfassen. In einer praktischen Ausführung werden dazu beispielsweise Elementarpixel über analoge Schalteinrichtungen (Analogschalter bzw. Binningschalter in Form beispielsweise geeigneter Transistoren) in X- und/oder Y-Richtung steuerbar lokal zu größeren Pixeln zusammengefasst.
Alternativ kann eine konstante Empfindlichkeit durch Abstimmen der Ladekapazität bzw. eines Integrators auf die Pixelgröße erreicht werden, wobei die Signale zur Steuerung der Pixelgröße gleichzeitig den Ladekondensator steuern können, sodass die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden.
Weiter alternativ kann eine konstante Empfindlichkeit durch parallele Pfade erreicht werden, wobei dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig mit dem Parallelschalten vorbestimmter Elementarpixel zu größeren Pixeln auch die Verstärker mit (um)geschaltet und dadurch die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden können.
Weiter alternativ kann eine konstante Empfindlichkeit durch eine Mittelwertbildung erreicht werden, bei der große Pixel durch Mittelwertbildung aus kleinen Pixeln, beispielsweise durch Widerstandsnetzwerke gebildet werden und alle Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden. Außerdem alternativ können große Pixel durch Mittelwertbildung aus kleinen Pixeln beispielsweise durch Anordnungen von Schaltern und Kondensatoren in Art der hochentwickelten „switched capacitor“ Technologie in Filtern und ADCs gebildet werden.
Weiter alternativ kann – in bestimmten Grenzen – eine konstante Empfindlichkeit durch eine Mittelwertbildung im Digitalbereich erreicht werden, bei der große Pixel durch digitale Mittelwertbildung aus kleinen Pixeln gebildet werden und alle Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden.
Weiter alternativ kann eine konstante Empfindlichkeit in Vorschubrichtung durch eine geeignete kombinierte Sensor- und Lichtsteuerung erreicht werden, bei der für Zeilen mit geringer Pixelhöhe und folglich niedriger Zeilenzeit die Lichtintensität proportional angehoben wird, sodass alle Zeilen unabhängig von der aktuellen Zeilendauer mit gleichem Produkt aus Lichtfluss und Belichtungszeit beaufschlagt werden.
Weiter alternativ kann eine konstante Empfindlichkeit durch Kombination zweier oder mehrerer der erfindungsgemäßen Verfahren erreicht werden. So kann zum Beispiel eine analoge Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung kombiniert werden.
Unabhängig von den vorgenannten Maßnahmen zur Erzielung der konstanten Empfindlichkeit sowohl ohne als auch mit Binning können Pixel unterschiedlicher Größe örtlich teilweise überlappend oder örtlich getrennt betrieben werden. Unter örtlicher Trennung im erfindungsgemäßen Sinne ist hierin eine Lage einzelner Pixel an in Transportrichtung eines abgetasteten Objekts unterschiedlichen Positionen, jedoch innerhalb des Abbildungsfelds oder Abbildungsbereichs derselben Optik (Linsen, Linsenanordnung (Array), Beleuchtung oder dergleichen) zu verstehen.
Im Fall der örtlich teilweisen Überlappung kann beispielsweise ein großes Pixel additiv aus mehreren kleinen Pixeln gebildet werden, oder kann ein rückwirkungsfrei mehrfach auslesbares, großes Pixel begrenzter Apertur mehrmals ausgelesen werden, um kleinere effektive Pixel zu erzielen. Im Fall der örtlichen Trennung können die separat angeordneten Pixel über synchron zu einem Objektvorschub arbeitende Verzögerungsstufen in der Sensorelektronik zu örtlicher Deckung gebracht werden.
Vorteilhaft steigen aufgrund der nur unwesentlich ansteigenden Videobandbreite Aufwand und/oder Kosten in den zugrundeliegenden Verarbeitungsstufen nicht oder nur unerheblich an, und kann mit Pixeln der vorgenannten Art bei homogener Beleuchtung ein Bild mit zwar lokal unterschiedlich großen Pixeln, jedoch gleichmäßiger Aussteuerung aufgenommen werden. Konkrete Einsparungen sind im Sensor selbst in Bezug auf die Lichtmenge und die Analog-Digital-Wandler-Verlustleistung und auf der Übertragungsstrecke sowie im Auswerterechner in Bezug auf die erforderliche Bandbreite erzielbar.
Die erfindungsgemäßen Pixel bzw. Bildelemente stellen somit bei örtlich homogener Beleuchtung ein Bild mit lokal unterschiedlich großen Bildelementen bei gleichmäßiger Aussteuerung bereit. Erfindungsgemäß sind daher Vorteile überall dort zu erzielen, wo Bilder oder Objekte mit einer optischen Basisauflösung Zonen höherer optischer Auflösung aufweisen, wie etwa Banknoten oder Ausweispapiere mit Sicherheitsmerkmalen, Drucksachen mit 1D- oder 2D-Barcodes, Materialien mit Nähten oder Schweißnähten und dergleichen.
Weiterführend sind dazu beispielsweise statische oder dynamische Zonen, d.h. in einem Bildfeld unbewegte bzw. bewegte fensterartige Bereiche oder Fenster als interessierende Regionen (ROI) höherer eindimensionaler Auflösung zur Erkennung von Liniendefekten beispielsweise im Digitaldruck (Düsenkalibrierung) oder bei laserbearbeiteten Materialien (z. B. Batteriefolien, Solarzellen), statische Zonen, d.h. in einem Bildfeld unbewegte Fenster (ROI), höherer zweidimensionaler Auflösung zur gezielten Auswertung von kritischeren, vorwiegend rechteckigen Bildausschnitten, wie beispielsweise Sicherheitsmerkmale in Ausweisen oder auf Banknoten, Adressfelder, 2D-Barcodes in Druckerzeugnissen, gedruckten Schaltungen oder ähnlichen Produkten, Teststrukturen auf Halbleiterwafern, im Digitaldruck oder bei laserbearbeiteten Materialien (z. B. Batteriefolien, Solarzellen), dynamische Zonen, d.h. in einem Bildfeld bewegliche bzw. veränderlich positionierbare Fenster (ROI) höherer Auflösung zur pendelartigen, d.h. in pendelnder Bewegung bzw. Verlagerung der Fenster, erfolgenden Inspektion von Bahnware jeglicher Art, vergleichbar zu einer mechanisch traversierenden Kamera oder der Verwendung einer Lupe durch einen menschlichen Betrachter, dynamische Zonen, d.h. in einem Bildfeld bewegliche Fenster (ROI) höherer Auflösung zur Inspektion komplex geformter, vordefinierter Zonen und/oder in einem Bildfeld auf der Grundlage des Bildinhalts gesteuerte bewegte Fenster (ROI) höherer Auflösung zur Inspektion komplex geformter, nicht vordefinierter Zonen, wie beispielsweise eine rein sensorbasierte Verfolgung oder Nachführung von Nähten auf Airbags oder die Verfolgung oder Nachführung von Schweißnähten oder Prägenähten beispielsweise auf Behältern in der Lebensmittelindustrie zu nennen.
In Übereinstimmung mit dem Vorstehenden wird die Aufgabe im Einzelnen vorteilhaft gelöst durch ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltend: ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet; und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche sowie gegebenenfalls eine passende Steuerung von Sensor und Lichtquelle
Bevorzugt beinhaltet das Zusammenfassen ein Steuern mittels Signalen zur Steuerung der Größe eines Bildelements.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer eindimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst werden und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft.
Bevorzugt erfasst das Zusammenfassen zumindest einen Teil einer Breite des Bildsensors und wird innerhalb zumindest einer von aufeinander folgenden Abtastzeilen der zeilenweisen Abtastung durchgeführt.
Bevorzugt überlappen sich erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe örtlich zumindest teilweise, beispielsweise ganz oder teilweise.
Bevorzugt sind erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe an in Transportrichtung des abgetasteten Objekts unterschiedlichen Positionen örtlich getrennt.
Bevorzugt werden zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen ladungserzeugende Photodioden als die ladungserzeugenden Elemente angesteuert und als Ladekondensator verwendet.
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Ladekapazität und/oder ein Integrator auf die aktuelle Größe des Bildelements abgestimmt, wobei mittels der Signale zur Steuerung der Größe eines Bildelements auch gleichzeitig ein zugeordneter Ladekondensator steuerbar ist.
Bevorzugt werden zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig vorbestimmte erste Bildelemente, die Elementarpixel bilden, und diesen zugeordnete Verstärker parallel geschaltet.
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden. Vorteilhaft erfolgt dazu die Mittelwertbildung unter Verwendung eines Widerstandsnetzwerks oder durch Anordnungen von Schaltern und Kondensatoren in Art der hochentwickelten „switched capacitor“ Technologie in Filtern und Analog-Digital-Wandlern bzw. -Umsetzern (ADCs; Analog Digital Converter).
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden. Vorteilhaft erfolgt dazu die Mittelwertbildung durch eine Mittelwertbildung im Digitalbereich, bei der große Pixel durch digitale Mittelwertbildung aus kleinen Pixeln gebildet werden
Bevorzugt wird zum Erhalt von in der Transportrichtung unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine geeignete kombinierte Steuerung von Sensor und Lichtquelle vorgenommen, bei der für Zeilen mit geringer Pixelhöhe und folglich niedriger Zeilenzeit die Lichtintensität proportional angehoben wird, sodass alle Zeilen unabhängig von der aktuellen Zeilendauer mit gleichem Produkt aus Lichtfluss und Belichtungszeit beaufschlagt werden.
Bevorzugt wird zum Erhalt von in der Transportrichtung unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Kombination zweier oder mehrerer der bereits genannten Verfahren. So kann zum Beispiel eine analoge Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung kombiniert werden.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft.
Die Erfindung wird nachstehend anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnung näher beschrieben. Es zeigen:
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 in einer vereinfachten Schnittansicht einen Kontaktbildsensor, der für das Verfahren zur zeilenweisen Bildabtastung eines Objekts gemäß einem Ausführungsbeispiel verwendbar ist;
2 eine ausschnittsweise, beispielhafte Darstellung eines unter Verwendung des Kontaktbildsensors nach 1 gewonnenen Bilds mit einem lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten des abgetasteten Objekts;
3 eine schematische Darstellung von Pixelanordnungen unterschiedlicher Größe und jeweils gleicher Empfindlichkeit;
4 eine Ansicht, die schematisch einen Vergleich von Bandbreiten darstellt, die für verschiedene Auflösungen eines vorbestimmten interessierenden Bereichs erforderlich sind; und
5 eine schematische Darstellung eines Beispiels einer Kombination zweier oder mehrerer Verfahren zur Erzielung einer konstanten Empfindlichkeit.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
Es wird angemerkt, dass in der Zeichnung äquivalente oder gleich wirkende Elemente dieselben oder zumindest ähnliche Bezugszeichen tragen können und in diesem Fall jeweils nicht nochmals beschrieben werden.
Praktische Anwendungen erfordern häufig, Bilder mit lokal variabler Auflösung in eine Bildverarbeitungsstruktur einzulesen. Typische Beispiele sind etwa Textdokumente mit eingebetteten Barcodes, Leiterplatten mit hochgenauen Passmarken, Banknoten und ähnliche Dokumente mit Sicherheitsmerkmalen, eine Prüfung von Nähten, und dergleichen. Bislang ist es nicht möglich, derartige Bilder mit nur einer einzigen Kamera einzuziehen bzw. zu erfassen. Dafür ist ein bildgebendes Element erforderlich, das zumindest a) ein Pixelgitter lokal verändern kann, vorteilhafterweise bei laufender Bildaufnahme, b) dabei die Empfindlichkeit in dem Sinne konstant hält, dass dieselbe Leuchtdichte große und kleine Pixel nahezu identisch aussteuert, c) stets einen hohen Füllfaktor sicherstellt, um die für ein rasterbasiertes System typischen Interferenzen zu minimieren, und d) ein verzerrungsfreies Bild auch und gerade von bewegten Objekten liefert. Gleichzeitig sollen für ein Bilderfassungssystem üblichen Anforderungen wie beispielsweise e) eine hohe Empfindlichkeit, f) ein hoher Dynamikbereich, g) eine gute Linearität, h) kein Blooming, und i) eine Lichtmenge und eine Leistungsaufnahme, die einen zuverlässigen und wirtschaftlichen Betrieb erlauben, erfüllt werden. Zusätzlich soll der Sensor für die Gewinnung von Farbbildern multiplexfähig sein und niedrigen Image Lag (Schattenwirkung des vorhergehenden Bildes) aufweisen.
Bislang erfüllen keine bekannten Anordnungen alle der vorgenannten Anforderungen a) bis i) gleichermaßen. Beispielsweise wird in einem so genannten "Brute Force"-Ansatz das gesamte Bild mit der höchsten erforderlichen Auflösung eingelesen und anschließend komprimiert, wo dies zulässig ist. Dieser Ansatz kann bei guter Auslegung zwar die vorgenannten Anforderungen a) bis h) erfüllen, nicht jedoch die Anforderung i), da Leistungsverbrauch und Systemkosten beispielsweise für eine Variation der Auflösung von 2400 dpi zu 300 dpi bzw. 8:1 um den Faktor 64, das heißt auf das 64-fache des Basissystems, ansteigen. Bekannte CMOS-Bildsensoren, die nach dem Prinzip eines Rollverschlusses (Rolling Shutter) arbeiten, erfüllen nicht die Anforderung d). CMOS-Bildsensoren mit passiven Pixeln erfüllen nicht die Anforderungen e), f) und g). Gebräuchliche CMOS-Bildsensoren mit aktiven Pixeln und globalem Verschluss bzw. Shutter können zwar bei guter Auslegung durchaus die Anforderungen b) bis i) erfüllen. Solche üblichen aktiven Pixel sind jedoch von vornherein im vorstehend beschrieben Sinne gleich empfindlich, weil mit der Pixelfläche Ladung und Ladekapazität simultan zunehmen. Ebendiese aktiven Pixel können aber in einer üblichen Auslesestruktur nicht zusammengefasst werden, sodass im Weiteren ebenfalls nur der vorstehend erwähnte Brute Force-Ansatz verbleibt. CMOS-Sensoren mit Unterabtastung bzw. Subsampling sind in der Lage, zwar Anforderung a) zu erfüllen, dann jedoch nicht die Anforderung c). Es treten in der Folge ausgelassene Pixel, die blinde Stellen oder Flecken bilden, sowie Interferenzstörungen auf. CCD-Sensoren mit lokal veränderlichem Binning müssen wie vorstehend erwähnt große Ladungsmengen aus großen Pixeln und kleine Ladungsmengen aus kleinen Pixeln zur Umsetzung von Ladung auf Spannung über denselben Umsetzer führen. Infolgedessen wird bei Binning der Dynamikbereich drastisch eingeschränkt, und sind die vorgenannten Anforderungen b), f), g) und h) nicht erfüllbar.
Um sämtliche der neun vorgenannten Anforderungen a) bis i) gleichzeitig zu erfüllen, wird in den nachstehenden Ausführungsbeispielen die Summation von Pixelladungen vorverlegt und derart unabhängig von der tatsächlichen (d.h. gebinnten oder ungebinnten) Pixelgröße durchgeführt, dass der resultierende Signalpegel in der Auslesestruktur unabhängig von der Pixelgröße und somit mit im Wesentlichen unveränderter Bandbreite weiterverarbeitbar ist.
1 zeigt in einer vereinfachten Schnittansicht einen CIS (Contact Image Sensor) oder Kontaktbildsensor 100, der für das Verfahren zur zeilenweisen Bildabtastung eines Objekts gemäß einem Ausführungsbeispiel verwendbar ist.
In diesem Ausführungsbeispiel ist der CIS 100 bevorzugt mit CMOS-ICs bestückt, anwendungsabhängig können jedoch auch andere Sensoren eingesetzt werden, wie beispielsweise CCD-Elemente. Eine grundlegende Beschränkung der Erfindung auf einen bestimmten Sensortyp oder eine bestimmte Sensoranordnung besteht nicht.
Ferner kann der in diesem Ausführungsbeispiel beispielhaft verwendete CIS 100 von einer einzeiligen Bauart sein, d.h. über seine Breite hinweg eine Nebeneinanderordnung von mehreren Sensorbausteinen bzw. Sensor-ICs aufweisen, oder von einer mehrzeiligen Bauart sein, d.h. über seine Breite hinweg mehrere Zeilen aneinandergereihter Sensorbausteine aufweisen. Diese können als Farbzeilen in Art eines trilinearen oder quadrilinearen Sensors, als TDI (Time Delay and Integration) Sensor mit hoher Empfindlichkeit oder zur Gewinnung von 3D Bildern mittels örtlich strukturierter Beleuchtung genutzt werden. Ein Sensor-IC beinhaltet auf einer seiner Oberflächen eine vorbestimmte Anzahl von elementaren ladungserzeugenden Bildelementen, die auch als Pixel bezeichnet werden. In der Aneinanderreihung mehrerer Sensor-ICs sind eindimensionale (1 Zeile×n Bildelemente) oder zweidimensionale (m Zeilen×n Bildelemente) Anordnungen bzw. Strukturen der Bildelemente erzeugbar. CCD- und CMOS-Bildsensoren sind im Übrigen als solche gut bekannt, sodass auf weitere Einzelheiten an dieser Stelle nicht weiter eingegangen wird.
Der in 1 gezeigte CIS 100 kann unter Verwendung von Sensor-ICs der vorgenannten Art und Anordnung grundlegend wie folgt aufgebaut sein. Ein Trägerrahmen 110, der dazu angeordnet ist, weitere Komponenten des CIS 100 aufzunehmen und/oder abzustützen, und ein Leuchtdioden- bzw. LED-Rahmen 120, der dazu angeordnet ist, eine Lichtquellenplatine 130 aufzunehmen und/oder abzustützen, auf der zumindest eine als Lichtquelle dienende Leuchtdiode 132 angebracht und elektrisch verbunden ist, bilden jeweils einen unteren Teil und einen oberen Teil einer gehäuseartigen, äußeren Struktur des CIS 100.
Der Trägerrahmen 110 ist vorzugsweise als einstückiges Profil mit Ausnehmungen zur Aufnahme der weiteren Komponenten ausgeformt und erstreckt sich aufwärts verjüngend in der Höhenrichtung. Der LED-Rahmen 120 wird in diesem Ausführungsbeispiel durch zwei gleiche Profilstrukturen gebildet, die jeweils so an gegenüberliegenden Seiten eines sich verjüngt in Höhenrichtung erstreckenden Abschnitts des Trägerrahmens 110 festgelegt sind, dass sie mit diesem eine objektseitige Ausnehmung ausbilden.
In dieser objektseitigen Ausnehmung ist an einer geneigten Teilfläche jeder der den LED-Rahmen 120 bildenden Profilstrukturen die Lichtquellenplatine 130 mit der darauf verbauten, zumindest einen Leuchtdiode 132 so angeordnet, dass von der Leuchtdiode 132 emittiertes Licht durch die objektseitige Ausnehmung nach außerhalb austritt und auf ein von dem CIS 100 abzutastendes Objekt (nicht dargestellt) fallen und dort reflektiert werden kann.
Von einem abgetasteten Objekt reflektiertes Licht wird zu dem CIS 100 zurückgeworfen, tritt wieder in die objektseitige Ausnehmung ein und fällt durch eine beispielsweise stabförmige Linse 140, die vorzugsweise eine selbst fokussierende (SELFOC) und/oder eine Graded Index (GRIN) Linse sein kann, auf zumindest ein Sensor-IC 160, das auf einer Sensorplatine 150 angeordnet und elektrisch verbunden ist. Die Sensorplatine 150 ist dazu an einem unteren Abschnitt des Trägerrahmens 110 angeordnet und an diesem festgelegt. bzw. mit diesem verbunden, der der objektseitigen Ausnehmung gegenüberliegt. Unterseitig der Sensorplatine 150 kann zusätzlich eine Signalverarbeitungsplatine 170 an der Sensorplatine 150 festgelegt, elektrisch mit dieser verbunden und dazu angeordnet sein, signalverarbeitende Komponenten, die nicht bereits in das Sensor-IC 160 integriert sind, und/oder zumindest eine Schnittstelle, beispielsweise eine bei CIS verbreitete CameraLink^®-Schnittstelle zur Ansteuerung des CIS und für auftretenden Datentransfer, aufzunehmen.
Abdeckungen 180, 190, die beispielsweise aus einem Glas bestehen können, schließen das Innere des CIS 100 gegenüber dessen Umgebung schützend ab.
Der vorstehend kurz umschriebene und als solcher bekannte CIS 100 steht stellvertretend für handelsüblich verfügbare Zeilensensoren. Es versteht sich, dass keine Beschränkung auf diesen CIS 100, im Hinblick auf eine Anzahl und die Anordnung verbauter Lichtquellen und/oder Sensorschaltkreise, und/oder konfigurierter Zeilen des CIS 100 besteht, sondern die das Objekt abtastende und abbildende Erfassungsanordnung bzw. Bildsensorvorrichtung anwendungsbezogen entsprechend modifiziert oder durch eine alternative Anordnung ersetzt sein kann.
In beispielsweise der industriellen Bildverarbeitung werden Bildsensorvorrichtungen der vorgenannten Art vorwiegend dazu verwendet, gegenständliche Objekte bzw. deren Oberflächen abzutasten, zu erfassen, aufzubereiten und ein Bild des Objekts bzw. dessen Oberfläche, oder diesem entsprechende Bilddaten, für eine nähere Untersuchung wie etwa eingangs beschrieben bereitzustellen. Gängige Szenarien sind beispielsweise eine flächige bzw. zweidimensionale Erfassung mittels ablichtenden Flächenkameras, oder eine zeilenweise Erfassung mittels eines feststehenden CIS 100, bei welcher ein abzutastendes Objekt nahe an einem CIS 100 vorbeitransportiert wird. Eine zeilenweise Erfassung kann eindimensional oder bei entsprechender Auslegung und Ansteuerung beteiligter Komponenten ebenfalls zweidimensional erfolgen und ausgewertet werden.
2 zeigt eine ausschnittsweise, beispielhafte Darstellung eines unter Verwendung des CIS 100 nach 1 gewonnenen Bilds, mit einem lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten des abgetasteten Objekts.
Die in 2 gezeigte Darstellung beispielsweise einer elektronischen Schaltungsanordnung auf einer Karte oder Platine kann durch Vorbeiführen bzw. Vorbeitransportieren der Karte oder Platine an einem Erfassungsbereich des CIS 100 erzeugt werden. Der Transport erfolgt hierbei in der Regel synchron zu der Ansteuerung des CIS 100, sodass dieser das abzutastende Objekt lückenlos erfassen kann.
Erfindungsgemäß sind hierbei die ladungserzeugenden Elemente der Sensor-ICs in Zeilenrichtung (quer zur Transportrichtung des Objekts) dynamisch zumindest von (Bild)Zeile zu (Bild)Zeile, d.h. in Breitenrichtung des CIS 100, derart ansteuerbar, dass zumindest eine dynamische Umschaltung der Auflösung von Zeile zu Zeile erzielbar ist. Bleibt dabei die Auflösung in der Zeile konstant, ist eine zeilenweise Ausschnittvergrößerung des erfassten Bilds darstellbar.
Weiter erfindungsgemäß sind die ladungserzeugenden Elemente der Sensor-ICs darüber hinaus auch in Spaltenrichtung (in Transportrichtung des Objekts) dynamisch derart ansteuerbar, dass ferner eine dynamische Umschaltung der Auflösung über (Bild)Zeilen hinweg in Transportrichtung des Objekts erzielbar ist, entsprechend einer zweidimensional lokal variablen Auflösung, mit welcher wahlfrei ein vergrößerter Bildausschnitt (interessierender Bereich oder Region of Interest, ROI) erzeugbar ist.
Erfindungsgemäß wesentliches Merkmal ist daher eine lokal einsteuerbare Vergrößerung (Zoom), mit dem in einem Bildfeld ein oder mehrere Fenster höherer Auflösung als interessierende Bereiche (ROI) wahlweise fest im Bild verankert oder beweglich implementiert werden.
Damit, wie in der noch zu beschreibenden 4 dargestellt, dabei die Videobandbreite und dadurch bedingt die Kosten beteiligter Verarbeitungsstufen anders als bisher nicht oder nur unerheblich ansteigen, muss eine konstante Empfindlichkeit über alle Bildelemente bzw. Pixel hinweg, d.h. für "kleine" Pixel (ohne Vergrößerung) ebenso wie für "große" Pixel (mit Vergrößerung) erzielt werden, und müssen daher alle Bildelemente oder Pixel bei derselben örtlichen Leuchtdichte voll ausgesteuert werden.
Um dies zu erreichen, werden in dem dem vorliegenden Ausführungsbeispiel zugrundeliegenden Verfahren zur zeilenweisen Bildabtastung die ladungserzeugenden Photodioden in den Sensor-ICs als Ladekondensator verwendet und dadurch unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert, und/oder die Ladekapazität bzw. der Integrators auf die Pixelgröße abgestimmt, wobei die Signale zur Steuerung der Pixelgröße gleichzeitig den Ladekondensator steuern, sodass die Pixel unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden, und/oder (falls zu jedem Elementarpixel ein Ladungsverstärker vorhanden ist), Elementarpixel parallel geschaltet und gleichzeitig mit dem Parallelschalten der Elementarpixel zu größeren Pixeln auch die Ladungsverstärker mit umgeschaltet werden, sodass die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden, und/oder große Pixel durch Mittelwertbildung aus kleinen Pixeln, beispielsweise durch Widerstandsnetzwerke erzeugt werden, wobei alle Pixel unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden.
4 zeigt eine Ansicht, die schematisch einen Vergleich von Bandbreiten darstellt, die für verschiedene Auflösungen eines vorbestimmten interessierenden Bereichs erforderlich sind.
In dem in 4 dargestellten Diagramm ist entlang der Ordinate die (Video)Bandbreite in Megapixeln abgetragen, und sind entlang der Abszisse vier Beispielfälle bzw. Vergleichsbeispiele A, B, C und D für jeweils unterschiedliche Auflösungsszenarien im Vergleich aufgezeichnet. Es wird angemerkt, dass die Darstellung in 4 nicht maßstäblich ist. Die Beispielfälle A und B betreffen einen Vergleich bei bekannter Auflösungsänderung, und die Beispielfälle C und D stellen demgegenüber Verhältnisse dar, die unter Verwendung des Verfahrens gemäß dem Ausführungsbeispiel erzielbar sind. Weiteren Ausführungen vorgreifend ist unmittelbar ersichtlich, dass die Bandbreite in Beispielfall B gegenüber Beispielfall A erheblich zunimmt, in den Beispielfällen C und D jedoch näherungsweise auf der Bandbreite des Beispielfalls A verbleibt, d.h. nicht oder nur unwesentlich ansteigt.
Es wird angemerkt, dass im Sinne der vorliegenden Offenbarung "näherungsweise", "unwesentlich" und/oder "mit im Wesentlichen unveränderter" Bandbreite dahingehend zu verstehen ist, dass Schaltvorgänge (beispielsweise der Ansteuerstrom eines Transistors) und dergleichen innerhalb der Verarbeitungskette bereits zu geringfügigen Ladungsinjektionen führen können, die sich zu der Pixelladung addieren und sich ausgangsseitig geringfügig bandbreitenerhöhend auswirken können.

Die nachstehende Tabelle 1 veranschaulicht dazu in Verbindung mit 3, die eine auszugsweise schematische Darstellung von Pixelanordnungen unterschiedlicher Größe und jeweils gleicher Empfindlichkeit darstellt, unter Angabe jeweils der Pixelanordnungsgröße in µm, der Gesamtdiodenkapazität, der Quantenausbeute, des Sättigungsniveaus, der Sättigungsladung und des Sättigungsflusses von Elektronen/Photonen in Gegenüberstellung zu einem Basis- oder Nutzpixel der Größe 1×1 einen Zusammenhang zwischen Pixelanordnungen bzw. gebinnten Pixeln (3×3 Pixeln vertikal und horizontal, 3×1 Pixeln horizontal und 1×3 Pixeln vertikal) und einem resultierenden, rechnerisch jeweils gleichen Sättigungsfluss in Photonen pro µm².

	Größe µm	Diodenkapazität	Quantenausbeute	Sätt. niveau	Sätt. ladung	Sätt.fluss El./Phot.	Sätt.fluss Phot./µm₂
Nutzpixel 3×3	60×60	270 fF	0,5	2 V	540 fC/3375000 e^–	3375000/ 6750000	1875
Nutzpixel 3×1	60×20	90 fF	0,5	2 V	180 fC/1125000 e^–	1125000/ 2250000	1875
Nutzpixel 1×3	20×60	90 fF	0,5	2 V	180 fC/1125000 e^–	1125000/ 2250000	1875
Basispixel/Nutzpixel 1×1	20×20	30 fF	0,5	2 V	60 fC 750000 e^–	750000/ 1500000	1875

Tabelle 1: Pixelanordnungen unterschiedlicher Größe mit gleicher Empfindlichkeit

4 zeigt jedoch anhand der erheblichen Unterschiede deutlich die erfindungsgemäße Wirkung einer außerordentlichen Verringerung der erforderlichen Bandbreite in die unmittelbare Nähe derjenigen Bandbreite, die auch ohne Auflösungsänderung ohnehin benötigt wird.
Genauer bezieht sich die Darstellung in 4 auf die Bandbreite, die zur Auflösung bzw. Vergrößerung eines 1,27 cm×1,27 cm großen interessierenden Bereichs (ROI) bei einer Gesamtbildgröße von 20,32 cm×30,48 cm benötigt wird.
Beispielfall A bezieht sich auf einen unvergrößerten ROI bei einer Auflösung von 400 dpi. Die hierfür benötigte Bandbreite liegt gemäß 4 etwa 16 Megapixel. Beispielfall B bezieht sich auf ein vollvergrößertes Gesamtbild bei einer Auflösung von 2400 dpi. Die in diesem Fall benötigte Bandbreite steigt gegenüber Beispielfall A auf das sechsunddreißigfache von über 500 Megapixel an.
Beispielfall C gemäß dem vorliegenden Ausführungsbeispiel bezieht sich auf einen durch eindimensionale dynamische Umschaltung von Zeile zu Zeile nur in einer Richtung, beispielsweise einer x-Richtung in Bezug auf die Transportrichtung des Objekts (vgl. 2), vergrößerten ROI bei einer Auflösung von 400 dpi. Hierbei bleibt die gegenüber Beispielfall A benötigte Bandbreite im Wesentlichen unverändert bzw. steigt nur unwesentlich an. Beispielfall D gemäß dem vorliegenden Ausführungsbeispiel bezieht sich auf einen durch zweidimensionale dynamische Umschaltung in der x-Richtung (quer zu der Transportrichtung des Objekts) und in der y-Richtung (in Transportrichtung des Objekts) vergrößerten ROI bei einer auf dann 2400 dpi umgeschalteten Auflösung. Auch in diesem Fall bleibt die gegenüber Beispielfall A benötigte Bandbreite im Wesentlichen unverändert bzw. steigt nur unwesentlich an.
5 zeigt eine schematische Darstellung eines Beispiels einer Kombination zweier oder mehrerer Verfahren zur Erzielung einer konstanten Empfindlichkeit anhand eines Ausführungsbeispiels einer Kombination aus analoger Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung. Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Wie in 5 angedeutet, ist für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft. Mit dem in 5 gezeigten Beispiel ist beispielsweise eine Zeilenabtastung mittels bzw. mit einer oder mehreren Flächen- bzw. Bereiche abtastenden Kameras durch einen einzelnen CIS-Sensor ersetzbar.
Vorstehend wurde somit ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beschrieben. Das Verfahren beinhaltet ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet, und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche.
In anderen Worten stellt das Verfahren eine konstante Empfindlichkeit, die in auch bei Vergrößerung nur unwesentlich ansteigender Bandbreite resultiert, dadurch bereit, dass sowohl kleine (nicht zusammengefasste) als auch große (zusammengefasste) Pixel bei derselben Leuchtdichte voll ausgesteuert werden, und zwar auch unter Zuhilfenahme geeigneter Sensorshutter- und Lichtsteuerung.
Es versteht sich, dass die Erfindung nicht auf das vorstehend konkret beschriebene Ausführungsbeispiel beschränkt ist, sondern dass Modifikationen, die in äquivalenten, vergleichbaren oder ähnlichen Konfigurationen resultieren, für den Fachmann ohne weiteres ersichtlich und daher nicht als Abweichen vom Gegenstand der Erfindung wie in den nachfolgenden Ansprüchen definiert zu werten sind. Modifikationen können beispielsweise in einer Ausführung wahlweise in monochrom, mit Farbe als Filter vor oder auf den Pixeln oder in Farbe mittels LED-Multiplexern bestehen.

Claims

Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltend: ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet; und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche.
Verfahren nach Anspruch 1, bei dem das Zusammenfassen ein Steuern mittels Signalen zur Steuerung der Größe eines Bildelements beinhaltet.
Verfahren nach Anspruch 1 oder 2, bei dem Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst werden und in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer eindimensionaler Auflösung erzeugt wird, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
Verfahren nach Anspruch 1 oder 2, bei dem Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst werden und in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt wird, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
Verfahren nach einem der vorangehenden Ansprüche, bei dem das Zusammenfassen zumindest einen Teil einer Breite des Bildsensors erfasst und innerhalb zumindest einer von aufeinander folgenden Abtastzeilen der zeilenweisen Abtastung durchgeführt wird.
Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen ladungserzeugende Photodioden als die ladungserzeugenden Elemente angesteuert und als Ladekondensator verwendet werden.
Verfahren nach einem der vorangehenden Ansprüche, bei dem sich erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe örtlich teilweise überlappen.
Verfahren nach einem der vorangehenden Ansprüche, bei dem erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe an in Transportrichtung des abgetasteten Objekts unterschiedlichen Positionen örtlich getrennt sind.
Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Ladekapazität und/oder ein Integrator auf die Größe des Bildelements abgestimmt wird, wobei mittels den Signalen zur Steuerung der Größe eines Bildelements auch gleichzeitig ein zugeordneter Ladekondensator steuerbar ist.
Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig vorbestimmte erste Bildelemente, die Elementarpixel bilden, und diesen zugeordnete Verstärker parallel geschaltet werden.
Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt wird, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden.
Verfahren nach Anspruch 11, bei dem die Mittelwertbildung unter Verwendung eines Widerstandsnetzwerks erfolgt.