DE102020127495B4

DE102020127495B4 - Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts

Info

Publication number: DE102020127495B4
Application number: DE102020127495.5A
Authority: DE
Inventors: Jörg Kunze
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2022-05-25
Anticipated expiration: 2040-10-20
Also published as: CN114390234A; DE102020127495A1

Abstract

Die Erfindung betrifft ein Aufnahmesystem (1) zum sukzessiven Aufnehmen eines relativ zu einer Kamera (3) bewegten Objekts (2). Das Aufnahmesystem umfasst die Kamera, wobei die Kamera einen Bildsensor (4) zum Aufnehmen von Zeilenbilddatensätzen (10) des aufzunehmenden Objekts im getriggerten Betrieb umfasst, eine Empfangseinheit (5) zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit (v) der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, und eine Neuabtasteinheit (6) zum Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze (11) zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen abhängt. Der Bildsensor ist ein Flächensensor, der eine Mehrzahl von Pixelzeilen (12) umfasst und der angepasst ist, mit der Mehrzahl von Pixelzeilen jeweils eine Mehrzahl von Zeilenbilddatensätzen zum Erzeugen der neu abgetasteten Zeilenbilddatensätze aufzunehmen. Der Bildsensor umfasst einen elektronischen Verschluss (7), der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen zeitlich gestaffelt zu starten, wobei das Neuabtasten der aufgenommenen Zeilenbilddatensätze von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen abhängt.

Description

GEBIET DER ERFINDUNG
Die Erfindung liegt auf dem Gebiet der elektrischen Nachrichtentechnik und betrifft insbesondere ein Aufnahmeverfahren sowie ein Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts.
HINTERGRUND DER ERFINDUNG
Im industriellen Umfeld werden vielfach digitale Kameras eingesetzt, um z.B. Produktionsprozesse oder Maschinen zu überwachen, zu steuern, zu regeln oder um Objekte zu sortieren. Solche hier als Industriekameras bezeichneten Kameras zeichnen sich vor allem durch ihre Integrierbarkeit in Maschinen und Anlagen aus. Ihr Einsatz ist aber nicht auf das industrielle Umfeld beschränkt und sie können in nahezu identischer Form in vielerlei anderen Anwendungen, beispielsweise zur Postsortierung, in Mautbrücken oder in medizintechnischen Geräten eingesetzt werden.
Zu den Industriekameras zählen Flächenkameras (engl. „area-scan camera“) und Zeilenkameras (engl. „line-scan camera“). Als Zeilenkamera bezeichnet man dabei üblicherweise einen Kameratyp, der nur eine einzige lichtempfindliche Zeile aufweist („Zeilensensor“). Im Gegensatz dazu verfügen Flächenkameras (engl. „areascan camera“) über eine Vielzahl von Zeilen („Flächensensor“).
Der Einsatz einer Flächenkamera ist häufig zweckmäßig, wenn es darum geht, jeweils einzelne Objekte abzubilden, bei denen die Proportion jeweils in der Größenordnung von 1 liegt, wie dies z.B. bei Bremsscheiben oder bei SMD-Widerständen der Fall ist. Im Gegensatz dazu kommen Zeilenkameras zur Abbildung von Objekten zum Einsatz, deren Proportion weit von 1 abweicht (z.B. Bahnschienen) oder die in einem fortlaufenden Prozess produziert oder inspiziert werden. Als Beispiel eines fortlaufenden Prozesses sei hier das Bedrucken von Zeitungspapier in einer Zeitungspresse genannt. Zeilenkameras werden auch häufig eingesetzt, um sukzessive eine fortlaufende Serie von Objekten abzubilden, beispielsweise Getreidekörner oder Gesteine auf einem Transportband, die nachfolgend sortiert werden.
Um mit einer Zeilenkamera ein zweidimensionales Bild aufzunehmen, ist es erforderlich, dass unterschiedliche Stellen des Objekts zeitlich nacheinander aufgenommen werden und dass aus den dabei erhaltenen Zeilenbilddatensätzen das zweidimensionale Bild geformt wird. Dabei findet in der Regel eine Relativbewegung zwischen dem aufzunehmenden Objekt und der Zeilenkamera statt. Entweder man bewegt das aufzunehmende Objekt mit Hilfe eines Förderbands odgl. („Fax-Prinzip“) oder man bewegt die Zeilenkamera über das stationäre Objekt („Scanner-Prinzip“).
Ein Problem bei der Aufnahme mit einer Zeilenkamera besteht darin, dass in Fällen, in denen die Relativgeschwindigkeit zwischen dem aufzunehmenden Objekt und der Zeilenkamera nicht gleichförmig ist, der Abstand zwischen aufeinanderfolgenden aufgenommenen Zeilen nicht konstant ist. Ohne entsprechende korrigierende Maßnahmen führen solche Geschwindigkeitsvariationen daher zu geometrischen Verzerrungen in dem aufgenommenen Bild.
Ein herkömmliches Aufnahmeverfahren zum Handhaben variierender Relativgeschwindigkeiten besteht darin, die Bildwiederholrate gemäß der Geschwindigkeit der Relativbewegung zu steuern. Wenn die relative Bewegung langsamer ist, wird die Bildwiederholrate ebenfalls verlangsamt, um einen konstanten Abstand zwischen den aufgenommen Zeilen beizubehalten. Wenn die relative Bewegung schneller ist, wird die Bildwiederholrate entsprechend erhöht. Die Steuerung der Bildwiederholrate kann dadurch realisiert werden, dass der Zeilenkamera ein externes Triggersignal zugeführt wird (getriggerter Betrieb). Allerdings führen Änderungen der Bildwiederholrate in der Regel auch zu Änderungen der Belichtung, was wiederrum eine entsprechende Belichtungssteuerung erforderlich macht.
US 2015/0357000 A1 beschreibt ein Verarbeitungsgerät, einen Filmscanner und ein zugehöriges Verfahren, wie z.B. ein Verarbeitungsgerät zur Verarbeitung von Kinofilmen, mit einem Identifikationsmodul zum Identifizieren ausgewählter Regionen eines oder mehrerer digitaler Bilder oder digitaler Videoclips des Films und einem Bildmodifikationsmodul, das so konfiguriert ist, dass es auf Daten zugreift oder diese erzeugt und mindestens eines des einen oder der mehreren digitalen Bilder oder der digitalen Videoclips so modifiziert, dass es die Daten in mindestens einer der ausgewählten Regionen bereitzustellt. Vorteilhafterweise entsprechen die ausgewählten Regionen Perforationen in dem Film.
WO 92/09167 A1 verwendet eine Mehrzeilensensoranordnung zur Erfassung der gewünschten Pixel eines Objekts. Jeder Sensor ist mit einer Vielzahl von lichtempfindlichen Elementen ausgestattet, die im Wesentlichen nebeneinander angeordnet sind, um mit mehreren lichtempfindlichen Elementen das Licht von einem Szenenpixelbereich des gescannten Mediums zu erfassen. Durch Überwachung der absoluten Position des Objekts wird ein Rückkopplungssignal erzeugt und verwendet, um zu bestimmen, welche lichtempfindlichen Elemente den gewünschten Szenenpixelbereich erfassen, wodurch Geschwindigkeitsschwankungen bei der Abtastbewegung kompensiert werden.
GB 2 314 987 A beschreibt eine Vorrichtung zur Verwendung in einem Verfahren zum Abtasten eines Bildes auf einem Film und zur Erzeugung eines Videosignals daraus, wobei die Vorrichtung einen Signalprozessor, der eine Vielzahl von Eingangsrasterzeilen, die ein Filmbild darstellen, empfängt, und eine Steuereinrichtung mit Steuerungen, die auf den Signalprozessor wirken, umfasst, wobei die Anzahl der Eingangsrasterzeilen, die von dem Signalprozessor in dem aktiven Raster zur Erzeugung des Ausgangssignal verwendet werden, variabel ist. Ein Signal, das ein sequentiell abgetastetes Bild darstellt, wird einem Filter zugeführt, der ein Anti-Aliasing und einen Dezimierungsprozess durchführt.
In der US 5,608,538 A wird ein Bild auf einem Substrat abgetastet, indem das Substrat relativ zu einer Sensoranordnung bewegt wird. Bei der Speicherung der Rohabtastzeilen wird eine Positionsreferenz für jede Rohabtastzeile erstellt. Zunächst werden die Rohabtastzeilen zwischen einer Rohauflösung zwischen den Rohabtastzeilen, wie sie von dem Sensorelement empfangen werden, auf eine Zwischenauflösung zwischen Abtastzeilen vorskaliert. Die Positionsreferenzen für die Rohabtastzeilen werden in der Vorskalierung sowie in den folgenden Skalierungsschritten verwendet, um die Position der rohen Bildes trotz der Verzerrungen durch den kostengünstigen Transportmechanismus, akurat zu bestimmen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ausgehend von dem genannten Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts vorzusehen, das es ermöglicht, in einfacher Weise Zeilenbilddatensätze zum Formen eines zweidimensionales Bildes zu erhalten. Des Weiteren liegt der Erfindung die Aufgabe zugrunde, ein entsprechendes Aufnahmeverfahren zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts vorzusehen.
Gemäß einem ersten Aspekt der Erfindung wird ein Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts bereitgestellt, umfassend:

- die Kamera, wobei die Kamera einen Bildsensor zum Aufnehmen von Zeilenbilddatensätzen des aufzunehmenden Objekts im getriggerten Betrieb umfasst,
- eine Empfangseinheit zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, und
- eine Neuabtasteinheit zum Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen abhängt,

Der Erfindung liegt die Erkenntnis der Erfinder zugrunde, dass durch die Verwendung eines Flächensensors, der eine Mehrzahl von Pixelzeilen umfasst, jeweils eine Mehrzahl von Zeilenbilddatensätzen zeitgleich bzw. im Wesentlichen zeitgleich aufgenommen werden können. Die Mehrzahl von Pixelzeilen deckt dabei zu jedem Zeitpunkt einen größeren Bereich des aufzunehmenden Objekts ab als die eine Zeile einer Zeilenkamera. Damit können in einfacher Weise Zeilenbilddatensätze zum Formen eines zweidimensionales Bildes erhalten werden. Darüber hinaus ergeben sich eine Reihe weiterer Vorteile: Bei Zeilenkameras handelt es sich zumeist um hochwertige, spezialisierte Kameras, die am Markt einen hohen Preis erzielen. Typische Zeilenkameras arbeiten mit hoher Geschwindigkeit, liefern Bilder hoher Qualität und sind gemäß den Anforderungen der Anwendungen mit besonderen Designmerkmalen ausgestattet, beispielsweise mit einem Eingang zum Zuführen eines sehr schnellen externen Triggersignals. Im Gegensatz dazu sind zahlreiche Flächensensoren erhältlich, die bei sonst vergleichbaren Leistungsdaten, insbesondere bei gleicher Bildbreite, erheblich weniger kosten als Zeilensensoren. Dadurch wird es erfindungsgemäß möglich, das Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu der Kamera bewegten Objekts mit geringeren Materialkosten zu realisieren verglichen mit einer herkömmlichen Zeilenkamera mit einem Zeilensensor.
Erfindungsgemäß umfasst der Bildsensor einen elektronischen Verschluss, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen zeitlich gestaffelt zu starten. Diese Art von elektronischem Verschluss, die oft als Rolling Shutter oder Electronic Rolling Shutter bezeichnet wird, ist dadurch gekennzeichnet, dass für eine erste Zeile die Belichtung zu einem ersten Zeitpunkt gestartet wird und der Start der Belichtung weiterer Pixelzeilen jeweils zeitlich gestaffelt zu verschiedenen Zeitpunkten erfolgt. Da es zumeist erwünscht ist, dass alle Pixelzeilen eines Bildes eine gleiche Integrationszeit aufweisen, erfolgt zumeist auch das Beenden der Belichtungen zeitlich gestaffelt zu jeweils verschiedenen Zeitpunkten. Im Gegensatz zum Global Shutter, der sich dadurch auszeichnet, dass die Belichtung der Pixelzeilen des Bildsensors gleichzeitig gestartet wird und im Allgemeinen auch gleichzeitig beendet wird, erfolgt das Beenden der Belichtung unmittelbar durch das Auslesen. Daher ist keine Speicherung von Photoladungen erforderlich. Durch den Wegfall der Notwendigkeit der Speicherung einer Photoladung kann der Pixel eines Bildsensors mit Rolling Shutter grundsätzlich kleiner gebaut werden als der Pixel eines Bildsensors mit Global Shutter. Durch die dank der kleineren Pixel geringere benötigte Siliziumfläche können somit Bildsensoren mit Rolling Shutter grundsätzlich preiswerter hergestellt werden als Bildsensoren mit Global Shutter. Zudem kann dank der kleineren Pixel auch das Objektiv grundsätzlich kleiner gebaut und somit ebenfalls preiswerter hergestellt werden. Damit kann das Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts mit einem Bildsensor mit Rolling Shutter auf eine besonders preiswerte Weise realisiert werden.
Da beim Rolling Shutter die Aufnahme der Mehrzahl von Zeilenbilddatensätzen nicht zeitgleich erfolgt, erfolgt erfindungsgemäß eine Neuabtastung der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze mit einem gewünschten, konstanten (räumlichen) Abstand zu erzeugen. Eine solche Neuabtastung ist in DE 10 2004 050 422 A1 für einen Zeilensensor im freilaufenden Betrieb (engl. „free run“) beschrieben. Das Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu der Kamera bewegten Objekts umfasst zu diesem Zweck eine Empfangseinheit zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, und eine Neuabtasteinheit zum Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen abhängt. Da die Neuabtasteinheit so angepasst ist, dass das Neuabtasten der aufgenommenen Zeilenbilddatensätze von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen abhängt, können örtliche Fehlzuordnungen der aufgenommenen Zeilenbilddatensätze und damit verbundene nachteilige Bildartefakte vermieden werden.
Wie erläutert, erfolgt beim Rolling Shutter sowohl die Belichtung als auch das Auslesen der Pixelzeilen des Bildsensors nicht jeweils gleichzeitig, sondern zeilenweise zeitlich gestaffelt. Anschaulich befinden sich damit die Belichtungszeitpunkte aufeinanderfolgender Pixelzeilen in einem zweidimensionalen Zeit-Ort-Diagramm (Zeit auf der x-Achse und örtliche Lage auf der y-Achse) nicht vertikal übereinander, sondern sie sind seitlich um die Differenz der Belichtungszeitpunkte der jeweiligen Pixelzeilen verschoben. Dieser zeitliche Versatz hat einen unterschiedlichen Effekt, je nachdem ob das sukzessive Aufnehmen im Vorwärtsbetrieb oder im Rückwärtsbetrieb durchgeführt wird. Durch die Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera führt der zeitliche Versatz dazu, dass sich auch die örtliche Lage der aufgenommenen Zeilenbilddatensätze leicht verschiebt. Für den Vorwärtsbetrieb folgt dabei, dass die aufgenommenen Zeilenbilddatensätze örtlich auseinandergezogen werden. Dieser Effekt, den man auch als Abtastdilatation bezeichnen kann, führt zu einer leichten Unterabtastung im Vergleich zu einem Bildsensor mit Global Shutter und gleicher Pixelgröße. Für den Rückwärtsbetrieb gilt dann entsprechend, dass die aufgenommenen Zeilenbilddatensätze örtlich verdichtet werden. Dieser Effekt, den man auch als Abtastkontraktion bezeichnen kann, führt zu einer leichten Überabtastung im Vergleich zu einem Bildsensor mit Global Shutter und gleicher Pixelgröße. Aufgrund des für typische Bildsensoren mit Rolling Shutter sehr kleinen zeitlichen Versatzes stellt weder der Vorwärtsbetrieb noch der Rückwärtsbetrieb in Bezug auf die für die Neuabtastung zur Verfügung stehenden Informationen ein Problem dar. Die Anpassung der Neuabtasteinheit so, dass das Neuabtasten der aufgenommenen Zeilenbilddatensätze von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen abhängt, berücksichtigt aber bevorzugt den jeweiligen Betrieb.
Es ist bevorzugt, dass die Neuabtasteinheit ausgebildet ist, das Neuabtasten in Abhängigkeit einer gewünschten örtlichen Auflösung des Neuabtastens durchzuführen, wobei die gewünschte örtliche Auflösung vorzugsweise konfigurierbar ist. Wie erwähnt, hängt die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen ab, die wiederrum von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen. Das relativ zu der Kamera bewegte Objekt kann beispielsweise ein auf einem Transportband bewegtes Objekt sein. Die Geschwindigkeit der Relativbewegung kann in diesem Fall zum Beispiel durch einen Drehwinkelgeber des Transportbands oder einen anderen Sensor zum Erfassen der Geschwindigkeit des Transportbands bestimmt werden. Die Geschwindigkeit der Relativbewegung ist ein wesentlicher Parameter für die Neuabtastung, da sie bestimmt, wie weit sich das aufzunehmende Objekt in einem bestimmten Zeitintervall relativ zu der Kamera bewegt hat. Ein weiterer Parameter ist die gewünschte örtliche Auflösung des Neuabtastens, die eine gewünschte „Pixeldichte“ der Neuabtastung angibt. Wenn dieser Parameter konfigurierbar ist, kann das Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts sehr flexibel an unterschiedliche Aufnahmesituationen und -anforderungen angepasst werden. Die gewünschte örtliche Auflösung des Neuabtastens kann bevorzugt so sein bzw. so konfigurierbar sein, dass sie der örtlichen Auflösung des Bildsensors entspricht. Dann kann das aufzunehmende Objekt bevorzugt weitestgehend verzerrungsfrei, d.h., mit einem im Wesentlichen korrekten Höhe-Breite-Verhältnis, aufgenommen werden.
Es ist ferner bevorzugt, dass die Neuabtasteinheit ausgebildet ist, das Neuabtasten in Abhängigkeit von einem externen Triggersignal zum Triggern des Bildsensors im getriggerten Betrieb durchzuführen. Dabei hängt das Triggersignal bevorzugt von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera ab. Beispielsweise kann das Triggern des Bildsensors durch das externe Triggersignal so erfolgen, dass die durch die Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera verursachte örtliche Verschiebung zwischen zwei benachbarten Zeitpunkten jeweils konstant ist.
Es ist bevorzugt, dass die Mehrzahl der Pixelzeilen im einem Bereich von 4 bis 128 Pixelzeilen, bevorzugt, von 4 bis 64 Pixelzeilen, noch bevorzugter, von 8 bis 32 Pixelzeilen, am bevorzugtesten von 8 bis 16 Pixelzeilen liegt. Beim sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts mit einem Flächensensor ist im Vergleich zu einer Zeilenkamera eine Besonderheit zu beachten. Abhängig von der Höhe des aufzunehmenden Objekts, beispielsweise eines auf einem Transportband bewegten Objekts, ergibt sich durch den unterschiedlichen Abstand von der Kamera eine unterschiedliche Winkelgeschwindigkeit und damit eine unterschiedliche Bildgeschwindigkeit. Dies kann bei mehrzeiliger Abtastung zu Bildartefakten führen, die hier als dreidimensionale Verzerrung (3D-Verzerrung) bezeichnet werden. Dadurch, dass die Mehrzahl der Pixelzeilen in dem genannten Bereich liegt, können die 3D-Verzerrungen auf ein akzeptables Maß begrenzt werden und gleichzeitig eine qualitativ hochwertige Neuabtastung der erhaltenen Zeilenbilddatensätze ermöglicht werden. Dabei stellen insbesondere Werte von 8 bis 32 und, in noch größerem Maße, von 8 bis 16 Pixelzeilen einen hervorragenden Kompromiss zwischen dem Erhalten, auch bei größeren Schwankungen der Relativgeschwindigkeit zwischen dem aufzunehmenden Objekt und der Kamera, von Zeilenbilddatensätzen in so ausreichender Dichte, dass eine qualitativ hochwertige Neuabtastung der aufgenommenen Zeilenbilddatensätze ermöglicht wird, und der Reduzierung von 3D-Verzerrungen dar. Als zusätzlicher Effekt einer kleineren Anzahl von Pixelzeilen reduziert sich zudem die Größe der durch eine Lichtquelle zu beleuchtenden Fläche, wodurch beispielsweise der Energieverbrauch der Beleuchtung sinken kann oder die Beleuchtung schlanker und sparsamer ausgelegt werden kann. Außerdem reduzieren sich Probleme mit der möglicherweise nicht vollständig exakten mechanischen Ausrichtung der Kamera zur relativen Bewegungsrichtung.
Es ist ferner bevorzugt, dass der Bildsensor eine größere Anzahl von Pixelzeilen als die Mehrzahl von Pixelzeilen umfasst und angepasst ist, einen auszulesenden Bildbereich auf die Mehrzahl von Pixelzeilen zu beschränken. Mit anderen Worten ist der Flächenbildsensor angepasst, bei jeder der fortlaufenden Belichtungen eine Anzahl an Pixelzeilen auszulesen, die geringer ist als die gesamte Anzahl der Pixelzeilen des Flächensensors. Damit braucht man zur Realisierung des Aufnahmesystems zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts keinen speziellen Flächensensor verwenden, der exakt die Mehrzahl von Pixelzeilen (z.B. in einem Bereich von 8 bis 16 Pixelzeilen) umfasst, sondern kann auf handelsübliche Flächensensoren zurückgreifen, was wiederum die Kosten reduziert.
Insbesondere ist es bevorzugt, dass der auszulesende Bildbereich als eine konfigurierbare Region-Of-Interest in der Kamera konfigurierbar ist. Eine solche Konfigurierungsmöglichkeit ist bei einem Großteil der verfügbaren Flächensensoren vorhanden und erlaubt somit eine Beschränkung des auszulesenden Bereichs auf die Mehrzahl von Pixelzeilen.
Es ist bevorzugt, dass in der Kamera eine Blende mit einer schlitzförmigen Blendenöffnung vor dem Bildsensor angeordnet ist. Viele Kameras enthalten neben der sogenannten Aperturblende im Objektiv eine weitere Blende, die hier beispielhaft als Feldblende bezeichnet wird und zumeist in räumlicher Nähe vor dem Bildsensor positioniert ist. Eine übliche Ausführungsform für eine Feldblende für einen Flächensensor besitzt eine weitgehend rechteckige Öffnung, die hier uneingedenk der typischerweise abgerundeten Ecken als Rechteckblende bezeichnet wird und zumeist eine Proportion in einem Bereich von 1:1 bis 2:1 aufweist. Demgegenüber weisen Zeilenkameras oftmals eine andere Ausführungsform der Feldblende auf, die man auch als Schlitzblende bezeichnen kann. Eine solche Schlitzblende weist eine schlitzförmige Blendenöffnung mit einer Proportion in einem Bereich größer 4:1, bevorzugt größer 8:1, noch bevorzugter größer 12:1 auf. Sie kann beispielsweise als Rechteck, als schlitzförmiges Rechteck mit abgerundeten Ecken oder als Schlitz mit runden Enden ausgeführt sein. Weiterhin ist es möglich, dass einseitig oder beidseitig eine Fase angebracht ist. Bei der Verwendung eines Flächensensors in dem Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts kann es grundsätzlich zu unerwünschten Bildartefakten kommen, wenn nicht benötigte Bereiche des Bildsensors belichtet werden, insbesondere wenn diese Belichtung mit starker Intensität erfolgt. Ein Beispiel für das Zustandekommen solcher unerwünschter Bildartefakte wird in DE 10 2008 016 393 B4 erläutert. Ein weiteres Problem stellt Streulicht dar, das durch unerwünschte Beleuchtung eines Flächensensors hervorgerufen werden kann. Grundsätzlich entsteht Streulicht nämlich nicht nur im Objektiv, sondern kann sich auch an anderen optischen Komponenten einer Kamera, z.B. am Sensordeckglas, ergeben. Dadurch, dass in der Kamera uneingedenk des verwendeten Flächensensors eine Blende mit einer schlitzförmigen Blendenöffnung angeordnet ist, können unerwünschte Bildartefakte, wie z.B. Streulicht am Sensordeckglas, reduziert werden.
Es ist ferner bevorzugt, dass in einen Fall, in dem sich die örtliche Lage eines neu abzutastenden Zeilenbilddatensatzes in Bezug auf die aufgenommenen Zeilenbilddatensätze in zwei oder mehr zu unterschiedlichen Zeitpunkten aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen zwischen jeweils zwei aufgenommenen Zeilenbilddatensätzen befindet, die Neuabtasteinheit angepasst ist, den neu abgetasteten Zeilenbilddatensatz in Abhängigkeit der jeweils zwei aufgenommenen Zeilenbilddatensätze in den zwei oder mehr zu unterschiedlichen Zeitpunkten aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen zu erzeugen. Eine solche Mehrfachabtastung kann beispielsweise dadurch erfolgen, dass für jeden der zwei oder mehr zu unterschiedlichen Zeitpunkten aufgenommenen Sätze der Mehrzahl von aufgenommenen Zeilenbilddatensätzen ein eigener neu abgetasteter Zeilenbilddatensatz ermittelt wird und aus den so erhaltenen zwei oder mehr neu abgetasteten Zeilenbilddatensätzen durch Zusammenfassen der neu abgetastete Zeilenbilddatensatz erzeugt wird. Dabei kann das Zusammenfassen beispielsweise durch Addition, durch Mittelung, durch eine gewichtete Mittelung oder durch eine Linearkombination erfolgen. Der so erzeugte neu abgetastete Zeilenbilddatensatz besitzt im Allgemeinen ein besseres Signal-zu-Rausch-Verhältnis als ein neu abgetasteter Zeilenbilddatensatz, der in Abhängigkeit von zwei aufgenommenen Zeilenbilddatensätzen in nur einem Satz der Mehrzahl von aufgenommenen Zeilenbilddatensätzen erzeugt wird. Dieses verbesserte Signal-zu-Rausch-Verhältnis führt im Allgemeinen zu einer Verbesserung der Bildqualität und ist speziell beim sukzessiven Aufnehmen von lichtschwachen Bildern wünschenswert.
Es ist bevorzugt, dass der Bildsensor ein monochromer Bildsensor ist oder dass der Bildsensor ein Farbbildsensor mit einem Mosaikfilter, z.B. einem Bayer Pattern wie es in US 3,971,065 A beschrieben ist, ist. In letzterem Fall können mit der Kamera auch Farbbilder aufgenommen werden, wobei dies mit einem Mosaikfilter mit relativ geringem Aufwand realisiert werden kann. Dazu ist gegenüber der Verarbeitung von Zeilenbilddatensätzen eines monochromen Bildsensors mindestens ein weiterer technischer Schritt erforderlich, denn bei einem Farbbildsensor mit Mosaikfilter ist eine Farbinterpolation erforderlich, wobei Farbwerte grundsätzlich an Zwischenpixelpositionen ermittelt werden. Dabei bezeichnet eine Zwischenpixelposition eine Position die nicht notwendigerweise genau auf dem Pixelraster liegt, sondern gegenüber diesem um ein Maß verschoben sein kann, welches kleiner ist als die Größe eines Pixels. Ein möglicher Weg, eine solche Interpolation vorzunehmen, besteht darin, ein bekanntes Interpolationsverfahren für die auf dem Farbflächensensor vorliegende Anordnung von Farbfiltern anzuwenden, z.B. gemäß EP 2 929 503 B1 . Dadurch wird aus einem Rohbild jeweils ein Farbbild mit jeweils mehreren Farbkomponenten erhalten, wobei nachfolgend innerhalb jeder durch die Werte einer jeweiligen Farbkomponente aufgespannten Farbebene durch Interpolation ein Farbkomponentenwert für die jeweils gewünschte Zwischenpixelposition erhalten werden kann. Die Gesamtheit dieser Farbkomponentenwert für die jeweilige Zwischenposition bildet dann jeweils den Farbwert für diese Zwischenposition. Ein anderes, eleganteres Verfahren der Farbinterpolation für Zwischenpixelpositionen wird beispielsweise in DE 10 2016 112 968 B4 beschrieben. Dieses weist darüber hinaus den Vorteil auf, dass die erhaltenen Farbwerte dem Modell des Standards EMVA 1288 genügen. Dadurch verhalten sie sich physikalisch so wie die Farbwerte einer Farbzeilenkamera mit einem Farbzeilensensor.
Es ist ferner bevorzugt, dass die Kamera die Empfangseinheit und die Neuabtasteinheit umfasst.
Es ist bevorzugt, dass das Aufnahmesystem des Weiteren einen Sensor zum Erfassen der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera umfasst.
Gemäß einem weiteren Aspekt der Erfindung wird ein Aufnahmeverfahren zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts bereitgestellt, wobei das Aufnahmeverfahren umfasst:

- Aufnehmen von Zeilenbilddatensätzen des aufzunehmenden Objekts mit einem Bildsensor der Kamera im getriggerten Betrieb,
- Empfangen von Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, und
- Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen abhängt,

Es versteht sich, dass das Aufnahmesystem nach Anspruch 1 und das Aufnahmeverfahren nach Anspruch 12 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
Figurenliste
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 schematisch und exemplarisch eine Ausführungsform eines Aufnahmesystems zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts zeigt,
2 schematisch und exemplarisch eine Neuabtastung der aufgenommenen Zeilenbilddatensätze für einen Bildsensor mit Rolling Shutter im Vorwärtsbetrieb zeigt,
3 schematisch und exemplarisch eine Neuabtastung der aufgenommenen Zeilenbilddatensätze für einen Bildsensor mit Rolling Shutter im Rückwärtsbetrieb zeigt,
4 schematisch und exemplarisch eine Neuabtastung der aufgenommenen Zeilenbilddatensätze für einen Bildsensor mit Rolling Shutter im Vorwärtsbetrieb mit Mehrfachabtastung zeigt, und
5 ein Flussdiagram zeigt, das beispielhaft eine Ausführungsform eines Aufnahmeverfahrens zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts illustriert.

In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
Eine Ausführungsform eines Aufnahmesystems 1 zum sukzessiven Aufnehmen eines relativ zu einer Kamera 3 bewegten Objekts 2 ist schematisch und exemplarisch in 1 gezeigt. Das Aufnahmesystem 1 umfasst die Kamera 3, wobei die Kamera 3 einen Bildsensor 4 zum Aufnehmen von Zeilenbilddatensätzen 10 des aufzunehmenden Objekts 2 im getriggerten Betrieb umfasst, eine Empfangseinheit 5 zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit v der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 abhängen, und eine Neuabtasteinheit 6 zum Neuabtasten der aufgenommenen Zeilenbilddatensätze 10, um neu abgetastete Zeilenbilddatensätze 11 (siehe 2 bis 4) zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 von den empfangenen Neuabtastinformationen abhängt. Der Bildsensor 4 ist ein Flächensensor, hier, ein monochromer Bildsensor, der eine Mehrzahl von Pixelzeilen 12 umfasst und der angepasst ist, mit der Mehrzahl von Pixelzeilen 12 jeweils eine Mehrzahl von Zeilenbilddatensätzen 10 zum Erzeugen der neu abgetasteten Zeilenbilddatensätze 11 aufzunehmen. Der Bildsensor 4 umfasst einen elektronischen Verschluss 7, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen 12 zeitlich gestaffelt zu starten, wobei die Neuabtasteinheit 6 so angepasst ist, dass das Neuabtasten der aufgenommenen Zeilenbilddatensätze 10 von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen 12 abhängt. Diese Art von elektronischem Verschluss, die oft als Rolling Shutter oder Electronic Rolling Shutter bezeichnet wird, ist dadurch gekennzeichnet, dass für eine erste Zeile die Belichtung zu einem ersten Zeitpunkt gestartet wird und der Start der Belichtung weiterer Pixelzeilen jeweils zeitlich gestaffelt zu verschiedenen Zeitpunkten erfolgt. Da es zumeist erwünscht ist, dass alle Pixelzeilen eines Bildes eine gleiche Integrationszeit aufweisen, erfolgt zumeist auch das Beenden der Belichtungen zeitlich gestaffelt zu jeweils verschiedenen Zeitpunkten.
In dieser Ausführungsform umfasst die Kamera 3 die Empfangseinheit 5 und die Neuabtasteinheit 6.
Die Neuabtasteinheit 6 ist ausgebildet, das Neuabtasten in Abhängigkeit einer gewünschten örtlichen Auflösung des Neuabtastens durchzuführen. Wie erwähnt, hängt die örtliche Lage der neu abgetasteten Zeilenbilddatensätze 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 von den empfangenen Neuabtastinformationen ab, die wiederrum von der Geschwindigkeit v der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 abhängen. Das relativ zu der Kamera 3 bewegte Objekt 2 ist in diesem Beispiel ein auf einem Transportband 13 bewegtes Objekt 2. Die Geschwindigkeit v der Relativbewegung wird durch einen Drehwinkelgeber 14 des Transportbands 13 bestimmt. Die Geschwindigkeit v der Relativbewegung ist ein wesentlicher Parameter für die Neuabtastung, da sie bestimmt, wie weit sich das aufzunehmende Objekt 2 in einem bestimmten Zeitintervall relativ zu der Kamera 3 bewegt hat. Ein weiterer Parameter ist die gewünschte örtliche Auflösung des Neuabtastens, die eine gewünschte „Pixeldichte“ der Neuabtastung angibt. In dieser Ausführungsform ist dieser Parameter konfigurierbar, beispielsweise über eine geeignete Schnittstelle - in der Figur nicht gezeigt - der Kamera 3, so dass das Aufnahmesystem 1 zum sukzessiven Aufnehmen eines relativ zu einer Kamera 3 bewegten Objekts 2 sehr flexibel an unterschiedliche Aufnahmesituationen und -anforderungen angepasst werden kann.
Das Aufnahmesystem 1 ist angepasst, das sukzessive Aufnehmen in einem Vorwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen 12 entgegen der Richtung der Bewegung der Abbildung des aufzunehmenden Objekts 2 auf den Bildsensor 4 der Kamera 3 erfolgt, oder in einem Rückwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen 12 in Richtung der Bewegung der Abbildung des aufzunehmenden Objekt 2 auf den Bildsensor 4 der Kamera 3 erfolgt, durchzuführen.
Eine Neuabtastung der aufgenommenen Zeilenbilddatensätze 10 für einen Bildsensor 4 mit Rolling Shutter ist schematisch und exemplarisch in 2 (Vorwärtsbetrieb) und 3 (Rückwärtsbetrieb) gezeigt. Die Figuren zeigen jeweils ein zweidimensionales Zeit-Ort-Diagramm (Zeit auf der x-Achse und örtliche Lage auf der y-Achse). Zu jedem Zeitpunkt t₀, t₁, t₂, usw. nimmt der Bildsensor 4 mit der Mehrzahl von Pixelzeilen 12 jeweils eine Mehrzahl von Zeilenbilddatensätzen 10 - hier nur durch einzelne transparente Quadrate visualisiert - zum Erzeugen der neu abgetasteten Zeilenbilddatensätze 11 auf. Wie man erkennt, sind die zu unterschiedlichen Zeitpunkten t₀, t₁, t₂, usw. aufgenommenen Sätze der Mehrzahl von aufgenommenen Zeilenbilddatensätzen 10 aufgrund der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 örtlich (im Diagramm in y-Richtung) zueinander verschoben. Das Maß der örtlichen Verschiebung zwischen zwei benachbarten Zeitpunkten hängt dabei von der Geschwindigkeit v der Relativbewegung sowie dem zeitlichen Abstand zwischen diesen Zeitpunkten ab. In den gezeigten Beispielen erfolgt das Triggern des Bildsensors 4 durch ein externes Triggersignal so, dass die Verschiebung zwischen zwei benachbarten Zeitpunkten jeweils konstant ist. Dazu wird der Abstand zwischen den Zeitpunkten t₀ und t₁ größer gewählt (kleinere Geschwindigkeit v_0-1) als zwischen den Zeitpunkten t₁ und t₂ (größere Geschwindigkeit v_1-2). Die örtliche Lage der neu abzutastenden Zeilenbilddatensätze 11 - hier nur durch einzelne schwarz gefüllte Kreise visualisiert - in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 kann in Abhängigkeit der Geschwindigkeit v der Relativbewegung, dem externen Triggersignal zum Triggern des Bildsensors 4 und der gewünschten örtlichen Auflösung des Neuabtastens bestimmt werden. In diesen Beispielen entspricht die gewünschte örtliche Auflösung des Neuabtastens gerade der Auflösung des Bildsensors 4. Die neu abgetasteten Zeilenbilddatensätze 11 werden aus jeweils benachbarten aufgenommenen Zeilenbilddatensätzen 10 erzeugt. Dies kann zum Beispiel mittels einer linearen Interpolation erfolgen, die in 2 beispielhaft für einen neu abgetasteten Zeilenbilddatensatz 11 mit dem Bezugszeichen L illustriert ist.
Wie erläutert, erfolgt beim Rolling Shutter sowohl die Belichtung als auch das Auslesen der Pixelzeilen des Bildsensors 4 nicht jeweils gleichzeitig, sondern zeilenweise zeitlich gestaffelt. Anschaulich befinden sich damit die Belichtungszeitpunkte aufeinanderfolgender Pixelzeilen in dem zweidimensionalen Zeit-Ort-Diagramm (Zeit auf der x-Achse und örtliche Lage auf der y-Achse) nicht vertikal übereinander, sondern sie sind seitlich um die Differenz der Belichtungszeitpunkte der jeweiligen Pixelzeilen verschoben. Dieser zeitliche Versatz hat einen unterschiedlichen Effekt, je nachdem ob das sukzessive Aufnehmen im Vorwärtsbetrieb oder im Rückwärtsbetrieb durchgeführt wird. Durch die Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 führt der zeitliche Versatz dazu, dass sich auch die örtliche Lage (im Diagramm in y-Richtung) der aufgenommenen Zeilenbilddatensätze leicht verschiebt. Für den Vorwärtsbetrieb (2) folgt dabei, dass die aufgenommenen Zeilenbilddatensätze 10 örtlich auseinandergezogen werden. Dieser Effekt, den man auch als Abtastdilatation bezeichnen kann, führt zu einer leichten Unterabtastung im Vergleich zum einem Bildsensor 4 mit Global Shutter. Für den Rückwärtsbetrieb (3) gilt dann entsprechend, dass die aufgenommenen Zeilenbilddatensätze 10 örtlich verdichtet werden. Dieser Effekt, den man auch als Abtastkontraktion bezeichnen kann, führt zu einer leichten Überabtastung im Vergleich zum einem Bildsensor 4 mit Global Shutter. Aufgrund des für typische Bildsensoren mit Rolling Shutter sehr kleinen zeitlichen Versatzes stellt weder der Vorwärtsbetrieb noch der Rückwärtsbetrieb in Bezug auf die für die Neuabtastung zur Verfügung stehenden Information ein Problem da. Die Anpassung der Neuabtasteinheit 6 so, dass das Neuabtasten der aufgenommenen Zeilenbilddatensätze 10 von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen 12 abhängt, berücksichtigt aber den jeweiligen Betrieb.
Bezugnehmend wieder auf 1 sei angemerkt, dass in dieser Figur der Übersichtlichkeit halber als die Anzahl der Mehrzahl von Pixelzeilen 12 ein Wert von 4 Pixelzeilen genommen wurde. Wie erläutert, ist es aber bevorzugt, dass die Mehrzahl der Pixelzeilen im einem Bereich von 4 bis 128 Pixelzeilen, bevorzugt, von 4 bis 64 Pixelzeilen, noch bevorzugter, von 8 bis 32 Pixelzeilen, am bevorzugtesten von 8 bis 16 Pixelzeilen liegt. Tatsächlich liegt die Anzahl der Mehrzahl von Pixelzeilen 12 daher in dieser Ausführungsform in einem Bereich von 8 bis 16 Pixelzeilen.
Der Bildsensor 4 umfasst in dieser Ausführungsform eine größere Anzahl von Pixelzeilen als die Mehrzahl von Pixelzeilen 12 - gezeigt sind in der 1 der Übersichtlichkeit halber 8 Pixelzeilen, bei einem handelsüblichen Flächensensor können es aber mehrere Hundert oder mehrere Tausend Pixelzeilen sein - und ist angepasst, einen auszulesenden Bildbereich auf die Mehrzahl von Pixelzeilen 12 zu beschränken. Mit anderen Worten ist der Flächenbildsensor 4 angepasst, bei der jeder fortlaufenden Belichtungen eine Anzahl an Pixelzeilen 12 auszulesen, die geringer ist als die gesamte Anzahl der Pixelzeilen des Flächensensors 4. In dieser Ausführungsform ist der auszulesende Bildbereich als eine konfigurierbare Region-Of-Interest in der Kamera 3 konfigurierbar. Eine solche Konfigurierungsmöglichkeit ist bei einem Großteil der verfügbaren Flächensensoren vorhanden und erlaubt somit eine Beschränkung des auszulesenden Bereichs auf die Mehrzahl von Pixelzeilen 12.
In der Kamera 3 ist neben der sogenannten Aperturblende im Objektiv - in der Figur nicht gezeigt - eine Blende 8 mit einer schlitzförmigen Blendenöffnung 9 (Schlitzblende) vor dem Bildsensor 4 angeordnet. Diese ist in räumlicher Nähe vor dem Bildsensor 4 positioniert und in dieser Ausführungsform als Schlitz mit runden Enden ausgeführt. Dadurch, dass in der Kamera 3 uneingedenk des verwendeten Flächensensors 4 eine Blende 8 mit einer schlitzförmigen Blendenöffnung 9 angeordnet ist, können unerwünschte Bildartefakte, wie z.B. Streulicht am Sensordeckglas, reduziert werden.
In einen Fall, in dem sich die örtliche Lage eines neu abzutastenden Zeilenbilddatensatzes 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 in zwei oder mehr zu unterschiedlichen Zeitpunkten t₀, t₁, t₂, usw. aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen 10 zwischen jeweils zwei aufgenommenen Zeilenbilddatensätzen 10 befindet, ist die Neuabtasteinheit angepasst, den neu abgetasteten Zeilenbilddatensatz 11 in Abhängigkeit der jeweils zwei aufgenommenen Zeilenbilddatensätze 10 in den zwei oder mehr zu unterschiedlichen Zeitpunkten t₀, t₁, t₂, usw. aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen 10 zu erzeugen.
Eine solche Neuabtastung der aufgenommenen Zeilenbilddatensätze 10 mit Mehrfachabtastung ist schematisch und exemplarisch in 4 für einen Bildsensor 4 mit Rolling Shutter im Vorwärtsbetrieb gezeigt. Sie erfolgt in diesem Beispiel dadurch, dass für jeden der zwei oder mehr zu unterschiedlichen Zeitpunkten aufgenommenen Sätze der Mehrzahl von aufgenommenen Zeilenbilddatensätzen 10 ein eigener neu abgetasteter Zeilenbilddatensatz ermittelt wird und aus den so erhaltenen zwei oder mehr neu abgetasteten Zeilenbilddatensätzen durch Zusammenfassen der neu abgetastete Zeilenbilddatensatz 11 erzeugt wird. Dabei kann das Zusammenfassen beispielsweise durch Addition, durch Mittelung, durch eine gewichtete Mittelung oder durch eine Linearkombination erfolgen. Eine entsprechende Neuabtastung der aufgenommenen Zeilenbilddatensätze 10 mit Mehrfachabtastung kann in vergleichbarer Weise auch für einen Bildsensor 4 mit Rolling Shutter im Rückwärtsbetrieb durchgeführt werden.
Im Folgenden wird beispielhaft eine Ausführungsform eines Aufnahmeverfahrens zum sukzessiven Aufnehmen eines relativ zu einer Kamera 3 bewegten Objekts 2 unter Bezugnahme auf ein Flussdiagramm beschrieben, das in 5 gezeigt ist. In dieser Ausführungsform wird das Aufnahmeverfahren durch das schematisch und exemplarisch in 1 gezeigte Aufnahmesystem 1 ausgeführt.
In Schritt S101 werden Zeilenbilddatensätze 10 des aufzunehmenden Objekts 2 mit einem Bildsensor 4 der Kamera 3 im getriggerten Betrieb aufgenommen.
In Schritt S102 werden Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 abhängen, empfangen. Dies geschieht in diesem Beispiel durch die Empfangseinheit 5.
In Schritt S103 werden die aufgenommenen Zeilenbilddatensätze 10 neuabgetastet, um neu abgetastete Zeilenbilddatensätze 11 zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 von den empfangenen Neuabtastinformationen abhängt. Dies geschieht in diesem Beispiel durch die Neuabtasteinheit 6.
Der Bildsensor 4 ist ein Flächensensor, der eine Mehrzahl von Pixelzeilen 12 umfasst und der angepasst ist, mit der Mehrzahl von Pixelzeilen 12 jeweils eine Mehrzahl von Zeilenbilddatensätzen 10 zum Erzeugen der neu abgetasteten Zeilenbilddatensätze 11 aufzunehmen. Der Bildsensor 4 umfasst einen elektronischen Verschluss 7, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen 12 zeitlich gestaffelt zu starten, wobei das Neuabtasten der aufgenommenen Zeilenbilddatensätze 10 von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen 12 abhängt.
In der in 1 gezeigten Ausführungsform umfasst die Kamera 3 die Empfangseinheit 5 und die Neuabtasteinheit 6. In diesem Fall kann die Empfangseinheit 5 beispielsweise eine geeignete Schnittstelle der Kamera 3 sein und die empfangenen Neuabtastinformationen können die Geschwindigkeit v der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 umfassen. In alternativen Ausführungsformen kann die Kamera 3 die Empfangseinheit 5 und die Neuabtasteinheit 6 nicht umfassen. Beispielsweise kann das Aufnahmesystem 1 zum sukzessiven Aufnehmen eines relativ zu einer Kamera 3 bewegten Objekts 2 die Kamera 3 und einen Computer oder eine andere in Bezug auf die Kamera 3 externe Verarbeitungseinheit umfassen, die die Empfangseinheit 5 und die Neuabtasteinheit 6 umfasst. In diesem Fall werden die von dem Bildsensor 4 der Kamera 3 aufgenommenen Zeilenbilddatensätze über eine geeignete Schnittstelle an die externe Verarbeitungseinheit geliefert und die Empfangseinheit 5 kann eine zum Empfangen der Neuabtastinformationen geeignete Schnittstelle der externen Verarbeitungseinheit sein. Die empfangenen Neuabtastinformationen können auch in diesem Fall die Geschwindigkeit v der Relativbewegung zwischen dem aufzunehmenden Objekt 2 und der Kamera 3 umfassen. Zudem können die Neuabtastinformationen die gewünschte örtliche Auflösung des Neuabtastens umfassen. Unabhängig davon, ob die Kamera 3 die Empfangseinheit 5 und die Neuabtasteinheit 6 umfasst oder nicht, ist es aber auch möglich, dass in den Neuabtastinformationen bereits zwei oder mehr Parameter miteinander verknüpft sind und diese somit beispielsweise bereits die aus der Geschwindigkeit v der Relativbewegung und der gewünschten örtlichen Auflösung des Neuabtastens bestimmte örtliche Lage der neu abgetasteten Zeilenbilddatensätze 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 umfassen.
In der in 1 gezeigten Ausführungsform ist die gewünschte örtliche Auflösung konfigurierbar. In anderen Ausführungsformen kann dieser Parameter auch nicht konfigurierbar sein. In diesem Fall kann zur Bestimmung der örtlichen Lage der neu abgetasteten Zeilenbilddatensätze 11 in Bezug auf die aufgenommenen Zeilenbilddatensätze 10 als die gewünschte örtliche Auflösung des Neuabtastens die örtliche Auflösung des Bildsensors 4 verwendet werden.
In der in 1 gezeigten Ausführungsform ist der Bildsensor 4 ein monochromer Bildsensor. In anderen Ausführungsformen kann der Bildsensor 4 aber auch ein Farbbildsensor mit einem Mosaikfilter sein. In diesem Fall können mit der Kamera 3 auch Farbbilder aufgenommen werden, wobei dies mit einem Mosaikfilter mit relativ geringem Aufwand realisiert werden kann. Dazu ist gegenüber der Verarbeitung von Zeilenbilddatensätzen eines monochromen Bildsensors mindestens ein weiterer technischer Schritt erforderlich, denn bei einem Farbbildsensor mit Mosaikfilter ist eine Farbinterpolation erforderlich, wobei Farbwerte grundsätzlich an Zwischenpixelpositionen ermittelt werden.
In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.
Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
Vorgänge wie das Empfangen von Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, das Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze zu erzeugen, et cetera, die von einer oder mehreren Einheiten oder Vorrichtungen durchgeführt werden, können auch von einer anderen Anzahl an Einheiten oder Vorrichtungen durchgeführt werden. Diese Vorgänge können als Programmcode eines Computerprogramms und/oder als entsprechende Hardware implementiert sein.
Ein Computerprogramm kann auf einem geeigneten Medium gespeichert und/oder verteilt werden, wie beispielsweise einem optischen Speichermedium oder einem Festkörperspeichermedium, das zusammen mit oder als Teil anderer Hardware vertrieben wird. Das Computerprogramm kann aber auch in anderen Formen vertrieben werden, beispielsweise über das Internet oder andere Telekommunikationssysteme.
Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
Zusammengefasst wurde ein Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts beschrieben. Das Aufnahmesystem umfasst die Kamera, wobei die Kamera einen Bildsensor zum Aufnehmen von Zeilenbilddatensätzen des aufzunehmenden Objekts im getriggerten Betrieb umfasst, eine Empfangseinheit zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit der Relativbewegung zwischen dem aufzunehmenden Objekt und der Kamera abhängen, und eine Neuabtasteinheit zum Neuabtasten der aufgenommenen Zeilenbilddatensätze, um neu abgetastete Zeilenbilddatensätze zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze in Bezug auf die aufgenommenen Zeilenbilddatensätze von den empfangenen Neuabtastinformationen abhängt. Der Bildsensor ist ein Flächensensor, der eine Mehrzahl von Pixelzeilen umfasst und der angepasst ist, mit der Mehrzahl von Pixelzeilen jeweils eine Mehrzahl von Zeilenbilddatensätzen zum Erzeugen der neu abgetasteten Zeilenbilddatensätze aufzunehmen. Der Bildsensor umfasst einen elektronischen Verschluss, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen zeitlich gestaffelt zu starten, wobei das Neuabtasten der aufgenommenen Zeilenbilddatensätze von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen abhängt. Das Aufnahmesystem ist angepasst, das sukzessive Aufnehmen in einem Vorwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen entgegen der Richtung der Bewegung der Abbildung des aufzunehmenden Objekts auf den Bildsensor der Kamera erfolgt, oder in einem Rückwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen in Richtung der Bewegung der Abbildung des aufzunehmenden Objekts auf den Bildsensor der Kamera erfolgt, durchzuführen.

Claims

Aufnahmesystem (1) zum sukzessiven Aufnehmen eines relativ zu einer Kamera (3) bewegten Objekts (2), umfassend: - die Kamera (3), wobei die Kamera (3) einen Bildsensor (4) zum Aufnehmen von Zeilenbilddatensätzen (10) des aufzunehmenden Objekts (2) im getriggerten Betrieb umfasst, - eine Empfangseinheit (5) zum Empfangen von Neuabtastinformationen, die von der Geschwindigkeit (v) der Relativbewegung zwischen dem aufzunehmenden Objekt (2) und der Kamera (3) abhängen, und - eine Neuabtasteinheit (6) zum Neuabtasten der aufgenommenen Zeilenbilddatensätze (10), um neu abgetastete Zeilenbilddatensätze (11) zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze (11) in Bezug auf die aufgenommenen Zeilenbilddatensätze (10) von den empfangenen Neuabtastinformationen abhängt, wobei der Bildsensor (4) ein Flächensensor ist, der eine Mehrzahl von Pixelzeilen (12) umfasst und der angepasst ist, mit der Mehrzahl von Pixelzeilen (12) jeweils eine Mehrzahl von Zeilenbilddatensätzen (10) zum Erzeugen der neu abgetasteten Zeilenbilddatensätze (11) aufzunehmen, wobei der Bildsensor (4) einen elektronischen Verschluss (7) umfasst, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen (12) zeitlich gestaffelt zu starten, wobei die Neuabtasteinheit (6) so angepasst ist, dass das Neuabtasten der aufgenommenen Zeilenbilddatensätze (10) von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) abhängt, wobei das Aufnahmesystem (1) angepasst ist, das sukzessive Aufnehmen in einem Vorwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) entgegen der Richtung der Bewegung der Abbildung des aufzunehmenden Objekts (2) auf den Bildsensor (4) der Kamera (3) erfolgt, oder in einem Rückwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) in Richtung der Bewegung der Abbildung des aufzunehmenden Objekts (2) auf den Bildsensor (4) der Kamera (3) erfolgt, durchzuführen.
Aufnahmesystem (1) nach Anspruch 1, wobei die Neuabtasteinheit (6) ausgebildet ist, das Neuabtasten in Abhängigkeit einer gewünschten örtlichen Auflösung des Neuabtastens durchzuführen, wobei die gewünschte örtliche Auflösung vorzugsweise konfigurierbar ist.
Aufnahmesystem (1) nach Anspruch 1 oder 2, wobei die Neuabtasteinheit (6) ausgebildet ist, das Neuabtasten in Abhängigkeit von einem externen Triggersignal zum Triggern des Bildsensors (4) im getriggerten Betrieb durchzuführen.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 3, wobei die Mehrzahl der Pixelzeilen (12) im einem Bereich von 4 bis 128 Pixelzeilen, bevorzugt, von 4 bis 64 Pixelzeilen, noch bevorzugter, von 8 bis 32 Pixelzeilen, am bevorzugtesten von 8 bis 16 Pixelzeilen liegt.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 4, wobei der Bildsensor (4) eine größere Anzahl von Pixelzeilen als die Mehrzahl von Pixelzeilen (12) umfasst und angepasst ist, einen auszulesenden Bildbereich auf die Mehrzahl von Pixelzeilen (12) zu beschränken.
Aufnahmesystem (1) nach Anspruch 5, wobei der auszulesende Bildbereich als eine konfigurierbare Region-Of-Interest in der Kamera (3) konfigurierbar ist.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 6, wobei in der Kamera (3) eine Blende (8) mit einer schlitzförmigen Blendenöffnung (9) vor dem Bildsensor (4) angeordnet ist.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 7, wobei in einen Fall, in dem sich die örtliche Lage eines neu abzutastenden Zeilenbilddatensatzes (11) in Bezug auf die aufgenommenen Zeilenbilddatensätze (10) in zwei oder mehr zu unterschiedlichen Zeitpunkten (t₀, t₁, t₂) aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen (10) zwischen jeweils zwei aufgenommenen Zeilenbilddatensätzen (10) befindet, die Neuabtasteinheit (6) angepasst ist, den neu abgetasteten Zeilenbilddatensatz (11) in Abhängigkeit der jeweils zwei aufgenommenen Zeilenbilddatensätze (10) in den zwei oder mehr zu unterschiedlichen Zeitpunkten (t₀, t₁, t₂) aufgenommenen Sätzen der Mehrzahl von aufgenommenen Zeilenbilddatensätzen (10) zu erzeugen.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 8, wobei der Bildsensor (4) ein monochromer Bildsensor ist oder wobei der Bildsensor (4) ein Farbbildsensor mit einem Mosaikfilter ist.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 9, wobei die Kamera (3) die Empfangseinheit (5) und die Neuabtasteinheit (6) umfasst.
Aufnahmesystem (1) nach einem der Ansprüche 1 bis 10, des Weiteren umfassend einen Sensor (14) zum Erfassen der Geschwindigkeit (v) der Relativbewegung zwischen dem aufzunehmenden Objekt (2) und der Kamera (3).
Aufnahmeverfahren zum sukzessiven Aufnehmen eines relativ zu einer Kamera (3) bewegten Objekts (2), umfassend: - Aufnehmen (S101) von Zeilenbilddatensätzen (10) des aufzunehmenden Objekts (2) mit einem Bildsensor (4) der Kamera (3) im getriggerten Betrieb, - Empfangen (S102) von Neuabtastinformationen, die von der Geschwindigkeit (v) der Relativbewegung zwischen dem aufzunehmenden Objekt (2) und der Kamera (3) abhängen, und - Neuabtasten (S103) der aufgenommenen Zeilenbilddatensätze (10), um neu abgetastete Zeilenbilddatensätze (11) zu erzeugen, wobei die örtliche Lage der neu abgetasteten Zeilenbilddatensätze (11) in Bezug auf die aufgenommenen Zeilenbilddatensätze (11) von den empfangenen Neuabtastinformationen abhängt, wobei der Bildsensor (4) ein Flächensensor ist, der eine Mehrzahl von Pixelzeilen (12) umfasst, wobei mit der Mehrzahl von Pixelzeilen (12) jeweils eine Mehrzahl von Zeilenbilddatensätzen (10) zum Erzeugen der neu abgetasteten Zeilenbilddatensätze (11) aufgenommen werden, wobei der Bildsensor (4) einen elektronischen Verschluss (7) umfasst, der angepasst ist, die Belichtung jeder der Mehrzahl von Pixelzeilen (12) zeitlich gestaffelt zu starten, wobei das Neuabtasten der aufgenommenen Zeilenbilddatensätze (10) von der zeitlichen Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) abhängt, wobei das sukzessive Aufnehmen in einem Vorwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) entgegen der Richtung der Bewegung der Abbildung des aufzunehmenden Objekts (2) auf den Bildsensor (4) der Kamera (3) erfolgt, oder in einem Rückwärtsbetrieb, bei dem die zeitliche Staffelung des Starts der Belichtung jeder der Mehrzahl von Pixelzeilen (12) in Richtung der Bewegung der Abbildung des aufzunehmenden Objekts (2) auf den Bildsensor (4) der Kamera (3) erfolgt, durchgeführt wird.