-
TECHNISCHES GEBIET DER ERFINDUNG
-
Die Erfindung betrifft einen Bildsensor mit in Zeilen angeordneten Belichtungszellen und mit einem Vertikalregister mit in Zeilen angeordneten Registerzellen. Bei Belichtung wird in jeder Belichtungszelle ein Signal erzeugt. Die Signale können dann in die Registerzellen übertragen werden, wobei jeder Belichtungszelle eine Registerzelle zugeordnet ist.
-
Ein solcher Bildsensor kann beispielsweise ein CCD-Sensor sein. Die Belichtungszellen sind dann Photodioden, in denen durch Belichtung Ladungen erzeugt werden, die das Signal bilden. Mittels einer gezielten Abfolge von elektrischen Steuerimpulsen an die Belichtungszellen und die Registerzellen können die Ladungen aus den Belichtungszellen in das Vertikalregister übertragen und zum Auslesen des CCD-Sensors linear aus dem Vertikalregister hinausgeschoben werden.
-
STAND DER TECHNIK
-
Lichtempfindliche Bildsensoren werden zur digitalen Aufnahme von Lichtintensitätsverteilungen in Form von Bildern eingesetzt. Mit jeder Aufnahme kann die jeweilige Lichtintensitätsverteilung nur innerhalb eines Belichtungs-Zeitintervalls abgebildet werden. Dies ist dann problematisch, wenn zeitlich veränderliche Lichtintensitätsverteilungen mit dem Bildsensor erfasst werden sollen. Zur Aufnahme solcher zeitlich veränderlicher Lichtintensitätsverteilungen müssen mehrere zeitlich aufeinander folgende Bilder aufgenommen werden. Im einfachsten Fall wird dazu mit dem jeweiligen Bildsensor ein Bild aufgenommen, indem in allen Belichtungszellen Signale erzeugt werden. Am Ende einer Belichtungszeit werden die Signale parallel in die Registerzellen übertragen, und anschließend werden alle Signale aus dem Vertikalregister ausgelesen. Erst wenn das Vertikalregister vollständig geleert ist, kann eine neuerliche Übertragung von Signalen aus den Belichtungszellen in die Registerzellen erfolgen. Eine Mindestbelichtungszeit eines nachfolgenden Bildes bzw. ein zeitlicher Mindestabstand zwischen den beiden aufeinanderfolgenden Bildern ist dadurch vorgegeben.
-
Wenn die zeitlich veränderliche Lichtintensitätsverteilung reproduzierbar ist, kann sie wiederholt werden, um in größeren absoluten zeitlichen Abständen Bilder zu dicht aufeinander folgenden relativen Zeitintervallen der zeitlich veränderlichen Lichtintensitätsverteilung aufzunehmen. Dasselbe gilt für periodisch wiederkehrende Lichtintensitätsverteilungen. Die Bilder können dann zu einer Folge zusammengesetzt werden, die den zeitlichen Verlauf der Lichtintensitätsverteilung wiedergibt. Dies setzt aber voraus, dass die Lichtintensitätsverteilung tatsächlich vollständig reproduzierbar ist, da sonst die bei ihren Wiederholungen aufgenommenen Bilder nicht miteinander vergleichbar sind.
-
In der Praxis, beispielsweise bei Fluoreszenz- bzw. Phosphoreszenzmessungen, kann es vorkommen, dass die aufzunehmenden Lichtintensitäten nur schwach sind, so dass eine höhere Belichtungszeit wünschenswert ist. Diese höhere Belichtungszeit kann bei wiederkehrenden oder wiederholbaren Lichtintensitätsverteilungen entweder erreicht werden, indem im Zuge der Auswertung mehrere aus dem Bildsensor ausgelesene Bilder aufaddiert werden, oder indem mehrere Bilder bereits vor ihrem Auslesen aus dem Bildsensor addiert werden. Dazu können die Belichtungszellen belichtet, die Signale in die Registerzellen verschoben, die Belichtungszellen erneut belichtet und die Signale wiederum in die Registerzellen verschoben werden, so dass sich die in den gleichen Belichtungszellen erzeugten Signale in den zugehörigen Registerzellen aufaddieren.
-
Ein bekannter CMOS-Bildsensor für Fluoreszenzlebensdauer-Mikroskopie (FLIM; s. z. B. die Broschüre zu der unter dem Namen „pco.flim“ vertriebenen FLIM-Kamera der PCO AG unter http://www.pco.de/fileadmin/user_upload/pco-product_sheets/pco.flim_brochure.pdf) weist zwei Register auf. Ladungen, die während einer ersten Belichtungszeit in den Belichtungszellen des CMOS-Bildsensors erzeugt werden, können in Registerzellen in dem ersten Register gespeichert werden, während Ladungen, die während einer zweiten Belichtungszeit in den Belichtungszellen erzeugt werden, in den Registerzellen des zweiten Register gespeichert werden. Wenn eine Lichtintensitätsverteilung wiederkehrt oder wiederholt wird, dann können erste Ladungen, die bei allen Wiederholungen für einen ersten relativen Zeitraum erzeugt werden, in das erste Register verschoben und in dessen Registerzellen addiert werden. Das Gleiche gilt für die zweiten Ladungen, die die bei allen Wiederholungen für einen zweiten relativen Zeitraum erzeugt und in den Registerzellen des zweiten Registers addiert werden. Die beiden Register des bekannten CMOS-Bildsensors werden getrennt ausgelesen. Aufgrund seiner beiden Register ist der bekannte CMOS-Bildsensor eine spezielle Bauform, die explizit auf die Verwendung für FLIM ausgerichtet ist.
-
DE 102012 112 118 A1 offenbart eine Verwendung eines Bildsensors mit zeilenweise angeordneten Lichtsensoren und einem Vertikalregister, das zu jedem Lichtsensor mindestens zwei zugeordnete Registerplätze aufweist, wobei Signale aus dem Lichtsensor auf einen ersten der zwei Registerplätze übertragen und von dort aus vertikal innerhalb des Vertikalregisters - und somit auch auf den zweiten Registerplatz - verschoben werden können. Bei einem ersten Belichten entstehen in den Lichtsensoren Signale, und am Ende des Belichtens werden die Signale jeweils auf den ersten Registerplatz übertragen. Dann werden nur die Signale aus jedem zweiten der ersten Registerplätze vertikal verschoben, bis sie mit unverschobenen Signalen in einem benachbarten ersten Registerplatz addiert werden. Die addierten Signale werden dann aus dem ersten Registerplatz in den benachbarten zweiten Registerplatz verschoben. Statt Signale aus jedem zweiten der ersten Registerplätze zu verschieben und somit jeweils zwei Signale zu addieren, können in entsprechender Weise auch jeweils drei oder mehr Signale addiert werden. Anschließend erfolgt ein zweites Belichten, bei dem wiederum Signale in dem Lichtsensor erzeugt und in die ersten Registerplätze übertragen werden. Durch Verschieben wie nach dem ersten Belichten werden diese ebenfalls addiert und in die zweiten Registerplätze verschoben. Wenn jeweils die Signale zweier Registerplätze addiert werden, sind die zweiten Registerplätze anschließend vollständig gefüllt. Wenn jeweils die Signale dreier Registerplätze addiert werden, kann ein drittes Belichten erfolgen, in dem wiederum Signale addiert werden. Dieses Verfahren ermöglicht die Aufnahme mehrerer Bilder in kurzer Abfolge, da kein zeitaufwändiges vollständiges Auslesen der Signale zwischen zwei Belichtungen erfolgen muss. Durch das Addieren der Signale aus benachbarten Lichtsensoren wird aber die Ortsauflösung der Teilbilder herabgesetzt, da durch das Addieren nicht mehr zwischen den Signalen benachbarter Lichtsensoren unterschieden werden kann und diese effektiv zu einem Lichtsensor mit verdoppelter, verdreifachter etc. Fläche zusammenfallen. Bei der bekannten Verwendung eines bereits verfügbaren Bildsensors können keine Mehrfachbelichtungen der Einzelbilder erfolgen.
-
US 2007/0002165 A1 offenbart ein Verfahren zur Aufnahme einer Bildsequenz mit einem Bildsensor. Der Bildsensor weist in Zeilen angeordnete Photodioden und ein zugeordnetes Vertikalregister auf. Bei jedem Belichten des Bildsensors werden in allen Photodioden Ladungen erzeugt. Nach einem ersten Belichten des Bildsensors werden nur erste Ladungen aus einem ersten Teil der Photodioden, beispielsweise jeder geradzahligen Zeile, in das Vertikalregister übertragen. Dann erfolgt ein zweites Belichten, nach dem nur zweite Ladungen aus einem zweiten Teil der Photodioden, beispielsweise jeder ungeradzahligen Zeile, in das Vertikalregister übertragen werden. Der erste Teil und der zweite Teil der Photodioden schließen einander dabei aus, sodass in dem Vertikalregister die ersten und zweiten Ladungen nicht aufaddiert, sondern nebeneinander angeordnet werden. Schließlich erfolgt ein drittes Belichten. Die ersten und zweiten Ladungen werden aus dem Vertikalregister ausgelesen, dann werden dritte Ladungen aus allen Photodioden in das Vertikalregister übertragen und schließlich die dritten Ladungen aus dem Vertikalregister ausgelesen. Die ersten, zweiten und dritten Ladungen bilden ein erstes, zweites und drittes Einzelbild. Weil für sie jeweils nur die Hälfte der Photodioden genutzt wird, haben das erste und das zweite Einzelbild nur eine halb so große räumliche Auflösung wie das dritte Einzelbild. Aus diesem Grund sind die drei Einzelbilder nicht pixelweise deckungsgleich. Während das erste Einzelbild durch den ersten Teil der Photodioden und das zweite Einzelbild durch den mit diesem nicht überlappenden zweiten Teil der Photodioden bestimmt ist, ist das dritte Einzelbild durch alle Photodioden bestimmt. Mehrfachbelichtungen aller drei Einzelbilder können mit dem Verfahren gemäß
US 2007/0002165 A1 nicht erfolgen.
-
WO 97/46004 A1 offenbart ein Abbildungsverfahren mit einem Bildsensor mit in Zeilen und Spalten angeordneten Belichtungszellen. Der Bildsensor wird mit einer Maske abgedeckt, die nur in einem regelmäßigen Abstand angeordnete Belichtungszellen freilässt. Die freien Belichtungszellen sind aktiv und sind in einem Gittermuster so angeordnet, dass jede Zeile und jede Spalte mindestens eine aktive Belichtungszelle aufweist, wobei zwischen aktiven Belichtungszellen in jeder Zeile und jeder Spalte ein vorgegebener, regelmäßiger Abstand von beispielsweise 16 Pixeln verbleibt. Die durch die Maske abgedeckten Belichtungszellen werden somit zu passiven Zellen. Nach einem Belichten und vor einem Auslesen des Bildsensors werden die in den aktiven Belichtungszellen erzeugten Signale in den Spalten um eine Zeile in eine passive Zelle verschoben. Auf diese Weise kann vor dem Auslesen eine durch den Abstand der aktiven Belichtungszellen vorgegebene Anzahl von Bildern aufgenommen werden.
-
Die Bilder sind ineinander verschachtelt, wobei in den Zellen jeder Zeile Signale verschiedener Bilder angeordnet sind.
-
US 5 355 165 A offenbart einen Bildsensor mit in Zeilen und Spalten angeordneten Belichtungszellen, der ein Vertikalregister mit mehreren Lagen aufweist, wobei eine Anzahl von Registerzellen in jeder Lage des Vertikalregisters der Anzahl von Belichtungszellen entspricht. Es werden bei Belichtung jeweils in allen Belichtungszellen Signale erzeugt und auch stets die Signale aller Belichtungszellen in das Vertikalregister übertragen. Dabei werden jeweils die bereits in das Vertikalregister übertragenen Signale in eine niedrigere Lage des Vertikalregisters übertragen, so dass die aufgenommenen Bilder, die stets die volle Auflösung des Bildsensors nutzen, in dem mehrlagigen Vertikalregister in der Art eines Stapels übereinander angeordnet werden.
-
AUFGABE DER ERFINDUNG
-
Der Erfindung liegt die Aufgabe zugrunde, eine Verwendung eines bereits verfügbaren Bildsensors bereitzustellen, mittels derer mehrere mehrfach belichtbare Bilder auf dem Bildsensor aufgenommen werden können, ohne dass zwischen den Bildern ein durch das Auslesen des Vertikalregisters bedingter großer zeitlicher Abstand liegt.
-
LÖSUNG
-
Die Aufgabe der Erfindung wird erfindungsgemäß mit den Merkmalen der unabhängigen Patentansprüche gelöst. Weitere bevorzugte erfindungsgemäße Ausgestaltungen sind den abhängigen Patentansprüchen zu entnehmen.
-
BESCHREIBUNG DER ERFINDUNG
-
Die Erfindung betrifft eine Verwendung eines Bildsensors mit in Zeilen angeordneten Belichtungszellen, in denen bei Belichtung ein Signal erzeugt wird, und mit einem Vertikalregister mit in Zeilen angeordneten Registerzellen, wobei jeder Belichtungszelle eine Registerzelle zugeordnet ist. Erfindungsgemäß werden die Zeilen in gleiche Zeilenblöcke benachbarter Zeilen aufgeteilt, wobei jeder Zeilenblock mindestens eine aktive Zeile und eine ganze Zahl passiver Zeilen je aktiver Zeile umfasst. Bei einem ersten Belichten des Bildsensors werden in den Belichtungszellen erste Signale erzeugt und nur die ersten Signale aus den Belichtungszellen der aktiven Zeilen werden in die zugehörigen Registerzellen des Vertikalregisters übertragen.
-
Die Signale in dem Vertikalregister werden um eine für alle Signale gleiche Anzahl von Zeilen in einer Verschieberichtung vertikal verschoben, bis alle Signale in dem Vertikalregister in passiven Zeilen angeordnet sind. Bei einem zweiten Belichten des Bildsensors werden in den Belichtungszellen zweite Signale erzeugt und nur die zweiten Signale aus den Belichtungszellen der aktiven Zeilen werden in dieselben Registerzellen des Vertikalregisters übertragen, in die zuvor die ersten Signale in das Vertikalregister übertragen wurden. Schließlich werden alle übertragenen Signale aus dem Vertikalregister ausgelesen.
-
Das Vertikalregister des Bildsensors kann auch mehr als eine Zeile Registerzellen je Zeile Belichtungszellen aufweisen, beispielsweise zwei Zeilen, von denen aber immer nur eine mit Signalen belegt werden kann, wenn diese getrennt gehalten werden sollen.
-
Das vertikale Verschieben der Signale in dem Vertikalregister um eine für alle Signale gleiche Anzahl von Zeilen in der Verschieberichtung kann vor dem zweiten Belichten oder während des zweiten Belichtens des Bildsensors erfolgen, durch das in den Belichtungszellen die zweiten Signale erzeugt werden. Das vertikale Verschieben der Signale in dem Vertikalregister muss aber vor einem Übertragen der zweiten Signale aus den Belichtungszellen der aktiven Zellen in das Vertikalregister abgeschlossen sein, so dass die ersten Signale und die zweiten Signale getrennt voneinander in dem Vertikalregister abgelegt werden.
-
Weil zwischen dem ersten und dem zweiten Belichten des Bildsensors die Signale nicht aus dem Vertikalregister ausgelesen werden, was eine Vielzahl von vertikalen Verschiebeschritten bedeuten würde, sondern lediglich um einen oder wenige Schritte vertikal verschoben werden, können das erste und das zweite Belichten zeitlich sehr kurz hintereinander erfolgen. Das aus den ersten Signalen entstehende erste Einzelbild und das aus den zweiten Signalen entstehende zweite Einzelbild sind dabei räumlich vollständig deckungsgleich, da beide mit denselben aktiven Zeilen aufgenommen werden.
-
In dem erfindungsgemäßen Verfahren werden nicht alle Zeilen des Bildsensors genutzt. Höchstens die Hälfte der Zeilen sind aktive Zeilen, so dass eine räumliche Auflösung des Bildsensors gegenüber einem herkömmlichen Ausleseverfahren herabgesetzt wird. Bei einer Messung, bei der es auf räumliche Auflösung weniger ankommt als auf eine schnelle zeitliche Abfolge, überwiegen jedoch die Vorteile des erfindungsgemäßen Verfahrens. Dies ist beispielsweise der Fall bei Fluoreszenz- oder Phosphoreszenzmessungen, wenn beispielsweise Drücke mit druckempfindlicher Farbe oder Temperaturen mit temperaturempfindlicher Farbe gemessen werden. Die an den druck- bzw. temperaturempfindlichen Farben auftretenden Fluoreszenz- bzw. Phosphoreszenzverteilungen müssen vor allem mit zeitlich hoher Auflösung aufgenommen werden. Um eine zeitliche Veränderung der druck- bzw. temperatursensitiven Farbe beobachten zu können, ist es darüber hinaus notwendig, dass das erste und das zweite Einzelbild räumlich deckungsgleich sind, wie dies bei dem erfindungsgemäßen Verfahren der Fall ist.
-
Das Aufteilen der Zeilen in aktive und passive Zeilen kann abhängig davon erfolgen, wie die Ausleseelektronik des Bildsensors ausgebildet ist. Beispielsweise kann an einem handelsüblichen Bildsensor jede dritte Zeile getrennt ansteuerbar sein, während die zwei dazwischen liegenden Zeilen nur gemeinsam ansteuerbar sind. Dann kann die einzeln ansteuerbare Zeile als aktive Zeile festgelegt werden, während die beiden gemeinsam ansteuerbaren Zeilen als passive Zeilen festgelegt werden und aus diesen drei Zeilen ein Zeilenblock gebildet wird. Möglich ist jede Einteilung, die mit der Ansteuerung des Bildsensors vereinbar ist. Es ist lediglich notwendig, dass für jede aktive Zeile mindestens eine passive Zeile vorhanden ist. Es können aber auch mehrere passive Zeilen pro aktiver Zeile vorhanden sein, solange die Zahl der passiven Zeilen ein ganzzahliges Vielfaches der Zahl der aktiven Zeilen ist.
-
Das Aufteilen der Zeilen in aktive und passive Zeilen ist kein physisches Aufteilen. Es handelt sich lediglich um eine Zuweisung, die für die Ansteuerung des Bildsensors relevant ist. Sie kann beispielsweise in einer Ansteuerelektronik verankert werden. Wenn der Bildsensor wiederholt erfindungsgemäß verwendet wird, kann es sein, dass kein expliziter Schritt zum Aufteilen der Zeilen mehr notwendig ist, weil die Aufteilung bereits in der Ansteuerung des Bildsensors verankert ist.
-
Damit das Aufnehmen der zweiten Signale möglichst kurz nach dem Aufnehmen der ersten Signale erfolgen kann, werden zweckmäßigerweise die ersten Signale nur so lange vertikal verschoben, bis sie in der ersten erreichbaren passiven Zeile des Zeilenblocks angeordnet sind. Wenn aber jeder aktiven Zeile mehrere passive Zeilen zugeordnet sind, so ist es auch möglich, die Signale nicht nur bis in die erste erreichbare passive Zeile, sondern bis in eine dahinterliegende passive Zeile zu verschieben, solange sie nicht über die Grenzen ihres Zeilenblocks hinaus verschoben werden.
-
Vor dem Auslesen aller Signale aus dem Vertikalregister kann zusätzlich ein neuerliches vertikales Verschieben der (jetzt ersten und zweiten) Signale in dem Vertikalregister um eine für alle Signale gleiche Anzahl von Zeilen erfolgen, bis wieder alle Signale in dem Vertikalregister in passiven Zeilen angeordnet sind. Anschließend können bei einem dritten Belichten des Bildsensors in den Belichtungszellen erzeugte dritte Signale aus den Belichtungszellen der aktiven Zellen selektiv in das Vertikalregister übertragen werden.
-
In dieser Weise wird neben dem ersten und dem zweiten Einzelbild mit den dritten Signalen ein drittes Einzelbild erzeugt, das wiederum mit den gleichen (aktiven) Zeilen des Bildsensors aufgenommen wird wie das erste und das zweite Einzelbild und daher auch mit diesen räumlich deckungsgleich ist. Es ist wiederum unerheblich, ob das Verschieben der Signale in dem Vertikalregister vor dem dritten Belichten oder während des dritten Belichtens des Bildsensors erfolgt. Es ist lediglich notwendig, dass das vertikale Verschieben erfolgt, bevor die dritten Signale in das Vertikalregister übertragen werden, damit die ersten, zweiten und dritten Signale jeweils voneinander getrennt in dem Vertikalregister abgelegt werden.
-
Damit die ersten, zweiten und dritten Signale in dem Vertikalregister voneinander getrennt werden können, muss der Bildsensor in diesem Fall zu jeder aktiven Zeile mindestens zwei passive Zeilen aufweisen. Beispielsweise kann jede dritte Zeile eine aktive Zeile sein, während die übrigen beiden Zeilen passive Zeilen sind. Dann kann das erste Signal aus der aktiven Zeile in dem Vertikalregister vertikal in die der aktiven Zeile benachbarte passive Zeile verschoben werden, bevor die zweiten Signale in das Vertikalregister übertragen werden. Bevor die dritten Signale in das Vertikalregister verschoben werden, können dann sowohl die ersten als auch die zweiten Signale um einen Schritt vertikal verschoben werden, so dass die ersten Signale in der bisher ungenutzten passiven Zeile angeordnet sind, während die zweiten Signale in der der aktiven Zeile benachbarten passiven Zeile angeordnet sind.
-
Wenn eine höhere Anzahl von passiven Zeilen pro aktiver Zeile vorhanden ist, können die Verfahrensschritte des vertikalen Verschiebens, des Belichtens und des Übertragens in das Vertikalregister entsprechend häufiger wiederholt werden, so dass noch mehr Einzelbilder aufgenommen werden können. Es kann immer ein Einzelbild mehr aufgenommen werden, als passive Zeilen pro aktiver Zeile vorhanden sind. Wenn im Folgenden von dritten Signalen, Einzelbildern o. ä. die Rede ist, kann es sich dabei auch um vierte, fünfte etc. Signale, Einzelbilder etc. handeln, wenn entsprechend viele Wiederholungen durchgeführt werden.
-
Das erste und zweite oder das erste bis dritte Belichten des Bildsensors kann bei jeweils unterschiedlichen Belichtungsbedingungen erfolgen. Das heißt, wenn das Aufnehmen mit dem Bildsensor etwa mit einem Triggersignal gestartet wird, dann kann das erste Belichten in einem ersten zeitlichen Abstand zu dem Triggersignal erfolgen, das zweite Belichten in einem zweiten zeitlichen Abstand zu dem Triggersignal und ggf. das dritte Belichten in einem dritten zeitlichen Abstand zu dem Triggersignal. Das erste, zweite und ggf. dritte Bild dokumentieren dann den Zeitablauf der erfassten Lichtintensitätsverteilung in drei diskreten Zeitintervallen. Bei einer periodischen Lichtintensitätsverteilung können diese Zeitintervalle bestimmten Phasenlagen zugeordnet werden.
-
Nach dem letzten Übertragen der Signale (also dem Übertragen der zweiten oder der dritten Signale) in das Vertikalregister können die Signale in dem Vertikalregister um eine für alle Signale gleiche Anzahl von Zeilen entgegen der Verschieberichtung verschoben werden, bis die ersten Signale wieder in den ursprünglichen aktiven Zeilen angeordnet sind. Daraufhin können die beschriebenen Schritte des Belichtens, Übertragens und vertikalen Verschiebens bis zu einer gewünschten Anzahl von Wiederholungen wiederholt werden. In dem Vertikalregister werden dann die bei jedem Wiederholen erzeugten ersten, zweiten und ggf. dritten Signale jeweils aufaddiert.
-
Die Belichtungsbedingungen beim ersten, zweiten und ggf. dritten Belichten können für jedes Wiederholen in gleicher Reihenfolge reproduziert werden, so dass jeweils die für gleiche Belichtungsbedingungen erzeugten ersten und zweiten oder ersten bis dritten Signale in dem Vertikalregister aufaddiert werden. Indem so das erste, das zweite und ggf. das dritte Belichten in den jeweils gleichen relativen Zeitintervallen, also beispielsweise bei gleichen Phasenlagen einer periodischen Lichtintensitätsverteilung, erfolgen, wird für jedes der aufgenommenen Einzelbilder durch die Addition der Belichtungszeiträume eine höhere effektive Belichtungszeit erreicht. Erreicht wird dadurch für jedes Einzelbild ein erhöhtes Signal-Rausch-Verhältnis und somit eine verbesserte Bildqualität. Die erfindungsgemäße Verwendung kombiniert somit eine hohe Bildqualität ohne die Notwendigkeit einer nachträglichen Bildbearbeitung mit einer schnellen zeitlichen Abfolge von Einzelbildern.
-
Das Verschieben der Signale in dem Vertikalregister entgegen der Verschieberichtung ist für handelsübliche Belichtungssensoren normalerweise nicht vorgesehen. Diese sehen jeweils nur ein Verschieben in eine einzige Verschieberichtung vor, das das Auslesen aller Signale aus dem Vertikalregister erlaubt. Bei vielen dieser herkömmlichen Bildsensoren ist aber das Verschieben entgegen der Verschieberichtung technisch ohne weiteres möglich, indem beispielsweise eine Abfolge ansteuernder elektrischer Impulse umgekehrt wird. Diese technische Eigenschaft herkömmlicher Bildsensoren wird erfindungsgemäß erstmals genutzt.
-
Vor jedem Belichten können die Belichtungszellen geleert werden, indem nicht in das Vertikalregister übertragene Signale gelöscht werden. In dieser Weise beginnt für jedes Belichten das Erzeugen von Signalen in den Belichtungszellen neu und für jedes Signal ist die Belichtungszeit, in der es aufgenommen wurde, genau definiert: Sie entspricht der Zeit zwischen dem Leeren der Belichtungszellen und dem Übertragen des Signals in das Vertikalregister. Das Leeren der Belichtungszellen übernimmt so die Funktion eines Shutters für den Belichtungssensor.
-
Jedem Zeilenblock können eine aktive Zeile und zwei passive Zeilen angehören. Mit einem solchen Zeilenblock in dem Belichtungssensor können mindestens zwei, aber auch drei Bilder aufgenommen werden. Jedem Zeilenblock können auch eine aktive Zeile und eine passive Zeile angehören. Mit dem Bildsensor können dann zwei Bilder aufgenommen werden. Es ist auch möglich, dass jedem Zeilenblock zwei aktive Zeilen und zwei passive Zeilen angehören. Beim vertikalen Verschieben werden dann die ersten Signale in dem Vertikalregister gemeinsam um zwei Zeilen verschoben, so dass die Registerzellen beider aktiver Zeilen leer sind und die Signale in den Registerzellen beider passiver Zeilen angeordnet sind. Hier können wiederum zwei Bilder aufgenommen werden, wobei effektiv breitere Bildstreifen entstehen, die statt einer Höhe von einer Zeile nun eine Höhe von zwei Zeilen haben. Allerdings sind auch die Abstände zwischen den Bildstreifen gegenüber einem Zeilenblock mit einer aktiven und einer passiven Zeile entsprechend verdoppelt. Je nach gewünschter Auswertung und Weiterverarbeitung der erzeugten Bilder können sowohl die breiteren effektiven Bildstreifen mit den breiteren Abständen als auch die schmaleren effektiven Bildstreifen mit den schmaleren Abständen vorteilhaft sein.
-
Die Verschieberichtung kann einer bevorzugten Ausleserichtung des Vertikalregisters des Bildsensors entsprechen. Die bevorzugte Ausleserichtung ist die Richtung, in der bei einer gewöhnlichen Verwendung des Bildsensors die Signale verschoben würden, um alle Signale aus dem Vertikalregister auszulesen. Diese ist gewissermaßen die Vorzugsrichtung des Vertikalregisters des Bildsensors. Das vertikale Verschieben der Signale verkürzt dann auch bereits minimal den Weg, den diese Signale für das Auslesen des Bildsensors zurückzulegen haben.
-
Vor dem Auslesen aller Signale können alle Zeilen des Vertikalregisters gefüllt werden. Dabei können nur einmal Signale in die Registerzellen übertragen werden oder durch Wiederholen des Belichtens, Verschiebens und Übertragens der Signale die Signale in den Registerzellen aufaddiert werden. Wenn vor dem Auslesen aller Signale alle Zeilen des Vertikalregisters gefüllt sind, bedeutet dies, dass die optimale mit der Aufteilung der Zeilenblöcke vereinbare Anzahl von Bildern mit dem Bildsensor aufgenommen wurde.
-
Nach einer Ausführungsform der Erfindung werden beim Auslesen der Signale die ersten und zweiten oder ersten bis dritten Signale voneinander getrennt und zu separaten ersten und zweiten oder ersten bis dritten Einzelbildern zusammengesetzt.
-
Somit entstehen zwei bzw. drei deckungsgleiche Einzelbilder. Das Trennen der Signale kann einfach erfolgen, da die Aufteilung der Zeilenblöcke bekannt ist. Das ausgelesene Gesamtbild ist infolge des Verschiebens der Landungen „gestreift“, wobei die ersten, zweiten und ggf. dritten Signale entsprechend des Musters der Zeilenblöcke und der Anzahl der aufgenommenen Signale in Streifen übereinander angeordnet sind. Das Gesamtbild kann somit in seine Streifen zerlegt und die zu denselben Signalen gehörenden Streifen mit den durch die passiven Zeilen vorgegebenen Abständen zu den jeweiligen Einzelbildern zusammengefügt werden.
-
Die Erfindung umfasst auch eine Kamera mit einem Bildsensor mit in Zeilen angeordneten Belichtungszellen, in denen bei Belichtung ein Signal erzeugt wird, und mit einem Vertikalregister mit in Zeilen angeordneten Registerzellen, wobei jeder Belichtungszelle eine Registerzelle zugeordnet ist, und einer Steuereinheit, die dazu ausgebildet ist, den Bildsensor entsprechend der vorhergehend geschilderten Verwendung anzusteuern. Dabei kann es sich um eine herkömmliche Kamera mit einem herkömmlichen Bildsensor handeln, deren Steuereinheit ersetzt oder so angepasst wurde, dass sie zu der erfindungsgemäßen Verwendung geeignet ist. Im einfachsten Fall kann dies durch (Um-)Programmieren der Steuereinheit geschehen.
-
Gemäß einer Ausführungsform der Erfindung weist die Kamera eine Ausleseelektronik auf, die beim Auslesen der Signale die ersten und zweiten oder ersten bis dritten Signale voneinander trennt und zu separaten ersten und zweiten oder ersten bis dritten Einzelbildern zusammensetzt. Somit kann das oberhalb geschilderte Auftrennen in die Einzelbilder direkt in der Kamera geschehen. Die Ausleseelektronik kann als Teil einer herkömmlichen Kamera ausgebildet sein, sie kann aber auch als Nachrüstteil an eine herkömmliche Kamera angebaut sein.
-
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Ohne dass hierdurch der Gegenstand der beigefügten Patentansprüche verändert wird, gilt hinsichtlich des Offenbarungsgehalts der ursprünglichen Anmeldungsunterlagen und des Patents Folgendes: weitere Merkmale sind den Zeichnungen - insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung - zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.
-
Die in den Patentansprüchen und der Beschreibung genannten Merkmale sind bezüglich ihrer Anzahl so zu verstehen, dass genau diese Anzahl oder eine größere Anzahl als die genannte Anzahl vorhanden ist, ohne dass es einer expliziten Verwendung des Adverbs „mindestens“ bedarf. Wenn also beispielsweise von einer Zeile die Rede ist, ist dies so zu verstehen, dass genau eine Zeile, zwei Zeilen oder mehr Zeilen vorhanden sind. Diese Merkmale können durch andere Merkmale ergänzt werden oder die einzigen Merkmale sein, aus denen das jeweilige Erzeugnis besteht.
-
Die in den Patentansprüchen enthaltenen Bezugszeichen stellen keine Beschränkung des Umfangs der durch die Patentansprüche geschützten Gegenstände dar. Sie dienen lediglich dem Zweck, die Patentansprüche leichter verständlich zu machen.
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand in den Figuren dargestellter bevorzugter Ausführungsbeispiele weiter erläutert und beschrieben.
- 1 zeigt schematisch eine erste Ausführungsform des erfindungsgemäßen Verfahrens.
- 2 zeigt eine schematisch eine zweite Ausführungsform des erfindungsgemäßen Verfahrens.
- 3 ist ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
FIGURENBESCHREIBUNG
-
1 zeigt eine schematische Darstellung des erfindungsgemäßen Verfahrens anhand eines Ausschnitts eines Bildsensors 1. Der Bildsensor 1 weist Zeilen 2 und Spalten auf. Hier dargestellt ist lediglich ein Ausschnitt aus einer Spalte des Bildsensors 1, so dass jede dargestellte Zeile 2 des Bildsensors durch jeweils eine Belichtungszelle 3 und einen zugehörigen Abschnitt eines Vertikalregisters 5 repräsentiert ist. Der Bildsensor kann sich in vertikaler Richtung periodisch wiederholende weitere Zeilen 2 und zu der dargestellten Spalte gleiche weitere Spalten aufweisen. Der Ausschnitt aus dem Bildsensor 1 mit dem Zustand des Bildsensors 1 ist zu verschiedenen Zeitpunkten t1 bis t15 dargestellt.
-
Das Vertikalregister 5 weist hier zu jeder Belichtungszelle 3 drei Registerzellen 4 auf, von denen nur eine für das Übertragen von Signalen aus der Belichtungszelle 3 in das Vertikalregister genutzt wird. Die Zeilen 2 sind in Zeilenblöcken 6 angeordnet. Der vertikale Ausschnitt aus dem Bildsensor 1 zeigt hier zwei Zeilenblöcke 6. Jeder Zeilenblock umfasst hier eine aktive Zeile 7 und zwei passive Zeilen 8.
-
Zum Zeitpunkt t1 sind sowohl die Belichtungszellen 3 als auch die Registerzellen 4 leer (über Kreuz schraffiert dargestellt). Der Bildsensor wird nun belichtet, so dass in den Belichtungszellen 3 erste Signale 9 (rechtsgeneigt schraffiert dargestellt) entstehen. Zum Zeitpunkt t2 erfolgt nur in den aktiven Zeilen 7 ein Übertragen 10 der ersten Signale 9 aus den Belichtungszellen 3 in die Registerzellen 4. Zum Zeitpunkt t3 sind somit die Belichtungszellen 3 der aktiven Zeilen 7 entleert, während sich die Signale in den Registerzellen 4 der aktiven Zeilen 7 befinden.
-
Zwischen den Zeitpunkten t3 und t4 findet ein Verschieben 11 der Signale 9 innerhalb des Vertikalregisters 5 in einer Verschieberichtung 12 statt. Die Signale 9 werden in der Verschieberichtung 12 um jeweils eine Zeile 2 verschoben, so dass sie aus den aktiven Zeilen 7 in die passiven Zeilen 8a verschoben werden.
-
Zum Zeitpunkt t5 sind die Belichtungszellen 3, beispielsweise durch Erden von Ladung akkumulierenden Belichtungszellen 3, entleert worden, so dass sich auch in den Belichtungszellen 3 der passiven Zeilen 8 keine Signale 9 mehr befinden. Vor dem Zeitpunkt t6 wird der Belichtungssensor 1 wiederum belichtet, so dass in den Belichtungszellen 3 zweite Signale 13 (linksgeneigt schraffiert dargestellt) erzeugt werden. Im Zeitpunkt t6 erfolgt nur in den aktiven Zeilen 7 ein Verschieben 14 der zweiten Signale 13 aus den Belichtungszellen 3 in die Registerzellen 14. Zu erkennen ist, dass danach zum Zeitpunkt t7 die ersten Signale in den passiven Zeilen 8a angeordnet sind, während die zweiten Signale 13 in den aktiven Zeilen 7 angeordnet sind. Die ersten Signale 9 und die zweiten Signale 13 vermischen sich somit nicht.
-
Zwischen dem Zeitpunkt t7 und dem Zeitpunkt t8 erfolgt ein weiteres vertikales Verschieben 15. Das Verschieben 15 erfolgt parallel für alle Signale in dem Vertikalregister 5, also sowohl für die ersten Signale 9 als auch für die zweiten Signale 13. Sämtliche Signale 9, 13 werden um jeweils eine Zeile 2 entgegen der Verschieberichtung 12 verschoben. Die ersten Signale 9 sind somit wieder in der aktiven Zeile 7 angeordnet. Hingegen sind die zweiten Signale 13 jetzt in der passiven Zeile 8b angeordnet.
-
Zum Zeitpunkt t9 erfolgt ein erneutes Leeren der Belichtungszellen 3 und anschließend ein weiteres Belichten des Belichtungssensors 1 zu derselben Belichtungsbedingung wie das erste Belichten. In den Belichtungszellen 3 werden somit wiederum erste Signale 9 erzeugt. Zum Zeitpunkt t10 erfolgt ein erneutes Übertragen 10 der ersten Signale 9 aus den Belichtungszellen 3 der aktiven Zeilen 7 in die zugeordneten Registerzellen 4. In den Registerzellen 4 der aktiven Zeilen 7 befinden sich aber bereits die beim ersten Belichten erzeugten ersten Signale 9. Die ersten Signale 9 werden in den Registerzellen 4 hinzuaddiert.
-
Zwischen den Zeitpunkten t11 und t12 erfolgt ein erneutes Verschieben der ersten Signale 9 und der zweiten Signale 13 in der Verschieberichtung 12. Somit sind wiederum die jetzt aufaddierten ersten Signale 9 in der passiven Zeile 8a angeordnet, während die zweiten Signale 13 in den aktiven Zeilen 7 angeordnet sind. Zum Zeitpunkt t13 sind die Belichtungszellen 3 wiederum entleert worden, so dass ein erneutes Belichten zu derselben Belichtungsbedingung wie das zweite Belichten erfolgen kann. In den Belichtungszellen 3 der aktiven Zeilen 7 sind zum Zeitpunkt t14 wiederum zweite Signale 13 erzeugt worden. Es findet erneut ein Übertragen 14 der zweiten Signale 13 aus den Belichtungszellen 3 der aktiven Zeilen 7 in die zugeordneten Registerzellen 4 statt. Zum Zeitpunkt t15 sind somit in den Registerzellen 4 der aktiven Zeilen 7 die zweiten Signale 13 aufaddiert worden.
-
Jetzt kann der Belichtungssensor 1 durch Verschieben aller Signale entlang der Verschieberichtung 12 ausgelesen werden. Dabei können die ersten Signale 9 und die zweiten Signale 13 voneinander getrennt und dann zu einem ersten und einem zweiten Einzelbild zusammengesetzt werden. Die Schritte der Zeitpunkte t7/t8 bis t15 können aber auch beliebig oft wiederholt werden, so dass jeweils mehr erste Signale 9 und mehr zweite Signale 13 in dem Vertikalregister aufaddiert werden, so dass für das erste Einzelbild und das zweite Einzelbild jeweils eine längere kumulierte Belichtungszeit realisiert wird.
-
2 zeigt eine schematische Darstellung analog zu 1. Der Belichtungssensor 1 ist hier aber anders in Zeilenblöcke 6 aufgeteilt. 2 zeigt nur einen Zeilenblock 6, der zwei aktive Zeilen 7 und zwei passive Zeilen 8 aufweist. Entsprechend weicht das Verschieben 11, 15 von der Ausführungsform gemäß 1 ab. Nachdem zum Zeitpunkt t3 die ersten Signale 9 in die Registerzellen 4 übertragen wurden, werden diese ebenfalls vertikal entlang der Verschieberichtung 12 verschoben. Da aber zwei aktive Zeilen 7 in dem Zeilenblock 6 vorhanden sind, denen zwei passive Zeilen 8 benachbart sind, müssen die Signale 9 nicht nur wie in 1 um eine Zeile 2, sondern um zwei Zeilen 2 verschoben werden. Die ersten Signale 9 aus der aktiven Zeile 7a werden um zwei Zeilen 2 bis in die passive Zeile 8a verschoben und die ersten Signale 9 aus der aktiven Zeile 7b werden um zwei Zeilen 2 in die passive Zeile 8b verschoben. Damit befinden sich alle ersten Signale 9 in passiven Zeilen 8, und in den aktiven Zeilen 7 können zweite Signale 13 zu dem Zeitpunkt t6 erzeugt werden. Entsprechend erfolgt auch das Verschieben 15 zwischen den Zeitpunkten t7 und t8 und das Verschieben 11 zwischen den Zeitpunkten t11 und t12 um jeweils zwei Zeilen.
-
Die Illustration der 1 und 2 stehen beispielhaft für mögliche Ausführungsformen im Hinblick auf das Aufteilen der Zeilen 2 in Zeilenblöcke 6. Um wie viele Schritte das Verschieben 11, 15 erfolgt und wie oft belichtet wird und somit wie viele Signale 9, 13 erzeugt werden, hängt von der Zahl der passiven Zeilen 8 im Verhältnis zu der Zahl der aktiven Zeilen 7 und von der relativen Anordnung der aktiven Zeilen 7 und der passiven Zeilen 8 ab.
-
3 zeigt ein Ablaufdiagramm der erfindungsgemäßen Verwendung des Bildsensors 1.
-
In einem Schritt 17 wird der Bildsensor 1 in gleiche Zeilenblöcke 6 aus benachbarten Zeilen 2 aufgeteilt. Jeder Zeilenblock 6 umfasst mindestens eine aktive Zeile 7 und eine ganze Zahl passiver Zeilen 8 je aktiver Zeile 7. Der Schritt 17 kann grundsätzlich auch noch nach einem in 3 folgenden Schritt 18 erfolgen, er ist jedoch als Grundsatzüberlegung vorzugsweise am Anfang des Verfahrens durchzuführen. Wenn der Bildsensor 1 bereits erfindungsgemäß verwendet wurde, kann die bereits bekannte Aufteilung erneut verwendet werden.
-
In dem Schritt 18 wird der Bildsensor 1 erstmalig belichtet. Durch dieses erste Belichten werden in den Belichtungszellen 3 die ersten Signale 9 erzeugt. Diese werden am Ende des ersten Belichtens in einem Schritt 19 nur von den Belichtungszellen 3 der aktiven Zeilen 7 in die Registerzellen 4 des Vertikalregisters 5 übertragen. Schritt 19 entspricht somit dem Übertragen 10 der 1 und 2.
-
In einem Schritt 20 werden die ersten Signale 9 entlang der Verschieberichtung 12 vertikal verschoben, bis alle Signale 9 in passiven Zeilen 8 angeordnet sind. In einem Schritt 21 erfolgt ein zweites Belichten des Bildsensors 1, so dass in den Belichtungszellen 3 zweite Signale 13 erzeugt werden. Die Schritte 20 und 21 können auch zeitlich überlappend ausgeführt werden. Entscheidend ist lediglich, dass die Signale in dem Vertikalregister aus den aktiven Zeilen 7 in die passiven Zeilen 8 übertragen wurden, bevor ein Schritt 22 durchgeführt wird. In dem Schritt 22 werden die zweiten Signale am Ende des zweiten Belichtens aus den Belichtungszellen 3 der aktiven Zeilen 7 in die zugehörigen Registerzellen 4 übertragen (entsprechend dem Übertragen 14 der 1 und 2). Wäre zu diesem Zeitpunkt der Schritt 20 noch nicht ausgeführt, so würden im Schritt 22 unerwünschter Weise die ersten Signale 9 und die zweiten Signale 13 addiert werden.
-
Optional werden die Schritte 20 bis 22 wiederholt. Dabei können die Schritte 20 bis 22 höchstens so oft wiederholt werden, dass insgesamt die Zahl der unterschiedlichen erzeugten Signale um eins größer ist als die Zahl der passiven Zeilen 8 im Verhältnis zu den aktiven Zeilen 7. Dann sind nach Abschluss der letzten Wiederholung alle aktiven und passiven Zeilen 7,8 mit unterschiedlichen Signalen gefüllt.
-
Optional werden alle Signale 9,13 in dem Vertikalregister 5 in einem Schritt 23 soweit entgegen der Verschieberichtung 12 vertikal verschoben, dass die ersten Signale 9 wieder in den aktiven Zeilen 7 angeordnet sind. Daraufhin können die Schritte 18 bis 22 und optional auch 23 - ggf. inklusive der Wiederholung der Schritte 20 bis 22 - beliebig oft wiederholt werden. Dabei werden die bei den unterschiedlichen Wiederholungen erzeugten ersten Signale 9 und zweiten Signale 13 jeweils in dem Vertikalregister 5 aufaddiert usw. Wenn dabei für das erste und das zweite Belichten bei jeder Wiederholung des Schritts 18 bzw. 20, jeweils dieselben Belichtungsbedingungen eingehalten werden, werden die Signale immer für übereinstimmende Belichtungsbedingungen aufaddiert.
-
Nach dem Schritt 22 oder ggf. nach Abschluss der Wiederholungen, die an den Schritt 23 anschließen, werden alle Signale 9, 13 in einem Schritt 24 soweit vertikal verschoben, dass sie aus dem Bildsensor 1 ausgelesen werden. Dabei können die Signale 9 und 13 in einem Schritt 25 getrennt werden, so dass aus den ersten Signalen 9 ein erstes Einzelbild, aus den zweiten Signalen 13 ein zweites Einzelbild usw. erzeugt werden kann. Hierzu wird das aus allen Signalen 9, 13 zusammengesetzte Gesamtbild streifenweise zerlegt und nach der bekannten Aufteilung des Zeilenblocks 6 jeweils neu zusammengesetzt, so dass jedes Einzelbild nur aus zusammengehörigen Signalen 9,13 besteht.
-
Bezugszeichenliste
-
- 1
- Bildsensor
- 2
- Zeile
- 3
- Belichtungszelle
- 4
- Registerzelle
- 5
- Vertikalregister
- 6
- Zeilenblock
- 7
- aktive Zeile
- 8
- passive Zeile
- 9
- Signal
- 10
- Übertragen
- 11
- Verschieben
- 12
- Verschieberichtung
- 13
- Signal
- 14
- Übertragen
- 15
- Verschieben
- 16
- Zeit
- 17-25
- Schritt