DE102018209176A1

DE102018209176A1 - Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, degradiert durch Auslastungsgrade

Info

Publication number: DE102018209176A1
Application number: DE102018209176.5A
Authority: DE
Inventors: Stefan Tabel
Original assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2019-12-12
Also published as: WO2019234232A3; US20210233216A1; WO2019234232A2; EP3804292A2

Abstract

Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, welche mit einem integrierenden Sensor gemessen wurden, dessen Messwerte im Wesentlichen einem Schwerpunkt des Signals während eines Duty-Cycle des Sensors entsprechen. Gemäß der Erfindung wird eine Schwerpunktbildung der Zeitreihe basierend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit des Sensors korrigiert.

Description

Die Erfindung betrifft Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, die durch Auslastungsgrade des verwendeten Sensors degradiert sind.
Die Messung einer (äquidistanten) Zeitreihe wird im Stand der Technik durch bestimmte Parameter gekennzeichnet:

- Die Anzahl N der äquidistanten, zeitlichen Stützstellen, zu denen gemessen wird (Samples).
- Den zeitlichen Abstand zweier solcher benachbarter Stützstellen t_s (Abtastzeit).
- Die diskreten Zeitpunkte [n*t_s], zu denen die Messwerte genommen werden.
- Das Inverse der Abtastzeit, die Messfrequenz f_s, gibt die Anzahl der Messung pro Zeit an.
- Das kontinuierliche Signal x(t), das von einem Sensor direkt oder indirekt gemessen werden soll. Dieses Signal ist üblicherweise von der Zeit abhängig, sodass die Zeitreihe die Variation des Signals entlang der Zeit misst.

Abgebildet wird immer die Variation eines Merkmals über die Zeit. Dessen Messwerte bilden eine Zeitreihe der Länge N, welche im Allgemeinen auch über Darstellung in einem Transformationsraum verfügt.
Gemeinhin wird jedoch davon ausgegangen, dass die Messung der Zeitreihe ideal ist. Der Zeitraum, über welchen ein einzelnes Sample gemessen wurde, wird mit Null abgeschätzt. Es wird somit unterstellt, dass das Sample ein idealer Dirac-Impuls war.
Diese Annahme eines perfekten Dirac-Impulses ist aber insbesondere, wenn die Messung mittels eines Sensors erfolgt, der das gemessene Signal über einen bestimmten Zeitraum integriert, beispielsweise mittels eines CCD-Sensors, unzureichend. Insbesondere kommt es bei dieser Art von integrierenden Sensoren zu einer Schwerpunktbildung, die dazu führt, dass die tatsächliche Signalamplitude im relevanten Zeitpunkt unterschätzt wird. Daher bedarf es einer Korrektur dieser Schwerpunktbildung.
Aufgabe der vorliegenden Erfindung ist daher, ein Korrekturverfahren für Messwertreihen integrierender Sensoren bereit zu stellen, welches es erlaubt, die aufgrund der physikalischen Eigenschaften des Sensors auftretende Schwerpunktbildung zu kompensieren und die erhaltenen Messwerte damit zu verbessern.
Diese Aufgabe wird gelöst durch ein Verfahren gemäß Patentanspruch 1. Vorteilhafte Ausführungsformen sind in den Unteransprüchen angegeben.
Gemäß einem Aspekt erweitert die Erfindung die angewandte Rekonstruktion von gemessenen Zeitreihen mit integrierenden Sensoren um die Berücksichtigung des Parameters der Integrationszeit t_int (tau=2*Delta). Bei einer Kamera wird beispielsweise von Belichtungszeit gesprochen, welche in der Regel auch einstellbar ist. Die Erfindung schlägt vor, die im Stand der Technik bei der Messung von Zeitreihen nicht berücksichtigte Integrationszeit für eine Korrektur der gemessenen Zeitreihe zu verwenden.
Eine weitere mögliche Definition des zu berücksichtigenden Parameters ist die des Auslastungsgrads t_int/t_s (engl.: duty-cycle). Dieser ergibt sich durch den Bezug der Integrationszeit zur Abtastzeit. Die Abtastzeit entspricht bei einer periodischen Messung der Periodendauer. Die Integrationszeit ist daher im Regelfall kleiner als die Messperiode, sodass der Auslastungsgrad die relative Dauer der Messung pro Periode der Messung angibt. Die Werte des Auslastungsgrades liegen dadurch zwischen 0 und 1 und können in Prozent angegeben werden.
Die vorliegende Erfindung definiert die diskreten Sampling-Zeitpunkte t_s damit anders als zuvor, nämlich in der Mitte der Integrationszeit t_int. Es entstehen symmetrische Integrationsintervalle Delta um die Sampling-Zeitpunkte [n*t_s], sodass gilt 2*Delta = t_int. Die Berücksichtigung der Integrationszeit t_int führt nun dazu, dass der Sensor nicht den Werte des Signals x(t_s) misst. Stattdessen kommt es zu einer Durchschnittsbildung über das Signal x(t) in dem Zeitraum [t_s-Delta, t_s+Delta]. Diese Durchschnittsbildung resuliert in einer Messung des Schwerpunkts des Signals COG(x(t_s-Delta, t_s+Delta)), welcher unter bestimmten Bedingungen in einen umkehrbaren mathematischen Zusammenhang mit dem gesuchten Signal x(t_s) gesetzt werden kann. Das stetige Signal x(t) hat immer eine Frequenzzerlegung, bzw. eine Beschreibung im Fourier-Raum. Wird es Nyquist-richtig abgetastet, also mit einer Frequenz die doppelt so groß ist wie die höchste Frequenz des Signals im Frequenz-Raum, so kann es mittels einer Fourier-Reihe dargestellt werden. Diese Darstellung mit einer Fourier-Reihe ermöglicht die Herleitung eines Boxcar-Filters: Der kontinuierliche Schwerpunkt einer jeden Frequenz des Signals hängt mittels einer Sinc-Funktion von dieser Frequenz selber ab.
D.h. es besteht eine Relation zwischen dem kontinuierlichen Schwerpunkt (CoG) der k-ten harmonischen Frequenz und dieser Frequenz selbst. Diese Relation ist eine sinc-Funktion und beschreibt die Durchschnittsbildung durch den Sensor aufgrund der Integration als kontinuierliche Boxcar-Funktion. Die Standardbedingung, dass die Abtastung der diskreten CogS CoG[x(t), n x t_s, Δ] zumindest Nyquist-kritisch ist, erlaubt sowohl das diskrete Signal x[n x t_s] und seine kontinuierliche Form x(t) über einen diskreten Filter H(k) zu rekonstruieren. Jede Frequenz ist als w_k = 2πk/N im Fourierraum definiert, wobei N die Anzahl der Abtastwerte ist. Die Abtastzeit ist die Umkehrung der Bildrate f_s. Daher wird der Duty-Cycle der Kamera als τ=2Δ angenommen. Alles in allem gilt: $x (t) = x [n \times t_{s}] F^{- 1} (F (C o G [x (t), n \times t_{s}, τ]) \circ H {(k)}^{- 1}),$

wobei $H (k) = {\begin{array}{l} 1, & i f & k = 0 \\ \frac{s i n (\frac{π k τ}{N}),}{\frac{π k τ}{N}} & e l s e \end{array}$
Diese Sinc-Funktion beschreibt einerseits den Fehler, welcher durch die nicht-ideale Messung mit Duty-Cycle gemacht wurde. Die Gleichkomponente des Signals ist als einzige unbelastet. Alle höheren Frequenzen sind abhängig vom Frequenzindex und der zeitlichen Ausdehnung der Integrationszeit, bzw. der Höhe des Auslastungsgrades, und werden systematisch unterschätzt. Die Unterschätzung steigt dabei mit steigender Frequenz, bis zu einem Maximalwert von 2/Pi bei höchstmöglicher Frequenz und maximalem Auslastungsgrad. Andererseits kann die Sinc-Funktion auch zu einer möglichen Korrektur der Amplitudenunterschätzung herangezogen werden. Hierzu wird die Sinc-Funktion invertiert und elementweise auf alle Frequenzen der Zeitreihe angewandt. Eine Rücktransformation dieser korrigierten Frequenzen in den Zeitbereich ergibt dann die korrigierte Zeitreihe, welche ideale Samples des nicht-ideal abgetasteten Signals enthält.
Unter der Annahme, dass das Signal x(t) Nyquist-richtig abgetastet wurde, kann die Inverse des Filters also herangezogen werden um eine Korrektur vorzunehmen. Hierzu bedarf es zunächst der richtigen Interpretation des abgetasteten Signals selber. Wie bereits kurz beschrieben, müssen die richtigen Abtastzeitpunkte n*t_s definiert werden um eine Korrektur vornehmen zu können. Die erfindungsgemäße Methode funktioniert nur, wenn diese Abtastzeitpunkte in der Mitte des Duty-Cycle definiert werden, ansonsten bleibt die Korrektur wirkungslos oder ist in ihrer Wirkung reduziert. Weitere Voraussetzungen sind, dass der Duty-Cycle mit einer hinreichenden Genauigkeit bekannt ist. Letztere Voraussetzung ist in der Regel erfüllt, weil der Duty-Cycle in elektrischen Messsystemen mit hoher Genauigkeit definiert worden ist oder eingestellt werden kann. Letztlich ist es ebenfalls Voraussetzung, dass die Zeitreihe mit äquidistanten Abtastwerten gemessen wurde, und dass die Abtastzeitpunkte hinreichend genau bekannt sind. Sind alle genannten Voraussetzungen erfüllt, kann die gemessene Zeitreihe in einen Transformationsbereich transformiert werden, wo sie elementweise mit einem Korrekturterm verrechnet wird. Im einfachsten Fall ist der Transformationsbereich der Fourier-Raum, und der Korrekturterm die elementweise Inverse der besagten Sinc-Funktion. Diese Sinc-Funktion muss vor der Korrektur entsprechend aufgestellt werden. Die Sinc-Funktion ist als Quotient aus Sinus eines Ausdrucks geteilt durch diesen Ausdruck selber definiert. Der Ausdruck besteht aus dem Produkt der Variablen Duty-Cycle und Frequenz-Index. Der Frequenz-Index wird entsprechend seiner mathematischen Definition im Fourier-Raum definiert (2*pi*k/N).
Der Duty-Cycle geht direkt in die Berechnung ein, da er bereits auf die Abtastzeit, und damit auf die Abtastfrequenz, normiert ist. Das Produkt aus dem Skalar Duty-Cycle und dem Vektor Frequenzindex ist wiederum ein Vektor. Jedes Element des Vektors wird nun als besagter Ausdruck als Eingangswert in die Sinc-Funktion verwendet, wodurch sich der Filter in seiner Vorwärtsform elementweise berechnen lässt. Diese Vorwärtsform beschreibt den Fehler. Die elementweise Inversion der Vorwärtsform des Filters ergibt dann die Korrekturwerte für die Anwendung auf die einzelnen Frequenzen des Signals. Diese Inversion ist generell möglich, da nicht durch Null geteilt wird. Die Gleichkomponente des Filters mit dem Frequenzindex Null ist nicht definiert, kann aber als stetig fortsetzbar betrachtet werden. Daher wird die Gleichkomponente gleich Eins gesetzt. Alle anderen Komponenten sind ungleich Null, weil der Frequenz-Index als Eingangswert in die Sinc-Funktion nur solche Werte als Ausgabe der Sinc-Funktion errechnet, welche immer größer als Null sind. Daher ist die Korrektur bei Nyquist-richtigem Abtasten des Signals immer möglich. Die transformierten Signalwerte können mit den Korrekturwert, dem elementweisen Inversen des Sine des genannten Ausdrucks, elementweise multipliziert werden, sodass eine inverse Fourier-Transformation das gesuchte Signal ergibt.
Diese Methode kann generell mit hoher Präzision angewandt werden, da die Korrekturwerte selber sehr genau bekannt sind. Der Grund dafür liegt darin, das diesen Korrekturwerten kein oder nur wenig Noise aufgeschlagen ist, und es keine Null- oder Nahe-Null-Frequenzen in der Filterbeschreibung gibt. Durch diese drei Bedingungen, präzise Kenntnis des Filters, kein bis wenig Noise, und keine cut-off Frequenz, kann der Filter als direkter Rekonstruktionsfilter angewandt werden, eben durch direkte Multiplikation oder Teilung durch das entsprechend Inverse.
Die Vorteile der erfindungsgemäßen Korrektur liegen darin, dass wenn immer eine Zeitreihe mit Sensoren gemessen wird, welche einen Duty-Cycle aufweisen, die erlangten Messwerte korrigiert werden können, sodass diese nicht weiter in Ihrer Amplitude unterschätzt sind. Der direkte Nutzen ergibt sich wenn der Sinn der Messung in der Erlangung der richtigen Werte selber liegt, was üblicherweise der Fall ist. Weiter kann die Kenntnis über die Korrektur genutzt werden, wenn ein Sensor zur Erlangung korrekter Zeitreihen kalibriert werden soll. Diese Ambivalenz stellt das Verfahren vor ein grundlegendes Problem: Wie kann verifiziert werden, dass die Korrekturmethode den wahren, gesuchten Wert eines Signals berechnet, was gleichzeitig die Annahme verifiziert, dass der direkt gemessene Wert des Signals falsch ist? Im Folgenden werden hierzu zwei Wege aufgezeigt. Einerseits kann dies durch Messung eines bekannten Referenzwertes erreicht werden, was die Messung vergleichbar macht. Allerdings engen bekannte Referenzwerte die Auswahl der Sensoren auf einen bestimmten Typen ein. Darüber hinaus können Simulationen die gemachten Annahmen bestätigen.
Verifikation und Anwendungsbeispiele:
Die Methodik wird vorliegend anhand von Kameras als Sensoren verifiziert. Kameras erlauben eine allgemeinere Verifikation, da sie zumindest zwei wesentliche Parameter eines fotografierten, und somit gemessenen Objekts quantifizieren können. Diese direkt messbaren Parameter sind die Intensität des Objekts sowie der Ort des Objekts in Relation zur Kamera. Die Bestimmung des Ortes erlaubt zudem eine Messung per Korrelation. Bei einer Korrelation wird der Ort des Objekts relativ zu einem anderen Ort bestimmt. Hierdurch kann veranschaulicht werden, dass es auch bei einer relativen, oder sozusagen indirekten Messung einer Amplitudenkorrektur der Zeitreihe bedarf.
Zur ersten Verifikation der Amplitudenkorrektur wird ein Objekt simuliert, welches relativ zu einer Kamera seinen Ort ändert. Die Änderung des Ortes erfolgt translatorisch, also per Verschiebung entlang der Koordinaten der Bildgebung der simulierten Kamera. Hierbei sollen die beiden Zeitreihen des Orts des Objekts bestimmt werden, gegeben in Pixel-Koordinaten der Kamera. Die Änderung jeder Pixelkoordinate des Objekts unterliegt hierbei einer Frequenzverteilung derer Amplituden bekannt sind, oder die nach oben hin ausreichend abgeschätzt werden kann. Dies ermöglicht die Wahl einer geeigneten Abtastfrequenz, in diesem Fall einer Bildrate (framerate) der Kamera. Mit besagter Abtastfrequenz werden nun Fotos von dem Objekt simuliert. Entscheidend dabei ist, dass der Ort des Objekts während der simulierten Aufnahme des Fotos nicht still steht, es wird also angenommen, dass die Änderung der Koordinate kontinuierlich verläuft. Entsprechend wird ein der Duty-Cycle in der Simulation berücksichtigt, was zu einer Bewegung des Objekts während der Aufnahme führt. Diese Änderung des Orts des Objekts während der Integrationszeit resultiert bekanntermaßen in Motion-Blur [Ben-Ezra, M. and Nayar, S. K., „Motion deblurring using hybrid imaging," in [2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings.], 1, I{657{I{664 vol.1 (June 2003)] in den einzelnen Fotos. Es kann davon ausgegangen werden, dass das Motion-Blur in jedem Foto eine Verschiebung dieses Fotos impliziert, welche durch den Schwerpunkt des Motion-Blur durch dessen Punkt-Spreiz-Funktion (PSF) beschrieben wird. Korrelationen berechnen nun diesen Versatz zweier Bilder entlang der Pixelkoordinaten. Die Messung von Zeitreihen mittels Korrelation bedarf daher in der Regel mehrerer korrelierte Bilder. Weiter wird eines dieser Bilder immer als Referenzbild betrachtet, in der Regel das erste Bild der Serie. Dies ist damit zu erklären, dass die Korrekturwerte in bestimmten Anwendungen wie Adaptive Optiken in Echtzeit verarbeitet werden müssen, beispielsweise um Aktuatoren wie bewegungsfähige Spiegel zu steuern. Diese Wahl des Referenzbildes führt dazu, dass die Zeitreihen des Orts des Objekts mit einem absoluten Versatz behaftet sind, der dem Versatz des Referenzbildes selber entspricht. Dieser Versatz des Referenzbildes kann von den Zeitreihen korrigiert werden, was aber für die Korrektur durch den Filter unerheblich ist. Erheblich ist dagegen, dass die Zeitreihen des Orts des Objekts nur Durchschnittswerte der wahren Ortsänderung des Objekts darstellen, sodass die gesuchte Zeitreihe nicht korrekt vorliegt. Genau dieser Zusammenhang wurde in den beschriebenen Simulationen gemessen. Einer Bildregistrierung mittels Korrelation kann daher weiter unterstellt werden, dass deren Ergebnis die räumliche Entfernung der Schwerpunkte der PSFs der beiden korrelierten Bilder berechnet, welche in Pixelkoordinaten der Kamera angegeben wird. Da die simulierte Kamera über zwei Pixelkoordinaten verfügt, entstehen entsprechend zwei Zeitreihen aus den Ergebnissen der Bildregistrierung. Beide Zeitreihen beschreiben je eine Koordinate des relativen Orts der Kamera in Relation zum Objekt in Pixeln, und müssen nun, wie in der grundlegenden Beschreibung erklärt, korrigiert werden, um die wahre Ortsänderung zu erhalten. Die Simulationen zeigen nun den Restfehler zwischen den Zeitreihen von registriertem Ort und wahren Ort, je mit und ohne die beanspruchte Korrektur. Der Restfehler wird eindeutig reduziert. Der Nutzen der Reduzierung des Restfehlers ergibt sich aus dem Stand der Technik. Die Zeitreihe des Orts des Objekts kann verwendet werden um eine Motion-Blur PSF zu errechnen wie sie zur Entfaltung eines parallel entstandenen Langzeit-belichteten Fotos verwendet werden kann, welches durch die gemessen PSF degradiert wurde. Es ist dem Fachmann bekannt, dass die die Genauigkeit der rekonstruierten PSF maßgeblich über die Güte der Entfaltung entscheidet. Somit ergibt sich unmittelbar der Nutzen aus der Reduzierung des Fehlers. Ebenfalls kann gezeigt werden, wie sich die Übertragung des Fehlers von den Zeitreihen des Orts des Objekts auf die PSF auswirkt. Durch die Amplitudenunterschätzung bei den Zeitreihen kommt es zu einer radialen Unterschätzung der PSF aus den Registrierungswerten, sodass die Differenz aus wahrer PSF und solcher aus registrierten Werten ein negatives Strehl-Verhältnis und eine positive Halo hat. Dieses Problem kann durch die beanspruchte Korrektur behoben werden. Es kann aber auch analytisch gezeigt werden, dass eine skalare Multiplikation der Zeitreihen das Problem zumindest reduziert. Eine solche imperfekte Lösung kann auch als Korrektur angesehen werden, wenn auch nicht als vollständige, da diese zumindest das Problem reduziert.
Entsprechend der vorher beschriebenen Simulation wird derselbe Effekt nun mit realen Sensoren gemessen. Zur Verifikation der Amplitudenkorrektur wird ein Objekt fotografiert, welches relativ zu einer Kamera seinen Ort ändert. Hierzu wurde eine Kamera mittels Okular und Objektiv auf ein Testbild fokussiert. Der kollimierte Lichtstrahl zwischen Objektiv und Okular wird dabei über einen sogenannten Tip-Tilt-Spiegel reflektiert. Der Spiegel kann hochpräzise Kipp- und Schwenkbewegungen ausführen. Durch diese Bewegungen wird die relative Position zwischen Objekt (Testbild) translatorisch moduliert, sodass die Methode aus vorher beschriebener Simulation verifiziert werden kann. Zur Verifikation wurde eine sinusförmige Bewegung des Spiegels auf beiden Achsen eingestellt. Die Amplitude dieser Bewegung ist bekannt und wurde in Pixelkoordinaten auf der Kamera vermessen. Die Frequenz der sinusförmigen Bewegung ist ebenfalls bekannt. Die Bildrate der Kamera wird auf einen Wert eingestellt, welche knapp über dem Doppelten der Frequenz der Spiegelbewegung liegt. Mit diesem Versuch werden nun mehrere Zeitreihen gemessen. Jeder gemessenen Zeitreihe liegt dabei ein anderer Duty-Cycle der Kamera zugrunde, wobei die verschiedenen Duty-Cycle gleich verteilt im Intervall zwischen Null und eins liegen. Es kann beobachtet werden, dass sich die rekonstruierbaren Amplituden der Zeitreihen des Orts des Objekts unterscheiden. Mit steigendem Duty-Cycle nimmt die Amplitude ab. Eine Normierung auf die maximale Amplitude aus allen Zeitreihen einer Koordinate zeigt, dass die Amplitudenunterschätzung entsprechend der Kurve des Filters verläuft. Dieser Test bestätigt daher die Theorie, welche dem Korrekturverfahren zu Grunde liegt, was wiederum das Korrekturverfahren verifiziert. Ungenauigkeiten aus dem Test sind durch Ungenauigkeiten der relativen Messung mittels Korrelation begründet und behindern nicht die Korrektur durch einen Filter.
Vorhergehende Verifikationen haben sich auf relative Messungen des Orts beschränkt. In einem weiteren Test wurde eine Korrektur einer Zeitreihe der Intensität verifiziert. Zur Verifikation dieser Amplitudenkorrektur wurde eine Kamera homogen ausgeleuchtet, wobei die Beleuchtungsintensität durch einen LED-Kontroller moduliert wurde. Diese Beleuchtungsintensität wird dabei wieder mit einem Signal in Sinusform moduliert, sodass die Amplitude der Intensitätsschwankungen immer konstant ist. Die Frequenz der Intensitätsschwankungen ist hingegen variabel. Es werden Frequenzen zwischen Werten knapp über Null und knapp unterhalb der halben Frequenz der Kamera moduliert, was eine beinahe komplette Variation innerhalb des Nyquistabtastbaren Bereiches garantiert. Für jeden Wert dieser variablen Frequenzen wird wieder eine Zeitreihe gemessen, wobei der Duty-Cycle konstant bleibt und bekannt ist. Für jede Zeitreihe werden nun die rekonstruierten Amplituden berechnet. Diese werden wiederum auf die maximal gemessene Amplitude normiert. Alle normierten Amplituden werden gegen die zugrundeliegende Frequenz der Intensitätsschwankung aufgetragen. Es wird das technische Problem der Messung von Intensitätsschwankungen mit Kameras verdeutlicht. Ebenso wird ersichtlich, dass die beanspruchte Korrekturmethode Wirkung zeigt.

1 zeigt ein Verfahren zur Korrektur von Fehlern in integrativ gemessenen Zeitreihen gemäß der beschriebenen Ausführungsform.
2 zeigt ein über-aufgelösten Blur Kern eines Langzeit-belichteten Fotos, welcher das Foto, basierend auf simulierten translatorischen Bewegungen zwischen Kamera und Objekt, degradiert.
3 zeigt das Prinzip der Bildregistrierung. Das wahre Ergebnis einer Kreuzkorrelation ist der Abstand der Blur-Kerne der korrelierten Bilder (hier PSF 1 und PSF 3).
4 zeigt die Genauigkeiten der getesteten Bildkorrelationen. Es ist der Referenzwert gegen den gemessenen Fehler aufgetragen.
5 zeigt die Ausdehnung des Blur-Kerns entlang einer Achse, variierend mit der Bildrate der Kamera.
6 zeigt die wahre Zeitreihe der relativen Position von Objekt und Kamera auf einer Achse, sowie deren Rekonstruktion basierend auf einer Korrelation.
7 zeigt den Filter in seiner Vorwärtsform für einen Duty-Cycle von 1 bei einer Bildrate von 800 Hertz.
8 zeigt die Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bildindex, wobei der Fehler entweder die Distanz zwischen dem kontinuierlichen Schwerpunkt des Ortssignals auf einer Achse und dem wahren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).
9 zeigt die durch Korrelation gemessene Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bildindex, wobei der Fehler entweder die Distanz zwischen dem durch Korrelation berechneten Schwerpunkt des Ortssignals auf einer Achse und dem wahren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).
10 zeigt eine PSF, welche basierend auf wahren Zeitreihen des Orts interpoliert wurde.
11 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeitreihen des Orts interpoliert wurde.
12 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeitreihen des Orts interpoliert wurde, wobei die Zeitreihen durch den Filter rekonstruiert wurden.
13 zeigt eine PSF, welche die Differenz aus der PSF in 10 und der PSF aus 11 ist.
14 zeigt eine PSF, welche die Differenz aus der PSF in 10 und der PSF aus 12 ist.
15 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras.
16 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei minimaler Belichtungszeit.
17 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei maximaler Belichtungszeit.
18 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeitreihen der Intensität mit Kameras.

1 beschreibt das Korrekturverfahren im Vergleich zum Stand der Technik mittels Flussdiagramm. Sowohl Stand der Technik als auch dessen Erweiterung um das beschriebene Korrekturverfahren basieren auf dem Messen einer Zeitreihe, welcher Vorgang als integratives Messen 0120 beschrieben werden kann. Dieses integrative Messen ist durch einen Sensor mit einer Integrationszeit gekennzeichnet, welche als Duty-Cycle beschrieben werden kann. Aus dieser Messung resultiert mindestens eine Zeitreihe von Schwerpunkten 0130 des Signals. Ebenso können mehrere Zeitreihen gemessen worden sein, auch mittels direkter oder indirekter, oder auch relationaler Messung. Der Stand der Technik würde keine Korrekturverfahren 0140 anwenden um von der Schwerpunkt-basierten Messung auf die tatsächlichen Signalwerte 0154 zu schließen. Korrekturen mit anderem Ziel werden in diesem Diagramm nicht berücksichtigt. Das beschriebene Korrekturverfahren hingegen entnimmt der Messung den voreingestellten Parameter des Duty-Cycle 0150, oder einen Wert welcher als äquivalent angesehen werden kann, beispielsweise die Integrationszeit. Ebenso kann der eingestellte Duty-Cycle oder ein eingestellter gleichwertiger Wert verwendet werden 0151. Charakteristisch für die vorliegende Korrektur ist, dass aus einem so gewonnenen Duty-Cycle Korrekturwerte 0153 berechnet werden, welche angewandt auf die Zeitreihe von Schwerpunkten 0130 des gemessenen Signals, eine Zeitreihe von Werten des Signals 0155 berechnen.
2 illustriert eine über-aufgelöste Punkt-Spreiz-Funktion (Motion-Blur PSF) welche durch relative, translatorische Bewegung zwischen einer Kamera zu einem Objekt simuliert wurde. Die Achsen beschreiben die Pixel-Auflösung der simulierten Kamera. Die Motion-Blur PSF ist eine Interpolation der zweidimensionalen Spur zwischen Kamera und Objekt. Es soll verdeutlicht werden, dass Bewegungen während der Integrationszeit kontinuierlich weiterverlaufen, sodass die Degradierung Motion-Blur entsteht. Weiter soll gezeigt werden, dass die Degradierung Motion-Blur aus zwei Zeitreihen besteht, welche die x- und die y-Koordinate der Kamera als Variation entlang der Zeit beschreiben.
3 zeigt nun das gleiche Prinzip wie 2. Allerdings ist die Integrationszeit wesentlich kürzer, sodass die Motion-Blur PSF eines Fotos auch wesentlich kürzer ist. Gezeigt werden die PSFs dreier Fotos als PSF 1, PSF 2 und PSF 3. Zu PSF 1 und PSF 3 sind die zugehörigen Schwerpunkte eingezeichnet, benannt als CoG 1 und CoG 3. 2 veranschaulicht das Prinzip der Bildregistrierung von solchen Bildern, welche mit Motion-Blur degradiert sind. Der veranschaulichte Fall bezieht sich auf eine Korrelation der Fotos mit der PSF 1 und der PSF 3, wobei beide Fotos das gleiche Objekt fotografieren, jedoch mit unterschiedlichen Degradierungen. Das wahre Ergebnis dieser Korrelation ist der Vektor von CoG 3 nach CoG 1.
4 zeigt die Genauigkeiten der getesteten Algorithmen zur Korrelation zweier Motion-Blur belasteter Bilder auf einer Achse, also die Genauigkeit der Rekonstruktion einer Schwerpunkt-basierten Zeitreihe. Es ist der Fehler der Registrierung in Pixel-Längen angegeben, gegen das wahre Ergebnis der Korrelation wie zuvor definiert. Die untersuchten Algorithmen stammen aus (Löfdahl, M. G., „Evaluation of image-shift measurement algorithms for solar shack-hartmann wavefront sensors,“ Astronomy and Astrophysics 524 (2010).) und sind entsprechend der dortigen Nomenklatur benannt. Es kann gefolgert werden, dass alle Algorithmen den wahren Wert der Registrierung wie definiert berechnen, da der durchschnittliche Fehler immer gleich Null ist.
5 zeigt nun die Abhängigkeit des korrigierten Fehlers (Motion-Blur-Ausdehnung entlang einer Achse) von der Bildrate (framerate), unter der Bedingung, dass alle anderen Faktoren konstant sind. Diese Darstellung ist interessant im Zusammenhang mit dem Stand der Technik. Bei hoher Bildrate ist der Fehler sehr gering, sodass seine Korrektur vernachlässigt werden kann. Allerdings ist der Stand der Technik nicht in der Lage mit hohen Ausdehnungen der Motion-Blurs bei geringen Bildraten umzugehen.
6 zeigt die Zeitreihe der relativen Position zwischen Kamera und Objekt auf der x-Achse in Pixel-Koordinaten (blau), sowie eine Rekonstruktion mittels Korrelation ohne beanspruchte Filterkorrektur (orange). Die Darstellung beruht auf den gleichen Eingabewerten der Simulation wie die 3 und 4. Es wird verdeutlicht, dass die Unterschätzung des gesuchten Signals durch integrative Messung nicht unerheblich ist.
7 zweigt nun den entsprechenden Filter im Fourier-Bereich in seiner Vorwärtsform. Die Bildrate war entsprechend der Darstellung 800 Hertz. Gezeigt sind nur positive Frequenzen, negative sind spiegelsymmetrisch. Die Phase des Filters ist immer gleich Null, daher wird nur der Betrag gezeigt. Die Gleichkomponente wurde als stetig fortsetzbar mit Eins erweitert.
8 zeigt die Anwendung der Korrektur auf die Zeitreihe der kontinuierlichen Schwerpunktwerte des Signals. Die Distanz auf der x-Achse in Pixel, zwischen dem wahren Signalwert (x(t)) und dessen symmetrischen Schwerpunkt (CoG), ist einmal in blau dargestellt. Dieser Wert entspricht dem Fehler, welcher bei der Anwendung des Stands der Technik entstehen würde. Dieser Fehler wird gegen Null korrigiert, wenn die beanspruchte Rekonstruktionsmethode angewandt wird.
9 zeigt das gleiche Prinzip wie 8, jedoch sind die Eingangswerte anders. Statt dem wahren Signal x(t) gehen nun dessen diskrete Rekonstruktionen anhand von Korrelationsergebnissen ein. Es wird deutlich, dass die Korrelation eine geringe Ungenauigkeit aufweist, und das die Rekonstruktion dieses ungenauen, Schwerpunktbasiertem Signals mit dem beanspruchten Verfahren immer noch möglich ist. Der Fehler wird insgesamt signifikant reduziert, aber ein geringer Restfehler bleibt.
10 zeigt eine PSF wie sie aus den Zeitreihen der x- und y-Position zwischen Kamera und Objekt interpoliert wurde. Dem Zugrunde liegt nun ein Langzeitbelichtetes Foto. Im Weiteren werden die maximale Höhe der PSF sowie der maximale Ausdehnung relevant.
11 zeigt eine PSF, passend zu 10, allerdings wurde diese anhand von Korrelationsergebnissen erzeugt. Diese PSF weist einen höheren Maximalwert auf, sowie leicht weniger maximale Ausdehnung in die Breiten.
12 zeigt die PSF aus 11, wobei die Zeitreihen der relativen Position zwischen Kamera und Objekt zuvor mit dem beanspruchten Verfahren korrigiert wurden. Es ist ersichtlich, dass die zuvor besagten Maximalwerte besser rekonstruiert werden als ohne beanspruchtes Korrekturverfahren.
13 zeigt die Differenz aus den PSFs aus 10 minus die PSF aus 11. Besagte Eigenschaften beider PSFs führen dazu, dass diese Differenz nahe dem Ursprung negativ, und zum Rand hin positiv ist. Weiter ist zu sehen, dass das Integral über den Absolutwert der Differenz-PSF relativ groß ist.
14 zeigt nun die Differenz von der PSF aus 10 minus der PSF aus 12. Es ist zu erkennen, dass das Integral über den Absolutwert der Differenz-PSF relativ gering ist, vor allem im Vergleich zu 13. Es wird also wieder eine Verbesserung durch Fehlerminimierung illustriert.
15 zeigt die Ergebnisse der Verifikation der Amplitudenkorrektur bei der Messung von Zeitreihen des relativen Ortes. Die horizontale Achse zeigt die Hälfte eingestellten Duty-Cycle, gegeben als symmetrisches Integrationsintervall normiert auf die Samplingzeit, die Vertikale zeigt die gemessene Amplitude, normiert auf die maximal gemessene Amplitude. Diese Darstellung wurde gewählte, da diese es ermöglicht den Amplituden des Filters nachzuzeichnen, welcher ebenfalls eingezeichnet ist (H). Die Nachzeichnung des Filters durch die Messergebnisse verifiziert die beanspruchte Korrektur. Ungenauigkeiten sind durch Restfehler der Korrelationen zu erklären.
16 zeigt den Blur des Referenzbildes aus dem Experiment von 15, wobei bei dieser Messung der kleinstmögliche Duty-Cycle konfiguriert war. Es ist zu erkennen, dass dieser relativ moderat ausfällt. Sinn der Abbildung zeigt sich im Vergleich mit 17.
17 zeigt den Blur des Referenzbildes aus dem Experiment von 15, wobei bei dieser Messung der größtmögliche Duty-Cycle konfiguriert war. Der Blur hat nun erhebliche Ausmaße. Dies stellt die Richtigkeit der Behauptung dar, dass es zu einer kontinuierlichen Änderung der relativen Position zwischen Kamera und Objekt während der Integrationszeit kommt, welche vom Duty-Cycle abhängt.
18 zeigt die Messergebnisse aus dem Experiment zur Verifikation der Amplitudenkorrektur bei der Messung von Zeitreihen der Intensität. Die Horizontale zeigt die Frequenz, mit welcher die Amplitude der Intensität der LED moduliert wurde, normiert auf die 800 Hertz Bildrate der Kamera. Die Vertikale zeigt die abhängig messbare Amplitude, normiert auf die maximal messbare Amplitude aus allen Messungen. Diese Darstellungsform wurde wiederum gewählt, weil sie es ermöglicht, den Filter dagegen zu zeichnen. Der Filter in Vorwärtsform ist für Duty-Cycle gleich Eins und gleich 0.8 eingezeichnet. Es kann den Ergebnissen entnommen werden, dass die Messkurve die Kurve des Filters für 0.8 approximiert. Dies Verifiziert wiederum die beanspruchte Korrektur, da der Duty-Cycle der Kamera in dem Experiment gleich 0.8 war. Die leichte Ungenauigkeit in der Messung lässt sich dadurch erklären, dass eine Einstellung der Frequenz des LED Kontrollers auf nahe-Null-Werte nicht möglich war. Somit wurden die gemessen Amplituden nicht auf die theoretisch erreichbare, maximale Amplitude normiert, wodurch die Messergebnisse leicht höher ausfallen als zu erwarten wäre.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Ben-Ezra, M. and Nayar, S. K., „Motion deblurring using hybrid imaging,“ in [2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings.], 1, I{657{I{664 vol.1 (June 2003) [0018]

Claims

Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, welche mit einem integrierenden Sensor gemessen wurden, dessen Messwerte im Wesentlichen einem Schwerpunkt des Signals während eines Duty-Cycle des Sensors entsprechen, dadurch gekennzeichnet, dass eine Schwerpunktbildung der Zeitreihe basierend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit des Sensors korrigiert wird.
Verfahren nach Patentanspruch 1, wobei die Korrektur mittels eines Boxcar-Filters erfolgt.
Verfahren nach Anspruch 1, wobei der integrierende Sensor zur Messung von Photonenflüssen eingesetzt wird.
Verfahren nach Anspruch 3, wobei der integrierende Sensor ein CCD Sensor, ein CMOS Sensor, DEPFET Sensor oder ein Time-Delay-Integrationssensor ist.
Verfahren nach Anspruch 3, wobei zu jedem zeitlichen Sample mehrere räumliche Messwerte genommen werden (Kamerabild).
Verfahren nach 5, wobei das Merkmal der Zeitreihe als Wellenfrontdegradierung des Lichtes zwischen Objekt und Sensor aufgefasst werden kann.
Verfahren nach Anspruch 1, wobei relative Messwerte gemessen wurden.
Verfahren nach Anspruch 1, wobei Messwerte korrigiert werden, die zur Entfaltung von Kamerabildern dienen.
Verfahren nach Anspruch 1, wobei die Korrektur in Echtzeit in einem Datenstrom vorgenommen wird.
Verfahren nach Anspruch 9, wobei ein oder mehrere Aktuatoren mit dem korrigierten Signal gesteuert werden.
Verfahren nach Anspruch 10, wobei ein Aktuator Element einer adaptiven Optik oder eine aktiven Optik ist.
Verfahren nach Anspruch 3, wobei Variationen in Intensitäten, gemessen mit Kameras, korrigiert werden.
Korrelationsverfahren, welche das Ergebnis eines Verfahrens gemäß Anspruch 1 als statistische Momente von Blur-Kernen weiterverarbeiten.
Verfahren nach Anspruch 13, welche das Ergebnis als Schwerpunkt verarbeiten.
Computer-implementiertes Verfahren nach Anspruch 1.
Verfahren nach Anspruch 1, welches die Korrektur mittels Transformation vornimmt.
Verfahren nach Anspruch 1, das indirekte Merkmale in der Zeitreihe misst.
Verfahren nach Anspruch 1, wobei die Messungen relativ sind.