EP3804292A2 - Verfahren und vorrichtung zur rekonstruktion von zeitreihen, degradiert durch auslastungsgrade - Google Patents

Abstract

Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, welche auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrieren-den Sensoren abgetastet wurden, sodass die Zeitreihen durch eine Schwerpunktbildung degradiert sind, welche durch einen Duty-Cycle der integrierenden Sensoren charakterisiert werden kann. Gemäß der Erfindung wird eine Schwerpunktbildung der Zeitreihen basierend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit der Sensoren korrigiert

Description

Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, degradiert durch Auslastungsgrade

Die Erfindung betrifft Verfahren und Vorrichtung zur Rekonstruktion von Zeitreihen, die durch Auslastungsgrade des verwendeten Sensors degradiert sind.

Die Messung einer (äquidistanten) Zeitreihe wird im Stand der Technik durch be- stimmte Parameter gekennzeichnet:

Die Anzahl N der äquidistanten, zeitlichen Stützstellen, zu denen gemessen wird (Samples).

Den zeitlichen Abstand zweier solcher benachbarter Stützstellen t_s (Abtast- zeit).

Die diskreten Zeitpunkte [n*t_s], zu denen die Messwerte genommen werden. Das Inverse der Abtastzeit, die Messfrequenz f_s, gibt die Anzahl der Messung pro Zeit an.

Das kontinuierliche Signal x(t), das von einem Sensor direkt oder indirekt ge- messen werden soll. Dieses Signal ist üblicherweise von der Zeit abhängig, so- dass die Zeitreihe die Variation des Signals entlang der Zeit misst.

Abgebildet wird immer die Variation eines Merkmals über die Zeit. Daher bilden im- mer mehrere Messwerte (Anzahl N) einer wiederholten Messung eine Zeitreihe der Länge N, welche im Allgemeinen auch über Darstellung in einem Transformations- raum verfügt.

Gemeinhin wird jedoch davon ausgegangen, dass die Messung der Zeitreihe ideal ist. Der Zeitraum, über welchen ein einzelnes Sample gemessen wurde, wird mit Null ab- geschätzt. Es wird somit unterstellt, dass das Sample ein idealer Dirac-Impuls war.

Diese Annahme eines perfekten Dirac-Impulses ist aber insbesondere, wenn die Mes- sung mittels eines Sensors erfolgt, der das gemessene Signal über einen bestimmten Zeitraum integriert, beispielsweise mittels eines CCD-Sensors, unzureichend. Insbe- sondere kommt es bei dieser Art von integrierenden Sensoren zu einer Schwerpunkt- bildung, die dazu führt, dass die tatsächliche Signalamplitude im relevanten Zeitpunkt unterschätzt wird. Daher bedarf es einer Korrektur dieser Schwerpunktbildung.

Eine Korrektur von Zeitreihen eindimensionaler Signale, z.B. Strom- oder Spannungs- sensoren, ist aus dem Buch„Signalverarbeitung in Beispielen: Verständlich erläutert mit Matlab und Simulink“ (Josef Hoffmann u. Franz Quint, De Gruyter Oldenbourg; Auflage: l, 12. September 2016, S. 306) bekannt.

Aus dem Buch „Modulation Transfer Function in Optical and Electro-Optical Sys- tems“ (Glenn D. Boreman, Tutorial Texts in Optical Engineering Volume TT52, SPIE Press, Bellingham, Washington, USA, 2001) ist ferner ein Korrekturverfahren für mit Arrays von integrierenden Sensoren aufgenommene zweidimensionale Bilder bekannt (Kapitel 2,„Detector Footprint MTF, Gleichung 2.2, Fig. 2.4), welches basierend auf nur einem Bild die räumlichen Amplituden / Frequenzen eines einzelnen Bildes unter Verwendung der räumlichen Pixelausdehnung korrigiert. Die MTF von Vibration und von Bewegung / Motion ist dort jedoch als eine räumliche MTF beschrieben (Kapitel 3, Figur 3.1 und 3.2). Diese Annahme führt jedoch zu unvollständigen und mithin feh- lerhaften Korrekturen.

Ein besseres Verfahren zur Korrektur von sogenanntem Motion-Blur offenbaren Ben- Ezra, M. and Nayar, S. K., („Motion deblurring using hybrid imaging," in 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings. 1, I{657(I{664 vol.i, June 2003), unter Verwendung einer zweiten, schnelleren Kamera, welche synchron zu dem eigentlichen Bild eine Bewegung auf- nimmt. Dennoch weichen die auf dieser Basis bewegungskompensierten Bilder wei- terhin von der sog.„Grundwahrheit“ ab, ohne dass die genannte Arbeit diese Abwei- chung erklärt. Insbesondere wird die mittels der zweiten Kamera erhaltene Zeitreihe ihrerseits nicht korrigiert.

Aufgabe der vorliegenden Erfindung ist daher, ein Korrekturverfahren für Zeitreihen bereit zu stellen, welche auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrierenden Sen- soren abgetastet wurden, welches es insbesondere erlaubt, eine aufgrund der physika- lischen Eigenschaften des Sensors auftretende Schwerpunktbildung zu kompensieren und die erhaltenen Messwerte damit zu verbessern. Diese Aufgabe wird gelöst durch ein Verfahren gemäß Patentanspruch l. Vorteilhafte Ausführungsformen sind in den Unteransprüchen angegeben.

Gemäß einem Aspekt erweitert die Erfindung die angewandte Rekonstruktion von gemessenen Zeitreihen mit integrierenden Sensoren um die Berücksichtigung des Pa- rameters der Integrationszeit t_int (tau =2 Delta). Bei einer Kamera wird bei- spielsweise von Belichtungszeit gesprochen, welche in der Regel auch einstellbar ist. Die Erfindung schlägt vor, die im Stand der Technik bei der Messung von Zeitreihen nicht berücksichtigte Integrationszeit für eine Korrektur der gemessenen Zeitreihe zu verwenden.

Eine weitere mögliche Definition des zu berücksichtigenden Parameters ist die des Auslastungsgrads t_int/t_s (engl.: duty-cycle). Dieser ergibt sich durch den Bezug der Integrationszeit zur Abtastzeit. Die Abtastzeit entspricht bei einer periodischen Messung der Periodendauer. Die Integrationszeit ist daher im Regelfall kleiner als die Messperiode, sodass der Auslastungsgrad die relative Dauer der Messung pro Periode der Messung angibt. Die Werte des Auslastungsgrades liegen dadurch zwischen o und l und können in Prozent angegeben werden.

Die vorliegende Erfindung definiert die diskreten Sampling-Zeitpunkte t_s damit an- ders als zuvor, nämlich in der Mitte der Integrationszeit t_int. Es entstehen symmetrische Integrationsintervalle Delta um die Sampling-Zeitpunkte [n*t_s], sodass gilt 2*Delta = t_int. Die Berücksichtigung der Integrationszeit t_int führt nun dazu, dass der Sensor nicht den Werte des Signals x(t_s) misst. Stattdessen kommt es zu einer Durchschnittsbildung über das Signal x(t) in dem Zeit raum [t_s-Delta, t_s+Delta]. Diese Durchschnittsbildung resuliert in einer Mes- sung des Schwerpunkts des Signals COG(x(t_s-Delta, t_s+Delta)), welcher unter bestimmten Bedingungen in einen umkehrbaren mathematischen Zusammen- hang mit dem gesuchten Signal x(t_s) gesetzt werden kann. Das stetige Signal x(t) hat immer eine Frequenzzerlegung, bzw. eine Beschreibung im Fourier-Raum. Wird es Nyquist -richtig abgetastet, also mit einer Frequenz die doppelt so groß ist wie die höchste Frequenz des Signals im Frequenz-Raum, so kann es mittels einer Fourier- Reihe dargestellt werden. Diese Darstellung mit einer Fourier-Reihe ermöglicht die Herleitung eines Boxcar-Filters: Der kontinuierliche Schwerpunkt einer jeden Fre- quenz des Signals hängt mittels einer Sinc-Funktion von dieser Frequenz selber ab. D.h. es besteht eine Relation zwischen dem kontinuierlichen Schwerpunkt (CoG) der k-ten harmonischen Frequenz und dieser Frequenz selbst. Diese Relation ist eine sinc- Funktion und beschreibt die Durchschnittsbildung durch den Sensor aufgrund der Integration als kontinuierliche Boxcar-Funktion. Die Standardbedingung, dass die Abtastung der diskreten CogS CoG[x(t), n x t_s, D] zumindest Nyquist-kritisch ist, er- laubt sowohl das diskrete Signal x[n x t_s] und seine kontinuierliche Form x(t) über ei- nen diskreten Filter H(k) zu rekonstruieren. Jede Frequenz ist als W_k = 2p1</N im Fou- rierraum definiert, wobei N die Anzahl der Abtastwerte ist. Die Abtastzeit ist die Um kehrung der Bildrate f_s. Daher wird der Duty-Cycle der Kamera als t=2D angenom- men. Alles in allem gilt:

Diese Sinc-Funktion beschreibt einerseits den Fehler, welcher durch die nicht-ideale Messung mit Duty-Cycle gemacht wurde. Die Gleichkomponente des Signals ist als einzige unbelastet. Alle höheren Frequenzen sind abhängig vom Frequenzindex und der zeitlichen Ausdehnung der Integrationszeit, bzw. der Höhe des Auslastungsgrades, und werden systematisch unterschätzt. Die Unterschätzung steigt dabei mit steigender Frequenz, bis zu einem Maximalwert von 2/Pi bei höchstmöglicher Frequenz und ma- ximalem Auslastungsgrad. Andererseits kann die Sinc-Funktion auch zu einer mögli- chen Korrektur der Amplitudenunterschätzung herangezogen werden. Hierzu wird die Sinc-Funktion invertiert und elementweise auf alle Frequenzen der Zeitreihe ange- wandt. Eine Rücktransformation dieser korrigierten Frequenzen in den Zeitbereich ergibt dann die korrigierte Zeitreihe, welche ideale Samples des nicht-ideal abgetaste- ten Signals enthält.

Unter der Annahme, dass das Signal x(t) Nyquist-richtig abgetastet wurde, kann die Inverse des Filters also herangezogen werden um eine Korrektur vorzunehmen. Hier- zu bedarf es zunächst der richtigen Interpretation des abgetasteten Signals selber. Wie bereits kurz beschrieben, müssen die richtigen Abtastzeitpunkte n*t_s definiert wer- den um eine Korrektur vornehmen zu können. Die erfindungsgemäße Methode funk- tioniert nur, wenn diese Abtastzeitpunkte in der Mitte des Duty-Cycle definiert wer- den, ansonsten bleibt die Korrektur wirkungslos oder ist in ihrer Wirkung reduziert. Weitere Voraussetzungen sind, dass der Duty-Cycle mit einer hinreichenden Genauig- keit bekannt ist. Letztere Voraussetzung ist in der Regel erfüllt, weil der Duty-Cycle in elektrischen Messsystemen mit hoher Genauigkeit definiert worden ist oder einge- stellt werden kann. Letztlich ist es ebenfalls Voraussetzung, dass die Zeitreihe mit äquidistanten Abtastwerten gemessen wurde, und dass die Abtastzeitpunkte hinrei- chend genau bekannt sind. Sind alle genannten Voraussetzungen erfüllt, kann die ge- messene Zeitreihe in einen Transformationsbereich transformiert werden, wo sie ele- mentweise mit einem Korrekturterm verrechnet wird. Im einfachsten Fall ist der Transformationsbereich der Fourier-Raum, und der Korrekturterm die elementweise Inverse der besagten Sinc-Funktion. Diese Sinc-Funktion muss vor der Korrektur ent- sprechend aufgestellt werden. Die Sinc-Funktion ist als Quotient aus Sinus eines Aus- drucks geteilt durch diesen Ausdruck selber definiert. Der Ausdruck besteht aus dem Produkt der Variablen Duty-Cycle und Frequenz-Index. Der Frequenz-Index wird ent- sprechend seiner mathematischen Definition im Fourier-Raum definiert (2*pi*k/N).

Der Duty-Cycle geht direkt in die Berechnung ein, da er bereits auf die Abtastzeit, und damit auf die Abtastfrequenz, normiert ist. Das Produkt aus dem Skalar Duty-Cycle und dem Vektor Frequenzindex ist wiederum ein Vektor. Jedes Element des Vektors wird nun als besagter Ausdruck als Eingangswert in die Sinc-Funktion verwendet, wodurch sich der Filter in seiner Vorwärtsform elementweise berechnen lässt. Diese Vorwärtsform beschreibt den Fehler. Die elementweise Inversion der Vorwärtsform des Filters ergibt dann die Korrekturwerte für die Anwendung auf die einzelnen Fre- quenzen des Signals. Diese Inversion ist generell möglich, da nicht durch Null geteilt wird. Die Gleichkomponente des Filters mit dem Frequenzindex Null ist nicht defi- niert, kann aber als stetig fortsetzbar betrachtet werden. Daher wird die Gleichkom- ponente gleich Eins gesetzt. Alle anderen Komponenten sind ungleich Null, weil der Frequenz-Index als Eingangswert in die Sinc-Funktion nur solche Werte als Ausgabe der Sinc-Funktion errechnet, welche immer größer als Null sind. Daher ist die Korrek- tur bei Nyquist-richtigem Abtasten des Signals immer möglich. Die transformierten Signalwerte können mit den Korrekturwert, dem elementweisen Inversen des Sine des genannten Ausdrucks, elementweise multipliziert werden, sodass eine inverse Fou- rier-Transformation das gesuchte Signal ergibt. Diese Methode kann generell mit hoher Präzision angewandt werden, da die Korrek- turwerte selber sehr genau bekannt sind. Der Grund dafür liegt darin, das diesen Kor- rekturwerten kein oder nur wenig Noise aufgeschlagen ist, und es keine Null- oder Nahe-Null-Frequenzen in der Filterbeschreibung gibt. Durch diese drei Bedingungen, präzise Kenntnis des Filters, kein bis wenig Noise, und keine cut-off Frequenz, kann der Filter als direkter Rekonstruktionsfilter angewandt werden, eben durch direkte Multiplikation oder Teilung durch das entsprechend Inverse.

Die Vorteile der erfindungsgemäßen Korrektur liegen darin, dass wenn immer eine Zeitreihe mit Sensoren gemessen wird, welche einen Duty-Cycle aufweisen, die erlang- ten Messwerte korrigiert werden können, sodass diese nicht weiter in Ihrer Amplitude unterschätzt sind. Der direkte Nutzen ergibt sich, wenn der Sinn der Messung in der Erlangung der richtigen Werte selber liegt, was üblicherweise der Fall ist. Weiter kann die Kenntnis über die Korrektur genutzt werden, wenn ein Sensor zur Erlangung kor- rekter Zeitreihen kalibriert werden soll. Diese Ambivalenz stellt das Verfahren vor ein grundlegendes Problem: Wie kann verifiziert werden, dass die Korrekturmethode den wahren, gesuchten Wert eines Signals berechnet, was gleichzeitig die Annahme verifi- ziert, dass der direkt gemessene Wert des Signals falsch ist? Im Folgenden werden hierzu zwei Wege aufgezeigt. Einerseits kann dies durch Messung eines bekannten Referenzwertes erreicht werden, was die Messung vergleichbar macht. Allerdings en- gen bekannte Referenzwerte die Auswahl der Sensoren auf einen bestimmten Typen ein. Darüber hinaus können Simulationen die gemachten Annahmen bestätigen.

Verifikation und Anwendungsbeispiele:

Die Methodik wird vorliegend anhand von Kameras als Sensoren verifiziert. Kameras erlauben eine allgemeinere Verifikation, da sie zumindest zwei wesentliche Parameter eines fotografierten, und somit gemessenen Objekts quantifizieren können. Diese di- rekt messbaren Parameter sind die Intensität des Objekts sowie der Ort des Objekts in Relation zur Kamera. Die Bestimmung des Ortes erlaubt zudem eine Messung per Korrelation. Bei einer Korrelation wird der Ort des Objekts relativ zu einem anderen Ort bestimmt. Hierdurch kann veranschaulicht werden, dass es auch bei einer relati- ven, oder sozusagen indirekten Messung einer Amplitudenkorrektur der Zeitreihe be- darf.

Zur ersten Verifikation der Amplitudenkorrektur wird ein Objekt simuliert, welches relativ zu einer Kamera seinen Ort ändert. Die Änderung des Ortes erfolgt translato- risch, also per Verschiebung entlang der Koordinaten der Bildgebung der simulierten Kamera. Hierbei sollen die beiden Zeitreihen des Orts des Objekts bestimmt werden, gegeben in Pixel-Koordinaten der Kamera. Die Änderung jeder Pixelkoordinate des Objekts unterliegt hierbei einer Frequenzverteilung derer Amplituden bekannt sind, oder die nach oben hin ausreichend abgeschätzt werden kann. Dies ermöglicht die Wahl einer geeigneten Abtastfrequenz, in diesem Fall einer Bildrate (framerate) der Kamera. Mit besagter Abtastfrequenz werden nun Fotos von dem Objekt simuliert. Entscheidend dabei ist, dass der Ort des Objekts während der simulierten Aufnahme des Fotos nicht still steht, es wird also angenommen, dass die Änderung der Koordi- nate kontinuierlich verläuft. Entsprechend wird ein der Duty-Cycle in der Simulation berücksichtigt, was zu einer Bewegung des Objekts während der Aufnahme führt. Die- se Änderung des Orts des Objekts während der Integrationszeit resultiert bekannter- maßen in Motion-Blur [Ben-Ezra, M. and Nayar, S. K.,„Motion deblurring using hyb- rid imaging," in [2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings.], 1, I{657(I{664 vol.i (June 2003)] in den einzelnen Fotos. Es kann davon ausgegangen werden, dass das Motion-Blur in jedem Foto eine Verschiebung dieses Fotos impliziert, welche durch den Schwerpunkt des Motion-Blur durch dessen Punkt-Spreiz-Funktion (PSF) beschrieben wird. Korrelati- onen berechnen nun diesen Versatz zweier Bilder entlang der Pixelkoordinaten. Die Messung von Zeitreihen mittels Korrelation bedarf daher in der Regel mehrerer korre- lierte Bilder. Weiter wird eines dieser Bilder immer als Referenzbild betrachtet, in der Regel das erste Bild der Serie. Dies ist damit zu erklären, dass die Korrekturwerte in bestimmten Anwendungen wie Adaptive Optiken in Echtzeit verarbeitet werden müs- sen, beispielsweise um Aktuatoren wie bewegungsfähige Spiegel zu steuern. Diese Wahl des Referenzbildes führt dazu, dass die Zeitreihen des Orts des Objekts mit ei- nem absoluten Versatz behaftet sind, der dem Versatz des Referenzbildes selber ent- spricht. Dieser Versatz des Referenzbildes kann von den Zeitreihen korrigiert werden, was aber für die Korrektur durch den Filter unerheblich ist. Erheblich ist dagegen, dass die Zeitreihen des Orts des Objekts nur Durchschnittswerte der wahren Ortsän- derung des Objekts darstellen, sodass die gesuchte Zeitreihe nicht korrekt vorliegt. Genau dieser Zusammenhang wurde in den beschriebenen Simulationen gemessen. Einer Bildregistrierung mittels Korrelation kann daher weiter unterstellt werden, dass deren Ergebnis die räumliche Entfernung der Schwerpunkte der PSFs der beiden kor- relierten Bilder berechnet, welche in Pixelkoordinaten der Kamera angegeben wird. Da die simulierte Kamera über zwei Pixelkoordinaten verfügt, entstehen entsprechend zwei Zeitreihen aus den Ergebnissen der Bildregistrierung. Beide Zeitreihen beschrei- ben je eine Koordinate des relativen Orts der Kamera in Relation zum Objekt in Pi- xeln, und müssen nun, wie in der grundlegenden Beschreibung erklärt, korrigiert werden, um die wahre Ortsänderung zu erhalten. Die Simulationen zeigen nun den Restfehler zwischen den Zeitreihen von registriertem Ort und wahren Ort, je mit und ohne die beanspruchte Korrektur. Der Restfehler wird eindeutig reduziert. Der Nutzen der Reduzierung des Restfehlers ergibt sich aus dem Stand der Technik. Die Zeitreihe des Orts des Objekts kann verwendet werden um eine Motion-Blur PSF zu errechnen wie sie zur Entfaltung eines parallel entstandenen Langzeit -belichteten Fotos verwen- det werden kann, welches durch die gemessen PSF degradiert wurde. Es ist dem Fachmann bekannt, dass die die Genauigkeit der rekonstruierten PSF maßgeblich über die Güte der Entfaltung entscheidet. Somit ergibt sich unmittelbar der Nutzen aus der Reduzierung des Fehlers. Ebenfalls kann gezeigt werden, wie sich die Übertra- gung des Fehlers von den Zeitreihen des Orts des Objekts auf die PSF auswirkt. Durch die Amplitudenunterschätzung bei den Zeitreihen kommt es zu einer radialen Unter- schätzung der PSF aus den Registrierungswerten, sodass die Differenz aus wahrer PSF und solcher aus registrierten Werten ein negatives Strehl-Verhältnis und eine positive Halo hat. Dieses Problem kann durch die beanspruchte Korrektur behoben werden. Es kann aber auch analytisch gezeigt werden, dass eine skalare Multiplikation der Zeit- reihen das Problem zumindest reduziert. Eine solche imperfekte Lösung kann auch als Korrektur angesehen werden, wenn auch nicht als vollständige, da diese zumindest das Problem reduziert.

Entsprechend der vorher beschriebenen Simulation wird derselbe Effekt nun mit rea- len Sensoren gemessen. Zur Verifikation der Amplitudenkorrektur wird ein Objekt fotografiert, welches relativ zu einer Kamera seinen Ort ändert. Hierzu wurde eine Kamera mittels Okular und Objektiv auf ein Testbild fokussiert. Der kollimierte Licht- strahl zwischen Objektiv und Okular wird dabei über einen sogenannten Tip-Tilt- Spiegel reflektiert. Der Spiegel kann hochpräzise Kipp- und Schwenkbewegungen aus- führen. Durch diese Bewegungen wird die relative Position zwischen Objekt (Testbild) translatorisch moduliert, sodass die Methode aus vorher beschriebener Simulation verifiziert werden kann. Zur Verifikation wurde eine sinusförmige Bewegung des Spiegels auf beiden Achsen eingestellt. Die Amplitude dieser Bewegung ist bekannt und wurde in Pixelkoordinaten auf der Kamera vermessen. Die Frequenz der sinus- förmigen Bewegung ist ebenfalls bekannt. Die Bildrate der Kamera wird auf einen Wert eingestellt, welche knapp über dem Doppelten der Frequenz der Spiegelbewe- gung liegt. Mit diesem Versuch werden nun mehrere Zeitreihen gemessen. Jeder ge- messenen Zeitreihe liegt dabei ein anderer Duty-Cycle der Kamera zugrunde, wobei die verschiedenen Duty-Cycle gleich verteilt im Intervall zwischen Null und eins lie gen. Es kann beobachtet werden, dass sich die rekonstruierbaren Amplituden der Zeitreihen des Orts des Objekts unterscheiden. Mit steigendem Duty-Cycle nimmt die Amplitude ab. Eine Normierung auf die maximale Amplitude aus allen Zeitreihen ei- ner Koordinate zeigt, dass die Amplitudenunterschätzung entsprechend der Kurve des Filters verläuft. Dieser Test bestätigt daher die Theorie, welche dem Korrekturverfah- ren zu Grunde liegt, was wiederum das Korrekturverfahren verifiziert. Ungenauigkei- ten aus dem Test sind durch Ungenauigkeiten der relativen Messung mittels Korrela- tion begründet und behindern nicht die Korrektur durch einen Filter.

Vorhergehende Verifikationen haben sich auf relative Messungen des Orts beschränkt. In einem weiteren Test wurde eine Korrektur einer Zeitreihe der Intensität verifiziert. Zur Verifikation dieser Amplitudenkorrektur wurde eine Kamera homogen ausge- leuchtet, wobei die Beleuchtungsintensität durch einen LED-Kontroller moduliert wurde. Diese Beleuchtungsintensität wird dabei wieder mit einem Signal in Sinusform moduliert, sodass die Amplitude der Intensitätsschwankungen immer konstant ist. Die Frequenz der Intensitätsschwankungen ist hingegen variabel. Es werden Frequen- zen zwischen Werten knapp über Null und knapp unterhalb der halben Frequenz der Kamera moduliert, was eine beinahe komplette Variation innerhalb des Nyquist- abtastbaren Bereiches garantiert. Für jeden Wert dieser variablen Frequenzen wird wieder eine Zeitreihe gemessen, wobei der Duty-Cycle konstant bleibt und bekannt ist. Für jede Zeitreihe werden nun die rekonstruierten Amplituden berechnet. Diese wer- den wiederum auf die maximal gemessene Amplitude normiert. Alle normierten Amplituden werden gegen die zugrundeliegende Frequenz der Intensitätsschwankung aufgetragen. Es wird das technische Problem der Messung von Intensitätsschwankun- gen mit Kameras verdeutlicht. Ebenso wird ersichtlich, dass die beanspruchte Korrek- turmethode Wirkung zeigt.

Fig. l zeigt ein Verfahren zur Korrektur von Fehlern in integrativ gemessenen Zeitreihen gemäß der beschriebenen Ausführungsform.

Fig. 2 zeigt ein über-aufgelösten Blur Kern eines Langzeit-belichteten Fotos, welcher das Foto, basierend auf simulierten translatorischen Bewegun- gen zwischen Kamera und Objekt, degradiert. Fig. 3 zeigt das Prinzip der Bildregistrierung. Das wahre Ergebnis einer Kreuzkorrelation ist der Abstand der Blur- Kerne der korrelierten Bilder (hier PSF l und PSF 3).

Fig. 4 zeigt die Genauigkeiten der getesteten Bildkorrelationen. Es ist der Re- ferenzwert gegen den gemessenen Fehler aufgetragen.

Fig.5 zeigt die Ausdehnung des Blur-Kerns entlang einer Achse, variierend mit der Bildrate der Kamera.

Fig. 6 zeigt die wahre Zeitreihe der relativen Position von Objekt und Kamera auf einer Achse, sowie deren Rekonstruktion basierend auf einer Korre- lation.

Fig. 7 zeigt den Filter in seiner Vorwärtsform für einen Duty-Cycle von 1 bei einer Bildrate von 800 Hertz.

Fig. 8 zeigt die Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bil dindex, wobei der Fehler entweder die Distanz zwischen dem kontinu- ierlichen Schwerpunkt des Ortssignals auf einer Achse und dem wah- ren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).

Fig. 9 zeigt die durch Korrelation gemessene Zeitreihe des Fehlers des Orts auf einer Achse gegen den Bildindex, wobei der Fehler entweder die Distanz zwischen dem durch Korrelation berechneten Schwerpunkt des Ortssignals auf einer Achse und dem wahren Ortssignal ist (blau), oder derselbe Fehler nach der Anwendung der Korrektur (orange).

Fig. 10 zeigt eine PSF, welche basierend auf wahren Zeitreihen des Orts inter- poliert wurde.

Fig. 11 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeit- reihen des Orts interpoliert wurde.

Fig. 12 zeigt eine PSF, welche basierend auf durch Korrelation gemessene Zeit- reihen des Orts interpoliert wurde, wobei die Zeitreihen durch den Fil ter rekonstruiert wurden.

Fig. 13 zeigt eine PSF, welche die Differenz aus der PSF in Fig. 10 und der PSF aus Fig. 11 ist.

Fig. 14 zeigt eine PSF, welche die Differenz aus der PSF in Fig. 10 und der PSF aus Fig. 12 ist.

Fig. 15 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeit- reihen des relativen Orts mit Kameras. Fig. 16 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei mi- nimaler Belichtungszeit.

Fig. 17 zeigt das Referenzbild aus den Messergebnissen zur Verifikation der Rekonstruktion von Zeitreihen des relativen Orts mit Kameras bei ma- ximaler Belichtungszeit.

Fig. 18 zeigt die Messergebnisse zur Verifikation der Rekonstruktion von Zeit- reihen der Intensität mit Kameras.

Figur 1 beschreibt das Korrekturverfahren im Vergleich zum Stand der Technik mit- tels Flussdiagramm. Sowohl Stand der Technik als auch dessen Erweiterung um das beschriebene Korrekturverfahren basieren auf dem Abtasten einer Zeitreihe, welcher Vorgang als integratives Abtasten 0120 beschrieben werden kann, um Abtastwerte zu erhalten. Dieses integrative Abtasten ist durch einen Sensor mit einer Integrationszeit gekennzeichnet, welche als Duty-Cycle beschrieben werden kann. Aus dieser Abtas- tung resultiert eine Sequenz mehrdimensionaler Signale 0130, um einen oder mehre- re Messwerte zu erhalten. Auf dieser Sequenz mehrdimensionaler Signale wird eine Zeitreihe gemessen 0140, wobei angenommen wird, dass die Integration des Sensors dazu führt, dass die Zeitreihe durch Schwerpunktbildung degradiert ist. Ebenso kön- nen mehrere Zeitreihen gemessen worden sein, auch mittels direkter oder indirekter, oder auch relationaler Messung. Abtast- und Messwerte müssen sich nicht unter- scheiden, zum Beispiel bei der Rekonstruktion von Intensitätsvariationen in Bildern. Der Stand der Technik (linker Zweig) würde keine Korrekturverfahren anwenden, um von der Schwerpunkt-degradierten Zeitreihe 0140 auf die tatsächlichen bzw. wahren Signalwerte 0174 zu schließen, sondern die Schwerpunkt-degradierte Zeitreihe 0150 als Ergebnis akzeptieren (Ende 0160). Korrekturen mit anderem Ziel werden in die- sem Diagramm nicht berücksichtigt. Das beschriebene Korrekturverfahren (rechter Zweig 017X) hingegen entnimmt der Messung den voreingestellten Parameter des Duty-Cycle 0170, oder einen Wert welcher als äquivalent angesehen werden kann, beispielsweise die Integrationszeit. Ebenso kann der eingestellte Duty-Cycle oder ein eingestellter gleichwertiger Wert verwendet werden 0171. Charakteristisch für die vorliegende Korrektur ist, dass aus einem so gewonnenen Duty-Cycle Korrekturwerte 0173 berechnet werden, welche angewandt auf die Zeitreihe, degradiert durch Schwerpunktbildung 0150, eine von der Degradierung korrigierte Zeitreihe 0175 be- rechnen. Figur 2 illustriert eine über-aufgelöste Punkt-Spreiz-Funktion (Motion-Blur PSF) welche durch relative, translatorische Bewegung zwischen einer Kamera zu einem Ob- jekt simuliert wurde. Die Achsen beschreiben die Pixel -Auflösung der simulierten Kamera. Die Motion-Blur PSF ist eine Interpolation der zweidimensionalen Spur zwi- schen Kamera und Objekt. Es soll verdeutlicht werden, dass Bewegungen während der Integrationszeit kontinuierlich weiterverlaufen, sodass die Degradierung Motion-Blur entsteht. Weiter soll gezeigt werden, dass die Degradierung Motion-Blur aus zwei Zeitreihen besteht, welche die x- und die y-Koordinate der Kamera als Variation ent- lang der Zeit beschreiben.

Figur 3 zeigt nun das gleiche Prinzip wie Figur 2. Allerdings ist die Integrationszeit wesentlich kürzer, sodass die Motion-Blur PSF eines Fotos auch wesentlich kürzer ist. Gezeigt werden die PSFs dreier Fotos als PSF l, PSF 2 und PSF 3. Zu PSF 1 und PSF 3 sind die zugehörigen Schwerpunkte eingezeichnet, benannt als CoG 1 und CoG 3. Fi- gur 2 veranschaulicht das Prinzip der Bildregistrierung von solchen Bildern, welche mit Motion-Blur degradiert sind. Der veranschaulichte Fall bezieht sich auf eine Kor- relation der Fotos mit der PSF 1 und der PSF 3, wobei beide Fotos das gleiche Objekt fotografieren, jedoch mit unterschiedlichen Degradierungen. Das wahre Ergebnis die- ser Korrelation ist der Vektor von CoG 3 nach CoG 1.

Figur 4 zeigt die Genauigkeiten der getesteten Algorithmen zur Korrelation zweier Motion-Blur belasteter Bilder auf einer Achse, also die Genauigkeit der Rekonstrukti- on einer Schwerpunkt-basierten Zeitreihe. Es ist der Fehler der Registrierung in Pixel- Längen angegeben, gegen das wahre Ergebnis der Korrelation wie zuvor definiert. Die untersuchten Algorithmen stammen aus (Löfdahl, M. G.,“Evaluation of image-shift measurement algorithms for solar shack-hartmann wavefront sensors,” Astronomy and Astrophysics 524 (2010).) und sind entsprechend der dortigen Nomenklatur be- nannt. Es kann gefolgert werden, dass alle Algorithmen den wahren Wert der Regist- rierung wie definiert berechnen, da der durchschnittliche Fehler immer gleich Null ist.

Figur 5 zeigt nun die Abhängigkeit des korrigierten Fehlers (Motion-Blur- Ausdehnung entlang einer Achse) von der Bildrate (framerate), unter der Bedingung, dass alle anderen Faktoren konstant sind. Diese Darstellung ist interessant im Zu- sammenhang mit dem Stand der Technik. Bei hoher Bildrate ist der Fehler sehr ge- ring, sodass seine Korrektur vernachlässigt werden kann. Allerdings ist der Stand der Technik nicht in der Lage mit hohen Ausdehnungen der Motion-Blurs bei geringen Bildraten umzugehen.

Figur 6 zeigt die Zeitreihe der relativen Position zwischen Kamera und Objekt auf der x-Achse in Pixel-Koordinaten (blau), sowie eine Rekonstruktion mittels Korrelati- on ohne beanspruchte Filterkorrektur (orange). Die Darstellung beruht auf den glei- chen Eingabewerten der Simulation wie die Figuren 3 und 4. Es wird verdeutlicht, dass die Unterschätzung des gesuchten Signals durch integrative Messung nicht uner- heblich ist.

Figur 7 zweigt nun den entsprechenden Filter im Fourier-Bereich in seiner Vorwärts- form. Die Bildrate war entsprechend der Darstellung 800 Hertz. Gezeigt sind nur po- sitive Frequenzen, negative sind spiegelsymmetrisch. Die Phase des Filters ist immer gleich Null, daher wird nur der Betrag gezeigt. Die Gleichkomponente wurde als stetig fortsetzbar mit Eins erweitert.

Figur 8 zeigt die Anwendung der Korrektur auf die Zeitreihe der kontinuierlichen Schwerpunktwerte des Signals. Die Distanz auf der x-Achse in Pixel, zwischen dem wahren Signalwert (x(t)) und dessen symmetrischen Schwerpunkt (CoG), ist einmal in blau dargestellt. Dieser Wert entspricht dem Fehler, welcher bei der Anwendung des Stands der Technik entstehen würde. Dieser Fehler wird gegen Null korrigiert, wenn die beanspruchte Rekonstruktionsmethode angewandt wird.

Figur 9 zeigt das gleiche Prinzip wie Figur 8, jedoch sind die Eingangswerte anders. Statt dem wahren Signal x(t) gehen nun dessen diskrete Rekonstruktionen anhand von Korrelationsergebnissen ein. Es wird deutlich, dass die Korrelation eine geringe Ungenauigkeit aufweist, und das die Rekonstruktion dieses ungenauen, Schwerpunkt - basiertem Signals mit dem beanspruchten Verfahren immer noch möglich ist. Der Fehler wird insgesamt signifikant reduziert, aber ein geringer Restfehler bleibt.

Figur 10 zeigt eine PSF wie sie aus den Zeitreihen der x- und y-Position zwischen Kamera und Objekt interpoliert wurde. Dem Zugrunde liegt nun ein Langzeit - belichtetes Foto. Im Weiteren werden die maximale Höhe der PSF sowie der maxima- le Ausdehnung relevant. Figur li zeigt eine PSF, passend zu Figur io, allerdings wurde diese anhand von Kor- relationsergebnissen erzeugt. Diese PSF weist einen höheren Maximalwert auf, sowie leicht weniger maximale Ausdehnung in die Breiten.

Figur 12 zeigt die PSF aus Figur n, wobei die Zeitreihen der relativen Position zwi- schen Kamera und Objekt zuvor mit dem beanspruchten Verfahren korrigiert wurden. Es ist ersichtlich, dass die zuvor besagten Maximalwerte besser rekonstruiert werden als ohne beanspruchtes Korrekturverfahren.

Figur 13 zeigt die Differenz aus den PSFs aus Figur 10 minus die PSF aus Figur 11. Besagte Eigenschaften beider PSFs führen dazu, dass diese Differenz nahe dem Ur- sprung negativ, und zum Rand hin positiv ist. Weiter ist zu sehen, dass das Integral über den Absolutwert der Differenz-PSF relativ groß ist.

Figur 14 zeigt nun die Differenz von der PSF aus Figur 10 minus der PSF aus Figur 12. Es ist zu erkennen, dass das Integral über den Absolutwert der Differenz-PSF rela- tiv gering ist, vor allem im Vergleich zu Figur 13. Es wird also wieder eine Verbesse- rung durch Fehlerminimierung illustriert.

Figur 15 zeigt die Ergebnisse der Verifikation der Amplitudenkorrektur bei der Mes- sung von Zeitreihen des relativen Ortes. Die horizontale Achse zeigt die Hälfte einge- stellten Duty-Cycle, gegeben als symmetrisches Integrationsintervall normiert auf die Samplingzeit, die Vertikale zeigt die gemessene Amplitude, normiert auf die maximal gemessene Amplitude. Diese Darstellung wurde gewählte, da diese es ermöglicht den Amplituden des Filters nachzuzeichnen, welcher ebenfalls eingezeichnet ist (H). Die Nachzeichnung des Filters durch die Messergebnisse verifiziert die beanspruchte Kor- rektur. Ungenauigkeiten sind durch Restfehler der Korrelationen zu erklären.

Figur 16 zeigt den Blur des Referenzbildes aus dem Experiment von Figur 15, wobei bei dieser Messung der kleinstmögliche Duty-Cycle konfiguriert war. Es ist zu erken- nen, dass dieser relativ moderat ausfällt. Sinn der Abbildung zeigt sich im Vergleich mit Figur 17.

Figur 17 zeigt den Blur des Referenzbildes aus dem Experiment von Figur 15, wobei bei dieser Messung der größtmögliche Duty-Cycle konfiguriert war. Der Blur hat nun erhebliche Ausmaße. Dies stellt die Richtigkeit der Behauptung dar, dass es zu einer kontinuierlichen Änderung der relativen Position zwischen Kamera und Objekt wäh- rend der Integrationszeit kommt, welche vom Duty-Cycle abhängt.

Figur 18 zeigt die Messergebnisse aus dem Experiment zur Verifikation der Amplitudenkorrektur bei der Messung von Zeitreihen der Intensität. Die Horizontale zeigt die Frequenz, mit welcher die Amplitude der Intensität der LED moduliert wur- de, normiert auf die 8oo Hertz Bildrate der Kamera. Die Vertikale zeigt die abhängig messbare Amplitude, normiert auf die maximal messbare Amplitude aus allen Mes- sungen. Diese Darstellungsform wurde wiederum gewählt, weil sie es ermöglicht, den Filter dagegen zu zeichnen. Der Filter in Vorwärtsform ist für Duty-Cycle gleich Eins und gleich 0.8 eingezeichnet. Es kann den Ergebnissen entnommen werden, dass die Messkurve die Kurve des Filters für 0.8 approximiert. Dies verifiziert wiederum die beanspruchte Korrektur, da der Duty-Cycle der Kamera in dem Experiment gleich 0.8 war. Die leichte Ungenauigkeit in der Messung lässt sich dadurch erklären, dass eine Einstellung der Frequenz des LED Kontrollers auf nahe-Null-Werte nicht möglich war. Somit wurden die gemessenen Amplituden nicht auf die theoretisch erreichbare, maximale Amplitude normiert, wodurch die Messergebnisse leicht höher ausfallen als zu erwarten wäre.

Das erfindungsgemäße Verfahren wurde im Zusammenhang mit der Korrektur von residuellen Tip-Tilt-Fehlern aufgrund von Mikro-Vibrationen der Sunrise-Sternwarte entwickelt, die in der Gondel eines Stratosphärenballons transportiert wurde (Barthol, P. et al.,„The Sunrise Mission," Sol. Phys. 268, 1(34 (Jan. 2011); Solanki, S. K. et al.“SUNRISE: Instrument, Mission, Data, and First Results," ApJ 723, Li27(Li33 (Nov. 2010)). Mit demselben Ansatz kann jedoch auch das eingangs zitierte Verfahren von Ben-Ezra verbessert warden. Es hat über diese speziellen Anwendungen und über den wichtigen Bereich der Bildgebung, insbesondere auch der medizinischen Bildge- bung hinaus jedoch noch vielfältige weitere Einsatzgebiete, nämlich bei jeder Art von Zeitreihen, die durch Auslastungsgrade des konkrete verwendeten Sensors degradiert sind.

Claims

Ansprüche l. Verfahren zur Korrektur von Amplitudenunterschätzungen in Zeitreihen, wel- che auf Sequenzen mehrdimensionaler Signale gemessen wurden, wobei die mehrdimensionalen Signale mit einem oder mehreren integrierenden Senso- ren abgetastet wurden, sodass die Zeitreihen durch eine Schwerpunktbildung degradiert sind, welche durch einen Duty-Cycle der integrierenden Sensoren charakterisiert werden kann, dadurch gekennzeichnet, dass eine Schwerpunktbildung der Zeitreihen basie- rend auf dem Duty-Cycle, dem Auslastungsgrad oder der Integrationszeit der Sensoren korrigiert wird.

2. Verfahren nach Patentanspruch l, wobei die Korrektur mittels eines Boxcar-

Filters bzw. eines inversen sinc-Filters, wenn die Korrektur im Frequenzraum spezifiziert ist, erfolgt.

3. Verfahren nach Anspruch l, wobei der integrierende Sensor zur Abtastung von Photonenflüssen eingesetzt wird.

4. Verfahren nach Anspruch 3, wobei der integrierende Sensor ein CCD Sensor, ein CMOS Sensor, DEPFET Sensor oder ein Time-Delay-Integrationssensor ist.

5. Verfahren nach Anspruch 3, wobei zu jedem Zeitpunkt mehrere mehrdimensi- onale Signale verschiedener Sensoren abgetastet werden.

6. Verfahren nach 1, wobei eine Zeitreihe Eigenschaften eines Unschärfe-Kems (Blur) beschreibt, insbesondere eine Wellenfrontdegradierung von Licht zwi- schen einem Objekt und einem Sensor.

7. Verfahren nach Anspruch 1, wobei relative Messwerte gemessen wurden.

8. Verfahren nach Anspruch 1, wobei Messwerte korrigiert werden, die zur Ent- faltung der mehrdimensionalen Eingangssignale dienen, zum Beispiel von Kamerabildern.

9. Verfahren nach Anspruch 1, wobei die Korrektur in Echtzeit in einem Daten- strom vorgenommen wird, beispielsweise mittels analoger oder digitaler Fil- terelemente.

10. Verfahren nach Anspruch 9, wobei ein oder mehrere Aktuatoren mit dem kor- rigierten Signal gesteuert werden.

11. Verfahren nach Anspruch 10, wobei ein Aktuator Element einer adaptiven Op- tik oder eine aktiven Optik ist, zum Beispiel ein deformierbarer Spiegel.

12. Verfahren nach Anspruch 3, wobei Variationen in mehrdimensionalen Signal- intensitäten korrigiert werden.

13. Korrelationsverfahren, welche das Ergebnis eines Verfahrens gemäß Anspruch 1 als statistische Momente von Blur- Kernen weiterverarbeiten.

14. Verfahren nach Anspruch 13, welche das Ergebnis als Schwerpunkt verarbei- ten.

15. Computer-implementiertes Verfahren nach Anspruch 1.

16. Analog implementiertes Verfahren nach Anspruch 1.

17. Verfahren nach Anspruch 1, welches die Korrektur mittels Transformation vornimmt.

18. Verfahren nach Anspruch 1, in welchem die Sequenz mehrdimensionaler Sig- nale vorverarbeitet wird, um abgeleitete Zeitreihen auf dieser vorverarbeiteten Sequenz zu messen.

19. Verfahren nach Anspruch 1, wobei die Sensoren Schallwellen und / oder Mag- netismus und / oder Partikelflüsse messen.

20. Verfahren nach Anspruch 18, wobei die abgeleiteten Zeitreihen zum Beispiel

Gradienten, Geschwindigkeiten, Flächen, Volumina, Flüsse umfassen und die Korrektur auf die abgeleiteten Zeitreihen angewandt wird.

21. Integrierter Schaltkreis (IC), der ein Verfahren nach Patentansprüchen l bis 20 durchführt.