DE102009057724B4 - Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe - Google Patents
Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe Download PDFInfo
- Publication number
- DE102009057724B4 DE102009057724B4 DE102009057724.6A DE102009057724A DE102009057724B4 DE 102009057724 B4 DE102009057724 B4 DE 102009057724B4 DE 102009057724 A DE102009057724 A DE 102009057724A DE 102009057724 B4 DE102009057724 B4 DE 102009057724B4
- Authority
- DE
- Germany
- Prior art keywords
- motion blur
- image data
- light
- image
- light channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000005286 illumination Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 230000007480 spreading Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
- Die Erfindung betrifft eine Bilderfassungsvorrichtung mit einer Beleuchtungseinheit, einer Kameraeinheit und einer Verarbeitungseinheit, wobei die Beleuchtungseinheit zur Erzeugung von Licht in mehreren Lichtkanäle, die jeweils vorbestimmte Wellenlängenbereiche umfassen, ausgebildet ist, wobei die Lichtkanäle zur Lichterzeugung in einer vorbestimmten zeitlichen Abfolge aktivierbar sind, wobei die Beleuchtungseinheit zur kontinuierlichen Erzeugung von Licht mit wechselnder Farbe ausgebildet ist, wobei die Kameraeinheit zu Bereitstellung von Bilddaten und die Verarbeitungseinheit zur Korrektur einer Bewegungsunschärfe ausgebildet ist.
- Es sind bereits verschiedene Ansätze zur Vermeidung von Bewegungsunschärfe in Sensorbildern bekannt. Im Bereich der Bildstabilisierung sind beispielhaft die folgenden Verfahren bekannt:
- Durch Verkürzung von Belichtungszeiten kann die Bewegungsunschärfe reduziert werden. Allerdings kann dies zu Unterbelichtungen mit einer einhergehenden Verringerung des Informationsgehalts des Sensorbildes führen.
- Bei der optisch-mechanischen Bildstabilisierung werden Teile des Sensorsystems (z.B. das Objektiv oder der CCD-Chip) derart korrigierend nachgeführt, dass Verwacklungseffekte im Sensorbild reduziert werden. Dazu muss während der Belichtungszeit des Sensors dessen Eigenbewegung und/oder Beschleunigung erfasst werden, um die Nachführung entsprechend zu steuern. Mit diesem Verfahren lässt sich allerdings nur eine durch Bewegung des Sensors verursachte Bewegungsunschärfe reduzieren, die sich global auf das gesamte Sensorbild auswirkt. Die Bewegungsunschärfe sich relativ zur Kamera bewegender, einzelner Objekte lässt sich nicht beseitigen. Zudem sind durch die endliche Genauigkeit der Erfassung der Eigenbewegung des Sensors sowie der endlichen Genauigkeit der mechanischen Nachführung systembedingte Grenzen der optisch-mechanischen Beseitigung von Bewegungsunschärfe gegeben.
- Ein weiterer Ansatz ist die messunterstützte algorithmische Bildrekonstruktion (R.C. Gonzalez and R.E. Woods, Digital Image Processing, Pearson Prentice Hall, 3. Edition, 2008). Mit der mathematischen Methode der Dekonvolution (http://de.wikipedia.org/wiki/Dekonvolution) lässt sich die Bewegungsunschärfe aus dem Sensorbild algorithmisch verringern. Dazu muss die sogenannte Punktspreizfunktion (point spread function) bekannt sein. Die Punktspreizfunktion repräsentiert die Stärke und Ausrichtung der an jedem Bildpunkt vorhandenen Bewegungsunschärfe. Je nach geometrischer Aufnahmekonfiguration kann jeder Bildpunkt eine eigene Punktspreizfunktion besitzen (z.B. in Szenen mit bewegten Objekten) oder es existiert eine für das gesamte Bild global gültige Punktspreizfunktion (z.B. in einer von einer bewegten Kamera aufgenommenen statischen Szene). Die Punktspreizfunktion lässt sich unter anderem unter Zuhilfenahme der Messung der Eigenbewegung des Sensors während der Belichtungszeit abschätzen. Auch mit diesem Verfahren lässt sich allerdings nur eine durch Bewegung des Sensors verursachte Bewegungsunschärfe (Verwacklung, Vibration) reduzieren, die durch eine globale Punktspreizfunktion beschrieben werden kann. Die Bewegungsunschärfe von sich relativ zur Kamera bewegenden Objekten lässt sich nicht beseitigen. Ansonsten ist die Genauigkeit - wie bei der optisch-mechanischen Bildstabilisierung - von der verfügbaren Genauigkeit der Messung der Eigenbewegung des Sensors abhängig.
- In http://en.wikipedia.org/wiki/Blind_deconvolution ist ein weiteres Verfahren zur Reduzierung von Bewegungsunschärfe gezeigt. Bei der blinden algorithmischen Bildrekonstruktion (beispielsweise der blinden Dekonvolution, blind deconvolution) ist eine unterstützende Messung der Bewegung des Sensors nicht vorgesehen. Hier kann die Methode der blinden Dekonvolution Anwendung finden (blind deconvolution). Darin ist es Aufgabe der Algorithmik, die Stärke und Ausrichtung der gegebenen Bewegungsunschärfe in Form der Punktspreizfunktion aus dem Sensorbild zu schätzen. Das mathematische Problem der blinden Dekonvolution eines Sensorbilds ist allerdings im Allgemeinen nicht eindeutig lösbar und mathematisch schlecht konditioniert, so dass eine ausreichende Robustheit des Verfahrens für viele Applikationen nicht gegeben ist.
- Aus Srinivasa G. Narasimhan, Sanjeev J. Koppal and Shuntaro Yamazaki, Temporal Dithering of Illumination for Fast Active Vision, ECCV, 2008 ist ein stroboskopisches Verfahren bekannt. Durch eine zeitliche schnelle Abfolge kurzer Lichtblitze (zeitlich äquidistant oder unregelmäßig) während der Aufnahme eines einzelnen Bildes entstehen mehrere überlagerte Abbildungskopien eines sich bewegenden Objektes im Sensorbild. Durch Analyse der relativen Lage der Abbildungskopien der Objekte zueinander lässt sich die Punktspreizfunktion bestimmen und mittels der Dekonvolution auf das Bild des unbewegten Objektes zurückschließen. Die Bestimmbarkeit der Punktspreizfunktion setzt allerdings voraus, dass eine örtliche Trennbarkeit der überlagerten Abbildungskopien zueinander gegeben ist. Angepasst an die Dynamik der Szene ist es somit erforderlich, Totzeiten zwischen den Einzelblitzen hinreichend lang zu wählen, so dass die Abbildungskopien nicht ineinander übergehen. Durch die Notwendigkeit dieser Totzeiten erfolgt die Ausleuchtung der Szene während der Belichtungszeit effektiv mit einer stark reduzierten mittleren Intensität. Dies erschwert insbesondere die Anwendung des Prinzips auf die Aufnahme von Objekten aus großen Distanzen mit der dafür notwendigen hohen Ausleuchtungsintensität.
- Aus Narisimhan, S.G.; KOPPAL, S.J.; YAMAZAKI, S.: Temporal Dithering of Illumination for Fast Active Vision“; European Conference of Computer Vision S. 1-14 ist es bekannt, eine Szenerie mit Licht wechselnder Intensität zu beleuchten, wobei die zeitliche Veränderung der Intensität bekannt ist. Das bei dieser Beleuchtung mithilfe einer Kamera gewonnene Bild kann, da die zeitliche Veränderung der Intensität bekannt ist, mit mathematischen Methoden geschärft werden.
- Vor diesem Hintergrund stellt sich die Aufgabe, eine Vorrichtung und ein Verfahren zur verbesserten Reduzierung von Bewegungsunschärfe in Sensorbildern zu schaffen.
- Zur Lösung wird eine Bilderfassungsvorrichtung gemäß Anspruch 1 vorgeschlagen.
- Die erfindungsgemäße Lösung hat den Vorteil, dass, insbesondere an der Kameraeinheit, keine aufwändigen Zusatzaufbauten, beispielsweise Nachführungen des Objektivs oder des Sensors notwendig sind. Des Weiteren ist es möglich, die Reduktion der Bewegungsunschärfe auch auf langsam bewegte Objekte in einer aufzunehmenden Szenerie anzuwenden. Die Verwendung eines Lasers als Lichterzeugungsmitteln ermöglicht die Beleuchtung mit spektral vergleichsweise eng begrenzten Lichtkanälen. Dadurch wird die Trennung der Lichtkanäle in der Kameraeinheit vereinfacht, weil sich die Wellenlängenbereiche, in denen die Lichtquellen Licht abstrahlen, nicht oder nur geringfügig überlappen.
- Vorteilhafte Ausgestaltungen der Bilderfassungsvorrichtung sind Gegenstand der Unteransprüche 2 bis 4.
- Die Verarbeitungseinheit kann eine Korrektureinrichtung aufweisen, welche zur Ermittlung einer Bewegungsunschärfe der Bilddaten aus der Korrelation der Bilddaten unterschiedlicher Lichtkanäle ausgebildet ist.
- Des Weiteren kann vorgesehen sein, dass die Korrektureinrichtung zur Korrektur der Bewegungsunschärfe mittels Dekonvolution unter Einbeziehung der Bewegungsunschärfe ausgebildet ist. Eine solche Korrektureinrichtung kann auf einfache Art und Weise durch ein spezialisiertes Rechenwerk realisiert werden.
- Vorteilhaft umfassen die Lichtkanäle jeweils kontinuierliche oder diskrete, nicht überlappende Wellenlängenbereiche. Für bestimmte kontinuierliche Wellenlängenbereiche gibt es preisgünstige und einfach zu verwendende Sensoren, beispielsweise für eine Kombination aus rot, grün und blau.
- Das erfindungsgemäße Verfahren weist die Schritte des Patentanspruchs 5 auf. Zur Durchführung dieses Verfahrens sind keine Veränderungen an der aufzunehmenden Szenerie notwendig. Das Verfahren ist auch nicht auf zusätzliche Sensordaten, beispielsweise von Beschleunigungssensoren, angewiesen.
- Vorteilhaft werden zum Berechnen der Bewegungsunschärfe die Bilddaten der Lichtkanäle zueinander in Beziehung gesetzt. Dadurch ist es möglich, eine wesentlich größere Menge an Korrelationsinformationen zu erhalten als wenn die Bilddaten der einzelnen Lichtkanäle jeweils einzeln untersucht werden.
- Vorteilhaft wird zum Berechnen der Bewegungsunschärfe eine Punktspreizfunktion ermittelt. Die Punktspreizfunktion ist ein Maß für die Bewegungsunschärfe an unterschiedlichen Orten eines Bildes.
- Zur Korrektur der Bewegungsunschärfe kann eine Dekonvolution durchgeführt werden. Auf Basis einer Punktspreizfunktion ist die Durchführung einer Dekonvolution auf einfache Weise mit einem einfachen Rechenwerk möglich.
- Im Folgenden wird die Erfindung anhand der beigefügten Zeichnungen, welche eine Ausführungsform der Erfindung lediglich schematisch zeigen, näher erläutert. Dabei zeigen:
-
1 eine schematische Darstellung einer Ausführungsform der Bilderfassungsvorrichtung; -
2 eine beispielhafte zeitliche Abfolge der Aktivierung von Lichtkanälen; -
3a ein von der Kameraeinheit aufgenommenes Sensorbild mit großer Bewegungsunschärfe; -
3b ein Sensorbild wie in3b , bei dem die Lichtkanäle durch Schraffuren dargestellt sind; -
4a ein aus dem Sensorbild in3 in gewonnenes, rekonstruiertes Bild und -
4b ein Bild wie in4a , bei dem die Lichtkanäle durch Schraffuren dargestellt sind. -
1 zeigt eine Bilderfassungsvorrichtung10 , die eine Beleuchtungseinheit20 , eine Kameraeinheit30 und eine Verarbeitungseinheit40 aufweist. Die Verarbeitungseinheit40 weist eine Korrektureinrichtung42 auf. - Die Beleuchtungseinheit
20 dient der Beleuchtung eines Objektes90 mit einer Abfolge50 unterschiedlicher Lichtkanäle52 ,54 ,56 , wie sie in2 gezeigt ist. - In dem Diagramm, das die Abfolge
50 zeigt, ist die Zeit in einer Richtung58 aufgetragen. Balken51 zeigen eine Aktivierung des jeweiligen Lichtkanals52 ,54 ,56 an. Die Reihenfolge der Aktivierungen ergibt eine bestimmte Abfolge50 , die auch als Beleuchtungssignatur bezeichnet wird. - Ein in
3a /3b gezeigtes Sensorbild70 ist mit der Kameraeinheit30 aufgenommen, während die Lichtkanäle52 ,54 ,56 entsprechend der Abfolge50 aktiviert wurden. Die Kameraeinheit30 und die Szenerie, die von der Kameraeinheit30 aufgenommen wurde, wiesen während der Aufnahme eine vergleichsweise starke Relativbewegung auf, was zu einer großen Bewegungsunschärfe in dem Sensorbild70 geführt hat. Aufgrund der Beleuchtung mit der Abfolge50 während der Aufnahme sind charakteristische Farbbereiche ausgebildet, welche der Verarbeitungseinheit40 zur Bestimmung der Bewegungsrichtung und Bewegungsgeschwindigkeit dienen. - Wie in
4a /4b gezeigt korrigiert die Verarbeitungseinheit40 weitgehend die Bewegungsunschärfe, so dass in einem Bild80 das aufgenommene Objekt90 deutlich klarer als in dem Sensorbild70 erkennbar ist. - In den
3b /4b sind die Lichtkanäle52 ,54 ,56 durch Linienschraffuren unterschiedlicher Ausrichtung repräsentiert. Die Dicke der Linien zeigt darüber hinaus die Helligkeit in dem jeweiligen Lichtkanal52 ,54 ,56 an. Je dünner die schraffierte Linie ist, desto heller ist der jeweilige Teil des Sensorbildes70 und/oder des Bildes80 . - In diesem Ausführungsbeispiel wurden die Lichtkanäle
52 ,54 ,56 so gewählt, dass ihre Wellenlängenbereiche im sichtbaren Licht liegen. Der erste Lichtkanal52 weist die Farbe Rot, der zweite Lichtkanal54 die Farbe Grün und der dritte Lichtkanal56 die Farbe Blau auf. - Die Kameraeinheit
30 weist drei Arten von Sensoren auf, die jeweils in einem der Lichtkanäle52 ,54 ,56 ihre höchste Detektionssensitivität aufweisen. Die Kameraeinheit30 kann beispielsweise eine im Bereich des sichtbaren Lichtes arbeitende CCD- oder CMOS-Kamera sein. Die Kameraeinheit30 stellt die Daten der aufgenommenen Bilder in einem Datenformat bereit, aus dem die Helligkeitswerte und/oder Intensitätswerte für die Lichtkanäle52 ,54 ,56 einzeln entnommen werden können. Beispiele für solche Datenformate sind JPEG, TIFF, TGA, BMG oder auch Rohdatenformate. - Die Abfolge
50 wird so gestaltet, dass die von Bewegungsunschärfe degradierten Bereiche des Sensorbilds70 mit der durchgeführten Variation von Beleuchtungsintensität und Beleuchtungsfarbe bzw. Lichtkanal52 ,54 ,56 derart beaufschlagt sind, dass eine algorithmische Identifizierung dieser Bereiche mit einer Bestimmung der Stärke und Ausrichtung der Bewegungsunschärfe (d.h. die Bestimmung der Punktspreizfunktion) möglich ist. Bereiche der abgebildeten Szenerie, welche sich nicht relativ zum Sensor bewegen, werden hingegen im Sensorbild70 effektiv wie von mittlerer Beleuchtungsintensität und konstanter Farbe (welche als Weiß gewählt werden kann) beleuchtet abgebildet und somit nicht verfälscht. Durch eine geeignete Variation der Beleuchtungsfarbe wird es ermöglicht, eine quasi kontinuierliche aktive Beleuchtung zu erreichen und dennoch eine Kodierung der bewegten Bereiche im Sensorbild70 zu erhalten. - Die Beleuchtungseinheit
20 ist so ausgelegt, dass sie eine vorgebbare Abfolge50 (Beleuchtungssignatur) erzeugen kann. Die Beleuchtungssignatur beinhaltet eine zeitabhängige Kombination von Beleuchtungsfarben, Farbkombinationen oder Spektren und Beleuchtungsintensitäten. - Für die Ausleuchtung weit entfernter Objekte ist die Beleuchtungseinheit
20 ein Lasersystem. Generell können Laserlichtquellen in beliebigen Wellenlängenbereichen Verwendung finden. Voraussetzung ist, dass mit der gewählten Beleuchtungsquelle kurze Schaltzeiten, wobei unter kurzen Schaltzeiten kurz im Vergleich zu einer Belichtungszeit und/oder einer Reaktionszeit der Kameraeinheit zu verstehen ist, und definierte Wellenlängen und Intensitäten realisierbar sind. - Ein Ausführungsbeispiel für eine Beleuchtungssignatur, die Abfolge
50 , ist in2 gezeigt. Hier folgen die drei Lichtkanäle52 ,54 ,56 den Grundfarben des optischen Wellenlängenbereichs einer vorgegebenen Sequenz von roten, grünen und blauen Pulsen mit gleichbleibender Intensität. Während die einzelnen Lichtkanäle52 ,54 ,56 gepulst sind, erzeugt die Beleuchtungseinheit20 als Ganzes eine kontinuierliche Ausleuchtung der Szenerie mit wechselnder Farbe. Die dargestellte Abfolge50 umfasst die Dauer einer einzelnen Sensorbildaufnahme (Belichtungszeit). Kürzere oder längere Abfolgen50 sind ebenfalls verwendbar. Es ist auch möglich, die Aktivierungszeiten der Lichtkanäle52 ,54 ,56 unterschiedlich lang auszugestalten. Ebenso ist denkbar, mehrere Lichtkanäle52 ,54 ,56 gleichzeitig zu aktivieren. - Neben der Verwendung diskreter Lichtkanäle
52 ,54 ,56 in der Beleuchtungseinheit20 ist auch die Verwendung von kontinuierlichen Wellenlängenveränderungen möglich. - Die Kameraeinheit
30 ist so ausgelegt, dass die unterschiedlichen Beleuchtungsfarben der Beleuchtungseinheit20 in Spektralkanälen (Lichtkanäle52 ,54 ,56 ) eines Sensors detektiert werden können. Im Falle einer Beleuchtungseinheit20 mit den Grundfarben Rot, Grün und Blau ist diese Bedingung durch eine Standardfarbkamera mit den drei entsprechenden Spektralkanälen (RGB) erfüllt. In anderen Wellenlängenbereichen werden vorteilhaft Kamerasysteme mit angepassten Spektralkanälen gewählt (z.B. Infrarotkameras im Infrarotbereich). Bei Verwendung einer höheren Anzahl unterschiedlicher Wellenlängen stehen Multispektralkameras zur Verfügung. - Die Aufgabe der Verarbeitungseinheit
40 ist die Bestimmung der Stärke und Ausrichtung der Bewegungsunschärfe und deren Korrektur durch Auswertung und Bearbeitung des in der Kameraeinheit30 erzeugten Mehrkanal-Sensorbildes. Dies ist durch Bildverarbeitungsalgorithmen möglich. Zur Bestimmung der Bewegungsunschärfe macht man sich zu Nutze, dass die Abfolge50 der Beleuchtungseinheit20 beim Auftreten einer Relativbewegung zwischen Sensor und beobachteten Objekten90 eine charakteristische Abbildungssignatur im Sensorbild70 hinterlässt. Die Abbildungssignatur stellt sich im Sensorbild70 als Farbverlauf dar, welcher bewegten Bereichen des Sensorbildes70 in Bewegungsrichtung überlagert ist. Die Farbabfolge in der Abbildungssignatur ist dabei korreliert zu der bekannten Abfolge50 . Durch das Identifizieren der charakteristischen Abbildungssignatur im Sensorbild70 mittels Verfahren der Mustererkennung ist eine Lokalisierung der mit Bewegungsunschärfe beaufschlagten Bereiche und deren Vermessung in Ausrichtung und Länge möglich. Die Analyse der Ausrichtung und Länge entspricht der Bestimmung der gesuchten Punktspreizfunktion. - Anhand der so automatisch extrahierten Bereiche, aus denen die Bewegungsunschärfe herausgerechnet werden soll, und der bestimmten Punktspreizfunktion lässt sich nun durch Anwendung einer Dekonvolution ein Bild
80 mit reduzierter Bewegungsunschärfe rekonstruieren. - Die Korrektureinrichtung
42 ist dazu vorgesehen, die Punktspreizfunktion zu bestimmen und anschließend eine entsprechende Dekonvolution auf das Sensorbild ist70 anzuwenden, um das korrigierte Bild80 zu erhalten. -
3a /3b zeigt ein Beispiel einer Kameraaufnahme eines Objektes90 . Das Objekt90 wurde während der Belichtungszeit der stark bewegten Kameraeinheit30 mit der in2 gezeigten Abfolge50 durch die Beleuchtungseinheit20 beaufschlagt. Der bei der Aufnahme Farbverlauf der Abbildungssignatur ist erkennbar.4a /4b zeigt das durch Dekonvolution mit der aus dem Farbverlauf der Abbildungssignatur in3a /3b gewonnenen Punktspreizfunktion rekonstruierte Bild80 . Die Reduktion der Bewegungsunschärfe ist ebenfalls erkennbar. - Vorteilhaft an der Erfindung ist, dass die Punktspreizfunktion unmittelbar aus dem Sensorbild bestimmt werden kann und keine Messung der Eigenbewegung des Sensors erforderlich ist.
- Die Punktspreizfunktion von sich relativ zur Kamera bewegenden Objekten ist bestimmbar. Dies ist beispielsweise mit optisch-mechanischer Bildstabilisierung nicht möglich.
- Die Nutzung der Farbkodierung in der Abfolge
50 ermöglicht eine kontinuierliche Beleuchtung der aufzunehmenden Szene mit wechselnden Farben. Im Gegensatz zu einer stroboskopischen Beleuchtung mit entsprechenden Totzeiten zwischen den Lichtimpulsen kann bei der Erfindung während der Belichtungszeit eine Ausleuchtung mit kontinuierlich hohen Intensitäten erfolgen. - Im Vergleich zu stroboskopischen Verfahren ermöglicht die Nutzung der Farbkodierung in der Beleuchtungssignatur durch die zeitlich eindeutig wählbare Abfolge
50 der Farbabfolge eine eindeutigere Zuordnung der Bewegungsrichtung der Objekte im Sensorbild. - Wie in stroboskopischen Verfahren müssen in der Intensitätskodierung der Beleuchtungssignatur die Wiederholraten der Lichtpulse an die Dynamik der Szene angepasst sein um eine räumliche Trennbarkeit der Abbildungskopien in dem Sensorbild
70 zu gewährleisten. Durch die Verwendung mehrerer Lichtkanäle52 ,54 ,56 (Farbkodierung) können unterschiedliche Wiederholraten der Lichtpulse in den einzelnen Kanälen realisiert werden und dadurch ein breiteres Spektrum an Szenendynamik erfasst und korrigiert werden. - Ein durch die Erfindung gelöstes technisches Problem ist die qualitativ hochwertige Gewinnung von Bildern
80 von weit entfernten Objekten90 mit Bilderfassungsvorrichtungen10 auf bewegten Plattformen. Die grundlegende Schwierigkeit liegt hier im Auftreten von Bewegungsunschärfe durch Relativbewegungen zwischen Kameraeinheit30 und abgebildeten Objekten90 während der endlichen Belichtungszeit des Kamerasensors. Die Bewegungsunschärfe degradiert die Qualität des Sensorbildes70 und erschwert die Extraktion von Bildinformationen. - Eine Lösung des Problems besteht in einer quasi kontinuierlichen aktiven Laser-Beleuchtung der abzubildenden Szenerie während der Belichtungszeit des bildgebenden Sensors entsprechend einer geeignet gewählten Beleuchtungssignatur (Abfolge
50 ). Das Verfahren kombiniert dabei die Vorteile einer intensiven kontinuierlichen Ausleuchtung mit den Möglichkeiten der Rekonstruierbarkeit undegradierter Bilder80 der stroboskopischen Verfahren. - Anders als bei aktiver Beleuchtung mit einem herkömmlichen Blitz oder den stroboskopischen Verfahren ist es möglich, durch Anpassung der Abfolge
50 sowohl die zeitliche Variation der Beleuchtungsintensität (Intensitätskodierung) als auch die zeitliche Variation der Beleuchtungsfarben (Farbkodierung) zu wählen.
Claims (8)
- Bilderfassungsvorrichtung (10) mit einer Beleuchtungseinheit (20), einer Kameraeinheit (30) und einer Verarbeitungseinheit (40), wobei die Beleuchtungseinheit (20) zur Erzeugung von Licht in mehreren Lichtkanälen (52, 54, 56), die jeweils vorbestimmte Wellenlängenbereiche umfassen, ausgebildet ist, wobei die Lichtkanäle (52, 54, 56) zur Lichterzeugung in einer vorbestimmten zeitlichen Abfolge (50) aktivierbar sind, wobei die Beleuchtungseinheit (20) zur kontinuierlichen Erzeugung von Licht mit wechselnder Farbe ausgebildet ist, wobei die Kameraeinheit (30) zur Bereitstellung von Bilddaten ausgebildet ist und wobei die Verarbeitungseinheit (40) zur Korrektur einer Bewegungsunschärfe ausgebildet ist, dadurch gekennzeichnet, dass die Beleuchtungseinheit (20) wenigstens einen Laser als Lichtquelle aufweist, wobei die Beleuchtungseinheit (20) zur Erzeugung einer vorgebbaren Abfolge (50) ausgebildet ist, wobei aus den Bilddaten du die Bilddaten der einzelnen Lichtkanäle abrufbar sind, und wobei die Verarbeitungseinheit zur Korrektur der Bewegungsunschärfe anhand einer Korrelation der Bilddaten unterschiedlicher Lichtkanäle (52, 54, 56) ausgebildet ist.
- Bilderfassungsvorrichtung nach
Anspruch 1 , dadurch gekennzeichnet, dass die Verarbeitungseinheit (40) eine Korrektureinrichtung (42) aufweist, welche zur Ermittlung einer Bewegungsunschärfe der Bilddaten aus der Korrelation der Bilddaten unterschiedlicher Lichtkanäle (52, 54, 56) ausgebildet ist. - Bilderfassungsvorrichtung nach
Anspruch 2 , dadurch gekennzeichnet, dass die Korrektureinrichtung (42) zur Korrektur der Bewegungsunschärfe mittels Dekonvolution unter Einbeziehung der Bewegungsunschärfe ausgebildet ist. - Bilderfassungsvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtkanäle (52, 54, 56) jeweils kontinuierliche oder diskrete, nicht überlappende Wellenlängenbereiche umfassen.
- Verfahren zur Reduzierung einer Bewegungsunschärfe eines optisch erfassten Bildes, mit folgenden Schritten: a) Beleuchten der zu erfassenden Szene mit einer vorbestimmten und vorgebbaren Abfolge (50) von Lichtkanälen (52, 54, 56) mittels einer Beleuchtungseinheit (20), die wenigstens einen Laser aufweist, wobei die Szene kontinuierlich mit wechselnden Farben beleuchtet wird; b) Erfassen des von der Szene zurückgestrahlten Lichts und Umwandlung des erhaltenen Bildes (70) in Bilddaten, so dass aus den Bilddaten die Bilddaten jedes Lichtkanals (52, 54, 56) einzeln abrufbar sind; c) Berechnen der Bewegungsunschärfe aus den Bilddaten der Lichtkanäle (52, 54, 56), wobei die Bilddaten unterschiedlicher Lichtkanäle (52, 54, 56) korreliert werden und d) Korrigieren der Bewegungsunschärfe in den Bilddaten.
- Verfahren nach
Anspruch 5 , dadurch gekennzeichnet, dass zum Berechnen der Bewegungsunschärfe die Bilddaten der Lichtkanäle zueinander in Beziehung gesetzt werden. - Verfahren nach
Anspruch 5 oder6 , dadurch gekennzeichnet, dass zum Berechnen der Bewegungsunschärfe eine Punktspreizfunktion ermittelt wird. - Verfahren nach einem der
Ansprüche 5 bis7 , dadurch gekennzeichnet, dass zur Korrektur der Bewegungsunschärfe eine Dekonvolution durchgeführt wird.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009057724.6A DE102009057724B4 (de) | 2009-12-10 | 2009-12-10 | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009057724.6A DE102009057724B4 (de) | 2009-12-10 | 2009-12-10 | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009057724A1 DE102009057724A1 (de) | 2011-06-16 |
DE102009057724B4 true DE102009057724B4 (de) | 2019-08-01 |
Family
ID=43992758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009057724.6A Expired - Fee Related DE102009057724B4 (de) | 2009-12-10 | 2009-12-10 | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102009057724B4 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN2014DN07167A (de) * | 2012-05-23 | 2015-04-24 | Siemens Ag |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070258707A1 (en) * | 2006-05-08 | 2007-11-08 | Ramesh Raskar | Method and apparatus for deblurring images |
-
2009
- 2009-12-10 DE DE102009057724.6A patent/DE102009057724B4/de not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070258707A1 (en) * | 2006-05-08 | 2007-11-08 | Ramesh Raskar | Method and apparatus for deblurring images |
Non-Patent Citations (1)
Title |
---|
Narisimhan, S. G.; Koppal, S.J.; Yamazaki, S.; Temporal dithering ofillumination for fast active vision. ECCV European Conference of Computer Vision, 2008, S. 1-14 * |
Also Published As
Publication number | Publication date |
---|---|
DE102009057724A1 (de) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2710794B1 (de) | Verfahren zur erzeugung und auswertung eines bilds | |
DE102009055269B4 (de) | Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera | |
DE102010062496B4 (de) | Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems | |
DE112012004352B4 (de) | Stereobildgebungsvorrichtung | |
DE102010045364A1 (de) | Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen | |
DE102013212495A1 (de) | Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs | |
EP3291172A1 (de) | Verfahren zur ermittlung von ergebnisbilddaten | |
DE102010017604B4 (de) | Verfahren zum optischen Messen von Strukturen eines Objekts | |
WO2014040848A1 (de) | Verfahren und vorrichtung zur erkennung von zumindest einer gepulsten lichtquelle für ein fahrzeug | |
DE102014209863A1 (de) | Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug | |
DE102009057724B4 (de) | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe | |
DE102013223852B4 (de) | Verfahren zur Erstellung von mindestens zwei Bildern mit einer Kameravorrichtung sowie Kameravorrichtung | |
DE102014007401B4 (de) | Verfahren zur Bildaufnahme einer stroboskopisch beleuchteten Szene und Bildaufnahmevorrichtung | |
DE102009024030B3 (de) | Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen | |
DE102015208084A1 (de) | Verfahren zum Generieren eines Kontrastbildes einer Objektbeschaffenheit und diesbezügliche Vorrichtungen | |
DE10300612A1 (de) | Nachtsichtsystem für Kraftfahrzeuge | |
WO2008141924A1 (de) | Verfahren und vorrichtung zur oberflächenerfassung eines räumlichen objektes | |
DE102009001521B4 (de) | Verfahren zur Erzeugung einer HDR-Videobildfolge | |
DE102013104060B4 (de) | Verfahren und Vorrichtung zur videografischen Verfolgung von schnell bewegten Objekten | |
DE102021130529B3 (de) | Bildgebendes Verfahren zum Abbilden einer Szene und System | |
DE102006013810A1 (de) | Verfahren und Vorrichtung zur Bestimmung von Farbinformationen eines Objektabbildes mit Hilfe eines CCD-Bildsensors im TDI-Betriebsmodus | |
EP2195610A1 (de) | Vefahren und vorrichtung zum erfassen einer oberfläche oder eines oberflächenabschnitts eines körpers | |
DE102011056788A1 (de) | Verfahren zur Erzeugung und Auswertung eines Bilds | |
EP2749030A1 (de) | Verfahren und vorrichtung zum anpassen einer filtereigenschaft eines adaptiven farbfilters und zum betreiben eines bildaufnehmers | |
EP2643967A1 (de) | Verfahren und vorrichtung zur abschätzung eines fliegengittereffekts einer bilderfassungseinrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R016 | Response to examination communication | ||
OP8 | Request for examination as to paragraph 44 patent law | ||
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: FLUEGEL PREISSNER KASTEL SCHOBER, DE |
|
R081 | Change of applicant/patentee |
Owner name: AIRBUS DEFENCE AND SPACE GMBH, DE Free format text: FORMER OWNER: EADS DEUTSCHLAND GMBH, 85521 OTTOBRUNN, DE Effective date: 20140814 |
|
R082 | Change of representative |
Representative=s name: KASTEL PATENTANWAELTE, DE Effective date: 20140814 Representative=s name: KASTEL PATENTANWAELTE PARTG MBB, DE Effective date: 20140814 Representative=s name: FLUEGEL PREISSNER KASTEL SCHOBER PATENTANWAELT, DE Effective date: 20140814 |
|
R082 | Change of representative |
Representative=s name: KASTEL PATENTANWAELTE, DE Representative=s name: KASTEL PATENTANWAELTE PARTG MBB, DE |
|
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |