DE102008042422A1 - Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object - Google Patents

Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object Download PDF

Info

Publication number
DE102008042422A1
DE102008042422A1 DE102008042422A DE102008042422A DE102008042422A1 DE 102008042422 A1 DE102008042422 A1 DE 102008042422A1 DE 102008042422 A DE102008042422 A DE 102008042422A DE 102008042422 A DE102008042422 A DE 102008042422A DE 102008042422 A1 DE102008042422 A1 DE 102008042422A1
Authority
DE
Germany
Prior art keywords
image
motion blur
pixel
pixel shift
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008042422A
Other languages
German (de)
Inventor
Thomas Heger
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008042422A priority Critical patent/DE102008042422A1/en
Publication of DE102008042422A1 publication Critical patent/DE102008042422A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

The method involves calculating motion of an object to be recorded during an exposure time span using a determined optical flow. A pixel shift for related image points of the objected is calculated from flow vectors of the optical flow and the exposure time span, where the pixel shift causes motion blur in an image. The calculated pixel shift is utilized for correction of the motion blur to transform representation of the object at an end time of image detection to an output time point of the image detection. An independent claim is also included for a device for correcting motion blur in an image.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung erfassten Bild nach dem Oberbegriff des Patentanspruchs 1 und eine korrespondierendes Vorrichtung zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung erfassten Bild.The The invention relates to a method for correcting a motion blur in an image captured by an image capture device the preamble of claim 1 and a corresponding Device for correcting a motion blur in one image captured by an image capture device.

Bei der Aufnahme von Videosequenzen, speziell bei dunkeln Umgebungsverhältnissen, kommt es in Folge der notwendigen Belichtungszeitspanne ti (Integrationszeitspanne) häufig zu einer so genannten „Bewegungsunschärfe” bei Objekten, die Ihre Lage im Bild während der Belichtungszeitspanne bzw. der Integrationszeitspanne ti verändern. Dadurch werden einzelne Bildpunkte, durch die das Objekt zu einem Anfangszeitpunkt t0 des Bilderfassungsvorgangs dargestellt wird, jeweils auf einen Bereich von Bildpunkten zu einem Endzeitpunkt t0 + ti des Bilderfassungsvorgangs abgebildet, welche das Objekt im Bild während der Belichtungszeitspanne bzw. der Integrationszeitspanne ti überstreicht, wodurch die Darstellung des Objekts im Bild bis hin zur Unkenntlichkeit ”verschmiert” werden kann. Das bedeutet, dass die einzelnen Bildpunkte des Objekts zum Zeitpunkt t0 jeweils auf mehrere Bildpunkte zum Zeitpunkt t0 + ti abgebildet werden, wobei die Anzahl der Bildpunkte bzw. Pixel mit der die einzelnen ursprünglichen Bildpunkte des Objekts dargestellt werden auch als Pixelverschiebung bezeichnet wird.at the recording of video sequences, especially in dark environments, comes as a result of the necessary exposure time period ti (integration period) often to a so-called "motion blur" at Objects that reflect your position in the image during the exposure period or change the integration period ti. This will be individual pixels through which the object is at an initial time t0 of the image acquisition process is displayed, each on one Area of pixels at an end time t0 + ti of the image acquisition process imaged the object in the image during the exposure period or of the integration period ti passes over, whereby the Representation of the object in the image are blurred beyond recognition can. This means that the individual pixels of the object for Time t0 in each case to a plurality of pixels at the time t0 + ti be mapped, where the number of pixels or pixels with the individual original pixels of the object are also referred to as pixel shift.

Bei bekannten Verfahren und Vorrichtungen zur Korrektur der Bewegungsunschärfe wird das erfasste Bild hauptsächlich durch eine entsprechende Filterung nachgeschärft oder bei einer als bekannt angenommenen translatorischen und/oder rotatorischen Bewegung der Bilderfassungsvorrichtung bzw. des aufzunehmenden eigenbewegten Objekts kann die Korrektur modellbasiert erfolgen. Vorab unbekannte Bewegungen der Bilderfassungsvorrichtung und des eigenbewegten Objekts können jedoch nur schwer bzw. fehlerhaft berücksichtigt werden.at known methods and devices for correcting the motion blur the captured image is mainly filtered by a corresponding filter sharpened or in a translatorischen adopted as known and / or rotational movement of the image acquisition device or the The correction can be model based on the object being moved respectively. Previously unknown movements of the image capture device and of the object being moved can only be difficult or be considered incorrectly.

In der Offenlegungsschrift EP 1 377 036 A2 werden ein Videobildverarbeitungssystem und ein Verfahren zur automatischen Verbesserung von digitalen Videobildern beschrieben. Das beschriebene automatische Videobilderverbesserungsverfahren verwendet eine Bild-zu-Bild Bewegungsabschätzung als Basis für die Videobildverbesserung. Die Bewegungsabschätzung umfasst eine Berechnung einer globalen Bewegung, wie beispielsweise die Bewegung der Kamera, und eine Berechnung einer lokalen Bewegung, wie beispielsweise die Bewegung eines Pixels. Das automatische Videobilderverbesserungsverfahren umfasst die Erzeugung von globalen Abgleichtransformationen, optischen Flussvektoren und deren Verwendung zur Korrektur der Kamerabewegung bzw. der Pixelbewegung, um die Qualität der Videobilder zu verbessern. Eine Korrektur der durch die Belichtungszeitdauer bzw. Integrationszeitdauer verursachten Bewegungsunschärfe in einem erfassten Bild wird nicht beschrieben.In the published patent application EP 1 377 036 A2 For example, a video image processing system and a method for automatically enhancing digital video images are described. The automatic video image enhancement method described uses a picture-to-picture motion estimation as the basis for the video picture enhancement. The motion estimation includes a calculation of a global motion, such as the motion of the camera, and a calculation of a local motion, such as the motion of a pixel. The automatic video image enhancement process involves the generation of global alignment transforms, optical flow vectors, and their use to correct camera motion or pixel motion to improve the quality of the video images. A correction of the motion blur in a captured image caused by the exposure period or integration period is not described.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren zur Korrektur einer Bewegungsunschärfe in einem erfassten Bild mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass Bewegungen eines Objekts, welches von dem von einer Bilderfassungsvorrichtung während einer Belichtungszeitspanne erfassten Bild dargestellt wird, während der Belichtungszeitspanne unter Verwendung eines ermittelten optischen Flusses berechnet werden. Aus Flussvektoren des ermittelten optischen Flusses und der Belichtungszeitspanne wird eine die Bewegungsunschärfe verursachende Pixelverschiebung für jeden betroffenen Bildpunkt des aufzunehmenden Objekts berechnet, wobei die berechnete Pixelverschiebung zur Korrektur der Bewegungsunschärfe verwendet wird, um die Darstellung des aufzunehmenden Objektes an einem Endzeitpunkt der Bilderfassung auf einen Ausgangszeitpunkt der Bilderfassung zu transformieren.The inventive method for correcting a Motion blur in a captured image with the features of the independent claim 1 has in contrast the advantage that movements of an object, which of the an image capture device during an exposure period captured image during the exposure period be calculated using a detected optical flux. From flow vectors of the determined optical flux and the exposure time span becomes a motion blur causing pixel shift for each affected pixel of the object to be recorded calculated, with the calculated pixel shift for correction The motion blur is used to render the picture of the object to be photographed at an end time of image acquisition to transform to an initial time of image acquisition.

Die erfindungsgemäße Vorrichtung zur Korrektur einer Bewegungsunschärfe in einem erfassten Bild mit den Merkmalen des unabhängigen Patentanspruchs 7 hat den Vorteil, dass eine Auswerte- und Steuereinheit, welche die Bewegungen eines Objekts, welches von dem von einer Bilderfassungsvorrichtung während einer Belichtungszeitspanne erfassten Bild dargestellt wird, während der Belichtungszeitspanne unter Verwendung eines ermittelten optischen Flusses berechnet und aus Flussvektoren des optischen Flusses und der Belichtungszeitspanne eine die Bewegungsunschärfe verursachende Pixelverschiebung für jeden betroffenen Bildpunkt des aufzunehmenden Objekts berechnet, wobei die Auswerte- und Steuereinheit die berechnete Pixelverschiebung zur Korrektur der Bewegungsunschärfe verwendet, um die Darstellung des aufzunehmenden Objektes an einem Endzeitpunkt der Bilderfassung auf einen Ausgangszeitpunkt der Bilderfassung zu transformieren.The Inventive device for correcting a Motion blur in a captured image with the features of independent claim 7 has the advantage that an evaluation and control unit, which controls the movements of an object, which of that of an image capture device during during an exposure period, while the exposure time period using a determined optical River calculated and from flow vectors of the optical flow and the exposure time span causes the motion blur Pixel shift for each affected pixel of the image to be recorded Object calculated, the evaluation and control unit calculated Pixel shift used to correct motion blur, to the representation of the object to be recorded at an end time the image capture to a starting time of image acquisition to transform.

Das erfindungsgemäße Verfahren zur Korrektur einer Bewegungsunschärfe in einem erfassten Bild und die korrespondierende Vorrichtung zur Durchführung des Verfahrens ermöglichen durch die Verwendung des optischen Flusses in vorteilhafter Weise eine sehr präzise Vermessung der Eigenbewegung der Bilderfassungsvorrichtung sowie der Bewegungen von eigenbewegten Objekten im Bild. Dadurch wird neben der Korrektur von der Bewegungsunschärfe aufgrund translatorischer Bewegungen der Kamera, welche beim Stand der Technik häufig die einzige Modellannahme darstellen, auch die durch Nicken, Gieren und Wanken der Bilderfassungsvorrichtung verursachte Bewegungsunschärfe korrigiert. Durch die Berechnung von sehr dichten Flussfeldern aus den Flussvektoren des optischen Flusses können texturierte Bildbereiche sehr gut vermessen werden. Dadurch wird es möglich, sowohl die durch die Eigenbewegung der Bilderfassungsvorrichtung erzeugte Bewegungsunschärfe statischer Objekte, als auch die Bewegungsunschärfe eigenbewegter Objekte im Bild sehr genau zu vermessen und dementsprechend eine sehr gute Reduktion der Bewegungsunschärfe zu erreichen.The inventive method for correcting a motion blur in a captured image and the corresponding apparatus for performing the method by the use of optical flow advantageously allow a very precise measurement of the self-motion of the image capture device and the movements of self-moving objects in the image. This will in addition to the correction of the movement blurring due to translational movements of the camera, which often represent the only model assumption in the prior art, also corrects the motion blur caused by pitching, yawing and rolling of the image capture device. By calculating very dense flow fields from the flow vectors of the optical flow, textured image areas can be measured very well. This makes it possible to measure very accurately both the motion blur of static objects generated by the proper motion of the image capture device, and the motion blur of self-motive objects in the image and, accordingly, to achieve a very good reduction in motion blur.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch 1 angegebenen Korrekturverfahrens bzw. der im unabhängigen Patentanspruch 7 angegebenen Korrekturvorrichtung möglich.By those listed in the dependent claims Measures and developments are advantageous improvements of the specified in the independent claim 1 correction method or the correction device specified in the independent claim 7 possible.

Besonders vorteilhaft ist, dass der berechnete Wert für die Pixelverschiebung eine Anzahl von Pixeln angibt, mit welcher ein zu einem Ausgangszeitpunkt eines Belichtungsvorgangs dargestellter Bildpunkt des aufzunehmenden Objekts aufgrund der Objektbewegung am Endzeitpunkt des Belichtungsvorgangs auf dem erfassten Bild dargestellt wird. Daher kann zur Korrektur der Bewegungsunschärfe einfach die Anzahl der für jeden Bildpunkt des aufzunehmenden Objekts zum Endzeitpunkt vorhandenen Pixel im erfassten Bild auf einen Pixel, welcher den ursprünglichen Bildpunkt zum Anfangszeitpunkt repräsentiert, reduziert werden. Den entfernten Pixeln können beispielsweise optische Parameter von Pixeln eines Bildhintergrunds zugeordnet werden. Die optischen Parameter umfassen beispielsweise Werte für Helligkeit, Farbe, Intensität usw.Especially advantageous is that the calculated value for the pixel shift indicates a number of pixels, with which one at an initial time of an exposure process shown pixel of the male Object due to object movement at the end time of the exposure process is displayed on the captured image. Therefore, for correction the motion blur simply the number of for every pixel of the object to be recorded at the end time Pixels in the captured image to a pixel which is the original one Pixel represented at the beginning, reduced become. The remote pixels can be for example optical Be assigned parameters of pixels of a picture background. The optical Parameters include, for example, values for brightness, Color, intensity, etc.

In Ausgestaltung des erfindungsgemäßen Korrekturverfahrens umfassen die berechneten Bewegungen des aufzunehmenden Objekts beispielsweise die Eigenbewegungen des Objekts und/oder eine Bewegung der Bilderfassungsvorrichtung. Bekannte Bewegungsanteile der Bilderfassungsvorrichtungsbewegung können beispielsweise als Stütze bei der Ermittlung der Bewegung der Bildaufnahmevorrichtung verwendet werden.In Embodiment of the correction method according to the invention include the calculated movements of the object to be recorded, for example the proper movements of the object and / or a movement of the image capture device. Known motion components of the image capture device movement For example, as a prop in the determination the movement of the image pickup device can be used.

In Ausgestaltung der erfindungsgemäßen Korrekturvorrichtung stellt die Auswerte- und Steuereinheit das korrigierte Bild beispielsweise mindestens einem Fahrerassistenzsystem zur Verfügung. Zudem können Auswerte- und Steuereinheit Informationen über Fahrzeugbewegungen von dem mindestens einen Fahrerassistenzsystem zur Verfügung gestellt werden, wobei die Auswerte- und Steuereinheit die empfangenen Informationen der Fahrzeugbewegung als Stütze bei der Ermittlung der Bewegung der Bilderfassungsvorrichtung verwendet. Das mindestens eine Fahrerassistenzsystem umfasst beispielsweise ein System zu Fahrspurvermessung und/oder zur Blindspot-Detektion und/oder zur Verkehrszeichenerkennung und/oder zur Abstandserkennung.In Embodiment of the correction device according to the invention For example, the evaluation and control unit sets the corrected image at least one driver assistance system available. moreover can provide evaluation and control information about Vehicle movements of the at least one driver assistance system be made available, with the evaluation and Control unit, the received information of the vehicle movement as a support in determining the movement of the image capture device used. The at least one driver assistance system comprises, for example a system for lane measurement and / or blind spot detection and / or for traffic sign recognition and / or distance detection.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.embodiments The invention are illustrated in the drawings and in the following description.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

1 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels einer erfin dungsgemäßen Vorrichtung zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung erfassten Bild. 1 shows a schematic block diagram of an embodiment of an inventive device for the correction of motion blur in an image captured by an image capture device image.

2 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung erfassten Bild, das von der Vorrichtung gemäß 1 durchgeführt wird. 2 shows a flowchart of a method according to the invention for correcting a motion blur in an image acquired by an image capture device, which is provided by the device according to FIG 1 is carried out.

Ausführungsformen der Erfindungembodiments the invention

Nachfolgend wird unter Bezugnahme auf 1 und 2 die Funktionsweise der erfindungsgemäßen Vorrichtung zur Korrektur einer Bewegungsunschärfe in einem erfassten Bild beschrieben. Wie aus 1 ersichtlich ist, umfasst ein Fahrzeug 1 eine Auswerte- und Steuereinheit 10, eine Bilderfassungsvorrichtung 20, eine Speichereinheit 30, mehrere Fahrerassistenzsysteme, von denen beispielhaft ein Fahrerassistenzsystem 40 zur Verkehrszeichenerkennung dargestellt ist, und eine Bedieneinheit 50. Die genannten Komponenten sind zum Datenaustausch beispielsweise über ein Fahrzeugbussystem miteinander operativ gekoppelt, wobei im dargestellten Ausführungsbeispiel die Auswerte- und Steuereinheit 10 als zentrale Einheit dargestellt ist. Alternativ kann die Auswerte- und Steuereinheit 10 mit der Bilderfassungsvorrichtung 20 zu einer Baueinheit zusammengefasst werden oder in das Fahrerassistenzsystem 50 bzw. in die Bedieneinheit 50 integriert werden.The following is with reference to 1 and 2 describes the operation of the device according to the invention for correcting a motion blur in a captured image. How out 1 can be seen includes a vehicle 1 an evaluation and control unit 10 , an image capture device 20 , a storage unit 30 , Several driver assistance systems, of which an example of a driver assistance system 40 is shown for traffic sign recognition, and a control unit 50 , The components mentioned are operatively coupled with each other for data exchange, for example via a vehicle bus system, wherein in the illustrated embodiment, the evaluation and control unit 10 is shown as a central unit. Alternatively, the evaluation and control unit 10 with the image capture device 20 be combined into a unit or in the driver assistance system 50 or in the operating unit 50 to get integrated.

Wie aus 2 ersichtlich ist, erfasst die Bilderfassungsvorrichtung 20 während einer Belichtungszeitspanne bzw. Integrationszeitspanne ti im Schritt S10 Bilder, welche von der Auswerte- und Steuereinheit 10 ausgewertet werden. Dabei berechnet die Auswerte- und Steuereinheit 10 im Schritt S20 die Bewegungen eines aufzunehmenden Objekts während der Belichtungszeitspanne ti unter Verwendung eines ermittelten optischen Flusses, wobei die Auswerte- und Steuereinheit 10 im Schritt S30 aus Flussvektoren des optischen Flusses und der Belichtungszeitspanne ti eine die Bewegungsunschärfe verursachende Pixelverschiebung für jeden betroffenen Bildpunkt des aufzunehmenden Objekts berechnet. Die berechneten Bewegungen des aufzunehmenden Objekts umfassen Eigenbewegungen des Objekts und/oder Bewegungen der Bilderfassungsvorrichtung 20. Bekannte Bewegungsanteile der Bilderfassungsvorrichtungsbewegung, wie beispielsweise eine translatorische Bewegung des Fahrzeugs 1, können von der Auswerte- und Steuereinheit 10 als Stütze bei der Ermittlung der Bewegung der Bildaufnahmevorrichtung 20 verwendet werden. Informationen über die Fahrzeugbewegungen empfängt die Auswerte- und Steuereinheit 10 beispielsweise vom Fahrerassistenzsystem 40, welches beispielsweise Daten von Sensoren empfängt, welche physikalische Größen zur Bestimmung der Fahrzeugdynamik erfassen.How out 2 can be seen captures the image capture device 20 During an exposure time period or integration time period ti, in step S10, images are taken from the evaluation and control unit 10 be evaluated. The evaluation and control unit calculates 10 in step S20, the movements of an object to be photographed during the exposure time period ti using a determined optical flow, wherein the evaluation and control unit 10 In step S30, from flow vectors of the optical flow and the exposure time period ti, the motion blur Calculating causing pixel shift for each affected pixel of the object to be recorded. The calculated movements of the object to be recorded include proper movements of the object and / or movements of the image capture device 20 , Known motion components of the image capture device movement, such as a translational movement of the vehicle 1 , can from the evaluation and control unit 10 as a support in determining the movement of the image pickup device 20 be used. Information about the vehicle movements receives the evaluation and control unit 10 for example, the driver assistance system 40 which, for example, receives data from sensors which detect physical quantities for determining the vehicle dynamics.

Im Schritt S40 transformiert die Auswerte- und Steuereinheit 10 die Darstellung des aufzunehmenden Objektes an einem Endzeitpunkt t0 + ti unter Verwendung der berechneten Pixelverschiebung der Bilderfassung auf eine Darstellung an einen Ausgangszeitpunkt t0 der Bilderfassung. Im Schritt S50 stellt die Auswerte- und Steuereinheit 10 das korrigierte Bild dem Fahrerassistenzsystem 40 zur Verkehrszeichenerkennung zur Verfügung. Zusätzlich oder alternativ kann die Auswerte- und Steuereinheit 10 das korrigierte Bild Fahrerassistenzsystemen zur Fahrspurvermessung und/oder zur Blindspot-Detektion und/oder zur Abstandserkennung zur Verfügung stellen. Außerdem kann die Auswerte- und Steuereinheit 10 das korrigierte Bild in der Speichereinheit 30 abspeichern.In step S40, the evaluation and control unit transforms 10 the representation of the object to be recorded at an end time t0 + ti using the calculated pixel shift of the image capture to a representation at an output time t0 of image acquisition. In step S50, the evaluation and control unit 10 the corrected image to the driver assistance system 40 for traffic sign recognition available. Additionally or alternatively, the evaluation and control unit 10 provide the corrected image driver assistance systems for lane measurement and / or blind spot detection and / or distance detection available. In addition, the evaluation and control unit 10 the corrected image in the storage unit 30 save.

Der berechnete Wert für die Pixelverschiebung gibt beispielsweise eine Anzahl von Pixeln an, mit welcher ein zum Ausgangszeitpunkt t0 des Belichtungsvorgangs dargestellter Bildpunkt des aufzunehmenden Objekts aufgrund der Objektbewegung am Endzeitpunkt t0 + ti des Belichtungsvorgangs auf dem erfassten Bild dargestellt wird. Bei der Transformation der Darstellung des Objekts zum Endzeitpunkt t0 + ti auf die Darstellung des Objekts zum Anfangszeitpunkt t0 wird dann beispielsweise die Anzahl der für jeden Bildpunkt des aufzunehmenden Objekts zum Endzeitpunkt t0 + ti vorhandenen Pixel im erfassten Bild auf ein Pixel, welcher den ursprünglichen Bildpunkt zum Anfangszeitpunkt t0 repräsentiert, reduziert, um die Bewegungsunschärfe zu korrigieren. Zudem kann die Auswerte- und Steuereinheit 10 den entfernten Pixeln optische Parameter von Pixeln eines Bildhintergrunds zuordnen, um die Darstellung des aufzunehmenden Objekts weiter zu verbessern.The calculated value for the pixel shift indicates, for example, a number of pixels with which a pixel of the object to be shot at the time t0 of the exposure due to the object movement at the end time t0 + ti of the exposure operation on the captured image is displayed. In the transformation of the representation of the object at the end time t0 + ti on the representation of the object at the start time t0 then, for example, the number of pixels present for each pixel of the object to be included at the end time t0 + ti pixels in the captured image to a pixel which the original pixel at the start time t0, reduced to correct the motion blur. In addition, the evaluation and control unit 10 Assign the optical pixels of an image background to the remote pixels in order to further improve the representation of the object to be recorded.

Somit ermöglichen das erfindungsgemäße Verfahren zur Korrektur einer Bewegungsunschärfe in einem erfassten Bild und die korrespondierende Vorrichtung eine Kompensation der Unschärfe, die sich durch eine lange Belichtungszeitdauer ergibt. Diese Bewe gungsunschärfen können von der Auswerte- und Steuereinheit in Kenntnis der Bewegungsparameter des aufzunehmenden Objektes während der Integrationszeit und der Integrationszeit selbst rekonstruiert und dadurch korrigiert werden. Dadurch können bei der Aufnahme von Videobildsequenzen, insbesondere bei dunkeln Umgebungsverhältnissen, die durch die erforderliche Integrationszeitspanne bzw. Belichtungszeitspanne verursachten Bewegungsunschärfen des aufzunehmenden Objekts korrigiert werden.Consequently allow the inventive method to correct a motion blur in a captured Picture and the corresponding device compensation of Blur, characterized by a long exposure time results. These motion blurs may be influenced by the Evaluation and control unit with knowledge of the motion parameters of the object to be recorded during the integration time and the integration time itself reconstructed and thereby corrected become. This may result in the recording of video image sequences, especially in dark environmental conditions by the required integration period or exposure time span caused motion blur of the object to be recorded Getting corrected.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 1377036 A2 [0004] - EP 1377036 A2 [0004]

Claims (10)

Verfahren zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung (20) während einer Belichtungszeitspanne (ti) erfassten Bild, welches mindestens ein aufzunehmendes Objekt darstellt, dadurch gekennzeichnet, dass die Bewegungen des Objekts während der Belichtungszeitspanne (ti) unter Verwendung eines ermittelten optischen Flusses berechnet werden, wobei aus Flussvektoren des optischen Flusses und der Belichtungszeitspanne (ti) eine die Bewegungsunschärfe verursachende Pixelverschiebung für jeden betroffenen Bildpunkt des aufzunehmenden Objekts berechnet wird, wobei die berechnete Pixelverschiebung zur Korrektur der Bewegungsunschärfe verwendet wird, um die Darstellung des aufzunehmenden Objektes an einem Endzeitpunkt (t0 + ti) der Bilderfassung auf einen Ausgangszeitpunkt (t0) der Bilderfassung zu transformieren.Method for correcting motion blur in one of an image capture device ( 20 ) during an exposure time period (ti) representing at least one object to be recorded, characterized in that the movements of the object during the exposure time period (ti) are calculated using a determined optical flux, wherein flow vectors of the optical flow and the exposure time period ( ti) calculating a motion blur-causing pixel shift for each subject pixel of the subject to be photographed, using the calculated pixel shift to correct the motion blur to reduce the representation of the subject to an output time (t0) at an end time (t0 + ti) of image acquisition to transform the image capture. Korrekturverfahren nach Anspruch 1, dadurch gekennzeichnet, dass der berechnete Wert für die Pixelverschiebung eine Anzahl von Pixeln angibt, mit welcher ein zu einem Ausgangszeitpunkt (t0) eines Belichtungsvorgangs dargestellter Bildpunkt des aufzunehmenden Objekts aufgrund der Objektbewegung am Endzeitpunkt (t0 + ti) des Belichtungsvorgangs auf dem erfassten Bild dargestellt wird.Correction method according to claim 1, characterized that the calculated value for the pixel shift is a Number of pixels indicating with which one at an initial time (t0) pixel of the image to be shot Object due to the object movement at the end time (t0 + ti) of the Exposure process is displayed on the captured image. Korrekturverfahren nach Anspruch 2, dadurch gekennzeichnet, dass zur Korrektur der Bewegungsunschärfe die Anzahl der für jeden Bildpunkt des aufzunehmenden Objekts zum Endzeitpunkt (t0 + ti) vorhandenen Pixel im erfassten Bild auf ein Pixel, welcher den ursprünglichen Bildpunkt zum Anfangszeitpunkt (t0) repräsentiert, reduziert wird.Correction method according to claim 2, characterized in that that for correcting the motion blur the number of for each pixel of the object to be recorded at the end time (t0 + ti) pixels present in the captured image to a pixel which the original pixel at the start time (t0) represents, is reduced. Korrekturverfahren nach Anspruch 3, dadurch gekennzeichnet, dass den entfernten Pixeln optische Parameter von Pixeln eines Bildhintergrunds zugeordnet werden.Correction method according to claim 3, characterized that the remote pixels are optical parameters of pixels of an image background be assigned. Korrekturverfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bewegung des aufzunehmenden Objekts eine Eigenbewegung des Objekts und/oder eine Bewegung der Bilderfassungsvorrichtung (20) umfasst.Correction method according to one of claims 1 to 4, characterized in that the movement of the object to be recorded a self-movement of the object and / or a movement of the image capture device ( 20 ). Korrekturverfahren nach Anspruch 5, dadurch gekennzeichnet, dass bekannte Bewegungsanteile der Bilderfassungsvorrichtungsbewegung als Stütze bei der Ermittlung der Bewe gung der Bildaufnahmevorrichtung (20) verwendet werden.Correction method according to claim 5, characterized in that known motion components of the image-sensing device movement as a support in the determination of BeWe tion of the image pickup device ( 20 ) be used. Vorrichtung zur Korrektur einer Bewegungsunschärfe in einem von einer Bilderfassungsvorrichtung (20) während einer Belichtungszeitspanne (ti) erfassten Bild, welches mindestens ein aufzunehmendes Objekt darstellt, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, gekennzeichnet durch eine Auswerte- und Steuereinheit (10), welche die Bewegungen des Objekts während der Belichtungszeitspanne (ti) unter Verwendung des optischen Flusses ermittelt und aus Flussvektoren des optischen Flusses und der Belichtungszeitspanne (ti) eine die Bewegungsunschärfe verursachende Pixelverschiebung für jeden betroffenen Bildpunkt des aufzunehmenden Objekts berechnet, wobei die Auswerte- und Steuereinheit (10) die berechnete Pixelverschiebung zur Korrektur der Bewegungsunschärfe verwendet, um die Darstellung des aufzunehmenden Objektes an einem Endzeitpunkt (t0 + ti) der Bilderfassung auf einen Ausgangszeitpunkt (t0) der Bilderfassung zu transformieren.Device for correcting a motion blur in one of an image capture device ( 20 ) image recorded during an exposure time period (ti), which represents at least one object to be recorded, in particular for carrying out the method according to one of claims 1 to 6, characterized by an evaluation and control unit ( 10 ) which determines the movements of the object during the exposure time period (ti) using the optical flow, and from the optical flow flux vectors and the exposure time period (ti) calculates a motion blur-causing pixel shift for each pixel of the subject to be photographed, the evaluation and Control unit ( 10 ) uses the calculated pixel shift to correct the motion blur to transform the representation of the object to be captured at an end time (t0 + ti) of the image acquisition to an output time (t0) of image acquisition. Korrekturvorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (10) das korrigierte Bild mindestens einem Fahrerassistenzsystem (40) zur Verfügung stellt.Correction device according to claim 7, characterized in that the evaluation and control unit ( 10 ) the corrected image of at least one driver assistance system ( 40 ). Korrekturvorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das mindestens eine Fahrerassistenzsystem (40) der Auswerte- und Steuereinheit (10) Informationen über Fahrzeugbewegungen zur Verfügung stellt, welche die Auswerte- und Steuereinheit (10) als Stütze bei der Ermittlung der Bewegung der Bilderfassungsvorrichtung (20) verwendet.Correction device according to claim 7 or 8, characterized in that the at least one driver assistance system ( 40 ) of the evaluation and control unit ( 10 ) Provides information about vehicle movements which the evaluation and control unit ( 10 ) as a support in determining the movement of the image capture device ( 20 ) used. Korrekturvorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das mindestens eine Fahrerassistenzsystem (40) ein System zu Fahrspurvermessung und/oder zur Blindspot-Detektion und/oder zur Verkehrszeichenerkennung und/oder zur Abstandserkennung umfasst.Correction device according to claim 7 or 8, characterized in that the at least one driver assistance system ( 40 ) comprises a system for lane measurement and / or blind spot detection and / or traffic sign recognition and / or distance detection.
DE102008042422A 2008-09-29 2008-09-29 Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object Withdrawn DE102008042422A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008042422A DE102008042422A1 (en) 2008-09-29 2008-09-29 Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008042422A DE102008042422A1 (en) 2008-09-29 2008-09-29 Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object

Publications (1)

Publication Number Publication Date
DE102008042422A1 true DE102008042422A1 (en) 2010-04-01

Family

ID=41719641

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008042422A Withdrawn DE102008042422A1 (en) 2008-09-29 2008-09-29 Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object

Country Status (1)

Country Link
DE (1) DE102008042422A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377036A2 (en) 2002-06-28 2004-01-02 Microsoft Corporation Video processing system and method for automatic enhancement of digital video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1377036A2 (en) 2002-06-28 2004-01-02 Microsoft Corporation Video processing system and method for automatic enhancement of digital video

Similar Documents

Publication Publication Date Title
EP2710794B1 (en) Method for generating and evaluating an image
DE102008053472B4 (en) Object detection system
DE112016001560T5 (en) Method and system for real-time motion artifact handling and noise removal for runtime sensor images
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE102010062496A1 (en) Method and device for processing image information of two sensors suitable for image acquisition of a stereo sensor system
DE102008043737A1 (en) Method for detecting raindrops on disk, involves recording measured image in plane of disk and reference image is recorded in plane deviating from plane of disk
DE102016202948A1 (en) Method and device for determining an image of an environment of a vehicle
DE102013114996A1 (en) Method for applying super-resolution to images detected by camera device of vehicle e.g. motor car, involves applying spatial super-resolution to area-of-interest within frame to increase the image sharpness within area-of-interest
DE102017217555A1 (en) IMAGING DEVICE WITH PICTURE SYNTHESIS FUNCTION FOR HIGH DYNAMIC SCOPE
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE60029728T2 (en) Detection of Gauss noise in video signals
DE102017106152A1 (en) Determine an angle of a trailer with optimized template
DE102013002889A1 (en) Method for modeling road edge of road for vehicle, involves determining road curvature using two curvature corrected inspection of search area in image, where inspection is corrected according to two different road curvature hypotheses
DE102012211961A1 (en) Method and apparatus for calculating a change in a magnification of an object
DE102011089255A1 (en) Method for determining the exposure control value for a vehicle camera
DE102017208994A1 (en) Method for determining result image data
DE102008042422A1 (en) Method for correcting motion blur in image during recording video sequences at dark ambient circumstances, involves utilizing calculated pixel shift for correction of motion blur to transform representation of object
DE102015120967A1 (en) Method and device for image correction
DE102017221381A1 (en) Method, apparatus and computer program for determining a distance to an object
WO2018224444A1 (en) Method and device for image correction
DE102009017135A1 (en) Method for video data analysis of image sequence for controlling e.g. vehicles, involves detecting optical flow as assumed value-less flow vectors for image points that are not detected in background stabilized images
EP2037409A1 (en) Method for detecting an obstacle
EP4264565A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE102012024650A1 (en) Method for operating high-dynamic-range camera device of motor vehicle, involves recognizing actual value of moving condition of vehicle, which characterizes vehicle parameter
DE102017206247A1 (en) Method for predictive exposure control of a vehicle camera

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee