EP2243301A1 - Bildjustageverfahren für ein videobild - Google Patents

Bildjustageverfahren für ein videobild

Info

Publication number
EP2243301A1
EP2243301A1 EP08870994A EP08870994A EP2243301A1 EP 2243301 A1 EP2243301 A1 EP 2243301A1 EP 08870994 A EP08870994 A EP 08870994A EP 08870994 A EP08870994 A EP 08870994A EP 2243301 A1 EP2243301 A1 EP 2243301A1
Authority
EP
European Patent Office
Prior art keywords
image
lines
motor vehicle
camera
reference object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08870994A
Other languages
English (en)
French (fr)
Inventor
Tobias Stumber
Ralf Render
Jens Schick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2243301A1 publication Critical patent/EP2243301A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Definitions

  • the invention relates to an image adjustment method for a video image, which is detected continuously by means of an image sensor of a first camera of a motor vehicle by pixels arranged in image lines from the environment of the motor vehicle and displayed on a display device of the motor vehicle, with respect to at least one reference object relative rotation. Furthermore, the invention relates to an image capture method and an image capture device for motor vehicles.
  • driver assistance systems such as night vision systems or lane assistance systems are increasingly being used more recently, in which cameras are used for environmental observation.
  • the automotive environment proves to be a particularly demanding environment for the use of such cameras, which may be formed using a CMOS or CCD image sensor, for example.
  • DE 103 36 329 A1 discloses a method and a device for improving the visibility in a motor vehicle.
  • Night vision systems are able to naturally display the environment illuminated by near-infrared headlamps using a camera.
  • this In order for the driver of the motor vehicle to be able to compare the surroundings with the monitor image of the night vision system, this must be aligned in three degrees of freedom, namely horizontal displacement, vertical displacement and rotation about the axis perpendicular to the monitor image, as is generally the case after installation of the camera There is a misalignment due to installation tolerances.
  • the necessary displacements are often - set up at the same time as the functional test of the night vision system - by means of a device body, which is provided with two painted circles.
  • the image adjustment method according to the invention for a video image which is detected continuously by means of an image sensor of a first camera of a motor vehicle by pixels arranged in image lines from the surroundings of the motor vehicle and displayed on a display device of the motor vehicle, with respect to a rotation relative to at least one reference object, wherein a first step, a measurement of the video image by means of the at least one reference object is carried out, being determined as the measurement result, a required rotation angle of the video image relative to the reference object, which in a second step from the determined required rotation angle, a corresponding shear factor for the image lines, in particular Considering the line width, is determined, and then in a third step, an image processing device stores the shear factor and used for the continuous shearing of the image lines has the Advantage that can be dispensed with a complex mechanical device of the night image with respect to the rotation or rotation.
  • a mechanic-free method for rotating a night vision image is proposed.
  • the image lines are sheared in stages.
  • a line shearing is included in the transmission of the recorded images.
  • the image adjustment method according to the invention can be carried out once, for example in the manufacturer's plant, the image processing device constantly using the same stored shear factor. Alternatively or additionally, it is possible to carry out the image adjustment process continuously, in particular at regular time intervals, during operation of the night vision system. This measure could also compensate for a malfunction resulting during operation.
  • a special device body can be used.
  • the position of the horizon and / or vertical lines, in particular of buildings can also be used as a reference object.
  • Such reference objects can be extracted from the captured video image.
  • a calibration of a stereo system is carried out such that the video object of an image sensor of a second camera of the motor vehicle is used as the reference object, the video image of the image sensor of the first camera and the video image of the image sensor of the second camera form a stereo image.
  • the Jardinjustage psychologist can also be used to set up or calibration of stereo systems. After a rotation of the video image, images can be stereoscopically compared line by line. For this purpose, a suitable search method is used. Constantly twisting stereo cameras can thus also be used as a reference object or reference.
  • the shearing of the image lines can be carried out by means of a displacement of at least one part of at least one image line in at least one adjacent image line, wherein the at least a part of the at least one image line is temporarily stored and replaced in the adjacent image line.
  • the shear thus results from the displacement of a part of a picture line.
  • the shear angle is determined from the line width and the locations of the shift. Accordingly, a partial line exchange is used for the rotary device of the video image. For example, if the last third of a 300-pixel image line is cached and placed in the next line, an angle of 1 / (300-100) rad can be achieved. For larger angles, parts of picture lines of the past and further past picture lines must be used.
  • each angle can thus be simulated. If, for example, three jumps are provided in the picture lines, the last three picture lines must at least partially be stored.
  • Claim 8 discloses an image acquisition method for motor vehicles.
  • Claim 9 relates to an image capture device for continuously capturing a video image of the environment of the motor vehicle.
  • a user-programmable logic module for example FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) is used as the image processing device.
  • the partial line replacement is calculated by the image processing device.
  • FIG. 1 shows a greatly simplified block diagram of an image acquisition device according to the invention in the context of a night vision system, which is set up to carry out an image acquisition method according to the invention
  • FIG. 2 shows a greatly simplified flow diagram of the image adjustment method according to the invention
  • FIG. 3 is a simplified representation of a video image with eight lines in the original state
  • FIG. 4 shows a simplified illustration of a video image with eight image lines which has been sheared by one line
  • Figure 5 is a simplified illustration of a video image with eight image lines, which is sheared by two lines;
  • FIG. 6 shows a modified representation of the video image with eight image lines from FIG. 5;
  • FIG. 7 is a simplified illustration of a video image with eight image lines, which is sheared by three lines; and FIG. 8 shows a modified representation of the video image with eight image lines from FIG. 7.
  • FIG. 1 shows a block diagram of an image acquisition device according to the invention in the context of a night vision system of a motor vehicle, not shown, which is intended for
  • the measuring device has a first camera 10 designed as a CCD camera with an image sensor 10a designed as a CCD sensor. In further embodiments not shown, this could also be, for example, a CMOS camera or the like.
  • the camera 10 is sensitive to infrared light.
  • the camera 10 is sensitive to light in the near infrared range, that is to say preferably in the wavelength range between 800 nm and 1000 nm.
  • the night vision system preferably comprises at least one near-infrared headlight.
  • An image processing device 12 is connected to the camera 10 via a signal line 20. Furthermore, as indicated by dashed lines in FIG.
  • the image processing device 12 could also be connected via other signal lines 20 to other vehicle systems, such as, in particular, an information system 16 or a second camera 18 in the context of a stereo system. Furthermore, the image processing device 12 is connected via a further signal line 20 to a display device of the motor vehicle.
  • the camera 10 may be arranged, for example, on the windscreen of the motor vehicle, since then the environment of the motor vehicle, in particular in the direction of travel, can be detected continuously.
  • the image processing device 12 may have a plurality of functional modules not shown in greater detail, which are realized as programs or program steps of at least one microprocessor in the image processing device 12 and / or by means of programmable logic, in particular ASIC and / or FPGA.
  • the display device 14 is a driver-visible display and / or a head-up display.
  • the data traffic takes place via the signal lines 20 electrically and / or optically and / or by radio, wherein the signal lines 20 can be a single-wire line and / or a two-wire line and / or a multi-wire line.
  • the signal lines 20 are alternatively or additionally designed as a bus line.
  • the image capture device is accordingly provided with the camera 10 and the image processing device 12 which processes the video images captured by the image sensor 10a of the camera 10 for display on the display device 14 of the motor vehicle.
  • the image processing device 12 is for carrying out the erfmdungsdorfjustagebacters set up.
  • FIG. 2 shows a greatly simplified flow chart of the image adjustment method according to the invention for a video image, which is detected continuously by means of the image sensor 10a of the first camera 10 of the motor vehicle through pixels in the surroundings of the motor vehicle arranged in image lines Z1-Z8 (see FIGS Display device 14 of the motor vehicle is shown, relative to at least one reference object relative rotation, wherein in a first step A, a measurement of the video image by means of the at least one reference object is carried out, being determined as the measurement result a required rotation angle of the video image relative to the reference object, then, in a second step B, a corresponding shear factor for the image lines Z1-Z8, in particular taking into account the line width, is determined from the determined required rotation angle, and then, in a third step C, the image processing device 12 stores the shear factor and used for continuous shear of image lines Zl - Z8.
  • the image adjustment method according to the invention can be carried out once at the factory or continuously, as indicated by the dashed arrow in FIG. 2, at regular time intervals during operation.
  • a reference object the position of the horizon and / or vertical lines, in particular of buildings, which can be extracted from the captured video image can be used.
  • a device body can be used as a reference object.
  • a calibration of a stereo system can be carried out using the image adjustment method such that the video image of an image sensor (not shown) of the second camera 18 of the motor vehicle is used as the reference object, the video image of the image sensor 10a of the first camera 10 and the video image of the image sensor of the second Camera 18 to form a stereo image.
  • the shear of the image lines Zl - Z8 by means of a displacement of at least one part of at least one image line Z1-Z8 into at least one adjacent image line Z1-Z8, wherein the at least one part of the at least one image line Z1-Z8 is temporarily stored and replaced in the adjacent image line Z1-Z8.
  • a corresponding interpolation can be performed on adjacent sheared image lines Z1-Z8.
  • An image acquisition method for motor vehicles proceeds on the image processing device 12, wherein a video image of the environment of the motor vehicle is continuously detected by pixels of the image sensor 10a arranged in image lines Z1-Z8 by means of the image sensor 10a of the camera 10 and a shear of the image lines Z1-Z8 with a predetermined shearing factor is continuously performed by the image processing device 12 for permanent adjustment of the video image with respect to a relative to at least one reference object relative rotation.
  • FIGS. 3 to 8 the sequence of shearing of the image lines Z1-Z8 is illustrated in principle.
  • FIG. 3 shows a video image with eight lines Z1-Z8 in the original state.
  • the video image with the image lines Z1-Z8 has been sheared by one image line.
  • an oblique line between the two image lines Z1 and Z2 was interpolated (for example only indicated for the image lines Z1 and Z2) in order to obtain a smooth transition.
  • shear is in both directions, i. H. both down and up possible.
  • the video image with the image lines Z1-Z8 has been sheared by two image lines, for example the second part of the image line Z2 has been moved to the second part of the image line Z1, etc.
  • the hatched parts are cut off, so to speak, ie a skew of one image line in the number of lines needed.
  • Along the oblique lines is again interpolated in order to obtain a smooth transition (indicated by way of example only for the image lines Z1 to Z3).
  • the video image with the image lines Z1-Z8 in FIGS. 7 and 8 has been sheared by three image lines.
  • the hatched parts are also cut off, d. H. you need a shear reserve of two lines in the number of lines.
  • interpolation is again effected between two picture lines in order to obtain a smooth transition (for example, only indicated for the picture lines Z1 to Z4).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors (10a) einer ersten Kamera (10) eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung (14) des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation. In einem ersten Schritt erfolgt eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts, wobei als Messergebnis ein erforderlicher Rotationswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird, wonach in einem zweiten Schritt aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungsfaktor für die Bildzeilen, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird und wonach in einem dritten Schritt eine Bildverarbeitungseinrichtung (12) den Scherungsfaktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen verwendet.

Description

Bildjustageverfahren für ein Videobild
Stand der Technik
Die Erfindung betrifft ein Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors einer ersten Kamera eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation. Des weiteren betrifft die Erfindung ein Bilderfassungsverfahren und eine Bilderfassungsvorrichtung für Kraftfahrzeuge.
Zur Unterstützung der Fahrer von Kraftfahrzeugen kommen in jüngerer Zeit vermehrt Fahrerassistenzsysteme wie beispielsweise Nachtsichtsysteme oder Spurassistenzsysteme zum Einsatz, in denen Kameras zur Umgebungsbeobachtung verwendet werden. Dabei erweist sich das automobile Umfeld als besonders anspruchsvolle Umgebung für den Einsatz derartiger Kameras, die beispielsweise unter Verwendung eines CMOS- oder CCD-Bildsensors gebildet sein können.
In der DE 103 36 329 Al ist ein Verfahren und eine Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug angegeben.
Nachtsichtsysteme sind in der Lage mittels einer Kamera die mit Nahinfrarotscheinwerfern beleuchtete Umgebung natürlich darzustellen. Damit der Fahrer des Kraftfahrzeugs die Umgebung mit dem Monitorbild des Nachtsichtsystems vergleichen kann, muss dieses in drei Freiheitsgraden, nämlich horizontale Verschiebung, vertikale Verschiebung und Rotation um die zum Monitorbild senkrechte Achse, ausgerichtet werden, da in der Regel nach dem Ein- bau der Kamera eine Fehlausrichtung aufgrund von Einbautoleranzen vorliegt. Die notwendigen Verschiebungen werden häufig - gleichzeitig mit der Funktionsprüfung des Nachtsichtsystems - mittels eines Einrichtungskörpers, welcher mit zwei aufgemalten Kreisen versehen ist, eingerichtet.
Die erforderliche Korrektur der Rotation erfolgt mechanisch im Herstellerwerk mit Hilfe einer sehr aufwändigen Messeinrichtung unter Einsatz entsprechender Unterlegscheiben. Es wäre wünschenswert, wenn eine derartige schwierige und kostenintensive mechanische Einrichtung nicht vonnöten wäre.
Vorteile der Erfindung
Das erfmdungsgemäße Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors einer ersten Kamera eines Kraftfahrzeugs durch in Bildzeilen angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relati- ven Rotation, wobei in einem ersten Schritt eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotationswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird, wonach in einem zweiten Schritt aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungs- faktor für die Bildzeilen, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird, und wonach in einem dritten Schritt eine Bildverarbeitungseinrichtung den Scherungs- faktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen verwendet, hat den Vorteil, dass auf eine aufwändige mechanische Einrichtung des Nachtbildes hinsichtlich der Drehung bzw. Rotation verzichtet werden kann. Sonach wird ein mechanikfreies Verfahren zum drehenden Einrichten eines Nachtsichtbildes vorgeschlagen. Dazu werden die Bildzeilen in Stufen geschert. Nach der Vermessung der beiden Kreise auf dem Messobjekt bzw. dem Ein- richtungskörper, d. h. der Einstellung der notwendigen Translationen bzw. Verschiebungen, wird bei der Übertragung der aufgenommenen Bilder eine Zeilenscherung eingerechnet.
Das erfindungsgemäße Bildjustageverfahren kann einmalig, beispielsweise im Herstellerwerk, durchgeführt werden, wobei die Bildverarbeitungseinrichtung dauernd denselben abgespeicherten Scherungsfaktor verwendet. Alternativ oder zusätzlich ist es möglich, das Bildjustageverfahren kontinuierlich, insbesondere in regelmäßigen Zeitabständen, während des Betriebs des Nachtsichtsystems durchzuführen. Durch diese Maßnahme könnte auch eine während des Betriebs entstandene Fehlstellung kompensiert werden.
Als Referenzobjekt kann ein spezieller Einrichtungskörper verwendet werden. Alternativ oder zusätzlich, insbesondere, wenn die Bildjustage bzw. das Einrichten kontinuierlich durchgeführt wird, können als Referenzobjekt auch die Lage des Horizonts und/oder vertikale Linien, insbesondere von Gebäuden, eingesetzt werden. Derartige Referenzobjekte sind aus dem er- fassten Videobild extrahierbar.
Vorteilhaft ist es, wenn mittels des erfindungsgemäßen Bildjustageverfahrens eine Kalibrierung eines Stereosystems derart durchgeführt wird, dass als Referenzobjekt das Videobild eines Bildsensors einer zweiter Kamera des Kraftfahrzeugs verwendet wird, wobei das Video- bild des Bildsensors der ersten Kamera und das Videobild des Bildsensors der zweiten Kamera ein Stereobild bilden. Durch diese Maßnahmen kann das Bildjustageverfahren auch zur Einrichtung bzw. Kalibrierung von Stereosystemen verwendet werden. Nach einer Rotation des Videobildes können Bilder zeilenweise stereoskopisch verglichen werden. Dazu wird ein geeignetes Suchverfahren angewendet. Sich ständig verdrehende Stereokameras können somit auch als Referenzobjekt bzw. Referenz herangezogen werden.
Die Scherung der Bildzeilen kann mittels einer Verschiebung wenigstens eines Teils wenigstens einer Bildzeile in wenigstens eine benachbarte Bildzeile durchgeführt werden, wobei der wenigstens eine Teil der wenigstens einen Bildzeile zwischengespeichert und in der benachbarten Bildzeile ersetzt wird. Die Scherung ergibt sich somit über die Verschiebung eines Teils einer Bildzeile. Der Scherungswinkel wird aus der Zeilenbreite und den Orten der Verschiebung ermittelt. Demnach wird ein Teilzeilentausch zur rotatorischen Einrichtung des Vi- deobildes eingesetzt. Wenn beispielsweise das letzte Drittel einer Bildzeile mit 300 Punkten bzw. Pixeln jeweils zwischengespeichert und in der nächsten Zeile eingesetzt wird, kann ein Winkel von 1/(300-100) rad erzielt werden. Bei größeren Winkeln müssen Teile von Bildzeilen der vergangenen und weiter vorvergangenen Bildzeilen verwendet werden. Bei negativen Winkeln müssen die ersten Teile der Bildzeilen ersetzt werden. Dabei kann auch ein soge- nannter Schervorhalt vonnöten sein. Durch die Verschiebung und die Anzahl der Stufen kann somit jeder Winkel simuliert werden. Wenn man beispielsweise drei Sprünge in den Bildzeilen vorsieht, müssen die drei letzten Bildzeilen zumindest teilweise gespeichert werden.
Sehr vorteilhaft ist es, wenn zur Glättung eine entsprechende Interpolation bei benachbarten gescherten Bildzeilen durchgeführt wird. Damit die verarbeiteten Videobilder keine harten unansehnlichen Übergänge aufweisen, werden die Bildzeilen geglättet bzw. verschleift. Mit einem geeigneten Glättungsverfahren, beispielsweise einer Interpolation, bei welchem benachbart gescherte Zeilen sozusagen gemittelt werden, wird ein Anti-aliasing-Effekt erzielt.
In Anspruch 8 ist ein Bilderfassungsverfahren für Kraftfahrzeuge angegeben. Anspruch 9 bezieht sich auf eine Bilderfassungsvorrichtung zur kontinuierlichen Erfassung eines Videobildes der Umgebung des Kraftfahrzeugs.
Weiterhin ist es vorteilhaft, wenn als Bildverarbeitungseinrichtung ein anwenderprogram- mierbarer Logikbaustein, beispielsweise FPGA (Field Programable Gate Array) oder ein ASIC (Application Specific Integrated Circuit) verwendet wird. Der Teilzeilenaustausch wird von der Bildverarbeitungseinrichtung berechnet. Kurzbeschreibung der Zeichnung
Nachfolgend sind anhand der Zeichnung prinzipmäßig Ausführungsbeispiele der Erfindung beschrieben.
Es zeigen:
Figur 1 ein stark vereinfachtes Blockdiagramm einer erfindungsgemäßen Bilderfassungsvorrichtung im Rahmen eines Nachtsichtsystems, welche zur Durchführung eines erfindungsgemäßen Bilderfassungsverfahrens eingerichtet ist; Figur 2 ein stark vereinfachtes Ablaufdiagramm des erfindungsgemäßen Bildjustagever- fahrens;
Figur 3 eine vereinfachte Darstellung eines Videobildes mit acht Zeilen im Originalzustand; Figur 4 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um eine Zeile geschert ist; Figur 5 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um zwei Zeilen geschert ist;
Figur 6 eine veränderte Darstellung des Videobildes mit acht Bildzeilen aus Figur 5;
Figur 7 eine vereinfachte Darstellung eines Videobildes mit acht Bildzeilen, welches um drei Zeilen geschert ist; und Figur 8 eine veränderte Darstellung des Videobildes mit acht Bildzeilen aus Figur 7.
Beschreibung von Ausführungsbeispielen
Figur 1 zeigt ein Blockdiagramm einer erfindungsgemäßen Bilderfassungsvorrichtung im Rahmen eines Nachtsichtsystems eines nicht dargestellten Kraftfahrzeugs, welches zur
Durchführung eines erfindungsgemäßen Bilderfassungsverfahrens eingerichtet ist. Die Bilder- fassungsvorrichtung weist dabei eine erste als CCD-Kamera ausgebildete Kamera 10 mit einem als CCD-Sensor ausgebildeten Bildsensor 10a auf. In weiteren nicht dargestellten Ausführungsbeispielen könnte dies beispielsweise auch eine CMOS-Kamera oder dergleichen sein. Die Kamera 10 ist infrarotlichtempfindlich. Insbesondere ist die Kamera 10 im nahen Infrarotbereich lichtempfindlich, also vorzugsweise im Wellenlängenbreich zwischen 800 nm und 1000 nm. Ferner umfasst das Nachtsichtsystem vorzugsweise wenigstens einen Nahinfrarotscheinwerfer. Eine Bildverarbeitungseinrichtung 12 ist über eine Signalleitung 20 mit der Kamera 10 verbunden. Des Weiteren könnte, wie in Figur 1 gestrichelt angedeutet, die Bildverarbeitungseinrichtung 12 auch über weitere Signalleitungen 20 mit anderen Fahrzeugsys- temen, wie insbesondere einem Informationssystem 16 oder einer zweiten Kamera 18 im Rahmen eines Stereosystems, verbunden sein. Ferner ist die Bildverarbeitungseinrichtung 12 über eine weitere Signalleitung 20 mit einer Anzeigevorrichtung des Kraftfahrzeugs verbunden. Die Kamera 10 kann beispielsweise an der Windschutzscheibe des Kraftfahrzeugs angeordnet sein, da dann die Umgebung des Kraftfahrzeugs, insbesondere in Fahrtrichtung, konti- nuierlich erfasst werden kann. Die Bildverarbeitungseinrichtung 12 kann mehrere nicht näher dargestellte Funktionsmodule aufweisen, welche als Programme oder Programmschritte wenigstens eines Mikroprozessors in der Bildverarbeitungseinrichtung 12 und/oder mittels programmierbarer Logik, insbesondere als ASIC und/oder FPGA, realisiert sind. Bei der Anzeigeeinrichtung 14 handelt es sich um einen durch den Fahrer einsehbaren Display und/oder um einen Head-up-Display. Der Datenverkehr erfolgt über die Signalleitungen 20 elektrisch und/oder optisch und/oder per Funk, wobei die Signalleitungen 20 eine Eindrahtleitung und/oder eine Zweidrahtleitung und/oder eine Mehrdrahtleitung sein können. Insbesondere sind die Signalleitungen 20 alternativ oder zusätzlich als Busleitung ausgeführt. Zur kontinuierlichen Erfassung eines Videobildes der Umgebung des Kraftfahrzeugs ist dementsprechend die Bilderfassungsvorrichtung mit der den Bildsensor 10a aufweisenden Kamera 10 und der Bildverarbeitungseinrichtung 12 versehen, welche die von dem Bildsensor 10a der Kamera 10 erfassten Videobilder zur Anzeige auf der Anzeigevorrichtung 14 des Kraftfahrzeugs verarbeitet. Die Bildverarbeitungseinrichtung 12 ist zur Durchführung des erfmdungsgemäßen Bildjustageverfahrens eingerichtet.
Figur 2 zeigt ein stark vereinfachtes Ablaufdiagramm des erfmdungsgemäßen Bildjustageverfahrens für ein Videobild, welches mittels des Bildsensors 10a der ersten Kamera 10 des Kraftfahrzeugs durch in Bildzeilen Zl - Z8 (siehe Figuren 3 bis 8) angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf der Anzeigeeinrichtung 14 des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation, wobei in einem ersten Schritt A eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotati- onswinkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird, wonach in einem zweiten Schritt B aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungsfaktor für die Bildzeilen Zl - Z8, insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird und wonach in einem dritten Schritt C die Bildverarbeitungseinrichtung 12 den Scherungsfaktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen Zl - Z8 verwendet. Das erfindungsgemäße Bildjustageverfahren kann einmalig im Herstellerwerk o- der, wie durch den in Figur 2 gestrichelten Pfeil angedeutet, kontinuierlich in regelmäßigen Zeitabständen während des Betriebs durchgeführt werden. Als Referenzobjekt kann die Lage des Horizonts und/oder vertikale Linien, insbesondere von Gebäuden, welche aus dem erfass- ten Videobild extrahierbar sind, verwendet werden. Zusätzlich oder alternativ kann als Refe- renzobjekt ein Einrichtungskörper verwendet werden.
In weiteren Ausführungsbeispielen kann mit dem Bildjustageverfahren eine Kalibrierung eines Stereosystems derart durchgeführt werden, dass als Referenzobjekt das Videobild eines nicht dargestellten Bildsensors der zweiten Kamera 18 des Kraftfahrzeugs verwendet wird, wobei das Videobild des Bildsensors 10a der ersten Kamera 10 und das Videobild des Bildsensors der zweiten Kamera 18 ein Stereobild bilden.
Bei dem erfindungsgemäßen Bildjustageverfahren wird die Scherung der Bildzeilen Zl - Z8 mittels einer Verschiebung wenigstens eines Teils wenigstens einer Bildzeile Zl - Z8 in wenigstens eine benachbarte Bildzeile Zl - Z8 durchgeführt, wobei der wenigstens eine Teil der wenigstens einen Bildzeile Zl - Z8 zwischengespeichert und in der benachbarten Bildzeile Zl - Z8 ersetzt wird. Zur Glättung kann eine entsprechende Interpolation bei benachbarten ge- scherten Bildzeilen Zl - Z8 durchgeführt werden.
Auf der Bildverarbeitungseinrichtung 12 läuft ein Bilderfassungsverfahren für Kraftfahrzeuge ab, wobei mittels des Bildsensors 10a der Kamera 10 ein Videobild der Umgebung des Kraftfahrzeugs durch in Bildzeilen Zl - Z8 angeordnete Pixel des Bildsensors 10a kontinuierlich erfasst wird und wobei eine Scherung der Bildzeilen Zl - Z8 mit einem vorgegebenen Sche- rungsfaktor von der Bildverarbeitungseinrichtung 12 zur permanenten Justage des Videobildes hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation kontinuierlich durchgeführt wird.
In den Figuren 3 bis 8 ist der Ablauf der Scherung der Bildzeilen Zl - Z8 prinzipmäßig verdeutlicht.
Figur 3 zeigt dabei ein Videobild mit acht Zeilen Zl - Z8 im Originalzustand. In Figur 4 wurde das Videobild mit den Bildzeilen Zl - Z8 um eine Bildzeile geschert. Entlang einer schrä- gen Linie zwischen den beiden Bildzeilen Zl und Z2 wurde interpoliert (beispielhaft nur für die Bildzeilen Zl und Z2 angedeutet), um einen glatten Übergang zu erhalten. Grundsätzlich ist in den Figuren 4 bis 8 eine Scherung in beide Richtungen, d. h. sowohl nach unten als auch nach oben möglich.
In den Figuren 5 und 6 wurde das Videobild mit den Bildzeilen Zl - Z8 um zwei Bildzeilen geschert, beispielsweise wurde der zweite Teil der Bildzeile Z2 in den zweiten Teil der Bildzeile Zl verschoben, usw. Die schraffierten Teile werden dabei sozusagen abgeschnitten, d. h. es wird ein Schervorhalt von einer Bildzeile in der Zeilenanzahl benötigt. Entlang der schrä- gen Linien wird wiederum interpoliert, um einen glatten Übergang zu erhalten (beispielhaft nur für die Bildzeilen Zl bis Z3 angedeutet).
Schließlich wurde das Videobild mit den Bildzeilen Zl - Z8 in den Figuren 7 und 8 um drei Bildzeilen geschert. Die schraffierten Teile werden dabei ebenfalls abgeschnitten, d. h. man benötigt einen Schervorhalt von zwei Bildzeilen in der Zeilenanzahl. Entlang der schrägen Linien wird zwischen zwei Bildzeilen wiederum interpoliert, um einen glatten Übergang zu erhalten (beispielhaft nur für die Bildzeilen Zl bis Z4 angedeutet).

Claims

Patentansprüche
1. Bildjustageverfahren für ein Videobild, welches mittels eines Bildsensors (10a) einer ersten Kamera (10) eines Kraftfahrzeugs durch in Bildzeilen (Z1-Z8) angeordnete Pixel aus der Umgebung des Kraftfahrzeugs kontinuierlich erfasst und auf einer Anzeigevorrichtung (14) des Kraftfahrzeugs dargestellt wird, hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation, dadurch gekennzeichnet, dass in einem ersten Schritt eine Vermessung des Videobildes mittels des wenigstens einen Referenzobjekts erfolgt, wobei als Messergebnis ein erforderlicher Rotations- winkel des Videobildes relativ zu dem Referenzobjekt ermittelt wird; wonach in einem zweiten Schritt aus dem ermittelten erforderlichen Rotationswinkel ein entsprechender Scherungsfaktor für die Bildzeilen (Z1-Z8), insbesondere unter Berücksichtigung der Zeilenbreite, bestimmt wird; und wonach in einem dritten Schritt eine Bildverarbeitungseinrichtung (12) den Scherungsfaktor abspeichert und zur kontinuierlichen Scherung der Bildzeilen (Z1-Z8) verwendet.
2. Bildjustageverfahren nach Anspruch 1, welches einmalig, insbesondere im Herstellerwerk oder kontinuierlich, insbesondere in regelmäßigen Zeitabständen, während des Betriebs durchgeführt wird.
3. Bildjustageverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Referenzobjekt die Lage des Horizonts und/oder vertikale Linien, insbesondere von Gebäuden, welche aus dem erfassten Videobild extrahierbar sind, verwendet werden.
4. Bildjustageverfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass als Referenzobjekt ein Einrichtungskörper verwendet wird.
5. Bildjustageverfahren nach einem der Ansprüche 1 bis 4, mit welchem eine Kalibrierung eines Stereosystems derart durchgeführt wird, dass als Referenzobjekt das Videobild eines Bildsensors einer zweiten Kamera (18) des Kraftfahrzeugs verwendet wird, wobei das Videobild des Bildsensors (10a) der ersten Kamera (10) und das Videobild des Bildsensors der zweiten Kamera (18) ein Stereobild bilden.
6. Bildjustageverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Scherung der Bildzeilen (Z1-Z8) mittels einer Verschiebung wenigstens eines Teils wenigstens einer Bildzeile (Z1-Z8) in wenigstens eine benachbarte Bildzeile (Z1-Z8) durchgeführt wird, wobei der wenigstens eine Teil der wenigstens einen BiId- zeile (Z1-Z8) zwischengespeichert und in der benachbarten Bildzeile (Z1-Z8) ersetzt wird.
7. Bildjustageverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Glättung eine entsprechende Interpolation bei benachbarten gescherten Bildzeilen (Z1-Z8) durchgeführt wird.
8. Bilderfassungsverfahren für Kraftfahrzeuge, wobei mittels eines Bildsensors (10a) einer Kamera (10) ein Videobild der Umgebung des Kraftfahrzeugs durch in Bildzeilen (Zl- Z8) angeordnete Pixel des Bildsensors (10a) kontinuierlich erfasst wird, und wobei eine Scherung der Bildzeilen (Z1-Z8) mit einem vorgegebenen Scherungsfaktor von einer
Bildverarbeitungseinrichtung (12) zur permanenten Justage des Videobildes hinsichtlich einer zu wenigstens einem Referenzobjekt relativen Rotation kontinuierlich durchgeführt wird.
9. Bilderfassungsvorrichtung zur kontinuierlichen Erfassung eines Videobildes der Umgebung des Kraftfahrzeugs, mit wenigstens einer einen Bildsensor (10a) aufweisenden Kamera (10) und einer Bildverarbeitungseinrichtung (12), welche die von dem Bildsensor (10a) der Kamera (10) erfassten Videobilder, insbesondere zur Anzeige auf einer Anzeigevorrichtung (14) des Kraftfahrzeugs, verarbeitet, und welche zur Durchführung eines Bildjustageverfahrens gemäß einem der Ansprüche 1 bis 7 eingerichtet ist.
EP08870994A 2008-01-15 2008-11-10 Bildjustageverfahren für ein videobild Withdrawn EP2243301A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008004370A DE102008004370A1 (de) 2008-01-15 2008-01-15 Bildjustageverfahren für ein Videobild
PCT/EP2008/065240 WO2009089932A1 (de) 2008-01-15 2008-11-10 Bildjustageverfahren für ein videobild

Publications (1)

Publication Number Publication Date
EP2243301A1 true EP2243301A1 (de) 2010-10-27

Family

ID=40254563

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08870994A Withdrawn EP2243301A1 (de) 2008-01-15 2008-11-10 Bildjustageverfahren für ein videobild

Country Status (3)

Country Link
EP (1) EP2243301A1 (de)
DE (1) DE102008004370A1 (de)
WO (1) WO2009089932A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems
DE102018216707A1 (de) 2018-09-28 2020-04-02 Ibeo Automotive Systems GmbH Umfelderkennungssystem sowie Verfahren für ein Umfelderkennungssystem
DE102024126282A1 (de) * 2024-09-12 2026-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Prüfen einer Position einer in einem Fahrzeug eingebauten Kamera, Computerprogrammprodukt sowie Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995029461A1 (en) * 1994-04-15 1995-11-02 David Sarnoff Research Center, Inc. Method and apparatus for rotating and scaling images
WO2002050770A1 (de) * 2000-12-21 2002-06-27 Robert Bosch Gmbh Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
JP2006285575A (ja) * 2005-03-31 2006-10-19 Fuji Photo Film Co Ltd 画像処理方法、プログラム、並びに画像処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10115043A1 (de) * 2000-04-25 2002-04-04 Iteris Inc Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
DE10246067B4 (de) * 2002-10-02 2008-01-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10336329A1 (de) 2003-08-07 2005-03-10 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
DE102004033468A1 (de) * 2004-06-05 2005-12-22 Adc Automotive Distance Control Systems Gmbh Verfahren zur Kalibrierung einer Kamera
DE102004048400A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren für die Erfassung einer optischen Struktur
FR2896219B1 (fr) * 2006-01-19 2008-02-22 Valeo Vision Sa Procede de reglage de l'orientation d'une camera installee dans un vehicule et systeme de mise en oeuvre de ce procede

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995029461A1 (en) * 1994-04-15 1995-11-02 David Sarnoff Research Center, Inc. Method and apparatus for rotating and scaling images
WO2002050770A1 (de) * 2000-12-21 2002-06-27 Robert Bosch Gmbh Verfahren und vorrichtung zum kompensieren einer dejustage einer bilderzeugungsvorrichtung
JP2006285575A (ja) * 2005-03-31 2006-10-19 Fuji Photo Film Co Ltd 画像処理方法、プログラム、並びに画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2009089932A1 *

Also Published As

Publication number Publication date
DE102008004370A1 (de) 2009-07-16
WO2009089932A1 (de) 2009-07-23

Similar Documents

Publication Publication Date Title
EP3281178B1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
EP3205090B1 (de) Stereokamera für fahrzeuge
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
EP2377725B2 (de) Außenspiegelsimulation
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
WO2014094941A1 (de) Kraftfahrzeug mit kamera-monitor-system
EP2719173A1 (de) Fahrzeugkamerasystem und verfahren zur bereitstellung eines lückenlosen bildes der fahrzeugumgebung
DE102010000385A1 (de) Fahrzeugperipherieanzeigevorrichtung
WO2011029694A1 (de) Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
DE102011077398B4 (de) Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
DE102008046545A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
EP3268928B1 (de) Verfahren zum zusammensetzen von zwei bildern einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE10321228B4 (de) Optisches Erfassungssystem für Fahrzeuge
WO2024132701A1 (de) Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug
EP2243301A1 (de) Bildjustageverfahren für ein videobild
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
WO2016023661A1 (de) Fahrerbeobachtungssystem für ein kraftfahrzeug
DE102015105529A1 (de) Verfahren zum Transformieren eines Bildes einer virtuellen Kamera, Computerprogrammprodukt, Anzeigesystem und Kraftfahrzeug
EP2872943B1 (de) Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs
DE102014209782A1 (de) Kamerasystem zum Erfassen einer Umgebung eines Fahrzeuges
DE102017205782A1 (de) Steuervorrichtung und Verfahren
EP2312525A2 (de) Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102017214653B4 (de) Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100816

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130102

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130713