EP2715666A1 - Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs - Google Patents

Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs

Info

Publication number
EP2715666A1
EP2715666A1 EP12719384.5A EP12719384A EP2715666A1 EP 2715666 A1 EP2715666 A1 EP 2715666A1 EP 12719384 A EP12719384 A EP 12719384A EP 2715666 A1 EP2715666 A1 EP 2715666A1
Authority
EP
European Patent Office
Prior art keywords
camera
image
gradient data
vehicle
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12719384.5A
Other languages
English (en)
French (fr)
Inventor
Stefan SELLHUSEN
Thusitha Parakrama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2715666A1 publication Critical patent/EP2715666A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/10—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to vehicle inclination, e.g. due to load distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/13—Attitude of the vehicle body
    • B60Q2300/132—Pitch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for determining a pitching motion of a camera installed in a vehicle, to a method for
  • the present invention provides an improved method for determining a pitching motion of a vehicle-mounted camera, an improved method of controlling a light emission of at least one headlamp of a vehicle, an improved apparatus configured to perform the steps of such a method , as well as an improved computer program product with program code stored on a machine-readable carrier, for carrying out such a method when the program is executed on a device, presented according to the independent and independent claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • the present invention provides a method for determining a pitching movement of a camera installed in a vehicle, the method comprising the following steps:
  • first image gradient data representing a change in brightness of adjacent pixels of the first camera image along a vertical axis of the first camera image
  • second image gradient data from a second camera image subsequently captured relative to the first camera image
  • the second image gradient data is a brightness change represent adjacent pixels of the second camera image along a vertical axis of the second camera image
  • the vehicle may be a motor vehicle, for example a passenger car, truck or other commercial vehicle.
  • the camera is mounted in the vehicle such that a viewing angle of the camera is directed in the forward or reverse direction of the vehicle.
  • a first camera with a viewing angle in the forward direction of travel and a second camera with a viewing angle in the reverse direction of the vehicle may be provided.
  • an area which lies in the forward direction of travel in front of the vehicle can be recorded.
  • the camera can, for example, the monitoring and / or pursuit of driving ahead
  • the camera may be aligned with its optical axis along a longitudinal axis of the vehicle.
  • Nick movement also referred to as pitch movement, relates to a rotational movement or pivoting of the camera about a transverse axis of the vehicle.
  • the pitching movement causes the optical axis of the camera with respect to the longitudinal axis of the vehicle is pivoted about the transverse axis. Since the camera is mechanically connected to the vehicle, the pitching motion of the camera results from a corresponding movement of the vehicle. Thus, from the pitching motion of the camera conclusions on a movement behavior of the vehicle can be drawn.
  • the present invention further provides a method for controlling a light emission of at least one headlight of a vehicle, wherein a camera is installed in the vehicle, the method comprising the following steps:
  • the above-mentioned method of determining can be advantageously used.
  • the pitching movement of the camera determined by means of the method for determining which is based on a corresponding movement of the vehicle, can be used in the method for controlling in order to set the illumination angle.
  • the angle of illumination can be corrected by the pitching motion.
  • dazzling of vehicles in front or oncoming traffic by the at least one headlight of the vehicle can be reduced or avoided.
  • the present invention further provides an apparatus configured to perform the steps of any of the above methods.
  • the device may comprise devices that are designed to execute one step of the method.
  • this embodiment of the invention in the form of a device, the object underlying the invention can be solved advantageously and efficiently.
  • a device can be understood to mean an electrical device which processes sensor signals and outputs control or data signals in dependence thereon.
  • the device may have an interface which and / or may be formed by software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product with program code which is stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out one of the above-mentioned methods when the program is executed on a device or a control device.
  • a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory
  • the invention is based on the recognition that a determination of the pitching motion of a camera installed in a vehicle can be based on camera images. If, for example, there is a pitching movement of the camera between recording times of two camera images, the pitching motion results in a shift of pixels. In turn, this shift of pixels, for example, can be determined or estimated precisely according to embodiments of the present invention.
  • a pure camera pitch can be determined or estimated, which is not the case with sensor-based determination or estimation.
  • pitch angular velocity sensors for determining the pitching motion of the camera can be dispensed with. This saves parts, costs and weight and avoids a situation where the camera and pitch angle sensors are mounted at different locations and relative to different coordinate systems. Therefore, according to the present invention, a susceptibility to error due to electromagnetic interference or temperature, especially drift or offset, can be eliminated or significantly reduced. Due to the unnecessary, fault-prone sensor, the determination of the pitch angle according to the present invention is free from such disturbances. Furthermore, camera image recording and pitch angle determination can be synchronized, since the determination is based on the existing images.
  • Image gradient data are generated by means of a radon transformation, in particular a radon transformation in the horizontal direction with respect to the relevant camera image.
  • the radon transformation is a
  • the radon transformation can take into account a change in brightness of adjacent pixels from a plurality of columns of pixels.
  • the brightness changes in the several columns of picture elements can be integrated successively, the columns being processed one after the other in the horizontal direction.
  • This embodiment offers the advantage that meaningful image gradient data can be generated on the basis of not only one column of pixels with favorable resource expenditure by means of the radon transformation. Based on the image gradient data generated by radon transformation, an image shift value can be efficiently generated.
  • Image gradient data from a portion of the first camera image and the second image gradient data from a corresponding portion of the second camera image are generated.
  • Invention offers the advantage of significantly reduced required data processing. processing capacity for the generation of the first and second image gradient data, since only a small part of the first and second image needs to be evaluated.
  • the at least one image shift value may be generated by cross-correlation from the first image gradient data and the second image gradient data.
  • the step of generating may include an estimate, and in particular a subpixel accurate estimate.
  • the cross-correlation estimation is highly accurate with high resolution of, for example, less than one pixel (subpixel).
  • a pitch angular velocity can be determined in the step of determining to determine the pitching motion of the camera.
  • This embodiment offers the advantage that the pitching movement in the form of the pitch angle velocity can be determined in an uncomplicated way.
  • a pitch angular velocity may be determined based on the at least one image shift value, a time difference between the first camera image and the second camera image, and a focal length of the camera to determine the pitching motion of the camera.
  • ⁇ may denote the pitch angle velocity as a derivative of a pitch angle change ⁇
  • Ay may denote the at least one image shift value
  • At may designate a time difference between the first camera image and the second camera image
  • f y may designate a focal length of the camera.
  • the subsection of the first camera image and the subsection of the second camera image can be based on a single subarea of a camera sensor.
  • the row positions and column positions of the subsections may be the same with respect to a fixed pixel raster in the camera images.
  • the row positions and column positions of the sections do not change with respect to the fixed pixel matrix from the first camera image to the second camera image.
  • the subsections can be adaptable in one image width and one image height. This embodiment offers the advantage that the resource cost for determining the pitching motion of the camera is reduced because the amount of input data is reduced by using only partial sections of the camera images and not entire camera images in the step of the generator.
  • the subsections of the camera images can be selected such that the subsections have meaningfully evaluable regions of the camera images with regard to the pitching motion of the camera.
  • the method may also include a step of selecting a subsection of the first camera image and a subsection of the second camera image.
  • the step of selecting may be based on a travel of the vehicle and additionally or alternatively based on the least possible influence of the sub-section by the movement of the vehicle.
  • track and / or object detection may include a step of performing track and / or object detection, a step of performing track and / or object tracking and positioning using camera sweep, and a step of driving an actuator an information to z. B. to issue a driver of the vehicle or active and corrective action to intervene.
  • FIG. 2 shows camera images and a partial section of a camera image according to an embodiment of the present invention
  • FIGS. 5 and 6 are flowcharts of methods in accordance with embodiments of the present invention.
  • FIG. 1 shows a vehicle with a control device according to an embodiment of the present invention. Shown are a vehicle 100, a camera 110, a control device 120, a determination device 130, a generation device 140 and a determination device 150.
  • Control device 120 has the determination device 130, the generation device 140 and the determination device 150.
  • the camera 110 and the controller 120 are disposed in the vehicle 100.
  • the camera 1 10 is communicatively connected to the controller 120.
  • the determination device 130 is communicatively connected to the generation device 140 of the control device 120.
  • the generation device 140 is communicatively connected to the determination device 150 of the control device 120.
  • the camera 110 is arranged in the vehicle 100 in such a way that camera images can be received in the forward direction of travel of the vehicle 100 by means of optical devices of the camera 1, even if the arrangement of the camera 1 10 in FIG
  • Vehicle 100 of FIG. 1 does not explicitly appear.
  • the camera images will be discussed further with reference to FIG.
  • the camera 1 10 is connected, for example, via a signal line or the like to the control unit 120.
  • the camera 110 is designed to transmit to the control unit 120 image data representing the camera images.
  • the control device 120 receives the camera images in the form of the image data from the camera 1 10.
  • the control device 120 is designed to determine a pitching movement of the camera 1 10 installed in a vehicle.
  • pairs of successive camera images are processed by the devices 130, 140 and 150 to control device 120.
  • at least one pair of subsequent or successive camera images is processed in the controller 120.
  • a flow of processing in the controller 120 will be explained only for a few such camera images. However, it is evident that the sequence may be repeated for other pairs of such camera images.
  • the generation device 130 is designed to generate first image gradient data from a first camera image.
  • the first image gradient data represent a change in brightness of adjacent pixels of the first camera image along a vertical axis of the first camera image.
  • the Generation device 130 is also designed to generate second image gradient data from a second camera image subsequently recorded with respect to the first camera image.
  • the second image gradient data represent a brightness change of adjacent pixels of the second camera image along a vertical axis of the second camera image.
  • Image gradient data and the second image gradient data are transmitted from the generation device 130 to the generation device 140.
  • the first image gradient data can hereby be transmitted as a first image gradient signal.
  • the second image gradient data may be used as a second
  • Image gradient signal to be transmitted is transmitted.
  • the generator 140 receives the first image gradient data and the second image gradient data from the generator 130.
  • the generator 140 is configured to generate an image shift value using the first image gradient data and the second image gradient data.
  • the image shift value represents a shift of a pixel of the second camera image relative to a corresponding pixel of the first camera image.
  • the generator 140 analyzes the first and second image gradient signals representing the first and second image gradient data to generate the image displacement value.
  • the image shift value is transmitted from the generation device 140 to the determination device 150.
  • the determination device 150 receives the image shift value from the generation device 140.
  • the determination device 150 is configured to determine a pitching movement based on the image shift value in order to determine the pitching movement of the camera.
  • the determination device 150 can calculate a pitch angular velocity from the image shift value and further data, as will be explained below.
  • FIG. 2 shows camera images and a partial section of a camera image according to an exemplary embodiment of the present invention. Shown are a first camera image 212, a second camera image 214, and a subsection 215.
  • the camera images 212, 214 may be captured by a camera such as the camera of FIG.
  • the camera with which the camera images 212, 214 are recorded. may be installed in a vehicle such as the vehicle of FIG. 1.
  • the second camera image 214 is shown partially obscuring the first camera image 212.
  • the first camera image 212 and the second camera image 214 show a similar scene.
  • the scenery can be seen completely.
  • the second camera image 214 shows a road scene from the perspective of a vehicle interior through a windshield of the vehicle in the direction of travel forward.
  • On display are a road with lane markings, a vehicle in front, a bridge spanning the carriageway, as well as buildings and vegetation.
  • the first camera image 212 is recorded, for example, temporally in front of the second camera image 214.
  • the vehicle in which the camera is mounted may have traveled a certain distance and there may have been a pitching movement of the vehicle and / or the camera. Therefore, image data of the camera images 212, 214 and thus also the objects visible in the camera images 212, 214 may differ due to a travel distance of the vehicle and additionally or alternatively a pitching movement of the vehicle and / or the camera.
  • the partial section 215 comprises a partial area of the second camera image 214. Specifically, the partial section 215 comprises a partial area of the second camera image 214 in which the preceding vehicle is depicted. According to the exemplary embodiment illustrated in FIG. 2, the subsection 215 extends from an upper image edge to a lower image edge of the second camera image 214. A height of the subsection 215 thus corresponds here to a height of the second camera image 214. A width of the subsection 215 can for example, may be a fraction of a width of the second camera image 214, as shown in FIG. 2, or may be as high as the width of the second camera image 214, depending on requirements of a particular application.
  • a height of the subsection 215 may be a fraction of a height of the second camera image 214, as shown in FIG. 2, or may be as high as the second camera image 214, depending on the needs of a particular application.
  • the sub-section 215 can in this case by means of a device of a control device, such as the production device or upstream of the generating device of the control device of FIG. 1, be determined.
  • FIG. 3 shows a partial section of a camera image and image gradient data according to an embodiment of the present invention. Shown are a
  • the subsection 215 may be the subsection of the second camera image of FIG. 2.
  • the subsection 215 in FIG. 3 may be changed based on the subsection of the second camera image of FIG. 2, for example, with respect to an image contrast and the like, so that the
  • Image gradient data 330 can be advantageously generated.
  • the image gradient data 330 can be generated from the subsection 215 by means of a suitable device, such as, for example, the generation device of the control device from FIG. 1.
  • image gradient data 330 is shown to the right of subsection 215.
  • the image gradient data 330 represents brightness changes of one or more columns of pixels of the sub-portion 215 from an upper to a lower edge of the sub-portion 215.
  • the image gradient data 330 is shown in FIG. 3 as a graph of brightness values running vertically adjacent to the sub-portion 215 ,
  • deflections of the graph to the left and to the right represent brightness changes between pixels of the subsection 215
  • Image gradient data 330 or the graph of brightness values may be in the form of an image gradient signal.
  • FIG. 4 shows a diagram 400 of a profile 410 of a pitch angular velocity ⁇ of a vehicle-mounted camera over time t and of a course 420 of a pitching angle speed ⁇ of a camera installed in a vehicle, determined in accordance with exemplary embodiments of the present invention over time t.
  • the graph of the sensor 410 obtained in a conventional manner is generated with ground truth data measured by a high-resolution pitch angular velocity sensor or the like.
  • the graph of the pitch angle velocity ⁇ determined according to exemplary embodiments of the present invention can be determined with the control device from FIG.
  • certain course 420 follows the course 410 obtained in a conventional way by means of high-resolution sensors almost exactly.
  • the method 500 has a step of generating 510 first image gradient data from a first camera image and second image gradient data from a second camera image subsequently recorded relative to the first camera image.
  • the first image gradient data represent a brightness change of adjacent pixels of the first camera image along a vertical axis of the first camera image.
  • the second image gradient data represents a change in brightness of adjacent pixels of the second camera image along a vertical axis of the second camera image.
  • the method 500 also includes a step of generating 520 at least one image shift value representing a shift of a pixel of the second camera image relative to a corresponding pixel of the first camera image. The step of generating 520 is done using the first one
  • the method 500 also includes a step of determining 530 a pitching motion based on the at least one image shift value to determine the pitching motion of the camera. Steps 510, 520 and 530 of method 500 may be repeatedly performed to continuously determine pitching motion of the camera based on a plurality of first camera images and second camera images.
  • the method 600 includes a step of determining 610 a pitching motion of a vehicle-mounted camera according to the method for determining a pitching motion of a vehicle-mounted camera according to the embodiment of the present invention illustrated in FIG. 5.
  • the step of determining 610 may include sub-steps corresponding to the steps of the method for determining a pitching movement of a camera installed in a vehicle according to the embodiment shown in FIG. 5.
  • Example of the present invention correspond.
  • the method 600 also includes a step of adjusting 620 a flare angle of the at least one headlight in response to the pitching motion of the camera to control the light emission of the at least one headlight.
  • FIG. 2 shows a typical street scene with a preceding vehicle.
  • two such consecutive camera images 212, 214 are considered.
  • the image area defined by the box is taken into account, for example the subsection 215.
  • a further reduction in redundant information takes place via the one-dimensional gradient in the vertical direction of the respective camera image. It reinforces the horizontal edge information and filters out the vertical information.
  • the dimensional reduction takes place via the one-dimensional radon transformation in the horizontal direction of the subsection of the camera image.
  • the result is a one-dimensional or 1 D signal, as shown in FIG. 3 in the form of the image gradient data 330.
  • This process is performed for the two consecutive camera images 212, 214 at times (t-1) and (t).
  • This shift can be estimated, for example, by the cross-correlation method with decimal precision. So the shift value can be generated. The procedure is as follows
  • Pitch angle velocity The estimated or generated shift of the image by cross-correlation method is y, a camera focal length is f y , a pitch angle change is ⁇ , a picture time difference between two consecutive pictures is ⁇ .
  • the proposed method 500 for determining the pitching movement of the camera 1 10 is applicable to video-based driving assistance functions, the z. B. Use insight (monocular) and stereo vision algorithms.
  • the determination of the pitch angle velocity takes place in this case, for example, in very high resolution with high computational efficiency.
  • the entire camera image 212, 214 is moved vertically up or down. This is considered to be a shift in camera images 212, 214 when two consecutive camera images 212, 214 are affected. For example, if the image shift is estimated with subpixel accuracy, the pitch angle change can be calculated with the same accuracy.
  • the redundant information from the camera images 212, 214 is prefiltered, and the 2D offset is thus further resolved into a 1-D shift of the image to allow real-time computation.
  • a real-time estimation of the pitch movement or pitch angular velocity of the camera 110 and finally a compensation of this movement are made possible.
  • tracking accuracy and estimation of the distance to an object can also be improved.
  • the determination of the pitch angle velocity is carried out, for example, on the basis of visual features and without sensor assistance.
  • Moving object tracking can be achieved by compensating the camera angular velocity. By compensating the camera picking motion, the object tracking accuracy can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Es wird ein Verfahren (500) zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera vorgeschlagen. Das Verfahren (500) weist einen Schritt des Erzeugens (510) erster Bildgradientendaten aus einem ersten Kamerabild, wobei die ersten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des ersten Kamerabildes entlang einer vertikalen Achse des ersten Kamerabildes repräsentieren, und des Erzeugens (510) zweiter Bildgradientendaten aus einem bezüglich des ersten Kamerabildes nachfolgend aufgenommenen, zweiten Kamerabild auf, wobei die zweiten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des zweiten Kamerabildes entlang einer vertikalen Achse des zweiten Kamerabildes repräsentieren. Das Verfahren (500) weist auch einen Schritt des Generierens (520) zumindest eines Bildverschiebungswertes auf, der eine Verschiebung eines Bildpunktes des zweiten Kamerabildes relativ zu einem entsprechenden Bildpunkt des ersten Kamerabildes repräsentiert. Dabei erfolgt das Generieren (520) unter Verwendung der ersten Bildgradientendaten und der zweiten Bildgradientendaten. Das Verfahren (500) weist ferner einen Schritt des Ermittelns (530) einer Nickbewegung basierend auf dem zumindest einen Bildverschiebungswert auf, um die Nickbewegung der Kamera zu bestimmen.

Description

Beschreibung
Titel
Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest ei- nes Frontscheinwerfers eines Fahrzeugs
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera, auf ein Verfahren zur
Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs, auf eine Vorrichtung das ausgebildet ist, um die Schritte eines solchen Verfahrens durchzuführen, sowie auf ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung eines solchen Verfahrens, wenn das Programm auf einer Vorrichtung ausgeführt wird.
Eine der wichtigsten Sicherheitsfunktionen, die in einem modernen videobasierten Fahrerassistenzsystem zur Verfügung steht, ist die Verfolgung bzw. Tracking und Positionsschätzung der vorausfahrenden Fahrzeuge bzw. Hindernisse in
Fahrtrichtung, um im Fall von gefährlich geringen bzw. schrumpfenden Abständen die automatische Vollbremsung des Fahrzeugs einzuleiten. Die Genauigkeit der Verfolgung sowie des Abstandes zu dem Fahrzeug bzw. Hindernis hängt hauptsächlich von der Eigenbewegung, d. h. den Bewegungsparametern, der Kamera zu diesem speziellen Zeitpunkt ab. Die Nickbewegung der Kamera be- einflusst die Schätzung des Abstandes zu dem Objekt stark. Auch lässt sich beobachten, dass die Empfindlichkeit für den Nickwinkel bzw. Pitch-Winkel sehr hoch ist und eine geringe Veränderung des Nickwinkels einen großen Fehler bei der Abstandsschätzung hervorrufen kann. Die meisten bekannten Systeme zur Bestimmung einer Nickbewegung einer fahrzeuginternen Kamera stützen sich für gewöhnlich auf am Chassis montierte Nickwinkelgeschwindigkeitssensoren. In der DE 10 2007 041 781 B4 ist eine Fahrzeugerkennungsvorrichtung zur Erkennung von Fahrzeugen offenbart, wobei die Fahrzeuge mit eingeschaltetem Licht auf einer Fahrbahn fahren.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit der vorliegenden Erfindung ein verbessertes Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera, ein verbessertes Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs, eine verbesserte Vorrichtung, das ausgebildet ist, um die Schritte eines solchen Verfahrens durchzuführen, sowie ein verbessertes Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung eines solchen Verfahrens, wenn das Programm auf einer Vorrichtung ausgeführt wird, gemäß den unabhängigen und nebengeordneten Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die vorliegende Erfindung schafft ein Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera, wobei das Verfahren folgende Schritte aufweist:
Erzeugen erster Bildgradientendaten aus einem ersten Kamerabild, wobei die ersten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des ersten Kamerabildes entlang einer vertikalen Achse des ersten Kamerabildes repräsentieren, und Erzeugen zweiter Bildgradientendaten aus einem bezüglich des ersten Kamerabildes nachfolgend aufgenommenen, zweiten Kamerabild, wobei die zweiten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des zweiten Kamerabildes entlang einer vertikalen Achse des zweiten Kamerabildes repräsentieren;
Generieren zumindest eines Bildverschiebungswertes, der eine Verschiebung eines Bildpunktes des zweiten Kamerabildes relativ zu einem entsprechenden Bildpunkt des ersten Kamerabildes repräsentiert, wobei das Generieren unter Verwendung der ersten Bildgradientendaten und der zweiten
Bildgradientendaten erfolgt; und
Ermitteln einer Nickbewegung basierend auf dem zumindest einen Bildverschie- bungswert, um die Nickbewegung der Kamera zu bestimmen.
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug, beispielsweise einen Personenkraftwagen, Lastkraftwagen oder ein sonstiges Nutzfahrzeug handeln. Die Kamera ist in dem Fahrzeug so angebracht, dass ein Blickwinkel der Kamera in Vorwärtsfahrtrichtung oder in Rückwärtsfahrtrichtung des Fahrzeugs gerichtet ist.
Auch können eine erste Kamera mit einem Blickwinkel in Vorwärtsfahrtrichtung und eine zweite Kamera mit einem Blickwinkel in Rückwärtsfahrtrichtung des Fahrzeugs vorgesehen sein. Mittels der Kamera kann ein Bereich, der in Vorwärtsfahrtrichtung vor dem Fahrzeug liegt, aufgenommen werden. Die Kamera kann beispielsweise der Überwachung und/oder Verfolgung vorausfahrender
Fahrzeuge bzw. vor dem Fahrzeug befindlicher Objekte dienen. Die Kamera kann mit ihrer optischen Achse entlang einer Längsachse des Fahrzeugs ausgerichtet sein. Die Nickbewegung, auch Pitch-Bewegung genannt, betrifft eine rotatorische Bewegung bzw. Verschwenkung der Kamera um eine Querachse des Fahrzeugs. Die Nickbewegung bewirkt, dass die optische Achse der Kamera bezüglich der Längsachse des Fahrzeugs um die Querachse verschwenkt wird. Da die Kamera mechanisch mit dem Fahrzeug verbunden ist, resultiert die Nickbewegung der Kamera aus einer entsprechenden Bewegung des Fahrzeugs. Somit lassen sich aus der Nickbewegung der Kamera auch Rückschlüsse auf ein Bewegungsverhalten des Fahrzeugs ziehen. Eine translatorische Bewegung der
Kamera entlang einer Hochachse des Fahrzeugs kann ebenfalls eine Bildverschiebung bewirken, kann jedoch einen vernachlässigbaren Betrag aufweisen. Das erste Kamerabild und das zweite Kamerabild können direkt aufeinanderfolgende Kamerabilder sein oder es kann zwischen dem ersten Kamerabild und dem zweiten Kamerabild zumindest ein Zwischenbild von der Kamera aufgenommen werden. Die Bildgradientendaten repräsentieren eine Helligkeitsveränderung entlang zumindest einer vertikalen Reihe bzw. Spalte von Bildpunkten. Bei den Bildpunkten kann es sich um so genannte Pixel oder Bildpixel handeln. Die ersten Bildgradientendaten können durch ein erstes Signal repräsentiert sein. Die zweiten Bildgradientendaten können durch ein zweites Signal repräsentiert sein. Der Bildverschiebungswert gibt an, ob zwischen einem Aufnahmezeitpunkt des ersten Kamerabildes und einem Aufnahmezeitpunkt des zweiten Kamerabildes eine Nickbewegung der Kamera stattgefunden hat und wie groß die Nickbewegung ist. Die vorliegende Erfindung schafft ferner ein Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs, wobei in dem Fahrzeug eine Kamera verbaut ist, wobei das Verfahren folgende Schritte aufweist:
Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera nach dem oben genannten Verfahren; und
Einstellen eines Leuchtwinkels des zumindest eines Frontscheinwerfers in Abhängigkeit von der Nickbewegung der Kamera, um die Lichtaussendung des zu mindest eines Frontscheinwerfers zu steuern.
In Verbindung mit dem Verfahren zur Steuerung kann das oben genannte Verfahren zum Bestimmen vorteilhaft eingesetzt werden. Dabei kann die mittels des Verfahrens zum Bestimmen bestimmte Nickbewegung der Kamera, die auf einer entsprechenden Bewegung des Fahrzeugs beruht, bei dem Verfahren zur Steuerung eingesetzt werden, um den Leuchtwinkel einzustellen. Dabei kann der Leuchtwinkel um die Nickbewegung korrigiert werden. So kann beispielsweise eine Blendung von vorausfahrenden Fahrzeugen oder Gegenverkehr durch den zumindest einen Frontscheinwerfer des Fahrzeugs verringert oder vermieden werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte eines der oben genannten Verfahren durchzuführen bzw. umzusetzen. Insbesondere kann die Vorrichtung Einrichtungen aufweisen, die ausgebil- det sind, um je einen Schritt eines des Verfahrens auszuführen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe vorteilhaft und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden wer- den, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten Sys- tem-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung eines der oben genannten Verfahren verwendet wird, wenn das Programm auf einer Vorrichtung oder einem Steuergerät ausgeführt wird.
Die Erfindung basiert auf der Erkenntnis, dass eine Bestimmung der Nickbewegung einer in einem Fahrzeug verbauten Kamera basierend auf Kamerabildern erfolgen kann. Wenn beispielsweise zwischen Aufnahmezeitpunkten zweier Kamerabilder eine Nickbewegung der Kamera erfolgt, so hat die Nickbewegung ei- ne Verschiebung von Bildpunkten zur Folge. Diese Verschiebung von Bildpunkten wiederum kann beispielsweise gemäß Ausführungsformen der vorliegenden Erfindung ermittelt bzw. Präzise geschätzt werden.
Vorteilhafterweise kann gemäß der vorliegenden Erfindung eine reine Kamera- nickbewegung bestimmt bzw. geschätzt werden, was bei sensorbasierter Bestimmung bzw. Schätzung nicht der Fall ist. Gemäß der vorliegenden Erfindung kann somit beispielsweise auf Nickwinkelgeschwindigkeitssensoren zur Bestimmung der Nickbewegung der Kamera verzichtet werden. Dies spart Teile, Kosten und Gewicht und vermeidet eine Situation, bei der Kamera und Nickwinkelge- schwindigkeitssensoren an unterschiedlichen Stellen und relativ zu unterschiedlichen Koordinatensystemen montiert sind. Daher kann gemäß der vorliegenden Erfindung eine Fehleranfälligkeit aufgrund von elektromagnetischer Interferenz oder Temperatur, insbesondere Drift oder Versatz, beseitigt oder deutlich reduziert werden. Aufgrund der nicht erforderlichen, störungsanfälligen Sensorik ist die Bestimmung des Nickwinkels gemäß der vorliegenden Erfindung frei von solchen Störungen. Ferner können Kamerabildaufnahme und Nickwinkelbestim- mung synchronisiert sein, da die Bestimmung auf den aktuell bestehenden Bildern beruht. Durch die Verwendung von Bildgradientensummendaten anstelle der gesamten Bilddaten eines Kamerabildes ergeben sich zudem eine Verringerung redundanter Informationen und somit auch erforderlicher Rechenressourcen sowie eine Steigerung der Recheneffizienz. Somit kann eine von der Kamera zu erfüllende Aufgabe, beispielsweise eine Objektverfolgung, verbessert werden. Durch eine Kompensation der Kameranickbewegung bzw. Kameranickwinkelgeschwindigkeit ergeben sich die Verbesserung der Objektverfolgung, z. B. der Bewegtobjektverfolgung, sowie eine Verbesserung der Objektverfolgungsgenau- igkeit. Dies weist auch zum Beispiel in Verbindung mit Spurerkennungsalgorithmen mit der Zielfunktion Spurverlassenswarnung und Spurhalteunterstützung, und/oder Objekterkennung, bzw. der Erkennung von Fahrzeugen, Personen, Verkehrsschildern und dergleichen, vorteilhafte Auswirkungen auf. In Verbindung mit einer Rückfahrkamera beispielsweise kann eine Spurverlassenswarnung und/oder Spurhalteunterstützung verbessert werden.
Dabei können im Schritt des Erzeugens die ersten und/oder zweiten
Bildgradientendaten mittels einer Radon-Transformation erzeugt werden, insbesondere einer Radon-Transformation in horizontaler Richtung in Bezug auf das betreffende Kamerabild. Bei der Radon-Transformation handelt es sich um eine
Integraltransformation. Hierbei kann die Radon-Transformation eine Helligkeitsveränderung benachbarter Bildpunkte aus mehreren Spalten von Bildpunkten berücksichtigen. Hierbei können die Helligkeitsveränderungen in den mehreren Spalten von Bildpunkten nacheinander auf integriert werden, wobei in horizonta- ler Richtung die Spalten nacheinander abgearbeitet werden. Diese Ausführungsform bietet den Vorteil, dass mittels der Radon-Transformation aussagekräftige Bildgradientendaten auf Basis nicht nur einer Spalte von Bildpunkten bei günstigem Ressourcenaufwand erzeugt werden können. Basierend auf denen mittels Radon-Transformation erzeugten Bildgradientendaten kann ein Bildverschie- bungswert effizient generiert werden.
Günstig ist es ferner, wenn im Schritt des Erzeugens die ersten
Bildgradientendaten aus einem Teilbereich des ersten Kamerabildes und die zweiten Bildgradientendaten aus einem entsprechenden Teilbereich des zweiten Kamerabild erzeugt werden. Eine derartige Ausführungsform der vorliegenden
Erfindung bietet den Vorteil einer deutlich reduzierten erforderlichen Datenverar- beitungskapazitat für die Erzeugung der ersten und zweiten Bildgradientendaten, da lediglich ein kleiner Teil des ersten und zweiten Bildes ausgewertet werden braucht.
Auch kann im Schritt des Generierens der zumindest ein Bildverschiebungswert mittels einer Kreuzkorrelation aus den ersten Bildgradientendaten und den zweiten Bildgradientendaten generiert werden. Hierbei kann der Schritt des Generierens eine Schätzung aufweisen, und insbesondere eine subpixelgenaue Schätzung. Die Schätzung auf Basis der Kreuzkorrelation ist hochgenau mit hoher Auflösung von beispielsweise weniger als einem Bildpunkt (Subpixel).
Es kann im Schritt des Ermitteins eine Nickwinkelgeschwindigkeit ermittelt werden, um die Nickbewegung der Kamera zu bestimmen. Diese Ausführungsform bietet den Vorteil, dass die Nickbewegung in Form der Nickwinkelgeschwindigkeit auf unkomplizierte Weise bestimmt werden kann.
Hierbei kann im Schritt des Ermitteins eine Nickwinkelgeschwindigkeit basierend auf dem zumindest einen Bildverschiebungswert, auf einer Zeitdifferenz zwischen dem ersten Kamerabild und dem zweiten Kamerabild und auf einer Brennweite der Kamera ermittelt werden, um die Nickbewegung der Kamera zu bestimmen. Diese Ausführungsform bietet den Vorteil, dass basierend auf den oben genannten Eingangsgrößen die Nickwinkelgeschwindigkeit auf einfache und genaue Weise ermittelt werden kann.
Insbesondere kann im Schritt des Ermitteins eine Nickwinkelgeschwindigkeit gemäß der Formel
Ay
δθ
Atfy
ermittelt werden, um die Nickbewegung der Kamera zu bestimmen. Dabei kann δθ die Nickwinkelgeschwindigkeit als Ableitung einer Nickwinkeländerung δθ bezeichnen, Ay den zumindest einen Bildverschiebungswert bezeichnen, At eine Zeitdifferenz zwischen dem ersten Kamerabild und dem zweiten Kamerabild bezeichnen und fy eine Brennweite der Kamera bezeichnen. Diese Ausführungsform bietet den Vorteil, dass die Nickwinkelgeschwindigkeit mittels der obigen Formel zuverlässig und berechnungseffizient ermittelt werden kann. Günstig ist es auch, wenn im Schritt des Erzeugens die ersten Bildgradientendaten aus einem Teilabschnitt des ersten Kamerabildes erzeugt werden und die zweiten Bildgradientendaten aus einem Teilabschnitt des zweiten Kamerabildes erzeugt werden. Hierbei können der Teilabschnitt des ersten Kamerabildes und der Teilabschnitt des zweiten Kamerabildes auf einem einzigen Teilbereich eines Kamerasensors basieren. Somit können die Zeilenpositionen und Spaltenpositionen der Teilabschnitte bezüglich eines unveränderlichen Bildpunkterasters in den Kamerabildern gleich sein. Die Zeilenpositionen und Spaltenpositionen der Teilabschnitte verändern sich bezüglich des unveränderlichen Bildpunkterasters von dem ersten Kamerabild zu dem zweiten Kamerabild nicht. Die Teilabschnitte können in einer Bildbreite und einer Bildhöhe anpassbar sein. Diese Ausführungsform bietet den Vorteil, dass der Ressourcenaufwand für die Bestimmung der Nickbewegung der Kamera verringert wird, da die Eingangsdatenmenge reduziert wird, indem lediglich Teilabschnitte der Kamerabilder und nicht ganze Kamerabilder im Schritt des Erzeugers herangezogen werden. Zudem können die Teilabschnitte der Kamerabilder so gewählt sein, dass die Teilabschnitte hinsichtlich der Nickbewegung der Kamera aussagekräftig auswertbare Bereiche der Kamerabilder aufweisen.
Das Verfahren kann auch einen Schritt des Auswählens eines Teilabschnitts aus dem ersten Kamerabild und eines Teilabschnitts aus dem zweiten Kamerabild aufweisen. Der Schritt des Auswählens kann basierend auf einer Fortbewegung des Fahrzeugs und zusätzlich oder alternativ basierend auf einer möglichst geringen Beeinflussung des Teilabschnitts durch die Fortbewegung des Fahrzeugs erfolgen.
Beispielhaft kann eine Spur- und/oder Objekterkennung einen Schritt des Durchführens einer Spur- und/oder Objektdetektion, einen Schritt des Ausführens von Spur- und/oder Objekttracking und Positionierung mit Hilfe der Kamerabeweung bzw. Nickwinkelgeschwindigkeit und einen Schritt des Ansteuerns einer Aktorik, um eine Information an z. B. einen Fahrer des Fahrzeugs auszugeben oder aktiv und korrigierend einzugreifen, aufweisen.
Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: Fig. 1 ein Fahrzeug mit einem Steuergerät gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 Kamerabilder und einen Teilabschnitt eines Kamerabildes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 einen Teilabschnitt eines Kamerabildes sowie Bildgradientendaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; Fig. 4 ein Diagramm eines mittels Sensorik auf herkömmliche Weise gewonnenen Nickwinkelgeschwindigkeitsverlaufs und eines gemäß Ausführungsbeispielen der vorliegenden Erfindung bestimmten Nickwinkelge- schwindigkeitsverlaufs; und Figuren 5 und 6 Ablaufdiagramme von Verfahren gemäß Ausführungsbeispielen der vorliegenden Erfindung.
Gleiche oder ähnliche Elemente können in den Figuren durch gleiche oder ähnliche Bezugszeichen versehen sein, wobei auf eine wiederholte Beschreibung verzichtet wird. Ferner enthalten die Figuren der Zeichnungen, deren Beschreibung sowie die Ansprüche zahlreiche Merkmale in Kombination. Einem Fachmann ist dabei klar, dass diese Merkmale auch einzeln betrachtet werden oder sie zu weiteren, hier nicht explizit beschriebenen Kombinationen zusammenge- fasst werden können. Weiterhin ist die Erfindung in der nachfolgenden Beschrei- bung eventuell unter Verwendung von unterschiedlichen Maßen und Dimensionen erläutert, wobei die Erfindung nicht auf diese Maße und Dimensionen eingeschränkt zu verstehen ist. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwi- sehen einem ersten Merkmal/Schritt und einem zweiten Merkmal/Schritt, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal / den ersten Schritt als auch das zweite Merkmal /den zweiten Schritt und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal /Schritt oder nur das zweite Merkmal /Schritt auf- weist. Fig. 1 zeigt ein Fahrzeug mit einem Steuergerät gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind ein Fahrzeug 100, eine Kamera 1 10, ein Steuergerät 120, eine Bestimmungseinrichtung 130, eine Generierungs- einrichtung 140 und eine Ermittlungseinrichtung 150. Steuergerät 120 weist die Bestimmungseinrichtung 130, die Generierungseinrichtung 140 und die Ermittlungseinrichtung 150 auf. Die Kamera 1 10 und das Steuergerät 120 sind in dem Fahrzeug 100 angeordnet. Die Kamera 1 10 ist mit dem Steuergerät 120 kommunikativ verbunden. Die Bestimmungseinrichtung 130 ist mit der Generierungseinrichtung 140 des Steuergeräts 120 kommunikativ verbunden. Die Generierungs- einrichtung 140 ist mit der Ermittlungseinrichtung 150 des Steuergeräts 120 kommunikativ verbunden.
Die Kamera 1 10 ist in dem Fahrzeug 100 so angeordnet, dass mittels optischer Einrichtungen der Kamera 1 10 Kamerabilder in Vorwärtsfahrtrichtung des Fahr- zeugs 100 aufnehmbar sind, auch wenn die Anordnung der Kamera 1 10 in dem
Fahrzeug 100 aus Fig. 1 nicht explizit hervorgeht. Auf die Kamerabilder wird unter Bezugnahme auf Fig. 2 noch weiter eingegangen. Die Kamera 1 10 ist beispielsweise über eine Signalleitung oder dergleichen mit dem Steuergerät 120 verbunden. Die Kamera 1 10 ist ausgebildet, um an das Steuergerät 120 Bildda- ten zu übermitteln, welche die Kamerabilder repräsentieren.
Das Steuergerät 120 empfängt die Kamerabilder in Gestalt der Bilddaten von der Kamera 1 10. Das Steuergerät 120 ist zum Bestimmen einer Nickbewegung der in einem Fahrzeug verbauten Kamera 1 10 ausgebildet. Dazu werden beispiels- weise Paare aufeinanderfolgender Kamerabilder von den Einrichtungen 130, 140 und 150 bis Steuergerät 120 verarbeitet. Anders ausgedrückt wird zumindest ein Paar nachfolgender oder aufeinanderfolgender Kamerabilder in dem Steuergerät 120 verarbeitet. Im Folgenden wird ein Ablauf der Verarbeitung in dem Steuergerät 120 lediglich für ein paar solcher Kamerabilder erläutert. Es ist jedoch ersicht- lieh, dass sich der Ablauf für weitere Paare solcher Kamerabilder wiederholen kann.
Die Erzeugungseinrichtung 130 ist ausgebildet, um erste Bildgradientendaten aus einem ersten Kamerabild zu erzeugen. Die ersten Bildgradientendaten re- präsentieren dabei eine Helligkeitsveränderung benachbarter Bildpunkte des ersten Kamerabildes entlang einer vertikalen Achse des ersten Kamerabildes. Die Erzeugungseinrichtung 130 ist auch ausgebildet, um zweite Bildgradientendaten aus einem bezüglich des ersten Kamerabildes nachfolgend aufgenommenen, zweiten Kamerabild zu erzeugen. Die zweiten Bildgradientendaten repräsentieren eine Helligkeitsveränderung benachbarter Bildpunkte des zweiten Kamera- bildes entlang einer vertikalen Achse des zweiten Kamerabildes. Die ersten
Bildgradientendaten und die zweiten Bildgradientendaten werden von der Erzeugungseinrichtung 130 an die Generierungseinrichtung 140 übertragen. Die ersten Bildgradientendaten können hierbei als ein erstes Bildgradientensignal übertragen werden. Die zweiten Bildgradientendaten können als ein zweites
Bildgradientensignal übertragen werden.
Die Generierungseinrichtung 140 empfängt die ersten Bildgradientendaten und die zweiten Bildgradientendaten von der Erzeugungseinrichtung 130. Die Generierungseinrichtung 140 ist ausgebildet, um unter Verwendung der ersten Bildgradientendaten und der zweiten Bildgradientendaten einen Bildverschiebungswert zu generieren. Der Bildverschiebungswert repräsentiert eine Verschiebung eines Bildpunktes des zweiten Kamerabildes relativ zu einem entsprechenden Bildpunkt des ersten Kamerabildes. Mit anderen Worten analysiert die Generierungseinrichtung 140 das erste und das zweite Bildgradientensignal, welche die ersten und die zweiten Bildgradientendaten repräsentieren, um den Bildverschiebungswert zu generieren. Der Bildverschiebungswert wird von der Generierungseinrichtung 140 an die Ermittlungseinrichtung 150 übertragen.
Die Ermittlungseinrichtung 150 empfängt den Bildverschiebungswert von der Generierungseinrichtung 140. Die Ermittlungseinrichtung 150 ist ausgebildet, um eine Nickbewegung basierend auf dem Bildverschiebungswert zu ermitteln, um die Nickbewegung der Kamera zu bestimmen. Insbesondere kann die Ermittlungseinrichtung 150 hierbei aus dem Bildverschiebungswert und weiteren Daten eine Nickwinkelgeschwindigkeit berechnen, wie es unten noch weiter erläutert wird.
Fig. 2 zeigt Kamerabilder und einen Teilabschnitt eines Kamerabildes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind ein erstes Kamerabild 212, ein zweites Kamerabild 214 und ein Teilabschnitt 215. Die Kamerabilder 212, 214 können mittels einer Kamera wie der Kamera aus Fig. 1 aufgenommen sein. Die Kamera, mit der die Kamerabilder 212, 214 aufgenom- men sind, kann in einem Fahrzeug verbaut sein, wie dem Fahrzeug aus Fig. 1. In Fig. 2 ist das zweite Kamerabild 214 das erste Kamerabild 212 teilweise verdeckend bzw. überlagernd gezeigt. Es ist jedoch aus Fig. 2 zu erkennen, dass das erste Kamerabild 212 und das zweite Kamerabild 214 eine ähnliche Szenerie zeigen. In dem zweiten Kamerabild 214 ist die Szenerie vollständig zu erkennen.
Das zweite Kamerabild 214 zeigt eine Straßenszenerie aus der Perspektive von einem Fahrzeuginnenraum durch eine Frontscheibe des Fahrzeugs hindurch in Fahrtrichtung nach vorne. Gezeigt sind ein Straßenverlauf mit Fahrbahnmarkierungen, ein vorausfahrendes Fahrzeug, eine die Fahrbahn überspannende Brü- cke sowie Bebauung und Vegetation.
Das erste Kamerabild 212 ist beispielsweise zeitlich vor dem zweiten Kamerabild 214 aufgenommen. Zwischen einem Aufnahmezeitpunkt des ersten Kamerabildes 212 und einem Aufnahmezeitpunkt des zweiten Kamerabildes 214 kann sich das Fahrzeug, in dem die Kamera montiert ist, um eine bestimmte Strecke fortbewegt haben und es kann zu einer Nickbewegung des Fahrzeugs und/oder der Kamera gekommen sein. Daher können sich Bilddaten der Kamerabilder 212, 214 und somit auch die in den Kamerabildern 212, 214 sichtbaren Objekte aufgrund einer Fortbewegungsstrecke des Fahrzeugs und zusätzlich oder alternativ einer Nickbewegung des Fahrzeugs und/oder der Kamera unterscheiden.
Der Teilabschnitt 215 umfasst einen Teilbereich des zweiten Kamerabildes 214. Genau gesagt umfasst der Teilabschnitt 215 einen Teilbereich des zweiten Kamerabildes 214, in dem das vorausfahrende Fahrzeug abgebildet ist. Der Teilab- schnitt 215 erstreckt sich gemäß dem in Fig. 2 dargestellten Ausführungsbeispiel von einem oberen Bildrand bis zu einem unteren Bildrand des zweiten Kamerabildes 214. Eine Höhe des Teilabschnitts 215 entspricht somit hier einer Höhe des zweiten Kamerabildes 214. Eine Breite des Teilabschnitts 215 kann beispielsweise einen Bruchteil einer Breite des zweiten Kamerabildes 214 betragen, wie es in Fig. 2 gezeigt ist, oder kann bis hin zu der Breite des zweiten Kamerabildes 214 betragen, abhängig von Erfordernissen einer speziellen Anwendung. Eine Höhe des Teilabschnitts 215 kann beispielsweise einen Bruchteil einer Höhe des zweiten Kamerabildes 214 betragen, wie es in Fig. 2 gezeigt ist, oder kann bis hin zu der Höhe des zweiten Kamerabildes 214 betragen, abhängig von Erfordernissen einer speziellen Anwendung. Der Teilabschnitt 215 kann hierbei mittels einer Einrichtung eines Steuergeräts, wie beispielsweise der Erzeugungs- einrichtung oder einer der Erzeugungseinrichtung vorgeschalteten Einrichtung des Steuergeräts aus Fig. 1 , bestimmt sein.
Fig. 3 zeigt einen Teilabschnitt eines Kamerabildes sowie Bildgradientendaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind ein
Teilabschnitt 215 eines Kamerabildes und Bildgradientendaten 330 in Gestalt eines Graphen von Helligkeitswerten bzw. eines Bildgradientensignals. Bei dem Teilabschnitt 215 kann es sich um den Teilabschnitt des zweiten Kamerabildes aus Fig. 2 handeln. Der Teilabschnitt 215 in Fig. 3 kann jedoch basierend auf dem Teilabschnitt des zweiten Kamerabildes aus Fig. 2 beispielsweise hinsichtlich eines Bildkontrastes und dergleichen verändert sein, so dass die
Bildgradientendaten 330 vorteilhaft erzeugt werden können. Aus dem Teilabschnitt 215 können mittels einer geeigneten Einrichtung, wie beispielsweise der Erzeugungseinrichtung des Steuergeräts aus Fig. 1 , die Bildgradientendaten 330 erzeugt sein. In Fig. 3 sind Bildgradientendaten 330 rechts neben dem Teilabschnitt 215 dargestellt. Die Bildgradientendaten 330 repräsentieren Helligkeitswerte bzw. Helligkeitsveränderungen von einer oder mehreren Spalten von Bildpunkten des Teilabschnitts 215 von einem oberen bis zu einem unteren Rand des Teilabschnitts 215. Die Bildgradientendaten 330 sind in Fig. 3 als ein vertikal neben dem Teilabschnitt 215 verlaufender Graph von Helligkeitswerten gezeigt.
Dabei repräsentieren Ausschläge des Graphen nach links und rechts Helligkeitsveränderungen zwischen Bildpunkten des Teilabschnitts 215. Die
Bildgradientendaten 330 bzw. der Graph von Helligkeitswerten können in Gestalt eines Bildgradientensignals vorliegen.
Fig. 4 zeigt ein Diagramm 400 eines mittels Sensorik auf herkömmliche Weise gewonnenen Verlaufs 410 einer Nickwinkelgeschwindigkeit δθ einer in einem Fahrzeug verbauten Kamera über der Zeit t und eines gemäß Ausführungsbeispielen der vorliegenden Erfindung bestimmten Verlaufs 420 einer Nickwinkelge- schwindigkeit δθ einer in einem Fahrzeug verbauten Kamera über der Zeit t. Der
Graph des mittels Sensorik auf herkömmliche Weise gewonnenen Verlaufs 410 ist beispielsweise mit Ground-Truth-Daten erzeugt, gemessen durch einen hochauflösenden Nickwinkelgeschwindigkeitssensor oder dergleichen. Der Graph des gemäß Ausführungsbeispielen der vorliegenden Erfindung bestimmten Verlaufs 420 der Nickwinkelgeschwindigkeit δθ kann mit dem Steuergerät aus Fig. 1 bestimmt sein. Hier ist zu erkennen, dass der gemäß Ausführungsbeispielen der vorliegenden Erfindung bestimmte Verlauf 420 dem mittels hochauflösender Sensorik auf herkömmliche Weise gewonnenen Verlauf 410 beinahe exakt folgt.
Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 500 weist einen Schritt des Erzeugens 510 erster Bildgradientendaten aus einem ersten Kamerabild und zweiter Bildgradientendaten aus einem bezüglich des ersten Kamerabildes nachfolgend aufgenommenen, zweiten Kamerabild auf. Dabei repräsentieren die ersten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des ersten Kamerabildes entlang einer vertikalen Achse des ersten Kamerabildes. Die zweiten Bildgradientendaten repräsentieren eine Helligkeitsveränderung benachbarter Bildpunkte des zweiten Kamerabildes entlang einer vertikalen Achse des zweiten Kamerabildes. Das Verfahren 500 weist auch einen Schritt des Generierens 520 zumindest eines Bildverschiebungswertes auf, der eine Verschiebung eines Bildpunktes des zweiten Kamerabildes relativ zu einem entsprechenden Bildpunkt des ersten Kamerabildes repräsentiert. Dabei erfolgt der Schritt des Generierens 520 unter Verwendung der ersten
Bildgradientendaten und der zweiten Bildgradientendaten. Das Verfahren 500 weist auch einen Schritt des Ermitteins 530 einer Nickbewegung basierend auf dem zumindest einen Bildverschiebungswert auf, um die Nickbewegung der Kamera zu bestimmen. Die Schritte 510, 520 und 530 des Verfahrens 500 können wiederholt ausgeführt werden, um eine Nickbewegung der Kamera kontinuierlich basierend auf einer Mehrzahl von ersten Kamerabildern und zweiten Kamerabildern zu bestimmen.
Fig. 6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs, wobei in dem Fahrzeug eine Kamera verbaut ist, gemäß einem Ausführungsbeispiel der vorlie- genden Erfindung. Das Verfahren 600 weist einen Schritt des Bestimmens 610 einer Nickbewegung einer in einem Fahrzeug verbauten Kamera nach dem Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera gemäß dem in Fig. 5 dargestellten Ausführungsbeispiel der vorliegenden Erfindung auf. Somit kann der Schritt des Bestimmens 610 Teilschritte aufwei- sen, die den Schritten des Verfahrens zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera gemäß dem in Fig. 5 dargestellten Ausfüh- rungsbeispiel der vorliegenden Erfindung entsprechen. Das Verfahren 600 weist auch einen Schritt des Einstellens 620 eines Leuchtwinkels des zumindest eines Frontscheinwerfers in Abhängigkeit von der Nickbewegung der Kamera auf, um die Lichtaussendung des zumindest eines Frontscheinwerfers zu steuern.
Unter Bezugnahme auf die Figuren 1 bis 6 werden im Folgenden verschiedene Ausführungsbeispiele der vorliegenden Erfindung zusammenfassend erläutert. Fig. 2 zeigt eine typische Straßenszene mit einem vorausfahrenden Fahrzeug. Um die Kamerabewegung bzw Bildverschiebung zu bestimmen, werden zwei solche aufeinanderfolgenden Kamerabilder 212, 214 betrachtet. Auch wird lediglich der durch den Kasten abgegrenzte Bildbereich berücksichtigt, beispielsweise der Teilabschnitt 215. Eine weitere Verringerung redundante Informationen erfolgt über den eindimensionalen Gradienten in vertikaler Richtung des jeweiligen Kamerabildes. Darin werden die horizontalen Kanteninformationen verstärkt und die vertikalen Informationen herausgefiltert. Ferner erfolgt die Dimensionsreduzierung über die eindimensionale Radon-Transformation in horizontaler Richtung des Teilabschnitts des Kamerabildes. Man erhält im Ergebnis ein eindimensionales bzw. 1 D-Signal, wie es in der Fig. 3 in Gestalt der Bildgradientendaten 330 gezeigt ist. Dieser Prozess wird für die zwei aufeinanderfolgenden Kamerabilder 212, 214 zu Zeitpunkten (t-1 ) und (t) ausgeführt. Wenn man zwei aufeinanderfolgende 1 D-Signale bzw. Bildgradientendaten 330 beobachtet, ist zu erkennen, dass diese zwei Signale relativ zueinander leicht verschoben sind. Diese Verschiebung kann beispielsweise durch das Kreuzkorrelationsverfahren mit Nach- kommastellengenauigkeit geschätzt werden. So kann der Verschiebungswert generiert werden. Gemäß der folgenden Methode wird vorgegangen, um die
Nickwinkelgeschwindigkeit zu bestimmen. Die geschätzte bzw. generierte Verschiebung des Bildes mittels Kreuzkorrelationsverfahren sei y, eine Kamerabrennweite sei fy, eine Nickwinkeländerung sei δθ, eine Bildzeitdifferenz zwischen zwei aufeinanderfolgenden Bildern sei Δί. So ergibt sich die Nickwinkelge- schwindigkeit gemäß der folgenden Formel: δθ = *- .
Atfy
Das vorgeschlagene Verfahren 500 zum Bestimmen der Nickbewegung der Kamera 1 10 ist auf videobasierte Fahrassistenzfunktionen anwendbar, die z. B. Einblick- (monokulare) und Stereosicht-Algorithmen nutzen. Die Ermittlung der Nickwinkelgeschwindigkeit erfolgt hierbei zum Beispiel in sehr hoher Auflösung mit hoher Recheneffizienz. Normalerweise wird aufgrund der Nickbewegung der Kamera 1 10 das gesamte Kamerabild 212, 214 vertikal nach oben oder nach unten bewegt. Dies wird als eine Verschiebung in der Kamerabildern 212, 214 betrachtet, wenn zwei aufeinanderfolgende Kamerabilder 212, 214 betroffen sind. Wird die Bildverschiebung beispielsweise mit Subpixelgenauigkeit geschätzt, so kann die Änderung des Nickwinkels mit der gleichen Genauigkeit berechnet werden. Die redundanten Informationen der Kamerabilder 212, 214 werden vorgefiltert, und die 2D-Verschiebung wird somit weiter in eine 1 D-Verschiebung des Bildes aufgelöst, um eine Berechnung in Echtzeit zu ermöglichen.
Gemäß Ausführungsbeispielen der vorliegenden Erfindung werden eine Echtzeitschätzung der Nickbewegung bzw. Nickwinkelgeschwindigkeit der Kamera 1 10 und schließlich eine Kompensation dieser Bewegung ermöglicht. So kann beispielsweise auch eine Verfolgungsgenauigkeit und Schätzung des Abstandes zu einem Objekt verbessert werden. Die Bestimmung der Nickwinkelgeschwindigkeit wird dabei beispielsweise anhand visueller Merkmale und ohne Sensorunterstützung ausgeführt. Somit kann eine Verbesserung einer
Bewegtobjektverfolgung durch eine Kompensation der Kameranickwinkelgeschwindigkeit erreicht werden. Über die Kompensation der Kameranickbewegung wird die Verbesserung der Objektverfolgungsgenauigkeit ermöglicht.

Claims

Ansprüche
Verfahren (500) zum Bestimmen einer Nickbewegung einer in einem Fahrzeug (100) verbauten Kamera (1 10), wobei das Verfahren folgende Schritte aufweist:
Erzeugen (510) erster Bildgradientendaten aus einem ersten Kamerabild (212), wobei die ersten Bildgradientendaten eine Helligkeitsveränderung benachbarter Bildpunkte des ersten Kamerabildes (212) entlang einer vertikalen Achse des ersten Kamerabildes (212) repräsentieren, und Erzeugen (510) zweiter Bildgradientendaten (330) aus einem bezüglich des ersten Kamerabildes (212) nachfolgend aufgenommenen, zweiten Kamerabild (214), wobei die zweiten Bildgradientendaten (330) eine Helligkeitsveränderung benachbarter Bildpunkte des zweiten Kamerabildes (214) entlang einer vertikalen Achse des zweiten Kamerabildes (214) repräsentieren;
Generieren (520) zumindest eines Bildverschiebungswertes, der eine Verschiebung eines Bildpunktes des zweiten Kamerabildes (214) relativ zu einem entsprechenden Bildpunkt des ersten Kamerabildes (212) repräsentiert, wobei das Generieren (520) unter Verwendung der ersten
Bildgradientendaten und der zweiten Bildgradientendaten (330) erfolgt; und
Ermitteln (530) einer Nickbewegung basierend auf dem zumindest einen Bildverschiebungswert, um die Nickbewegung der Kamera (1 10) zu bestimmen.
Verfahren (500) gemäß Anspruch 1 , dadurch gekennzeichnet, dass im
Schritt des Erzeugens (510) die ersten und/oder zweiten
Bildgradientendaten mittels einer Radon-Transformation erzeugt werden, insbesondere einer Radon-Transformation in horizontaler Richtung in Bezug auf das betreffende Kamerabild. Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Erzeugens (510) die ersten
Bildgradientendaten aus einem Teilbereich des ersten Kamerabildes (212) und die zweiten Bildgradientendaten aus einem entsprechenden Teilbereich des zweiten Kamerabild (214) generiert werden.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Generierens (520) der zumindest eine Bildverschiebungswert mittels einer Kreuzkorrelation aus den ersten
Bildgradientendaten und den zweiten Bildgradientendaten (330) generiert wird.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermitteins (530) eine Nickwinkelgeschwindigkeit (δθ ) ermittelt wird, um die Nickbewegung der Kamera (1 10) zu bestimmen.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermitteins (530) eine Nickwinkelgeschwindigkeit (δθ ) basierend auf dem zumindest einen Bildverschiebungswert, auf einer Zeitdifferenz zwischen dem ersten Kamerabild (212) und dem zweiten Kamerabild (214) und auf einer Brennweite der Kamera (1 10) ermittelt wird, um die Nickbewegung der Kamera (1 10) zu bestimmen.
Verfahren (500) gemäß Anspruch 6, dadurch gekennzeichnet, dass im Schritt des Ermitteins (530) eine Nickwinkelgeschwindigkeit (δθ ) gemäß der Formel δθ = ^
Atfy ermittelt wird, um die Nickbewegung der Kamera (1 10) zu bestimmen, wobei δθ die Nickwinkelgeschwindigkeit als Ableitung einer Nickwinkeländerung δθ bezeichnet, Ay den zumindest einen Bildverschiebungswert bezeichnet, Δί eine Zeitdifferenz zwischen dem ersten Kamerabild (212) und dem zweiten Kamerabild (214) bezeichnet und fy eine Brennweite der Kamera (1 10) bezeichnet.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Erzeugens (510) die ersten
Bildgradientendaten aus einem Teilabschnitt des ersten Kamerabildes (212) erzeugt werden und die zweiten Bildgradientendaten aus einem Teilabschnitt (215) des zweiten Kamerabildes (214) erzeugt werden.
Verfahren (600) zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs, wobei in dem Fahrzeug eine Kamera (1 10) verbaut ist, wobei das Verfahren folgende Schritte aufweist:
Bestimmen (610) einer Nickbewegung der in dem Fahrzeug verbauten Kamera (1 10) nach dem Verfahren (500) gemäß einem der Ansprüche 1 bis 8; und
Einstellen (620) eines Leuchtwinkels des zumindest eines Frontscheinwerfers in Abhängigkeit von der Nickbewegung der Kamera (1 10), um die Lichtaussendung des zumindest eines Frontscheinwerfers zu steuern.
10. Vorrichtung (120), die ausgebildet ist, um die Schritte eines Verfahrens (500;
600) gemäß einem der Ansprüche 1 bis 9 durchzuführen.
Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung eines Verfahrens (500; 600) gemäß einem der Ansprüche 1 bis 9, wenn das Programm auf einer Vorrichtung oder einem Steuergerät (120) ausgeführt wird.
EP12719384.5A 2011-05-31 2012-05-08 Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs Withdrawn EP2715666A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011076795A DE102011076795A1 (de) 2011-05-31 2011-05-31 Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
PCT/EP2012/058454 WO2012163631A1 (de) 2011-05-31 2012-05-08 Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP2715666A1 true EP2715666A1 (de) 2014-04-09

Family

ID=46044705

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12719384.5A Withdrawn EP2715666A1 (de) 2011-05-31 2012-05-08 Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs

Country Status (6)

Country Link
US (1) US20140218525A1 (de)
EP (1) EP2715666A1 (de)
JP (1) JP5792378B2 (de)
CN (1) CN103765476A (de)
DE (1) DE102011076795A1 (de)
WO (1) WO2012163631A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619894B2 (en) * 2014-05-16 2017-04-11 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
CN105730321B (zh) * 2016-02-15 2018-03-06 长沙科讯智能科技有限公司 一种车辆远光灯智能控制系统及控制方法
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
WO2018110389A1 (ja) * 2016-12-15 2018-06-21 株式会社小糸製作所 車両用照明システムおよび車両
JP6901386B2 (ja) 2017-12-08 2021-07-14 株式会社東芝 勾配推定装置、勾配推定方法、プログラムおよび制御システム
US10997737B2 (en) * 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202217A (ja) * 1992-12-28 1994-07-22 Canon Inc 手振れ表示機能付カメラ
JP2000194864A (ja) * 1998-12-28 2000-07-14 Jeol Ltd パタ―ン欠陥分類装置
JP2002214659A (ja) * 2001-01-16 2002-07-31 Canon Inc ぶれ補正機能付きカメラ
US7253835B2 (en) * 2002-12-23 2007-08-07 Hrl Laboratories, Llc Method and apparatus for estimating a camera reference horizon
JP2006041604A (ja) * 2004-07-22 2006-02-09 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
US7443443B2 (en) * 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
JP4697101B2 (ja) 2006-09-07 2011-06-08 株式会社デンソー 車両検出装置、およびライト制御装置
JP2008151659A (ja) * 2006-12-18 2008-07-03 Fuji Heavy Ind Ltd 物体検出装置
US8121433B2 (en) * 2008-01-18 2012-02-21 California Institute Of Technology Ortho-rectification, coregistration, and subpixel correlation of optical satellite and aerial images
DE102008025948A1 (de) * 2008-05-30 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe minestens eines Frontscheinwerfers eines Fahrzeugs
JP2010006270A (ja) * 2008-06-27 2010-01-14 Toyota Motor Corp 車両挙動検出装置
JP5015097B2 (ja) * 2008-08-29 2012-08-29 シャープ株式会社 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
JP2010143506A (ja) * 2008-12-22 2010-07-01 Koito Mfg Co Ltd 車両用ランプのオートレベリングシステム
DE102008063328A1 (de) * 2008-12-30 2010-07-01 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer Änderung des Nickwinkels einer Kamera eines Fahrzeugs
JP5251544B2 (ja) * 2009-01-27 2013-07-31 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
JP2011084150A (ja) * 2009-10-15 2011-04-28 Koito Mfg Co Ltd 車両用ヘッドランプのオートレベリング装置
JP2011098578A (ja) * 2009-11-04 2011-05-19 Koito Mfg Co Ltd 二輪車用ヘッドランプシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012163631A1 *

Also Published As

Publication number Publication date
US20140218525A1 (en) 2014-08-07
DE102011076795A1 (de) 2012-09-20
JP2014522589A (ja) 2014-09-04
JP5792378B2 (ja) 2015-10-14
CN103765476A (zh) 2014-04-30
WO2012163631A1 (de) 2012-12-06

Similar Documents

Publication Publication Date Title
DE102012104766B4 (de) Spurermittlung mittels Spurmarkierungsidentifikation für Spurzentrierung/-haltung
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102009044269B4 (de) Lenkassistentenvorrichtung
EP2504209B1 (de) Verfahren zur schätzung des rollwinkels in einem fahrenden fahrzeug
DE102013221696A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Höhenverlaufes einer vor einem Fahrzeug liegenden Straße
EP2795537A1 (de) Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera
DE102009005184A1 (de) Fahrzeugabtastsystem
DE102011117554A1 (de) Fahrumgebungserfassungsvorrichtung
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
EP2715666A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
WO2011138164A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs, fahrerassistenzsystem und fahrzeug
DE102012206211A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Spuranpassungsparameters für ein Spurhaltesystem eines Fahrzeugs sowie Verfahren und Vorrichtung zur Spurführung eines Fahrzeugs
DE112018005415T5 (de) Steuergerät und Steuerungsverfahren zum Steuern des Verhaltens eines Motorrades
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013103952B4 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
WO2018023143A1 (de) Verfahren und vorrichtung zum messen eines abstands zwischen einem ersten fahrzeug und einem zweiten, dem ersten fahrzeug unmittelbar vorausfahrenden, fahrzeug
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
EP2131598A2 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
WO2009077445A1 (de) Verfahren und vorrichtung zum optischen erfassen einer fahrzeugumgebung
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
EP1588910B1 (de) Verfahren zur Analyse und Regelung der Fahrdynamik eines Kraftfahrzeugs sowie Kraftfahrzeug zur Durchführung des Verfahrens
WO2012019931A1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160412

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20160803