EP2691917A1 - Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle - Google Patents

Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle

Info

Publication number
EP2691917A1
EP2691917A1 EP12710263.0A EP12710263A EP2691917A1 EP 2691917 A1 EP2691917 A1 EP 2691917A1 EP 12710263 A EP12710263 A EP 12710263A EP 2691917 A1 EP2691917 A1 EP 2691917A1
Authority
EP
European Patent Office
Prior art keywords
data
objects
camera
image
forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12710263.0A
Other languages
German (de)
French (fr)
Inventor
Johannes FOLTIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2691917A1 publication Critical patent/EP2691917A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle

Definitions

  • the present invention relates to a method for transmitting data on a current vehicle environment to a headlight control unit of a vehicle, to a corresponding control device and to a corresponding computer program product according to the main claims.
  • Modern driver assistance systems include a control for the headlight system, so that a driver of a vehicle recognizes as early as possible to drive on the route. It should nevertheless be avoided dazzling of other road users.
  • DE 10 2007 041 781 B4 discloses a vehicle recognition device for detecting vehicles, the vehicles driving on a road with the light switched on.
  • the present invention proposes a method for transmitting data on a current vehicle environment to a headlight control unit of a vehicle, furthermore a control unit which uses this method and finally a corresponding computer program product according to the main patent claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • the present invention provides a method for transmitting data about a current vehicle environment to a headlight control unit of a vehicle, wherein the data has been recorded using a camera and / or, if appropriate, further (environment) sensors for plausibility checking and wherein the method comprises the following steps:
  • the present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices.
  • a device may be a control device or in particular a data processing device.
  • this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • the present invention provides a data processing device for transmitting data about a current vehicle environment to a headlight control device of a vehicle, wherein the data has been acquired using a camera, and wherein the data preparation device has the following features:
  • a device or a data processing device can be understood to be an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the device may have one or more interfaces, which may be designed in terms of hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • system ASIC system ASIC
  • Interfaces own integrated circuits are or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the above-described embodiments is also of advantage if the program is stored on a control unit.
  • Data processing device or a device corresponding to a computer.
  • a vehicle environment can be understood to be a current environmental scenario around the vehicle when the vehicle is in motion or, more generally, participates in road traffic.
  • the vehicle environment may be formed by a road course, guide posts arranged at the roadside, traffic signs, oncoming vehicles or the like.
  • a vehicle environment can be detected with a camera as an optical or visual sensor, whereby a camera image is recorded and evaluated.
  • This camera image can subsequently be processed with a classification algorithm so that individual objects in this camera image are recognized.
  • the individual objects may be headlamps of a vehicle or reflective surfaces of delineators or traffic signs.
  • corresponding object data are generated, which, for example, a position of the detected object in the camera image, represents a size of the recognized object, a shape of the recognized object or the like. Furthermore, by evaluating the camera image, a plurality of parameters for these detected objects can be extracted, such as, for example, the brightness of the areas corresponding to the objects in the camera image, an optical sharpness of the areas corresponding to the objects in question
  • the object data may thus be data relating to a geometrical arrangement or position of the object in the camera image, whereas the parameters provided from the image data of the image taken by the camera relate to data obtained by the measurement (ie the capture of the camera image are determined such as the color or the viewing angle of a corresponding portion of the camera image), determined over a time history away (for example, the speed of each detected objects or the age, ie we long or since when the object is already visible) or have a relationship of the objects to other objects.
  • An object group data can be understood to mean a data package which contains information about several objects, wherein the data package for object group data has a smaller size than the sum of the object data of the individual objects which were taken into account for forming the object group data.
  • the object group data can include information about the objects of this object group which have the same or similar parameters within a tolerance range. Also, for example, parameters may be used to form such an object group relating to an arrangement of objects to each other.
  • the present invention is based on the recognition that by combining information about several objects into a data packet in the form of the object group data, a much more efficient transmission of information concerning the vehicle environment to the headlight control unit is now possible, which is frequently supplied by a headlight manufacturer. In this case, the formations of each individual detected object do not need to be transmitted into the camera image, which would otherwise be problematic for the transmission, especially for many detected objects and with limited available bandwidth.
  • the object group data can thus perform a pre-processing of the visual recorded vehicle environment, so that the headlamp control unit information only about, for example, contiguous areas or objects in the Vehicle environment, which can then be used to control the headlights.
  • the headlamp control unit information only about, for example, contiguous areas or objects in the Vehicle environment, which can then be used to control the headlights.
  • two bright, eg circular, objects arranged at a certain distance from one another probably represent a pair of headlights of an oncoming vehicle or headlights of vehicles driving one behind the other, so that the headlight control unit can initiate measures to prevent a driver's dazzling Prevent vehicles.
  • the present invention thus offers the advantage of relieving an available data transmission structure in a vehicle, while nevertheless ensuring a desired functionality for maintaining a certain driver comfort.
  • parameters which contain information relating to a brightness, color and / or sharpness of an image region of the image taken by the camera and / or an information relating to a position, assigned to the object. represents a distance and / or a movement of one of the objects with respect to the camera or with respect to the second of the at least two objects and / or a duration of the presence of the object in past images of the camera and / or an age of the objects.
  • the objects are often tracked by "tracking” (ie, tracking) across multiple images.Tracking can be used, for example, by determining the speed of a vehicle from differentiation of the position: the object speed can be used to determine the position of the object predict at the next measurement and then determine the new position of the object based on the estimate and the new measurements If an object is uniquely identified (which is important for tracking), you can easily calculate the "age” (eg Save the
  • Timestamp at the first occurrence of the object offers the advantage of easy-to-determine parameters, yet a reliable and simple grouping of objects in object groups is possible.
  • further object data relating to at least one third object can also be read in the step of reading in, wherein the further object data represent information about the third object which was classified as an object in the image taken by the camera and wherein in step forming the object group data is further formed using the further object data.
  • the object group data contain, for example, information about three objects, whereby a further reduction of the data transmission load to the headlight control unit can be realized. The greater the number of objects to which information in the object group data is taken into consideration, the lower the utilization of a data transmission connection for transmitting information about the objects recognized from the camera image to the headlight control unit.
  • the object group data may be formed on the basis of at least a third parameter different from the two parameters.
  • object group data may be formed that includes information about a position, a shape, a motion information, an age (ie, a time dependency), a brightness, a color information, a number of the objects and / or a size of an image section in which the at least two objects were detected in the image of the camera.
  • an embodiment of the present invention offers the advantage that the headlamp control unit can very easily use the object group data for the control, in particular for the alignment of the headlamps, without having to make more complex calculations themselves.
  • second object data concerning at least two further objects are also read in in the reading step, the second object data representing information about the two further objects which have been classified as an object in the image recorded by the camera, wherein, in the step of forming, second object group data is further formed from the read second object data of the at least two further objects, wherein the second object group data is formed using at least two different parameters provided from image data of the image taken by the camera Step of transmitting the second object group data are transmitted to the headlight control unit.
  • Such an embodiment of the present invention offers the advantage of transmitting a plurality of object groups or a plurality of data which are assigned to different object groups, so that the load on a connection bus to the headlight control unit can be further reduced, in particular for many detected objects.
  • object groups it may be advantageous to consider the shape of the object group. For example, a summary might prefer a certain aspect ratio and thus assign an object to one or the other group. For example, you could also optimize for the average brightness of the object group or the density of objects in the area of the object group.
  • the various parameters for forming the object groups there are several which also relate to the shape, average brightness etc. of the object group.
  • an object can also be arranged in several object groups.
  • at least object data of an additional object can be read in, the object data of the additional object representing information about the additional object classified as an object in the image taken by the camera, and wherein in the step of The object group data and the second object group data are formed by using the object data of the additional object together.
  • object group data corresponding to a predefined scenario in front of the vehicle known to the headlight control unit can thus be formed in the step of forming.
  • the object group data in the step of the transmission, can thus be sent to a headlight control unit, which is arranged by a data preparation device independently and spatially separated in its own housing, wherein the data preparation device performs the steps of reading and forming.
  • a vehicle communication bus eg CAN bus, Flexray, optical bus systems, wireless systems
  • Such an embodiment of the present invention offers the advantage that an already available data transmission system can be used in a vehicle without causing an excessive load on this vehicle data transmission system by transmitting headlight control information.
  • the vehicle communication bus eg CAN bus, Flexray, optical bus systems, wireless systems
  • Step of forming further in response to a request signal of the headlamp control unit are executed, wherein the request signal in particular information about a choice of the parameters for the formation of the object group data and / or a situation specification has.
  • the reading in of the objects is usually carried out cyclically as soon as new measurement data of the camera is available.
  • the request signal then makes it possible in group formation to specify how or using which parameters the objects should be combined.
  • Such an embodiment of the present invention offers the advantage that the headlamp control unit can already make a preselection of parameters that are optimal
  • the object group data contain information about objects that all have certain parameter properties of the desired parameters.
  • further object group data is also formed from the read-in object data of the at least two objects, the further object group data being formed using at least two further parameters which differ from the parameters and which are composed of image data of the object provided with the camera, and wherein in the step of transmitting the further object group data are transmitted to the headlight control unit.
  • Data transmission line are transmitted.
  • preclassification of the objects can take place on the basis of the different parameter properties. In this way, a data processing load of the
  • Headlight control unit made to the data preparation device, so that the data transmission capacity of the data transmission line of the vehicle can be efficiently used by the transfer of the already processed data.
  • Fig. 1 is a block diagram of a vehicle to which an embodiment of the present invention is applied;
  • Figure 2 is a schematic representation of the adaptive cut-off line from the periodical automotive electronics.
  • FIG. 3 is an illustration of a schematic adjustment of the headlamp range of headlamps to vehicles in front (with respect to a vertical angle) from a driver / camera / headlamp perspective;
  • Fig. 4 is a schematic representation of the glare-free high beam after a
  • Fig. 5A is a schematic representation of the glare-free high beam in a single vehicle (with respect to a vertical and horizontal axis) from a driver / camera / headlight perspective;
  • FIG. 5B is an illustration of optical flow using "optical flow” vectors
  • FIG. 6A is a camera image as taken by a camera in the vehicle, for example;
  • FIG. 6B is a processed camera image in which objects have been recognized by an object recognition algorithm;
  • FIG. 6A is a camera image as taken by a camera in the vehicle, for example;
  • FIG. 6B is a processed camera image in which objects have been recognized by an object recognition algorithm;
  • FIG. 6A is a camera image as taken by a camera in the vehicle, for example;
  • FIG. 6B is a processed camera image in which objects have been recognized by an object recognition algorithm;
  • 6C shows an image of a camera in which several objects have been grouped in accordance with an embodiment of the method according to the invention
  • Fig. 7 is a flow chart of an embodiment of the present invention.
  • FIG. 8 is a more detailed flow chart of an embodiment of the present invention including transmission of the generated object group data to a headlight controller.
  • Fig. 1 shows a block diagram of a vehicle 100 which uses an embodiment of the approach described below for the transmission of data to a headlight control unit.
  • the vehicle surroundings 115 are scanned at a viewing angle 120 by a camera 110 and from this a camera image of the vehicle surroundings 15 is generated.
  • the camera 1 10 serves as an optical sensor and can be configured for example as a very inexpensive CCD or CMOS camera, as it is now widely available.
  • the camera image delivered by the camera 1 10 is subsequently further processed in a data processing device 130.
  • the data processing device 130 may also be part of the camera 110 or executed as software on a processor unit, not shown in FIG. 1, of the camera 110.
  • An algorithm is applied to the camera image to detect objects in the camera image and to capture corresponding parameters of the camera image related to those objects. Under such a parameter, for example, the brightness or color of a section of the camera image are understood in which an object was detected.
  • this data processing device 130 now a grouping of several, that is at least two objects is made, this grouping is done using at least two different parameters that are associated with the two objects. In this case, the grouping takes place such that, for example, a first parameter of a first object is compared with a first parameter of the second object, and a second parameter of the first object, which is different from the first parameter, is related to a second parameter of the second object, the second parameter of the second object is also different from the first parameter of the second object.
  • the first parameter represents equal magnitudes in the first and second objects, whereby the second parameter also refers to equal magnitudes in the first and second objects.
  • the grouping thus takes place on the basis of two different parameters which are related to one another for each of the two grouped objects.
  • a brightness of the first object can be compared with a brightness as the first parameter of the second object, and a speed and / or direction as a second parameter of the first object compared to a speed and / or direction as a second parameter of the second object, wherein the first object is grouped with the second object into an object group if both the brightness of the first object matches the brightness of the second object within a tolerance range and the speed and / or direction of the first object with the velocity and / or direction of the second object within a tolerance range.
  • the first object is grouped with the second one into a common object group of the second object.
  • the objects grouped in this way are thus grouped together in a group of objects that can be described by a smaller amount of information than the two individual objects.
  • This object group can be represented by a data record (hereinafter referred to as object group data) which contains, for example, information about the number of objects in the object group, a shape of the objects in the object group, a movement direction of the objects of the object group, a description and / or indication of the position and / or size and / or shape of the Section of the camera image that represents the object group or something similar.
  • object group data contains, for example, information about the number of objects in the object group, a shape of the objects in the object group, a movement direction of the objects of the object group, a description and / or indication of the position and / or size and / or shape of the Section of the camera image that represents the object group or something similar.
  • the data about such a group of objects are subsequently transmitted via, for example, a CAN bus, a FlexRay, optical bus (eg MOST), wireless transmission (eg Bluetooth, ZigBee ), which controls the light distribution of a light cone or an illumination field of headlights 160 of the vehicle 100 using this object group data to an airbag control unit 180 and / or a trigger signal from the airbag control unit 180 to an airbag 190.
  • a CAN bus e.g MOST
  • wireless transmission eg Bluetooth, ZigBee
  • a detection algorithm FDD vehicle detection in the dark
  • FDD vehicle detection in the dark
  • Objects that can not be assigned to any of the categories are sorted or classified as "unknown objects.”
  • the vehicles distinguish between headlights and taillights Taillights are, for example, carried out by the parameter "light color" of the detected objects.
  • the individual light sources as detected objects are, if possible, combined into pairs of light as a group of objects.Also, an object detection / classification of the indicator signal and other signal devices of Vehicles, luminescent infrastructure (eg traffic lights),
  • the detected objects have an image position (detection angle) in both the vertical and horizontal directions. If a headlight pair has been detected, the distance from the headlights to each other makes it possible to estimate the distance very roughly (accuracy of several meters). The cause is the fluctuation of the installation positions / distances of the headlights.
  • the objects can be used for simple high-beam assistants, which switch between high beam and low beam.
  • simple high-beam assistants which switch between high beam and low beam.
  • recognition of the presence of other road users suffices here (see J. Rebut “A Monocular Vision Based Advanced Lighting Automation System for Driving Assistance", IEEE International Symposium on Industrial Electronics, 2009).
  • the beam angle of the headlight is raised so that the driver's range of vision is increased, but the other road users are not dazzled 2, the schematic representations of AHC in different scenarios of vehicle lighting on uneven road and / or preceding vehicle shown.
  • the vertical position and, if possible, the distance to the object should be known This is shown in Fig. 3, wherein in this figure a schematic adaptation of headlamps to vehicles in front
  • FIG. 4 is a schematic representation of the glare-free high beam as shown D.
  • pixel light or matrix beam the space in front of the vehicle is divided into segments, which can be illuminated individually.
  • the functionality is similar to the glare-free high beam, whereby the control has a greater flexibility: no common shadow area needs to be created.
  • the recommended settings for the headlights can come from the camera (or the integrated camera control unit) or can be determined in the headlight control unit.
  • the calculation within the camera is advantageous since all measured values can be accessed centrally
  • the calculation takes place in the headlamp control unit 150 according to FIG. 1, when the headlamp manufacturer realizes the entire activation of the headlamp.
  • the measured by FDD should objects from the camera to the headlight control unit in an object list.
  • a number of objects to be transferred are defined prior to development (eg 8 units in the project of a specific vehicle manufacturer), which are transmitted cyclically via the CAN bus. If the camera detects a larger number of objects, it must either omit objects or combine the objects.
  • the headlight control unit can not make the optimal decision on the headlamp setting. It is also possible that the headlight control unit does not correctly interpret the situation due to the missing information.
  • a particular aspect of the present invention relates to the use of a FOE, i. A "Field of Expansion.”
  • Optical flow detection takes into account how the objects move, using the position of the FOE to summarize, for example, vehicles lying close to the FOE, as these are likely to be far away. 5B (corresponding to the
  • the FOE is not always in the middle. For example, it moves in cornering in the direction of the curve. Normally, new objects no longer appear in the middle of the picture.
  • combinations of data can be used to make a meaningful grouping of objects.
  • Such a grouping can also be referred to as clustering.
  • the grouping is particularly necessary in order to provide the necessary information to the headlight control unit, even if there are too many objects for the bandwidth provided.
  • Rectangles are usually used to convey object groups (object clusters), but other geometric shapes can also be transferred in order to achieve an optimized data representation with the same bandwidth.
  • At least two parameters of objects should be related to each other in order to be able to precisely group the relevant objects into an object group. These parameters should refer to the same properties of the two objects. If the two parameters of two objects within a tolerance range match, the two objects should be grouped in a collection. Of course, more than two objects may also be grouped into one object group, in which case both the first and second parameters for all the objects grouped in the object group should lie within a tolerance range.
  • many different attributes or properties or parameters of the detected objects or parameters of the camera image can be used to calculate an object group.
  • duration of detection of the object (age” of the detected objects, i.e. duration, how long before the current detection the object has already been detected)
  • Group vehicle • Logically related objects (eg capture a column, merge a turn signal with taillights, %)
  • Edge slope of the edges of the light sources (the edge slope being inversely proportional to halo and the radiation characteristic of the light source)
  • Luminous area e.g., luminous area size
  • Type of light source e.g., LED, high pressure gas discharge lamp, etc.
  • Results of the surface estimation of the camera and / or a navigation system e.g., slope of the road in front of the vehicle
  • the light distribution is set to the object (s) closest to the vehicle.
  • additional data can be used to estimate the distance.
  • a halo forms around the light objects, as the light is scattered by the water droplets. The further away the vehicle is, the more drops of water are between the object and the camera and the larger If there is a halo, the edge gradient of the light source also decreases, ie the objects are only detected in a blurred or less sharply defined way than without moisture in the air
  • the knowledge of the exact characteristics of the rear vehicles for the headlight control is usually secondary - the relative position of the vehicles on the road to each other can therefore also be used as a distance (also for masking effects, where no distance due to only individual headlights n can be calculated).
  • the brightness can be used for distance estimation because it decreases quadratically with the distance (especially if the light source is less than pixels are mapped and thus averaged with dark shadow areas). Due to the averaging character of the image on pixels, brightness differences within the light source are also lost - the farther the light source is, the lower the brightness differences within the object fall out.
  • the determined proper motion of the camera can be used to e.g. At high speed less or only the distant objects to summarize, as you approach faster.
  • the "age" of an oncoming object may also serve this purpose (along with other parameters, e.g.
  • Objects that are close together in the picture may also be close to each other in reality and have a similar distance.
  • the parameter "object movement” has an influence on the dynamics of the entire system and on the situation recognition (eg oncoming vehicle) .
  • the object movement can be estimated directly from the image or by differentiation of the object position in the image Tail lights, ie vehicles in front usually result in a small change in relative position as they normally travel in the same direction as the vehicle itself
  • the direction of travel or the vehicle lighting type can be recognized by the light color.
  • the light color can also be used for object grouping.
  • the same light colors for group formation for objects in the same direction of travel
  • different light colors eg yellow signal to be assigned to the neighboring light sources.
  • a measurement of the light color can be done by color reconstruction, in which at least two differently colored pixels (in for example red and gray / colorless / only intensity; in digital cameras mostly 3 colors: red, green, blue) the color value is estimated. Instead of using a ready calculated color, even the relationships / differences between the (color) pixels at the light source can be evaluated.
  • the brightness of a light source is quadratically related to the distance (photometric law of distance). As the object approaches the camera, the brightness or size / area of the object increases. Therefore, for example, the brightness change can also be used as a parameter for group formation.
  • the "age” of objects ie the duration of the object in the image
  • an "old” object may be slow (in relation to the speed of the camera) (for example, a vehicle in front), but also become fast (such as an oncoming vehicle in good visibility when driving by).
  • Different object categories or object groups represent, for example, objects with different speeds, which can be viewed with, so that, for example, no proper movement of street lamps, traffic lights, reflectors, must be considered.
  • the orientation of the object can also play a role in the further movement. For example, objects with the same orientation can be grouped together in one object group, or objects that are driven in the same direction after the orientation estimation can be combined into one object group.
  • FDD can not always sense the individual objects in pairs.
  • putative single objects can be regrouped if they are similar and / or fit into the overall context.
  • the individual objects can be summarized in such a way that, for example, objects of a similar shape are combined or of the same light sources (frequency with LED, light color bluish with xenon, reddish with halogens).
  • an upright grouping of objects i.e., a grouping of objects superimposed in the camera image
  • Geometry for example, also group headlamps together with position lights.
  • an object is present in several groups. This is possible if, for example, the object both to the
  • Groups "responsive and close”, as well as “fast movement to the left” heard.
  • the objects are usefully grouped together, whereby the parameters of the group objects should also be adjusted.
  • cluster data An advantage in the transmission of exclusively object group data (cluster data) is that a marking in the communication message can be saved, whether the data transmitted is group data or individual object data, whereby the information to be transmitted can be further compressed.
  • a "bounding box" group of objects should be transmitted that includes all vehicles (from which horizontal and vertical coordinates for the area to be blanked can be extracted), or other group data may be transferred, but it must be ensured that all vehicles are from
  • a single object may also be present in a "group”. This may also be the case when groups with specific characteristics are transmitted, but only a single object fits into that group (e.g., a group "all oncoming vehicles closer than a certain distance" and there is only one oncoming vehicle).
  • object groups with other geometric shapes can also be transferred for an image section of the camera image. These include beside
  • Rectangles and trapezoids general "polygons" to define regions.
  • the regions can also be described as round shapes (eg circle, ellipse, curve, Bezier curve, ).
  • regions are assigned a "center of gravity” (e.g., center, "most important point”).
  • the center of gravity does not need to reflect the actual center of gravity of the geometric shape, but may also be the thematic center of gravity (e.g., foremost vehicle of a column).
  • movement information (translation, rotation, scaling / resizing) can be assigned to the form or the center of gravity in order to provide information about their probable development. This allows the algorithms based on it to work even more proactively.
  • objects that are not considered particularly relevant may also be left out (e.g., central vehicle of a grouping).
  • the camera can dynamically adapt the parameters according to which the groups are formed to the respective situation in order to achieve an optimum information density.
  • the headlamp controller requests various parameter settings from the camera or requests situations that it needs for optimal headlamp actuation.
  • the camera can spend the available computing power on the required situations or achieve an optimal information density of the transmitted data or optimal information transfer by a desired adaptation of the parameter combinations.
  • the compilation of objects and situations need not be fixed, but can be changed. If the headlamp control unit has more "intelligence", then it can decide for the then simpler held camera how it performs the compilation of the objects, so that the result is adapted to the own needs of the driving situation.
  • This parameter affects the transmission of detected traffic situations, their probability (optional) and appearance position in the image (optional).
  • the position or the situational area can be given as a geometric shape. ben (eg rectangle, trapezoid, ellipse ...), which describes an angle range relative to the vehicle (eg object angle, pixel coordinates, ...), but also in other coordinate systems.
  • the position can be specified as a segment (eg if the image was previously segmented).
  • the (relative) direction of movement can be transmitted. This also applies to the regular object groups.
  • the separation in the calculation of the headlamp control between camera and headlamp control unit need not take place at the level of the objects.
  • the measured or recognized objects and other information e.g.
  • Track information can be combined into various "situations" (ie driving scenarios), these situations can be sent to the headlamp control unit, reducing its resource requirements and making better use of the information available in the camera.
  • the metrics (parameters) will become summarized to driving situations and to the
  • Headlight control unit sent.
  • the range of the driving situation can also be specified. This can be done, for example, by specifying a point (e.g.
  • the headlamp control unit leaves room for interpretation and allows smooth transitions between individual driving situations.
  • the coordinates of the group may be the center, but it may also be a representative point or the point of the group most important to the light functions. This mainly depends on the chosen geometry of the group, as well as on the available bandwidth during transmission.
  • the object detection algorithm FDD detects an oncoming headlight pair 610 and three further light sources 620, as well as three reflectors 630 in the vehicle environment, as shown in FIG. 6B.
  • two object groups 640 (which are classified as rectangular areas in the camera image) are formed, as shown in the illustration of Fig. 6C.
  • the foremost vehicle (headlamp pair) is an object 640a (alone in "group"), the following vehicles are grouped together in a common group 640b, for example, based on equal or very similar brightness values and speeds with respect to the camera the area of the camera image (ie an object) in the driving situation "column” with estimated change in direction (speed arrow 660) and, for example, the similar brightness of the objects in the object group (s).
  • Point 670 describes the situation "pass-by" (as data for the headlight control unit) or it describes the object in a group of objects or as a single object which is most likely to be glare-endangered and to which particular control is required Group of reflectors 630.
  • an area for preceding objects could be separately generated, the farthest objects grouped together (e.g., independent of light color), and, for example, an area for street lamps inserted.
  • the present approach thus makes it possible to efficiently transmit bright objects recognized at night to a headlight control unit, which realizes lighting control therefrom. If many objects appear in the image, the present approach advantageously combines several of these objects into a group so that bandwidth is saved and / or all relevant information can be transmitted. In the present Approach various summaries are presented so that the headlight control unit can derive meaningful actions.
  • FIG. 7 shows a flow chart of an exemplary embodiment of the present invention as a method 700 for transmitting data about a current vehicle environment to a headlight control unit of a vehicle.
  • the data was recorded using a camera.
  • the method comprises a step of reading in 710 object data concerning at least two objects, the object data representing information about objects classified as an object in an image taken by the camera.
  • the method comprises a step of forming 720 object group data from the read object data of the at least two objects, the forming taking place using at least two different parameters provided from image data of the image taken by the camera.
  • the method 700 includes a step of transmitting 730 the object group data as data about a current vehicle environment to the headlight control unit.
  • FIG. 8 shows a flow chart of an embodiment of the present invention as a method, wherein the procedure for the formation of the object group data or the object groups is shown in more detail.
  • objects 810a to 81e are generated from a camera image, for example using the object detection algorithm FDD. These objects 810 can be described by specific data 815 a to 815 e, which represent, for example, a position in and / or a size of an image section of the camera image.
  • a first comparator 820a If it is determined in a first comparator 820a that the parameter P1 of the first object 810a is equal to the first parameter of a second object 810b within a tolerance range, this can be signaled by the comparator signal X1 to a first combiner 830a.
  • the second parameter P2 of the first object 810a within a tolerance range also corresponds to the second parameter P2 of the second object 810b, which is likewise signaled to the first combiner 830a by a comparator signal X2.
  • the first combiner 830a receives, via the first and second comparator signals X1 and X2, the information that both the first parameters P1 and the second parameters P2 of the two objects 810a and 810b are equal within a tolerance range, the first combiner 830a may be the first object 810a and the second object
  • the object 81Od and the object 81Oe may be recognized taillights of preceding vehicles.
  • These objects 81Od and 81Oe which are represented by the object data 815d and 815e, can now be examined on the basis of two different parameters P3 and P4.
  • the third parameter P3 may be a color of the objects 81 Od and 81 Oe detected in the camera image, whereas the parameter P4 represents a distance of these objects detected from the camera image. If it is determined in a third comparator 820c that the third parameter P3 of the third object 81 Od is within a tolerance range equal to the third parameter of a fourth object 81 Oe, this can be signaled by the comparator signal X3 to a second combiner 830b. Similarly, it can be checked in a fourth comparator 820d whether the fourth parameter P4 of the third object 81 Od within a tolerance range corresponds to the fourth parameter P4 of the fourth object 81 Oe, which is likewise indicated by a
  • Comparator signal X4 is signaled to the second combiner 830b.
  • a fifth object 810c or corresponding fifth object data 815c can also be read in.
  • a value of the first parameter P1 and a value of the second parameter P2 can be accessed from the object data 815c of the fifth object 810 and it can be checked whether the value of the first parameter P1 and a value of the second parameter P2 of the fifth object 810c within the respective tolerance ranges matches the values of the first parameter P1 and the second parameter P2 of the first object 810a and the second object 810b. If so, the first combiner 830a groups the fifth object 810c into the first object group 810a / b.
  • the fifth object 810c should be grouped into the second object group 810d / e. For example, from the object data 815c of the fifth object 810, a value of the third parameter P3 and the fourth parameter
  • the second combiner 830b groups the fifth one Object 810c into second object group 810d / e.
  • the fifth object 815c represents an upper limiting light of an oncoming truck
  • this can be done by reference to the light speed (of an active white light) and the speed or direction of movement, the brightness then possibly being allowed to deviate more strongly from the brightness pattern of the first two objects 810a and 810b.
  • this makes it possible to discriminate the fifth object 810c from the objects 81Od and 81Oe of the second object group 810d / e, since the color of the limiting light is different from the color of the taillights.
  • this data of the extended object group 810a / b / c assigns a much larger section of the image captured by the camera as belonging to the first object group because the upper limit lights of the oncoming truck better characterize the dimensions of the truck than if only the two headlights are recognized as the first or second object 810a or 810b.
  • this second object group can be enlarged to an extended second object group 810d / e / c, in which then further data of the fifth object 810c are embedded.
  • an exemplary embodiment comprises a "and / or" link between a first feature and a second feature
  • this can be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment, either only the first Feature or only the second feature.

Abstract

The invention relates to a method (700) for transmitting data (810a/b, 810d/e) relating to a current vehicle environment to a headlight control device (150) of a vehicle (100). In this case, the data (640a, 640b; 810a/b, 810d/e) were recorded using a camera (110), wherein a plausibility check can be carried out via further sensors. The method (700) comprises a step of reading in (710) object data (815a-e) relating to at least two objects (610, 620, 630; 810a-810e), wherein the object data (815a-e) represent information relating to objects (810a-e) which were classified as an object in an image recorded by the camera (110). The method (700) also comprises a step of forming (720) object group data (640a, 640b; 810a/b, 810d/e) from the object data (815a-e) which have been read in and relate to the at least two objects (610, 620, 630; 810a-e), wherein the forming step (720) is carried out using at least two different parameters (P1-P4) provided from image data relating to the image recorded by the camera (110). Finally, the method (700) comprises a step of transmitting (730) the object group data (640a, 640b; 810a/b, 810d/e) as data relating to a current vehicle environment to the headlight control device (150).

Description

Beschreibung  description
Titel title
Verfahren und Steuergerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs  Method and control unit for transmitting data on a current vehicle environment to a headlight control unit of a vehicle
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs, auf ein entsprechendes Steuergerät sowie auf ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen. The present invention relates to a method for transmitting data on a current vehicle environment to a headlight control unit of a vehicle, to a corresponding control device and to a corresponding computer program product according to the main claims.
Moderne Fahrerassistenzsysteme umfassen eine Steuerung für die Scheinwerferanlage, damit ein Fahrer eines Fahrzeugs möglichst frühzeitig eine zu befahren der Wegstrecke erkennt. Dabei solle doch eine Blendung von weiteren Verkehrsteilnehmern vermieden werden. Modern driver assistance systems include a control for the headlight system, so that a driver of a vehicle recognizes as early as possible to drive on the route. It should nevertheless be avoided dazzling of other road users.
In der DE 10 2007 041 781 B4 ist eine Fahrzeugerkennungsvorrichtung zur Erkennung von Fahrzeugen offenbart, wobei die Fahrzeuge mit eingeschaltetem Licht auf einer Fahrbahn fahren. DE 10 2007 041 781 B4 discloses a vehicle recognition device for detecting vehicles, the vehicles driving on a road with the light switched on.
Offenbarung der Erfindung Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs, weiterhin ein Steuergerät, das dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptpatentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Die vorliegende Erfindung schafft ein Verfahren zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs, wobei die Daten unter Verwendung einer Kamera und/oder gegebenenfalls weiterer (Umfeld-) Sensorik zur Plausibilisierung aufgenommen wurden und wobei das Verfahren die folgenden Schritte aufweist: Against this background, the present invention proposes a method for transmitting data on a current vehicle environment to a headlight control unit of a vehicle, furthermore a control unit which uses this method and finally a corresponding computer program product according to the main patent claims. Advantageous embodiments emerge from the respective subclaims and the following description. The present invention provides a method for transmitting data about a current vehicle environment to a headlight control unit of a vehicle, wherein the data has been recorded using a camera and / or, if appropriate, further (environment) sensors for plausibility checking and wherein the method comprises the following steps:
Einlesen von Objektdaten betreffend zumindest zwei Objekte, wobei die Objektdaten Informationen über Objekte repräsentieren, die in einem von der Kamera aufgenommen Bild als Objekt klassifiziert wurden;  Reading in object data concerning at least two objects, the object data representing information about objects classified as an object in an image captured by the camera;
Bilden von Objektgruppendaten aus den eingelesenen Objektdaten der zu- mindest zwei Objekte, wobei das Bilden unter Verwendung von zumindest zwei unterschiedlichen Parametern erfolgt, die aus Bilddaten des von der Kamera aufgenommenen Bildes bereitgestellt wurden,  Forming object group data from the read object data of the at least two objects, wherein the forming is performed using at least two different parameters provided from image data of the image taken by the camera,
Übertragen der Objektgruppendaten als Daten über eine aktuelle Fahrzeugumgebung an das Scheinwerfersteuergerät.  Transferring the object group data as data about a current vehicle environment to the headlight control unit.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Eine solche Vorrichtung kann ein Steuergerät oder insbesondere ein Datenaufbereitungsgerät sein. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Such a device may be a control device or in particular a data processing device. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Insbesondere schafft die vorliegende Erfindung ein Datenaufbereitungsgerät zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwer- fersteuergerät eines Fahrzeugs, wobei die Daten unter Verwendung einer Kamera aufgenommen wurden und wobei das Datenaufbereitungsgerät die folgenden Merkmale aufweist: In particular, the present invention provides a data processing device for transmitting data about a current vehicle environment to a headlight control device of a vehicle, wherein the data has been acquired using a camera, and wherein the data preparation device has the following features:
eine Schnittstelle zum Einlesen von Objektdaten betreffend zumindest zwei Objekte, wobei die Objektdaten Informationen über Objekte repräsentieren, die in einem von der Kamera aufgenommen Bild als Objekt klassifiziert wurden;  an interface for reading object data concerning at least two objects, the object data representing information about objects classified as an object in an image captured by the camera;
eine Einheit zum Bilden von Objektgruppendaten aus den eingelesenen Objektdaten der zumindest zwei Objekte, wobei das Bilden unter Verwendung von zumindest zwei unterschiedlichen Parametern erfolgt, die aus Bilddaten des von der Kamera aufgenommenen Bildes bereitgestellt wurden; und eine Schnittstelle zum Übertragen der Objektgruppendaten als Daten über eine aktuelle Fahrzeugumgebung an das Scheinwerfersteuergerät. a unit for forming object group data from the read object data of the at least two objects, the forming being performed using at least two different parameters provided from image data of the image taken by the camera; and an interface for transmitting the object group data as data about a current vehicle environment to the headlight control unit.
Unter einer Vorrichtung bzw. einem Datenaufbereitungsgerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine oder mehrere Schnittstelle(n) aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann/können. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass dieIn the present case, a device or a data processing device can be understood to be an electrical device which processes sensor signals and outputs control signals in dependence thereon. The device may have one or more interfaces, which may be designed in terms of hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the
Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikro- controller neben anderen Softwaremodulen vorhanden sind. Interfaces own integrated circuits are or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausfüh- rungsformen verwendet wird, wenn das Programm auf einem Steuergerät, einemA computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the above-described embodiments is also of advantage if the program is stored on a control unit. one
Datenaufbereitungsgerät oder einem einem Computer entsprechenden Gerät ausgeführt wird. Data processing device or a device corresponding to a computer.
Unter einer Fahrzeugumgebung kann dabei ein aktuelles Umgebungsszenario um das Fahrzeug verstanden werden, wenn das Fahrzeug sich in Fahrt befindet oder allgemeiner gesagt am Straßenverkehr teilnimmt. Beispielsweise kann die Fahrzeugumgebung durch einen Straßenverlauf, am Fahrbahnrand angeordnete Leitpfosten, Verkehrszeichen, entgegenkommende Fahrzeuge oder Ähnliches gebildet werden. Eine solche Fahrzeugumgebung kann mit einer Kamera als op- tischem oder visuellem Sensor erfasst werden, wobei ein Kamerabild aufgenommen und ausgewertet wird. Dieses Kamerabild kann nachfolgend mit einem Klassifikationsalgorithmus bearbeitet werden, so dass einzelne Objekte in diesem Kamerabild erkannt werden. Beispielsweise können die einzelnen Objekte Scheinwerfer eines Fahrzeugs oder reflektierende Flächen von Leitpfosten oder Verkehrszeichen sein. Zu diesen Objekten werden entsprechende Objektdaten erzeugt, die zum Beispiel eine Position des erkannten Objektes im Kamerabild, eine Größe des erkannten Objekts, eine Form des erkannten Objekts oder Ähnliches darstellt. Ferner können durch die Auswertung des Kamerabilds mehrere Parameter zu diesen erkannten Objekten extrahiert werden, wie beispielsweise die Helligkeit der den Objekten entsprechenden Bereiche im Kamerabild, eine optische Schärfe der den betreffenden Objekten entsprechenden Bereiche imIn this context, a vehicle environment can be understood to be a current environmental scenario around the vehicle when the vehicle is in motion or, more generally, participates in road traffic. By way of example, the vehicle environment may be formed by a road course, guide posts arranged at the roadside, traffic signs, oncoming vehicles or the like. Such a vehicle environment can be detected with a camera as an optical or visual sensor, whereby a camera image is recorded and evaluated. This camera image can subsequently be processed with a classification algorithm so that individual objects in this camera image are recognized. For example, the individual objects may be headlamps of a vehicle or reflective surfaces of delineators or traffic signs. For these objects, corresponding object data are generated, which, for example, a position of the detected object in the camera image, represents a size of the recognized object, a shape of the recognized object or the like. Furthermore, by evaluating the camera image, a plurality of parameters for these detected objects can be extracted, such as, for example, the brightness of the areas corresponding to the objects in the camera image, an optical sharpness of the areas corresponding to the objects in question
Kamerabild oder Ähnliches. Die Objektdaten können somit Daten in Bezug auf eine geometrische Anordnung oder Position des Objekts im Kamerabild sein, wogegen die Parameter, die aus den Bilddaten des von der Kamera aufgenommenen Bildes bereitgestellt werden, Daten betreffen, die durch die Messung (das heißt die Aufnahme des Kamerabildes bestimmt sind wie beispielsweise die Farbe oder der Blickwinkel eines entsprechenden Bereichs des Kamerabildes), über eine zeitliche Historie hinweg bestimmt werden (beispielsweise die Geschwindigkeit der einzelnen erkannten Objekte oder auch das Alter, d.h. wir lange oder seit wann das Objekt schon sichtbar ist) oder die eine Beziehung der Objekte zu an- deren Objekten haben. Unter Objektgruppendaten lässt sich ein Datenpaket verstehen, welches Informationen über mehrere Objekte enthält, wobei das Datenpaket für Objektgruppendaten eine kleinere Größe aufweist, als die Summe der Objektdaten der einzelnen Objekte, die zur Bildung der Objektgruppendaten berücksichtigt wurden. Die Objektgruppendaten können dabei Informationen über die Objekte dieser Objektgruppe umfassen, die gleiche oder innerhalb eines Toleranzbereichs ähnliche Parameter aufweisen. Auch können beispielsweise Parameter zur Bildung einer solchen Objektgruppe verwendet werden, die sich auf eine Anordnung von Objekten zu einander beziehen. Die vorliegende Erfindung basiert auf der Erkenntnis, dass nun durch das Zusammenfassen von Informationen über mehrere Objekte zu einem Datenpaket in Form der Objektgruppendaten eine wesentlich effizientere Übertragung von die Fahrzeugumgebung betreffenden Informationen an das Scheinwerfersteuergerät möglich ist, welches häufig von einem Scheinwerferhersteller geliefert wird. In diesem Fall brauchen nicht die Formationen jedes einzelnen erkannten Objekts in den Kamerabild übertragen werden, was anderenfalls speziell bei vielen erkannten Objekten und bei begrenzter zur Verfügung stehender Bandbreite für die Übertragung problematisch wäre. Durch die Bildung der Objektgruppendaten lässt sich somit eine Vorverarbeitung der visuellen aufgenommenen Fahrzeug- Umgebung durchführen, so dass dem Scheinwerfersteuergerät lediglich Informationen über beispielsweise zusammenhängende Bereiche oder Objekte in der Fahrzeugumgebung übermittelt werden müssen, die dann zur Steuerung der Scheinwerfer verwendet werden können. Beispielsweise kann erkannt werden, dass zwei in einem von bestimmten Abstand zueinander angeordnete helle z.B. kreisförmige Objekte wahrscheinlich ein Scheinwerferpaar eines entgegenkom- menden Fahrzeugs oder Scheinwerfer von dicht hintereinander fahrenden Fahrzeugen darstellen, so dass das Scheinwerfersteuergerät Maßnahmen einleiten kann, um eine Blendung eines Fahrers dieses entgegenkommende Fahrzeugs zu verhindern. Dabei können auch Lichtobjekte, die nicht unbedingt zum gleichen Fahrzeug gehören, gruppiert werden (z.B. alle entgegenkommenden Fahrzeuge). Würden dagegen die beiden als kreisförmig erkannten Objekte separat übertragen, würde dies einen deutlich höheren Aufwand bei der Übertragung der Informationen zu diesen Objekten verursachen, und die verfügbare Bordinfrastruktur unnötig belasten. Die vorliegende Erfindung bietet somit den Vorteil einer Entlastung einer zur Verfügung stehenden Datenübertragungsstruktur in einem Fahr- zeug, wobei dennoch eine gewünschte Funktionalität zur Aufrechterhaltung eines bestimmten Fahrerkomforts sichergestellt werden kann. Durch die Verwendung von zumindest zwei unterschiedlichen Parametern zur Bildung der Objektgruppendaten mit den zumindest zwei Objekten lässt sie eine besonders zuverlässige Gruppierung dieser Objekte in eine Objektgruppe realisieren. Camera image or similar. The object data may thus be data relating to a geometrical arrangement or position of the object in the camera image, whereas the parameters provided from the image data of the image taken by the camera relate to data obtained by the measurement (ie the capture of the camera image are determined such as the color or the viewing angle of a corresponding portion of the camera image), determined over a time history away (for example, the speed of each detected objects or the age, ie we long or since when the object is already visible) or have a relationship of the objects to other objects. An object group data can be understood to mean a data package which contains information about several objects, wherein the data package for object group data has a smaller size than the sum of the object data of the individual objects which were taken into account for forming the object group data. The object group data can include information about the objects of this object group which have the same or similar parameters within a tolerance range. Also, for example, parameters may be used to form such an object group relating to an arrangement of objects to each other. The present invention is based on the recognition that by combining information about several objects into a data packet in the form of the object group data, a much more efficient transmission of information concerning the vehicle environment to the headlight control unit is now possible, which is frequently supplied by a headlight manufacturer. In this case, the formations of each individual detected object do not need to be transmitted into the camera image, which would otherwise be problematic for the transmission, especially for many detected objects and with limited available bandwidth. By the formation of the object group data can thus perform a pre-processing of the visual recorded vehicle environment, so that the headlamp control unit information only about, for example, contiguous areas or objects in the Vehicle environment, which can then be used to control the headlights. For example, it can be recognized that two bright, eg circular, objects arranged at a certain distance from one another probably represent a pair of headlights of an oncoming vehicle or headlights of vehicles driving one behind the other, so that the headlight control unit can initiate measures to prevent a driver's dazzling Prevent vehicles. It is also possible to group light objects that do not necessarily belong to the same vehicle (eg all oncoming vehicles). If, on the other hand, the two objects recognized as circular were transmitted separately, this would result in a significantly greater effort in transmitting the information on these objects, and unnecessarily burden the available infrastructure. The present invention thus offers the advantage of relieving an available data transmission structure in a vehicle, while nevertheless ensuring a desired functionality for maintaining a certain driver comfort. By using at least two different parameters for forming the object group data with the at least two objects, they can realize a particularly reliable grouping of these objects into a group of objects.
Günstig ist es, wenn im Schritt des Bildens Parameter verwendet werden, die eine Information in Bezug auf eine Helligkeit, Farbe und/oder eine Schärfe eines dem Objekt zugeordneten Bildbereichs des von der Kamera aufgenommenen Bildes und/oder eine Information in Bezug auf eine Position, einen Abstand und/oder eine Bewegung eines der Objekte in Bezug zur Kamera oder in Bezug zu dem zweiten der zumindest zwei Objekte und/oder eine Dauer des Vorhandenseins des Objektes in zeitlich zurückliegenden Bildern der Kamera und/oder ein Alter der Objekte repräsentiert. Die Objekte werden häufig durch„Tracking" (d.h. ein Verfolgen) über mehrere Bilder hinweg verfolgt. Tracking kann z.B. ver- wendet werden, indem die Geschwindigkeit eines Fahrzeugs aus Differentiation der Position ermittelt wird: Mit der Objekt-Geschwindigkeit kann man die Position des Objektes bei der nächsten Messung vorhersagen und dann die neue Position des Objekts an Hand der Schätzung und den neuen Messwerten ermitteln. Wenn ein Objekt eindeutig identifiziert wird (was für das Tracking wichtig ist), kann man auch ohne großen Aufwand das„Alter" berechnen (z.B. Speichern desIt is advantageous if, in the step of the forming, parameters are used which contain information relating to a brightness, color and / or sharpness of an image region of the image taken by the camera and / or an information relating to a position, assigned to the object. represents a distance and / or a movement of one of the objects with respect to the camera or with respect to the second of the at least two objects and / or a duration of the presence of the object in past images of the camera and / or an age of the objects. The objects are often tracked by "tracking" (ie, tracking) across multiple images.Tracking can be used, for example, by determining the speed of a vehicle from differentiation of the position: the object speed can be used to determine the position of the object predict at the next measurement and then determine the new position of the object based on the estimate and the new measurements If an object is uniquely identified (which is important for tracking), you can easily calculate the "age" (eg Save the
Zeitstempels beim ersten Auftreten des Objektes). Eine derartige Ausführungs- form der vorliegenden Erfindung bietet den Vorteil von einfach zu ermittelnden Parametern, wobei dennoch eine zuverlässige und einfache Gruppierung der Objekte in Objektgruppen möglich ist. Timestamp at the first occurrence of the object). Such an embodiment Form of the present invention offers the advantage of easy-to-determine parameters, yet a reliable and simple grouping of objects in object groups is possible.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung können im Schritt des Einlesens ferner weitere Objektdaten betreffend zumindest eines dritten Objektes eingelesen werden, wobei die weiteren Objektdaten Informationen über das dritte Objekt repräsentieren, das in dem von der Kamera aufgenommen Bild als Objekt klassifiziert wurde und wobei im Schritt des Bildens ferner die Objektgruppendaten unter Verwendung der weiteren Objektdaten gebildet wird. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass auch Informationen in Bezug auf mehr als zwei Objekte in die Objektgruppendaten eingebunden werden können. Dies bedeutet, dass die Objektgruppendaten beispielsweise Informationen über drei Objekte enthalten, wodurch sich eine weitere Reduktion der Datenübertragungslast an das Scheinwerfersteuergerät realisieren lässt. Je größer die Anzahl von Objekten ist, zu denen Informationen in den Objektgruppendaten berücksichtigt sind, desto geringer ist die Inanspruchnahme einer Datenübertragungsverbindung zur Übertragung von Informationen über die aus dem Kamerabild erkannten Objekte an das Scheinwerfersteuergerät. According to a further embodiment of the present invention, further object data relating to at least one third object can also be read in the step of reading in, wherein the further object data represent information about the third object which was classified as an object in the image taken by the camera and wherein in step forming the object group data is further formed using the further object data. Such an embodiment of the present invention offers the advantage that information relating to more than two objects can also be incorporated into the object group data. This means that the object group data contain, for example, information about three objects, whereby a further reduction of the data transmission load to the headlight control unit can be realized. The greater the number of objects to which information in the object group data is taken into consideration, the lower the utilization of a data transmission connection for transmitting information about the objects recognized from the camera image to the headlight control unit.
Es können auch zwei (oder mehr) Objektgruppen zu einer einzelnen zusammen- gefasst werden. Dabei werden aus der Reihe der Objekte beispielsweise zuerst „kleine" Objektgruppen, bestehend aus wenigen Objekten, gebildet, die anschließend immer weiter miteinander verschmolzen werden, um daraus eine größere Objektgruppe zu bilden. Es können damit nicht ausschließlich mehrere Objekte zu einer Objektgruppe zusammengefasst werden, sondern auch mehrere Objektgruppen zu einer„verschmolzen" werden. Um eine noch präzisere Bildung von Objektgruppen zu ermöglichen, können auch mehr als zwei voneinander unterschiedliche Parameter verwendet werden. Somit können gemäß einer weiteren Ausführungsform der vorliegenden Erfindung im Schritt des Bildens die Objektgruppendaten auf der Basis zumindest eines dritten von den zwei Parametern unterschiedlichen Parameters gebildet wer- den. Gemäß einer anderen Ausführungsform der vorliegenden Erfindung können im Schritt des Bildens Objektgruppendaten gebildet werden, die eine Information über eine Position, eine Form, eine Bewegungsinformation, ein Alter (d.h. eine zeitliche Abhängigkeit), eine Helligkeit, eine Farbinformation, eine Anzahl der Ob- jekte und/oder eine Größe eines Bildausschnitts enthalten, in dem die zumindest zwei Objekte im Bild der Kamera detektiert wurden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass das Scheinwerfersteuergerät die Objektgruppendaten sehr einfach zur Steuerung, insbesondere zur Ausrichtung der Scheinwerfer verwenden kann, ohne aufwändigere Berechnun- gen selbst anstellen zu müssen. It is also possible to combine two (or more) object groups into a single one. For example, "small" object groups, consisting of a few objects, are first formed from the series of objects, which are then merged further and further to form a larger object group, meaning that not only several objects can be combined into one object group. but also several object groups are merged into one. In order to allow even more precise formation of object groups, more than two different parameters can be used. Thus, according to another embodiment of the present invention, in the step of forming, the object group data may be formed on the basis of at least a third parameter different from the two parameters. According to another embodiment of the present invention, in the step of forming, object group data may be formed that includes information about a position, a shape, a motion information, an age (ie, a time dependency), a brightness, a color information, a number of the objects and / or a size of an image section in which the at least two objects were detected in the image of the camera. Such an embodiment of the present invention offers the advantage that the headlamp control unit can very easily use the object group data for the control, in particular for the alignment of the headlamps, without having to make more complex calculations themselves.
Günstig ist es auch, wenn gemäß einer weiteren Ausführungsform im Schritt des Einlesens ferner zweite Objektdaten betreffend zumindest zwei weitere Objekte eingelesen werden, wobei die zweiten Objektdaten Informationen über die zwei weiteren Objekte repräsentieren, die in dem von der Kamera aufgenommenen Bild als Objekt klassifiziert wurden, wobei im Schritt des Bildens ferner zweite Objektgruppendaten aus den eingelesenen zweiten Objektdaten der zumindest zwei weiteren Objekte gebildet werden, wobei das Bilden der zweiten Objektgruppendaten unter Verwendung von zumindest zwei unterschiedlichen Parametern erfolgt, die aus Bilddaten des von der Kamera aufgenommenen Bildes bereitgestellt wurden und wobei im Schritt des Übertragens die zweiten Objektgruppendaten an das Scheinwerfersteuergerät übertragen werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil der Übertragung von mehreren Objektgruppen bzw. mehreren Daten die unterschiedlichen Objektgruppen zugeordnet sind, so dass sich insbesondere bei vielen erkannten Objekten die Beanspruchung eines Verbindungsbusses zum Scheinwerfersteuergerät weiter reduzieren lässt. It is also favorable if, according to another embodiment, second object data concerning at least two further objects are also read in in the reading step, the second object data representing information about the two further objects which have been classified as an object in the image recorded by the camera, wherein, in the step of forming, second object group data is further formed from the read second object data of the at least two further objects, wherein the second object group data is formed using at least two different parameters provided from image data of the image taken by the camera Step of transmitting the second object group data are transmitted to the headlight control unit. Such an embodiment of the present invention offers the advantage of transmitting a plurality of object groups or a plurality of data which are assigned to different object groups, so that the load on a connection bus to the headlight control unit can be further reduced, in particular for many detected objects.
Bei der Bildung von Objektgruppen kann es vorteilhaft sein die Form der Objekt- gruppe zu berücksichtigen. So könnte beispielsweise eine Zusammenfassung ein gewisses Seitenverhältnis bevorzugen und demnach ein Objekt der einen oder der anderen Gruppe zuordnen. Man könnte beispielsweise auch auf die durchschnittliche Helligkeit der Objektgruppe oder die Objektdichte in der Fläche der Objektgruppe optimieren. Bei der nachfolgend näher beschriebenen Parameter- liste, in der stichpunktartig die verschiedenen Parameter zur Bildung der Objekt- gruppen aufgelistet sind, gibt es mehrere die sich auch auf die Form, durchschnittliche Helligkeit etc. der Objekt-Gruppe beziehen. When forming object groups, it may be advantageous to consider the shape of the object group. For example, a summary might prefer a certain aspect ratio and thus assign an object to one or the other group. For example, you could also optimize for the average brightness of the object group or the density of objects in the area of the object group. In the parameter list described in more detail below, in which the various parameters for forming the object groups are listed, there are several which also relate to the shape, average brightness etc. of the object group.
Um eine besonders flexible Bildung von Objektgruppen zur ermöglichen, kann auch ein Objekt in mehrere Objektgruppen eingeordnet werden. In einer derartigen Ausführungsform der vorliegenden Erfindung kann insbesondere im Schritt des Einlesens ferner zumindest Objektdaten eines Zusatzobjektes eingelesen werden, wobei die Objektdaten des Zusatzobjektes Informationen über die das Zusatzobjekt repräsentieren, die in dem von der Kamera aufgenommen Bild als Objekt klassifiziert wurden und wobei im Schritt des Bildens die Objektgruppendaten und die zweiten Objektgruppendaten unter gemeinsamer Verwendung der Objektdaten des Zusatzobjektes gebildet werden. In order to allow a particularly flexible formation of object groups, an object can also be arranged in several object groups. In such an embodiment of the present invention, in particular in the reading step, at least object data of an additional object can be read in, the object data of the additional object representing information about the additional object classified as an object in the image taken by the camera, and wherein in the step of The object group data and the second object group data are formed by using the object data of the additional object together.
Besonders vorteilhaft ist es, wenn nicht nur abstrakte Daten über eine Objekt- gruppe übertragen werden, sondern ein als Objektgruppendaten Informationen übertragen werden, die Reihen vordefinierter Szenarios um das Fahrzeug, insbesondere vor dem Fahrzeug betreffen. Ein solches Szenario könnte beispielsweise darin bestehen, dass eine (oder mehrere) Fahrzeug(e) dem eigenen Fahrzeug entgegenkommen. In diesem Fall könnte als Objektgruppendaten Informa- tionen über dieses aktuelle Szenario eines entgegenkommenden Fahrzeugs übertragen werden. Diese Informationen betreffen beispielsweise eine Information wie weit der weg sich das Fahrzeug befindet. Gemäß einer solchen Ausführungsform der vorliegenden Erfindung können somit im Schritt des Bildens Objektgruppendaten gebildet werden, die einem dem Scheinwerfersteuergerät be- kannten vordefinierten Szenario vor dem Fahrzeug entsprechen. It is particularly advantageous if not only abstract data is transmitted via an object group, but rather information which is transmitted as object group data and relates to rows of predefined scenarios around the vehicle, in particular in front of the vehicle, is transmitted. Such a scenario could be, for example, that one (or more) vehicle (s) are accommodating one's own vehicle. In this case, information about this current scenario of an oncoming vehicle could be transmitted as object group data. For example, this information relates to how far away the vehicle is. According to such an embodiment of the present invention, object group data corresponding to a predefined scenario in front of the vehicle known to the headlight control unit can thus be formed in the step of forming.
Besonders vorteilhaft ist es, wenn der hier vorgeschlagene Ansatz verwendet wird, um einen beispielsweise standardisierten Datenübertragungsbus zu Übertragung von Steuersignalen unterschiedlicher Fahrzeugkomponenten zu entlas- ten. In diesem Fall werden noch weitere Steuersignale als Informationen zurIt is particularly advantageous if the approach proposed here is used to relieve, for example, a standardized data transmission bus for the transmission of control signals from different vehicle components. In this case, further control signals are used as information for
Scheinwerfersteuerung über eine solche Datenübertragungsleitung gesendet. Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung können somit im Schritt des Übersendens die Objektgruppendaten an ein Scheinwerfersteuergerät gesendet werden, das von einem Datenaufbereitungsgerät unab- hängig und räumlich getrennt in einem eigenen Gehäuse angeordnet ist, wobei das Datenaufbereitungsgerät die Schritte des Einlesens und des Bildens aus- führt, insbesondere wobei im Schritt des Übertragens die Objektgruppendaten über einen Fahrzeug-Kommunikationsbus (z.B. CAN-Bus, Flexray, optische Bussysteme, drahtlose Systeme) des Fahrzeugs übertragen werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass ein bereits verfügbares Datenübertragungssystem in einem Fahrzeug benutzt werden kann, ohne eine übermäßige Belastung dieses Fahrzeug-Datenübertragungssystems durch Übertragung von Informationen zur Scheinwerfersteuerung zu verursachen. Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann derHeadlight control sent over such a data transmission line. In accordance with a further embodiment of the present invention, in the step of the transmission, the object group data can thus be sent to a headlight control unit, which is arranged by a data preparation device independently and spatially separated in its own housing, wherein the data preparation device performs the steps of reading and forming. In particular, wherein in the step of transferring the object group data via a vehicle communication bus (eg CAN bus, Flexray, optical bus systems, wireless systems) of the vehicle are transmitted. Such an embodiment of the present invention offers the advantage that an already available data transmission system can be used in a vehicle without causing an excessive load on this vehicle data transmission system by transmitting headlight control information. According to another embodiment of the present invention, the
Schritt des Bildens ferner ansprechend auf ein Anforderungssignal des Scheinwerfer-Steuergerätes ausgeführt werden, wobei das Anforderungssignal insbesondere eine Information über eine Wahl der Parameter für die Bildung der Objektgruppendaten und/oder über eine Situationsvorgabe aufweist. Das Einlesen der Objekte wird üblicherweise zyklisch vorgenommen, sobald neue Messdaten der Kamera vorliegen. Das Anforderungssignal ermöglicht dann bei der Gruppenbildung eine Vorgabe, wie bzw. unter Verwendung von welchen Parametern die Objekte zusammengefasst werden sollten. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass das Scheinwerfer-Steuergerät bereits eine Vorauswahl von Parametern vornehmen kann, die zur optimalenStep of forming further in response to a request signal of the headlamp control unit are executed, wherein the request signal in particular information about a choice of the parameters for the formation of the object group data and / or a situation specification has. The reading in of the objects is usually carried out cyclically as soon as new measurement data of the camera is available. The request signal then makes it possible in group formation to specify how or using which parameters the objects should be combined. Such an embodiment of the present invention offers the advantage that the headlamp control unit can already make a preselection of parameters that are optimal
Lichtaussendung durch die Scheinwerfer des Fahrzeugs benötigt werden. Auf diese Weise kann sichergestellt werden, dass die Objektgruppendaten Informationen über Objekte enthalten, die alle bestimmte Parametereigenschaften der gewünschten Parameter haben. Light emission by the headlights of the vehicle are needed. In this way, it can be ensured that the object group data contain information about objects that all have certain parameter properties of the desired parameters.
Besonders vorteilhaft ist es ferner, wenn im Schritt des Bildens ferner weitere Objektgruppendaten aus den eingelesenen Objektdaten der zumindest zwei Objekte gebildet werden, wobei das Bilden der weiteren Objektgruppendaten unter Verwendung von zumindest zwei sich von den Parametern unterscheidenden weiteren Parametern erfolgt, die aus Bilddaten des von der Kamera aufgenommenen Bildes bereitgestellt wurden und wobei im Schritt des Übertragens die weiteren Objektgruppendaten an das Scheinwerfersteuergerät übertragen werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass ein Teil der Verarbeitung des Kamerabildes bereits in dem Datenaufbe- reitungsgerät ausgeführt werden kann und die aufbereiteten Daten dann über dieIt is furthermore particularly advantageous if, in the step of forming, further object group data is also formed from the read-in object data of the at least two objects, the further object group data being formed using at least two further parameters which differ from the parameters and which are composed of image data of the object provided with the camera, and wherein in the step of transmitting the further object group data are transmitted to the headlight control unit. Such an embodiment of the present invention offers the advantage that part of the processing of the camera image can already be carried out in the data processing device and the processed data then be processed via the
Datenübertragungsleitung übertragen werden. Insbesondere durch die Gruppie- rung der einzelnen Objekte in unterschiedliche Objektgruppen kann eine Vorklassifizierung der Objekte anhand der unterschiedlichen Parametereigenschaften erfolgen. Auf diese Weise kann eine Datenverarbeitungslast von dem Data transmission line are transmitted. In particular, through the grouping tion of the individual objects into different object groups, preclassification of the objects can take place on the basis of the different parameter properties. In this way, a data processing load of the
Scheinwerfer-Steuergerät hin zum Datenaufbereitungsgerät erfolgen, so dass durch die Übertragung der bereits aufbereiteten Daten die Datenübertragungskapazität der Datenübertragungsleitung des Fahrzeugs effizient genutzt werden kann. Headlight control unit made to the data preparation device, so that the data transmission capacity of the data transmission line of the vehicle can be efficiently used by the transfer of the already processed data.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild eines Fahrzeugs, bei dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet wird; Fig. 1 is a block diagram of a vehicle to which an embodiment of the present invention is applied;
Fig. 2 eine schematische Darstellung der adaptiven Hell-Dunkel-Grenze aus der Zeitschrift Automobil-Elektronik; Figure 2 is a schematic representation of the adaptive cut-off line from the periodical automotive electronics.
Fig. 3 eine Darstellung einer schematischen Anpassung der Leuchtweite von Scheinwerfern an vorausfahrende Fahrzeuge (in Bezug zu einem vertikalen Winkel) aus Fahrer-/Kamera-/Scheinwerfer-Perspektive; 3 is an illustration of a schematic adjustment of the headlamp range of headlamps to vehicles in front (with respect to a vertical angle) from a driver / camera / headlamp perspective;
Fig. 4 eine schematische Darstellung des blendfreien Fernlichts nach einerFig. 4 is a schematic representation of the glare-free high beam after a
Darstellung von D. Grimm„Trends in Automotive lighting, new technolo- gy and its benefits for end-users", 8th International Symposium on Automotive Lighting, 2009; Presentation by D. Grimm "Trends in automotive lighting, new technology and its benefits for end users", 8th International Symposium on Automotive Lighting, 2009;
Fig. 5A eine schematische Darstellung des blendfreien Fernlichts bei einem einzelnen Fahrzeug (in Bezug auf einen vertikalen und horizontalen Wnkel) aus Fahrer-/Kamera-/Scheinwerfer-Perspektive; Fig. 5A is a schematic representation of the glare-free high beam in a single vehicle (with respect to a vertical and horizontal axis) from a driver / camera / headlight perspective;
Fig. 5B eine Darstellung eines optischen Flusses unter Verwendung von„Opti- scher-Fluss"-Vektoren; FIG. 5B is an illustration of optical flow using "optical flow" vectors; FIG.
Fig. 6A ein Kamerabild, wie es beispielsweise von einer Kamera in dem Fahrzeug aufgenommen wird; Fig. 6B ein verarbeitetes Kamerabild, in dem Objekte von einem Objekterkennungsalgorithmus erkannt wurden; Fig. 6A is a camera image as taken by a camera in the vehicle, for example; FIG. 6B is a processed camera image in which objects have been recognized by an object recognition algorithm; FIG.
Fig. 6C ein Bild einer Kamera, bei dem mehrere Objekte in Ausführung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens gruppiert worden sind; 6C shows an image of a camera in which several objects have been grouped in accordance with an embodiment of the method according to the invention;
Fig. 7 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung; und Fig. 7 is a flow chart of an embodiment of the present invention; and
Fig. 8 ein detaillierteres Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung samt Übertragung der generierten Objektgruppendaten an ein Scheinwerfer-Steuergerät. 8 is a more detailed flow chart of an embodiment of the present invention including transmission of the generated object group data to a headlight controller.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
Fig. 1 zeigt ein Blockschaltbild eines Fahrzeugs 100, das ein Ausführungsbeispiel des nachfolgend beschriebenen Ansatzes zur Übertragung von Daten an ein Scheinwerfersteuergerät verwendet. Hierbei wird durch eine Kamera 110 die Fahrzeugumgebung 115 in einem Sichtwinkel 120 abgetastet und hieraus ein Kamerabild der Fahrzeugumgebung 1 15 generiert. Die Kamera 1 10 dient dabei als optischer Sensor und kann beispielsweise als sehr preisgünstige CCD- oder CMOS-Kamera ausgestaltet sein, wie sie mittlerweile breit verfügbar ist. Das von der Kamera 1 10 gelieferte Kamerabild wird nachfolgend in einem Datenaufbereitungsgerät 130 weiterverarbeitet. Das Datenaufbereitungsgerät 130 kann auch Teil der Kamera 1 10 oder als Software auf einer in Fig. 1 nicht dargestellten Prozessoreinheit der Kamera 1 10 ausgeführt werden. Dabei wird ein Algorithmus auf das Kamerabild angewendet, um Objekte in dem Kamerabild zu erkennen und entsprechende Parameter des Kamerabildes zu erfassen, die in Bezug zu diesen Objekten stehen. Unter einem solchen Parameter kann beispielsweise die Helligkeit oder Farbe eines Ausschnitts des Kamerabildes verstanden werden, in dem ein Objekt erkannt wurde. In diesem Datenaufbereitungsgerät 130 wird nun eine Gruppierung von mehreren, das heißt zumindest zwei Objekten vorgenommen, wobei diese Gruppierung unter Verwendung von zumindest zwei unterschiedlichen Parametern erfolgt, die den beiden Objekten zugeordnet sind. Dabei erfolgt die Gruppierung derart, dass beispielsweise ein erster Parameter eines ersten Objekts mit einem ersten Parameter des zweiten Objekts verglichen wird und ein zweiter Parameter des ersten Objekt, der vom ersten Parameter unterschiedlich ist, mit einem zweiten Parameter des zweiten Objekts in Beziehung gesetzt, wobei der zweite Parameter des zweiten Objekts ebenfalls vom ersten Parameter des zweiten Objekts unter- schiedlich ist. Der erste Parameter repräsentiert dabei gleiche Größen im ersten und zweiten Objekt, wobei sich auch der zweite Parameter auf gleiche Größen im ersten und zweiten Objekt bezieht. Auf diese Weise erfolgt die Gruppierung somit anhand von zwei unterschiedlichen Parametern, die für jedes der zwei gruppierten Objekte in Beziehung zueinander gesetzt werden. Beispielsweise kann als erster Parameter eine Helligkeit des ersten Objekts mit einer Helligkeit als erstem Parameter des zweiten Objekts verglichen werden und eine Geschwindigkeit und/oder Richtung als zweiter Parameter des ersten Objekts mit einer Geschwindigkeit und/oder Richtung als zweiter Parameter des zweiten Objekts verglichen werden, wobei das erste Objekte dann mit dem zweiten Objekt in eine Objektgruppe gruppiert wird, wenn sowohl die Helligkeit des ersten Objekts mit der Helligkeit des zweiten Objekts innerhalb eines Toleranzbereichs übereinstimmt als auch die Geschwindigkeit und/oder Richtung des ersten Objekts mit der Geschwindigkeit und/oder Richtung des zweiten Objekts innerhalb eines Toleranzbereichs übereinstimmt. Somit wird das erste Objekt mit dem zweiten in ei- ne gemeinsame Objektgruppe gruppiert, wenn sowohl der erste Parameter des ersten Objekts innerhalb eines Toleranzbereichs mit dem ersten Parameter des zweiten Objekts übereinstimmt und wobei der zweite Parameter des ersten Objekts innerhalb eines Toleranzbereichs mit dem zweiten Parameter des zweiten Objekts übereinstimmt. Die auf diese Weise gruppierten Objekte werden also in einer Objektgruppe zusammengefasst, die durch eine geringere Informationsmenge beschrieben werden kann, als die beiden einzelnen Objekte. Diese Objektgruppe kann durch einen Datensatz (der nachfolgend als Objektgruppendaten bezeichnet wird) repräsentiert sein, der beispielsweise eine Information über die die Anzahl Objekte in der Objektgruppe, eine Form der Objekte in der Ob- jektgruppe, eine Bewegungsrichtung der Objekte der Objektgruppe, eine Beschreibung und/oder Angabe zur Position und/oder Größe und/oder Form des Ausschnittes des Kamerabildes, das die Objektgruppe repräsentiert oder ähnliches sein. Weiterhin kann das„Alter" des ObjektesAgruppe im Bild berücksichtigt werden. Die Daten über eine solche Objektgruppe werden nachfolgend beispielsweise über einen Datenübertragungsbus 140 wie beispielsweise den CAN-Bus, ein FlexRay, optischer Bus (z.B. MOST), drahtlose Übertragung (z.B. Bluetooth, ZigBee) an das Scheinwerfersteuergerät 150 übertragen, welches unter Verwendung dieser Objektgruppendaten die Lichtverteilung eines Lichtkegels oder eines Beleuchtungsfeldes von Scheinwerfern 160 des Fahrzeugs 100 steuert. Dabei kann der Datenübertragungsbus 140 ein bereits standardmäßig im Fahrzeug 100 verbauter Datenbus sein, der beispielsweise auch eine Signalübertragung von Aufprallsensoren 170 an ein Airbagsteuergerät 180 und/oder ein Auslösesignal von dem Airbagsteuergerät 180 an einen Airbag 190 liefert. Durch die Gruppie- rung von mehreren Objekten zu einer gemeinsamen Objektgruppe und der Übertragung von solchen Objektgruppendaten über den Datenübertragungsbus 140 lässt sich somit eine Reduktion der über den Datenübertragungsbus 140 zur Übertragung der Informationen zu dem aus dem Kamerabild erkannten Objekten realisieren. Durch eine solche Reduktion der Datenübertragungslast kann eine mögliche Überlastung des Datenübertragungsbusses 140 vermieden werden, wobei dennoch eine optimale Ausleuchtung der Fahrzeugumgebung 1 15 durch die präzise Versorgung des Scheinwerfersteuergeräts mit erforderlichen Informationen möglich wird, um eine optimale Ansteuerung der Scheinwerfer 160 mittels der Scheinwerfersteuereinheit 150 zu realisieren. Fig. 1 shows a block diagram of a vehicle 100 which uses an embodiment of the approach described below for the transmission of data to a headlight control unit. In this case, the vehicle surroundings 115 are scanned at a viewing angle 120 by a camera 110 and from this a camera image of the vehicle surroundings 15 is generated. The camera 1 10 serves as an optical sensor and can be configured for example as a very inexpensive CCD or CMOS camera, as it is now widely available. The camera image delivered by the camera 1 10 is subsequently further processed in a data processing device 130. The data processing device 130 may also be part of the camera 110 or executed as software on a processor unit, not shown in FIG. 1, of the camera 110. An algorithm is applied to the camera image to detect objects in the camera image and to capture corresponding parameters of the camera image related to those objects. Under such a parameter, for example, the brightness or color of a section of the camera image are understood in which an object was detected. In this data processing device 130 now a grouping of several, that is at least two objects is made, this grouping is done using at least two different parameters that are associated with the two objects. In this case, the grouping takes place such that, for example, a first parameter of a first object is compared with a first parameter of the second object, and a second parameter of the first object, which is different from the first parameter, is related to a second parameter of the second object, the second parameter of the second object is also different from the first parameter of the second object. The first parameter represents equal magnitudes in the first and second objects, whereby the second parameter also refers to equal magnitudes in the first and second objects. In this way, the grouping thus takes place on the basis of two different parameters which are related to one another for each of the two grouped objects. For example, as the first parameter, a brightness of the first object can be compared with a brightness as the first parameter of the second object, and a speed and / or direction as a second parameter of the first object compared to a speed and / or direction as a second parameter of the second object, wherein the first object is grouped with the second object into an object group if both the brightness of the first object matches the brightness of the second object within a tolerance range and the speed and / or direction of the first object with the velocity and / or direction of the second object within a tolerance range. Thus, when both the first parameter of the first object within a tolerance range matches the first parameter of the second object and the second parameter of the first object within a tolerance range with the second parameter, the first object is grouped with the second one into a common object group of the second object. The objects grouped in this way are thus grouped together in a group of objects that can be described by a smaller amount of information than the two individual objects. This object group can be represented by a data record (hereinafter referred to as object group data) which contains, for example, information about the number of objects in the object group, a shape of the objects in the object group, a movement direction of the objects of the object group, a description and / or indication of the position and / or size and / or shape of the Section of the camera image that represents the object group or something similar. Furthermore, the "age" of the object A group can be taken into account in the image The data about such a group of objects are subsequently transmitted via, for example, a CAN bus, a FlexRay, optical bus (eg MOST), wireless transmission (eg Bluetooth, ZigBee ), which controls the light distribution of a light cone or an illumination field of headlights 160 of the vehicle 100 using this object group data to an airbag control unit 180 and / or a trigger signal from the airbag control unit 180 to an airbag 190. By grouping multiple objects into a common object group and transmitting such object group data via the data transfer bus 140 Thus, a reduction of the objects detected via the data transmission bus 140 for the transmission of the information to the object detected from the camera image can be realized. By such a reduction of the data transmission load, a possible overloading of the data transmission bus 140 can be avoided, whereby nevertheless an optimal illumination of the vehicle surroundings 15 by the precise supply of the headlight control unit with required information becomes possible in order to realize an optimal control of the headlights 160 by means of the headlight control unit 150 ,
Weiterhin können freie Ressourcen in der Kamera verwendet werden, um Situationen (vor-) zu berechnen. Dadurch muss die Rechenleistung von Kamera und Scheinwerfersteuergerät nicht auf die Spitzenlast ausgelegt werden. Ein Detektionsalgorithmus FDD (FDD = Fahrzeugdetektion bei Dunkelheit), der in der Kamera 110 selbst oder, wie in Fig. 1 in der Datenüberbereitungseinheit 130 ausgeführt wird, erkennt und klassifiziert beispielsweise bei Nacht helle Objekte und unterscheidet z.B. Fahrzeuge, Reflektoren und Straßenlaternen. Objekte, die keiner der Kategorien zugeordnet werden können, werden als„unbekannte Ob- jekte" einsortiert oder klassifiziert. Bei den Fahrzeugen werden Frontscheinwerfer und Rücklichter unterschieden. Die Unterscheidung zwischen Frontlichtern und Rücklichtern wird beispielsweise durch den Parameter„Lichtfarbe" der erkannten Objekte durchgeführt. Die einzelnen Lichtquellen als erkannte Objekte werden, falls möglich, zu Licht-Paaren als Objektgruppe zusammengefasst. Es kann ferner zusätzlich eine Objekt-Detektion/ -Klassifikation von Blinkersignal und andere Signaleinrichtungen von Fahrzeugen, leuchtender Infrastruktur (z.B. Ampeln),Furthermore, free resources can be used in the camera to calculate (pre-) situations. As a result, the computing power of the camera and headlight control unit does not have to be designed for the peak load. A detection algorithm FDD (FDD = vehicle detection in the dark) performed in the camera 110 itself or, as in FIG. 1, in the data preparation unit 130 detects and classifies, for example, bright objects at night and distinguishes, for example, vehicles, reflectors and street lights. Objects that can not be assigned to any of the categories are sorted or classified as "unknown objects." The vehicles distinguish between headlights and taillights Taillights are, for example, carried out by the parameter "light color" of the detected objects.The individual light sources as detected objects are, if possible, combined into pairs of light as a group of objects.Also, an object detection / classification of the indicator signal and other signal devices of Vehicles, luminescent infrastructure (eg traffic lights),
Fahrrädern und Fußgängern (mit Reflektoren) nützlich sein. Bicycles and pedestrians (with reflectors).
Die erkannten Objekte besitzen eine Bildposition (Detektionswinkel) sowohl in vertikaler, als auch horizontaler Richtung. Wenn ein Scheinwerferpaar erkannt wurde, kann aus dem Abstand der Scheinwerfer zueinander die Entfernung sehr grob geschätzt werden (Genauigkeit mehrere Meter). Ursache ist die Schwankung der Einbaupositionen/ -abstände der Scheinwerfer. The detected objects have an image position (detection angle) in both the vertical and horizontal directions. If a headlight pair has been detected, the distance from the headlights to each other makes it possible to estimate the distance very roughly (accuracy of several meters). The cause is the fluctuation of the installation positions / distances of the headlights.
Die Objekte können für einfache Fernlichtassistenten genutzt werden, die zwi- sehen Fernlicht und Abblendlicht hin- und herschalten. Für eine einfache Umsetzung (ohne Situationserkennung) reicht hier das Erkennen des Vorhandenseins anderer Verkehrsteilnehmer (vgl. J. Rebut„A Monocular Vision Based Advanced Lighting Automation System for Driving Assistance", IEEE International Symposium on Industrial Electronics, 2009). The objects can be used for simple high-beam assistants, which switch between high beam and low beam. For a simple implementation (without situation recognition) the recognition of the presence of other road users suffices here (see J. Rebut "A Monocular Vision Based Advanced Lighting Automation System for Driving Assistance", IEEE International Symposium on Industrial Electronics, 2009).
Bei erweiterten Fernlichtassistenten, wie beispielsweise der„AHC"-Funktion (AHC = Adaptive High Beam Control), wird der Abstrahlwinkel des Scheinwerfers so weit angehoben, dass die Sichtweite des Fahrers erhöht wird, die anderen Verkehrsteilnehmer aber nicht geblendet werden. Dies ist in den Teilfiguren der Fig. 2, die schematische Darstellungen von AHC in unterschiedliche Szenarien einer Fahrzeugbeleuchtung bei unebener Fahrbahn und/oder vorausfahrendem Fahrzeug dargestellt. Um den Abstrahlwinkel des Scheinwerfers berechnen zu können, sollte die vertikale Position und, falls möglich, auch der Abstand zum Objekt bekannt sein. Dies ist in der Fig. 3 wiedergegeben, wobei in dieser Figur eine schematische Anpassung von Scheinwerfern an vorausfahrende FahrzeugeIn the case of extended high-beam assistants, such as the Adaptive High Beam Control (AHC) function, the beam angle of the headlight is raised so that the driver's range of vision is increased, but the other road users are not dazzled 2, the schematic representations of AHC in different scenarios of vehicle lighting on uneven road and / or preceding vehicle shown.In order to calculate the beam angle of the headlamp, the vertical position and, if possible, the distance to the object should be known This is shown in Fig. 3, wherein in this figure a schematic adaptation of headlamps to vehicles in front
(vertikaler Wnkel) als Fahrer-/Kamera-/ und Scheinwerfer-Perspektive dargestellt ist. Der Fernlichtassistent ist verwandt mit der dynamischen Leuchtweiten- Regulierung, bei der die Leuchtweite angepasst wird. In diesem letztgenannten Fall erfolgt jedoch eine Anpassung an eine konstante Reichweite. Für den Lichtassistenten„blendfreies Fernlicht" (auch CHC = Continuous High Beam Control genannt) werden beispielsweise der rechte und linke Scheinwerfer auseinander geschwenkt, um einen Schattenbereich um die Fahrzeuge zu erzeugen. Fig. 4 zeigt eine schematische Darstellung des blendfreien Fernlichts entsprechend der Darstellung aus D. Grimm„Trends in Automotive lighting, new technology and its benefits for end-users", 8th International Symposium on Automotive Lighting, 2009, wie ein solches Auseinanderschwenken der Lichtkegel in unterschiedlichen Fahrtpositionen erfolgt, wenn das eigene Fahrzeug 400 auf ein entgegenkommendes Fahrzeug 410 zufährt. Für die Berechnung des Schat- tenbereichs sollten zusätzlich zur vertikalen Objektposition noch die horizontalen(Vertical Wnkel) is shown as a driver / camera / headlight perspective. The high beam assistant is related to the dynamic headlamp leveling, which adjusts the headlamp range. In the latter case, however, an adaptation to a constant range takes place. For example, for the light assistant "non-glare high beam" (also called CHC = Continuous High Beam Control), the right and left headlights are swung apart to create a shadow area around the vehicles Figure 4 is a schematic representation of the glare-free high beam as shown D. Grimm, "Trends in Automotive Lighting, New Technology and Its Benefits for End-Users," 8th International Symposium on Automotive Lighting, 2009, describes how such a divergence of light beams occurs in different driving positions when the own vehicle 400 is on an oncoming vehicle 410 zufährt. For the calculation of the shadow area, in addition to the vertical object position, the horizontal
Koordinaten der Verkehrsteilnehmer bekannt sein, wie dies aus der schematischen Darstellung des blendfreien Fernlichts bei einem einzelnen Fahrzeug (vertikaler Winkel und horizontale Winkel) aus Fahrer-/Kamera-/Scheinwerfer- Perspektive entsprechend der Fig. 5A darstellt ist. Die Verkehrsteilnehmer wer- den dann gemeinsam„entblendet". Coordinates of road users to be known, as is shown in the schematic representation of the glare-free high beam at a single vehicle (vertical angle and horizontal angle) from the driver / camera / headlight perspective corresponding to FIG. 5A. The road users are then "blinded" together.
Bei Pixel-Licht bzw. Matrix-Beam wird der Raum vor dem Fahrzeug in Segmente eingeteilt, die einzeln angeleuchtet werden können. Die Funktionalität ist ähnlich des blendfreien Fernlichts, wobei die Ansteuerung eine größere Flexibilität be- sitzt: Es braucht kein gemeinsamer Schattenbereich erzeugt werden. In pixel light or matrix beam, the space in front of the vehicle is divided into segments, which can be illuminated individually. The functionality is similar to the glare-free high beam, whereby the control has a greater flexibility: no common shadow area needs to be created.
Wenn zusätzlich zu den Objektwinkeln noch mehr Informationen zur Verfügung stehen, können daraus Situationen berechnet werden, auf die reagiert wird (z.B. Anpassung von Parametern). Eine Situationserkennung ist nötig, um moderne Assistenzsysteme zu entwickeln. If more information is available in addition to the object angles, it can be used to calculate situations that are being reacted to (for example, adaptation of parameters). Situational recognition is needed to develop modern assistance systems.
Je nach System-Ausprägung kann die Einstellempfehlung für die Scheinwerfer von der Kamera (bzw. dem integrierten Kamerasteuergerät) kommen oder im Scheinwerfersteuergerät bestimmt werden. Die Berechnung innerhalb der Kame- ra ist vorteilhaft, da hier auf alle Messwerte zentral zugegriffen werden könnenDepending on the system characteristics, the recommended settings for the headlights can come from the camera (or the integrated camera control unit) or can be determined in the headlight control unit. The calculation within the camera is advantageous since all measured values can be accessed centrally
(vollständig alle von FDD gemessenen Objekte mit allen Zusatzinformationen, aber auch z.B. Spurinformationen). (Completely all objects measured by FDD with all additional information, but also, for example, track information).
Häufig findet die Berechnung jedoch im Scheinwerfer-Steuergerät 150 entsprechend der Fig. 1 statt, wenn der Scheinwerferhersteller die gesamte Ansteuerung des Scheinwerfers realisiert. Zur Ansteuerung sollten dann die von FDD gemes- senen Objekte von der Kamera an das Scheinwerfer-Steuergerät in einer Objektliste übertragen werden. Dazu wird vor der Entwicklung eine Anzahl an zu übertragenden Objekten festgelegt (z.B. 8 Stück im Projekt eines bestimmten Fahrzeugherstellers), welche zyklisch über den CAN-Bus übertragen werden. Wenn die Kamera eine größere Anzahl an Objekten detektiert, muss sie entweder Objekte auslassen, oder die Objekte zusammenfassen. Frequently, however, the calculation takes place in the headlamp control unit 150 according to FIG. 1, when the headlamp manufacturer realizes the entire activation of the headlamp. For the control then the measured by FDD should objects from the camera to the headlight control unit in an object list. For this purpose, a number of objects to be transferred are defined prior to development (eg 8 units in the project of a specific vehicle manufacturer), which are transmitted cyclically via the CAN bus. If the camera detects a larger number of objects, it must either omit objects or combine the objects.
Das Auslassen von Objekten und die Zusammenfassung von Objekten zu Gruppen haben Auswirkungen auf die Ansteuerungsmöglichkeiten des Scheinwerfer- Steuergerätes. Wenn die Gruppe nicht sinnvoll gewählt wird, oder die falschenThe omission of objects and the grouping of objects into groups have effects on the control possibilities of the headlamp control unit. If the group is not chosen sensibly, or the wrong one
Objekte nicht gesendet werden, kann das Scheinwerfersteuergerät nicht die optimale Entscheidung zur Scheinwerfereinstellung treffen. Es ist ebenfalls möglich, dass das Scheinwerfersteuergerät durch die fehlenden Informationen die Situation nicht richtig interpretiert. Objects are not sent, the headlight control unit can not make the optimal decision on the headlamp setting. It is also possible that the headlight control unit does not correctly interpret the situation due to the missing information.
Die Art der Zusammenfassung der entsprechenden Objekte hat Auswirkungen auf die Leistungsfähigkeit der gesamten Scheinwerfer-Ansteuerung. Eine gute Zusammenfassung von Objekten gewährleistet eine optimale Verfügbarkeit der Funktion. The way in which the corresponding objects are grouped has an effect on the performance of the entire headlight control system. A good summary of objects ensures optimal availability of the function.
Ein besonderer Aspekt der vorliegenden Erfindung betrifft die Verwendung eines FOE, d.h. eines„Field of Expansion". Bei der Erkennung eines optischen Flusses wird berücksichtigt, wie sich die Objekte bewegen. Hier wird die Position des FOE genutzt, um z.B. nahe beim FOE liegende Fahrzeuge zusammenzufassen, da diese wahrscheinlich weit weg sind. In der Fig. 5B werden (entsprechend derA particular aspect of the present invention relates to the use of a FOE, i. A "Field of Expansion." Optical flow detection takes into account how the objects move, using the position of the FOE to summarize, for example, vehicles lying close to the FOE, as these are likely to be far away. 5B (corresponding to the
Erläuterung aus http://de.wikipedia.org/wiki/Optischer_Fluss) Vektoren bezüglich eines„optischen Flusses" wiedergegeben. Lange Linien entstehen dabei durch große Bewegungen von Fixpunkten an bestimmten Objekten. Die Fluss-Linien schneiden sich hier im„Field of Expansion" (FOE) ziemlich in der Mitte des Bil- des (oder scheinen dort zu entspringen). Aus diesem FOE-Punkt/-Region scheinen alle Dinge zu entstehen und bei Annäherung größer zu werden (was zum optischen Eindruck einer Expansion führt). Explanation from http://de.wikipedia.org/wiki/Optical_Fluss) Vectors are reproduced in terms of an "optical flow." Long lines are created by large movements of fixed points on specific objects, where the flow lines intersect in the "Field of Expansion." "(FOE) in the middle of the picture (or seem to spring). From this FOE point / region, all things seem to emerge and get bigger when approached (giving the visual impression of expansion).
Das FOE ist nicht immer mittig. Beispielsweise verschiebt es sich bei Kurvenfahrt in Richtung der Kurve. Neue Objekte tauchen dann normalerweise nicht mehr in der Mitte des Bildes auf. In dem nachfolgen noch detaillierter beschriebenen Ansatz wird erläutert, welche Kombinationen von Daten genutzt werden (können), um eine sinnvolle Gruppierung von Objekten vorzunehmen. Eine solche Gruppierung kann auch als Cluste- ring bezeichnet werden. Die Gruppierung ist insbesondere dann nötig, um dem Scheinwerfersteuergerät alle nötigen Informationen zur Verfügung stellen zu können, auch wenn es zu viele Objekte für die zur Verfügung gestellte Bandbreite ist. The FOE is not always in the middle. For example, it moves in cornering in the direction of the curve. Normally, new objects no longer appear in the middle of the picture. In the approach described in more detail below, it will be explained which combinations of data can be used to make a meaningful grouping of objects. Such a grouping can also be referred to as clustering. The grouping is particularly necessary in order to provide the necessary information to the headlight control unit, even if there are too many objects for the bandwidth provided.
Weiterhin wird beschrieben, dass man Situationen an das Scheinwerfer- Steuergerät übermitteln kann und so das Scheinwerfersteuergerät von Berechnungen entlastet wird und die in der Kamera vorliegenden Informationen optimal nutzen kann. Furthermore, it is described that one can transmit situations to the headlight control unit and so the headlight control unit is relieved of calculations and can optimally use the information available in the camera.
Für die Übermittlung von Objektgruppen (Objektclustern) werden meist Rechtecke genutzt— es können aber auch andere geometrische Formen übertragen werden, um eine optimierte Datenrepräsentation bei gleichbleibender Bandbreite zu erreichen. Rectangles are usually used to convey object groups (object clusters), but other geometric shapes can also be transferred in order to achieve an optimized data representation with the same bandwidth.
Um eine solche Objektgruppe bzw. ein Objekt-Cluster zu erzeugen, sollten zumindest zwei Parameter von Objekten in Beziehung zueinander gesetzt werden, um eine Gruppierung der betreffenden Objekte in eine Objektgruppe präzise vornehmen zu können. Diese Parameter sollten sich auf die gleichen Eigenschaften der beiden Objekte beziehen. Wenn die beiden Parameter von zwei Objekten innerhalb eines Toleranzbereichs übereinstimmen, sollten die beiden Objekte in einer Objektgruppe gruppiert werden. Auch können natürlich mehr als zwei Objekte in eine Objektgruppe gruppiert werden wobei dann sowohl der erste als auch der zweite Parameter für alle die in die Objektgruppe gruppierten Objekte innerhalb eines Toleranzbereichs liegen sollte. In order to create such an object group or an object cluster, at least two parameters of objects should be related to each other in order to be able to precisely group the relevant objects into an object group. These parameters should refer to the same properties of the two objects. If the two parameters of two objects within a tolerance range match, the two objects should be grouped in a collection. Of course, more than two objects may also be grouped into one object group, in which case both the first and second parameters for all the objects grouped in the object group should lie within a tolerance range.
Für die Gruppierung der Objekte können viele unterschiedliche Attribute oder Eigenschaften oder Parameter der erkannten Objekte bzw. Parameter des Kamerabildes zur Berechnung einer Objektgruppe herangezogen werden. For grouping the objects, many different attributes or properties or parameters of the detected objects or parameters of the camera image can be used to calculate an object group.
Für die Zusammenfassung von Objekten zu Objektgruppen wird eine Kombination von Attributen verschiedener Objekte miteinander verrechnet, um eine Grup- pe (Cluster) zu bilden. Als Beispiele für die für die Objektgruppierung berücksichtigten Parameter können die folgenden Parameter genannt werden: For the grouping of objects into object groups, a combination of attributes of different objects is offset against each other in order to create a group. to form pe (cluster). As examples of the parameters considered for the object grouping, the following parameters can be mentioned:
• Detektionswinkel relativ zur optischen Achse der Kamera (entspricht ungefähr der Pixelposition)  Detection angle relative to the optical axis of the camera (corresponds approximately to the pixel position)
o Horizontale Objektposition (Koordinaten)  o Horizontal object position (coordinates)
o Vertikale Objektposition (Koordinaten)  o Vertical object position (coordinates)
• Entfernung des Objekts von der Kamera  • Removal of the object from the camera
• Typ des Objekts (Fahrzeug, Straßenlaterne, Reflektor, ...),  • Type of object (vehicle, street lamp, reflector, ...),
• Fahrtrichtung bzw. Fahrzeugbeleuchtungstyp (Frontscheinwerfer, Rücklicht, ...)  • Driving direction or type of vehicle lighting (headlamp, tail light, ...)
o Entgegenkommend (Frontscheinwerfer)  o Responsive (front headlights)
o Vorausfahrend (Rücklichter)  o preceding (taillights)
• Ausdehnung des Objekts (Höhe, Breite)  • Extension of the object (height, width)
• Form des Objekts (Eckigkeit, Rundheit)  • shape of the object (angularity, roundness)
· Seitenverhältnis des Rechtecks, das das Objekt/ -gruppe umschließt (Dieser· Aspect Ratio of the rectangle surrounding the object / group (This
Aspekt ist vorwiegend beim„Wachsenlassen" von Objekt-Gruppen nützlich, d.h. es existiert schon eine Gruppe und es wird überlegt, welches Objekt man noch hinzunimmt.) Aspect is mainly useful when "growing" object groups, that is, there already exists a group and it is considered which object is still to be added.)
• Helligkeit der Lichtquelle  • Brightness of the light source
· (durchschnittliche) Helligkeit des Rechtecks, das das Objekt oder Objektgruppe umschließt (gegebenenfalls auch Rechteck/ geometrische Form, die Gruppe umschließt) · (Average) brightness of the rectangle enclosing the object or group of objects (if necessary, rectangle / geometric shape enclosing the group)
• Farbe der Lichtquelle  • Color of the light source
• Die Entfernung (Detektionswinkel) zum nächsten/benachbarten Objekt o Entfernung der Mittelpunkte der Objekte  • The distance (detection angle) to the next / adjacent object o Distance of the centers of the objects
o Abstand zwischen den einzelnen Objekten  o Distance between the individual objects
• Dauer der Detektion des Objekts („Alter" der detektierten Objekte, d.h. Dauer, wie lange vor der aktuellen Erfassung das Objekt bereits erkannt wurde) • duration of detection of the object ("age" of the detected objects, i.e. duration, how long before the current detection the object has already been detected)
• Relativgeschwindigkeit zum eigenen Fahrzeug (Skalierungsänderung, Ent- fernungsänderung, Positionsänderung) • relative speed to own vehicle (scaling change, distance change, position change)
• (geschätzte) Höhe des Objekts über Grund (-> z.B. Zusammenfassung bei Straßenlaternen)  • (estimated) height of the object above ground (-> for example, in the case of street lamps)
• Nähe zum FOE (Field Of Expansion)  • proximity to FOE (Field Of Expansion)
• Bewegungsrichtung/ -stärke im Kamerabild  • Movement direction / strength in the camera image
· Position auf der Straße zueinander (z.B.„alle Fahrzeuge nach dem zweiten· Position on the road to each other (e.g., "all vehicles after the second
Fahrzeug zusammenfassen") • Logisch zusammengehörige Objekte (z.B. eine Kolonne erfassen, einen Blinker mit Rückleuchten, ... zusammenführen) Group vehicle ") • Logically related objects (eg capture a column, merge a turn signal with taillights, ...)
• Straßenverlauf bei Gruppierung mit einbeziehen (Der Straßenverlauf ist keine Objekteigenschaft im engeren Sinne, sondern kann die Gruppenbildung beeinflussen. Der Straßenverlauf braucht nicht zwingend von der Kamera erkannt werden, sondern kann auch z.B. von einem Navigationsgerät ausgelesen werden).  • Include road course when grouping (The course of the road is not an object property in the narrower sense, but can influence group formation.) The course of the road does not necessarily have to be detected by the camera, but can also be read by a navigation device, for example).
• Größe eines Halos um das Lichtobjekt (wobei Halos proportional zur Entfernung des Lichtobjektes und den atmosphärischen Bedingungen wie Nebel sind)  • size of a halo around the light object (where halos are proportional to the distance of the light object and the atmospheric conditions such as fog)
• Kantensteilheit der Ränder der Lichtquellen (wobei die Kantensteilheit umgekehrt proportional zu Halo ist und der Abstrahlcharakteristik der Lichtquelle)  Edge slope of the edges of the light sources (the edge slope being inversely proportional to halo and the radiation characteristic of the light source)
• Leuchtende Fläche (z.B. Größe der leuchtenden Fläche)  Luminous area (e.g., luminous area size)
· Helligkeitsunterschiede innerhalb des Objekts (um z.B. Schilder zusammenzufassen) Brightness differences within the object (for example, to summarize signs)
• Orientierung des Objekts  • Orientation of the object
• Anzahl von Objekten in Objektgruppe  • Number of objects in the collection
• Objektdichte in Objektgruppe (Anzahl Objekte pro Fläche der Gruppe) · Eigenbewegung des Fahrzeugs oder der aufnehmenden Kamera (um sich z.B. an schnelle Änderungen im Bild bei hoher Geschwindigkeit/ Gierrate anzupassen)  • Object density in object group (number of objects per area of the group) · Self-motion of the vehicle or the receiving camera (for example, to adapt to rapid changes in the image at high speed / yaw rate)
• Typ der Lichtquelle (z.B. LED, Hochdruckgasentladungslampe, ... ) Type of light source (e.g., LED, high pressure gas discharge lamp, etc.)
• Relative/ absolute Helligkeitsänderung der Lichtquelle (um beispielsweise eine Annäherungsgeschwindigkeit zu ermitteln) • Relative / absolute brightness change of the light source (for example, to determine a closing speed)
• Frequenz der Helligkeitsänderung (um zum Beispiel getaktete Lichtquellen wie LEDs zu erkennen)  • Frequency of brightness change (to detect, for example, clocked light sources such as LEDs)
• Ergebnisse der Oberflächenschätzung der Kamera und/oder eines Navigationssystems (z.B. Steigung der Straße vor dem Fahrzeug)  Results of the surface estimation of the camera and / or a navigation system (e.g., slope of the road in front of the vehicle)
· Entfernung zu Messdaten von anderen vorausschauenden Sensoren (z.B. · Distance to measurement data from other predictive sensors (e.g.
Entfernung zu Objekten, die an Hand von Radar-Reflexen ermittelt wurden) und/ oder  Distance to objects determined by radar reflections) and / or
• Verhältnis zwischen Pixeln von mind. 2 unterschiedlichen spektralen Filterungen (auch: spektrale Filterung = keine Filterung) -Lichtfarbe Die oben genannten Parameter sind nur exemplarisch genannt, wobei zumindest zwei Parameter zur möglichst präzisen Gruppierung der betreffenden Objekte in eine gemeinsame Objektgruppe verwendet werden. Nachfolgend werden einzelne der oben genannten Parameter näher erläutert. • Ratio between pixels of at least 2 different spectral filters (also: spectral filtering = no filtering) -light color The above-mentioned parameters are only mentioned by way of example, with at least two parameters being used for the most precise possible grouping of the relevant objects into a common object group. Below, some of the above parameters are explained in more detail.
Parameter Objektentfernung Parameter object distance
Normalerweise wird die Lichtverteilung auf das Objekt/die Objekte eingestellt, die am Nächsten zum Fahrzeug stehen. Zusätzlich zur tatsächlichen Schätzung der Entfernung des Objekts können noch weitere Daten zur Abschätzung des Ab- stands genutzt werden.  Normally, the light distribution is set to the object (s) closest to the vehicle. In addition to the actual estimation of the object's distance, additional data can be used to estimate the distance.
Dazu gehört beispielsweise auch die Position des erkannten Objekts im (Kame- ra-)Bild, mit der man bei bekannter Oberfläche und Anbauhöhe der Lichtquelle die Entfernung schätzen kann. Aus der Größe des Objekts kann man ebenso eine Entfernung schätzen, da weit entfernte Objekte im Bild kleiner erscheinen als nahe Objekte (FDD nutzt unter Anderem die Breite des Scheinwerferpaars zur Entfernungsschätzung). This includes, for example, the position of the detected object in the (camera) image, with which the distance can be estimated given the known surface and mounting height of the light source. You can also estimate a distance from the size of the object because distant objects in the image appear smaller than nearby objects (FDD uses, among other things, the width of the headlight pair for distance estimation).
Bei atmosphärischen Einflüssen wie Feuchte in der Luft bildet sich ein Lichtschein, ein sogenannter„Halo", um die Lichtobjekte, da das Licht an den Wassertropfen gestreut wird. Je weiter entfernt das Fahrzeug ist, desto mehr Wassertropfen sind zwischen Objekt und Kamera und desto größer wird der Halo. Wenn ein Halo vorhanden ist, sinkt auch die Kantensteilheit der Lichtquelle, d.h. die Objekte werden nur noch unscharf oder in einer geringeren Schärfe von der Kamera erkannt, als ohne Feuchte in der Luft. Lichtquellen bei Fahrzeugen haben meist eine maximal erlaubte Größe, die mit der Entfernung im Kamerabild kleiner wird. Bei Fahrzeugen, die hintereinander fahren, ist die Kenntnis der genauen Eigenschaften der hinteren Fahrzeuge für die Scheinwerferansteuerung meist zweitrangig— die relative Position der Fahrzeuge auf der Straße zueinander kann daher auch als Entfernung genutzt werden (auch bei Verdeckungseffekten, bei denen keine Entfernung wegen nur einzelnen Scheinwerfern berechnet werden kann). At atmospheric influences such as humidity in the air, a halo forms around the light objects, as the light is scattered by the water droplets.The further away the vehicle is, the more drops of water are between the object and the camera and the larger If there is a halo, the edge gradient of the light source also decreases, ie the objects are only detected in a blurred or less sharply defined way than without moisture in the air For vehicles driving in a row, the knowledge of the exact characteristics of the rear vehicles for the headlight control is usually secondary - the relative position of the vehicles on the road to each other can therefore also be used as a distance (also for masking effects, where no distance due to only individual headlights n can be calculated).
Die Helligkeit kann zur Entfernungsschätzung genutzt werden, da sie quadratisch mit der Entfernung abnimmt (vor allem, wenn die Lichtquelle auf weniger als ei- nen Pixel abgebildet wird und so mit dunklen Schattenbereichen gemittelt wird). Durch den Mittelwert-bildenden Charakter bei der Abbildung auf Pixel, gehen auch Helligkeitsunterschiede innerhalb der Lichtquelle verloren— je weiter entfernt die Lichtquelle ist, desto geringer fallen die Helligkeitsunterschiede inner- halb des Objekts aus. The brightness can be used for distance estimation because it decreases quadratically with the distance (especially if the light source is less than pixels are mapped and thus averaged with dark shadow areas). Due to the averaging character of the image on pixels, brightness differences within the light source are also lost - the farther the light source is, the lower the brightness differences within the object fall out.
Die ermittelte Eigenbewegung der Kamera kann genutzt werden, um z.B. bei hoher Geschwindigkeit weniger oder nur die weit entfernten Objekte zusammenzufassen, da man sich schneller annähert. Das„Alter" eines entgegenkommenden Objekts kann ebenfalls dazu dienen (zusammen mit anderen Parametern, z.B.The determined proper motion of the camera can be used to e.g. At high speed less or only the distant objects to summarize, as you approach faster. The "age" of an oncoming object may also serve this purpose (along with other parameters, e.g.
Eigenbewegung, Oberflächenschätzung) auf die Entfernung zu schließen. Proper motion, surface estimation) to deduce the distance.
Objekte, die nahe beieinander im Bild sind, stehen möglicherweise auch in der Realität nahe beieinander und haben eine ähnliche Entfernung. Objects that are close together in the picture may also be close to each other in reality and have a similar distance.
Parameter Objektbewegung Parameter object movement
Der Parameter„Objektbewegung" hat Einfluss auf die Dynamik des Gesamtsystems und auf die Situationserkennung (z.B. entgegenkommendes Fahrzeug). Die Objektbewegung kann direkt aus dem Bild bzw. durch Differentiation der Objektposition im Bild geschätzt werden. Weiterhin kann man an Hand des Fahrzeugbeleuchtungstyps auf die qualitative Geschwindigkeit/ zukünftige Positionsänderung schließen. Rückleuchten, d.h. vorausfahrende Fahrzeuge haben meist eine kleine Änderung der relativen Position zur Folge, da sie normalerweise in die gleiche Richtung fahren wie das eigene Fahrzeug. Entgegenkommende The parameter "object movement" has an influence on the dynamics of the entire system and on the situation recognition (eg oncoming vehicle) .The object movement can be estimated directly from the image or by differentiation of the object position in the image Tail lights, ie vehicles in front usually result in a small change in relative position as they normally travel in the same direction as the vehicle itself
Fahrzeuge haben, wenn sie nah sind (d.h. eine geringe Objektentfernung aufweisen und/oder unter einem großen Objektwinkel zur Normalen des Kamerabildes aufgenommen werden), eine hohe Dynamik (besonders beim Vorbeifahren). Die Fahrtrichtung bzw. der Fahrzeugbeleuchtungstyp kann, an Hand der Lichtfarbe erkannt werden. Die Lichtfarbe kann ebenfalls zur Objekt-Gruppierung genutzt werden. So können zur Gruppenbildung beispielsweise gleiche Lichtfarben (zur Gruppenbildung für Objekte gleicher Fahrtrichtung) verwendet werden, aber auch unterschiedliche Lichtfarben (z.B. gelbes Blinkersignal zu den benachbar- ten Lichtquellen zuordnen). Eine Messung der Lichtfarbe kann durch Farbrekonstruktion erfolgen, bei der aus mind. zwei unterschiedlich farbigen Pixeln (bei- spielsweise rot und grau/farblos/nur Intensität; bei digitalen Kameras meist 3 Farben: rot, grün, blau) der Farbwert geschätzt wird. Statt eine fertig berechnete Farbe zu nutzen, können selbst die Verhältnisse/ Differenzen zwischen den (Färb-) Pixeln bei der Lichtquelle ausgewertet werden. Vehicles, when they are close (ie, have a small object distance and / or taken at a large object angle to the normal of the camera image), have high dynamics (especially when driving past). The direction of travel or the vehicle lighting type can be recognized by the light color. The light color can also be used for object grouping. Thus, for example, the same light colors (for group formation for objects in the same direction of travel) can be used for group formation, but also different light colors (eg yellow signal to be assigned to the neighboring light sources). A measurement of the light color can be done by color reconstruction, in which at least two differently colored pixels (in for example red and gray / colorless / only intensity; in digital cameras mostly 3 colors: red, green, blue) the color value is estimated. Instead of using a ready calculated color, even the relationships / differences between the (color) pixels at the light source can be evaluated.
Die Helligkeit einer Lichtquelle hängt quadratisch mit der Entfernung zusammen (photometrisches Entfernungsgesetz). Bei Annäherung des Objektes zur Kamera erhöht sich die Helligkeit bzw. die Größe/Fläche des Objekts. Daher kann auch beispielsweise die Helligkeitsänderung als Parameter zur Gruppenbildung ge- nutzt werden. The brightness of a light source is quadratically related to the distance (photometric law of distance). As the object approaches the camera, the brightness or size / area of the object increases. Therefore, for example, the brightness change can also be used as a parameter for group formation.
Das„Alter" von Objekten (d.h. die Dauer des Objekts im Bild) hat unterschiedlichen Einfluss auf die voraussichtliche Dynamik des Objekts: ein„altes" Objekt kann langsam (in Bezug auf die Geschwindigkeit der Kamera) sein (beispielsweise ein vorausfahrendes Fahrzeug), aber auch schnell werden (wie beispielsweise ein entgegenkommendes Fahrzeug bei guter Sicht beim Vorbeifahren). Unterschiedliche Objektkategorien oder Objektgruppen repräsentieren beispielsweise Objekte mit unterschiedlichen Geschwindigkeiten, was mit betrachtet werden kann, so dass beispielsweise keine Eigenbewegung von Straßenlaternen, Ampeln, Reflektoren, berücksichtigt werden braucht. Die Orientierung des Objekts kann auch für die weitere Bewegung eine Rolle spielen. So können beispielsweise Objekte mit der gleichen Orientierung in eine Objektgruppe zusammengefasst werden, oder Objekte die nach der Orientierungsschätzung in die gleiche Richtung fahren werden können in eine Objektgruppe zusammengefasst werden. The "age" of objects (ie the duration of the object in the image) has different effects on the expected dynamics of the object: an "old" object may be slow (in relation to the speed of the camera) (for example, a vehicle in front), but also become fast (such as an oncoming vehicle in good visibility when driving by). Different object categories or object groups represent, for example, objects with different speeds, which can be viewed with, so that, for example, no proper movement of street lamps, traffic lights, reflectors, must be considered. The orientation of the object can also play a role in the further movement. For example, objects with the same orientation can be grouped together in one object group, or objects that are driven in the same direction after the orientation estimation can be combined into one object group.
Verminderung Fehlklassifikation Reduction of misclassification
FDD kann die einzelnen Objekte nicht immer sinnvoll in Paare zusammenfassen. In der übergeordneten Funktionsschicht können vermeintliche Einzelobjekte wieder gruppiert werden, wenn sie ähnlich sind und/oder in den Gesamtkontext passen. In der übergeordneten Funktionsschicht kann auch auf die Messdaten anderer Umfeldsensoren (auch: andere kamerabasierte Messalgorithmen) zurückgegriffen werden, um die Messdaten in Zusammenhang zu bringen und eine verbesserte Gruppierung, als es ohne die weiteren Messgrößen möglich wäre, durchzuführen. Wenn im Bild zu viele erkannt Objekte sind, die nicht alle übertragen werden können, sollten diese vielen Objekte zu einer oder mehreren Objektgruppen zu- sammengefasst werden, um die Datenübertragungslast über die Datenleitung zu minimieren. Dabei kann beispielsweise die Zusammenfassungs-Schwelle von einzelnen Objekten im Vergleich zu FDD gesenkt werden. FDD can not always sense the individual objects in pairs. In the higher-level functional layer, putative single objects can be regrouped if they are similar and / or fit into the overall context. In the higher-level functional layer, it is also possible to fall back on the measurement data of other environment sensors (also: other camera-based measurement algorithms) in order to correlate the measurement data and to perform an improved grouping than would be possible without the further measured variables. If there are too many detected objects in the image that can not all be transmitted, these many objects should be grouped into one or more object groups to minimize the data transfer load over the data line. For example, the summary threshold of individual objects may be lowered compared to FDD.
Die Einzelobjekte können so zusammengefasst werden, dass beispielsweise Objekte mit einer ähnlichen Form zusammengefasst werden oder von gleichen Lichtquellen (Frequenz bei LED, Lichtfarbe bläulich bei Xenon, rötlich bei Halo- gen). The individual objects can be summarized in such a way that, for example, objects of a similar shape are combined or of the same light sources (frequency with LED, light color bluish with xenon, reddish with halogens).
Es kann Situationen geben, in denen stark reflektierende Straßenschilder als Objekte/Fahrzeuge erkannt werden. Hier kann beispielsweise die Form, das Seitenverhältnis der umschließenden Rechtecks (bzw. umschließende geometrische Form), deren Fläche und durchschnittlichen Helligkeit (und Helligkeitsänderung innerhalb der Form) ausgewertet werden, um z.B. mit anderen vermeintlich nicht blendungsrelevanten Objekten zu verschmelzen. Schilder, die bei einer großen Größe in mehrere Objekte zerfallen könnten, sowie Häufungen von Schildern im Verkehrsraum, können so zusammengefasst werden. There may be situations where highly reflective street signs are recognized as objects / vehicles. Here, for example, the shape, the aspect ratio of the enclosing rectangle (or surrounding geometric shape), their area and average brightness (and brightness change within the shape) may be evaluated to e.g. with other supposedly non-glare relevant objects to merge. Signs, which could break up into several objects at a large size, as well as clusters of signs in the traffic area, can be summarized.
Gruppenbildung grouping
Je nach Strategie kann es sinnvoll sein, möglichst viele Objekte in einer Gruppe zusammenzufassen oder mehrere Gruppen mit möglichst wenigen Objekten zu bilden (Anzahl an Objekten in Gruppe).  Depending on the strategy, it may be useful to combine as many objects as possible in a group or to form several groups with as few objects as possible (number of objects in group).
Je nach Fernlichtassistent/ Ausprägung kann es sinnvoll sein, das Seitenverhältnis mit einzubeziehen. So könnte beispielsweise für eine feinere Abstufung beim blendfreien Fernlicht eine hochkant stehende Gruppierung von Objekten (d.h. eine Gruppierung von Objekten, die im Kamerabild übereinander angeordnet sind) bevorzugt werden, bei Einzel-Lichtern eine Gruppierung, die einer Fahrzeug-Depending on the high-beam assistant / characteristic, it may be useful to include the aspect ratio. For example, for a finer gradation in glare-free high beam, an upright grouping of objects (i.e., a grouping of objects superimposed in the camera image) might be preferred, for single lights a grouping that would be similar to a vehicle
Geometrie entspricht (z.B. auch Scheinwerfer zusammen mit Positionsleuchten gruppieren). Geometry (for example, also group headlamps together with position lights).
Ergänzung zur Gruppenbildung (Clustering) Supplement to group formation (clustering)
Zur Reduzierung der Daten braucht nicht nur ein einzelner Objekt-Cluster oder eine einzelne Objektgruppe gebildet werden. Es ist auch möglich, dass mehrere Gruppen gebildet werden (z.B. zur Reduzierung der Anzahl an Objekten in einer Gruppe). To reduce the data, not only a single object cluster or a single object group needs to be formed. It is also possible that several Groups are formed (eg to reduce the number of objects in a group).
Weiterhin ist nicht ausgeschlossen, dass ein Objekt in mehreren Gruppen vor- handen ist. Das ist möglich, wenn beispielsweise das Objekt sowohl zu denFurthermore, it is not excluded that an object is present in several groups. This is possible if, for example, the object both to the
Gruppen (Clustern)„entgegenkommend und nah", als auch„schnelle Bewegung nach links" gehört. Groups (clusters) "responsive and close", as well as "fast movement to the left" heard.
Die Objekte werden sinnvoll zu Gruppen zusammengefasst, wodurch auch die Parameter der Gruppen-Objekte angepasst werden sollten. The objects are usefully grouped together, whereby the parameters of the group objects should also be adjusted.
Es ist auch möglich spezielle Botschaften für Objekt-Gruppen vorzusehen. It is also possible to provide special messages for object groups.
Statt einer Liste mit Einzelobjekten (gegebenenfalls gemischt mit Gruppen) las- sen sich auch ausschließlich Gruppendaten übertragen. Vorteilhaft bei der Übertragung von ausschließlich Objektgruppendaten (Clusterdaten) ist, dass eine Kennzeichnung in der Kommunikationsbotschaft eingespart werden kann, ob es sich bei den übertragenen Daten um Gruppendaten oder Einzel-Objektdaten handelt, wodurch die zu übertragende Information weiter verdichtet werden kann. Dabei sollte ein„Bounding-Box"-Objektgruppe übertragen werden, der alle Fahrzeuge umfasst (daraus können horizontale und vertikale Koordinaten für den zu entblendenden Bereich extrahiert werden). Alternativ können andere Gruppendaten übertragen werden. Es muss jedoch sichergestellt werden, dass alle Fahrzeuge von diesen Gruppen in Summe umfasst werden. In dem Sonderfall, dass keine Einzelobjekte sondern ausschließlich Gruppendaten übertragen werden können und nur ein einzelnes Objekt von der Kamera erkannt werden konnte, kann in einer„Gruppe" auch ein einzelnes Objekt vorhanden sein. Dies kann auch der Fall sein, wenn Gruppen mit spezifischen Eigenschaften übertragen werden, aber nur ein einzelnes Objekt in diese Gruppe passt (z.B. eine Gruppe „alle entgegenkommende Fahrzeuge, die näher als eine gewisse Entfernung sind" und es nur ein entgegenkommendes Fahrzeug gibt). Instead of a list of individual objects (possibly mixed with groups), only group data can be transferred. An advantage in the transmission of exclusively object group data (cluster data) is that a marking in the communication message can be saved, whether the data transmitted is group data or individual object data, whereby the information to be transmitted can be further compressed. A "bounding box" group of objects should be transmitted that includes all vehicles (from which horizontal and vertical coordinates for the area to be blanked can be extracted), or other group data may be transferred, but it must be ensured that all vehicles are from In the special case that no single objects but only group data can be transmitted and only a single object could be detected by the camera, a single object may also be present in a "group". This may also be the case when groups with specific characteristics are transmitted, but only a single object fits into that group (e.g., a group "all oncoming vehicles closer than a certain distance" and there is only one oncoming vehicle).
Statt Rechtecken mit Bereichen des Kamerabildes als Objektgruppe oder Ob- jektcluster können auch Objektgruppen mit anderen geometrischen Formen für einen Bildausschnitt des Kamerabildes übertragen werden. Dazu gehören nebenInstead of rectangles with areas of the camera image as an object group or object clusters, object groups with other geometric shapes can also be transferred for an image section of the camera image. These include beside
Rechtecken und Trapezen allgemeine„Vielecke" zur Definition von Regionen. Die Regionen können aber auch als runde Formen (z.B. Kreis, Ellipse, Kurvenverlauf, Bezier-Kurve, ...) beschrieben werden. Rectangles and trapezoids general "polygons" to define regions. The regions can also be described as round shapes (eg circle, ellipse, curve, Bezier curve, ...).
Es ist vorteilhaft, wenn den Regionen ein„Schwerpunkt" (z.B. Mittelpunkt,„wich- tigster Punkt") zugewiesen wird. Der Schwerpunkt braucht nicht den tatsächlichen Schwerpunkt der geometrischen Form wiederspiegeln, sondern kann auch der thematische Schwerpunkt sein (z.B. vorderstes Fahrzeug einer Kolonne). It is advantageous if regions are assigned a "center of gravity" (e.g., center, "most important point"). The center of gravity does not need to reflect the actual center of gravity of the geometric shape, but may also be the thematic center of gravity (e.g., foremost vehicle of a column).
Zur Form bzw. dem Schwerpunkt können zusätzlich Bewegungsinformationen (Translation, Rotation, Skalierung/ Größenänderung) zugeordnet werden, um Informationen über deren voraussichtliche Entwicklung zu geben. Dadurch können die darauf aufbauenden Algorithmen noch vorausschauender arbeiten. In addition, movement information (translation, rotation, scaling / resizing) can be assigned to the form or the center of gravity in order to provide information about their probable development. This allows the algorithms based on it to work even more proactively.
An Stelle einer Gruppenbildung können auch Objekte, die als nicht besonders relevant gelten, ausgelassen werden (z.B. zentrales Fahrzeug einer Gruppierung). In lieu of grouping, objects that are not considered particularly relevant may also be left out (e.g., central vehicle of a grouping).
Es ist vorteilhaft, wenn die Kamera die Parameter, nach denen die Gruppen gebildet werden, dynamisch an die jeweilige Situation anpassen kann, um eine optimale Informationsdichte zu erreichen. It is advantageous if the camera can dynamically adapt the parameters according to which the groups are formed to the respective situation in order to achieve an optimum information density.
Es ist möglich, dass das Scheinwerfer-Steuergerät verschiedene Parametereinstellungen von der Kamera anfordert oder Situationen anfordert, die es für eine optimale Scheinwerfer-Ansteuerung benötigt. So kann die Kamera die verfügbare Rechenleistung auf die benötigten Situationen aufwenden bzw. durch eine gewollte Anpassung der Parameterzusammenstellungen eine optimale Informationsdichte der übertragenen Daten bzw. optimale Informationsübertragung erreichen. Die Zusammenstellung der Objekte und Situationen braucht nicht fest zu sein, sondern kann geändert werden. Wenn das Scheinwerfersteuergerät mehr „Intelligenz" besitzt, kann es für die dann einfacher gehaltene Kamera entscheiden, wie sie die Zusammenstellung der Objekte durchführt, so dass das Ergebnis an die eigenen Bedürfnisse der Fahrsituation angepasst wird. It is possible that the headlamp controller requests various parameter settings from the camera or requests situations that it needs for optimal headlamp actuation. Thus, the camera can spend the available computing power on the required situations or achieve an optimal information density of the transmitted data or optimal information transfer by a desired adaptation of the parameter combinations. The compilation of objects and situations need not be fixed, but can be changed. If the headlamp control unit has more "intelligence", then it can decide for the then simpler held camera how it performs the compilation of the objects, so that the result is adapted to the own needs of the driving situation.
Parameter Fahrsituationen Parameter driving situations
Dieser Parameter betrifft die Übertragung von erkannten Verkehrssituationen, deren Wahrscheinlichkeit (optional) und Auftretensposition im Bild (optional). Die Position bzw. der Situationsbereich kann dabei als geometrische Form angege- ben werden (z.B. Rechteck, Trapez, Ellipse...), die einen Winkel-Bereich relativ zum Fahrzeug beschreibt (z.B. Objektwinkel, Pixelkoordinaten, ...), aber auch in anderen Koordinatensystemen. Ebenso kann die Position als Segment angeben werden (z.B. bei vorheriger Segmentierung des Bildes). Zusätzlich zur Position kann die (relative) Bewegungsrichtung übermittelt werden. Das gilt auch für die regulären Objekt-Gruppen. This parameter affects the transmission of detected traffic situations, their probability (optional) and appearance position in the image (optional). The position or the situational area can be given as a geometric shape. ben (eg rectangle, trapezoid, ellipse ...), which describes an angle range relative to the vehicle (eg object angle, pixel coordinates, ...), but also in other coordinate systems. Likewise, the position can be specified as a segment (eg if the image was previously segmented). In addition to the position, the (relative) direction of movement can be transmitted. This also applies to the regular object groups.
Die Trennung in der Berechnung der Scheinwerferansteuerung zwischen Kamera und Scheinwerfersteuergerät braucht nicht auf der Ebene der Objekte erfol- gen. Die gemessenen oder erkannten Objekten und andere Informationen (z.B.The separation in the calculation of the headlamp control between camera and headlamp control unit need not take place at the level of the objects. The measured or recognized objects and other information (e.g.
Spurinformationen) können zu verschiedenen„Situationen" (d.h. Fahrtszenarien) kombiniert werden. Diese Situationen können an das Scheinwerfer-Steuergerät geschickt werden, wodurch dessen Ressourcenbedarf sinkt und die in der Kamera vorhandenen Informationen besser verwendet werden können. Die Messgrö- ßen (Parameter) werden zu Fahrsituationen zusammengefasst und an dasTrack information) can be combined into various "situations" (ie driving scenarios), these situations can be sent to the headlamp control unit, reducing its resource requirements and making better use of the information available in the camera.The metrics (parameters) will become summarized to driving situations and to the
Scheinwerfer-Steuergerät gesendet. Headlight control unit sent.
Zusätzlich zum Typ der Fahrsituation (z.B. überholendes Fahrzeug, Kolonne entgegenkommend, S-Kurve, ...) kann auch der Bereich der Fahrsituation angege- ben werden. Dies kann beispielsweise über die Angabe eines Punktes (z.B.In addition to the type of driving situation (for example overtaking vehicle, approaching the convoy, S-curve, etc.), the range of the driving situation can also be specified. This can be done, for example, by specifying a point (e.g.
„wichtigster" Punkt in dieser Situation, z.B. Mittelpunkt des ersten entgegenkommenden Fahrzeugs) und/ oder die Angabe eines Bereiches erfolgen. Je nach Situation ist es sinnvoll eine Richtung mit anzugeben, um eine Tendenz der Bewegung der Situation zu erhalten. Eine (optionale) Wahrscheinlichkeit für eine ent- sprechende Fahrsituation lässt dem Scheinwerfer-Steuergerät Interpretationsspielräume und ermöglicht fließende Übergänge zwischen einzelnen Fahrsituationen. "Most important" point in this situation, eg center of the first oncoming vehicle) and / or indication of an area Depending on the situation, it makes sense to indicate a direction in order to obtain a tendency of the movement of the situation An (optional) probability For a corresponding driving situation, the headlamp control unit leaves room for interpretation and allows smooth transitions between individual driving situations.
Die Koordinaten der Gruppe kann der Mittelpunkt sein, aber es kann sich auch um einen repräsentativen Punkt handeln bzw. den für die Lichtfunktionen wichtigsten Punkt der Gruppe. Dies hängt vor allem mit der gewählten Geometrie der Gruppe zusammen, als auch mit der zur Verfügung stehenden Bandbreite bei der Übertragung. The coordinates of the group may be the center, but it may also be a representative point or the point of the group most important to the light functions. This mainly depends on the chosen geometry of the group, as well as on the available bandwidth during transmission.
Nachfolgend werden einige Beispiele für die Übertragung von Objektgruppendaten an das Scheinwerfer-Steuergerät darstellt. Aus den übertragenen Daten soll- te das Scheinwerfersteuergerät die optimale Ansteuerung für die einzelnen Scheinwerfer des Fahrzeugs ermitteln. The following are some examples of the transmission of object group data to the headlight controller. From the transmitted data, te the headlight control unit determine the optimal control for the individual headlights of the vehicle.
Zunächst wird eine Beispielsituation gemäß der Fig. 6 betrachtet. In dem Kame- rabild, das in der Fig. 6A dargestellt ist, sind drei hintereinander fahrende Fahrzeuge zu erkennen. Der Objektdetektionsalgorithmus FDD erkennt ein entgegenkommendes Scheinwerferpaar 610 und drei weitere Lichtquellen 620, sowie drei Reflektoren 630 in der Fahrzeugumgebung, wie es in der Fig. 6B dargestellt ist. First, an example situation according to FIG. 6 will be considered. In the camera picture, which is shown in FIG. 6A, three consecutive vehicles can be seen. The object detection algorithm FDD detects an oncoming headlight pair 610 and three further light sources 620, as well as three reflectors 630 in the vehicle environment, as shown in FIG. 6B.
In diesem Beispiel werden zwei Objekt-Gruppen 640 (die als rechteckige Bereiche im Kamerabild klassifiziert werden) gebildet, wie es in der Darstellung aus Fig. 6C wiedergegeben ist. Das vorderste Fahrzeug (Frontscheinwerferpaar) ist ein Objekt 640a (alleine in„Gruppe"), die nachfolgenden Fahrzeuge werden in einer gemeinsamen Gruppe 640b zusammengefasst, beispielsweise auf der Basis gleicher oder sehr ähnlicher Helligkeitswerte und Geschwindigkeiten in Bezug zur Kamera. Weiterhin beschreibt die Ellipse 650 den Bereich des Kamerabildes (d.h. ein Objekt) in für die Fahrtsituation„Kolonne" mit geschätzter Richtungsänderung (Geschwindigkeit Pfeil 660) sowie beispielsweise der ähnlichen Helligkeit der Objekte in der Objektgruppe(n). Der Punkt 670 beschreibt die Situation„Vorbeifahrer" (als Daten für das Scheinwerfersteuergerät) oder es beschreibt das Objekt in einer Objektgruppe oder als Einzelobjekt, das am ehesten blendungs- gefährdet ist und auf das besonders geregelt werden muss mit Bewegungsrichtung. Das Trapez 680 beschreibt die Gruppe der Reflektoren 630. In this example, two object groups 640 (which are classified as rectangular areas in the camera image) are formed, as shown in the illustration of Fig. 6C. The foremost vehicle (headlamp pair) is an object 640a (alone in "group"), the following vehicles are grouped together in a common group 640b, for example, based on equal or very similar brightness values and speeds with respect to the camera the area of the camera image (ie an object) in the driving situation "column" with estimated change in direction (speed arrow 660) and, for example, the similar brightness of the objects in the object group (s). Point 670 describes the situation "pass-by" (as data for the headlight control unit) or it describes the object in a group of objects or as a single object which is most likely to be glare-endangered and to which particular control is required Group of reflectors 630.
Ebenso könnte noch beispielsweise ein Bereich für vorausfahrende Objekte separat erzeugt werden, die am weitesten entfernt liegenden Objekte zusammengefasst werden (die z.B. unabhängig von Lichtfarbe sind) und beispielsweise ein Bereich für Straßenlaternen eingefügt werden. Likewise, for example, an area for preceding objects could be separately generated, the farthest objects grouped together (e.g., independent of light color), and, for example, an area for street lamps inserted.
Durch den vorliegend vorgestellten Ansatz wird es somit möglich, helle bei Nacht erkannte Objekte effizient an ein Scheinwerfersteuergerät zu senden, welches daraus eine Lichtansteuerung realisiert. Wenn viele Objekte im Bild auftauchen können durch den vorliegenden Ansatz mehrere dieser Objekte vorteilhaft zu ei- ner Gruppe zusammengefasst werden, damit Bandbreite gespart wird und/oder alle relevanten Informationen übermittelt werden können. In dem vorliegenden Ansatz werden verschiedene Zusammenfassungen vorgestellt, damit das Scheinwerfersteuergerät daraus sinnvolle Aktionen ableiten kann. The present approach thus makes it possible to efficiently transmit bright objects recognized at night to a headlight control unit, which realizes lighting control therefrom. If many objects appear in the image, the present approach advantageously combines several of these objects into a group so that bandwidth is saved and / or all relevant information can be transmitted. In the present Approach various summaries are presented so that the headlight control unit can derive meaningful actions.
Ferner zeigt die Fig. 7 ein Ablaufdiagramm eines Ausführungsbeispiels der vor- liegenden Erfindung als Verfahren 700 zum Übertragen von Daten über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät eines Fahrzeugs. Die Daten wurden unter Verwendung einer Kamera aufgenommen. Das Verfahren weist einen Schritt des Einlesens 710 von Objektdaten betreffend zumindest zwei Objekte, wobei die Objektdaten Informationen über Objekte repräsentieren, die in einem von der Kamera aufgenommen Bild als Objekt klassifiziert wurden. Weiterhin umfasst das Verfahren einen Schritt des Bildens 720 von Objektgruppendaten aus den eingelesenen Objektdaten der zumindest zwei Objekte, wobei das Bilden unter Verwendung von zumindest zwei unterschiedlichen Parametern erfolgt, die aus Bilddaten des von der Kamera aufgenommenen Bildes bereitge- stellt wurden. Schließlich umfasst das Verfahren 700 einen Schritt des Übertragens 730 der Objektgruppendaten als Daten über eine aktuelle Fahrzeugumgebung an das Scheinwerfersteuergerät. Furthermore, FIG. 7 shows a flow chart of an exemplary embodiment of the present invention as a method 700 for transmitting data about a current vehicle environment to a headlight control unit of a vehicle. The data was recorded using a camera. The method comprises a step of reading in 710 object data concerning at least two objects, the object data representing information about objects classified as an object in an image taken by the camera. Furthermore, the method comprises a step of forming 720 object group data from the read object data of the at least two objects, the forming taking place using at least two different parameters provided from image data of the image taken by the camera. Finally, the method 700 includes a step of transmitting 730 the object group data as data about a current vehicle environment to the headlight control unit.
In der Fig. 8 ist ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung als Verfahren dargestellt, wobei die Vorgehensweise bei der Bildung der Objektgruppendaten bzw. der Objektgruppen detaillierter dargestellt ist. Zunächst werden Objekte 810a bis 81 Oe aus einem Kamerabild generiert, beispielsweise unter Verwendung des Objektdetektionsalgorithmus FDD. Diese Objekte 810 lassen sich durch bestimmte Daten 815a bis 815e, die beispielsweise eine Position im und/oder eine Größe eines Bildausschnitts des Kamerabildes repräsentieren, beschreiben. Dies bedeutet, dass diese Daten 815a bis 815e, die die betreffenden Objekte 810 repräsentieren, übertragen werden und als Repräsentation dieses„Objekts" dienen. Zugleich werden bestimmte Parameter, wie sie vorstehend bereits aufgelistet wurden in Bezug zu den Objekten bestimmt und ebenfalls, beispielsweise in einem Datenrahmen, der die Objektdaten enthält, zur weiteren Verarbeitung bereitgestellt. Die Objekte 810a bis 81 Oe werden nachfolgend in einem ersten Schritt 710 des vorstehend näher beschriebenen Verfahrens eingelesen. Dabei kann sich beispielsweise bei dem Objekt 810a und dem Objekt 810b um erkannte Scheinwerfer von entgegenkommenden Fahrzeu- gen handeln. Diese Objekte 810a und 810b können nun an Hand von zwei unterschiedlichen Parametern P1 und P2 untersucht werden. Beispielsweise kann der erste Parameter P1 eine Helligkeit der in dem Kamerabild erkannten Objekte 810a und 810b sein, wogegen der Parameter P2 eine Geschwindigkeit und/oder eine Richtung dieser aus dem Kamerabild erkannten Objekte repräsentiert. Wird nun in einem ersten Vergleicher 820a ermittelt, dass der Parameter P1 des ers- ten Objekts 810a innerhalb eines Toleranzbereichs gleich dem ersten Parameter eines zweiten Objekts 810b ist, kann dies durch das Vergleichersignal X1 einem ersten Kombinierer 830a signalisiert werden. Analog kann in einem zweiten Vergleicher 820b überprüft werden, auch der zweite Parameter P2 des ersten Objekts 810a innerhalb eines Toleranzbereichs dem zweiten Parameter P2 des zweiten Objekts 810 b entspricht, was ebenfalls durch ein Vergleichersignal X2 dem ersten Kombinierer 830a signalisiert wird. Erhält der erste Kombinierer 830a über das erste und zweite Vergleichersignal X1 und X2 die Information, dass sowohl die ersten Parameter P1 als auch die zweiten Parameter P2 der beiden Objekte 810a und 810b jeweils innerhalb eines Toleranzbereichs gleich sind kann der erste Kombinierer 830a aus dem ersten Objekt 810a und den zweiten ObjektFIG. 8 shows a flow chart of an embodiment of the present invention as a method, wherein the procedure for the formation of the object group data or the object groups is shown in more detail. First, objects 810a to 81e are generated from a camera image, for example using the object detection algorithm FDD. These objects 810 can be described by specific data 815 a to 815 e, which represent, for example, a position in and / or a size of an image section of the camera image. This means that these data 815a to 815e, which represent the respective objects 810, are transmitted and serve as a representation of this "object." At the same time, certain parameters, as already listed above, are determined in relation to the objects and also, for example in FIG The objects 810a to 81 Oe are subsequently read in a first step 710 of the method described in more detail above, in which case, for example, the object 810a and the object 810b can be detected by adjacent headlamps These objects 810a and 810b can now be examined on the basis of two different parameters P1 and P2 the first parameter P1 is a brightness of the objects 810a and 810b recognized in the camera image, whereas the parameter P2 represents a speed and / or a direction of these objects detected from the camera image. If it is determined in a first comparator 820a that the parameter P1 of the first object 810a is equal to the first parameter of a second object 810b within a tolerance range, this can be signaled by the comparator signal X1 to a first combiner 830a. Similarly, in a second comparator 820b, the second parameter P2 of the first object 810a within a tolerance range also corresponds to the second parameter P2 of the second object 810b, which is likewise signaled to the first combiner 830a by a comparator signal X2. The first combiner 830a receives, via the first and second comparator signals X1 and X2, the information that both the first parameters P1 and the second parameters P2 of the two objects 810a and 810b are equal within a tolerance range, the first combiner 830a may be the first object 810a and the second object
810b eine Objektgruppe 810a/b bilden und entsprechende Objektgruppendaten 835a/b in einem Schritt des Übertragens 730 über eine Datenleitung 140 an das Scheinwerfer-Steuergerät 150 ausgeben. Es ist ferner auch möglich noch mehr Parameter bzw. Vergleicher zu verwenden wobei die Anzahl der Parameter bzw. Vergleicher beliebig groß sein kann. 810b form an object group 810a / b and output corresponding object group data 835a / b in a step of the transmission 730 via a data line 140 to the headlight control unit 150. It is also possible to use even more parameters or comparators, wherein the number of parameters or comparators can be arbitrarily large.
Ferner kann es sich beispielsweise bei dem Objekt 81 Od und dem Objekt 81 Oe um erkannte Rücklichter von vorausfahrenden Fahrzeugen handeln. Diese Objekte 81 Od und 81 Oe, die durch die Objektdaten 815d und 815e repräsentiert sind, können nun an Hand von zwei unterschiedlichen Parametern P3 und P4 untersucht werden. Beispielsweise kann der dritten Parameter P3 eine Farbe der in dem Kamerabild erkannten Objekte 81 Od und 81 Oe sein, wogegen der Parameter P4 einen Abstand dieser aus dem Kamerabild erkannten Objekte repräsentiert. Wird nun in einem dritten Vergleicher 820c ermittelt, dass der dritte Pa- rameter P3 des dritten Objekts 81 Od auf innerhalb eines Toleranzbereichs gleich dem dritten Parameter eines vierten Objekts 81 Oe ist, kann dies durch das Vergleichersignal X3 einem zweiten Kombinierer 830b signalisiert werden. Analog kann in einem vierten Vergleicher 820d überprüft werden, ob der vierte Parameter P4 des dritten Objekts 81 Od innerhalb eines Toleranzbereichs dem vier- ten Parameter P4 des vierten Objekts 81 Oe entspricht, was ebenfalls durch einFurther, for example, the object 81Od and the object 81Oe may be recognized taillights of preceding vehicles. These objects 81Od and 81Oe, which are represented by the object data 815d and 815e, can now be examined on the basis of two different parameters P3 and P4. For example, the third parameter P3 may be a color of the objects 81 Od and 81 Oe detected in the camera image, whereas the parameter P4 represents a distance of these objects detected from the camera image. If it is determined in a third comparator 820c that the third parameter P3 of the third object 81 Od is within a tolerance range equal to the third parameter of a fourth object 81 Oe, this can be signaled by the comparator signal X3 to a second combiner 830b. Similarly, it can be checked in a fourth comparator 820d whether the fourth parameter P4 of the third object 81 Od within a tolerance range corresponds to the fourth parameter P4 of the fourth object 81 Oe, which is likewise indicated by a
Vergleichersignal X4 dem zweiten Kombinierer 830b signalisiert wird. Erhält der zweite Kombinierer 830b über das dritte und vierte Vergleichersignal X3 und X4 die Information, dass sowohl die dritte Parameter P3 als auch der vierte Parameter P4 der beiden Objekte 81 Od und 81 Oe jeweils innerhalb eines Toleranzbereichs gleich sind, kann der zweite Kombinierer 830b aus dem dritten Objekt 81 Od und den vierten Objekt 81 Oe eine Objektgruppe 810d/e bilden und entsprechende Objektgruppendaten 835d/e in dem Schritt des Übertragens 730 über eine Datenleitung 140 an das Scheinwerfer-Steuergerät 150 ausgeben. Comparator signal X4 is signaled to the second combiner 830b. Receives the Second combiners 830b via the third and fourth comparator signals X3 and X4, the information that both the third parameter P3 and the fourth parameter P4 of the two objects 81 Od and 81 Oe are equal within a tolerance range, the second combiner 830b from the third Object 81 Od and the fourth object 81 Oe form an object group 810d / e and output corresponding object group data 835d / e in the step of transmitting 730 via a data line 140 to the headlight control unit 150.
Ferner kann auch ein fünftes Objekt 810c bzw. entsprechende fünfte Objektdaten 815c eingelesen werden. Im Schritt des Bildens 720 kann dann geprüft werden, ob das fünfte Objekt 810c in die erste Objektgruppe 810a/b und/oder in die zweite Objektgruppe 810d/e gruppiert werden soll. Beispielsweise kann aus den Objektdaten 815c des fünften Objekts 810 ein Wert des ersten Parameters P1 und ein Wert des zweiten Parameters P2 heraus gegriffen werden und überprüft wer- den, ob der Wert des ersten Parameters P1 und ein Wert des zweiten Parameters P2 des fünften Objektes 810c innerhalb der jeweiligen Toleranzbereiche mit den Werten des ersten Parameters P1 und des zweiten Parameters P2 des ersten Objekts 810a und des zweiten Objekts 810b übereinstimmt. Ist dies der Fall, gruppiert der erste Kombinierer 830a das fünfte Objekt 810c in die erste Objekt- gruppe 810a/b. Furthermore, a fifth object 810c or corresponding fifth object data 815c can also be read in. In the step of forming 720, it may then be checked whether the fifth object 810c should be grouped into the first object group 810a / b and / or into the second object group 810d / e. For example, a value of the first parameter P1 and a value of the second parameter P2 can be accessed from the object data 815c of the fifth object 810 and it can be checked whether the value of the first parameter P1 and a value of the second parameter P2 of the fifth object 810c within the respective tolerance ranges matches the values of the first parameter P1 and the second parameter P2 of the first object 810a and the second object 810b. If so, the first combiner 830a groups the fifth object 810c into the first object group 810a / b.
Alternativ oder zusätzlich kann auch im Schritt des Bildens 720 beispielsweise geprüft werden, ob das fünfte Objekt 810c in die zweite Objektgruppe 810d/e gruppiert werden soll. Beispielsweise kann aus den Objektdaten 815c des fünften Objekts 810 einen Wert des dritten Parameters P3 und des vierten ParametersAlternatively or additionally, it can also be checked in the step of forming 720, for example, whether the fifth object 810c should be grouped into the second object group 810d / e. For example, from the object data 815c of the fifth object 810, a value of the third parameter P3 and the fourth parameter
P4 heraus gegriffen werden und überprüft werden, ob der Wert des dritten Parameters P3 innerhalb des Toleranzbereichs mit den Werten des dritten Parameters P3 des dritten Objekts 81 Od und des vierten Objekts 81 Oe übereinstimmt. Stimmt sowohl der Wert des dritten Parameters P3 als auch der Wert des vierten Parameters P4 des fünften Objekts 810c innerhalb der jeweiligen Toleranzbereiche mit Werten der dritten Parameter P3 und vierten Parameter P4 des dritten Objekts und des vierten Objekts überein, gruppiert der zweite Kombinierer 830b das fünfte Objekt 810c in die zweite Objektgruppe 810d/e. P4 and check whether the value of the third parameter P3 within the tolerance range agrees with the values of the third parameter P3 of the third object 81 Od and the fourth object 81 Oe. If both the value of the third parameter P3 and the value of the fourth parameter P4 of the fifth object 810c within the respective tolerance ranges match values of the third parameter P3 and fourth parameter P4 of the third object and the fourth object, the second combiner 830b groups the fifth one Object 810c into second object group 810d / e.
Wrd beispielsweise durch das fünfte Objekt 815c ein oberes Begrenzungslicht eines entgegenkommenden LKWs repräsentiert, kann dies an Hand der Hellig- keit (eines aktiven weißen Lichts) und der Geschwindigkeit bzw. Bewegungsrichtung erkannt werden, wobei die Helligkeit dann möglicherweise stärker von dem Helligkeitsmuster der ersten beiden Objekte 810a und 810b abweichen darf. Zumindest kann hierdurch eine Unterscheidung des fünften Objekts 810c gegenüber den Objekten 81 Od und 81 Oe der zweiten Objektgruppe 810d/e getroffen werden, da die Farbe des Begrenzungslichts sich von der Farbe der Rücklichter unterscheidet. In diesem Fall werden als Objektgruppendaten der ersten Objektgruppe 810a/b zu einer erweiterten Objektgruppe 810a/b/c vergrößert wobei diese Daten der erweiterten Objektgruppe 810a/b/c beispielsweise einen wesentlich größeren Ausschnitt der von der Kamera erfassten Bildes als zur ersten Objektgruppe gehörend zugordnet, da die oberen Begrenzungsleuchten des entgegenkommenden LKWs die Abmessungen des LKWs besser charakterisieren, als wenn lediglich die beiden Frontscheinwerfer als erstes oder zweites Objekt 810a oder 810b erkannt werden. For example, if the fifth object 815c represents an upper limiting light of an oncoming truck, this can be done by reference to the light speed (of an active white light) and the speed or direction of movement, the brightness then possibly being allowed to deviate more strongly from the brightness pattern of the first two objects 810a and 810b. At least, this makes it possible to discriminate the fifth object 810c from the objects 81Od and 81Oe of the second object group 810d / e, since the color of the limiting light is different from the color of the taillights. In this case, as object group data of the first object group 810a / b are enlarged to an extended object group 810a / b / c, this data of the extended object group 810a / b / c, for example, assigns a much larger section of the image captured by the camera as belonging to the first object group because the upper limit lights of the oncoming truck better characterize the dimensions of the truck than if only the two headlights are recognized as the first or second object 810a or 810b.
Erfolgt jedoch die Gruppierung des fünften Objekts 810c in die zweite Objektgruppe 810d/e (beispielswiese wenn als fünftes Objekt eine obere Begrenzungsrückleuchte eines vorausfahrenden LKWs erkannt wurde) kann diese zweite Objektgruppe zu einer erweiterten zweiten Objektgruppe 810d/e/c vergrößert werden, in der dann weitere Daten des fünften Objektes 810c eingebettet sind. If, however, the grouping of the fifth object 810c into the second object group 810d / e (for example, if a fifth object upper bounding tail light of a preceding truck was detected), this second object group can be enlarged to an extended second object group 810d / e / c, in which then further data of the fifth object 810c are embedded.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.
Umfasst ein Ausführungsbeispiel eine„und/oder" Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist. If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, this can be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment, either only the first Feature or only the second feature.

Claims

Verfahren (700) zum Übertragen von Daten (810a/b, 810d/e) über eine aktuelle Fahrzeugumgebung an ein Scheinwerfersteuergerät (150) eines Fahrzeugs (100), wobei die Daten (640a, 640b; 810a/b, 810d/e) unter Verwendung einer Kamera (110) aufgenommen wurden und wobei das Verfahren (700) die folgenden Schritte aufweist:  A method (700) for transmitting data (810a / b, 810d / e) about a current vehicle environment to a headlight control unit (150) of a vehicle (100), wherein the data (640a, 640b; 810a / b, 810d / e) under Using a camera (110), and wherein the method (700) comprises the steps of:
Einlesen (710) von Objektdaten (815a-e) betreffend zumindest zwei Objekte (610, 620, 630; 810a - 81 Oe), wobei die Objektdaten (815a-e) Informationen über Objekte (810a-e) repräsentieren, die in einem von der Kamera (1 10) aufgenommen Bild als Objekt klassifiziert wurden;  Reading (710) object data (815a-e) relating to at least two objects (610, 620, 630; 810a-81e), the object data (815a-e) representing information about objects (810a-e) included in one of the camera (1 10) recorded image were classified as an object;
- Bilden (720) von Objektgruppendaten (640a, 640b, 650, 660, 670, 680;  - forming (720) object group data (640a, 640b, 650, 660, 670, 680;
810a/b, 810d/e) aus den eingelesenen Objektdaten (815a-e) der zumindest zwei Objekte (610, 620, 630; 810a-e), wobei das Bilden (720) unter Verwendung von zumindest zwei unterschiedlichen Parametern (P1-P4) erfolgt, die aus Bilddaten des von der Kamera (110) aufgenommenen Bildes bereitgestellt wurden; und  810a / b, 810d / e) from the read-in object data (815a-e) of the at least two objects (610, 620, 630; 810a-e), the forming (720) using at least two different parameters (P1-P4 ) provided from image data of the image captured by the camera (110); and
- Übertragen (730) der Objektgruppendaten (640a, 640b, 650, 660, 670, 680; 810a/b, 810d/e) als Daten über eine aktuelle Fahrzeugumgebung an das Scheinwerfersteuergerät (150).  - transmitting (730) the object group data (640a, 640b, 650, 660, 670, 680, 810a / b, 810d / e) as data about a current vehicle environment to the headlight control unit (150).
Verfahren (700) gemäß Anspruch 1 , dadurch gekennzeichnet, dass im Schritt des Bildens (720) Parameter (P1-P4) verwendet werden, die eine Information in Bezug auf eine Helligkeit, Farbe und/oder eine Schärfe eines dem Objekt zugeordneten Bildbereichs des von der Kamera (110) aufgenommenen Bildes und/oder eine Information in Bezug auf eine Position, einen Abstand und/oder eine Bewegung eines der Objekte (610, 620, 630; 810a - 81 Oe) in Bezug zur Kamera (1 10) oder in Bezug zu dem zweiten der zumindest zwei Objekte (610, 620, 630; 810a - 81 Oe) und/oder eine Dauer des Vorhandenseins des Objektes in zeitlich zurückliegenden Bildern der Kamera (1 10) repräsentiert. Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Einlesens (710) ferner weitere Objektdaten (815c) betreffend zumindest eines dritten Objektes (810c) eingelesen werden, wobei die weiteren Objektdaten (815c) Informationen über das dritte Objekt (810c) repräsentieren, das in dem von der Kamera (1 10) aufgenommen Bild als Objekt klassifiziert wurde und wobei im Schritt des Bildens (720) ferner die Objektgruppendaten (810a/b/c) unter Verwendung der weiteren Objektdaten (815c) gebildet wird. Method (700) according to claim 1, characterized in that, in the step of forming (720), parameters (P1-P4) are used which contain information relating to a brightness, color and / or sharpness of an image area assigned to the object of the camera (110) recorded image and / or information relating to a position, a distance and / or a movement of one of the objects (610, 620, 630, 810a - 81 Oe) with respect to the camera (1 10) or in Reference to the second of the at least two objects (610, 620, 630; 810a-81 Oe) and / or a duration of the presence of the object in past images of the camera (1 10) represents. Method (700) according to one of the preceding claims, characterized in that in the step of reading in (710) further object data (815c) concerning at least one third object (810c) are read in, wherein the further object data (815c) contains information about the third object (810c) classified as an object in the image captured by the camera (110), and further, in the step of forming (720), the object group data (810a / b / c) is formed using the further object data (815c) ,
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Bildens (720) die Objektgruppendaten auf der Basis zumindest eines dritten von den zwei Parametern unterschiedlichen Parameters gebildet werden. Method (700) according to one of the preceding claims, characterized in that in the step of forming (720) the object group data are formed on the basis of at least a third parameter different from the two parameters.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Bildens (720) Objektgruppendaten (810a/b) gebildet werden, die eine Information über eine Position, eine Form eine Bewegungsinformation, ein Alter, eine Helligkeit, eine Farbinformation und/oder eine Anzahl der Objekte und/oder eine Größe eines Bildausschnitts enthalten, in dem die zumindest zwei Objekte (810a, 810b) im Bild der Kamera (1 10) detektiert wurden. Method (700) according to one of the preceding claims, characterized in that in the step of forming (720) object group data (810a / b) are formed, which information about a position, a form of motion information, age, brightness, color information and / or a number of objects and / or a size of an image section in which the at least two objects (810a, 810b) were detected in the image of the camera (110).
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Einlesens (710) ferner zweite Objektdaten (815d, 815e) betreffend zumindest zwei weitere Objekte (810d, 810e) eingelesen werden, wobei die zweiten Objektdaten (815d-e) Informationen über die zwei weiteren Objekte (810d-e) repräsentieren, die in dem von der Kamera (1 10) aufgenommen Bild als Objekt klassifiziert wurden, wobei im Schritt des Bildens (720) ferner zweite Objektgruppendaten (810d/e) aus den eingelesenen zweiten Objektdaten (815d-e) der zumindest zwei weiteren Objekte (810d-e) gebildet werden, wobei das Bilden (720) der zweiten Objektgruppendaten (810d/e) unter Verwendung von zumindest zwei unterschiedlichen Parametern (P3, P4) erfolgt, die aus Bilddaten des von der Kamera (1 10) aufgenommenen Bildes bereitgestellt wurden und wobei im Schritt des Übertragens (730) die zweiten Objektgruppendaten (810d/e) an das Scheinwerfersteuergerät (150) übertragen werden. Verfahren (700) gemäß Anspruch 6, dadurch gekennzeichnet, dass im Schritt des Einlesens (710) ferner zumindest Objektdaten eines Zusatzobjektes eingelesen werden, wobei die Objektdaten des Zusatzobjektes Informationen über die das Zusatzobjekt repräsentieren, die in dem von der Kamera aufgenommen Bild als Objekt klassifiziert wurden und wobei im Schritt des Bildens die Objektgruppendaten und die zweiten Objektgruppendaten unter gemeinsamer Verwendung der Objektdaten des Zusatzobjektes gebildet werden. Method (700) according to one of the preceding claims, characterized in that, in the reading-in step (710), second object data (815d, 815e) relating to at least two further objects (810d, 810e) are read in, the second object data (815d-e ) Represent information about the two further objects (810d-e) classified as an object in the image captured by the camera (110), wherein second object group data (810d / e) are further read from the read in step of forming (720) second object data (815d-e) of the at least two further objects (810d-e) are formed, the forming (720) of the second object group data (810d / e) taking place using at least two different parameters (P3, P4) Image data of the image captured by the camera (110) and wherein in the step of transmitting (730) the second object group data (810d / e) is transmitted to the headlight control unit (150). Method (700) according to claim 6, characterized in that in the step of reading (710) at least object data of an additional object are read, wherein the object data of the additional object represent information about the additional object, which classifies in the image taken by the camera as an object and wherein, in the step of forming, the object group data and the second object group data are formed by sharing the object data of the additional object.
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Bildens (720) Objektgruppendaten gebildet werden, die einem dem Scheinwerfersteuergerät (150) bekannten vordefinierten Szenario um das Fahrzeug, insbesondere vor dem Fahrzeug (100) entsprechen. Method (700) according to one of the preceding claims, characterized in that in the step of forming (720) object group data are formed which correspond to a predefined scenario known to the headlight control unit (150) about the vehicle, in particular in front of the vehicle (100).
Verfahren (700) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Übersendens (730) die Objektgruppendaten (810a/b, 810d/e) an ein Scheinwerfersteuergerät (150) gesendet werden, das von einem Datenaufbereitungsgerät (130) unabhängig und räumlich getrennt in einem eigenen Gehäuse angeordnet ist, wobei das Datenaufbereitungsgerät (130) ausgebildet ist, um die Schritte des Einlesens (710) und des Bildens (720) auszuführen, insbesondere wobei im Schritt des Übertragens (730) die Objektgruppendaten (810a/b, 810d/e) über einen Kommunikations-Bus des Fahrzeugs (100) übertragen werden. Method (700) according to one of the preceding claims, characterized in that in the step of transmitting (730) the object group data (810a / b, 810d / e) are sent to a headlight control unit (150) which is independent of a data preparation device (130) spatially separated in a separate housing, wherein the data processing device (130) is adapted to perform the steps of reading (710) and forming (720), in particular wherein in the step of transmitting (730) the object group data (810a / b, 810d / e) are transmitted via a communication bus of the vehicle (100).
0. Verfahren gemäß einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bildens (720) ferner ansprechend auf ein Anforderungssignal des Scheinwerfer-Steuergerätes ausgeführt wird, wobei das Anforderungssignal insbesondere eine Information über eine Wahl der Parameter für die Bildung der Objektgruppendaten und/ oder über eine Situationsvorgabe aufweist. A method according to any one of the preceding claims, characterized in that the step of forming (720) is further carried out in response to a request signal of the headlamp controller, the request signal including, in particular, information about a choice of parameters for the formation of the object group data and / or has a situation prescription.
1. Verfahren gemäß einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Bildens (720) ferner weitere Objektgruppendaten (810d/e) aus den eingelesenen Objektdaten (815d-e) der zumindest zwei Objekte (810d-e) gebildet werden, wobei das Bilden (720) der weiteren Objektgruppendaten (810d/e) unter Verwendung von zumindest zwei sich von den Parametern unterscheidenden weiteren Parametern (P3, P4) erfolgt, die aus Bilddaten des von der Kamera (1 10) aufgenommenen Bildes bereitgestellt wurden und wobei im Schritt des Übertragens (730) die weiteren Objektgruppendaten (810d/e) an das Scheinwerfersteuergerät (150) übertragen werden. Method according to one of the preceding claims, characterized in that further object group data (810d / e) from the read-in object data (815d-e) of the at least two in the step of forming (720) Forming (720) the further object group data (810d / e) using at least two further parameters (P3, P4) different from the parameters, which image data are obtained from the camera (810d-e). 1 10) and wherein in the step of transmitting (730) the further object group data (810d / e) are transmitted to the headlight control unit (150).
Steuergerät (130), insbesondere Datenaufbereitungsgerät, das Einheiten aufweist, die ausgebildet sind, um die Schritte eines Verfahrens (700) gemäß einem der Ansprüche 1 bis 11 durchzuführen. Control device (130), in particular a data processing device, having units which are designed to perform the steps of a method (700) according to one of Claims 1 to 11.
13. Computer-Programmprodukt mit Programmcode zur Durchführung des Ver- fahrens(700) nach einem der Ansprüche 1 bis 11 , wenn das Programm auf einem Steuergerät (130) oder einem Datenaufbereitungsgerät ausgeführt wird. 13. A computer program product with program code for carrying out the method (700) according to one of claims 1 to 11, when the program is executed on a control device (130) or a data preparation device.
EP12710263.0A 2011-03-31 2012-03-22 Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle Withdrawn EP2691917A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011006570A DE102011006570A1 (en) 2011-03-31 2011-03-31 Method and control unit for transmitting data on a current vehicle environment to a headlight control unit of a vehicle
PCT/EP2012/055092 WO2012130719A1 (en) 2011-03-31 2012-03-22 Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle

Publications (1)

Publication Number Publication Date
EP2691917A1 true EP2691917A1 (en) 2014-02-05

Family

ID=45876778

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12710263.0A Withdrawn EP2691917A1 (en) 2011-03-31 2012-03-22 Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle

Country Status (5)

Country Link
US (1) US9381852B2 (en)
EP (1) EP2691917A1 (en)
CN (1) CN103597498B (en)
DE (1) DE102011006570A1 (en)
WO (1) WO2012130719A1 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775029B2 (en) * 2011-03-16 2014-07-08 Infineon Technologies Ag System and method for bit error rate monitoring
DE102013100552A1 (en) * 2013-01-21 2014-07-24 Hella Kgaa Hueck & Co. Method for detecting direction of movement of object of lighting system in vehicle i.e. motorcycle, in curve portions of track, involves evaluating change of opening angle of object with respect to rate of direction of movement of object
US9582886B2 (en) * 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
DE102014219120A1 (en) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Method and apparatus for determining headlamp leveling of a headlamp
DE102014204770A1 (en) * 2014-02-06 2015-08-06 Conti Temic Microelectronic Gmbh Driver assistance system
US10015391B2 (en) * 2014-02-13 2018-07-03 Sony Mobile Communications Inc. Method and system for adjusting camera settings using corneal reflection
DE102014203544A1 (en) * 2014-02-27 2015-08-27 Robert Bosch Gmbh Method and device for analyzing a light emission of a headlamp of a vehicle
DE102014205180A1 (en) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Method and device for operating a vehicle
US11756427B1 (en) * 2014-04-15 2023-09-12 Amanda Reed Traffic signal system for congested trafficways
DE102014214649A1 (en) * 2014-07-25 2016-01-28 Robert Bosch Gmbh Method and device for aligning a luminous area of a headlamp of a vehicle as a function of an environment of the vehicle
KR20160020132A (en) * 2014-08-13 2016-02-23 현대모비스 주식회사 Recognition system of the vehicle
CN106166980A (en) * 2015-05-22 2016-11-30 福特全球技术公司 For the method and apparatus controlling headlamp
EP3329420A1 (en) * 2015-07-28 2018-06-06 Apple Inc. System and method for light and image projection
JP2017103619A (en) * 2015-12-02 2017-06-08 ソニー株式会社 Control apparatus, control method and program
US10768298B2 (en) * 2016-06-14 2020-09-08 Magna Electronics Inc. Vehicle sensing system with 360 degree near range sensing
DE102016211552A1 (en) * 2016-06-28 2017-12-28 Bayerische Motoren Werke Aktiengesellschaft motor vehicle
DE102016115076A1 (en) * 2016-08-15 2018-02-15 Valeo Schalter Und Sensoren Gmbh A method for detecting a vehicle lighting of a vehicle in an environment of a motor vehicle, control device, lighting device and motor vehicle
FR3055946B1 (en) * 2016-09-15 2020-07-17 Valeo Vision LIGHT DEVICE USING HIGH RESOLUTION LIGHT SOURCE
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
DE102017221465A1 (en) * 2017-11-29 2019-05-29 Robert Bosch Gmbh Method and device for detecting a light-emitting object at a traffic junction for a vehicle
KR102054926B1 (en) * 2018-02-27 2019-12-12 주식회사 만도 System and method for detecting close cut-in vehicle based on free space signal
US10369923B1 (en) * 2018-04-30 2019-08-06 Automotive Research & Testing Center Operation method of adaptive driving beam headlamp system
FR3104675B1 (en) 2019-12-16 2021-11-26 Valeo Vision Method of controlling a lighting system of a motor vehicle
FR3104674B1 (en) * 2019-12-16 2021-11-26 Valeo Vision Method for controlling a lighting system of a motor vehicle
DE102021205669B3 (en) 2021-06-04 2022-09-01 Volkswagen Aktiengesellschaft Method for operating a driver assistance system of a vehicle and vehicle
DE102022100921A1 (en) 2022-01-17 2023-07-20 Bayerische Motoren Werke Aktiengesellschaft Method for controlling lighting devices in a motor vehicle, control unit for a lighting device in a motor vehicle, lighting device for a motor vehicle and motor vehicle

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6861809B2 (en) * 1998-09-18 2005-03-01 Gentex Corporation Headlamp control to prevent glare
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
US20080043099A1 (en) * 2006-08-10 2008-02-21 Mobileye Technologies Ltd. Symmetric filter patterns for enhanced performance of single and concurrent driver assistance applications
JP4697101B2 (en) 2006-09-07 2011-06-08 株式会社デンソー Vehicle detection device and light control device
JP4240110B2 (en) * 2006-10-31 2009-03-18 トヨタ自動車株式会社 VEHICLE LIGHTING DEVICE, VEHICLE LIGHTING CONTROL METHOD, AND VEHICLE LIGHTING CONTROL PROGRAM
JP4415996B2 (en) * 2007-02-26 2010-02-17 株式会社日立製作所 In-vehicle image recognition device, light distribution control device, and light distribution control method
CN201012648Y (en) * 2007-03-08 2008-01-30 川铭精密科技股份有限公司 Automatic light opener for vehicles
DE102007041784B4 (en) 2007-09-03 2010-02-25 Continental Automotive Gmbh Circuit arrangement for switching an inductive load
JP4466701B2 (en) * 2007-09-10 2010-05-26 株式会社デンソー Light control device
DE102008048309A1 (en) * 2008-09-22 2010-04-01 Volkswagen Ag Method and device for detecting vehicles in the dark
CN101376352B (en) * 2008-09-24 2011-05-04 上海大学 Automobile headlight control method for automatically adjusting night driving bend and grade

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012130719A1 *

Also Published As

Publication number Publication date
US9381852B2 (en) 2016-07-05
WO2012130719A1 (en) 2012-10-04
DE102011006570A1 (en) 2012-10-04
CN103597498A (en) 2014-02-19
US20140219506A1 (en) 2014-08-07
CN103597498B (en) 2018-04-10

Similar Documents

Publication Publication Date Title
WO2012130719A1 (en) Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle
DE102014107488B4 (en) DEVICE FOR DETERMINING THE ENVIRONMENT
DE102007000420B4 (en) In-vehicle device for detecting vehicles and device for controlling headlamps by using the device
EP2501584B1 (en) Method for controlling a headlamp arrangement for vehicle and headlamp arrangement
EP2501585B1 (en) Method of control of a vehicle headlamp and headlamp arrangement
DE102009015824B4 (en) Glare-free zone mapping product and system using it to determine if a person is being blinded
DE102007034657B4 (en) Image processing device
EP2718869A2 (en) Method and device for detecting objects in the area surrounding a vehicle
EP2501586B1 (en) Method for controlling a headlight arrangement for a vehicle and such a headlight arrangement
EP1757485A1 (en) Method for adjusting the aiming of vehicle headlamps
DE212017000101U1 (en) Camera-based headlight control system
WO2017102366A1 (en) System and method for object-based control of a high-resolution headlight for a motor vehicle
DE102009054249A1 (en) Method for controlling headlight assembly for vehicle, involves detecting road user in travel direction before vehicle, where headlight range is controlled in direction of detected road user
DE102010029149A1 (en) Method and control unit for plausibility checking of a headlight range test value of a light cone of a vehicle headlight
DE112017006833T5 (en) VEHICLE LIGHTING SYSTEM
DE102014225517A1 (en) Method and control unit for adjusting at least one parameter of a driver assistance device of a vehicle
DE112012003611T5 (en) Vehicle headlamp control system
EP2166489B1 (en) Method and device for detecting vehicles in the dark
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
EP2131308B1 (en) Method and device for classifying an object detected in at least one image of an area visualised in front of a vehicle
DE102007008542B4 (en) Method and device for controlling the light output of a vehicle
DE102009054243A1 (en) Method for controlling headlight arrangement of passenger car, involves delaying switching between both illumination conditions for headlight range towards adjacent road based on detection rate of forthcoming vehicles
DE102020117060B4 (en) Device and method for detecting the surroundings of a vehicle
DE102009054248A9 (en) A method of controlling a headlamp assembly for a vehicle and headlamp assembly
EP1962245B1 (en) Method and device for detecting the movement state of objects

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20131031

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150623

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20151104