EP2181415A2 - Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction - Google Patents

Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction

Info

Publication number
EP2181415A2
EP2181415A2 EP08785731A EP08785731A EP2181415A2 EP 2181415 A2 EP2181415 A2 EP 2181415A2 EP 08785731 A EP08785731 A EP 08785731A EP 08785731 A EP08785731 A EP 08785731A EP 2181415 A2 EP2181415 A2 EP 2181415A2
Authority
EP
European Patent Office
Prior art keywords
day
night
image
environment
evaluating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08785731A
Other languages
German (de)
French (fr)
Inventor
Andreas Kuehnle
Cathy Boon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP2181415A2 publication Critical patent/EP2181415A2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the invention relates to a method and an arrangement for evaluating brightness values in sensor images of an image-evaluating environment detection system, in particular with regard to a day / night distinction, as is preferably used in driver assistance systems in motor vehicles, according to the preamble of method claim 1 et seq., And the arrangement according to claim 8 ff. and a computer program product according to claim 11.
  • Such driver assistance systems are used to assist a driver of a motor vehicle in carrying out certain operations in the road and are already used for a wide variety of tasks.
  • LIDAR radar sensor a predetermined range in the direction of travel ahead of the vehicle with respect to certain objects is detected and certain security functions can be triggered in good time by a corresponding evaluation of the sensor signals.
  • vision-based or image-based driving assistance systems that attempt to interpret a road situation are well-known lane departure warning systems, lane departure warning assistants, collision warning assistants, or the like.
  • camera, video or sensor images are used in image-evaluating or so-called vision-based driver assistance systems for environment detection and detection, in the known systems from the camera images objects, obstacles, lane and lane boundaries and distances are determined for this purpose.
  • image sensors designated as imagers are used in so-called vision-based surroundings detection systems which then supply a camera image of the detected environment which can also be evaluated with regard to intensity, contrast, color or other parameters with corresponding data-processing means ,
  • the sensor images of an identical scene or the same roadway situation may look different depending on the external lighting.
  • Environment detection systems for video-assisted driver assistance systems the trying to interpret the same scene or lane situation with different lighting, therefore, may have problems dealing with these different conditions in the evaluation.
  • the different appearance due to a change in lighting often requires a readjustment or readjustment of the understanding or the
  • a particularly common example of a scene that looks different depending on the lighting is a traffic situation with vehicles traveling at night with vehicle lights on and with vehicle lights off during the day. Recognition of other vehicles by a vehicle with a picture-based driver assistance system can thereby be difficult or impaired depending on the lighting conditions. Also, in the case of a change from day to night, detection of lane and / or lane markings may be impeded or impaired by an above-mentioned driver assistance system or by the surroundings recognition system interpreting the scene or lane situation.
  • the invention is based on a method for evaluating sensor images of an image-evaluating environment detection system on a carrier, for example a vehicle on the road, possibly taking into account the vehicle's own movement, in which according to the invention in an advantageous manner to distinguish the lighting conditions in the field of image-evaluating environment detection system in terms of day or At least the night
  • Gain and / or the exposure time of the at least one environment detecting image sensor is monitored.
  • a progression of gain and / or exposure time will be over time with relatively high gain or relative long exposure times characterize light conditions of a night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively short exposure times will characterize light conditions of a tag. But it can also be used to provide additional information about a day or night state.
  • At least the course of the amplification and / or the exposure time of the image sensor can thus be evaluated in a predefined period of time, for example by determining whether a significant or sufficiently large proportion of this course is a day or night Night state corresponds.
  • the method according to the invention for determining a day or night state of a scene or roadway situation detected by at least one image sensor thus makes use of a different light intensity of the scene or roadway situation during the day or at night in a simple manner Statement about a day or night condition can be taken.
  • a current day or Gaborkennung be performed in regular cycles based on the instantaneous gain and / or the current exposure time of the image sensor, wherein in addition to the current or last day or Häenterkennung also a predeterminable period corresponding number of past stored day or night detections can be evaluated, which can represent an evaluable history, wherein the time period underlying the course can also be variable.
  • a predeterminable period corresponding number of past stored day or night detections can be evaluated, which can represent an evaluable history, wherein the time period underlying the course can also be variable.
  • the time period underlying the course can also be variable.
  • Night detections can be present, which represent the course or the development of the situation in order to make a statement about a day or night state. Unless there is a difference to a previously or recently made statement about a day or night state, for example, because there is not a sufficient number of day or night detections for a new decision, the previously or recently made statement preferably remains unchanged.
  • the progression or temporal development can be ascertained by carrying out a current day or night recognition in regular cycles on the basis of the instantaneous amplification and / or the current exposure time of the image sensor, with a current or last day or night identification a predetermined period corresponding number of past day or Wegenterkennache is stored.
  • the period over which the history is tracked or the number of stored past day or night identifications is variable, for example, not necessarily to a long chain of after a vehicle is parked at night and re-used the next morning To have to fall back on past night detections, an even better statement about a day or night state can be made.
  • the method according to the invention can also be extended by providing a third setting for the image sensor in the surroundings recognition system in the case of an ambiguous assignment to a day or night state, which does not contribute to a conclusive statement about a day or night state.
  • a third setting for the image sensor in the surroundings recognition system in the case of an ambiguous assignment to a day or night state, which does not contribute to a conclusive statement about a day or night state.
  • an average value of the course of the state recognition can be used to determine a state lying between a daytime and a nighttime state, the average value being formed, in particular, proportionally to the course or by means of a lookup table.
  • the average value is preferably proportional to the course, z. B. proportional to the course of the met day or night detections.
  • This particularly advantageous embodiment of the invention therefore provides that an intermediate zone corresponds to a "neither-day-still-night-state" of the image sensor.
  • the parameters or presets can be adjusted or adjusted with a 50/90 portion of the day / night setting range
  • a proportionality not necessarily linear here between the brightness state of the environment and the parameter settings can be formed.
  • the environment detected by the environment detection system according to the invention is searched for bright objects which identify the headlights of another carrier and whose occurrence is then used as additional information.
  • additional environment-specific information for distinguishing the day or night state which in particular comprises further indication objects recognized in a detected environment whose different appearance is known by day or night. For example, reflectors mounted on the road surface shine strongly at night due to their highly reflective properties; During the day these are almost invisible or dark.
  • bright, spotlight-shaped objects can be determined, in particular on the front side of a vehicle, the occurrence of which is then used as additional information.
  • Such objects have, for example a generally round or elliptical shape and occur in pairs. As a result, they are generally easy to identify in image analysis.
  • the frequency with which the bright objects and / or further environment-specific information are found in the detected environment is determined, wherein a predetermined frequency of the occurrence of such objects in an environment is associated with a nighttime state.
  • a predetermined frequency of the occurrence of such objects in an environment is associated with a nighttime state.
  • An example are vehicle lights, which are seen more and more often at night, so that the quotient of the number of found lights and the number of vehicles found increases.
  • the area-specific knowledge thus preferably also includes one
  • an environment identifiable indication objects eg. B. used to delineate lanes and lanes used objects whose appearance is known or other lane or lane marker-like pattern in the detected situations.
  • These also differ by day and by night, z. For example, some appear larger at night than during the day.
  • the frequency of occurrence can in turn be incorporated as additional information in a statement or decision on a day or night state.
  • an increasing frequency of occurrence or observation of indication objects having a known appearance at night in a scene or in a situation may be associated with a decision tending to a night state.
  • the image-evaluating environment detection system includes an electronic camera as an image sensor, which is mounted on a vehicle as a carrier and detects the front in the direction of travel of the vehicle on a road surface so continuously, that in each case a constructed of pixels sensor image is present whose brightness and possibly color values reflect the environment. Furthermore, an evaluation unit is available, with which a distinction of the light conditions in the region of the image-evaluating environment detection system with regard to day or night due to the gain and / or the exposure time of the at least one camera detecting the environment is feasible.
  • the evaluation unit can then easily be provided with a signal from the determination of the day or night state, i.
  • parameters or presets are applied, with which a video or image-based driver assistance system with respect to the day or night state is adjustable. It is conceivable, for example, to set the parameters or presettings on a sliding scale in such a way that the best performance of a surroundings recognition system is achieved in conjunction with a video-assisted or image-assisted driving assistance system.
  • the invention thus provides a summary method, which is a classification of a lighting situation as a day or
  • a computer program product which comprises computer-readable program means stored on a computer-usable medium which, when the computer program product is executed on a microprocessor with associated storage means or on a computer, cause it to carry out the method according to the invention or the operation of the arrangement.
  • Figure 1 is a schematic representation of a vehicle with a camera as part of an environment detection system for the evaluation of day and night conditions, in addition also based on the headlights of another vehicle and
  • FIG. 2 shows a flowchart of the method features according to the invention in an evaluation unit of the environment recognition system.
  • FIG. 1 diagrammatically shows a situation of a vehicle 1 as the vehicle of a surroundings recognition system, which can move here on a roadway 2 in the direction of an arrow 3.
  • the surroundings recognition system of the vehicle 1 has a camera 4 as an image sensor, in particular a digital video camera, which detects a region between dashed lines 5 and 6.
  • the roadway 2 is separated by a marker 7 and on the other side of the road is another vehicle 8 opposite, which is equipped with front lights 9.
  • an evaluation device 10 the digital data of the consisting of pixels sensor image of the camera 4 and additionally, for example, at an input 12 and the current speed data of the vehicle 1 are evaluated at an input 11.
  • the evaluation device 10 in order to distinguish the light conditions in the region of the image-evaluating surroundings recognition system on the vehicle 1 with regard to day or night, the amplification and / or the
  • Exposure time of the camera 4 monitored.
  • a course of reinforcement and / or The exposure time over time with relatively high gain or relatively long exposure times here characterizes the lighting conditions at night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively low exposure times characterizes the daytime lighting conditions here.
  • the environment detected by the camera 4 is searched for bright objects, in the embodiment shown here, the headlights 9 of the other vehicle 8 are used as additional information.
  • additional environment-specific information which is not further explained here, for distinguishing the daytime or nighttime state, which in particular comprise further indication objects recognized in a detected environment whose different appearance is known day or night.
  • At least the gain and / or the exposure time of the camera 4 are monitored.
  • a course or a development with consistently low gain or consistently low exposure times serves as an indication that is just day.
  • the course or the development of the amplification and / or the exposure times of the image sensor or similar settings are preferably evaluated and it is determined whether a substantial or sufficiently large proportion of this course or development corresponds to a day or night state.
  • the progression or temporal development which can also be described as a history, can be determined, for example, by carrying out a current day or night detection in regular cycles on the basis of the instantaneous amplification and / or the instantaneous exposure time of the image sensor.
  • a number of past day or night identifications corresponding to a specifiable period of time can be stored, which represent the course or the development of the day and night identifications.
  • the period may be variable, for example, after having parked a vehicle at night and re-use the next morning, it may not be necessary to resort to a long chain of past night detections in order to make a statement about a day or night condition.
  • - To avoid frequent switching between a determination of a day and night state, is preferably a one
  • this Neither-Nights-Nights-Night state does not contribute to a conclusive statement about a day or night state.
  • the course or development removable sufficient number or z.
  • B a percentage corresponding, sufficient proportion of past day or night detections needed to make a statement about a day or night state.
  • the previous state is preferably maintained or remains the previously or recent statement preferably unchanged.
  • additional information can be used to make a statement or decision on a day or night state.
  • search captured situations or scenes for bright, spotlight-shaped objects as shown in FIG.
  • Headlamp-shaped objects on the vehicle front of another vehicle 8 for example, have a generally round or elliptical shape and occur in pairs and at approximately the same image height.
  • the frequency with which such objects are found in the scanned detected situations or scenes can be observed.
  • An increasing frequency of the occurrence or the observation of such objects in a scene or in a situation is preferably with a decision that tends to a night state or
  • area-specific knowledge can further be used as to how a scene or situation appears differently during the day and at night.
  • the decision itself or the statement made does not necessarily have to be binary, so it does not necessarily need only two states, such as day or night. For example, an average of the day or day
  • Gaberkennache be used, for example, proportionally the rules or presets of a situation or a scene understanding or interpreting video or image-based Driver assistance system or its image recognition system to adjust or readjust. For example, in a 40% Tag Recognition, 50% Night Recognition, and 10% Neither -day-nor-night conditions, the rules or presets can be adjusted or adjusted with a 50/90 corresponding portion of the day / night range.
  • Such a setting or readjustment can also be non-linear, for example with the aid of a look-up table.
  • the method starts in a first method step 21.
  • a daytime state is set as the start or output value.
  • a so-called frame is detected, which contains at least the instantaneous amplification and the instantaneous exposure time of at least one camera 4 according to FIG. 1, at least at the time of the video-based or image-based recording of the surroundings.
  • a query can take place as to whether a sufficiently fast movement has taken place since the detection of the last frame, for B. whether since then a sufficient distance was covered on the lane 2. If this is the case, the method proceeds to a sixth method step 26. If this is not the case, a new frame is detected again in the third method step 23.
  • the method according to the invention does not necessarily require one Movement of the carrier and thus the camera 4 ahead; however, in the embodiment described here, the vehicle's own motion is taken into account.
  • the sixth method step 26 it is clarified whether the current exposure time and the instantaneous gain stored in the detected frame correspond to a current day or a night or a "neither-night-nor-night state.”
  • the result is an instantaneous day or night detection or a current "neither day nor night state”.
  • a seventh method step 27 the knowledge obtained in the sixth method step 26 is added to a profile.
  • Process step 28 takes place a query whether the course has a sufficient length. If this is the case, the method continues with a ninth method step 29. If this is not the case, the method continues with the third method step 23.
  • a query is made as to whether a sufficient number of findings added to the course are night decisions. If this is the case, then the method continues with a tenth method step 30. If this is not the case, then the method continues with an eleventh method step 31.
  • a query takes place as to whether a sufficient number of findings added to the course are day decisions. If this is the case, the method continues with a twelfth method step 32. If this is not the case, the method preferably proceeds to the third method step 23. In the twelfth method step 32, the statement is made that there is a daytime state. In a thirteenth method step 33 following the tenth or twelfth method steps 30, 32, the profile is deleted and the method continues again in the third method step 23.
  • a result obtained thereby in the form of the statement made is preferably used to determine the rules, parameters or presettings of an environment-understanding or interpreting, video-based or image-based driver assistance system or its surroundings detection system, for example. For example, adjust on a sliding scale to get the best performance.
  • the invention is particularly industrially applicable in the field of production and operation of video- or image-assisted driver assistance systems or video- or image-based video systems which can be used in traffic. It is particularly advantageous and also provided that the driver assistance system has a lane keeping assistance system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method and a system for evaluating brightness values in sensor images of an image-evaluating adaptive cruise control system on a support. According to the invention, at least the amplification and/or the exposure time of the at least one image sensor detecting the surroundings is monitored to distinguish the light conditions in the area of the image-evaluating adaptive cruise control system with respect to day or night. A course of amplification and/or exposure time over time with relatively high amplification or relatively long exposure times characterizes night light conditions and a course of amplification and/or exposure time with relatively low amplification and/or relatively low exposure times characterizes day light conditions. The adaptive cruise control system according to the invention also allows monitoring of the detected surroundings for bright objects, the headlights of a second support being used as an additional piece of information.

Description

Beschreibung description
Verfahren und Anordnung zur Auswertung von Helligkeitswerten in Sensorbildern bei bildauswertenden Umfelderkennungssystemen, insbesondere hinsichtlich einer Tag-/NachtunterscheidungMethod and arrangement for evaluating brightness values in sensor images in image-evaluating environment detection systems, in particular with regard to a day / night distinction
Stand der TechnikState of the art
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Auswertung von Helligkeitswerten in Sensorbildern eines bildauswertenden Umfelderkennungssystems, insbesondere hinsichtlich einer Tag-/Nachtunterscheidung, wie es vorzugsweise bei Fahrassistenzsystemen in Kraftfahrzeugen verwendet wird, gemäß dem Oberbegriff des Verfahrensanspruchs 1 ff. und der Anordnung nach Anspruch 8 ff. sowie ein Computerprogrammprodukt gemäß Anspruch 11.The invention relates to a method and an arrangement for evaluating brightness values in sensor images of an image-evaluating environment detection system, in particular with regard to a day / night distinction, as is preferably used in driver assistance systems in motor vehicles, according to the preamble of method claim 1 et seq., And the arrangement according to claim 8 ff. and a computer program product according to claim 11.
Solche Fahrassistenzsysteme dienen der Unterstützung eines Fahrers eines Kraftfahrzeugs bei der Durchführung bestimmter Vorgänge im Straßenverkehr und werden bereits für unterschiedlichste Aufgaben eingesetzt. Beispielsweise ist aus der DE 10 2004 017 890 A1 bekannt, dass mit einem sogenannten LIDAR- Radarsensor ein vorgegebener Bereich in der Fahrtrichtung voraus des Fahr- zeugs hinsichtlich bestimmter Objekte detektiert wird und durch eine entsprechende Auswertung der Sensorsignale rechtzeitig bestimmte Sicherheitsfunktionen ausgelöst werden können. Beispiele für solche visionbasierende oder bildgestützte Fahrassistenzsysteme, welche eine Fahrbahnsituation bzw. eine Szene zu verstehen bzw. zu interpretieren versuchen, sind hinlänglich bekannte Spurhalteassistenten, Spurverlasswarnungsassistenten, Kollisionswarnassistenten oder dergleichen. Diese an sich bekannten Systeme können beispielsweise im Rahmen einer adaptiven Fahrgeschwindigkeits- und/oder Abstandsregelung eines Fahrzeugs eingesetzt werden, wobei eine solche Regelung dann ohne Eingriff durch den Fahrer eine zuvor eingestellte Fahrgeschwindigkeit und/oder einen zuvor eingestellten Abstand zu einem vorausfahrenden Fahrzeug oder zu sich in Fahrtrichtung befindlichen Gegenständen und/ oder Objekten durchgeführt werden kann. Dies geschieht in der Regel unter entsprechender Berücksichtigung des Umfelds des Fahrzeuges und gegebenenfalls weiterer Parameter wie beispielsweise den Witterungs- und Sichtbedingungen. Eine solche Regelung wird oft auch als Adaptive-Cruise-Control-System (ACC-System) bezeichnet. Das ACC-System muss insbesondere mit Blick auf die steigende Verkehrsdichte der heutigen Zeit flexibel genug sein, um auf alle Fahrsituationen geeignet zu reagieren. Dies erfordert wiederum eine entsprechende Objektdetektions- sensorik, um in jeder Fahrsituation die für die Regelung notwendigen Messdaten zu liefern.Such driver assistance systems are used to assist a driver of a motor vehicle in carrying out certain operations in the road and are already used for a wide variety of tasks. For example, it is known from DE 10 2004 017 890 A1 that with a so-called LIDAR radar sensor a predetermined range in the direction of travel ahead of the vehicle with respect to certain objects is detected and certain security functions can be triggered in good time by a corresponding evaluation of the sensor signals. Examples of such vision-based or image-based driving assistance systems that attempt to interpret a road situation are well-known lane departure warning systems, lane departure warning assistants, collision warning assistants, or the like. These known systems can be used, for example, in the context of an adaptive vehicle speed and / or distance control of a vehicle, such a control then without intervention by the driver a previously set vehicle speed and / or a previously set distance to a vehicle in front or to itself in the direction of travel objects and / or objects can be performed. This is usually done with appropriate consideration of the environment of the vehicle and possibly other parameters such as the weather and visibility conditions. Such a regulation is often referred to as an adaptive cruise control (ACC) system. The ACC system must be flexible enough to respond to all driving situations, especially in view of the increasing traffic density of today. This, in turn, requires a corresponding object detection sensor in order to supply the measurement data necessary for the control in every driving situation.
Hierzu werden auch Kamera-, Video- oder Sensorbilder bei bildauswertenden oder auch sogenannten visionbasierenden Fahrassistenzsystemen zur Umfelderfassung und -erkennung verwendet, wobei bei den bekannten Systemen aus den Kamerabildern Objekte, Hindernisse, Fahrbahn- und Fahrspurbegrenzungen sowie Abstände hierzu bestimmt werden. Zur eigentlichen Bilderfassung werden in sogenannten visionbasierenden Umfelderfassungssystemen als Imager bezeichnete Bildsensoren eingesetzt, welche dann ein auch als Sensorbild bezeichnetes Kamerabild der erfassten Umgebung liefern, deren Bildpunkte (Pixel) oder Bildbereiche hinsichtlich Intensität, Kontrast, Farbe oder sonstiger Parameter mit entsprechenden datenverarbeitenden Mitteln ausgewertet werden können.For this purpose, camera, video or sensor images are used in image-evaluating or so-called vision-based driver assistance systems for environment detection and detection, in the known systems from the camera images objects, obstacles, lane and lane boundaries and distances are determined for this purpose. For actual image acquisition, image sensors designated as imagers are used in so-called vision-based surroundings detection systems which then supply a camera image of the detected environment which can also be evaluated with regard to intensity, contrast, color or other parameters with corresponding data-processing means ,
Die Sensorbilder einer identischen Szene bzw. einer gleichen Fahrbahnsituation können dabei abhängig von der äußeren Beleuchtung unterschiedlich aussehen. Umfelderkennungssysteme bei videogestützten Fahrassistenzsystemen, die versuchen, dieselbe Szene bzw. Fahrbahnsituation bei unterschiedlicher Beleuchtung zu interpretieren, können daher Probleme haben, mit diesen unterschiedlichen Verhältnissen bei der Auswertung umzugehen. Das unterschiedliche Aussehen aufgrund einer veränderten Beleuchtung erfordert häufig ein Nachjustieren bzw. Nachstellen der für das Verständnis bzw. dieThe sensor images of an identical scene or the same roadway situation may look different depending on the external lighting. Environment detection systems for video-assisted driver assistance systems, the trying to interpret the same scene or lane situation with different lighting, therefore, may have problems dealing with these different conditions in the evaluation. The different appearance due to a change in lighting often requires a readjustment or readjustment of the understanding or the
Interpretation der Szene oder Fahrbahnsituation verwendeten oder erforderlichen Regelalgorithmen, Parameter oder Voreinstellungen.Interpretation of scene or lane situation used or required control algorithms, parameters or presets.
Ein besonders häufig auftretendes Beispiel für eine Szene, die abhängig von der Beleuchtung unterschiedlich aussieht, ist eine Verkehrssituation mit Fahrzeugen, die nachts mit eingeschalteter Fahrzeugbeleuchtung und tagsüber mit ausgeschalteter Fahrzeugbeleuchtung unterwegs sind. Eine Erkennung anderer Fahrzeuge durch ein Fahrzeug mit einem bildgestützten Fahrassistenzsystem kann dadurch abhängig von den Lichtverhältnissen erschwert oder beeinträchtigt sein. Auch kann bei einem Wechsel von Tag zu Nacht eine Erkennung von Fahrspur- und/oder Fahrbahnmarkierungen durch ein oben genanntes Fahrassistenzsystem bzw. durch das die Szene oder Fahrbahnsituation interpretierende Umfelderkennungssystem erschwert oder beeinträchtigt sein.A particularly common example of a scene that looks different depending on the lighting is a traffic situation with vehicles traveling at night with vehicle lights on and with vehicle lights off during the day. Recognition of other vehicles by a vehicle with a picture-based driver assistance system can thereby be difficult or impaired depending on the lighting conditions. Also, in the case of a change from day to night, detection of lane and / or lane markings may be impeded or impaired by an above-mentioned driver assistance system or by the surroundings recognition system interpreting the scene or lane situation.
Offenbarung der ErfindungDisclosure of the invention
Die Erfindung geht von einem Verfahren zur Auswertung von Sensorbildern eines bildauswertenden Umfelderkennungssystems an einem Träger aus, zum Beispiel ein Fahrzeug im Straßenverkehr, eventuell unter Berücksichtigung der fahrzeugeigenen Bewegung, bei dem erfindungsgemäß in vorteilhafter weise zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht zumindest dieThe invention is based on a method for evaluating sensor images of an image-evaluating environment detection system on a carrier, for example a vehicle on the road, possibly taking into account the vehicle's own movement, in which according to the invention in an advantageous manner to distinguish the lighting conditions in the field of image-evaluating environment detection system in terms of day or At least the night
Verstärkung und/oder die Belichtungszeit des mindestens eines das Umfeld erfassenden Bildsensors überwacht wird. Ein Verlauf der Verstärkung und/oder der Belichtungszeit wird über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten Lichtverhältnisse einer Nacht kennzeichnen und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ kurzer Belichtungszeiten wird Lichtverhältnisse eines Tags kennzeichnen. Es können dabei aber auch weitere zusätzliche Informationen verwendet werden, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.Gain and / or the exposure time of the at least one environment detecting image sensor is monitored. A progression of gain and / or exposure time will be over time with relatively high gain or relative long exposure times characterize light conditions of a night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively short exposure times will characterize light conditions of a tag. But it can also be used to provide additional information about a day or night state.
Für eine Feststellung hinsichtlich eines Tag- oder Nachtzustandes kann somit zumindest der Verlauf der Verstärkung und/oder der Belichtungszeit des Bildsensors in einem vorgegebenen Zeitraum ausgewertet werden, indem zum Beispiel ermittelt wird, ob ein wesentlicher bzw. genügend großer Anteil dieses Verlaufs einem Tages- oder Nachtzustand entspricht.For a determination with regard to a day or night state, at least the course of the amplification and / or the exposure time of the image sensor can thus be evaluated in a predefined period of time, for example by determining whether a significant or sufficiently large proportion of this course is a day or night Night state corresponds.
Das erfindungsgemäße Verfahren zur Feststellung eines Tag- oder Nachtzustands einer video- bzw. bildgestützt mittels mindestens eines Bildsensors erfassten Szene bzw. Fahrbahnsituation macht sich somit eine unterschiedliche Lichtintensität der Szene bzw. Fahrbahnsituation bei Tag oder bei Nacht dahingehend zunutze, dass dadurch auf einfache Weise eine Aussage über einen Tages- oder Nachtzustand getroffen werden kann.The method according to the invention for determining a day or night state of a scene or roadway situation detected by at least one image sensor thus makes use of a different light intensity of the scene or roadway situation during the day or at night in a simple manner Statement about a day or night condition can be taken.
Mit der Erfindung kann in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt werden, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung auch eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden gespeicherten Tag- bzw. Nachterkennungen ausgewertet werden können, die einen auswertbaren Verlauf repräsentieren können, wobei der dem Verlauf zugrunde liegende Zeitraum auch veränderlich sein kann. Hierzu sollten eine dem Verlauf entnehmbare ausreichende Anzahl oder von zurückliegenden Tagbzw. Nachterkennungen vorhanden sein, die den Verlauf bzw. die Entwicklung der Situation repräsentieren, um eine Aussage über einen Tages- oder Nachtzustand zu treffen. Sofern sich kein Unterschied zu einer zuvor bzw. kürzlich getroffenen Aussage über einen Tages- oder Nachtzustand ergibt, beispielsweise weil für eine neue Entscheidung keine genügende Anzahl von Tag- bzw. Nachterkennungen vorliegt, bleibt die zuvor bzw. kürzlich getroffene Aussage vorzugsweise unverändert.With the invention, a current day or Nachtenterkennung be performed in regular cycles based on the instantaneous gain and / or the current exposure time of the image sensor, wherein in addition to the current or last day or Nachtenterkennung also a predeterminable period corresponding number of past stored day or night detections can be evaluated, which can represent an evaluable history, wherein the time period underlying the course can also be variable. For this purpose should be removed from the course sufficient number or of past Tagbzw. Night detections can be present, which represent the course or the development of the situation in order to make a statement about a day or night state. Unless there is a difference to a previously or recently made statement about a day or night state, for example, because there is not a sufficient number of day or night detections for a new decision, the previously or recently made statement preferably remains unchanged.
Der Verlauf bzw. die zeitliche Entwicklung kann ermittelt werden, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert wird.The progression or temporal development can be ascertained by carrying out a current day or night recognition in regular cycles on the basis of the instantaneous amplification and / or the current exposure time of the image sensor, with a current or last day or night identification a predetermined period corresponding number of past day or Nachtenterkennungen is stored.
Wenn der Zeitraum, über den der Verlauf nachverfolgt wird, bzw. die Anzahl von gespeicherten, zurückliegenden Tag- bzw. Nachtenterkennungen veränderlich ist, beispielsweise um nach einem Abstellen eines Fahrzeugs bei Nacht und bei einer Wiederbenutzung am nächsten Morgen nicht zwingend auf eine lange Kette von zurückliegenden Nachterkennungen zurückgreifen zu müssen, kann eine noch bessere Aussage über einen Tages- oder Nachtzustand getroffen werden.If the period over which the history is tracked or the number of stored past day or night identifications is variable, for example, not necessarily to a long chain of after a vehicle is parked at night and re-used the next morning To have to fall back on past night detections, an even better statement about a day or night state can be made.
Das erfindungsgemäße Verfahren kann auch dadurch erweitert werden, dass bei einer nicht eindeutigen Zuordnung zu einem Tag- oder Nachtzustand eine dritte Einstellung für den Bildsensor im Umfelderkennungssystem vorgesehen ist, die nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand beiträgt. Zur Festlegung der dritten Einstellung kann ein Durchschnittswert des Verlaufs der Zustandserkennung verwendet werden, um einen zwischen einem Tages- und einem Nachtzustand liegenden Zustand festzulegen, wobei der Durchschnittswert insbesondere proportional dem Verlauf oder anhand einer Nachschlagtabelle gebildet wird. Der Durchschnittswert wird vorzugsweise proportional dem Verlauf, z. B. proportional dem Verlauf der getroffenen Tagoder Nachterkennungen, gebildet. Diese besonders vorteilhafte Ausgestaltung der Erfindung sieht somit vor, dass eine Zwischenzone einem „Weder-Tag-Noch-Nacht-Zustand" des Bildsensors entspricht. Ein solcher „Weder-Tag-Noch-Nacht-Zustand" hat momentan betrachtet zunächst weder eine Tag- noch eine Nachterkennung zur Folge, d.h., der Bildsensor weist dabei eine Verstärkung und/oder eine Belichtungszeit auf, welche, wenn sie dauerhaft aufrechterhalten werden würde, zu keiner abschließenden Aussage über einen Tages- oder Nachtzustand führen würde. Dadurch, dass somit ein „Weder-Tag-Noch-Nacht-Zustand" als dritte Einstellung vorgesehen ist, kann ein häufiges Umschalten zwischen einer Feststellung eines Tages- und eines Nachtzustandes vermieden werden.The method according to the invention can also be extended by providing a third setting for the image sensor in the surroundings recognition system in the case of an ambiguous assignment to a day or night state, which does not contribute to a conclusive statement about a day or night state. In order to determine the third setting, an average value of the course of the state recognition can be used to determine a state lying between a daytime and a nighttime state, the average value being formed, in particular, proportionally to the course or by means of a lookup table. The average value is preferably proportional to the course, z. B. proportional to the course of the met day or night detections. This particularly advantageous embodiment of the invention therefore provides that an intermediate zone corresponds to a "neither-day-still-night-state" of the image sensor. Such a "neither-day-nor-night-state" has at the moment neither a day even a Nachterkennung result, ie, the image sensor in this case has a gain and / or an exposure time, which, if it were to be maintained permanently, would lead to any conclusive statement about a day or night state. By thus providing a "neither-night-nor-night-state" as the third setting, frequent switching between detection of a daytime and a nighttime state can be avoided.
Es können beispielsweise bei einem Verlauf mit 40% Tagerkennung, 50% Nachterkennung und 10% „Weder-Tag-Noch-Nacht-Zustände" die Parameter oder Voreinstellungen mit einem 50/90 Anteil des Einstellbereichs zwischen Tag und Nacht eingestellt oder nachjustiert werden. Es kann somit eine hier nicht notwendigerweise lineare Proportionalität zwischen dem Helligkeitszustand der Umgebung und den Parametereinstellungen gebildet werden.For example, with a 40% day detection, 50% night detection, and 10% "no-day-still-night" conditions, the parameters or presets can be adjusted or adjusted with a 50/90 portion of the day / night setting range Thus, a proportionality not necessarily linear here between the brightness state of the environment and the parameter settings can be formed.
Besonders vorteilhaft ist es, wenn das mit dem erfindungsgemäßen Umfelderkennungssystem erfasste Umfeld nach hellen Objekten durchsucht wird, die die Scheinwerfer eines anderen Trägers kennzeichnen und deren Auftreten dann als zusätzliche Information verwendet wird. Es könne weiterhin auch zusätzliche umfeldspezifische Informationen zur Unterscheidung des Tagoder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist. Beispielsweise leuchten auf der Fahrbahnoberfläche angebrachte Reflektoren durch ihre stark reflektierenden Eigenschaften nachts stark; tagsüber sind diese fast unsichtbar bzw. dunkel.It is particularly advantageous if the environment detected by the environment detection system according to the invention is searched for bright objects which identify the headlights of another carrier and whose occurrence is then used as additional information. Furthermore, it is also possible to use additional environment-specific information for distinguishing the day or night state, which in particular comprises further indication objects recognized in a detected environment whose different appearance is known by day or night. For example, reflectors mounted on the road surface shine strongly at night due to their highly reflective properties; During the day these are almost invisible or dark.
Hierzu können insbesondere helle, scheinwerferförmige Objekte insbesondere an der Frontseite eines Fahrzeugs ermittelt werden, deren Auftreten dann als zusätzliche Information verwendet wird. Solche Objekte haben beispielsweise eine im Allgemeinen runde oder elliptische Form und treten paarweise auf. Dadurch sind sie im Allgemeinen leicht bei einer Bildauswertung zu identifizieren.For this purpose, in particular bright, spotlight-shaped objects can be determined, in particular on the front side of a vehicle, the occurrence of which is then used as additional information. Such objects have, for example a generally round or elliptical shape and occur in pairs. As a result, they are generally easy to identify in image analysis.
Hierbei ist es ebenfalls vorteilhaft, wenn die Häufigkeit ermittelt wird, mit der die hellen Objekte und/oder weitere umfeldspezifische Informationen in dem erfassten Umfeld gefunden werden, wobei eine vorgegebene Häufigkeit des Auftretens solcher Objekte in einem Umfeld mit einem Nachtzustand in Verbindung gebracht wird. Ein Beispiel stellen Fahrzeugleuchten dar, die nachts immer häufiger gesehen werden, sodass der Quotient aus der Anzahl der gefundenen Leuchten und der Anzahl der gefundenen Fahrzeuge steigt.In this case, it is also advantageous if the frequency with which the bright objects and / or further environment-specific information are found in the detected environment is determined, wherein a predetermined frequency of the occurrence of such objects in an environment is associated with a nighttime state. An example are vehicle lights, which are seen more and more often at night, so that the quotient of the number of found lights and the number of vehicles found increases.
Vorzugsweise umfasst das bereichsspezifische Wissen somit auch eineThe area-specific knowledge thus preferably also includes one
Einbeziehung bestimmter, in einem Umfeld identifizierbarer Indikationsobjekte, z. B. zur Abgrenzung von Fahrbahnen und Fahrspuren verwendete Objekte, deren Aussehen bekannt ist oder sonstige fahrbahn- oder fahrspurmarkierungsartigen Muster in den erfassten Situationen. Auch diese unterscheiden sich bei Tag und bei Nacht, z. B. erscheinen einige bei Nacht größer als bei Tag.Inclusion of specific, in an environment identifiable indication objects, eg. B. used to delineate lanes and lanes used objects whose appearance is known or other lane or lane marker-like pattern in the detected situations. These also differ by day and by night, z. For example, some appear larger at night than during the day.
Die Häufigkeit des Auftretens kann wiederum als zusätzliche Information in eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand einfließen. Beispielsweise kann eine zunehmende Häufigkeit des Auftretens bzw. der Beobachtung von Indikationsobjekten mit einem bekannten Aussehen bei Nacht in einer Szene bzw. in einer Situation mit einer zu einem Nachtzustand tendierenden Entscheidung bzw. Aussage in Verbindung gebracht werden.The frequency of occurrence can in turn be incorporated as additional information in a statement or decision on a day or night state. For example, an increasing frequency of occurrence or observation of indication objects having a known appearance at night in a scene or in a situation may be associated with a decision tending to a night state.
Bei einer vorteilhaften Anordnung zur Durchführung des zuvor beschriebenen Verfahrens enthält das bildauswertende Umfelderkennungssystems eine elektronische Kamera als Bildsensor, die an einem Fahrzeug als Träger angebracht ist und den in Fahrtrichtung vorderen Bereich des Fahrzeugs auf einer Fahrbahn derart fortlaufend erfasst, dass jeweils ein aus Pixeln aufgebautes Sensorbild vorhanden ist, deren Helligkeits- und gegebenenfalls Farbwerte die Umgebung abbilden. Ferner ist eine Auswerteeinheit vorhanden, mit der eine Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht aufgrund der Verstärkung und/oder die Belichtungszeit der mindestens einen das Umfeld erfassenden Kamera durchführbar ist.In an advantageous arrangement for carrying out the method described above, the image-evaluating environment detection system includes an electronic camera as an image sensor, which is mounted on a vehicle as a carrier and detects the front in the direction of travel of the vehicle on a road surface so continuously, that in each case a constructed of pixels sensor image is present whose brightness and possibly color values reflect the environment. Furthermore, an evaluation unit is available, with which a distinction of the light conditions in the region of the image-evaluating environment detection system with regard to day or night due to the gain and / or the exposure time of the at least one camera detecting the environment is feasible.
Bei einer solchen Anordnung kann dann die Auswerteeinheit auf einfache Weise mit einem Signal aus der Feststellung des Tag- oder Nachtzustands, d.h. insbesondere mit Parametern oder Voreinstellungen beaufschlagt werden, mit denen ein video- oder bildgestützten Fahrassistenzsystems hinsichtlich des Tagoder Nachtzustands einstellbar ist. Dabei ist beispielsweise denkbar, die Parameter oder Voreinstellungen auf einer gleitenden Skala so einzustellen, dass die beste Leistung eines eine Umfeldsituation erkennenden Umfelderkennungssystems in Verbindung mit einem video- bzw. bildgestützten Fahrassistenzsystem erzielt wird.With such an arrangement, the evaluation unit can then easily be provided with a signal from the determination of the day or night state, i. In particular, with parameters or presets are applied, with which a video or image-based driver assistance system with respect to the day or night state is adjustable. It is conceivable, for example, to set the parameters or presettings on a sliding scale in such a way that the best performance of a surroundings recognition system is achieved in conjunction with a video-assisted or image-assisted driving assistance system.
Durch die Erfindung wird somit zusammenfassend ein Verfahren geschaffen, welches eine Einordnung einer Beleuchtungssituation als Tag- oderThe invention thus provides a summary method, which is a classification of a lighting situation as a day or
Nachtsituation ermöglicht. Mit dieser Einordnung somit kann ein fehlerfreies Erkennen einer Fahrbahnsituation unabhängig von deren Beleuchtungszustand ermöglicht werden.Night situation allows. With this classification, a fault-free detection of a roadway situation can be made possible regardless of their lighting condition.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, das gespeichert auf einem computerverwendbaren Medium computerlesbare Programmmittel umfasst, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung des erfindungsgemäßen Verfahrens oder des Betriebs der Anordnung veranlassen.Furthermore, a computer program product is proposed which comprises computer-readable program means stored on a computer-usable medium which, when the computer program product is executed on a microprocessor with associated storage means or on a computer, cause it to carry out the method according to the invention or the operation of the arrangement.
Kurze Beschreibung der Zeichnung Ein Ausführungsbeispiel der Erfindung wird in den Figuren der Zeichnung dargestellt und nachfolgend erläutert. Es zeigen:Short description of the drawing An embodiment of the invention is illustrated in the figures of the drawing and explained below. Show it:
Figur 1 eine schematische Darstellung eines Fahrzeugs mit einer Kamera als Bestandteil eines Umfelderkennungssystems zur Auswertung von Tag- und Nachtzuständen, zusätzlich auch anhand der Scheinwerfer eines anderen Fahrzeugs undFigure 1 is a schematic representation of a vehicle with a camera as part of an environment detection system for the evaluation of day and night conditions, in addition also based on the headlights of another vehicle and
Figur 2 ein Ablaufdiagramm der erfindungsgemäßen Verfahrensmerkmale in einer Auswerteeinheit des Umfelderkennungssystems.FIG. 2 shows a flowchart of the method features according to the invention in an evaluation unit of the environment recognition system.
Beschreibung des AusführungsbeispielsDescription of the embodiment
Aus Figur 1 ist schematisch eine Situation eines Fahrzeugs 1 als Träger eines Umfelderkennungssystems erkennbar, das sich hier auf einer Fahrbahn 2 in Richtung eines Pfeiles 3 bewegen kann. Das Umfelderkennungssystem des Fahrzeugs 1 weist eine Kamera 4 als Bildsensor, insbesondere eine digitale Videokamera auf, die einen Bereich zwischen gestrichelten Linien 5 und 6 erfasst.FIG. 1 diagrammatically shows a situation of a vehicle 1 as the vehicle of a surroundings recognition system, which can move here on a roadway 2 in the direction of an arrow 3. The surroundings recognition system of the vehicle 1 has a camera 4 as an image sensor, in particular a digital video camera, which detects a region between dashed lines 5 and 6.
Die Fahrbahn 2 ist durch eine Markierung 7 getrennt und auf der anderen Fahrbahnseite kommt ein anderes Fahrzeug 8 entgegen, das mit frontseitigen Scheinwerfern 9 bestückt ist. In einer Auswerteeinrichtung 10 werden an einem Eingang 11 die digitalen Daten des aus Pixeln bestehenden Sensorbildes der Kamera 4 und zusätzlich zum Beispiel an einem Eingang 12 auch die aktuelle Geschwindigkeitsdaten des Fahrzeugs 1 ausgewertet.The roadway 2 is separated by a marker 7 and on the other side of the road is another vehicle 8 opposite, which is equipped with front lights 9. In an evaluation device 10, the digital data of the consisting of pixels sensor image of the camera 4 and additionally, for example, at an input 12 and the current speed data of the vehicle 1 are evaluated at an input 11.
In der Auswerteeinrichtung 10 nach der Figur 1 werden zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems am Fahrzeug 1 hinsichtlich Tag oder Nacht die Verstärkung und/oder dieIn the evaluation device 10 according to FIG. 1, in order to distinguish the light conditions in the region of the image-evaluating surroundings recognition system on the vehicle 1 with regard to day or night, the amplification and / or the
Belichtungszeit der Kamera 4 überwacht. Ein Verlauf der Verstärkung und/oder der Belichtungszeit über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten kennzeichnet hier die Lichtverhältnisse bei Nacht und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ niedriger Belichtungszeiten kennzeichnet hier die Lichtverhältnisse bei Tag.Exposure time of the camera 4 monitored. A course of reinforcement and / or The exposure time over time with relatively high gain or relatively long exposure times here characterizes the lighting conditions at night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively low exposure times characterizes the daytime lighting conditions here.
Es können dabei aber auch weitere zusätzliche Informationen verwendet werden, um eine Aussage über einen Tages- oder Nachtzustand zu treffen. Das mit der Kamera 4 erfasste Umfeld wird nach hellen Objekten durchsucht, wobei bei dem hier gezeigten Ausführungsbeispiel die Scheinwerfer 9 des anderen Fahrzeugs 8 als zusätzliche Information verwendet werden. Es können weiterhin auch zusätzliche, hier nicht weiter erläuterte umfeldspezifische Informationen zur Unterscheidung des Tag- oder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist.But it can also be used to provide additional information about a day or night state. The environment detected by the camera 4 is searched for bright objects, in the embodiment shown here, the headlights 9 of the other vehicle 8 are used as additional information. Furthermore, it is also possible to use additional environment-specific information, which is not further explained here, for distinguishing the daytime or nighttime state, which in particular comprise further indication objects recognized in a detected environment whose different appearance is known day or night.
Um eine unterschiedliche Lichtintensität zu erfassen, die einen Rückschluss auf einen Tag- oder Nachtzustand zulässt, kann generell anhand des Ablaufdiagramms nach Figur 2 vorgegangen werden, wobei hier im Wesentlichen folgende Verfahrensschritte in der Auswerteeinheit 10 ausgeführt werden, die anschließend anhand des Ablaufdiagramms nach der Figur 2 im Einzelnen erläutert werden:In order to detect a different light intensity, which allows a conclusion on a day or night state, can generally be proceeding with reference to the flowchart of Figure 2, in which case essentially the following method steps are carried out in the evaluation unit 10, which subsequently with reference to the flow chart of FIG 2 are explained in detail:
- Zumindest die Verstärkung und/oder die Belichtungszeit der Kamera 4 werden überwacht.- At least the gain and / or the exposure time of the camera 4 are monitored.
- Ein Verlauf bzw. eine Entwicklung mit durchweg hoher Verstärkung oder durchweg langen Belichtungszeiten dient als Indiz, dass gerade Nacht ist.- A course or a development with consistently high gain or consistently long exposure times serves as an indication that is currently night.
- Ein Verlauf bzw. eine Entwicklung mit durchweg niedriger Verstärkung oder durchweg niedrigen Belichtungszeiten dient als Indiz, dass gerade Tag ist. Es werden vorzugsweise der Verlauf bzw. die Entwicklung der Verstärkung und/oder der Belichtungszeiten des Bildsensors oder ähnliche Einstellungen ausgewertet und es wird ermittelt, ob ein wesentlicher bzw. genügend großer Anteil dieses Verlaufs bzw. dieser Entwicklung einem Tages- oder Nachtzustand entspricht.- A course or a development with consistently low gain or consistently low exposure times serves as an indication that is just day. The course or the development of the amplification and / or the exposure times of the image sensor or similar settings are preferably evaluated and it is determined whether a substantial or sufficiently large proportion of this course or development corresponds to a day or night state.
- Im Folgenden kann dann ein Verlauf bzw. eine Entwicklung der Tag- und Nachtentscheidungen gespeichert werden, die dann für das Treffen einer späteren Aussage über einen Tages- oder Nachtzustand herangezogen werden kann.- Subsequently, a course or a development of the day and night decisions can be stored, which can then be used to make a later statement about a day or night state.
- Der auch als Historie bezeichenbare Verlauf bzw. die zeitliche Entwicklung kann beispielsweise dadurch ermittelt werden, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird. Neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung kann eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert werden, welche den Verlauf bzw. die Entwicklung der Tag- bzw. Nachtenterkennungen repräsentieren.The progression or temporal development, which can also be described as a history, can be determined, for example, by carrying out a current day or night detection in regular cycles on the basis of the instantaneous amplification and / or the instantaneous exposure time of the image sensor. In addition to the current or last day or night identification, a number of past day or night identifications corresponding to a specifiable period of time can be stored, which represent the course or the development of the day and night identifications.
Der Zeitraum kann veränderlich sein, beispielsweise um nach einem Abstellen eines Fahrzeugs bei Nacht und bei einer Wiederbenutzung am nächsten Morgen nicht zwingend auf eine lange Kette von zurückliegenden Nachterkennungen zurückgreifen zu müssen, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.The period may be variable, for example, after having parked a vehicle at night and re-use the next morning, it may not be necessary to resort to a long chain of past night detections in order to make a statement about a day or night condition.
- Um ein häufiges Umschalten zwischen einer Feststellung eines Tages- und Nachtzustandes zu vermeiden, ist vorzugsweise ein einer- To avoid frequent switching between a determination of a day and night state, is preferably a one
Zwischenzone entsprechender „Weder-Tag-Noch-Nacht-Zustand" vorgesehen, welcher vorzugsweise weder Tages- noch Nachteinstellungen für den Bildsensor vorsieht. Ein solcher Zustand hat momentan betrachtet zunächst weder eine Tag- noch eine Nachterkennung zur Folge, d.h. der Bildsensor weist einen Zustand auf, d.h. eine Verstärkung und/oder eine Belichtungszeit, welcher Zustand, wenn er dauerhaft aufrechterhalten werden würde, zu keiner abschließenden Aussage über einen Tages- oder Nachtzustand führen würde.Intermediate zone corresponding "Neither-day-nor-night state" is provided, which preferably provides neither day nor night settings for the image sensor At the moment, initially neither day nor night detection results, ie the image sensor has a state, ie a gain and / or an exposure time, which state, if it were to be maintained permanently, does not lead to a conclusive statement about a day or night state would lead.
- Vorzugsweise trägt dieser Weder-Tag-Noch-Nacht-Zustand auch nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand bei.- Preferably, this Neither-Nights-Nights-Night state does not contribute to a conclusive statement about a day or night state.
- Vorzugsweise ist eine beispielsweise dem Verlauf bzw. der Entwicklung entnehmbare ausreichende Anzahl oder ein z. B. einem Prozentsatz entsprechender, ausreichender Anteil von zurückliegenden Tag- bzw. Nachterkennungen vonnöten, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.- Preferably, for example, the course or development removable sufficient number or z. B. a percentage corresponding, sufficient proportion of past day or night detections needed to make a statement about a day or night state.
- Sofern sich kein Unterschied zu einer zuvor bzw. kürzlich getroffenen Aussage über einen Tages- oder Nachtzustand ergibt, beispielsweise weil für eine neue Entscheidung keine genügende Anzahl von Tag- bzw. Nachterkennungen vorliegt, wird der bisherige Zustand vorzugsweise beibehalten bzw. bleibt die zuvor bzw. kürzlich getroffene Aussage vorzugsweise unverändert.- If there is no difference to a previously or recently made statement about a day or night state, for example, because there is no sufficient number of day or night detections for a new decision, the previous state is preferably maintained or remains the previously or recent statement preferably unchanged.
- Erfindungsgemäß können zusätzliche Informationen verwendet werden, um eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand zu treffen. So ist es beispielsweise denkbar, erfasste Situationen bzw. Szenen nach hellen, scheinwerferförmigen Objekten, wie in Figur 1 dargestellt, zu durchsuchen. Scheinwerferförmige Objekte an der Fahrzeugfront eines anderen Fahrzeugs 8 haben beispielsweise eine im Allgemeinen runde oder elliptische Form und treten paarweise und in etwa der gleichen Bildhöhe auf. - Weiter kann die Häufigkeit beobachtet werden, mit der solche Objekte in den durchsuchten erfassten Situationen bzw. Szenen gefunden werden. Eine zunehmende Häufigkeit des Auftretens bzw. der Beobachtung solcher Objekte in einer Szene bzw. in einer Situation wird vorzugsweise mit einer zu einem Nachtzustand tendierenden Entscheidung bzw.According to the invention, additional information can be used to make a statement or decision on a day or night state. Thus, it is conceivable, for example, to search captured situations or scenes for bright, spotlight-shaped objects, as shown in FIG. Headlamp-shaped objects on the vehicle front of another vehicle 8, for example, have a generally round or elliptical shape and occur in pairs and at approximately the same image height. - Furthermore, the frequency with which such objects are found in the scanned detected situations or scenes can be observed. An increasing frequency of the occurrence or the observation of such objects in a scene or in a situation is preferably with a decision that tends to a night state or
Aussage in Verbindung gebracht.Statement associated.
- Um eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand zu treffen, kann weiter ein bereichsspezifisches Wissen darüber verwendet werden, wie eine Szene bzw. eine Situation bei Tag und bei Nacht unterschiedlich erscheint.In order to make a statement or decision about a day or night state, area-specific knowledge can further be used as to how a scene or situation appears differently during the day and at night.
- Ein Beispiel für ein solches bereichsspezifisches Wissen ist, dass bestimmte Objekte, z. B. Reflektoren, die z. B. zur Abgrenzung von Fahrbahnen und Fahrspuren verwendet werden, bei Nacht größer erscheinen als bei Tag.An example of such domain-specific knowledge is that certain objects, e.g. B. reflectors z. B. used to delimit lanes and lanes, appear larger at night than during the day.
- Dabei kann dann die Häufigkeit beobachtet werden, mit der solche- It can then be observed the frequency with which such
Eigenschaften bzw. ein solches Erscheinen aufweisende Objekte z. B. in einem fahrbahn- oder fahrspurmarkierungsartigen Muster auftreten. Auch hier wird eine zunehmende Häufigkeit des Auftretens bzw. der Ermittlung solcher Objekte in einer Szene bzw. in einer Situation vorzugsweise mit einer zu einem Nachtzustand tendierenden Entscheidung bzw. Aussage inProperties or such appearance exhibiting objects z. B. occur in a lane or lane marker-like pattern. Here, too, an increasing frequency of the occurrence or the determination of such objects in a scene or in a situation is preferably with a decision or statement tending towards a night state
Verbindung gebracht.Connected.
- Die Entscheidung selbst bzw. die getroffene Aussage braucht nicht notwendigerweise binär zu sein, braucht also nicht notwendigerweise nur zwei Zustände, wie beispielsweise es ist Tag oder es ist Nacht, haben zu müssen. So kann beispielsweise ein Durchschnittswert der Tag- oderThe decision itself or the statement made does not necessarily have to be binary, so it does not necessarily need only two states, such as day or night. For example, an average of the day or day
Nachterkennungen dazu verwendet werden, beispielsweise proportional die Regeln bzw. Voreinstellungen eines eine Situation bzw. eine Szene verstehenden oder interpretierenden video- bzw. bildgestützten Fahrassistenzsystems bzw. dessen Bilderkennungssystems einzustellen oder nachzujustieren. So können beispielsweise bei einem Verlauf mit 40% Tagerkennung, 50% Nachterkennung und 10% Weder-Tag-Noch- Nacht-Zustände die Regeln bzw. Voreinstellungen mit einem 50/90 entsprechenden Anteil des Einstellbereichs zwischen Tag und Nacht eingestellt oder nachjustiert werden.Nachterkennungen be used, for example, proportionally the rules or presets of a situation or a scene understanding or interpreting video or image-based Driver assistance system or its image recognition system to adjust or readjust. For example, in a 40% Tag Recognition, 50% Night Recognition, and 10% Neither -day-nor-night conditions, the rules or presets can be adjusted or adjusted with a 50/90 corresponding portion of the day / night range.
Eine solche Einstellung bzw. Nachjustierung kann auch nichtlinear erfolgen, beispielsweise mit Hilfe einer Nachschlagtabelle.Such a setting or readjustment can also be non-linear, for example with the aid of a look-up table.
Anhand der Figur 2 wird nun beispielhaft ein Ablaufplan des erfindungsgemäßen Verfahrens erläutert.A flow chart of the method according to the invention will now be explained by way of example with reference to FIG.
Das Verfahren startet in einem ersten Verfahrensschritt 21. In einem zweiten Verfahrensschritt 22 wird ein Tageszustand als Start- bzw. Ausgangswert gesetzt. In einem dritten Verfahrensschritt 23 wird ein so genannter Frame erfasst, welcher zumindest die momentane Verstärkung und die momentane Belichtungszeit mindestens der ein Umfeld als Fahrbahnsituation oder Szene erfassenden Kamera 4 nach der Figur 1 zumindest zum Zeitpunkt des video- bzw. bildgestützten Erfassens des Umfelds enthält.The method starts in a first method step 21. In a second method step 22, a daytime state is set as the start or output value. In a third method step 23, a so-called frame is detected, which contains at least the instantaneous amplification and the instantaneous exposure time of at least one camera 4 according to FIG. 1, at least at the time of the video-based or image-based recording of the surroundings.
In einem vierten Verfahrensschritt 24 werden die Verstärkung und die Belichtungszeit der mindestens einen Kamera 4 aus dem Frame gelesen. In einem fünften Verfahrensschritt 25 (eingefügt unter A nach dem Verfahrensschritt 24) kann eine Abfrage stattfinden, ob eine ausreichend schnelle Bewegung seit dem Erfassen des letzten Frames stattgefunden hat, z. B. ob seitdem eine ausreichende Strecke auf der Fahrbahn 2 zurückgelegt wurde. Ist dies der Fall, schreitet das Verfahren mit einem sechsten Verfahrensschritt 26 fort. Ist dies nicht der Fall, wird erneut im dritten Verfahrensschritt 23 ein neuer Frame erfasst. Das erfindungsgemäße Verfahren setzt jedoch nicht zwangsläufig eine Bewegung des Trägers und damit der Kamera 4 voraus; bei dem hier beschriebenen Ausführungsbeispiel wird jedoch die fahrzeugeigene Bewegung berücksichtigt.In a fourth method step 24, the gain and the exposure time of the at least one camera 4 are read from the frame. In a fifth method step 25 (inserted under A after method step 24), a query can take place as to whether a sufficiently fast movement has taken place since the detection of the last frame, for B. whether since then a sufficient distance was covered on the lane 2. If this is the case, the method proceeds to a sixth method step 26. If this is not the case, a new frame is detected again in the third method step 23. However, the method according to the invention does not necessarily require one Movement of the carrier and thus the camera 4 ahead; however, in the embodiment described here, the vehicle's own motion is taken into account.
Im sechsten Verfahrensschritt 26 wird abgeklärt, ob die im erfassten Frame hinterlegte momentane Belichtungszeit und momentane Verstärkung einem momentanen Tages- oder einem Nacht- oder einem „Weder-Tag-Noch-Nacht- Zustand" entsprechen. Das Ergebnis ist eine momentane Tages- oder Nachterkennung oder ein momentaner „Weder-Tag-Noch-Nacht-Zustand".In the sixth method step 26, it is clarified whether the current exposure time and the instantaneous gain stored in the detected frame correspond to a current day or a night or a "neither-night-nor-night state." The result is an instantaneous day or night detection or a current "neither day nor night state".
In einem siebten Verfahrensschritt 27 wird die im sechsten Verfahrensschritt 26 gewonnene Erkenntnis einem Verlauf hinzugefügt. In einem achtenIn a seventh method step 27, the knowledge obtained in the sixth method step 26 is added to a profile. In an eighth
Verfahrensschritt 28 findet eine Abfrage statt, ob der Verlauf eine ausreichende Länge aufweist. Ist dies der Fall, fährt das Verfahren mit einem neunten Verfahrensschritt 29 fort. Ist dies nicht der Fall, fährt das Verfahren mit dem dritten Verfahrensschritt 23 fort.Process step 28 takes place a query whether the course has a sufficient length. If this is the case, the method continues with a ninth method step 29. If this is not the case, the method continues with the third method step 23.
In dem neunten Verfahrensschritt 29 findet eine Abfrage statt, ob in ausreichender Zahl dem Verlauf hinzugefügte Erkenntnisse Nachtentscheidungen sind. Ist dies der Fall, so fährt das Verfahren mit einem zehnten Verfahrensschritt 30 fort. Ist dies nicht der Fall, so fährt das Verfahren mit einem elften Verfahrensschritt 31 fort.In the ninth method step 29, a query is made as to whether a sufficient number of findings added to the course are night decisions. If this is the case, then the method continues with a tenth method step 30. If this is not the case, then the method continues with an eleventh method step 31.
In dem zehnten Verfahrensschritt 30 wird die Aussage getroffen, dass einIn the tenth method step 30, the statement is made that a
Nachtzustand herrscht. In dem elften Verfahrensschritt 31 findet eine Abfrage statt, ob in ausreichender Zahl dem Verlauf hinzugefügte Erkenntnisse Tagentscheidungen sind. Ist dies der Fall, fährt das Verfahren mit einem zwölften Verfahrensschritt 32 fort. Ist dies nicht der Fall, fährt das Verfahren vorzugsweise mit dem dritten Verfahrensschritt 23 fort. In dem zwölften Verfahrensschritt 32 wird die Aussage getroffen, dass ein Tagzustand herrscht. In einem sich an den zehnten bzw. zwölften Verfahrensschritt 30, 32 anschließenden dreizehnten Verfahrensschritt 33 wird der Verlauf gelöscht und das Verfahren fährt erneut im dritten Verfahrensschritt 23 fort.Night state prevails. In the eleventh method step 31, a query takes place as to whether a sufficient number of findings added to the course are day decisions. If this is the case, the method continues with a twelfth method step 32. If this is not the case, the method preferably proceeds to the third method step 23. In the twelfth method step 32, the statement is made that there is a daytime state. In a thirteenth method step 33 following the tenth or twelfth method steps 30, 32, the profile is deleted and the method continues again in the third method step 23.
Wichtig ist hervorzuheben, dass es nicht das Ziel bzw. die Zielsetzung der Erfindung ist, eine Belichtungssteuerung zu erhalten. Es ist vielmehr Ziel der Erfindung eine Beleuchtungssituation eines Umfelds, einer Szene bzw. Fahrbahnsituation durch Beobachten der Kamera- und Vorfall- bzw. Vorgangsstatistiken zu beschreiben bzw. einzuordnen. Ein dadurch erhaltenes Ergebnis in Form der getroffenen Aussage wird vorzugsweise dazu verwendet, um die Regeln, Parameter bzw. Voreinstellungen eines das Umfeld verstehenden oder interpretierenden, Video- bzw. bildgestützten Fahrassistenzsystems bzw. dessen Umfelderkennungssystems z. B. auf einer gleitenden Skala so einzustellen, dass die beste Leistung erzielt wird.It is important to emphasize that it is not the aim or the purpose of the invention to obtain an exposure control. Rather, it is an object of the invention to describe or classify a lighting situation of an environment, a scene or a roadway situation by observing the camera and incident or operating statistics. A result obtained thereby in the form of the statement made is preferably used to determine the rules, parameters or presettings of an environment-understanding or interpreting, video-based or image-based driver assistance system or its surroundings detection system, for example. For example, adjust on a sliding scale to get the best performance.
Die Erfindung ist insbesondere im Bereich der Herstellung und des Betriebs video- bzw. bildgestützter Fahrassistenzsysteme bzw. video- bzw. bildgestützter Videosysteme, die im Straßenverkehr eingesetzt werden können, gewerblich anwendbar. Dabei ist es besonders vorteilhaft und auch vorgesehen, dass das Fahrerassistenzsystem ein Spurhalteunterstützungssystem hat. The invention is particularly industrially applicable in the field of production and operation of video- or image-assisted driver assistance systems or video- or image-based video systems which can be used in traffic. It is particularly advantageous and also provided that the driver assistance system has a lane keeping assistance system.

Claims

Ansprüche claims
1. Verfahren zur Auswertung von Sensorbildern eines bildauswertenden Umfelderkennungssystems an einem ein Fahrerassistenzsystem aufweisenden Träger, dadurch gekennzeichnet, dass das1. A method for evaluating sensor images of an image-evaluating environment detection system on a driver assistance system having a carrier, characterized in that the
Fahrerassistenzsystem ein Spurhalteunterstützungssystem aufweist, und dass zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht zumindest die Verstärkung und/oder die Belichtungszeit des mindestens eines das Umfeld erfassenden Bildsensors überwacht wird, wobei einDriver assistance system has a lane keeping assistance system, and that is at least the gain and / or the exposure time of the at least one environment detecting image sensor is monitored to distinguish the light conditions in the field of image-evaluating environment detection system with respect to day or night, wherein a
Verlauf der Verstärkung und/oder der Belichtungszeit über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten Lichtverhältnisse einer Nacht kennzeichnen und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ niedriger Belichtungszeiten Lichtverhältnisse eines Tags kennzeichnen.Characteristic of the gain and / or the exposure time over time with relatively high gain or relatively long exposure times characterize lighting conditions of a night and a course of the gain and / or the exposure time with relatively low gain and / or relatively low exposure times characterize lighting conditions of a day.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Verlauf dadurch ermittelt wird, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert wird, welche den Verlauf repräsentieren.2. The method according to claim 1, characterized in that the course is determined by a current day or Nachtenterkennung is performed in regular cycles based on the instantaneous gain and / or the current exposure time of the image sensor, in addition to the current or last Day or Nachtenterkennung a predeterminable period corresponding number of past day or Nachtenterkennungen is stored, which represent the course.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer nicht eindeutigen Zuordnung zu einem Tag- oder Nachtzustand eine dritte Einstellung für den Bildsensor vorgesehen ist, die nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand beiträgt.3. The method according to any one of the preceding claims, characterized in that in a non-unique assignment to a day or night state, a third setting for the image sensor is provided, which does not contribute to a conclusive statement about a day or night condition.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zur Festlegung der dritten Einstellung ein Durchschnittswert des Verlaufs der Zustandserkennung verwendet wird, um einen zwischen einem Tagesund einem Nachtzustand liegenden Zustand festzulegen, wobei der Durchschnittswert insbesondere proportional dem Verlauf oder anhand einer Nachschlagtabelle gebildet wird.4. The method according to claim 3, characterized in that for determining the third setting, an average value of the course of the state recognition is used to set a lying between a day and a night state, the average value is formed in particular proportionally to the course or on the basis of a lookup table.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mit dem Umfelderkennungssystem erfasste5. The method according to any one of the preceding claims, characterized in that detected with the environment detection system
Umfeld nach hellen Objekten durchsucht wird, die eingeschaltete Scheinwerfer eines anderen Trägers kennzeichnen und deren Auftreten dann als zusätzliche Information verwendet wird.Environment is searched for bright objects, identify the activated headlights of another carrier and their occurrence is then used as additional information.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als zusätzliche Information weitere umfeldspezifische Informationen zur6. The method according to claim 5, characterized in that as additional information further environment-specific information for
Unterscheidung des Tag- oder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist.Distinguishing the day or night state are used, in particular, include other detected in a detected environment indication objects whose different appearance is known by day or night.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die7. The method according to claim 5 or 6, characterized in that the
Häufigkeit ermittelt wird, mit der die hellen Objekte und/oder weitere umfeldspezifische Informationen in dem erfassten Umfeld gefunden werden, wobei eine vorgegebene Häufigkeit des Auftretens solcher Objekte in einem Umfeld mit einem Nachtzustand in Verbindung gebracht wird.Frequency is determined with which the bright objects and / or other environment-specific information in the detected environment are found, with a given frequency of occurrence of such objects in an environment with a nighttime state is associated.
8. Anordnung zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das bildauswertende Umfelderkennungssystems eine elektronische Kamera (4) als Bildsensor enthält, die an einem mit einem Spurhalteunterstützungssystem ausgestatteten Fahrzeug (1) als Träger angebracht ist und den in Fahrtrichtung vorderen Bereich des Fahrzeugs (1 ) auf einer Fahrbahn (2) derart fortlaufend erfasst, dass jeweils ein aus8. Arrangement for carrying out a method according to one of the preceding claims, characterized in that the image evaluating environment detection system includes an electronic camera (4) as an image sensor, which is mounted on a vehicle equipped with a lane keeping assistance system vehicle (1) and continuously detects the front in the direction of travel of the vehicle (1) on a roadway (2) such that on off
Pixeln aufgebautes Sensorbild vorhanden ist, deren Helligkeits- und gegebenenfalls Farbwerte die Umgebung abbilden und dass eine Auswerteeinheit (8) vorhanden ist, mit der eine Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht aufgrund derPixel constructed sensor image is present, the brightness and possibly color values reflect the environment and that an evaluation unit (8) is provided, with a distinction of light conditions in the field of image-evaluating environment detection system with regard to day or night due to
Verstärkung und/oder die Belichtungszeit der mindestens einen das Umfeld erfassenden Kamera (4) durchführbar ist.Gain and / or the exposure time of the at least one environment detecting camera (4) is feasible.
9. Anordnung nach Anspruch 8, dadurch gekennzeichnet, dass mit einem Signal aus der Feststellung des Tag- oder Nachtzustands die Auswerteeinheit mit Parametern oder Voreinstellungen beaufschlagt wird, mit denen ein Video- oder bildgestützten Fahrassistenzsystems hinsichtlich des Tag- oder Nachtzustands einstellbar ist.9. Arrangement according to claim 8, characterized in that with a signal from the determination of the day or night state, the evaluation unit is loaded with parameters or presets with which a video or image-based driving assistance system with respect to the day or night state is adjustable.
10. Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass die Auswerteeinheit (4) zusätzlich mit der mit anderen Mitteln erfassten Geschwindigkeit des Fahrzeugs (1) beaufschlagbar ist.10. Arrangement according to claim 9, characterized in that the evaluation unit (4) can additionally be acted upon by the speed of the vehicle (1) detected by other means.
11. Computerprogrammprodukt gespeichert auf einem computerverwendbaren Medium, umfassend computerlesbare Programmmittel, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung eines Verfahrens nach einem derA computer program product stored on a computer-usable medium, comprising computer-readable program means which, upon execution of the computer program product on a microprocessor with associated memory means or on a computer, execute the method according to any of the claims
Ansprüche 1 bis 8 und einer Anordnung nach einem der Ansprüche 8 oder 11 veranlassen. Claims 1 to 8 and an arrangement according to any one of claims 8 or 11 cause.
EP08785731A 2007-08-28 2008-08-28 Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction Ceased EP2181415A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US96671907P 2007-08-28 2007-08-28
PCT/EP2008/007033 WO2009030419A2 (en) 2007-08-28 2008-08-28 Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction

Publications (1)

Publication Number Publication Date
EP2181415A2 true EP2181415A2 (en) 2010-05-05

Family

ID=40429439

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08785731A Ceased EP2181415A2 (en) 2007-08-28 2008-08-28 Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction

Country Status (3)

Country Link
US (2) US20110211071A1 (en)
EP (1) EP2181415A2 (en)
WO (1) WO2009030419A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881849A (en) * 2018-07-20 2018-11-23 合肥云联电子科技有限公司 A kind of intelligent assistance system for video monitoring

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012002885B4 (en) 2011-07-08 2022-01-27 Bendix Commercial Vehicle Systems Llc Method and device for image-based vehicle detection and distance measurement
EP2845165A4 (en) * 2011-12-09 2015-08-19 Microsoft Technology Licensing Llc Ambient light alert for an image sensor
DE102013102087A1 (en) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Method for operating a driver assistance system of a vehicle
US11971487B2 (en) * 2016-02-19 2024-04-30 Pioneer Corporation Feature data structure, control device, storage device, control method, program and storage medium
US10083620B2 (en) * 2016-07-29 2018-09-25 Nissan North America, Inc. Smart tutorial that learns and adapts
US11518380B2 (en) * 2018-09-12 2022-12-06 Bendix Commercial Vehicle Systems, Llc System and method for predicted vehicle incident warning and evasion
EP3963550B1 (en) 2019-05-03 2023-09-13 Stoneridge Electronics, AB Vehicle recording system utilizing event detection
CN114184275B (en) * 2021-12-18 2024-02-13 杭州视洞科技有限公司 Method for judging day and night by combining soft light sensitivity and hard light sensitivity

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339876B2 (en) * 1992-04-28 2002-10-28 株式会社日立製作所 Imaging device
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US20080046149A1 (en) * 1995-06-07 2008-02-21 Automotive Technologies International, Inc. Vehicle Component Control Methods and Systems Based on Vehicle Stability
DE19701484A1 (en) * 1997-01-17 1998-07-23 Bosch Gmbh Robert Process for controlling the exposure of video cameras
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US6734904B1 (en) * 1998-07-23 2004-05-11 Iteris, Inc. Imaging system and method with dynamic brightness control
JP2000050238A (en) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd Monitor camera device
CA2356992C (en) * 1999-01-25 2007-09-18 Gentex Corporation Vehicle equipment control with semiconductor light sensors
ES2391556T3 (en) * 2002-05-03 2012-11-27 Donnelly Corporation Object detection system for vehicles
JP4578795B2 (en) * 2003-03-26 2010-11-10 富士通テン株式会社 Vehicle control device, vehicle control method, and vehicle control program
DE102004017890A1 (en) 2003-12-17 2005-07-21 Daimlerchrysler Ag Vehicle with sensor controlled safety system using a combination of near field and far field sensing
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP4940639B2 (en) * 2005-09-30 2012-05-30 セイコーエプソン株式会社 Image processing apparatus, image processing method, and image processing program
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
DE102006055905B4 (en) * 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Method for vehicle environment detection and device for environment detection in a motor vehicle
TWI306816B (en) * 2006-12-13 2009-03-01 Ind Tech Res Inst Lane departure warning method and apparatus of using the same
CN102834309B (en) * 2010-02-26 2016-12-21 金泰克斯公司 Automotive vehicle monitoring of tools, warning and control system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Handbuch Fahrerassistenzsysteme, 3e Aufl.", 1 January 2015, SPRINGER VIEWEG, article HERMANN WINNER ET AL: "Handbuch Fahrerassistenzsysteme, 3e Aufl.", pages: 351,355,357, XP055351724 *
"Sensoren im Kraftfahrzeug", 1 January 2016, SPRINGER VIEWEG, article KONRAD REIF: "Sensoren im Kraftfahrzeug", pages: 164 - 165, XP055352909 *
BUNDESMINISTERIUM DER JUSTIZ ED - BUNDESMINISTERIUM DER JUSTIZ: "Handbuch der Rechtsförmlichkeit,Teil B: Allgemeine Empfehlungen für das Formulieren von Rechtsvorschriften; 1: Sprachliche Gestaltung von Gesetzen und Rechtsverordnungen", 1 January 2008 (2008-01-01), XP002686041, Retrieved from the Internet <URL:http://hdr.bmj.de/page_b.1.html> [retrieved on 20121025] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881849A (en) * 2018-07-20 2018-11-23 合肥云联电子科技有限公司 A kind of intelligent assistance system for video monitoring
CN108881849B (en) * 2018-07-20 2020-11-20 合肥云联电子科技有限公司 Intelligent auxiliary system for video monitoring

Also Published As

Publication number Publication date
US20110211071A1 (en) 2011-09-01
US20130251208A1 (en) 2013-09-26
WO2009030419A3 (en) 2009-09-17
US8823799B2 (en) 2014-09-02
WO2009030419A2 (en) 2009-03-12

Similar Documents

Publication Publication Date Title
EP2181415A2 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems, especially with respect to day/night distinction
DE102008006951B4 (en) Detection system for vehicles in front
DE10247371B4 (en) Vehicle information providing device
DE102007043164B4 (en) Nebula detection device for motor vehicles
DE102011088130B4 (en) Method and device for detecting a braking situation
WO2007033870A1 (en) Method and driver assistance system for sensor-based driving off control of a motor vehicle
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
EP2788245B1 (en) Method and device for locating a predefined parking position
EP2581892B1 (en) Distance measuring system and method for measuring distance, in particular between a vehicle and its surroundings
EP3413085A1 (en) Method for assisting a driver of a vehicle combination in manoeuvring with the combination, dead angle system and combination
WO2013072231A1 (en) Method for fog detection
DE102013101639A1 (en) Method and device for determining a road condition
DE10301469A1 (en) Infrared image processing device
EP2867093B1 (en) Method and system for information usage
DE102017218366A1 (en) METHOD AND PEDESTRIAN DETECTION APPROACH IN A VEHICLE
EP2181414B1 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
EP3627386A1 (en) Method and device for providing an image of the vicinity of a mobile device and motor vehicle comprising such a device
DE102018118419A1 (en) DIFFERENCE BETWEEN TURNING THE VEHICLE AND CHANGING THE BIKE
EP1298012B1 (en) Method for recognizing and tracking objects
EP3293971B1 (en) Method for reproducing a section of an image
DE102008017833A1 (en) A method of operating an image pickup device and an image pickup device
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
EP2181416B1 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
DE102019116006A1 (en) METHOD AND DEVICE FOR DETECTING OBJECTS IN CAMERA DEADROOMS
DE102022132859A1 (en) VEHICLE AND CONTROL METHOD THEREOF

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091222

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170313

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180112