EP4605901A1 - Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug - Google Patents

Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug

Info

Publication number
EP4605901A1
EP4605901A1 EP23777202.5A EP23777202A EP4605901A1 EP 4605901 A1 EP4605901 A1 EP 4605901A1 EP 23777202 A EP23777202 A EP 23777202A EP 4605901 A1 EP4605901 A1 EP 4605901A1
Authority
EP
European Patent Office
Prior art keywords
light
camera
camera image
vehicle
rear light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23777202.5A
Other languages
English (en)
French (fr)
Inventor
Jan-Christoph VON DER BEEKE
Tobias KLINGER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Global GmbH
Original Assignee
ZF CV Systems Global GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Global GmbH filed Critical ZF CV Systems Global GmbH
Publication of EP4605901A1 publication Critical patent/EP4605901A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q11/00—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00
    • B60Q11/005—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00 for lighting devices, e.g. indicating if lamps are burning or not
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/18—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors using comparison with a reference electric value
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2800/00—Features related to particular types of vehicles not otherwise provided for
    • B60Q2800/20—Utility vehicles, e.g. for agriculture, construction work
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J2001/1673—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors using a reference sample

Definitions

  • the invention relates to a method for monitoring a rear light of a vehicle, in particular a commercial vehicle, with a camera system, a monitoring system and a vehicle with a monitoring system.
  • Tail lights on vehicles are an essential safety aspect for road traffic and are therefore subject to a large number of legal regulations.
  • Road Traffic Licensing Regulations StVZO
  • tail lights include tail lights, brake lights, indicator lights, reflectors, rear fog lights, reversing lights and license plate lights.
  • lamp monitoring systems for such tail lights are known, which are based on the measured power consumption or on the monitoring of the supply line, in particular on monitoring the line interruption (filament burnt out) of the individual bulbs or LEDs of the tail lights.
  • the lights are monitored by a trailer light control unit on the motor vehicle or towing vehicle, so that the monitoring in the trailer depends on whether and to what extent the motor vehicle carries out light monitoring.
  • the actual goal is not achieved by the light monitoring systems described in the state of the art, namely ensuring that the rear lights are visible or recognizable to following traffic when they are lit, i.e. when they are actually working.
  • the brake light may not be visible due to a snow-covered rear light, even though the rear light itself is working and therefore cannot be recognized as faulty by the line monitoring system.
  • the invention is based on the object of specifying a method for monitoring the rear lights of a vehicle, with which the functionality of the rear lights can be monitored simply and reliably. Furthermore, the object of the invention is to specify a monitoring system and a vehicle with which the method can be carried out.
  • the camera can thus be aimed at a rear space behind the vehicle or behind the respective vehicle part on which the camera is located.
  • the rear light has a lighting unit.
  • the rear light of the vehicle and/or a lighting area illuminated by the rear light is detected by the camera on the vehicle and camera signals are output.
  • a camera image with pixels is displayed depending on the camera signals output, whereby the rear light of the vehicle and/or a lighting environment illuminated by the rear light are displayed in lighting pixels of the respective camera image is or are shown.
  • the pixels of the camera image in which the rear light and/or the lighting environment is or are shown are therefore referred to as the lighting pixels.
  • Brightness values are determined and recorded at least for the light pixels of the respective camera image. This can mean that a value characterizing the brightness is determined and processed at least for the light pixels or some of the light pixels.
  • a functional status of the rear light is determined and output depending on the determined brightness values or at least depending on the brightness values that are assigned to the rear light shown in the respective camera image.
  • the functional status can be output, for example, on a user interface in the form of a graphic and/or acoustic signal.
  • the camera system prefferably has more than one camera and also for the camera system to have more than one rear-facing camera. It is also possible for the vehicle to have more than one tail light. Several tail lights or all of the vehicle's tail lights can be recorded by the same or by different cameras. The method can therefore be carried out using one camera or several cameras on one tail light or several tail lights at the same time or with several cameras in parallel for one or more tail lights.
  • a monitoring system and a vehicle with such a monitoring system are further provided.
  • the monitoring system therefore automatically detects whether the vehicle's rear lights are functional or visible and can therefore be seen by following traffic. This can either show the lights directly or the area around the lights that is illuminated by the lights when they are activated, for example the road, buildings, your own vehicle, other vehicles, etc.
  • the functional status of the rear lights therefore includes not only the technical functionality of the rear lights, which can be impaired by a defective supply line and/or a defective LED, for example, but also actual perceptibility, i.e. whether the rear lights can fulfil their function of warning and/or increasing visibility for other road users.
  • the camera which supports the driver when maneuvering as part of a reversing assistance system, is also used to monitor the rear lights. This means that this camera can fulfill a dual function.
  • Such cameras, especially reversing cameras, are already very common and will be mandatory in commercial vehicles in the future, so that they will already be present anyway. No additional hardware is required; an existing camera is used.
  • the method for monitoring lights according to the invention can thus be used to monitor operational processes such as departure control, in which Functional testing of the rear lights can be simplified/automated and accelerated.
  • it increases the safety of vehicles, especially autonomous vehicles that do not require a driver to control the vehicle and/or monitor the journey.
  • the brightness values are evaluated or the functional status of at least one rear light is determined by creating a histogram and/or a pattern representation (in a higher-dimensional feature space) from the camera image provided, wherein the histogram and/or the feature representation shows a distribution of the brightness values of at least the light pixels of the respective camera image.
  • a pattern representation is used, not only brightness values, but also color values, saturations, contrasts are available as additional features for evaluation, for example using machine learning tools.
  • the histogram created from the camera image is compared with a reference histogram, the reference histogram being created from a reference camera image.
  • the pattern representation created from the camera image is compared with a reference pattern representation, the reference pattern representation being created from the reference camera image.
  • Such a comparison therefore includes a comparison of historical, previously recorded (reference) camera images with a current camera image or the resulting brightness distributions.
  • the reference camera image shows fully functional rear lights of the vehicle and/or the lighting environment illuminated by the fully functional rear lights of the vehicle.
  • the functionality is therefore checked in a simple manner by whether the brightness distribution at the time of recording the camera image corresponds to a brightness distribution with functioning tail lights. If, for example, the light pixels in the reference camera images are brighter, ie with a higher intensity, when switched on, than in the current camera image when the tail lights are switched on, it is easy to conclude that the tail light currently recorded is defective or covered, eg dirty or covered with snow, and to react accordingly.
  • the reference camera image shows deactivated rear lights of the vehicle and/or the lighting surroundings when the vehicle's rear lights are deactivated.
  • the functionality is therefore checked in a simple way by whether the brightness distribution at the time the camera image was recorded (with activated rear lights) differs from a brightness distribution with deactivated rear lights (reference camera image), which is to be assumed since the recorded brightness should change. It can then be determined and output as the functional status that the or a rear light is defective or covered if the histogram created from the camera image corresponds to the reference histogram and/or the pattern representation created from the camera image corresponds to the reference pattern representation, since the brightness has not changed in this case. This also enables simple and reliable determination and output of functionality.
  • the histogram is subjected to a brightness adjustment before being compared with the reference histogram and/or the pattern representation is subjected to a brightness adjustment before being compared with the reference pattern representation, wherein the brightness values in the histogram or the pattern representation
  • the brightness values shown are adjusted depending on the current ambient brightness.
  • the ambient brightness can vary greatly depending on the time of day or the environment, for example, which also affects the histogram and/or the pattern representation or the brightness values shown therein.
  • the ambient brightness is subtracted or the histogram and/or the pattern representation is standardized accordingly in terms of brightness in order to provide a histogram or pattern representation for comparison with the reference, regardless of the ambient brightness.
  • the ambient brightness can be determined, for example, by averaging the brightness values of all pixels in the camera image or the brightness values of all pixels except the light pixels.
  • each rear light can be assigned several target brightness ranges. It can therefore also be checked whether specific brightness values for the respective rear light are recorded in the histogram and/or in the pattern representation, whereby this can be dependent, for example, on the color of the rear light or the light units contained therein.
  • Each light unit of the respective rear light can therefore also be assigned a target brightness range, which can then be read off from the histogram and/or the pattern representation for each light.
  • it is additionally determined whether at least a specified target pixel proportion of brightness values lies in the target brightness range assigned to the respective rear light. This means that not only is it checked whether a certain brightness value occurs in the histogram and/or in the pattern representation, but also the frequency of the brightness values that lie within the brightness range. In this way, a statement about the degree of functionality, e.g. partially defective or partially covered, is also possible. It can then be determined and output as a functional status that the or a rear light is defective or covered if, for example, the brightness values of the histogram and/or pattern representation created from the camera image are not within the assigned target brightness range or do not lie within the specified target pixel proportion of at least one assigned target brightness range. In this way, the functionality of the rear lights can be easily checked and output.
  • the luminaire monitoring is further improved or made more stable by a calibration step, whereby the number of pixels used to evaluate the brightness values is further restricted. This can be done, for example, by determining and evaluating brightness values only for static pixels of the camera image provided, whereby the luminaire pixels are included in the static pixels as a subset.
  • the identification of the tail lights in the camera image can be further refined using a histogram, so that it is possible to determine and evaluate brightness values only for the light pixels of the camera image provided, whereby the light pixels are identified by comparing the brightness values of the pixels, in particular only the static pixels, of the provided camera image are evaluated over time when the respective rear light is activated and then deactivated, whereby the pixels whose brightness values change over time due to the activation and then deactivation of the respective rear light are identified as light pixels.
  • an initial calibration in a fully functional state can be used to activate and deactivate the tail lights in a controlled manner while observing the brightness values. This makes it easy and reliable to find the light pixels in the camera image and to limit the subsequent evaluation of the brightness values while the vehicle is in operation to these light pixels, which reduces the evaluation effort and makes detection more stable, since the histogram does not contain any "background” caused by brightness values that are not assigned to the tail lights, or this "background” can be minimized.
  • the lamp monitoring is carried out for a motor vehicle rear light on a motor vehicle of the vehicle and/or for a trailer rear light on a trailer of the vehicle, wherein the respective rear light has at least one lighting unit which is selected from the group consisting of: reflector, brake light, tail light, rear fog light, license plate light, indicator, clearance light.
  • a control of a heating element on the respective rear light and/or a cleaning system of the respective rear light depending on the determined and evaluated brightness values at least for the luminaire pixels of the respective camera image and/or depending on the determined and output functional status of the at least one rear light, a control of a heating element on the respective rear light and/or a cleaning system of the respective rear light.
  • New types of LED lights can have heating elements to melt snow cover and thus ensure that the lights are visible when it snows. It is advantageous to only switch these heating elements on when needed in order to save energy, which in this case can be done advantageously in coordination with the previously determined functional status.
  • the camera or the tail lights can be freed of dirt and/or snow using a cleaning system, particularly for the camera or the tail lights, such as a wiper or a spray device. If the functional status initially indicates that the tail light is defective or covered, an attempt can be made to clean the camera in order to restore a reliable image to the camera or to enable the tail lights to light up.
  • the procedure can then be carried out again after the heating element and/or the cleaning system have been activated and a functional status can be checked again in order to then indicate a final defect. This prevents an incorrect functional status of the rear lights from being output due to the tail lights or the camera being covered (dirt/snow).
  • the at least one rear-facing camera has a detection range with an opening angle of > 180°, in particular is a fisheye camera, so that the camera can directly detect the at least one rear light and the light surroundings. This makes it possible to detect the rear lights with just one camera on the back of the respective vehicle or vehicle part.
  • Such cameras can also be used efficiently for reversing assistance, since they detect a large part of the rear area behind the vehicle or the relevant vehicle part.
  • the rear lights of the vehicle are then normally also located in this detection range.
  • the camera can only record the area around the light, for example if a fisheye camera is not yet used or the field of view is obscured. In this case, the light monitoring can be carried out as described by only recording the area around the light.
  • Fig. 1 is a schematic plan view of a vehicle with a camera system
  • Fig. 2 shows a histogram with an exemplary distribution of brightness values of a rear light recorded by the camera system
  • Fig. 3a shows a camera image of a camera of the camera system
  • Fig. 3b is a camera image of the camera, showing only the dynamic pixels
  • Fig. 3c a camera image of the camera, showing only the static pixels
  • Fig. 4 is a flow chart of the method according to the invention.
  • Figure 1 shows a schematic top view of a trailer 2b or semitrailer as part of a vehicle 1, which also has a motor vehicle 2a as a towing vehicle, as indicated.
  • vehicle 1 has a camera system 4 with cameras 8, in particular with a rear-facing trailer camera 8b arranged on the trailer 2b, which can be part of a reversing assistance system 3, for example, and a control unit 6.
  • the control unit 6 can also be arranged in the motor vehicle 2a.
  • the trailer camera 8b is provided with a fisheye lens, i.e. it is designed as a fisheye camera 9 (also known as a fisheye camera), and has therefore has a detection area E with an opening angle of > 180°.
  • the motor vehicle 2a can also have a rear-facing motor vehicle camera 8a as part of the camera system 6, which is designed as a fisheye camera 9 and which can be part of the reversing assistance 3. In this way, the motor vehicle 2a can be assisted in approaching the trailer 2b, e.g. during a coupling process.
  • the control unit 6 is set up to carry out a method for monitoring a rear light 5 of the vehicle 1, in particular trailer rear lights 5b on the trailer 2b, each trailer rear light 5b in the illustrated embodiment consisting of three light units 7a, 7b, 7c, which, when the respective rear light 5 is activated, emit light into a light environment U5, in particular onto a surface, onto a building, the vehicle itself 1, onto other vehicles, etc.
  • motor vehicle rear lights 5a on the motor vehicle 2a can also be monitored using the method, in particular when no trailer 2b is coupled.
  • the method can also be used to monitor rear lights 5 of a one-piece vehicle 1, which then only has the motor vehicle 2a, for example a panel van, box van, flatbed truck, etc.
  • control unit 6 is connected to a bus system 10 of the vehicle 1, for example a CAN bus, via a corresponding interface 6a in order to be able to determine whether the respective rear light 5 of the vehicle 1 is currently activated or not.
  • a corresponding message or an activation signal S5 with the information about activation or deactivation of the rear light 5 is transmitted via the bus system 10.
  • Monitoring only makes sense if a respective rear light 5 is activated.
  • the method for monitoring the rear light(s) 5; 5a, 5b of the vehicle 1 can be carried out, for example, in the following steps shown in Fig. 4: Detecting at least one rear light 5; 5a, 5b of the vehicle 1 and/or its lighting surroundings U5 by the camera 8; 8a, 8b on the vehicle 1 and outputting camera signals S8; S8a, S8b (ST1);
  • the respective camera 8; 8a, 8b with a fisheye lens can detect all rear lights 5; 5a, 5b of the two-part vehicle 1 in the first step ST1, as well as the lighting environment U5 into which the light of the respective rear light 5; 5a, 5b falls.
  • the generated camera signals S8; S8a, S8b and/or the camera image B; Ba, Bb formed from them are then sent to the control unit 6 in the second step ST2, which then carries out a light/dark detection in the provided camera image B; Ba, Bb based on the brightness values HW determined in the third step ST3, in particular for the lighting pixels PL.
  • brightness values HW of pixels P are determined and evaluated that are not assigned to a rear light 5; 5a, 5b or the lighting environment U5 or cannot be clearly assigned, for example because a clear demarcation of image areas with and without a rear light 5; 5a, 5b or with and without an illuminated lighting environment U5 is not possible or intended. This must be taken into account accordingly in the following consideration.
  • the determined brightness values HW can be subjected to a histogram comparison in a first evaluation step ST3.1, for example.
  • the distribution of the brightness values HW of the relevant pixels P is shown in a histogram H, as shown by way of example in Fig. 2.
  • This created histogram H can then be compared with a reference histogram HR (dashed in Fig. 2), whereby a distribution of brightness values HW of the relevant pixels P is also plotted in the reference histogram HR.
  • the reference histogram HR is derived from a historical, previously recorded reference camera image BR, in which, for example, fully functional rear lights 5; 5a, 5b or in which the lighting environment U5 illuminated by them is shown.
  • the histogram comparison therefore includes a comparison of historical brightness values HW in the fully functional state of the rear lights 5; 5a, 5b with brightness values HW for the current state of the rear lights 5; 5a, 5b.
  • the histogram H is subjected to a brightness adjustment before being compared with the reference histogram HR, whereby the brightness values HW shown in the histogram H are adjusted depending on the current ambient brightness UH.
  • the ambient brightness UH can vary greatly, for example depending on the time of day or the environment, which also has an impact on the histogram H or the brightness values HW shown therein.
  • the ambient brightness UH is subtracted or the brightness of the histogram H is standardized accordingly in order to provide a histogram H for comparison with the reference histogram HR regardless of the ambient brightness UH.
  • the ambient brightness UH can be determined, for example, by averaging the brightness values HW of all pixels P of the camera image B; Ba, Bb or the brightness values HW of all pixels P except the light pixels PL. If it then follows from the reference histogram HR that the fully functional rear lights 5; 5a, 5b have a different or higher intensity than the current histogram H, it can be concluded that the rear light(s) 5; 5a, 5b shown in the current camera image B; Ba, Bb or the rear light(s) 5; 5a, 5b illuminating the shown lighting environment U5 is/are defective or covered (dirt or snow). Both a defect and a covering cause a change, in particular a reduction in the respective brightness value HW (compared to the expected brightness value). A corresponding output of the function status F can then take place in the fourth step ST4.
  • the reference histogram HR can also follow from a historical, previously recorded reference camera image BR in a situation with deactivated tail lights 5; 5a, 5b, in coordination with the activation signal S5, and the histogram H after activation of the tail lights 5; 5a, 5b from the then current camera image B; Ba, Bb.
  • the histogram comparison includes a comparison of historical brightness values HW in the deactivated state of the tail lights 5; 5a, 5b with brightness values HW for the current state of the tail lights 5; 5a, 5b in the activated state.
  • This embodiment is then suitable for a direct representation of the tail lights 5; 5a, 5b in the light pixels PL as well as for a representation of the light environment U5 that is illuminated by the tail lights 5; 5a, 5b.
  • the functionality of the rear lights 5; 5a, 5b can be determined from the histogram H without recourse to a reference histogram HR.
  • a second evaluation step ST3.2 it can be determined, for example, whether the majority of brightness values HW lie in one or more target brightness range(s) HSoll of the histogram H expected for the rear light 5; 5a, 5b shown or used in each case, if necessary also taking into account the ambient brightness UH as described above.
  • a target pixel proportion PSoll (relative or absolute) of pixels P that lie in the target brightness range(s) HSoll can be specified.
  • the target pixel proportion PSoll can For example, it can be based on the size of the image section being viewed (number of pixels P) and/or the resolution of the camera image B; Ba, Bb and/or the type (gravel, asphalt, building, own vehicle 1, etc.) of the lighting environment U5 that is illuminated.
  • each rear light 5; 5a, 5b is assigned one or more target brightness range(s) HSoll depending on the type and extent of the light units 7a, 7b, 7c located therein, since, for example, a rear light 5; 5a, 5b that glows purely red causes a different distribution of the brightness values HW in the histogram H than a rear light 5; 5a, 5b that glows purely orange or a rear light 5; 5a, 5b that glows purely white or a rear light 5; 5a, 5b with light units 7a, 7b, 7c that glow in different colors.
  • the functional status F of the respective rear light 5; 5a, 5b can then be determined in the fourth step ST4 from whether the target pixel proportion PSoll for the respective target brightness range HSoll is reached (or exceeded) or not. If rear lights 5; 5a, 5b with light units 7a, 7b, 7c that illuminate in different colors are located next to each other, several target brightness ranges HSoll (separately for each color) can also be subjected to such an evaluation at the same time and therefore the functional status F for different light units 7a, 7b, 7c can be determined in parallel.
  • lamp monitoring can also be carried out by means of a corresponding extension in the signal evaluation in the control unit 6.
  • a feature representation M is used in which not only the brightness is considered as a dimension, but also, for example, a color channel (RGB), a saturation, a contrast, etc. Therefore, a feature representation M is used in a higher-dimensional feature space, which enables a more detailed evaluation.
  • the luminaire monitoring can then be carried out in a similar way to
  • the histogram H can be created by comparing the feature representation M with a reference feature representation MR, for example using machine learning tools.
  • the reference feature representation MR is generated for each additional feature of the feature space under the same conditions as described for the reference histogram.
  • the position of the luminaire pixels PL in the camera image B; Ba, Bb can be calibrated in advance, which further improves the reliability of the method and makes the detection more stable, since brightness values HW or features from the luminaire pixels PL in the camera image B; Ba, Bb or in the reference camera image BR can be used primarily to create the histogram H or the feature representation M and, if applicable, the reference histogram HR or the reference feature representation MR.
  • Fig. 3a shows a black and white camera image Bb recorded by the trailer camera 8b, which consists of several pixels P.
  • This camera image Bb of the trailer camera 8b also shows the fixed position of the trailer tail lights 5b or the light pixels PL assigned to them. The position of these light pixels PL does not change, since both the trailer camera 8b and the trailer tail lights 5b are firmly connected to the vehicle 1 or the trailer 2b and thus their relative position to one another is fixed.
  • the number of pixels P that are used from the camera image Bb of the trailer 2b to create the histogram H or the feature representation M can therefore already be significantly reduced if only the static pixels PS are used.
  • a heating element 14 can then be switched on in a specific situation, for example, which specifically heats the respective rear light 5; 5a, 5b or lighting unit 7a, 7b, 7c in order to, for example, defrost snow cover, which can lead to reduced brightness values HW.
  • the heating element 14 can therefore only be used in an energy-saving manner if the functional status F indicates that there is likely snow cover.
  • a cleaning system 15 can also be specifically controlled, for example to clean dirty rear lights 5; 5a, 5b, which can also lead to reduced brightness values HW.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung einer Rückleuchte (5) eines Fahrzeugs (1) mit einer rückwärts gerichteten Kamera (8), wobei die Rückleuchte (5) eine Leuchteinheit (7a, 7b, 7c) aufweist. Die Rückleuchte (5) und/oder eine von der Rückleuchte (5) beleuchtete Leuchten-Umgebung (U5) wird/werden durch die mindestens eine Kamera (8) erfasst und Kamera-Signale (S8) werden ausgegeben. Ein Kamerabild mit Pixeln wird in Abhängigkeit der ausgegebenen Kamera-Signale (S8) bereitgestellt, wobei die Rückleuchte (5) des Fahrzeuges (1) oder die Leuchten-Umgebung (U5) in Leuchten-Pixeln des jeweiligen Kamerabildes dargestellt ist. Helligkeits-Werte zumindest für die Leuchten-Pixel des jeweiligen Kamera-Bildes werden ermittelt und ausgewertet. Ein Funktionsstatus der Rückleuchte (5) wird in Abhängigkeit der ermittelten Helligkeits-Werte ermittelt und ausgegeben.

Description

Verfahren zur Überwachung einer Rückleuchte, Überwachungssystem und Fahrzeug
Die Erfindung betrifft ein Verfahren zur Überwachung einer Rückleuchte eines Fahrzeugs, insbesondere Nutzfahrzeuges, mit einem Kamerasystem, ein Überwachungssystem sowie ein Fahrzeug mit einem Überwachungssystem.
Funktionsfähige und sichtbare Rückleuchten an Fahrzeugen sind ein wesentlicher Sicherheitsaspekt für den Straßenverkehr und unterliegen daher einer Vielzahl von gesetzlichen Bestimmungen. So ist beispielsweise in der Straßenverkehrs- Zulassungs-Ordnung (StVZO) geregelt, welche Rückleuchten an einem Kraftfahrzeug bzw. Nutzfahrzeug angebracht werden dürfen und welche Rückleuchten mindestens angebracht sein müssen. Beispiele für Rückleuchten sind dabei Schlussleuchten, Bremsleuchten, Blinklichter, Rückstrahler, Nebelschlussleuchten, Rückfahrscheinwerfer und eine Kennzeichenbeleuchtung.
Aus dem Stand der Technik sind Leuchtenüberwachungen für derartige Rückleuchten bekannt, welche auf dem gemessenen Stromverbrauch oder auf der Überwachung der Versorgungsleitung, insbesondere einer Überwachung der Leitungsunterbrechung (Glühdraht durchgebrannt) der einzelnen Glühbirnen oder LEDs der Rückleuchten beruhen.
Bei Nutzfahrzeugen, insbesondere Anhängern, erfolgt die Leuchtenüberwachung durch ein Anhängerleuchtensteuergerät am Motorwagen bzw. Zugfahrzeug, so dass die Überwachung im Anhänger abhängig davon ist, ob und in welchem Umfang der Motorwagen eine Leuchtenüberwachung durchführt.
Auch ein Selbsttest von Rückleuchten, beispielsweise mittels integrierter Photodioden neben den einzelnen Glühbirnen/LEDs der jeweiligen Leuchteinheiten der Rückleuchte führt zu Problemen, da beispielsweise eine äußere Bedeckung, z.B. durch Verdreckung oder Schneebedeckung der gesamten Rückleuchte nicht zuverlässig erkannt werden kann und Rückleuchten darüber hinaus einen erkannten Fehler an ein Steuergerät melden müssen, also kommunizieren können müssen, was wiederum aufwendig und teuer ist.
Letztlich wird aber das eigentliche Ziel durch die im Stand der Technik beschriebenen Leuchtenüberwachungen nicht erreicht, nämlich die Sicherstellung, dass die Rückleuchten für den folgenden Verkehr sichtbar bzw. erkennbar sind, wenn sie leuchten, also tatsächlich funktionieren. Beispielsweise kann das Bremslicht aufgrund einer schneebedeckten Rückleuchte nicht sichtbar sein, obwohl die Rückleuchte an sich funktioniert und entsprechend durch die Leitungsüberwachung auch nicht als fehlerhaft erkannt werden kann.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Überwachung von Rückleuchten eines Fahrzeugs anzugeben, mit dem einfach und zuverlässig die Funktionsfähigkeit der Rückleuchten überwacht werden kann. Weiterhin ist es die Aufgabe der Erfindung, ein Überwachungssystem und ein Fahrzeug anzugeben, mit dem das Verfahren durchführbar ist.
Diese Aufgabe wird durch ein Verfahren, ein Überwachungssystem und ein Fahrzeug gemäß den unabhängigen Ansprüchen gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
Das erfindungsgemäße Verfahren zur Überwachung einer Rückleuchte eines Fahrzeugs mit einem Kamerasystem, insbesondere als Bestandteil einer Rückfahrassistenz, wobei das Kamerasystem eine rückwärts gerichtete Kamera aufweist. Die Kamera kann somit ausgerichtet sein auf einen Rückraum hinter dem Fahrzeug bzw. hinter dem jeweiligen Fahrzeugteil, an dem sich die Kamera befindet. Die Rückleuchte weist eine Leuchteinheit auf. Das Verfahren umfasst die folgenden Schritte:
Die Rückleuchte des Fahrzeuges und/oder eine von der Rückleuchte beleuchtete Leuchten-Umgebung wird durch die Kamera am Fahrzeug erfasst und Kamera-Signalen werden ausgegeben.
Ein Kamerabild mit Pixeln wird in Abhängigkeit der ausgegebenen Kamera- Signale dargestellt, wobei die Rückleuchte des Fahrzeuges und/oder eine von der Rückleuchte beleuchtete Leuchten-Umgebung in Leuchten-Pixeln des jeweiligen Kamerabildes dargestellt ist oder sind. Die Pixel des Kamerabildes, in denen die Rückleuchte und/oder die Leuchten-Umgebung dargestellt ist oder sind, werden also als die Leuchten-Pixel bezeichnet.
Helligkeits-Werte werden zumindest für die Leuchten-Pixel des jeweiligen Kamerabildes ermittelt und erfasst. Dies kann bedeuten, dass zumindest für die Leuchten-Pixel oder einige der Leuchten-Pixel jeweils ein die Helligkeit charakterisierender Wert ermittelt und verarbeitet wird.
Ein Funktionsstatus der Rückleuchte wird in Abhängigkeit der ermittelten Helligkeits-Werte bzw. zumindest in Abhängigkeit der Helligkeits-Werte, die der jeweils dargestellten Rückleuchte im jeweiligen Kamerabild zugeordnet sind, ermittelt und ausgegeben. Die Ausgabe des Funktionsstatus kann beispielsweise auf einer Nutzerschnittstelle in Form eines grafischen und/oder akustischen Signals erfolgen.
Es ist dabei möglich, dass das Kamerasystem mehr als eine Kamera aufweist und auch, dass das Kamerasystem mehr als eine rückwärts gerichtete Kamera aufweist. Ebenso ist es möglich, dass das Fahrzeug mehr als eine Rückleuchte aufweist. Dabei können mehrere Rückleuchten oder alle Rückleuchten des Fahrzeugs durch dieselbe oder durch verschiedene Kameras erfasst werden. Dass Verfahren kann somit mittels einer Kamera oder mehreren Kameras an einer Rückleuchte oder mehreren Rückleuchten gleichzeitig oder mit mehreren Kameras parallel für eine oder mehrere Rückleuchten durchgeführt werden.
Es kann dabei vorgesehen sein, dass vor einem der genannten Schritte zur Überwachung der Rückleuchten, d.h. zumindest vor dem Ermitteln und Ausgeben eines Funktionsstatus der mindestens einen Rückleuchte in Abhängigkeit der ermittelten Helligkeits-Werte, zunächst geprüft wird, ob die mindestens eine Rückleuchte aktiviert ist. Dazu kann ein über einen CAN-Bus übertragenes Aktivierungs-Signal ausgewertet werden, das die Information übermittelt, ob die jeweilige Rückleuchte aktiviert ist oder nicht. Das Verfahren wird also nur dann ausgeführt, wenn die jeweils zu überwachende Rückleuchte auch eingeschaltet bzw. aktiviert ist, wodurch Aufwand und Rechenleistung gespart werden kann und sich die Ausgabe des Funktionsstatus auf den relevanten Zeitraum beschränkt. Erfindungsgemäß ist weiterhin ein Überwachungssystem und ein Fahrzeug mit einem derartigen Überwachungssystem vorgesehen.
Es wird somit mit dem Überwachungssystem automatisch bzw. automatisiert erkannt, ob die Rückleuchten des Fahrzeugs funktionsfähig bzw. sichtbar sind und daher auch vom nachfolgenden Verkehr wahrgenommen werden können. Dabei können entweder direkt die Leuchten abgebildet werden oder aber die Leuchten-Umgebung, die von den Leuchten bei deren Aktivierung angestrahlt wird, beispielsweise die Fahrbahn, Gebäude, das eigene Fahrzeug, andere Fahrzeuge, etc. Der Funktionsstatus der Rückleuchten beinhaltet also nicht nur die technische Funktionsfähigkeit der Rückleuchten, die beispielsweise bei einer defekten Zuleitung und/oder einer defekten LED beeinträchtigt sein kann, sondern auch eine tatsächliche Wahrnehmbarkeit, also ob die Rückleuchten ihre Funktion des Warnens und/oder der Erhöhung der Sichtbarkeit für andere Verkehrsteilnehmer auch erfüllen können.
Insbesondere wird der Nachteil der herkömmlichen Leuchtenüberwachung überwunden, wonach bedeckte, d.h. beispielsweise verdreckte oder zugeschneite, Rückleuchten, zwar als funktionsfähig erkannt werden, diese aber für die anderen Verkehrsteilnehmer eben gerade nicht mehr (vollständig) sichtbar bzw. wahrnehmbar sind, so dass sie ihre tatsächliche beabsichtigte Funktion nicht mehr erfüllen können. Dies erfolgt durch die direkte Betrachtung der Rückleuchten oder aber durch die Betrachtung der Leuchten-Umgebung.
Ein weiterer Vorteil ist, dass die Kamera, die dem Fahrer als Bestandteil einer Rückfahrassistenz beim Rangieren unterstützt, zusätzlich zur Überwachung der Rückleuchten genutzt wird. Damit kann diese Kamera eine Doppelfunktion erfüllen. Solche Kameras, insbesondere Rückfahrkameras, sind bereits stark verbreitet und werden beispielsweise in Nutzfahrzeugen in Zukunft auch Vorschrift sein, so dass diese dann ohnehin bereits vorhanden sind. Es wird also keine zusätzliche Hardware benötigt, sondern eine bereits vorhandene Kamera genutzt.
Durch das erfindungsgemäße Verfahren zur Leuchtenüberwachung können somit Betriebsabläufe, wie beispielsweise die Abfahrtkontrolle, bei der eine Funktionsüberprüfung der Rückleuchten erfolgt, vereinfacht/automatisiert und beschleunigt werden. Darüber hinaus erhöht es die Sicherheit von Fahrzeugen, insbesondere von autonom betriebenen Fahrzeugen, die ohne einen das Fahrzeug steuernden und/oder die Fahrt überwachenden Fahrer auskommen.
Das Auswerten der Helligkeits-Werte bzw. das Ermitteln des Funktionsstatus der mindestens einen Rückleuchte erfolgt gemäß einer Ausführungsform des Verfahrens, indem aus dem bereitgestellten Kamerabild ein Histogramm und/oder eine Musterdarstellung (in einem höherdimensionalen Merkmalsraum) erstellt wird, wobei in dem Histogramm und/oder in der Merkmalsdarstellung eine Verteilung der Helligkeits-Werte zumindest der Leuchten-Pixel des jeweiligen Kamerabildes dargestellt ist. Auf diese Weise kann eine für die aktuelle Situation charakteristische Helligkeitsverteilung herangezogen werden, um die Funktionsfähigkeit der Rückleuchten zu ermitteln. Wird eine Musterdarstellung verwendet, stehen dementsprechend nicht nur Helligkeitswerte, sondern beispielsweise auch Farbwerte, Sättigungen, Kontraste als weitere Merkmale zur Auswertung zur Verfügung, beispielsweise durch Werkzeuge des maschinellen Lernens.
Dabei kann gemäß einer Ausführungsform vorgesehen sein, dass zum Ermitteln des Funktionsstatus der mindestens einen Rückleuchte das aus dem Kamerabild erstellte Histogramm mit einem Referenz-Histogramm verglichen wird, wobei das Referenz- Histogramm aus einem Referenz-Kamerabild erstellt wird. Alternativ oder kumulativ kann vorgesehen sein, dass zum Ermitteln des Funktionsstatus der mindestens einen Rückleuchte die aus dem Kamerabild erstellte Musterdarstellung mit einer Referenz-Musterdarstellung verglichen wird, wobei die Referenz-Musterdarstellung aus dem Referenz-Kamerabild erstellt wird. Ein solcher Vergleich beinhaltet also einen Vergleich von historischen, zuvor aufgenommen (Referenz-)Kamerabildern mit einem aktuellen Kamerabild bzw. den daraus folgenden Helligkeitsverteilungen.
Dabei kann zum einen vorgesehen sein, dass in dem Referenz-Kamerabild voll funktionstüchtige Rückleuchten des Fahrzeuges und/oder die von den voll funktionstüchtigen Rückleuchten des Fahrzeuges bestrahlte Leuchten-Umgebung dargestellt ist bzw. sind. Die Funktionsfähigkeit wird also in einfacher Weise dadurch überprüft, ob die Helligkeitsverteilung zum Zeitpunkt der Aufnahme des Kamerabildes mit einer Helligkeitsverteilung bei funktionierenden Rückleuchten übereinstimmt. Falls beispielsweise die Leuchten-Pixel in den Referenz- Kamerabildern im eingeschalteten Zustand heller, d.h. mit einer höheren Intensität, dargestellt sind als im aktuellen Kamerabild im eingeschalteten Zustand der Rückleuchten, so kann in einfacher Weise darauf geschlossen werden, dass die aktuell aufgenommene Rückleuchte defekt oder bedeckt, z.B. verdreckt oder mit Schnee bedeckt, ist, und entsprechend reagiert werden.
Es kann dann als Funktionsstatus ermittelt und ausgegeben werden, dass die oder eine Rückleuchte defekt oder bedeckt ist, wenn das aus dem Kamerabild erstellte Histogramm von dem Referenz-Histogramm und/oder die aus dem Kamerabild erstellte Musterdarstellung von der Referenz-Musterdarstellung abweicht. Auf diese Weise wird eine einfache und zuverlässige Ermittlung und Ausgabe der Funktionsfähigkeit ermöglicht.
Zum anderen kann aber auch vorgesehen sein, dass in dem Referenz-Kamerabild deaktivierte Rückleuchten des Fahrzeuges und/oder die Leuchten-Umgebung bei deaktivierten Rückleuchten des Fahrzeuges dargestellt ist bzw. sind. Die Funktionsfähigkeit wird also in einfacher Weise dadurch überprüft, ob sich die Helligkeitsverteilung zum Zeitpunkt der Aufnahme des Kamerabildes (bei aktivierten Rückleuchten) mit einer Helligkeitsverteilung bei deaktivierten Rückleuchten (Referenz-Kamerabild) unterscheidet, was anzunehmen ist, da sich die aufgenommene Helligkeit verändern sollte. Es kann dann als Funktionsstatus ermittelt und ausgegeben werden, dass die oder eine Rückleuchte defekt oder bedeckt ist, wenn das aus dem Kamerabild erstellte Histogramm dem Referenz- Histogramm und/oder die aus dem Kamerabild erstellte Musterdarstellung der Referenz-Musterdarstellung entspricht, da sich die Helligkeit in diesem Fall nicht verändert hat. Auch auf diese Weise wird eine einfache und zuverlässige Ermittlung und Ausgabe der Funktionsfähigkeit ermöglicht.
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Histogramm vor dem Vergleichen mit dem Referenz-Histogramm und/oder die Musterdarstellung vor dem Vergleichen mit der Referenz-Musterdarstellung einer Helligkeitsanpassung unterzogen wird, wobei die in dem Histogramm oder der Musterdarstellung dargestellten Helligkeits-Werte dazu in Abhängigkeit einer aktuellen Umgebungshelligkeit angepasst werden. Dadurch wird berücksichtigt, dass die Umgebungshelligkeit beispielsweise tageszeitbedingt oder umgebungsbedingt stark variieren kann, was auch Auswirkungen auf das Histogramm und/oder die Musterdarstellung bzw. die darin abgebildeten Helligkeits-Werte hat. Damit dieser Effekt berücksichtigt werden kann, wird die Umgebungshelligkeit herausgerechnet bzw. das Histogramm und/oder die Musterdarstellung entsprechend in der Helligkeit normiert, um unabhängig von der Umgebungshelligkeit ein Histogramm bzw. eine Musterdarstellung zum Vergleichen mit der Referenz zur Verfügung zu stellen. Die Umgebungshelligkeit kann beispielsweise durch eine Mittelung der Helligkeits-Werte aller Pixel des Kamerabildes oder aber der Helligkeits-Werte aller Pixel außer der Leuchten-Pixel ermittelt werden.
Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass zum Ermitteln des Funktionsstatus der Rückleuchte ermittelt wird, ob die Helligkeits-Werte des Histogramms und/oder der Musterdarstellung in einem der jeweiligen Rückleuchte zugeordneten Soll-Helligkeitsbereich liegen. Jeder Rückleuchte können mehrere Sell-Helligkeitsbereiche zugeordnet sein. Es kann also auch geprüft werden, ob für die jeweilige Rückleuchte spezifische Helligkeitswerte im Histogramm und/oder in der Musterdarstellung erfasst werden, wobei dies beispielsweise abhängig von der Farbe der Rückleuchte bzw. der darin enthaltenen Leuchteinheiten sein kann. Es kann also auch jeder Leuchteinheit der jeweiligen Rückleuchte ein Soll-Helligkeitsbereich zugeordnet sein, der dann aus dem Histogramm und/oder der Musterdarstellung Leuchten-spezifisch abgelesen werden kann.
Es kann dabei auch vorgesehen sein, dass ergänzend ermittelt wird, ob zumindest ein festgelegter Soll-Pixelanteil an Helligkeits-Werten in dem der jeweiligen Rückleuchte zugeordneten Soll-Helligkeitsbereich liegt. Es wird also nicht nur geprüft, ob ein bestimmter Helligkeits-Wert im Histogramm und/oder in der Musterdarstellung vorkommt, sondern auch die Häufigkeit der Helligkeits-Werte, die innerhalb des Helligkeits-Bereiches liegen. Auf diese Weise ist auch eine Aussage über den Grad der Funktionsfähigkeit, z.B. teilweise defekt oder teilweise bedeckt, möglich. Es kann dann als Funktionsstatus ermittelt und ausgegeben werden, dass die oder eine Rückleuchte defekt oder bedeckt ist, wenn beispielsweise die Helligkeits-Werte des aus dem Kamerabild erstellten Histogramms und/oder Musterdarstellung nicht innerhalb des zugeordneten Soll-Helligkeitsbereiches liegen oder nicht zu dem festgelegten Soll-Pixelanteil innerhalb des mindestens einen zugeordneten Soll- Helligkeitsbereiches liegen. Auf diese Weise ist eine einfache Prüfung und Ausgabe der Funktionsfähigkeit der Rückleuchten gegeben.
Die Leuchtenüberwachung wird gemäß einer weiteren Ausführungsform des Verfahrens weiterhin verbessert bzw. stabiler gemacht, durch einen Kalibrier-Schritt, wobei durch diesen die Anzahl an Pixeln, die für die Auswertung der Helligkeits- Werte herangezogen wird, weiter eingeschränkt wird. Dies kann beispielsweise dadurch erfolgen, dass das Ermitteln und Auswerten von Helligkeits-Werten lediglich für statische Pixel des bereitgestellten Kamerabildes durchgeführt wird, wobei die Leuchten-Pixel in den statischen Pixeln als Untermenge enthalten sind.
Während einer Fahrt des Fahrzeuges verändern sich alle nicht statischen, also dynamischen Pixel, die die sich dann fortlaufend verändernde Umgebung um das Fahrzeug repräsentieren. Durch ein Detektieren dieser dynamischen Pixel lassen sich im Umkehrschluss die statischen Pixel im Kamerabild eindeutig ermitteln, die wiederum kamerafeste und damit fahrzeugfeste Objekte repräsentieren. Durch das Erkennen der statischen Pixel lässt sich zunächst der Bereich, in dem sich die Rückleuchten im Kamerabild befinden, eingrenzen, da die Rückleuchten ortsfest mit dem Fahrzeug verbunden sind und die Leuchten-Pixel daher Bestandteil bzw. eine Untermenge dieser statischen Pixel sind. Die im Kamerabild sichtbaren Konturen des Fahrzeugs, einschließlich der Rückleuchten, lassen sich also (vorab) während einer Fahrt des Fahrzeuges durch diesen Bewegtbildvergleich bzw. diese Unterscheidung zwischen dynamischen und statischen Pixel identifizieren.
Die Identifizierung der Rückleuchten im Kamerabild kann mithilfe eines Histogramms noch weiter verfeinert werden, so dass es möglich ist, dass das Ermitteln und Auswerten von Helligkeits-Werten lediglich für die Leuchten-Pixel des bereitgestellten Kamerabildes durchgeführt wird, wobei die Leuchten-Pixel identifiziert werden, indem die Helligkeits-Werte der Pixel, insbesondere nur der statischen Pixel, des bereitgestellten Kamerabildes bei einer Aktivierung und einer anschließenden Deaktivierung der jeweiligen Rückleuchte zeitlich ausgewertet werden, wobei die Pixel, deren Helligkeits-Werte sich aufgrund der Aktivierung und der anschließenden Deaktivierung der jeweiligen Rückleuchte zeitlich verändern, als Leuchten-Pixel identifiziert werden.
Zur genaueren Eingrenzung der Position der Rückleuchten im Kamerabild kann also in einer anfänglichen Kalibrierung im voll funktionsfähigen Zustand eine kontrollierte Aktivierung und Deaktivierung der Rückleuchten unter Beobachtung der Helligkeits- Werte erfolgen. Dadurch können die Leuchten-Pixel im Kamerabild in einfacher und zuverlässiger Weise gefunden werden und die nachfolgende Auswertung der Helligkeits-Werte im Betrieb des Fahrzeuges auf diese Leuchten-Pixel beschränkt werden, was den Auswerte-Aufwand verringert und die Erkennung stabiler macht, da in dem Histogramm kein „Hintergrund“ durch Helligkeits-Werte, die nicht den Rückleuchten zugeordnet sind, enthalten ist bzw. dieser „Hintergrund“ minimiert werden kann.
In einer weiteren Ausführungsform des Verfahrens wird die Leuchtenüberwachung für eine Motorwagen-Rückleuchte an einem Motorwagen des Fahrzeuges und/oder für eine Anhänger-Rückleuchte an einem Anhänger des Fahrzeuges durchgeführt, wobei die jeweilige Rückleuchte mindestens eine Leuchteinheit aufweist, die ausgewählt ist aus der Gruppe bestehend aus: Rückstrahler, Bremsleuchte, Schlussleuchte, Nebelschlussleuchte, Kennzeichenbeleuchtung, Blinker, Umrissleuchte.
Hierdurch können die Ermittlung und Ausgabe des Funktionsstatus der Rückleuchten oder Rückleuchten individuell und ggf. auch für jede Leuchteneinheit einzeln erfolgen, so dass einzelne Rückleuchten bzw. Leuchteinheiten gezielt gewechselt, repariert und/oder gereinigt werden können. Das Verfahren ist dann mithin auch nicht nur auf eine bestimmte Fahrzeugart beschränkt.
In einer weiteren Ausführungsform des Verfahrens erfolgt in Abhängigkeit der ermittelten und ausgewerteten Helligkeits-Werte zumindest für die Leuchten-Pixel des jeweiligen Kamera-Bildes und/oder in Abhängigkeit des ermittelten und ausgegebenen Funktionsstatus der mindestens einen Rückleuchte ein Ansteuern eines Heizelements an der jeweiligen Rückleuchte und/oder einer Reinigungsanlage der jeweiligen Rückleuchte.
Neuartige LED-Leuchten können dabei über Heizelemente verfügen, um Schneedecken abzutauen und dadurch die Sichtbarkeit der Leuchten bei Schneefall zu gewährleisten. Es ist vorteilhaft, diese Heizelemente nur bedarfsgerecht einzuschalten, um Energie zu sparen, was vorliegend in vorteilhafter Weise in Abstimmung mit dem vorher ermittelten Funktionsstatus erfolgen kann. Durch eine Reinigungsanlage, insbesondere für die Kamera bzw. für die Rückleuchten, beispielsweise einem Wischer oder eine Sprühvorrichtung, lassen sich die Kamera bzw. die Rückleuchten von Schmutz und/oder Schnee befreien. Weist also der Funktionsstatus zunächst darauf hin, dass eine defekte oder bedeckte Rückleuchte vorliegt, kann zunächst durch eine Reinigung versucht werden, wieder ein zuverlässiges Kamerabild herzustellen bzw. ein Leuchten der Rückleuchten zu ermöglichen.
Es kann dann das Verfahren nach einer erfolgten Ansteuerung des Heizelements und/oder der Reinigungsanlage erneut ausgeführt werden und erneut ein Funktionsstatus geprüft werden, um dann auf einen endgültigen Defekt hinzuweisen. Hierdurch wird vermieden, dass aufgrund einer Bedeckung (Dreck/Schnee) der Rückleuchten oder der Kamera ein falscher Funktionsstatus der Rückleuchten ausgegeben wird.
In einer Ausführungsform des Überwachungssystems ist vorgesehen, dass die mindestens eine rückwärts gerichtete Kamera einen Erfassungsbereich mit einem Öffnungswinkel von > 180° aufweist, insbesondere eine Fischaugen-Kamera ist, so dass die Kamera die mindestens eine Rückleuchte und die Leuchten-Umgebung direkt erfassen kann. Hierdurch ist es möglich, die Rückleuchten mit nur einer Kamera an einer Rückseite des jeweiligen Fahrzeugs oder Fahrzeugteils zu erfassen. Derartige Kameras können auch effizient bei einer Rückfahrassistenz eingesetzt werden, da sie ein Großteil des Rückraums hinter dem Fahrzeug bzw. dem betreffenden Fahrzeugteil erfassen. In diesem Erfassungsbereich liegen dann normalerweise auch die Rückleuchten des Fahrzeuges. Es kann aber auch vorgesehen sein, dass die Kamera lediglich die Leuchten-Umgebung erfassen kann, wenn beispielsweise noch keine Fischaugen-Kamera zum Einsatz kommt oder der Sichtbereich verdeckt ist. In dem Fall kann auch durch ein Erfassen nur der Leuchten-Umgebung die Leuchtenüberwachung wie beschrieben durchgeführt werden.
Die Erfindung wird im Folgenden anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit Kamerasystem;
Fig. 2 ein Histogramm mit einer beispielhaften Verteilung von Helligkeits- Werten einer über das Kamerasystem erfassten Rückleuchte;
Fig. 3a ein Kamerabild einer Kamera des Kamerasystems;
Fig. 3b ein Kamerabild der Kamera, wobei nur die dynamischen Pixel dargestellt sind;
Fig. 3c ein Kamerabild der Kamera, wobei nur die statischen Pixel dargestellt sind; und
Fig. 4 ein Flussdiagramm des erfindungsgemäßen Verfahrens.
Figur 1 zeigt eine schematische Draufsicht eines Anhängers 2b bzw. Aufliegers als Bestandteil eines Fahrzeugs 1 , das zudem wie angedeutet noch einen Motorwagen 2a als Zugfahrzeug aufweist. Das Fahrzeug 1 weist ein Kamerasystem 4 mit Kameras 8, insbesondere mit einer am Anhänger 2b angeordneten rückwärts gerichteten Anhänger-Kamera 8b, die beispielsweise Bestandteil einer Rückfahrassistenz 3 sein kann, und ein Steuergerät 6 auf. Das Steuergerät 6 kann auch im Motorwagen 2a angeordnet sein.
Die Anhänger-Kamera 8b ist mit einer Fischaugen-Linse versehen, d.h. sie ist als Fischaugen-Kamera 9 (auch als Fisheye-Kamera bekannt) ausgeführt, und weist daher einen Erfassungsbereich E mit einem Öffnungswinkel von > 180° auf. Auch der Motorwagen 2a kann als Bestandteil des Kamerasystems 6 eine rückwärts gerichtete Motorwagen-Kamera 8a, die als Fischaugen-Kamera 9 ausgeführt ist und die Bestandteil der Rückfahrassistenz 3 sein kann, aufweisen. Auf diese Weise kann der Motorwagen 2a assistiert an den Anhänger 2b angenähert werden, z.B. bei einem Ankoppelvorgang.
Das Steuergerät 6 ist dazu eingerichtet, ein Verfahren zum Überwachen einer Rückleuchte 5 des Fahrzeugs 1 durchzuführen, insbesondere von Anhänger- Rückleuchten 5b am Anhänger 2b, wobei jede Anhänger-Rückleuchte 5b im dargestellten Ausführungsbeispiel aus jeweils drei Leuchteinheiten 7a, 7b, 7c besteht, die bei Aktivierung der jeweiligen Rückleuchte 5 Licht in eine Leuchten- Umgebung U5, insbesondere auf einen Untergrund, an ein Gebäude, das eigene Fahrzeug 1 , an andere Fahrzeuge, etc. abstrahlen. Aber auch Motorwagen- Rückleuchten 5a am Motorwagen 2a können mithilfe des Verfahrens überwacht werden, insbesondere wenn kein Anhänger 2b angekoppelt ist. Weiterhin kann das Verfahren auch zur Überwachung von Rückleuchten 5 eines einteiligen Fahrzeuges 1 , das dann nur den Motorwagen 2a aufweist, eingesetzt werden, beispielsweise eines Kastenwagens, Kofferwagens, Pritschenwagens, etc.
Um eine solche Überwachung durchzuführen, ist das Steuergerät 6 über eine entsprechende Schnittstelle 6a mit einem Bussystem 10 des Fahrzeuges 1 verbunden, beispielsweise einem CAN-Bus, um zunächst feststellen zu können, ob die jeweilige Rückleuchte 5 des Fahrzeuges 1 gerade aktiviert ist oder nicht. Über das Bussystem 10 wird dabei eine entsprechende Nachricht bzw. ein Aktivierungs- Signal S5 mit der Information über eine Aktivierung oder Deaktivierung der Rückleuchte 5 übertragen. Nur wenn eine jeweilige Rückleuchte 5 aktiviert ist, ist eine Überwachung überhaupt sinnvoll.
Mit einem Überwachungssystem 20, das durch das Steuergerät 6 und das Kamerasystem 4 bzw. die Kameras 8; 8a, 8b ausgebildet wird, kann das Verfahren zur Überwachung der Rückleuchte(n) 5; 5a, 5b des Fahrzeuges 1 beispielsweise in den folgenden, in Fig. 4 dargestellten Schritten durchgeführt werden: Erfassen mindestens einer Rückleuchte 5; 5a, 5b des Fahrzeuges 1 und/oder ihrer Leuchten-Umgebung U5 durch die Kamera 8; 8a, 8b am Fahrzeug 1 und Ausgeben von Kamera-Signalen S8; S8a, S8b (ST1 );
Bereitstellen eines Kamerabildes B; Ba, Bb mit Pixeln P bzw. Bildpunkten in Abhängigkeit der ausgegebenen Kamera-Signale S8; S8a, S8b, wobei die mindestens eine Rückleuchte 5; 5a, 5b des Fahrzeuges 1 und/oder die Leuchten-Umgebung U5 in Leuchten-Pixeln PL des jeweiligen Kamerabildes B; Ba, Bb dargestellt ist (ST2);
Ermitteln und Auswerten von Helligkeits-Werten HW zumindest für die Leuchten-Pixel PL des jeweiligen Kamera-Bildes B; Ba, Bb (ST3) und Ermitteln und Ausgeben eines Funktionsstatus F der mindestens einen Rückleuchte 5; 5a, 5b in Abhängigkeit der ermittelten und ausgewerteten Helligkeits-Werte HW, insbesondere in Abhängigkeit der Helligkeits-Werte HW, die der jeweils dargestellten Rückleuchte 5; 5a, 5b und/oder der Leuchten-Umgebung U5 im jeweiligen Kamerabild B; Ba, Bb zugeordnet sind (ST4).
Durch die jeweilige Kamera 8; 8a, 8b mit einer Fischaugen-Linse können wie durch den gepunkteten Halbkreis (Erfassungsbereich E) in Fig. 1 angedeutet im ersten Schritt ST1 sämtliche Rückleuchten 5; 5a, 5b des hier zweiteiligen Fahrzeuges 1 aber auch die Leuchten-Umgebung U5, in die das Licht der jeweiligen Rückleuchte 5; 5a, 5b einfällt, erfasst werden. Nachfolgend werden die erzeugten Kamera-Signale S8; S8a, S8b und/oder das daraus gebildete Kamerabild B; Ba, Bb im zweiten Schritt ST2 an das Steuergerät 6 geleitet, welches dann in dem bereitgestellten Kamerabild B; Ba, Bb anhand der in dem dritten Schritt ST3 ermittelten Helligkeits-Werte HW eine Hell/Dunkel-Erkennung insbesondere für die Leuchten-Pixel PL durchführt.
Bei einer derartigen Verarbeitung des jeweiligen Kamerabildes B; Ba, Bb ist es möglich, dass auch Helligkeits-Werte HW von Pixeln P ermittelt und mitausgewertet werden, die nicht einer Rückleuchte 5; 5a, 5b oder der Leuchten-Umgebung U5 zugeordnet sind oder eindeutig zugeordnet werden können, beispielsweise weil eine klare Abgrenzung von Bildbereichen mit und ohne Rückleuchte 5; 5a, 5b bzw. mit und ohne bestrahlte Leuchten-Umgebung U5 nicht möglich oder vorgesehen ist. Dies ist bei der nachfolgenden Betrachtung entsprechend zu berücksichtigen. Bei der Hell/Dunkel-Erkennung können die ermittelten Helligkeits-Werte HW in einem ersten Auswerteschritt ST3.1 beispielsweise einem Histogramm-Vergleich unterzogen werden. Im Rahmen des Histogramm-Vergleiches wird die Verteilung der Helligkeits-Werte HW der betreffenden Pixel P in einem Histogramm H dargestellt, wie in Fig. 2 beispielhaft angegeben. Dieses erstellte Histogramm H kann dann mit einem Referenz-Histogramm HR (gestrichelt in Fig. 2) verglichen werden, wobei in dem Referenz-Histogramm HR ebenfalls eine Verteilung von Helligkeits-Werten HW der betreffenden Pixel P aufgetragen ist.
Das Referenz-Histogramm HR folgt dabei aus einem historischen, zuvor aufgenommenen Referenz-Kamerabild BR, in dem beispielsweise voll funktionstüchtige Rückleuchten 5; 5a, 5b oder in dem die von diesen bestrahlte Leuchten-Umgebung U5 dargestellt sind. Der Histogramm-Vergleich beinhaltet also in diesem Ausführungsbeispiel einen Vergleich von historischen Helligkeits-Werten HW im voll funktionstüchtigen Zustand der Rückleuchten 5; 5a, 5b mit Helligkeits- Werten HW für den aktuellen Zustand der Rückleuchten 5; 5a, 5b.
Ergänzend kann dabei vorgesehen sein, dass das Histogramm H vor dem Vergleichen mit dem Referenz-Histogramm HR einer Helligkeitsanpassung unterzogen wird, wobei die in dem Histogramm H dargestellten Helligkeits-Werte HW dazu in Abhängigkeit einer aktuellen Umgebungshelligkeit UH angepasst werden. Dadurch wird berücksichtigt, dass die Umgebungshelligkeit UH beispielsweise tageszeitbedingt oder umgebungsbedient stark variieren kann, was auch Auswirkungen auf das Histogramm H bzw. die darin abgebildeten Helligkeits-Werte HW hat. Damit dieser Effekt berücksichtigt werden kann, wird die Umgebungshelligkeit UH herausgerechnet bzw. das Histogramm H entsprechend in der Helligkeit normiert, um unabhängig von der Umgebungshelligkeit UH ein Histogramm H zum Vergleichen mit dem Referenz-Histogramm HR zur Verfügung zu stellen. Die Umgebungshelligkeit UH kann beispielsweise durch eine Mittelung der Helligkeits-Werte HW aller Pixel P des Kamerabildes B; Ba, Bb oder aber der Helligkeits-Werte HW aller Pixel P außer der Leuchten-Pixel PL ermittelt werden. Falls dann aus dem Referenz-Histogramm HR folgt, dass für die voll funktionstüchtigen Rückleuchten 5; 5a, 5b eine abweichende bzw. höhere Intensität vorliegt als aus dem aktuellen Histogramm H folgend, so kann darauf geschlossen werden, dass die im aktuellen Kamerabild B; Ba, Bb dargestellte(n) Rückleuchte(n) 5; 5a, 5b bzw. die die dargestellte Leuchten-Umgebung U5 bestrahlenden Rückleuchte(n) 5; 5a, 5b defekt oder bedeckt (Dreck oder Schnee) ist/sind. Sowohl ein Defekt als auch eine Bedeckung verursachen nämlich eine Änderung insbesondere eine Reduzierung des jeweiligen Helligkeits-Wertes HW (gegenüber dem zu erwartenden Helligkeits-Wert). Daraufhin kann im vierten Schritt ST4 eine entsprechende Ausgabe des Funktionsstatus F erfolgen.
Gemäß einer weiteren Ausführungsform kann das Referenz-Histogramm HR in Abstimmung mit dem Aktivierungs-Signal S5 auch aus einem historischen, zuvor aufgenommenen Referenz-Kamerabild BR in einer Situation mit deaktivierten Rückleuchten 5; 5a, 5b und das Histogramm H nach der Aktivierung der Rückleuchten 5; 5a, 5b aus dem dann aktuellen Kamerabild B; Ba, Bb folgen. Der Histogramm-Vergleich beinhaltet in diesem Ausführungsbeispiel einen Vergleich von historischen Helligkeits-Werten HW im deaktivierten Zustand der Rückleuchten 5; 5a, 5b mit Helligkeits-Werten HW für den aktuellen Zustand der Rückleuchten 5; 5a, 5b im aktivierten Zustand. Diese Ausführungsform eignet sich dann für eine direkte Darstellung der Rückleuchten 5; 5a, 5b in den Leuchten-Pixeln PL als auch bei einer Darstellung der Leuchten-Umgebung U5, die von den Rückleuchten 5; 5a, 5b bestrahlt wird.
Aus dem Histogramm H kann aber in einer weiteren Ausführungsform auch ohne den Rückgriff auf ein Referenz-Histogramm HR auf eine Funktionsfähigkeit der Rückleuchten 5; 5a, 5b geschlossen werden. Dazu kann in einem zweiten Auswerteschritt ST3.2 beispielsweise festgestellt werden, ob die Mehrzahl an Helligkeits-Werten HW in einem oder mehreren für die jeweils dargestellte oder verwendete Rückleuchte 5; 5a, 5b zu erwartenden Soll-Helligkeitsbereich(en) HSoll des Histogramms H liegen, ggf. ebenfalls unter Berücksichtigung der Umgebungshelligkeit UH wie oben beschrieben. Dazu kann beispielsweise ein Soll- Pixelanteil PSoll (relativ oder absolut) an Pixeln P, die in dem oder den Soll- Helligkeitsbereich(en) HSoll liegen, festgelegt sein. Der Soll-Pixelanteil PSoll kann sich beispielsweise an der Größe des betrachteten Bildausschnittes (Anzahl an Pixeln P) und/oder der Auflösung des Kamerabildes B; Ba, Bb orientieren und/oder welche Art (Schotter, Asphalt, Gebäude, eigenes Fahrzeug 1 , etc.) der Leuchten- Umgebung U5 angestrahlt wird.
Ferner ist/sind jeder Rückleuchte 5; 5a, 5b je nach Art und Umfang der darin befindlichen Leuchteinheiten 7a, 7b, 7c ein oder mehrere Soll-Helligkeitsbereich/e HSoll zugeordnet, da beispielsweise eine rein rot-leuchtende Rückleuchte 5; 5a, 5b eine andere Verteilung der Helligkeits-Werte HW im Histogramm H verursacht als eine rein orange-leuchtende oder eine rein weiß-leuchtende Rückleuchte 5; 5a, 5b oder eine Rückleuchte 5; 5a, 5b mit farblich unterschiedlich leuchtenden Leuchteinheiten 7a, 7b, 7c.
Der Funktionsstatus F der jeweiligen Rückleuchte 5; 5a, 5b lässt sich dann im vierten Schritt ST4 daraus ermitteln, ob der Soll-Pixelanteil PSoll für den jeweils zutreffenden Soll-Helligkeitsbereich HSoll erreicht (oder überschritten) wird oder nicht. Befinden sich Rückleuchten 5; 5a, 5b mit farblich unterschiedlich leuchtenden Leuchteinheiten 7a, 7b, 7c nebeneinander, können auch mehrere Soll-Helligkeitsbereiche HSoll (für jede Farbe separat) gleichzeitig einer solchen Auswertung unterzogen werden und daher der Funktionsstatus F für unterschiedliche Leuchteinheiten 7a, 7b, 7c parallel zueinander ermittelt werden.
Daher kann mittels des Kamerasystems 4, das als Bestandteil der Rückfahrassistenz 3 im Fahrzeug 1 bereits vorhanden ist, durch eine entsprechende Erweiterung in der Signalauswertung im Steuergerät 6 auch eine Leuchtenüberwachung durchgeführt werden.
Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass für die Auswertung der Helligkeits-Werte HW statt einem Histogramm H eine Merkmalsdarstellung M herangezogen wird, in der nicht nur die Helligkeit als eine Dimension betrachtet wird, sondern beispielsweise auch ein Farbkanal (RGB), eine Sättigung, ein Kontrast, etc. Daher wird eine Merkmalsdarstellung M in einem höherdimensionalen Merkmalsraum verwendet, was eine detailliertere Auswertung ermöglicht. Die Leuchtenüberwachung kann dann in vergleichbarer Weise wie für das Histogramm H durch einen Vergleich der Merkmalsdarstellung M mit einer Referenz-Merkmalsdarstellung MR erfolgen, beispielsweise durch die Werkzeuge des maschinellen Lernens. Die Referenz-Merkmalsdarstellung MR wird dabei für die jeweils zusätzlichen Merkmale des Merkmalsraums unter denselben Bedingungen wie für das Referenz-Histogramm beschrieben erzeugt.
Zusätzlich kann in einem Kalibrier-Schritt ST2.1 die Position der Leuchten-Pixel PL im Kamerabild B; Ba, Bb vorab kalibriert werden, was die Zuverlässigkeit des Verfahrens weiter verbessert bzw. die Erkennung stabiler macht, da für die Erstellung des Histogramms H bzw. der Merkmalsdarstellung M und ggf. des Referenz- Histogramms HR bzw. der Referenz-Merkmalsdarstellung MR hauptsächlich Helligkeits-Werte HW bzw. Merkmale von den Leuchten-Pixeln PL im Kamerabild B; Ba, Bb bzw. im Referenz-Kamerabild BR herangezogen werden können.
Dazu zeigt Fig. 3a ein durch die Anhänger-Kamera 8b aufgenommenes Schwarzweiß-Kamerabild Bb, welches aus mehreren Pixeln P besteht. Dieses Kamerabild Bb der Anhänger-Kamera 8b zeigt auch die ortsfeste Position der Anhänger- Rückleuchten 5b bzw. der diesen zugeordneten Leuchten-Pixel PL. Die Position dieser Leuchten-Pixel PL verändert sich nicht, da sowohl die Anhänger-Kamera 8b als auch die Anhänger-Rückleuchten 5b fest mit dem Fahrzeug 1 bzw. dem Anhänger 2b verbunden sind und somit ihre Relativposition zueinander fix ist.
Dies kann für das Kalibrieren der Position der Leuchten-Pixel PL ausgenutzt werden. Dazu wird das Kamerabild Bb der Anhänger-Kamera 8b, wie in den Figuren 3b und 3c dargestellt, in Bereiche mit dynamischen Pixeln PD (Fig. 3b, schraffiert) und Bereiche mit statischen Pixeln PS (Fig. 3c, schraffiert) aufgeteilt. Dabei wird davon ausgegangen, dass sich die dynamischen Pixel PD bei einer Fahrt des Fahrzeuges 1 aufgrund der wechselnden Umgebung verändern, während in den statischen Pixeln PS der Anhänger 2b gleichbleibend dargestellt ist. Demnach fallen die Anhänger- Rückleuchten 5b bzw. die diesen zugeordneten Leuchten-Pixel PL als Untermenge in den Bereich der statischen Pixel PS, wobei die statischen Pixel PS durch eine entsprechende Bildverarbeitung erkannt werden können. Die Anzahl an Pixeln P, die aus dem Kamerabild Bb des Anhängers 2b zum Erstellen des Histogramms H bzw. der Merkmalsdarstellung M herangezogen werden, kann also bereits signifikant verringert werden, wenn lediglich auf die statischen Pixel PS zurückgegriffen wird. Gleiches gilt für die Erstellung des Referenz-Histogramms HR bzw. der Referenz-Merkmalsdarstellung MR im ersten Auswerteschritt ST3.1 , wobei auch dafür lediglich auf die statischen Pixel PS im Referenz-Kamerabild BR zurückgegriffen wird.
Dies kann noch verfeinert werden, indem beispielsweise bei der initialen Installation für diese statischen Pixel PS bei einer Aktivierung und einer nachfolgenden Deaktivierung der Anhänger-Rückleuchten 5b Histogramme H oder Merkmalsdarstellungen M erstellt und diese zeitlich ausgewertet werden. Aus einer Veränderung der Helligkeits-Werte HW bzw. Merkmale bei einer solchen initialen Aktivierung/Deaktivierung kann für jedes einzelne statische Pixel PS vorab ermittelt werden, ob es einer Anhänger-Rückleuchte 5b zugeordnet ist oder nicht bzw. ob dieses statische Pixel PS ein Leuchten-Pixel PL ist oder nicht. Diese Erkenntnis kann dann für die nachfolgende Überwachung der Anhänger-Rückleuchten 5b herangezogen werden, indem nur noch die bereits identifizierten Leuchten-Pixel PL zur Erstellung des aktuellen Histogramms H bzw. der aktuellen Merkmalsdarstellung M verwendet werden. Das Histogramm H bzw. die Merkmalsdarstellung M, die nach der initialen Aktivierung der Anhänger-Rückleuchten 5b erstellt wird, kann dann auch gleichzeitig als Referenz-Histogramm HR bzw. Referenz-Merkmalsdarstellung MR abgespeichert werden.
Kann eine solche verfeinerte Auswahl an statischen Pixeln PS nicht getroffen werden, so ist zumindest bei der Auswertung des Histogramms H bzw. der Merkmalsdarstellung M im zweiten Auswertungsschritt ST3.2 eine Art „Hintergrund“ (Bauteile neben den Rückleuchten 5; 5a, 5b) zu berücksichtigen, der zu einer entsprechend abgewandelten Verteilung der Helligkeits-Werte HW bzw. Merkmale führt. Im ersten Auswertungsschritt ST3.1 hingegen ist dieser Hintergrund auch im Referenz-Histogramm HR bzw. in der Referenz-Merkmalsdarstellung MR wiederzufinden, so dass dieser beim Histogramm-Vergleich bzw. Merkmalsdarstellungs-Vergleich bereits berücksichtigt wird. Falls die jeweilige Kamera 8; 8a, 8b ferner derartig ausgebildet ist, dass sie lediglich die Leuchten-Umgebung U5 sicher erfassen kann, d.h. die von der jeweiligen Rückleuchte 5; 5a, 5b bzw. Leuchteinheit 7a, 7b, 7c bestrahlte Umgebung, und die jeweilige Rückleuchte 5; 5a, 5b bzw. Leuchteinheit 7a, 7b, 7c selbst nicht oder nicht vollständig, so kann eine solche verfeinerte Auswahl an statischen Pixeln PS ebenfalls nur bedingt getroffen werden. In dem Fall ist auf den oben beschriebenen Histogramm-Vergleich bzw. Merkmalsdarstellungs-Vergleich zwischen aktivierten und deaktivierten Rückleuchten 5; 5a, 5b bzw. Leuchteinheiten 7a, 7b, 7c bzw. auf die Auswertung der Soll-Pixelanteile PSoll für den jeweils zutreffenden Soll- Helligkeitsbereich HSoll zurückzugreifen.
Die beschriebene Auswahl an Pixeln P durch Unterteilung in statische und dynamische Pixel PS, PD erfolgt im Übrigen auch für die Motorwagen-Rückleuchte 5a oder jede weitere Rückleuchte 5 am Fahrzeug 1 in identischer Weise.
In Abhängigkeit des ermittelten Funktionsstatus F kann dann beispielsweise situativ ein Heizelement 14 eingeschaltet werden, das die jeweilige Rückleuchte 5; 5a, 5b bzw. Leuchteinheit 7a, 7b, 7c gezielt erwärmt, um beispielsweise Schneedecken, die zu reduzierten Helligkeits-Werten HW führen können, abzutauen. Das Heizelement 14 kann also energiesparend nur dann eingesetzt werden, wenn anhand des Funktionsstatus F auf eine wahrscheinliche Bedeckung mit Schnee geschlossen wird. Auch eine Reinigungsanlage 15 kann gezielt angesteuert werden, um beispielsweise verschmutzte Rückleuchten 5; 5a, 5b zu säubern, was ebenfalls zu reduzierten Helligkeits-Werten HW führen kann.
Nach einer solchen Ansteuerung des Heizelementes 14 und/oder der Reinigungsanlage 15 kann dann erneut die Überwachung in den beschriebenen Schritten durchgeführt werden. Wenn die Helligkeits-Werte HW auch dann noch auf eine defekte oder bedeckte Rückleuchte 5; 5a, 5b hinweisen, kann dies endgültig als Funktionsstatus F ausgegeben werden, worauf der Fahrer entsprechend reagieren kann. Bezugszeichenliste (Teil der Beschreibung)
1 Fahrzeug
2a Motorwagen
2b Anhänger
3 Rückfahrassistenz
4 Kamerasystem
5a Rückleuchten des Motorwagens 2a
5b Rückleuchten des Anhängers 2b
6 Steuergerät
6a Schnittstelle
7a, 7b, 7c Leuchteinheit
8 Kamera
8a Motorwagen-Kamera
8b Anhänger-Kamera
9 Fischaugen-Kamera
10 Bussystem
14 Heizelement
15 Reinigungsanlage
20 Überwachungssystem
B Kamera-Bild der Kamera 8
Ba Kamera-Bild der Motorwagen-Kamera 8a
Bb Kamera-Bild der Anhänger-Kamera 8b
BR Referenz-Kamerabild
E Erfassungsbereich
F Funktionsstatus
H Histogramm
HR Referenz-H istogram m
HW Helligkeits-Wert
HU Umgebungshelligkeit
M Merkmalsdarstellung
MR Referenz-Merkmalsdarstellung
P Pixel
PL Leuchten-Pixel S5 Aktivierungs-Signal
S8 Kamera-Signal der Kamera 8
S8a Kamera-Signal der Motorwagen-Kamera 8a
S8b Kamera-Signal der Anhänger-Kamera 8b
U5 Leuchten-Umgebung

Claims

Patentansprüche
1 . Verfahren zur Überwachung einer Rückleuchte (5) eines Fahrzeugs (1 ) mit einem Kamerasystem (4), wobei das Kamerasystem (4) eine rückwärts gerichtete Kamera (8) aufweist, wobei die Rückleuchte (5) eine Leuchteinheit (7a, 7b, 7c) aufweist, mit den folgenden Schritten:
Erfassen der Rückleuchte (5) des Fahrzeuges (1 ) und/oder einer von der Rückleuchte (5) beleuchteten Leuchten-Umgebung (U5) durch die Kamera (8) am Fahrzeug (1 ) und Ausgeben von Kamera-Signalen (S8) (ST1);
Bereitstellen eines Kamerabildes (B) mit Pixeln (P) in Abhängigkeit der ausgegebenen Kamera-Signale (S8), wobei die Rückleuchte (5) des Fahrzeuges (1) und/oder die von der Rückleuchte (5) beleuchtete Leuchten- Umgebung (U5) in Leuchten-Pixeln (PL) des jeweiligen Kamerabildes (B) dargestellt ist (ST2);
Ermitteln und Auswerten von Helligkeits-Werten (HW) für die Leuchten-Pixel (PL) des jeweiligen Kamera-Bildes (B) (ST3); und
Ermitteln und Ausgeben eines Funktionsstatus (F) der Rückleuchte (5) in Abhängigkeit der ermittelten Helligkeits-Werte (HW) (ST4).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zum Ermitteln des Funktionsstatus (F) der Rückleuchte (5) aus dem bereitgestellten Kamerabild (B) ein Histogramm (H) und/oder eine Musterdarstellung (M) erstellt wird, wobei in dem Histogramm (H) und/oder in der Musterdarstellung (M) eine Verteilung der Helligkeits-Werte (HW) zumindest der Leuchten-Pixel (PL) des jeweiligen Kamerabildes (B) dargestellt ist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Ermitteln des Funktionsstatus (F) der Rückleuchte (5) ein Referenz-Kamerabild (BR) bereitgestellt wird und das aus dem Kamerabild (B) erstellte Histogramm (H) mit einem Referenz- Histogramm (HR) verglichen wird (ST3.1 ), wobei das Referenz-Histogramm (HR) aus dem Referenz-Kamerabild (BR) erstellt wird, und/oder die aus dem Kamerabild (B) erstellte Musterdarstellung (M) mit einer Referenz-Muster-Darstellung (MR) verglichen wird (ST3.1 ), wobei die Referenz-Musterdarstellung (MR) aus dem Referenz-Kamerabild (BR) erstellt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in dem Referenz- Kamerabild (BR) die Rückleuchten (5) des Fahrzeuges (1 ) in einem voll funktionstüchtigen Zustand dargestellt sind und/oder in dem Referenz-Kamerabild (BR) die Leuchten-Umgebung (U5) in einem von den Rückleuchten (5) des Fahrzeuges (1 ) in dem voll funktionstüchtigen Zustand bestrahlten Zustand dargestellt ist, wobei als Funktionsstatus (F) ermittelt und ausgegeben wird (ST4), dass die Rückleuchte (5) defekt oder bedeckt ist, wenn das aus dem Kamerabild (B) erstellte Histogramm (H) von dem Referenz- Histogramm (HR) und/oder die aus dem Kamerabild (B) erstellte Musterdarstellung (M) von der Referenz- Musterdarstellung (MR) abweicht.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in dem Referenz- Kamerabild (BR) die Rückleuchten (5) des Fahrzeuges (1 ) in einem deaktivierten Zustand dargestellt sind und/oder in dem Referenz-Kamerabild (BR) die Leuchten- Umgebung (U5) in einem Zustand dargestellt ist, in dem sich die Rückleuchten (5) des Fahrzeuges (1 ) in dem deaktivierten Zustand befinden, wobei als Funktionsstatus (F) ermittelt und ausgegeben wird (ST4), dass die Rückleuchte (5) defekt oder bedeckt ist, wenn das aus dem Kamerabild (B) erstellte Histogramm (H) dem Referenz- Histogramm (HR) und/oder die aus dem Kamerabild (B) erstellte Musterdarstellung (M) der Referenz- Musterdarstellung (MR) entspricht.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass das Histogramm (H) vor dem Vergleichen mit dem Referenz-Histogramm (HR) und/oder die Musterdarstellung (M) vor dem Vergleichen mit der Referenz- Musterdarstellung (MR) einer Helligkeitsanpassung unterzogen wird, wobei die in dem Histogramm (H) und/oder der Musterdarstellung (M) dargestellten Helligkeits-Werte (HW) dazu in Abhängigkeit einer aktuellen Umgebungshelligkeit (HU) angepasst werden.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass zum Ermitteln des Funktionsstatus (F) der Rückleuchte (5) ermittelt wird, ob die Helligkeits-Werte (HW) des Histogramms (H) und/oder der Musterdarstellung (M) in mindestens einem der jeweiligen Rückleuchte (5) zugeordneten Soll- Helligkeitsbereich (HSoll) liegen.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass ergänzend ermittelt wird, ob zumindest ein festgelegter Soll-Pixelanteil (PSoll) an Helligkeits- Werten (HW) in dem mindestens einen der jeweiligen Rückleuchte (5) zugeordneten Soll-Helligkeitsbereich (HSoll) liegt.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass als Funktionsstatus (F) ermittelt und ausgegeben wird (ST4), dass die Rückleuchte (5) defekt oder bedeckt ist, wenn die Helligkeits-Werte (HW) des aus dem Kamerabild (B) erstellten Histogramms (H) und/oder der aus dem Kamerabild (B) erstellten Musterdarstellung (M) nicht innerhalb des mindestens einen zugeordneten Soll- Helligkeitsbereiches (HSoll) liegen oder nicht zu dem festgelegten Soll-Pixelanteil (PSoll) innerhalb des mindestens einen zugeordneten Soll-Helligkeitsbereiches (Hsoll) liegen.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass jeder Leuchteinheit (7a, 7b, 7c) der jeweiligen Rückleuchte (5) ein Soll- Helligkeitsbereich (Hsoll) zugeordnet ist.
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln und Auswerten von Helligkeits-Werten (HW) lediglich für statische Pixel (PS) des bereitgestellten Kamerabildes (B) durchgeführt wird, wobei die Leuchten-Pixel (PL) in den statischen Pixeln (PS) enthalten sind.
12. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass die statischen Pixel (PS) des bereitgestellten Kamerabildes (B) vorab in einem Kalibrierschritt (ST2.1 ) während einer Fahrt des Fahrzeuges (1 ) identifiziert werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln und Auswerten von Helligkeits-Werten (HW) lediglich für die Leuchten-Pixel (PL) des bereitgestellten Kamerabildes (B) durchgeführt wird, wobei die Leuchten-Pixel (PL) identifiziert werden, indem die Helligkeits-Werte (HW) der Pixel (P) des bereitgestellten Kamerabildes (B) bei einer Aktivierung und einer anschließenden Deaktivierung der jeweiligen Rückleuchte (5) zeitlich ausgewertet werden, wobei die Pixel (P), deren Helligkeits-Werte (HW) sich aufgrund der Aktivierung und anschließenden Deaktivierung der jeweiligen Rückleuchte (5) zeitlich verändern, als Leuchten-Pixel (PL) identifiziert werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Überwachung der Rückleuchte (5) für eine Motorwagen- Rückleuchte (5a) an einem Motorwagen (2a) des Fahrzeuges (1 ) und/oder eine Anhänger-Rückleuchte (5b) an einem Anhänger (2b) des Fahrzeuges (1 ) durchgeführt wird, wobei die jeweilige Rückleuchte (5) eine Leuchteinheit (7a, 7b, 7c) aufweist, die ausgewählt ist aus der Gruppe bestehend aus: Rückstrahler, Bremsleuchte, Schlussleuchte, Nebelschlussleuchte, Kennzeichenbeleuchtung, Blinker, Umrissleuchte.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der ermittelten und ausgewerteten Helligkeits- Werte (HW) zumindest für die Leuchten-Pixel (PL) des jeweiligen Kamera-Bildes (B) und/oder in Abhängigkeit des ermittelten und ausgegebenen Funktionsstatus (F) der Rückleuchte (5) ein Ansteuern eines Heizelements (14) an der jeweiligen Rückleuchte (5) und/oder einer Reinigungsanlage (15) der jeweiligen Rückleuchte (5) erfolgt.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass das Verfahren nach einer erfolgten Ansteuerung des Heizelements (14) und/oder der Reinigungsanlage (15) erneut ausgeführt wird.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Ermitteln und Ausgeben eines Funktionsstatus (F) der Rückleuchte (5) in Abhängigkeit der ermittelten Helligkeits-Werte (HW) (ST4) geprüft wird, ob die Rückleuchte (5) aktiviert ist.
18. Überwachungssystem (100) für ein Fahrzeug (1), aufweisend: ein Kamerasystem (4) mit einer rückwärts gerichteten Kamera (8) zum Erfassen einer Rückleuchte (5) des Fahrzeuges (1 ) und/oder einer von der Rückleuchte (5) beleuchteten Leuchten-Umgebung (U5), wobei die Kamera (8) ausgebildet ist, Kamera-Signale (S8) auszugeben, und ein Steuergerät (6), insbesondere zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wobei das Steuergerät (6) ausgebildet ist, ein in Abhängigkeit der ausgegebenen Kamera-Signale (S8) bereitgestelltes Kamerabild (B) mit Pixeln (P) zu verarbeiten, wobei die Rückleuchte (5) des Fahrzeuges (1) und/oder die von der Rückleuchte (5) beleuchtete Leuchten- Umgebung (U5) in Leuchten-Pixeln (PL) des jeweiligen Kamerabildes (B) dargestellt oder abgebildet ist;
Helligkeits-Werte (HW) zumindest für die Leuchten-Pixel (PL) des jeweiligen Kamera-Bildes (B) zu ermitteln und auszugeben; und einen Funktionsstatus (F) der Rückleuchte (5) in Abhängigkeit der ermittelten Helligkeits-Werte (HW) zu ermitteln und auszugeben.
19. Überwachungssystem (20) nach Anspruch 18, dadurch gekennzeichnet, dass die rückwärts gerichtete Kamera (8) einen Erfassungsbereich (E) derartig aufweist, dass die mindestens eine Rückleuchte (5) und die Leuchten-Umgebung (U5) von der Kamera (8) direkt erfasst werden können, insbesondere indem die rückwärts gerichtete Kamera (8) als eine Fischaugen-Kamera (9) ausgebildet ist, oder dass lediglich die Leuchten-Umgebung (U5) erfasst werden kann.
20. Überwachungssystem (20) nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass das Kamerasystem (4) Bestandteil einer Rückfahrassistenz (3) ist.
21. Überwachungssystem (20) nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, dass das Steuergerät (6) eine Schnittstelle (6a) aufweist zur Aufnahme eines Aktivierungs-Signals (S5), wobei das Aktivierungs-Signal (S5) übermittelt, ob die Rückleuchte (5) aktiviert ist oder nicht, und das Steuergerät (6) ausgebildet ist, vor dem Ermitteln des Funktionsstatus (F) der Rückleuchte (5) anhand des Aktivierungs-Signals (S5) festzustellen, ob die Rückleuchte (5) aktiviert ist.
22. Fahrzeug (1), insbesondere Nutzfahrzeug, mit einem Überwachungssystem (20) nach einem der Ansprüche 18 bis 21 , wobei die Kamera (8) eine Motorwagen- Kamera (8a) am Motorwagen (2a) des Fahrzeuges (1) und/oder eine Anhänger- Kamera (8b) an einem Anhänger (2b) des Fahrzeuges (1) ist, die jeweils rückwärts ausgerichtet sind.
EP23777202.5A 2022-10-21 2023-09-25 Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug Pending EP4605901A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022127889.1A DE102022127889A1 (de) 2022-10-21 2022-10-21 Verfahren zur Überwachung einer Rückleuchte, Überwachungssystem und Fahrzeug
PCT/EP2023/076357 WO2024083446A1 (de) 2022-10-21 2023-09-25 Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug

Publications (1)

Publication Number Publication Date
EP4605901A1 true EP4605901A1 (de) 2025-08-27

Family

ID=88204156

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23777202.5A Pending EP4605901A1 (de) 2022-10-21 2023-09-25 Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug

Country Status (5)

Country Link
US (1) US20250242754A1 (de)
EP (1) EP4605901A1 (de)
CN (1) CN119968656A (de)
DE (1) DE102022127889A1 (de)
WO (1) WO2024083446A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1133554C (zh) * 1998-05-18 2004-01-07 株式会社小糸制作所 车辆用灯具装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10158224B4 (de) * 2001-11-16 2005-02-10 Andreas Godyn Mobiles optoelektronisches Testgerät für Kfz-Bremslichter, insbesondere an diversen Anhängerarten
CN202879348U (zh) * 2012-11-08 2013-04-17 陕西重型汽车有限公司 汽车尾灯污垢检测清洗装置
DE102015214332A1 (de) * 2015-07-29 2017-02-02 Conti Temic Microelectronic Gmbh Lichtdiagnose mittels eines kamerasystems eines fahrzeugs
US10204280B2 (en) * 2017-06-01 2019-02-12 Ford Global Technologies, Llc Vehicle exterior light outage
KR20220124329A (ko) * 2021-03-02 2022-09-14 현대모비스 주식회사 후방 카메라를 이용한 후미등 고장 판별 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1133554C (zh) * 1998-05-18 2004-01-07 株式会社小糸制作所 车辆用灯具装置

Also Published As

Publication number Publication date
US20250242754A1 (en) 2025-07-31
WO2024083446A1 (de) 2024-04-25
DE102022127889A1 (de) 2024-05-02
CN119968656A (zh) 2025-05-09

Similar Documents

Publication Publication Date Title
DE102005004802B4 (de) Scheibenwischer-Steuervorrichtung und Verfahren zum automatischen Scheibenwischen bei Fahrzeugen
EP2748035B1 (de) Verfahren und steuergerät zum anpassen einer leuchtstärke zumindest eines scheinwerfers eines fahrzeugs
DE102018107167A1 (de) Fahrzeugabbildungssysteme und verfahren zur beleuchtungsdiagnose
DE102008041355A1 (de) Verkehrssituationsangepasste Licht-Energiesparfunktion
DE102008042537B4 (de) Verfahren zum Kalibrieren eines Bilderfassunssystems in einem Kraftfahrzeug und Bilderfassungssystem
DE102015014263A1 (de) Verfahren und Vorrichtung zur fahrsituationsabhängigen Parametervariation bei einem fahrzeugseitigen Kamera-Monitor-System
EP3329241B1 (de) Lichtdiagnose mittels eines kamerasystems eines fahrzeugs
DE102014217366A1 (de) Verfahren und Vorrichtung zum Anpassen einer Helligkeit eines Scheinwerfers für ein Fahrzeug
DE102011083786A1 (de) Fahrzeug-Kamerasystem mit automatischem Farbabgleich
DE102008025530B4 (de) Einrichtung zur Prüfung der Funktion einer Leuchteinrichtung eines Kraftfahrzeugs
DE212013000187U1 (de) System Abbildung einer Aussenszene durch Verwendung eines anwendungsspezifischen Bildsensors
DE102010032858A1 (de) Verfahren zum automatischen Betätigen eines Scheibenwischers eines Fahrzeugs
DE102017203352B4 (de) Verfahren und Steuervorrichtung zur Anpassung einer Beleuchtung eines rückwärtigen Außenbereichs eines Kraftfahrzeugs
EP3057833A1 (de) Fahrzeug und verfahren zum ausleuchten eines bereichs hinter einem fahrzeug
DE102011115670A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
EP4169772B1 (de) Verfahren und vorrichtung zum steuern einer nebellichtanlage
WO2024083446A1 (de) Verfahren zur überwachung einer rückleuchte, überwachungssystem und fahrzeug
DE102017213992B4 (de) Verfahren zum Betreiben einer Innenraumbeleuchtungsvorrichtung, Innenraumbeleuchtungsvorrichtung und Kraftfahrzeug mit einer Innenraumbeleuchtungsvorrichtung
EP2206074B1 (de) Verfahren zur adaptiven bestimmung eines schwellwerts zur erkennung von fahrzeuglichtern mit einem kamerasystem
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
DE102012010888B4 (de) Verfahren zur Steuerung eines Kraftfahrzeugbremslichts und ein Kraftfahrzeug
DE10359345B3 (de) Vorrichtung zur Verbesserung der Sichtverhältniesse in einem Kraftfahrzeug
DE102016004289A1 (de) Verfahren und Vorrichtung zur Steuerung einer Fahrzeugbeleuchtung und Fahrzeug mit einer solchen Vorrichtung
EP1973352A2 (de) Diagnose für Kamerasysteme
DE102011121408A1 (de) Verfahren zum Betreiben eines Scheinwerfer- Reinigungssystems eines Fahrzeugs und Scheinwerfer-Reinigungssystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250404

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS