EP4285341A1 - Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem - Google Patents

Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem

Info

Publication number
EP4285341A1
EP4285341A1 EP23718621.8A EP23718621A EP4285341A1 EP 4285341 A1 EP4285341 A1 EP 4285341A1 EP 23718621 A EP23718621 A EP 23718621A EP 4285341 A1 EP4285341 A1 EP 4285341A1
Authority
EP
European Patent Office
Prior art keywords
application
camera
app2
app1
app3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP23718621.8A
Other languages
English (en)
French (fr)
Inventor
Emin Tarayan
Sebastian Säger
Stefan KALCHMAIR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4285341A1 publication Critical patent/EP4285341A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the invention relates to a method for operating a camera-based interior monitoring system according to the type defined in more detail in the preamble of claim 1, an interior monitoring system according to the type defined in more detail in the preamble of claim 10 and a vehicle with such an interior monitoring system.
  • Vehicles are increasingly being equipped with an interior monitoring system to provide various comfort and/or safety functionalities.
  • an interior monitoring system With the help of a seat occupancy sensor and a seat belt sensor, it can be determined, for example, whether a vehicle occupant is not wearing a seat belt while driving the vehicle. In such a case, a warning may be issued.
  • an appropriate interior monitoring system is also able to observe vehicle occupants. This makes it possible, for example, to analyze whether the person driving the vehicle is paying enough attention to what is happening on the road, is tired, or to identify people based on biometric characteristics.
  • Such tasks or functionalities based on monitoring the vehicle interior using cameras are referred to below as applications.
  • different requirements are placed on the optical detection of the vehicle interior. For example, if there is only one person driving the vehicle in the vehicle, the visual monitoring of the vehicle's rear area is irrelevant. If the person driving the vehicle wears glasses that are impermeable to infrared light, it is not possible to detect the blink of an eye or the direction in which the person is looking in the infrared light spectrum, which makes taking camera images in the infrared light spectrum unnecessary. Capturing colored camera images in such a case could be beneficial for other applications. There is only a comparatively low level of detection of people on vehicle seats Camera trigger required. However, if people are to be identified, a higher camera resolution is required in order to be able to recognize biometric characteristics.
  • a method and a device for monitoring at least one vehicle occupant and a method for operating at least one assistance device are known.
  • the process involves camera-based monitoring of the vehicle occupant in order to record their vital signs. If brightness fluctuations occur in the area surrounding the vehicle, for example because the vehicle is entering a tunnel, the vehicle can detect this and automatically switch the image capture mode of the camera used to monitor the vehicle occupant from capturing color images to capturing images in the infrared light spectrum and vice versa .
  • the present invention is based on the object of specifying an improved method for operating a camera-based interior surveillance system, with the help of which it is possible for the interior surveillance system to best fulfill the tasks associated with the provision of at least two different applications.
  • this object is achieved by a method for operating a camera-based interior monitoring system with the features of claim 1 as well as a corresponding interior monitoring system with the features of claim 10 and a vehicle with such an interior monitoring system with the features of claim 11.
  • At least one camera is used as a sensor to capture camera images.
  • a computing unit evaluates corresponding sensor signals and determines configuration values and configures parameters for setting the interior monitoring system depending on the evaluated sensor signals.
  • the configuration values of the parameters are determined, for example, by calculation, iterative methods or rules in such a way that a quality of the camera image required for an application can be achieved.
  • the generic method is further developed according to the invention in that the computing unit provides at least two applications, which preferably receive the same sensor signals at the same time evaluate the camera and which each require a different configuration value for at least one first parameter in a specific operating situation at the same time, the computing unit determining a current application ranking for a current operating situation and the configuration value required by the application with the higher rank for the first Parameters are set as the target configuration.
  • the simultaneous evaluation of the same sensor signals means that the applications work in parallel based on the sensor signals determined and received by the camera.
  • the applications provided by the computing unit are sorted according to their “importance” and the interior monitoring system, in particular configuration values of the camera, is ultimately set so that the application with the highest importance works optimally.
  • a configuration value corresponding to the target configuration is a minimum configuration value for a parameter that is required for optimal function without restricting an application in an operating situation.
  • the corresponding configuration of the parameters means that the camera images generated by the camera and correspondingly the information derived by the computing unit through analysis of the camera images or sensor signals allow the requirements set by the application with the highest importance to be met in the best possible way in the respective operating situation.
  • operating situation includes environmental conditions such as brightness, vehicle occupancy, driving status, shadows from objects or sunlight.
  • the computing unit An evaluation of the current operating situation is carried out by the computing unit depending on the evaluated sensor signals.
  • the sensor signals include the camera images generated by the camera as well as sensor data from other sensors.
  • the method according to the invention can be used in a vehicle, whereby, for example, a seat belt sensor, seat occupancy sensor, brightness sensor or even vehicle-intrinsic information such as a speed of movement or acceleration of the vehicle can be used as a sensor or sensor data.
  • a vehicle occupant is seated on a specific vehicle seat, the vehicle is moving at a specific speed, certain lighting conditions prevail, or the like, which requires a corresponding reassessment of the respective operating situation and the corresponding reconfiguration of the parameters for setting the interior monitoring system requires.
  • a value is assigned to the configuration values of the application and at least one further parameter is configured in accordance with the target configuration required by an application lower in the application ranking if the value of the configuration value of the target configuration of the further parameter of the downstream application is greater than that Importance of the configuration value of the target configuration of the parameter of the higher-level application.
  • parameters that are suitable for a more important application can be set are less important, configure them according to the target configuration of the less important application, provided that they are above the minimum configuration value of the more important application.
  • the parameters of the higher-level application are overwritten with configuration values of these parameters of the lower-level application setting the camera, provided these are better, ie have a higher value, otherwise the configuration values of the higher-level application are used.
  • the value of the configuration values results from technical features, for example a high resolution is more valuable than a low resolution, and a low signal-to-smoke ratio is more valuable than a high signal-to-noise ratio.
  • one configuration value is of higher quality than another, for example it can be defined that IR images are of higher quality than RGB images.
  • IR images are of higher quality than RGB images.
  • the parameters for setting the indoor monitoring system are configured according to the target configuration required by the highest-ranking application, unless the conti guration value of the target configuration of the lower-ranking application is greater.
  • no different value can be assigned, for example if the higher-level application requires a short exposure time and the lower-level application requires a long exposure time, then by specifying the same value, the exposure time parameter is always set to the value required by the higher-level application.
  • the application with the highest rank is hereinafter referred to as the first application.
  • the applications lower in the application ranking are referred to as second and third applications, respectively.
  • a first parameter that is fully important for providing the functionality of the first application is then configured to the configuration values for this parameter in accordance with the target configuration of the first application.
  • a second configuration value of a parameter which is correspondingly lower in terms of the target configuration for the optimal functioning of the first application compared to the second application, can then be configured in accordance with the target configuration of the second application.
  • the configuration value that is lower in the application with respect to the target configuration can then be set to the configuration value corresponding to the target configuration of the third application.
  • the method determines a configuration of the camera parameters for each application according to the ranking, so that the functionality is optimized for each application.
  • the computing unit dynamically determines the application requirements and/or an application quality required for each application depending on the changing current or future operating situation and determines the application ranking and/or the value of the configuration parameters depending on the application. Requirements and/or the application quality of a respective application.
  • the application ranking must be redetermined for each operating situation in order to evaluate the importance of the applications depending on the operating situation. Depending on the operating situation, only the application quality or the application requirements or both at the same time can change for an application.
  • the application quality reflects the quality of camera images or the information obtained from them that is required for operation in a current operating situation.
  • the quality of the camera images is a measure of whether an application can be operated in a current operating situation.
  • optimal configuration values are determined for respective applications by evaluating captured camera images, for example by measuring the current application quality, and determining the configuration values of the camera according to rules, tables, iteration or calculation methods ensure that the specified application quality is achieved for the respective applications, ie the measured one corresponds to the specified application quality. In other words, an optimal, ie target, configuration is determined for each of the applications. Depending on the ranking of the Applications and the value of the configuration values are used to determine the camera setting, which is then used as a basis for all applications at the same time.
  • the application requirements are understood to mean the requirements placed on the respective application in a respective operating situation. Specifically, this means which parameters of the camera with which value or which setting under which boundary and environmental conditions or in which operating situation must be configured for the applications, preferably according to their rank.
  • the reading of predefined application rules for the “driver monitoring” application or operating situation includes the application requirement that the eyes and mouth of the person driving the vehicle must be visible in camera images and that the signal-to-noise ratio must not fall below a certain signal-to-noise ratio.
  • the speed of movement and acceleration of the vehicle can be analyzed using sensor signals in order to detect when the vehicle is braking in front of a traffic light, for example, and when it is standing in front of the traffic light as an application requirement. If the vehicle is at a traffic light, monitoring the fatigue or alertness of the person driving the vehicle is less important in the application ranking.
  • the camera as a sensor can be used to detect current situations to draw conclusions about future situations and to derive corresponding application requirements, for example the status of an unoccupied seat will be maintained for a foreseeable period of time, accordingly the rank for monitoring can be set for the future be prioritized accordingly.
  • driving through a tunnel is read from an assistance system for a period of time ahead; for this period, for example, the rank for color images can be prioritized accordingly lower.
  • the interior monitoring system can be adapted to the preferences of individual vehicle users and the application requirements can be determined.
  • facial recognition can be deactivated to protect the privacy of the vehicle user. In this case, facial recognition receives a particularly low rank.
  • the “Driver Monitoring” application receives a particularly low rank.
  • the scenery captured by the camera is particularly dark, for example, applications that require the capture of camera images in the infrared light spectrum will receive a high rank and applications that require the capture of colored camera images will receive a lower rank, and vice versa if the scenery is particularly bright.
  • the location of a vehicle occupant in a vehicle can be determined. If the rear of the vehicle is empty, an application for tracking the head position of vehicle occupants in the rear of the vehicle receives a low ranking.
  • sensor data from other sensors can also be taken into account to determine the application ranking.
  • Vehicle speed can be used, whereby at a speed of movement below 10 km/h there is no need to monitor the attention and/or tiredness of the person driving the vehicle. Accordingly, these applications receive a particularly low ranking in this operating situation.
  • An application-specific priority can also be defined for each application. For example, monitoring vital signs and/or fatigue detection can be given a particularly high priority value and an application for taking selfies can be given a lower priority.
  • Estimating the future operating situation preferably includes predicting a period of time in which a person will not blink or until an observed person blinks again. If the person being observed, for example the person driving the vehicle, has blinked, then it is very likely that he or she will not blink again for the next 300 ms, for example. For example, if the camera records camera images at a frequency of 60 images per second, this means that applying driver monitoring for the next 18 camera images is less important because no blink of an eye needs to be detected. Accordingly, the interior monitoring system is set so that for the next 18 camera images there are better operating conditions for carrying out the vital sign monitoring application.
  • the application ranking for driver monitoring is advantageously reduced in the period of the future operating situation, so that other applications are given a higher rank compared to driver monitoring and the setting of their parameters ideally enables an optimized function without restrictions, especially if the parameter only has reluctant settings allows, for example long or short exposure time.
  • a further advantageous embodiment of the method also provides that, to determine the application quality, at least one of the following is also used as a KPI (Key Performance Index) image quality metrics to be understood are specified and evaluated for checking at least one camera image:
  • KPI Key Performance Index
  • an artificial neural network can be used to determine the confidence value.
  • the listed image quality metrics of the camera images will differ. For example, the operating situation can change in such a way that the lighting of the scenery captured by the camera is changed. If the parameters with which the camera creates camera images remain constant, for example an exposure time or aperture, this will influence the corresponding quality of the captured camera images. For example, an image can then be overexposed or underexposed. If the application quality cannot be influenced by appropriate measures, the rank of the corresponding application can be reduced.
  • At least one of the following variables is set by means of, i.e. for setting the target configuration:
  • various settings can be made in order to adapt the operation of the interior monitoring system to a respective operating situation.
  • the corresponding parameters are configured according to the target configuration required by this application.
  • the camera parameters I can create a corresponding application quality. For example, if the scenery captured by the camera is dark, it can be illuminated using the lighting devices and/or the exposure time, ISO sensitivity or aperture of the camera can be adjusted in order to capture a more recognizable camera image. If several people are to be monitored and/or, for example, the view of a camera is obscured, a second or even more cameras can be used to capture the scene.
  • the light emission characteristics of the lighting devices can be used to set, for example, whether a lighting device should be operated in a pulsed or continuous manner and at what wavelength or in which wavelength band the respective lighting device should emit light.
  • a lighting device can emit cold white, warm white, colored and/or infrared light.
  • Different applications may also require focusing at different focal planes. Depending on which application has a high priority in a given operating situation, the focus is on the corresponding focal level.
  • a further advantageous embodiment of the method further provides that at least one variable that can be set using the target configuration is also used as an application requirement.
  • Applications that require a comparatively high image resolution for example, receive a higher rank in the application ranking. This can be transferred analogously to the other variables listed that can be set using the target configuration. Another example can be found in connection with the cameras used to capture the scenery.
  • a first and a second camera capture the scenery, for example a vehicle interior, and the first camera is integrated into a dashboard of the vehicle and aimed at the person driving the vehicle, it can also capture parts of the rear.
  • the second camera is, for example, integrated into a B-pillar of the vehicle and aimed at the rear.
  • the first camera is then configured according to the target configuration requested by an attention analysis, which requires, for example, the capture of camera images with a particularly high frequency and in the infrared light spectrum, since the “person detection” application is already possible by capturing the rear of the vehicle via the second camera is covered.
  • the application quality is preferably predicted, given constant application requirements of at least one application for a future operating situation, from at least one image quality metric or image quality properties determined in the current and/or in a past operating situation, a value derived therefrom. Determining the application quality for a future operating situation makes it possible to make a statement about how extensive the Functionality of a specific application can be provided without possibly changing the configuration of the camera or advantageously being able to maintain a parameter configuration for the unrestricted function. Future operating situations can, for example, be determined using a navigation system through a preview of a route being traveled, for example changed lighting conditions when entering and exiting a tunnel, standing still at a traffic light, alignment with the sun, etc.
  • Target configuration values for parameters of various applications can be determined depending on a required application quality can be predicted, in which case, depending on the rank of the applications and/or the value of the configuration values of the parameters, the camera settings are preliminarily configured so that they are available to the applications without delay when the new operating conditions occur and the applications are operational without configuration processes are.
  • At least one application is formed by:
  • the photo and/or video recording functionality can, for example, be an application for making a video call.
  • the applications listed each place individual requirements on the interior monitoring system.
  • the respective target configurations for the individual parameters are correspondingly different. These can sometimes be contradictory. For example, determining the viewing direction requires the capture of camera images in the infrared light spectrum and the photo and/or video recording functionality requires the capture of camera images in color.
  • Seat occupancy detection and gesture recognition only require camera images with a comparatively low resolution to function correctly. In order to carry out facial recognition, camera images with a high resolution are required.
  • the interior monitoring system can have several cameras and one or more lighting devices for illuminating a scene captured by the camera or cameras.
  • the cameras can have different structures. For example, some cameras may have a fixed aperture and a fixed focus and other cameras may be provided with a zoom lens, that is, a variable focus and an adjustable aperture. Some cameras can also capture light in the infrared light spectrum and other cameras in the visible spectrum. Some cameras can also detect light in both the infrared light spectrum and the visible range. Analogously, individual lighting devices can also emit light of only a certain wavelength or a wavelength band.
  • the lighting devices can be operated continuously or pulsed. To control the lighting devices in pulsed operating mode, they can be controlled with any modulation.
  • the computing unit can be formed by a single computing device or can be divided into several computing devices. For example, a first computing device for controlling the camera, a second computing device for evaluating camera images or sensor signals and a third computing device for determining the application requirements, application quality, determining the value of configuration values and/or determining the application ranking be provided.
  • At least one camera is integrated into a combination instrument, a head unit, an interior mirror and/or into a roof control unit, in particular with respect to the vehicle transverse axis between the driver and passenger side and preferably with respect to the vehicle vertical axis at least at the height of the steering wheel.
  • a camera installed centrally in the vehicle, i.e. a camera that is located between the driver and If it is arranged on the passenger side and at least at the level of the steering wheel, a particularly large field of vision of the vehicle interior can be captured. Due to the arrangement in the front area of the vehicle and orientation towards the rear, it is possible to detect vehicle occupants from the front. This enables the provision of a variety of different applications. This also makes it possible to dispense with additional cameras, which requires the use of the method according to the invention to find a configuration of the parameters used to set the interior monitoring system that is suitable for a respective operating situation and a respective application.
  • FIG. 1 shows a schematic top view of a vehicle according to the invention
  • FIG. 2 shows a flowchart of a method according to the invention.
  • Figure 1 shows a vehicle 3 according to the invention.
  • This includes an interior monitoring system 1 according to the invention with at least one camera 1.1, a computing unit 1.2 and several lighting devices 1.3.
  • the camera 1.1 is arranged between the driver and passenger sides in relation to the vehicle transverse axis Ax and is positioned at least at the height of the steering wheel in relation to the vehicle vertical axis Az. This enables particularly wide coverage of the vehicle interior, so that not only people sitting in the driver's seat 5.1 or the passenger seat 5.2 can be detected, but also people who are in the rear seat 5.3 located in the rear of the vehicle 3.
  • the camera 1.1 is integrated into a head unit 4 of the vehicle 3.
  • the vehicle 3 can also have additional cameras, not shown in detail. These can be, for example, an instrument cluster, a roof lining, an A, B or C pillar, a vehicle seat, a dashboard, a roof control unit Interior mirror or the like can be integrated.
  • the same also applies to the lighting devices 1.3.
  • a lighting device 1.3 can be arranged laterally at a comparatively small distance from a camera 1.1. The provision of several lighting devices 1.3 enables particularly extensive illumination of the vehicle interior, so that the risk of overlooking relevant objects in areas of the vehicle interior that are too dark is reduced.
  • FIG. 2 shows a flow chart of a method according to the invention.
  • a method step 201 camera images are generated with the camera 1.1. These are read and processed by the computing unit 1.2 to provide multiple applications APP1, APP2 and APP3 at the same time.
  • application requirements are determined in a method step 202.
  • a predefined target configuration for the interior monitoring system 1 is read from a memory of the computing unit 1.2, a future operating situation is estimated, user settings are read out, camera images are analyzed, for example to detect a blockage of the camera view, to evaluate an illumination situation of the vehicle interior, objects and/or or to detect people or the like.
  • a predefined application-specific priority value can also be read for each application APP1, APP2, APP3.
  • the computing unit 1.2 determines an application quality to be achieved for each application APP1, APP2, APP3.
  • the application quality reflects, for example, an image quality metric of a camera image, for example a pixel saturation, a histogram, a signal-to-noise ratio, an index of structural similarity, an index of complex wavelet structural similarity, and / or a confidence value determined using artificial intelligence.
  • Individual applications APP1, APP2, APP3 may require an individual minimum value for certain image quality metrics so that the respective application APP1, APP2, APP3 can fully provide their respective functionality.
  • a rank is determined for each application APP1, APP2, APP3, taking into account the application requirements and/or the application quality for an operating situation.
  • the ranks of applications APP1, APP2, APP3 are ordered in a method step 205 and an application ranking 2 is formed from this.
  • a first application APP1 has a highest rank, followed by a second application APP2 and a third application APP3.
  • the computing unit 1.2 can also assign a value to the configuration values of the parameters for APP1, APP2, APP3. If one or more parameters for setting the interior monitoring system 1 are configured according to the target configuration requested by the first application APP1, one or more further parameters can also be configured according to one requested by the downstream applications APP2, APP3, i.e. required for optimal operation of the application Target configuration can be configured if the significance of the configuration value of the additional parameter of the subordinate application APP2, APP3 corresponding to the target configuration is greater than the significance of the parameter corresponding to the target configuration of the higher-level application APP1.
  • the configuration value of the further parameter of the downstream application APP2 corresponding to the target configuration is of higher quality compared to the higher-ranking application APP1, so that the function of the application APP1 is fully served and the function is ensured.
  • the first application APP1 is superior to the second application APP2 and the second application APP2 is superior to the third application APP3.
  • an operating mode manager 6 which can be, for example, a program executed on the computing unit 1.2, checks whether there is a change in the application due to changing operating situations and associated changes in application requirements and/or application quality. Ranking 2 or a new assignment of values for the configuration values of the parameters of the applications APP1, APP2, APP3 came. If this is not the case, no changes are made to the setting of the interior monitoring system 1 and camera images continue to be recorded. However, if the application ranking 2 has changed due to a changed operating situation and/or the significance of the configuration values of the parameters of the respective applications APP1, APP2, APP3 have been changed, then in method step 207 the target configurations for the individual parameters for setting the interior monitoring system 1 determined. These are then set in method step 208 so that the interior monitoring system 1 captures and evaluates camera images according to the new setting.
  • Method step 207 may also include estimating future operating situations. Expected application qualities can be predicted for future operating situations for the individual applications APP1, APP2, APP3. This makes it possible to check whether a predetermined target configuration parameter set is suitable for providing the functionalities of the individual applications APP1, APP2, APP3 to a greater extent or with greater reliability. This makes it possible to find a target configuration parameter set that is particularly optimized for the respective operating situation, so that as many applications APP1, APP2, APP3 provided by the computing unit 1.2 as possible work best in the respective operating situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems (1), wobei wenigstens eine Kamera (1.1) als wenigstens ein Sensor Kamerabilder erfasst, eine Recheneinheit (1.2) Sensorsignale auswertet und in Abhängigkeit der ausgewerteten Sensorsignale Parameter zum Einstellen des Innenraumüberwachungssystems (1) konfiguriert. Die Recheneinheit (1.2) wenigstens zwei Anwendungen (APP1, APP2, APP3) bereitstellt, welche jeweils in einer bestimmten Betriebssituation eine unterschiedliche Konfigurationswert für zumindest einen Parameter erfordern, wobei die Recheneinheit (1.2) für eine aktuelle Betriebssituation eine aktuelle Anwendungs-Rangfolge (2) ermittelt und den von der Anwendung (APP1) mit dem höheren Rang erforderten Konfigurationswert für den ersten Parameter als Soll-Konfiguration einstellt, wobei für jede Anwendung (APP1, APP2, APP3) den Konfigurationswerten der Parameter jeweils eine Wertigkeit zugemessen wird und wenigstens ein weiterer Parameter entsprechend der von einer in der Anwendungs-Rangfolge (2) nachgeordneten Anwendung (APP2, APP3) erforderten Soll-Konfiguration konfiguriert wird, wenn die Wertigkeit des Konfigurationswerts der Sollkonfiguration des weiteren Parameters der nachgeordneten Anwendung (APP2, APP3) größer ist, als die Wertigkeit des Konfigurationswerts der Sollkonfiguration des Parameters der übergeordneten (APP1) Anwendung.

Description

Innenraumüberwachungssystem und Verfahren zu dessen Betrieb sowie Fahrzeug mit einem solchen Innenraumüberwachungssystem
Die Erfindung betrifft ein Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems nach der im Oberbegriff von Anspruch 1 näher definierten Art, ein Innenraumüberwachungssystem nach der im Oberbegriff von Anspruch 10 näher definierten Art sowie ein Fahrzeug mit einem solchen Innenraumüberwachungssystem.
Fahrzeuge werden zunehmend mit einem Innenraumüberwachungssystem ausgestattet, um diverse Komfort- und/oder Sicherheitsfunktionalitäten bereitzustellen. Mit Hilfe eines Sitzbelegungssensors und eines Anschnallsensors lässt sich beispielsweise ermitteln, ob ein Fahrzeuginsasse während der Fahrt mit dem Fahrzeug unangeschnallt ist. In einem solchen Fall kann eine Warnung ausgegeben werden. Mit Hilfe von Kameras ist ein entsprechendes Innenraumüberwachungssystem auch dazu in der Lage Fahrzeuginsassen zu beobachten. Dies ermöglicht beispielsweise eine Analyse, ob eine fahrzeugführende Person dem Fahrgeschehen ausreichend Aufmerksamkeit schenkt, müde ist oder auch eine Identifikation von Personen anhand biometrischer Merkmale.
Solche auf der Überwachung des Fahrzeuginnenraums mit Hilfe von Kameras basierende Aufgaben oder Funktionalitäten werden im Folgenden als Anwendungen bezeichnet. Je nach Anwendung werden dabei verschiedene Anforderungen an die optische Erfassung des Fahrzeuginnenraums gestellt. Befindet sich beispielsweise lediglich eine fahrzeugführende Person im Fahrzeug, so ist die optische Überwachung des Fahrzeugfonds irrelevant. Trägt die fahrzeugführende Person eine für Infrarotlicht undurchlässige Brille, so ist das Erfassen eines Lidschlags sowie einer Blickrichtung der Person im Infrarotlichtspektrum nicht möglich, was das Aufnehmen von Kamerabildern im Infrarotlichtspektrum unnötig macht. Das Erfassen von farbigen Kamerabildern könnte in einem solchen Fall für andere Anwendungen vorteilhaft sein. Zur Detektion von Personen auf Fahrzeugsitzen ist lediglich eine vergleichsweise geringe Kameraauslösung erforderlich. Soll jedoch eine Identifikation von Personen durchgeführt werden, so wird eine höhere Kameraauflösung erfordert, um biometrische Merkmale erkennen zu können.
Es stellt sich somit für jede aktuelle Betriebssituation erneut die Frage, wie das Innenraumüberwachungssystem betrieben werden soll, sodass die verschiedenen Anwendungen ihre jeweilige Aufgabe bestmöglich erfüllen können.
Aus der DE 10 2011 110 486 A1 sind ein Verfahren und eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen sowie ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung bekannt. Das Verfahren sieht eine kamerabasierte Überwachung des Fahrzeuginsassen vor, um dessen Vitalzeichen zu erfassen. Treten Helligkeitsschwankungen in der Umgebung des Fahrzeugs auf, weil beispielsweise das Fahrzeug in einen Tunnel einfährt, so kann das Fahrzeug dies erkennen und automatisch den Bilderfassungsmodus der zur Überwachung des Fahrzeuginsassen verwendeten Kamera von einer Erfassung von Farbbildern zu einer Erfassung von Bildern im Infrarotlichtspektrum umstellen und umgekehrt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems anzugeben, mit dessen Hilfe es dem Innenraumüberwachungssystem ermöglicht wird, die im Zusammenhang mit der Bereitstellung von wenigstens zwei unterschiedlichen Anwendungen einhergehenden Aufgaben jeweils bestmöglich zu erfüllen.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems mit den Merkmalen des Anspruchs 1 sowie ein entsprechendes Innenraumüberwachungssystem mit den Merkmalen des Anspruchs 10 und ein Fahrzeug mit einem solchen Innenraumüberwachungssystem mit den Merkmalen des Anspruchs 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.
Bei einem gattungsgemäßen Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems wird wenigstens eine Kamera als Sensor verwendet, um Kamerabilder zu erfassen. Eine Recheneinheit wertet entsprechende Sensorsignale aus und ermittelt Konfigurationswerte und konfiguriert in Abhängigkeit der ausgewerteten Sensorsignale Parameter zum Einstellen des Innenraumüberwachungssystems. Das Ermitteln der Konfigurationswerte der Parameter erfolgt beispielsweise durch Berechnung, iterative Verfahren oder Regeln derart, dass eine für eine Anwendung erforderliche Qualität des Kamerabildes erzielbar ist, Das gattungsgemäße Verfahren wird erfindungsgemäß dadurch weitergebildet, dass die Recheneinheit wenigstens zwei Anwendungen bereitstellt, welche vorzusgweise zeitgleich dieselben Sensorsignalen der Kamera auswerten und welche jeweils in einer bestimmten Betriebssituation zum gleichen Zeitpunkt einen unterschiedlichen Konfigurationswert für zumindest einen ersten Parameter erfordern, wobei die Recheneinheit für eine aktuelle Betriebssituation eine aktuelle Anwendungs-Rangfolge ermittelt und die von der Anwendung mit dem höheren Rang erforderten Konfigurationswert für den ersten Parameter als Soll- Konfiguration einstellt. Die zeitgleiche Auswertung derselben Sensorsignale bedeutet, dass die Anwendungen parallel auf Basis der von der Kamera bestimmten und empfangenen Sensorsignale arbeiten.
Mit anderen Worten werden gemäß dem erfindungsgemäßen Verfahren die von der Recheneinheit bereitgestellten Anwendungen nach ihrer „Wichtigkeit“ sortiert und das Innenraumüberwachungssystem insbesondere Konfigurationswerte der Kamera letztendlich so eingestellt, dass die Anwendung mit der höchsten Wichtigkeit optimal arbeitet. Ein Konfigurationswert entsprechend der Sollkonfiguration ist im Sinne vorliegender Beschreibung ein Mindestkonfigurationswert für einen Parameter, der für eine optimale Funktion ohne Einschränkung einer Anwendung in eine Betriebssituation erforderlich ist. Die entsprechende Konfiguration der Parameter führt dazu, dass die von der Kamera erzeugten Kamerabilder und entsprechend die von der Recheneinheit durch Analyse der Kamerabilder bzw. Sensorsignale abgeleiteten Informationen es erlauben die von der Anwendung mit der höchsten Wichtigkeit gestellten Anforderungen in der jeweiligen Betriebssituation bestmöglich zu erfüllen. Dies kann jedoch gleichzeitig dazu führen, dass die zeitgleich bereitgestellte Funktionalitäte von weniger wichtigeren Anwendungen nur eingeschränkt oder mit reduzierter Genauigkeit bereitgestellt werden können. Da diese weiteren Anwendungen jedoch für die aktuelle Betriebssituation weniger wichtig sind, kann dies in Kauf genommen werden. Da die wenigsten zwei Anwendungen zeitgleich dieselben Sensorsignale empfangen und parallel auswerten und verarbeiten, kann ein Informationsverlust durch Umschalten von Parametern der Kamera vermieden werden.
Der Begriff Betriebssituation umfasst Umgebungsbedingungen wie beispielsweise Helligkeit, Fahrzeugbelegung, Fahrzustand, Abschattungen von Objekten oder Sonneneinstrahlung.
Eine Bewertung der aktuellen Betriebssituation erfolgt dabei von der Recheneinheit in Abhängigkeit der ausgewerteten Sensorsignale. Die Sensorsignale umfassen dabei die von der Kamera erzeugten Kamerabilder sowie Sensordaten weiterer Sensoren. Das erfindungsgemäße Verfahren lässt sich in einem Fahrzeug anwenden, wodurch beispielsweise ein Anschnallsensor, Sitzbelegungssensor, Helligkeitssensor oder auch fahrzeugintrinsische Informationen wie eine Fortbewegungsgeschwindigkeit oder Beschleunigung des Fahrzeugs als Sensor bzw. Sensordaten verwendet werden können. So liegen beispielsweise unterschiedliche Betriebssituationen vor, wenn auf einem bestimmten Fahrzeugsitz ein Fahrzeuginsasse Platz genommen hat, sich das Fahrzeug mit einer bestimmten Fortbewegungsgeschwindigkeit fortbewegt, bestimmte Lichtverhältnisse vorherrschen oder dergleichen, was eine entsprechende Neubewertung der jeweiligen Betriebssituation und entsprechend das Neukonfigurieren der Parameter zum Einstellen des Innenraumüberwachungssystems erfordert.
Erfindungsgemäß ist weiter vorgesehen, dass für jede Anwendung den
Konfi gurationswerten der Anwendung jeweils eine Wertigkeit zugemessen wird und wenigstens ein weiterer Parameter entsprechend der von einer in der Anwendungs- Rangfolge nachgeordneten Anwendung erforderten Soll-Konfiguration konfiguriert wird, wenn die Wertigkeit des Konfigurationswerts der Sollkonfiguration des weiteren Parameters der nachgeordneten Anwendung größer ist, als die Wertigkeit des Konfi gurationswerts der Sollkonfiguration des Parameters der übergeordneten Anwendung.
Wie im vorigen erwähnt, werden weniger wichtigere Anwendungen zeitgleich zu wichtigeren Anwendung außerhalb ihrer jeweiligen optimalen Betriebsparameter betrieben. Um eine unnötig starke Degradation oder Verschlechterung einer jeweiligen von der entsprechenden weniger wichtigen Anwendung bereitgestellten Funktionalität in Kauf nehmen zu müssen, lassen sich Parameter, die für eine wichtigere Anwendung weniger bedeutend sind, entsprechend der Soll-Konfiguration der weniger wichtigeren Anwendung konfigurieren, sofern diese über dem Mindestkonfigurationswert der wichtigeren Anwendung liegen. Mit anderen Worten werden die Parameter der höherrangigen Anwendung mit Konfigurationswerten dieser Parameter der niederrangigen Anwendung Einstellung der Kamera überschrieben, sofern diese besser sind, d.h. einen höhere Wertigkeit aufweisen, ansonsten werden die Konfigurationswerte der höherrangingen Anwendung verwendet. Die Wertigkeit der Konfigurationswerte ergibt sich aus technischen Merkmalen, beispielsweise ist eine hohe Auflösung höherwertiger als eine niedrige Auflösung, ein niedrige Signal-Rauchverhältnis höherwertig als ein hohes Signal-Rauschverhältnis. Darüber hinaus kann auch beliebig frei definiert werden, dass ein Konfi gurationswert höherwertig ist als ein anderer, beispielsweis kann definiert werden, dass IR-Bilder höherwertig als RGB Bilder sind. Hierzu können beispielsweise lediglich zwei Anwendungen oder auch mehr als zwei Anwendungen berücksichtigt werden. Beispielsweise werden die Parameter zum Einstellen des Innenraumüberwachungssystems entsprechend der von der Anwendung mit dem höchsten Rang erforderten Soll-Konfiguration konfiguriert, es sei denn die Wertigkeit des Konti gurationswerts der Sollkonfiguration der nachrangingen Anwendung ist größer. Bei widersprechenden Merkmalen ist keine unterschiedliche Wertigkeit zuordenbar, beispielsweise wenn die höherrangige Anwendung eine kurze und die niederrangige Anwendung eine lange Belichtungszeit zwingend erfordert, dann wird durch Vorgabe einer gleichen Wertigkeit der Parameter Belichtungszeit immer auf den von der höherrangigen Anwendung geforderten Wert eingestellt.
Die Anwendung mit dem höchsten Rang wird im Folgenden als erste Anwendung bezeichnet. Die in der Anwendungs-Rangfolge nachgeordneten Anwendungen werden entsprechend als zweite und dritte Anwendung bezeichnet.
Ein erster, für die Bereitstellung der Funktionalität der ersten Anwendung in vollem Umfang bedeutender Parameter, wird dann gemäß der Soll-Konfiguration der ersten Anwendung auf den Konfigurationswerte für diesen Parameter konfiguriert. Ein zweiter, für die optimale Funktionsweise der ersten Anwendung gegenüber der zweiten Anwendung hinsichtlich der Soll-Konfigruation entsprechend niederwertiger Konfigurationswert eines Parameters, kann dann entsprechend der Soll-Konfiguration der zweiten Anwendung konfiguriert werden. Ein dritter Parameter mit einem für die optimale Funktionsweise der ersten und zweiten Anwendung gegenüber einer dritten Anwendung hinsichtlich der Soll-Konfiguration niederwertigeren Konfigurationswert, kann dann auf den der Soll-Konfiguration der dritten Anwendung entsprechenden Konti gurationswert eingestellt werden. In vorteilhafter Weise wird durch das Verfahren entsprechend der Rangfolge für jede Anwendung eine Konfiguration der Kameraparameter bestimmt, so dass für jede Anwendung die Funktionsweise optimiert ist.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens bestimmt die Recheneinheit dynamisch zu jeweiligen wechselnden aktuellen oder zukünftigen Betriebssituation für jede Anwendung erforderliche Anwendungs-Anforderungen und/oder eine Anwendungs-Qualität und bestimmt die Anwendungs-Rangfolge und/oder die Wertigkeit der Konfigurationsparameter in Abhängigkeit der Anwendungs- Anforderungen und/oder der Anwendungs-Qualität einer jeweiligen Anwendung.
Für jede Betriebssituation muss die Anwendungs-Rangfolge neu bestimmt werden, um die betriebssituationsabhängige Wichtigkeit der Anwendungen zu bewerten. Je nach Betriebssituation kann sich für eine Anwendung dabei lediglich die Anwendungs-Qualität oder die Anwendungs-Anforderungen oder auch beides gleichzeitig ändern.
Die Anwendungs-Qualität gibt eine für einen Betrieb in einer aktuellen Betriebssituation erforderliche Güte von Kamerabilder bzw. der einer daraus gewonnene Informationen wieder. Die Güte der Kamerabilder ist ein Maß dafür, ob damit eine Anwendung in einer aktuellen Betriebssituation betrieben werden kann.
Weisen beispielsweise bestimmte Kamerabilder eine zu geringe Auflösung auf, um bestimmte Merkmale erkennen zu können, so kann beispielsweise eine Anwendung zur Blickrichtungserkennung nicht zuverlässig arbeiten. In Abhängigkeit einer vorgegebenen Anwendungs-Qualität für eine Anwendungsanforderung werden für jeweilige Anwendungen optimale Konfigurationswerte ermittelt, indem erfasste Kamerabilder ausgewertet, bspw. indem die aktuelle Anwendungs-Qualität gemessen wird, und die Konfi gurationswerte der Kamera nach Regeln, Tabellen, Iteration oder Berechnungsverfahren so ermittelt werden, dass die vorgegeben Anwendungs-Qualität für jeweilige Anwendungen erreicht wird, d.h. die gemessene mit der vorgegebenen Anwendungsqualität übereinstimmt. In anderen Worten wird für jede der Anwendungen eine optimale, d.h. eine Sollkonfiguration ermittelt. In Abhängigkeit der Rangfolge der Anwendungen und der Wertigkeit der Konfigurationswerte wird die Einstellung der Kamera ermittelt, die dann gleichzeitig für alle Anwendungen zugrunde gelegt wird.
Unter den Anwendungs-Anforderungen werden die an die jeweilige Anwendung in einer jeweiligen Betriebssituation gestellten Anforderungen verstanden. Konkret bedeutet dies, welche Parameter der Kamera mit welchem Wert oder welcher Einstellung bei welcher Rand- und Umgebungsbedingungen oder in welcher Betriebssituation für die Anwendungen vorzugsweise entsprechend ihrem Rang konfiguriert werden müssen.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Bestimmen der Anwendungs-Anforderungen zumindest einen der folgenden Arbeitsschritte umfasst:
- Auslesen von vordefinierten Anwendungsregeln;
- Auswerten von Sensorsignalen oder Assistenzsystemen zum Abschätzen einer künftigen Betriebssituation;
- Auslesen von Nutzereinstellungen;
- Analysieren von Kamerabildern zur Erkennung einer Blockage der Kamerasicht;
- Analysieren von Kamerabildern zur Bewertung einer Ausleuchtungssituation einer von der Kamera erfassten Szenerie;
- Analysieren von Kamerabildern zur Detektion von Objekten und/oder Personen;
- Auswerten von Sensorsignalen zur Durchführung einer Sensorfusion;
- Auslesen einer anwendungsspezifischen Priorität.
Besonders bevorzugt werden dabei alle aufgezählten Arbeitsschritte durchgeführt. Insbesondere wird dabei die verwendete Aufzählungsreihenfolge eingehalten.
Beispielsweise umfasst das Auslesen von vordefinierten Anwendungsregeln für die Anwendung bzw. Betriebssituation „Fahrerüberwachung“, dass als Anwendungs- Anforderung die Augen und der Mund der fahrzeugführenden Person in Kamerabildern sichtbar sein müssen und dabei ein bestimmtes Signal-Rausch-Verhältnis nicht unterschritten werden darf.
Beispielsweise kann die Fortbewegungsgeschwindigkeit und Beschleunigung des Fahrzeugs anhand von Sensorsignalen analysiert werden, um das Abbremsen des Fahrzeugs beispielsweise vor einer Ampel zu erkennen und ein Stehen vor der Ampel als Anwendungs-Anforderung zu antizipieren. Steht das Fahrzeug an der Ampel, so ist in dieser Situation die Überwachung der Müdigkeit oder des Aufmerksamkeitszustands der fahrzeugführenden Person weniger bedeutend in der Anwendungsrangfolge. Gleichermaßen können von der von der Kamera als Sensor durch Erkennung von aktuellen Situationen auf zukünftige geschlossen und entsprechende Anwendungs- Anforderungen abgeleitet werden, beispielsweise der Zustand eines nicht besetzten Sitzplatzes wird für einen absehbaren Zeitraum erhalten bleiben, dementsprechend kann der Rang für die Überwachung für die Zukunft entsprechend nieder priorisiert werden. In einem anderen Beispiel wird für einen vorausliegenden Zeitraum das Befahren eines Tunnels aus einem Assistenzsystem ausgelesen, für diesen Zeitraum kann beispielsweise der Rang für Farbbilder entsprechend nierder priorisiert werden.
Über die Möglichkeit Nutzereinstellung individuell vorzugeben, lässt sich das Innenraumüberwachungssystem an die Vorlieben einzelner Fahrzeugnutzer anpassen und die Anwendungs-Anforderung bestimmen. So lässt sich beispielsweise eine Gesichtserkennung deaktivieren, um die Privatsphäre des Fahrzeugnutzers zu wahren. In diesem Falle erhält die Gesichtserkennung einen besonders niedrigen Rang.
Liegt eine Blockage der Kamerasicht vor, so kann die Kamera gegebenenfalls die Augen der fahrzeugführenden Person nicht erkennen. In diesem Falle erhält die Anwendung „Fahrerüberwachung“ einen besonders niedrigen Rang.
Ist die von der Kamera erfasste Szenerie besonders dunkel, so erhalten beispielsweise Anwendungen, die das Erfassen von Kamerabildern im Infrarotlichtspektrum erfordern, einen hohen Rang und Anwendungen, die das Erfassen von farbigen Kamerabildern erfordern, einen niedrigeren Rang, und umgekehrt bei einer besonders hellen Szenerie.
Durch die Detektion von Objekten und/oder Personen lässt sich beispielsweise der Aufenthaltsort eines Fahrzeuginsassen in einem Fahrzeug ermitteln. Ist der Fahrzeugfond leer, so erhält eine Anwendung zum Nachverfolgen der Kopfposition von im Fahrzeugfond befindlichen Fahrzeuginsassen einen geringen Rang.
Wie bereits erwähnt können auch Sensordaten weiterer Sensoren zur Bestimmung der Anwendungs-Rangfolge berücksichtigt werden. Beispielsweise kann eine Fahrzeuggeschwindigkeit herangezogen werden, wobei bei einer Fortbewegungsgeschwindigkeit unter 10 km/h kein Bedarf besteht, die Aufmerksamkeit und/oder Müdigkeit der fahrzeugführenden Person zu überwachen. Entsprechend erhalten diese Anwendungen in dieser Betriebssituation einen besonders geringen Rang.
Für jede Anwendung kann auch eine anwendungsspezifische Priorität definiert werden. So kann beispielsweise die Überwachung von Vitalzeichen und/oder Müdigkeitserkennung einen besonders hohen Prioritätswert erhalten und eine Anwendung zur Aufnahme von Selfies eine geringere Priorität.
Bevorzugt beinhaltet das Abschätzen der künftigen Betriebssituation das Prognostizieren einer Zeitspanne, in der eine Person keinen bzw. bis zu dem Zeitpunkt bis eine beobachtete Person erneut einen Lidschlag vollführt. Hat die beobachtete Person, beispielsweise die fahrzeugführende Person, einen Lidschlag vollführt, also geblinzelt, so wird sie mit hoher Wahrscheinlichkeit für die nächsten beispielsweise 300 ms nicht noch einmal blinzeln. Nimmt die Kamera beispielsweise mit einer Frequenz von 60 Bildern pro Sekunde Kamerabilder auf, so bedeutet dies, dass für die nächsten 18 Kamerabilder das Durchführen der Anwendung einer Fahrerüberwachung weniger bedeutend ist, da kein Lidschlag erkannt werden muss. Entsprechend wird das Innenraumüberwachungssystem so eingestellt, dass für die nächsten 18 Kamerabilder bessere Betriebsbedingungen zur Durchführung der Anwendung einer Vitalzeichenüberwachung vorliegen. Dies könnte beispielsweise das Aufnehmen von Farbbildern anstatt Kamerabildern im Infrarotlichtspektrum und/oder das Auswerten eines anderen Kamerabildbereichs, insbesondere mit einer anderen Auflösung vorsehen. In anderen Worten wird in vorteilhafter Weise im Zeitraum der künftigen Betriebssituation die Anwendungsrangfolge für die Fahrerüberwachung reduziert, so dass andere Anwendungen gegenüber der Fahrerüberwachung einen höheren Rang erhalten und die Einstellung deren Parametern eine optimierte Funktion idealerweise ohne Einschränkung ermöglichen, insbesondere wenn der Parameter nur widerstrebende Einstellungen zulässt, bspw. lange oder kurze Belichtungszeit.
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass zur Bestimmung der Anwendungs-Qualität zumindest eine der folgenden auch als KPI (Key Performance Index) zu verstehende Bildqualitätsmetriken vorgegeben und zur Überprüfung für zumindest ein Kamerabild ausgewertet wird:
- eine Pixelsättigung;
- ein Histogramm;
- ein Signal-Rausch-Verhältnis;
- ein Index struktureller Ähnlichkeit;
- ein Index komplexer Wavelet-Strukturähnlichkeit; und/oder
- ein mittels künstlicher Intelligenz ermittelter Konfidenzwert.
Zur Ermittlung des Konfidenzwerts kann insbesondere ein künstliches neuronales Netz eingesetzt werden. Je nach gewählter Parametrierung bzw. Einstellung für das Innenraumüberwachungssystem werden sich die aufgezählten Bildqualitätsmetriken der Kamerabilder unterscheiden. So kann sich die Betriebssituation beispielsweise dahingehend ändern, dass die Beleuchtung der von der Kamera erfassten Szenerie geändert wird. Bleiben die Parameter, mit der die Kamera Kamerabilder erzeugt, konstant, beispielsweise eine Belichtungszeit oder Blendenöffnung, so wird dies die entsprechende Qualität der erfassten Kamerabilder beeinflussen. Beispielsweise kann dann ein Bild über- oder unterbelichtet werden. Kann durch entsprechende Maßnahmen die Anwendungs-Qualität nicht beeinflusst werden, so kann der Rang der entsprechenden Anwendung herabgesetzt werden.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird mittels, d.h. zur Einstellung der Soll-Konfiguration wenigstens eine der folgenden Größen eingestellt:
- eine Auswahl, welche Kamera bei einer Mehrzahl an Kameras zur Erfassung von Kamerabildern eingesetzt wird;
- eine Auswahl von Leuchteinrichtungen, welche zur Ausleuchtung einer von der Kamera erfassten Szenerie verwendet werden;
- eine Lichtabstrahlcharakteristik der Leuchteinrichtungen;
- eine Belichtungszeit, ISO-Empfindlichkeit und/oder Blendenöffnung der Kamera;
- eine Fokusebene;
- ein Zoomgrad;
- ein von der Kamera zu erfassendes Wellenlängenspektrum;
- eine Bilderfassungsrate der Kamera; - eine Bildauflösung;
- ein auszuwertender Bildausschnitt der erfassten Kamerabilder; und/oder
- die Art und Weise, wie Kamerabilder nach dem Erfassen nachbearbeitet werden.
Anhand der aufgezählten Größen lassen sich verschiedene Einstellungen vornehmen, um die Betriebsweise des Innenraumüberwachungssystems an eine jeweilige Betriebssituation anzupassen. Je nachdem, welche Anwendung in der aktuellen Betriebssituation einen hohen Rang, sprich eine hohe Wichtigkeit aufweist, werden die entsprechenden Parameter entsprechend der von dieser Anwendung erforderten Soll- Konfiguration konfiguriert. Mit jeder Einstellung der Kameraparameter lässt ich eine dementsprechende Anwendungsqualität erzeugen. Ist die von der Kamera erfasste Szenerie beispielsweise dunkel, so kann diese beispielsweise mit Hilfe der Leuchteinrichtungen ausgeleuchtet werden und/oder die Belichtungszeit, ISO- Empfindlichkeit oder Blendenöffnung der Kamera angepasst werden, um ein besser erkennbares Kamerabild aufzunehmen. Sollen mehrere Personen überwacht werden, und/oder ist beispielsweise die Sicht einer Kamera verdeckt, so können eine zweite oder noch mehr Kameras zur Erfassung der Szenerie eingesetzt werden.
Über die Lichtabstrahlcharakteristik der Leuchteinrichtungen lässt sich beispielsweise einstellen, ob eine Leuchteinrichtung gepulst oder kontinuierlich betrieben werden soll und mit welcher Wellenlänge bzw. in welchem Wellenlängenband die jeweilige Leuchteinrichtung Licht abstrahlen soll. Beispielsweise kann eine Leuchteinrichtung kaltweißes, warmweißes, farbiges und/oder Infrarotlicht abstrahlen.
Verschiedene Anwendungen können auch das Scharfstellen auf unterschiedliche Fokusebenen erfordern. Je nachdem, welche Anwendung in einer jeweiligen Betriebssituation einen hohen Rang aufweist, wird auf die entsprechende Fokusebene scharfgestellt.
Analog kann je nach Anwendung das Auswerten bestimmter Bildausschnitte mit einem bestimmten Zoomgrad bzw. einer bestimmten Bildauflösung erforderlich sein, um für die Anwendung relevante Muster, Objekte, Strukturen oder dergleichen erkennen zu können. Zur Nachbearbeitung von Kamerabildern kann beispielsweise eine Filterung, Bildschärfung, Ton-Mapping und/oder ein Demosaicing auf die entsprechenden Kamerabilder angewendet werden. So kann mittels der Soll-Konfiguration die Nachbearbeitung von Kamerabildern angepasst anpassen.
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass zumindest eine mittels der Soll-Konfiguration einstellbare Größe auch als eine Anwendungs- Anforderung verwendet wird. Je nach Anwendung kann es beispielsweise erforderlich sein, in bestimmten Bildausschnitten bestimmte Merkmale erkennen zu können. Hierzu kann es dann erforderlich sein die Fokusebene, den Zoomgrad, die Bildauflösung und/oder den auszuwertenden Bildausschnitt eines Kamerabilds auf einen für die jeweilige Betriebssituation am besten geeigneten Standardwert einzustellen. Anwendungen, die dann beispielsweise eine vergleichsweise hohe Bildauflösung erfordern, erhalten entsprechend einen höheren Rang in der Anwendungs-Rangfolge. Dies lässt sich analog auf die weiteren aufgezählten mittels der Soll-Konfiguration einstellbaren Größen übertragen. Ein weiteres Beispiel lässt sich im Zusammenhang mit der zur Erfassung der Szenerie verwendeten Kameras finden. Erfassen beispielsweise eine ersten und eine zweite Kamera die Szenerie, beispielsweise einen Fahrzeuginnenraum, und ist die erste Kamera in ein Armaturenbrett des Fahrzeugs integriert und auf die fahrzeugführende Person ausgerichtet, so kann sie dabei Teile des Fonds mit erfassen. Die zweite Kamera ist beispielsweise in eine B-Säule des Fahrzeugs integriert und auf den Fond ausgerichtet. Die erste Kamera wird dann entsprechend der von einer Aufmerksamkeitsanalyse angeforderten Soll-Konfiguration konfiguriert, was beispielsweise das Erfassen von Kamerabildern mit einer besonders hohen Frequenz und im Infrarotlichtspektrum erfordert, da die Anwendung „Personendetektion“ durch das Erfassen des Fonds des Fahrzeugs über die zweite Kamera bereits abgedeckt wird.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird die Anwendungs-Qualität vorzugsweise bei konstanten Anwendungs-Anforderungen wenigstens einer Anwendung für eine künftige Betriebssituation aus wenigstens einer in der aktuellen und/oder in einer vergangenen Betriebssituation ermittelten Bildqualitätsmetrik bzw. Bildqualitätseigenschaften einen aus diesen abgeleiteter Wert prädiziert. Die Bestimmung der Anwendungs-Qualität für eine künftige Betriebssituation ermöglicht es eine Aussage darüber machen zu können, wie umfangreich die Funktionalität einer bestimmten Anwendung bereitgestellt werden kann, ohne gegebenenfalls die Konfiguration der Kamera zu ändern oder in vorteilhafter Weise eine Parameterkonfiguration für die uneingeschränkte Funktion vorhalten zu können. Künftige Betriebssituationen können beispielsweise mittels einem Navigationssystem durch eine Vorschau auf einer befahrenen Strecke ermittelt werden, beispielsweise geänderte Lichtverhältnisse beim Ein- und Ausfahren in einem Tunnel, Stillstand an einer Ampel, Ausrichtung zur Sonne etc. Soll-Konfigurationswerte für Parameter verschiedener Anwendungen können in Abhängigkeit einer erforderlichen Anwendungsqualität prädiziert werden, wobei dann in Abhängigkeit von Rang der Anwendungen und/oder Wertigkeit der Konfigurationswerten der Parameter die Einstellung der Kamera vorbereitend konfiguriert werden, so dass diese für die Anwendungen bei Eintritt der neuen Betriebsbedingungen verzögerungsfrei zur Verfügung stehen und die Anwendungen ohne Konfigurationsprozesse arbeitsfähig sind.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird zumindest eine Anwendung ausgebildet von:
- einer Blickrichtungsbestimmung;
- eine Müdigkeitserkennung;
- einer Sitzplatzbelegungserkennung;
- einer Gesichtserkennung;
- einer Überwachung von Vitalfunktionen;
- einer Foto- und/oder Videoaufzeichnungsfunktionalität; oder
- einer Gestenerkennung.
Bei der Foto- und/oder Videoaufzeichnungsfunktionalität kann es beispielsweise um eine Anwendung zur Durchführung einer Videotelefonie handeln. Die aufgezählten Anwendungen stellen jeweils individuelle Anforderungen an das Innenraumüberwachungssystem. Entsprechend unterschiedlich fallen die jeweiligen Soll- Konfigurationen für die einzelnen Parameter aus. Diese können teils widersprüchlich sein. So erfordert beispielsweise die Blickrichtungsbestimmung das Erfassen von Kamerabildern im Infrarotlichtspektrum und die Foto- und/oder Videoaufzeichnungsfunktionalität das Erfassen von Kamerabildern in Farbe. Eine Sitzplatzbelegungserkennung sowie eine Gestenerkennung erfordern lediglich Kamerabilder mit einer vergleichsweise geringen Auflösung, um korrekt zu funktionieren. Zur Durchführung einer Gesichtserkennung sind hingegen Kamerabilder mit einer hohen Auflösung erforderlich.
Bei einem Innenraumüberwachungssystem mit wenigstens einer Kamera und einer Recheneinheit sind erfindungsgemäß die Kamera und die Recheneinheit zur Durchführung eines im vorigen beschriebenen Verfahrens eingerichtet. Das Innenraumüberwachungssystem kann mehrere Kameras sowie eine oder mehrere Leuchteinrichtungen zum Ausleuchten einer von der oder den Kameras erfassten Szenerie aufweisen. Die Kameras können dabei in ihrem Aufbau unterschiedlich sein. Beispielsweise können einige Kameras eine feste Blende und einen festen Brennpunkt aufweisen und andere Kameras mit einem Zoomobjektiv, das heißt einem variablen Brennpunkt sowie einer einstellbaren Blende, versehen sein. Einige Kameras können zudem Licht im Infrarotlichtspektrum erfassen und andere Kameras im sichtbaren Bereich. Einige Kameras können auch sowohl Licht im Infrarotlichtspektrum als auch im sichtbaren Bereich erfassen. Analog können auch einzelne Leuchteinrichtungen Licht lediglich einer bestimmten Wellenlänge oder auch eines Wellenlängenbands abstrahlen. Die Leuchteinrichtungen können kontinuierlich oder auch gepulst betrieben werden. Zum Ansteuern der Leuchteinrichtungen im gepulsten Betriebsmodus können diese mit einer beliebigen Modulation angesteuert werden.
Die Recheneinheit kann dabei von einer einzelnen Rechenvorrichtung ausgebildet sein oder auch auf mehrere Rechenvorrichtungen aufgeteilt sein. Beispielsweise kann eine erste Rechenvorrichtung zum Ansteuern der Kamera, eine zweite Rechenvorrichtung zum Auswerten von Kamerabildern bzw. Sensorsignalen und eine dritte Rechenvorrichtung zum Bestimmen der Anwendungs-Anforderungen, Anwendungs- Qualität, zum Bestimmen der Wertigkeit von Konfigurationswerten und/oder zum Bestimmen der Anwendungs-Rangfolge vorgesehen sein.
Bei einem Fahrzeug mit einem Innenraumüberwachungssystem ist erfindungsgemäß wenigstens eine Kamera in ein Kombiinstrument, eine Head-Unit, einen Innenspiegel und/oder in eine Dachbedieneinheit integriert, insbesondere in Bezug auf die Fahrzeugquerachse zwischen der Fahrer- und Beifahrerseite und bevorzugt in Bezug auf die Fahrzeughochachse zumindest auf Höhe des Lenkrads. Mit Hilfe einer im Fahrzeug zentral verbauten Kamera, sprich einer Kamera, die zwischen Fahrer- und Beifahrerseite sowie zumindest auf Höhe des Lenkrads angeordnet ist, lässt sich ein besonders großes Sichtfeld des Fahrzeuginnenraums erfassen. Durch die Anordnung im vorderen Bereich des Fahrzeugs und Ausrichtung in Richtung des Hecks ist es möglich, Fahrzeuginsassen von vorne zu erfassen. Dies ermöglicht die Bereitstellung einer Vielzahl unterschiedlicher Anwendungen. Dies ermöglicht es auch, auf weitere Kameras zu verzichten, was die Anwendung des erfindungsgemäßen Verfahrens zum Auffinden einer für eine jeweilige Betriebssituation und zu einer jeweiligen Anwendung passenden Konfiguration, der zum Einstellen des Innenraumüberwachungssystems verwendeten Parameter, erfordert.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb eines kamerabasierten Innenraumüberwachungssystems, des Innenraumüberwachungssystems sowie des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
Dabei zeigen:
Fig. 1 eine schematisierte Draufsicht auf ein erfindungsgemäßes Fahrzeug; und Fig. 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens.
Figur 1 zeigt ein erfindungsgemäßes Fahrzeug 3. Dieses umfasst ein erfindungsgemäßes Innenraumüberwachungssystem 1 mit wenigstens einer Kamera 1.1 , einer Recheneinheit 1.2 sowie mehreren Leuchteinrichtungen 1.3. Die Kamera 1.1 ist in Bezug auf die Fahrzeugquerachse Ax zwischen der Fahrer- und Beifahrerseite angeordnet und in Bezug auf die Fahrzeughochachse Az mindestens auf Höhe des Lenkrads positioniert. Dies ermöglicht eine besonders weiträumige Erfassung des Fahrzeuginnenraums, sodass nicht nur Personen, die auf dem Fahrersitz 5.1 oder dem Beifahrersitz 5.2 sitzen, erfasst werden können, sondern auch Personen, die sich auf der im Fond des Fahrzeugs 3 befindlichen Rückbank 5.3 befinden. Beispielsweise ist die Kamera 1.1 in eine Head-Unit 4 des Fahrzeugs 3 integriert.
Das Fahrzeug 3 kann auch weitere nicht näher dargestellte Kameras aufweisen. Diese können beispielsweise in ein Kombiinstrument, einen Dachhimmel, eine A-, B- oder C- Säule, einen Fahrzeugsitz, ein Armaturenbrett, eine Dachbedieneinheit, einen Innenspiegel oder dergleichen integriert sein. Selbiges gilt auch für die Leuchteinrichtungen 1.3. Beispielsweise kann eine Leuchteinrichtung 1.3 seitlich mit einem vergleichsweise geringen Abstand zu einer Kamera 1.1 angeordnet sein. Das Vorsehen mehrerer Leuchteinrichtungen 1.3 ermöglicht eine besonders umfangreiche Ausleuchtung des Fahrzeuginnenraums, sodass das Risiko gesenkt wird, relevante Objekte in zu dunklen Bereichen des Fahrzeuginnenraums zu übersehen.
Figur 2 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. In einem Verfahrensschritt 201 werden mit der Kamera 1.1 Kamerabilder erzeugt. Diese werden von der Recheneinheit 1.2 zur zeitgleichen Bereitstellung mehrerer Anwendungen APP1, APP2 und APP3 eingelesen und verarbeitet. Für jede Anwendung APP1 , APP2, APP3 werden in einem Verfahrensschritt 202 Anwendungs-Anforderungen bestimmt. Hierzu wird beispielsweise eine vordefinierte Soll-Konfiguration für das Innenraumüberwachungssystem 1 aus einem Speicher der Recheneinheit 1.2 ausgelesen, eine zukünftige Betriebssituation abgeschätzt, Nutzereinstellungen ausgelesen, Kamerabilder analysiert, um beispielsweise eine Blockage der Kamerasicht zu erkennen, eine Ausleuchtungssituation des Fahrzeuginnenraums zu bewerten, Objekte und/oder Personen zu detektieren oder dergleichen. Für jede Anwendung APP1, APP2, APP3 kann auch ein vordefinierter anwendungsspezifischer Prioritätswert ausgelesen werden.
In einem Verfahrensschritt 203 bestimmt die Recheneinheit 1.2 für jede Anwendung APP1 , APP2, APP3 eine zu erzielende Anwendungs-Qualität. Die Anwendungsqualität gibt beispielsweise eine Bildqualitätsmetrik eines Kamerabilds wieder, beispielsweise eine Pixelsättigung, ein Histogramm, ein Signal-Rauschverhältnis, ein Index struktureller Ähnlichkeit, ein Index komplexer Wavelet-Strukturähnlichkeit, und/oder ein mittels künstlicher Intelligenz ermittelter Konfidenzwert. Dabei können einzelne Anwendungen APP1 , APP2, APP3 für bestimmte Bildqualitätsmetriken einen individuellen Mindestwert erfordern, damit die jeweilige Anwendung APP1 , APP2, APP3 ihre jeweilige Funktionalität in vollem Umfang bereitstellen kann.
In einem Verfahrensschritt 204 wird für jede Anwendung APP1 , APP2, APP3 unter Berücksichtigung der Anwendungs-Anforderungen und/oder der Anwendungs-Qualität für eine Betriebssituation einen Rang bestimmt. Die Ränge der Anwendungen APP1 , APP2, APP3 werden in einem Verfahrensschritt 205 geordnet und hieraus eine Anwendungs-Rangfolge 2 gebildet. In dem Beispiel in Figur 2 weist eine erste Anwendung APP1 einen höchsten Rang auf, gefolgt von einer zweiten Anwendung APP2 und einer dritten Anwendung APP3.
Im Verfahrensschritt 204 kann ferner für APP1 , APP2, APP3 durch die Recheneinheit 1.2 den Konti gu rationswerten der Parameter jeweils eine Wertigkeit zugemessen werden. Werden ein oder mehrere Parameter zum Einstellen des Innenraumüberwachungssystems 1 gemäß der von der ersten Anwendung APP1 angeforderten Soll-Konfiguration konfiguriert, so können ein oder mehrere weitere Parameter auch gemäß einer von den nachgeordneten Anwendungen APP2, APP3 angeforderten, d.h. für einen optimalen Betrieb der Anwendung erforderliche Soll- Konfiguration konfiguriert werden, wenn die Wertigkeit des der Soll-Konfiguration entsprechenden Konfigurationswerts des weiteren Parameters der nachrangigen Anwendung APP2, APP3 größer ist als die Wertigkeit des Parameters entsprechend der Sollkonfiguration der übergeordneten Anwendung APP1. Mit anderen Worten ist dabei beispielsweise der der Soll-Konfiguration entsprechende Konfigurationswert des weiteren Parameters der nachgeordneten Anwendung APP2 gegenüber der höherrangingen Anwendung APP1 qualitativ höherwertiger, so dass die Funktion der Anwendung APP1 vollwertig bedient und die Funktion sichergestellt ist. Dabei ist die erste Anwendung APP1 der zweiten Anwendung APP2 übergeordnet und die zweite Anwendung APP2 der dritten Anwendung APP3 übergeordnet.
In einem Verfahrensschritt 206 überprüft ein Betriebsmodusmanager 6, bei dem es sich beispielsweise um eine auf der Recheneinheit 1.2 ausgeführtes Programm handeln kann, ob es aufgrund wechselnder Betriebssituation und damit verbundener veränderter Anwendungs-Anforderungen und/oder Anwendungs-Qualität zu einer Änderung in der Anwendungs-Rangfolge 2 bzw. zu einer neuen Zuordnung von Wertigkeiten für die Konfigurationswerte der Parameter der Anwendungen APP1, APP2, APP3 kam. Ist dies nicht der Fall, so werden keine Änderungen an der Einstellung des Innenraumüberwachungssystems 1 vorgenommen und es werden weiter Kamerabilder aufgenommen. Hat sich hingegen die Anwendungs-Rangfolge 2 aufgrund einer veränderter Betriebssituation geändert und/oder die Wertigkeit der Konfigurationswerte der Parameter der jeweiligen Anwendungen APP1, APP2, APP3 wurden verändert, so werden im Verfahrensschritt 207 die Soll-Konfigurationen für die einzelnen Parameter zum Einstellen des Innenraumüberwachungssystems 1 ermittelt. Diese werden dann im Verfahrensschritt 208 eingestellt, sodass das Innenraumüberwachungssystem 1 Kamerabilder gemäß der neuen Einstellung erfasst und auswertet.
Der Verfahrensschritt 207 kann auch das Abschätzen künftiger Betriebssituationen umfassen. Dabei können für künftige Betriebssituationen für die einzelnen Anwendungen APP1 , APP2, APP3 erwartete Anwendungs-Qualitäten prädiziert werden. Dies ermöglicht es zu überprüfen, ob ein vorbestimmter Soll- Konfigurationsparametersatz dazu geeignet ist, die Funktionalitäten der einzelnen Anwendungen APP1 , APP2, APP3 in größerem Umfang bzw. mit einer höheren Zuverlässigkeit bereitzustellen. Dies ermöglicht es, einen besonders für die jeweilige Betriebssituation optimierten Soll-Konfigurationsparametersatz aufzufinden, sodass so viel wie möglich von der Recheneinheit 1.2 bereitgestellte Anwendungen APP1 , APP2, APP3 bestmöglich in der jeweiligen Betriebssituation arbeiten.

Claims

Patentansprüche Verfahren zum Betrieb eines kamerabasierten Innenraumüberwachungssystems (1), wobei wenigstens eine Kamera (1.1) als wenigstens ein Sensor Kamerabilder erfasst, eine Recheneinheit (1.2) Sensorsignale auswertet und in Abhängigkeit der ausgewerteten Sensorsignale Parameter zum Einstellen des Innenraumüberwachungssystems (1) konfiguriert, dadurch gekennzeichnet, dass die Recheneinheit (1.2) wenigstens zwei Anwendungen (APP1 , APP2, APP3) bereitstellt, welche jeweils in einer bestimmten Betriebssituation zeitgleich einen unterschiedliche Konfigurationswert für zumindest einen Parameter erfordern, wobei die Recheneinheit (1.2) für eine aktuelle Betriebssituation eine aktuelle Anwendungs-Rangfolge (2) ermittelt und den von der Anwendung (APP1) mit dem höheren Rang erforderten Konfigurationswert für den ersten Parameter als Soll- Konfiguration einstellt, wobei für jede Anwendung (APP1, APP2, APP3) den Konfigurationswerten der Parameter jeweils eine Wertigkeit zugemessen wird und wenigstens ein weiterer Parameter entsprechend der von einer in der Anwendungs-Rangfolge (2) nachgeordneten Anwendung (APP2, APP3) erforderten Soll-Konfiguration konfiguriert wird, wenn die Wertigkeit des Konfigurationswerts der Sollkonfiguration des weiteren Parameters der nachgeordneten Anwendung (APP2, APP3) größer ist, als die Wertigkeit des Konfigurationswerts der Sollkonfiguration des Parameters der übergeordneten (APP1) Anwendung. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Recheneinheit (1.2) zu einer jeweiligen aktuellen oder zukünftigen Betriebssituation für jede Anwendung (APP1 , APP2, APP3) Anwendungs- Anforderungen und/oder eine Anwendungs-Qualität bestimmt und die Anwendungs-Rangfolge (2) in Abhängigkeit der Anwendungs-Anforderungen und/oder der Anwendungs-Qualität einer jeweiligen Anwendung (APP1 , APP2, APP3) bestimmt. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Bestimmen von Anwendungs-Anforderungen zumindest einen der folgenden Arbeitsschritte umfasst:
Auslesen von vordefinierten Anwendungsregeln;
Auswerten von Sensorsignalen oder Assistenzsystemen zum Abschätzen einer künftigen Betriebssituation;
Auslesen von Nutzereinstellungen;
Analysieren von Kamerabildern zur Erkennung einer Blockage der Kamerasicht;
Analysieren von Kamerabildern zur Bewertung einer Ausleuchtungssituation einer von der Kamera (1.1) erfassten Szenerie;
Analysieren von Kamerabildern zur Detektion von Objekten und/oder Personen;
Auswerten von Sensorsignalen zur Durchführung einer Sensorfusion;
Auslesen einer anwendungsspezifischen Priorität. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Abschätzen der künftigen Betriebssituation das Prognostizieren einer Zeitspanne bis eine beobachtete Person erneut einen Lidschlag vollführt beinhaltet. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass zur Bestimmung der Anwendungs-Qualität zumindest eine der folgenden Bildqualitätsmetriken für zumindest ein Kamerabild ausgewertet wird: eine Pixelsättigung; ein Histogramm; ein Signal-Rausch-Verhältnis; ein Index struktureller Ähnlichkeit; ein Index komplexer Wavelet-Strukturähnlichkeit; und/oder ein mittels künstlicher Intelligenz ermittelter Konfidenzwert. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mittels der Soll-Konfiguration wenigstens eine der folgenden Größen eingestellt wird: eine Auswahl welche Kamera (1.1) bei einer Mehrzahl an Kameras zur Erfassung von Kamerabildern eingesetzt wird; eine Auswahl von Leuchteinrichtungen (1.3) welche zur Ausleuchtung einer von der Kamera (1.1) erfassten Szenerie verwendet werden; eine Lichtabstrahlcharakteristik der Leuchteinrichtungen (1.3); eine Belichtungszeit, ISO-Empfindlichkeit und/oder Blendenöffnung der Kamera (1.1); eine Fokusebene; ein Zoomgrad; ein von der Kamera (1.1) zu erfassendes Wellenlängenspektrum; eine Bilderfassungsrate der Kamera (1.1); eine Bildauflösung; ein auszuwertender Bildausschnitt der erfassten Kamerabilder; und/oder die Art und Weise wie Kamerabilder nach dem Erfassen nachbearbeitet werden. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zumindest eine mittels der Soll-Konfiguration einstellbare Größe als eine Anwendungs-Anforderung verwendet wird. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass die Anwendungs-Qualität wenigstens einer Anwendung (APP1, APP2, APP3) für eine künftige Betriebssituation aus wenigstens einer in der aktuellen und/oder in einer vergangenen Betriebssituation ermittelten Bildqualitätsmetrik oder einem aus einer Auswahl der Bildqualitätsmetriken abgeleiteten Wert prädiziert wird. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass zumindest eine Anwendung (APP1 , APP2, APP3) ausgebildet wird von:
- einer Blickrichtungsbestimmung;
- eine Müdigkeitserkennung;
- einer Sitzplatzbelegungserkennung;
- einer Gesichtserkennung;
- einer Überwachung von Vitalfunktionen;
- einer Foto- und/oder Videoaufzeichnungsfunktionalität; oder
- einer Gestenerkennung. Innenraumüberwachungssystem (1) mit wenigstens einer Kamera (1.1) und einer Recheneinheit (1.2), dadurch gekennzeichnet, dass die Kamera (1.1) und die Recheneinheit (1.2) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet sind. Fahrzeug (3) mit einem Innenraumüberwachungssystem (1) nach Anspruch 10, dadurch gekennzeichnet, dass wenigstens eine Kamera (1.1) in ein Kombiinstrument, eine Head-Unit (4), einen Innenspiegel und/oder in eine Dachbedieneinheit integriert ist, insbesondere im Bezug auf die Fahrzeugquerachse (Ax) zwischen der Fahrer- und Beifahrerseite und bevorzugt im Bezug auf die Fahrzeughochachse (Az) zumindest auf Höhe des Lenkrads.
EP23718621.8A 2022-04-12 2023-04-03 Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem Withdrawn EP4285341A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022001262.6A DE102022001262A1 (de) 2022-04-12 2022-04-12 Innenraumüberwachungssystem und Verfahren zu dessen Betrieb sowie Fahrzeug mit einem solchen Innenraumüberwachungssystem
PCT/EP2023/058712 WO2023198498A1 (de) 2022-04-12 2023-04-03 Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem

Publications (1)

Publication Number Publication Date
EP4285341A1 true EP4285341A1 (de) 2023-12-06

Family

ID=86095702

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23718621.8A Withdrawn EP4285341A1 (de) 2022-04-12 2023-04-03 Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem

Country Status (7)

Country Link
US (1) US12506957B2 (de)
EP (1) EP4285341A1 (de)
JP (1) JP7795650B2 (de)
KR (1) KR20240157046A (de)
CN (1) CN118742927A (de)
DE (1) DE102022001262A1 (de)
WO (1) WO2023198498A1 (de)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6412813B1 (en) * 1992-05-05 2002-07-02 Automotive Technologies International Inc. Method and system for detecting a child seat
JP2008053901A (ja) 2006-08-23 2008-03-06 Konica Minolta Holdings Inc 撮像装置および撮像方法
JP4372804B2 (ja) 2007-05-09 2009-11-25 トヨタ自動車株式会社 画像処理装置
JP5177011B2 (ja) 2009-02-25 2013-04-03 株式会社デンソー 開眼度特定装置
DE102011110486A1 (de) 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102014200783B4 (de) 2014-01-17 2025-12-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogrammprodukt zum Betreiben eines Kraftfahrzeugs
US11669090B2 (en) * 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
DE102014014307A1 (de) * 2014-09-25 2016-03-31 Audi Ag Verfahren zum Betrieb einer Mehrzahl von Radarsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102014221039A1 (de) 2014-10-16 2016-04-21 Robert Bosch Gmbh Steuergerät für ein Kraftfahrzeug mit Kamera für Fahrergesicht und Verfahren zum Aufnehmen des Gesichtes eines Fahrzeuginsassen
JP6443393B2 (ja) * 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
US11845440B2 (en) * 2017-08-02 2023-12-19 Red Bend Ltd. Contactless detection and monitoring system of vital signs of vehicle occupants
JP2020050077A (ja) 2018-09-26 2020-04-02 株式会社Ｓｕｂａｒｕ 車両の乗員監視装置、および乗員保護システム
DE102019001563A1 (de) 2019-03-06 2019-09-05 Daimler Ag Verfahren zur Überwachung eines lnnenraumes
US11524691B2 (en) * 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
DE102019215691A1 (de) 2019-10-11 2021-04-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Zustandserkennung eines Fahrzeuginsassen
US11978266B2 (en) * 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications

Also Published As

Publication number Publication date
JP7795650B2 (ja) 2026-01-07
WO2023198498A1 (de) 2023-10-19
DE102022001262A1 (de) 2023-10-12
US12506957B2 (en) 2025-12-23
CN118742927A (zh) 2024-10-01
KR20240157046A (ko) 2024-10-31
JP2025511762A (ja) 2025-04-16
US20250260894A1 (en) 2025-08-14

Similar Documents

Publication Publication Date Title
EP3452317B1 (de) Verfahren zum verbessern von lichtverhältnissen aus sicht eines fahrers eines kraftfahrzeugs
DE102013100327B4 (de) Fahrzeugfahrtumgebungserkennungsvorrichtung
WO2003060826A1 (de) Verfahren und vorrichtung zur erkennung von sichtbehinderungen bei bildsensorsystemen
DE102022115813A1 (de) Fahrzeug und steuerverfahren davon
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102004034532B4 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE10302671A1 (de) Verfahren und Vorrichtung zur Einstellung eines Bildsensorsystems
DE102019218790A1 (de) Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem sowie Kamerasystem und Kraftfahrzeug
DE102022130104A1 (de) Fahrzeugkameradynamik
DE212013000187U1 (de) System Abbildung einer Aussenszene durch Verwendung eines anwendungsspezifischen Bildsensors
WO2024033123A2 (de) Verfahren zum harmonisierten anzeigen von kamerabildern in einem kraftfahrzeug und entsprechend eingerichtetes kraftfahrzeug
DE102005023697A1 (de) Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs
DE102019114904A1 (de) Vorausschauende Erkennung einer Fahrbahnbeschaffenheit mittels eines Laserscanners und einer Kameraeinheit
WO2023198498A1 (de) Innenraumüberwachungssystem und verfahren zu dessen betrieb sowie fahrzeug mit einem solchen innenraumüberwachungssystem
EP3934929B1 (de) Verfahren zur klassifizierung von objekten innerhalb eines kraftfahrzeugs
DE112017007253T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
DE102004047476B4 (de) Vorrichtung und Verfahren zur Einstellung einer Kamera
DE102020209275A1 (de) Verfahren und System zum proaktiven Einstellen einer biometrischen Fahrzeuginsassen-Überwachungsvorrichtung in Bezug auf bevorstehende Straßenbedingungen
DE102023005203A1 (de) Verfahren zur Sensorfusion
WO2019052936A1 (de) Dynamisch kolorierte anzeige eines fahrzeugs
DE102021205993A1 (de) Verfahren zum Betreiben eines Scheinwerfersystems eines Kraftfahrzeugs
DE102022115866A1 (de) Verfahren zur robusten automatischen Anpassung von Head-Up-Displays
DE102024208951B3 (de) Verfahren zur Abstimmung eines teilautomatisierten Fahrassistenzsystems und Kraftfahrzeug zur Durchführung des Verfahrens
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug
DE102024105312B4 (de) Betriebsverfahren zum Betreiben einer Reinigungsanlage eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230829

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250114

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20250512