EP4552099A1 - Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild - Google Patents

Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild

Info

Publication number
EP4552099A1
EP4552099A1 EP23736017.7A EP23736017A EP4552099A1 EP 4552099 A1 EP4552099 A1 EP 4552099A1 EP 23736017 A EP23736017 A EP 23736017A EP 4552099 A1 EP4552099 A1 EP 4552099A1
Authority
EP
European Patent Office
Prior art keywords
camera
stages
parameters
personal information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23736017.7A
Other languages
English (en)
French (fr)
Inventor
Lorenz Widmann
Sven Fleck
Stefan KALCHMAIR
Sebastian Säger
Emin Tarayan
Benjamin MAY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4552099A1 publication Critical patent/EP4552099A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the invention relates to a method for reducing personal information in a camera image of a camera unit by degrading the camera image, a system for reducing personal information in a camera image of a camera unit by degrading the camera image, and a vehicle with such a system.
  • Image analysis methods in the field of so-called “computer vision” allow the automatic processing of image data from a camera unit.
  • it can be determined whether and how many people are currently in a detection area of the camera unit, objects are recognized in the detection area, and the like;
  • automated image analysis methods can increase safety in road traffic and are sometimes mandatory for the registration of a vehicle.
  • vehicle interior cameras must be provided for certain applications, some of which are relevant to safety and approval, for vehicle functions such as driver or passenger monitoring or for the operation of assistance systems, which must be constantly activated while the vehicle is driving.
  • US 8,666,110 B2 concerns the obscuring of an image area containing private information.
  • a corresponding image section with private information is determined and this area is then manipulated to make it unrecognizable. This particularly applies to a person's face, the license plates of a vehicle, the window area of a house or similar.
  • the corresponding image area can be encrypted, split up/divided. It is further disclosed that a corresponding blurring process can also be performed backwards to restore the original information in the captured image.
  • the object of the invention is to ensure efficient protection of sensitive data, while information from a camera image of a camera unit can still be used to carry out a vehicle function such as an assistance system.
  • a first aspect of the invention relates to a method for reducing personal information in a camera image of a camera unit by degrading the camera image, wherein the camera image processed by image analysis is used to execute a vehicle function such as an assistance system, and wherein to reduce personal information in the camera image in front of the Processing original image data from the camera unit are degraded in stages of image processing, each of the stages carrying out a type of degradation that is characteristic of it and each of the stages having at least one changeable parameter for determining the intensity of the degradation in the respective stage, the values being determined by a computing unit the parameters for each of the stages for determining the distribution of the degradation across the stages are determined by an optimization algorithm using i) the minimum information to be provided for the vehicle function and ii) a desired level of restriction of personal information, where i) and ii) as target variables or target value is used and the parameters for achieving the target values are determined.
  • the minimum information to be provided for the vehicle function represents a minimum requirement the vehicle function is available to the desired extent, ie for
  • the camera unit is preferably arranged on or in a vehicle and provides camera images for a vehicle function, for example an automated application of the vehicle.
  • vehicle function is, for example, the observation of the vehicle interior for the purpose of determining the number of occupants in the vehicle, to personalize functions of the vehicle using facial recognition, a drowsiness warning system or similar.
  • cameras can also be arranged on the outside of the vehicle to provide visual data for a vehicle function of the vehicle, for example for traffic sign recognition or categorization of road users in the area around the vehicle into predetermined categories such as cyclists, pedestrians, other vehicles, etc.
  • a large number of technically different chamber systems can be used for the camera unit.
  • one of the following can be used: RGB camera, IR camera, FIR/NIR/thermal imaging camera, time-of-flight camera, stereo camera, structured light camera.
  • a Multi-Purpose Interior Cam is an interior camera that is located in the center console of the vehicle.
  • the camera can deliver signals to a variety of systems: Attention Assist (driver observation for fatigue and distraction detection, certification), driver assistance system with “hands-free driving” functions, personalization with driver and passenger identification, or even Interior Assistant (personal and gesture recognition), as well as other systems.
  • the camera images from the camera unit often contain not only information relevant to the vehicle function, but may also contain sensitive data from people's privacy.
  • personal information includes information suitable for identifying a person, such as information sufficient for facial recognition.
  • object-related information outside of people themselves can also contain sensitive data, such as vehicle license plates, house numbers and other sensitive data that requires protection and is related to private information.
  • a certain level of such personal information may not be necessary to perform the vehicle function.
  • the information provided after the degradation must at least reach the target value defined as the information to be provided in order to be able to provide sufficient quality to carry out the vehicle function.
  • the degradation of the camera images is carried out using algorithms or mechanisms that are characteristic of the stage in order to degrade the respective camera image through processing steps such as image processing, i.e. H. the information that can be interpreted in the entirety of the pixels of the respective camera image is artificially converted into less interpretable, i.e. H. to make personal data and personal information less identifiable.
  • the degradation is carried out in particular by processing steps such as achieving a reduced resolution of the respective camera image, by imposing overexposure, by means of a changed tone value curve, by bilateral filters/guided filters/cartoonization filters, or similar.
  • Known methods of computational imaging and known image processing filter methods can also be used for degradation.
  • the degraded camera image can be obtained completely color-shifted, noisy and in low resolution compared to the original image data.
  • the parameters of the stages are preferably changed so that the original colors of the original image data are retained.
  • the optimization algorithm optimizes the parameters in such a way that, depending on the application, either the information provided for the vehicle function is the target variable i) is achieved and the achieved level of restriction of personal information is as close as possible to target ii) or for the level of restriction of personal information the target ii) is reached and the achieved information provided for the vehicle function is as close as possible to target i).
  • This variant is used as soon as no values can be found for the parameters, or at least no values within a given time, that enable both target variables i) and ii) to be achieved at the same time.
  • the result is a distribution of the degradation of the original image data across the different stages with their respective characteristics Degradation methods.
  • the intensity of the degradation in a respective stage and thus in a respective characteristic way is determined.
  • the problem space (determined by the number of parameters in the stages) is typically high-dimensional and typically cannot be solved by a simple compromise such as a 1 D parameter limit. In total, over a thousand parameters can be used over a typically single-digit number of levels processing, but there can also be orders of magnitude more parameters.
  • Each of the stages therefore has in particular at least one parameter with the help of which a degradation of the camera image can be determined in a manner specific to the stage in terms of its level and/or manner.
  • all the parameters in their entirety determine a distribution of the degradation across the degradation methods specific to the respective stages, i.e. H. what proportion of degradation each of the stages has in a current situation, in particular depending on the vehicle function.
  • camera images used to perform a vehicle function are efficiently reduced to include personal information to a certain extent.
  • the efficiency of the reduction is achieved in particular by dividing the reduction into different levels, with each individual level providing certain mechanisms for reducing personal information.
  • the physical and logical properties of the respective stage can be optimally utilized depending on which boundary conditions exist with regard to the image properties and which and how much personal information should be removed from the camera images.
  • a compromise can be defined and implemented between the competing requirements of the highest possible level of privacy protection with regard to the private information contained in the camera images on the one hand and the highest possible proportion of remaining information in the camera images for the purpose of executing the vehicle function on the other hand.
  • both the requirements for privacy and the requirements for the vehicle function can be taken into account in particular in such a way that the vehicle function has to accept no or only small losses in its functional scope, while respect for privacy is significantly increased.
  • an attacker is only able to determine the degraded camera images in which the sensitive data has already been completely or partially removed.
  • a measure of a preference between the minimum information to be provided for the vehicle function or a desired level of restriction of personal information and/or a prioritization of one of the target variables is specified by a user.
  • the user can specify and influence a target variable or a target value for the level of functionality of the application through the quality of the information to be provided or a target variable or a target value for the level of personal information.
  • the user can, for example, decide that he wants a high level of restriction on personal data, i.e. that the image data contains little personal data, or that he wants extensive information transmitted through the image data for unrestricted vehicle function.
  • This specification by the user is preferably made on a graphical user interface of a control computer of a vehicle.
  • a graphical element such as a slider can be advantageous here, but discrete entries via checkboxes on the graphical interface can also be used, depending on the situation and application.
  • the target size can only be reduced to a minimum value or the user can also be limited to development staff or workshop staff. Different user authorizations are advantageously provided in order to be able to carry out the specification explained above.
  • a measure of a preference between the information to be provided at least for the vehicle function and a desired level of restriction of personal information and/or a prioritization of one of the target variables is determined by the computing unit, for example, depending on the respective vehicle function, speed, driving situation, environmental conditions etc. specified.
  • the trade-off between i) and ii) is made by the computing unit itself, depending on the respective vehicle function.
  • a target value regarding the minimum information to be provided for the vehicle function for safety-critical vehicle functions can be set by the computing unit, and the limitation of personal information can be maximized in the remaining scope.
  • This can also apply to individual aspects and be taken into account when distributing degradation across the individual levels. For example, if the color of the eyes is important for the vehicle's function, the computing unit will then automatically recognize that a color shift (which helps restrict personal information) may not be carried out in this constellation.
  • the stages of image processing include the following: the image sensor of the camera unit, in particular registers of the image sensor, hardware settings in the control device of the camera unit, in particular calibration data, software processing in the control device of the camera unit for algorithmically executed image processing.
  • the restriction of personal information is achieved in several stages. As outlined above, these preferably include the level of the sensor itself, as personal information can be removed from the data directly at the source.
  • the preferred algorithm in the sensor stage includes the applications: 2x2 binning, 8x subsampling, high value saturation, 16x gain, image cropping, auto-exposure control and tone mapping for optimal privacy.
  • a further preferred level is implemented by the hardware settings in the control device of the camera unit, which is connected downstream of the sensor. This level is implemented in particular in hardware in the ECU (e.g. infotainment central computer). More complex algorithms to increase data protection than in the sensor are possible here without affecting the vehicle function. Because it is implemented in hardware, this level is advantageously well protected against external attackers.
  • the preferred algorithm in the hardware stage includes the applications: Tone mapping for optimal privacy, Minimal color saturation, sharpness reduction with edge preservation.
  • Another preferred stage, which is downstream of the hardware settings in the camera unit control unit, is the software preprocessing in the camera unit control unit, which is ideal for flexible algorithmically executed image processing in order to remove personal data without affecting the vehicle function.
  • Complex algorithms e.g. neural networks
  • the preferred algorithm in the software stage includes the application of the Complex Wavelet SSIM (CW_SSIM), where the abbreviation SSIM stands for "Structural Similarity Index Measure”.
  • the CW_SSIM can be used as a measure of information content.
  • the filters and parameters described below are used to reduce personal information as much as possible, while at the same time ensuring the vehicle function by monitoring the CW_SSIM.
  • filters are used for algorithmically executed image processing (in particular at least one of: noise filters, sharpening filters, scaling filters, tone curve filters, brightness filters, color change filters), which are used by means of an artificial neural network with parameters for parameterizing them be implemented.
  • generic steps are preferably specified, particularly in the form of CNNs (convolutional neural networks).
  • CNNs convolutional neural networks
  • Using well-known training procedures (sometimes with millions of parameters), a seamless chain of CNNs can be optimized globally.
  • the basic assumption here is that for optimal execution of the vehicle function, the camera image obtained for this stage does not necessarily have to appear particularly brilliant and neutral; instead, specific highlights (e.g. of edges) can greatly improve the use of the information for the vehicle function due to their non-linear characteristics.
  • This extended version makes it possible to implement an implementation that is not even possible through prefabricated “building blocks” (as is still the case in current series projects).
  • the respective algorithm for each level is preferably adapted to the existing maximum computing power of the computing unit, to the data formats used, to security requirements, and the like. Since typically only little computing power is available in the above-mentioned preferred first stage, the sensor, simple algorithms are preferably implemented here (e.g. saturate pixels in certain regions to remove personal information). The complexity of the applications in the above-mentioned further preferred levels therefore tends to be higher when selecting the computing unit. Between the stages, the data is transmitted in particular via a physical channel (e.g. from the “sensor” stage to the “hardware settings” stage using a cable from the camera unit to the ECU).
  • a physical channel e.g. from the “sensor” stage to the “hardware settings” stage using a cable from the camera unit to the ECU).
  • a stage upstream of the sensor is used, in which external signals are specifically directed to the sensor to infiltrate the sensor detection itself.
  • an artificial deterioration of the camera image is achieved by active light sources (changing the intensity and/or pattern of existing or additional lighting and/or projectors, preferably in the infrared range).
  • the desired level of restriction of personal information is defined using a structural similarity index with respect to the camera image.
  • the target value for the desired level of restriction of personal information is defined using a so-called “Structural Similarity Index Measure” (SSIM).
  • SSIM Structuretural Similarity Index Measure
  • the preferred measure to quantify the desired level of restriction is: (1-CW_SSIM), in words “One minus CW_SSIM” where "CW stands for “Complex Wavelet” and "SSIM” stands for “Structural Similarity Index Measure”; more information on this can the publication "Z. Wang and A. C. Bovik, "Mean squared error: Love it or leave it? A new look at signal fidelity measures," in IEEE Signal Processing Magazine, vol. 26, no. 1, pp. 98-117, Jan. 2009, doi: 10.1109/MSP.2008.930649".
  • the information to be provided at least for the vehicle function includes an average standard deviation or a signal-to-noise ratio with respect to the camera image.
  • MSE mean standard deviation
  • a computing unit arranged in a vehicle is used, with continuously updated values of the parameters for each of the stages being determined by the computing unit for a continuously updated determination of the distribution of the degradation across the stages.
  • the current parameters, as determined by the computing unit, are thus determined onboard, i.e. locally in the vehicle itself.
  • the continuously updated determination of the distribution of the degradation leads to an adjustment of the distribution of the degradation across the stages as well as the overall intensity of the degradation Real time.
  • An adaptation to prevailing conditions can therefore advantageously be carried out in order to achieve a to be able to continuously carry out optimal distribution of information between the vehicle function and the goal of reducing personal information.
  • the parameters for each of the stages are determined by a computing unit depending on the situation parameters determined, the situation parameters in particular comprising one of the following: distance of a person's face to the camera unit, facial movements of a person relative to the camera unit, environmental conditions such as prevailing brightness , driving situation.
  • the restriction of personal information can therefore be varied, since, for example, a face close to a camera is more critical in terms of privacy than a more distant face, for example in the back seat of a vehicle in the dark.
  • a prediction is preferably made using artificial intelligence or regression methods, even if a previously used reference image is no longer available during operation.
  • the determination of the values of the parameters for each of the stages for determining the distribution of the degradation over the stages by the optimization algorithm is advantageously also carried out adaptively, in particular with regard to the geometric ROIs (regions of interest) for the vehicle function, in particular around the ROI, that is to say information of this particular one area, if possible.
  • ROIs can be determined using well-known algorithmic face detections.
  • face detectors for facial recognition
  • the peculiarities of the respective vehicle function can be taken into account with regard to the sensitivity of parameter values to certain image properties such as noise, lack of structure, lack of contrast.
  • the expected or actual current scene e.g.
  • the computing unit outputs values of the parameters of the stages for predefined camera images or for camera images predefined scenes and are stored in a control unit of the vehicle.
  • the values of the parameters do not have to be redetermined, but rather a predefined set of predefined values of parameters can be used, which have already been determined offboard in the past became.
  • Predefined camera images can be used if an almost exactly recurring situation, recorded by the camera unit, can be assumed.
  • Camera images from predefined scenes are more flexible in use and only require similarities in the characteristics of the scenes.
  • the parameter values stored in the control unit instead of the parameter values continuously updated by the computing unit, are only used for degradation if a predefined camera image or a camera image from a predefined scene is present during operation.
  • the computing unit determines the values of the parameters using a numerical, in particular iterative, method.
  • the iterative, numerical method is used particularly advantageously to iteratively approach predetermined target variables regarding i) or ii), i.e. H. to change the values of the parameters until the required thresholds of the target variables are met or at least a threshold i) or ii) of the target variable is reached and the corresponding other threshold is achieved in the best possible way.
  • predetermined target variables regarding i) or ii), i.e. H. to change the values of the parameters until the required thresholds of the target variables are met or at least a threshold i) or ii) of the target variable is reached and the corresponding other threshold is achieved in the best possible way.
  • an iterative search algorithm can be used for nonlinear optimization problems.
  • the computing unit uses the Determination of the values of the parameters is carried out using a pre-trained, artificial neural network.
  • the optimization algorithm uses a pre-trained artificial neural network to determine the parameters.
  • Possible input variables of the pre-trained artificial neural network are, in particular, the respective camera image and target variables i) and ii);
  • Output values are parameters of the stages.
  • the pre-trained, artificial neural network is continuously trained on a server based on data from camera units of vehicles, with updates of the artificial neural network being transmitted back to vehicles in a fleet.
  • the elements of the stages with their parameters are not only combined from a set of prefabricated filters, but are also completely generated using deep learning methods, analogous to Generative Adversarial Networks (GANs).
  • GANs Generative Adversarial Networks
  • the hardware components are also taken into account in the target function using a further term.
  • the resource expenditure is included in order to take this into account in the optimization algorithm - for example, if the level of restriction of personal information remains the same, the variant of parameters is chosen under similar (in particular to the extent that essentially constant) quality and quantity of information to be provided for the vehicle function (in particular for the selection of filter modules) which can be carried out particularly efficiently on the computing unit or in the respective stage.
  • a further aspect of the invention relates to a system for reducing personal information in a camera image of a camera unit by degrading the camera image, wherein the camera image processed by image analysis is used to carry out a vehicle function, in particular in a vehicle, and wherein a computing unit is used to reduce personal information in the camera image is designed to degrade original image data from the camera unit in stages before processing, each of the stages carrying out a type of degradation that is characteristic of it and each of the stages having at least one changeable parameter for determining the intensity of the degradation in the respective stage, wherein the computing unit is designed to use the values of the parameters for each of the stages to determine the distribution of the degradation over the Stages to be determined by an optimization algorithm using i) the minimum information to be provided for the vehicle function and ii) a desired level of restriction of personal information, where i) and ii) are used as target variables and the parameters for achieving the target variables are determined.
  • Another aspect of the invention relates to a vehicle with a system as described above and below.
  • Fig. 2 the degradation stages used in the system according to the exemplary embodiment of Fig. 1 in detail;
  • Fig. 3 further embodiment of the degradation stages used in the system according to the exemplary embodiment of Fig. 1 and
  • Fig. 4 sequence of the method according to the invention.
  • Fig. 1 shows the interior of a vehicle 3 with a camera unit 1 and a computing unit 5.
  • a method for reducing personal information in a respective camera image of the camera unit 1 is carried out by degrading the camera image.
  • the camera image is used for the purposes of a Vehicle function generated by the camera unit 1 in high-frequency repetitions.
  • a Multi-Purpose Interior Cam is used to perform a vehicle function such as an automated drowsiness warning.
  • this also means that personal data is recorded in a secondary effect, meaning that the data in the camera image, which is in principle sufficient for facial recognition, both automatically and by a person, poses a security risk in that, for example, an attacker from outside could gain access to this data.
  • the aim is therefore to remove as much as possible the data in the respective camera image that can be used to identify the person being filmed, without impairing the vehicle function.
  • the original image data is degraded in processing stages of the camera unit 1, that is, artificially degraded.
  • Each of the stages carries out a type of degradation that is characteristic of it.
  • each of the stages has a set of parameters with variable values.
  • This distribution is determined by a computing unit 5 by using the values of the parameters for each of the stages to determine the distribution of the degradation across the stages by an optimization algorithm using i) the information to be provided for the vehicle function application and ii) a desired level of restriction personal information can be determined.
  • the competing objectives i) and ii) are specified as target variables of an iterative non-linear optimization algorithm for carrying out a multi-objective optimization in order to achieve the target value i) for the information provided for the vehicle function and the target value ii) for the level of restriction of personal information.
  • the parameters are optimized so that either the information provided for the vehicle function reaches the target value i) and the level of restriction of personal information is as close as possible to the target value ii) or for the level of restriction of personal information the target value ii) ie the desired one Level of restriction is reached and the information provided for the vehicle function is as close as possible to the target variable i).
  • the stages include the following: 1a an image sensor of the camera unit 1, in particular registers of the image sensor; 1b hardware settings in the control device of the camera unit 1, in particular calibration data, and 1c a software processing in the control device of the camera unit 1 for algorithmically executed image processing. Furthermore, an optional stage 1d, which is not explained in more detail, is shown, which can be further parameterized, the goals i) and ii) include influencing settings such as object lighting, post-processing stages, etc. These are shown in more detail in Figure 2. Starting from the camera unit 1, a variety of methods are already used in the sensor in the first stage 1a in order to modify the original camera image of the camera unit 1. The respective parameters in this stage concern the above-mentioned image sensor of camera unit 1.
  • CW_SSIM Complex Wavelet SSIM
  • an image processed through the stages and recorded by the camera 1 is analyzed by comparing the minimum information i) to be provided for the vehicle function as a target variable 7 in order to fulfill a predetermined scope of functions with an actual value for the information 7a included in the image and that of a desired level the restriction of personal information ii) as a target value 9 is compared with an actual value of the image with regard to the level of personal data 9a.
  • the computing unit 5 optimizes the parameters of all stages 1a to 1d, for example in an iterative optimization process, until ideally the actual values for the vehicle function are represented by the image processed in stages S1 to S4
  • the information provided and the level of personal data reach at least the target values 7, 9 and then outputs image 11.
  • the parameters of levels 1a to 1d are determined in such a way that the target value i) is at least for the information provided for the vehicle function. or the target value ii) is achieved for the level of restriction of personal information and the other value is optimized as best as possible.
  • the information provided for the vehicle function is prioritized so that it achieves the target size required for the function.
  • Fig. 3 shows an embodiment in which the optimization algorithm of the computing unit is designed as a pre-trained neural network.
  • the neural network is set up to determine the parameters of stages 1a to 1d on the basis of an image recorded by the camera 1 and predetermined target variables i) for the minimum information 7 to be provided for the vehicle function and a desired level of restriction of personal information 9 in such a way that Image 11 processed in stages 1a to 1d and subsequently output provides the information 7a required for the vehicle function and complies with the desired level of restriction of personal information 9a.
  • step S3 it is checked whether the information provided by the image for the vehicle function reaches the target variable i), i.e. the minimum information (7) to be provided to the vehicle function and whether the level of restriction of personal information of the image reaches the desired level of restriction of personal information . If the check produces a positive result, then the image is output in step S4. If the check in S3 produces a negative result, then in step S5 the image processing parameters are changed by the optimization algorithm of the computing unit 5 and transmitted to stages 1a to 1d. In step S2, the image is processed with the changed parameters and then compared again in step 3 with the target variables i) and i)). The optimization in step S5 continues until the target variables i) and ii) are reached and the image can then be output in step 4.
  • the target variable i i.e. the minimum information (7) to be provided to the vehicle function
  • step S5 the image processing parameters are changed by the optimization algorithm of the computing unit 5 and transmitted to stages 1a to 1d.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit (1), wobei das verarbeitete Kamerabild zum Ausführen einer Fahrzeugfunktion dient, wobei vor der Verarbeitung originale Bilddaten der Kameraeinheit (1) in Stufen degradiert werden, wovon jede eine für sie charakteristische Art der Degradierung vornimmt und einen veränderbaren Parameter zur Bestimmung der Intensität der Degradierung aufweist, wobei von einer Recheneinheit (5) die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen ermittelt werden, wobei i) und ii) als Zielgrößen verwendet werden.

Description

Verfahren und Vorrichtung zur Beschränkung von personenbezogenen Informationen in einem Kamerabild
Die Erfindung betrifft ein Verfahren zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit mittels Degradierung des Kamerabilds, ein System zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit mittels Degradierung des Kamerabilds, sowie ein Fahrzeug mit einem solchen System.
Bildanalyseverfahren im Feld der sogenannten "Computer Vision" erlauben die automatische Verarbeitung von Bilddaten einer Kameraeinheit. Hierbei kann beispielsweise festgestellt werden, ob und wie viele Personen sich in einem Erfassungsbereich der Kameraeinheit aktuell aufhalten, Objekte im Erfassungsbereich erkannt werden, und Ähnliches; gerade in Anwendungen des automatisierten Fahrens von Fahrzeugen oder Fahrerassistenzsystemen können solche auch automatisierten Bildanalyseverfahren die Sicherheit im Straßenverkehr erhöhen und sind zum Teil für die Zulassung eines Fahrzeugs verpflichtend vorzusehen. Beispielsweise sind für manche Regionen der Erde Innenraumkameras von Fahrzeugen für bestimmte, teils sicherheits- und zulassungsrelevante Anwendungsfälle für Fahrzeugfunktionen wie dem Fahrer- oder Insassenmonitoring oder zum Betrieb von Assistenzsystemen vorzusehen, die während der Fahrt des Fahrzeugs ständig aktiviert sein müssen. Dies führt grundsätzlich zu dem Dilemma, dass neben den sicherheitstechnischen Vorteilen, die eine solche Innenraumkamera bietet, offensichtliche Einschränkungen der Privatsphäre der Insassen entstehen, insbesondere dann, wenn prinzipiell das Gesicht eines Insassen in den originalen Kamerabildern der Kameraeinheit identifizierbar ist. Während die Gefahr eines unrechtmäßigen Zugriffs auf die Kamerabilder durch Hackerangriffe besteht, ist die vollständige Deaktivierung solcher Kameraeinheiten zum Betreiben von Fahrzeugfunktionen oder Assistenzsystemen nicht möglich. Es ist daher wünschenswert, die Wahrung der Privatsphäre von im Erfassungsbereich einer Kameraeinheit erscheinenden Personen sowie anderen sensiblen Situationen und Objekten zu wahren, und gleichzeitig die Funktion einer automatisierten Anwendung, einer Fahrzeugfunktion oder eines Assistenzsystems, welche auf das Vorliegen von Kamerabildern dieser Kameraeinheit angewiesen ist, aufrecht zu erhalten.
Die US 8,666,110 B2 betrifft das Unkenntlichmachen eines Bildbereiches mit privaten Informationen. Hierzu wird ein entsprechender Bildausschnitt mit privaten Informationen ermittelt, und daraufhin dieser Bereich zum Unkenntlichmachen manipuliert. Dies betrifft insbesondere das Gesicht einer Person, die Nummernschilder eines Fahrzeugs, den Fensterbereich eines Hauses oder Ähnliches. Zur Unkenntlichmachen kann der entsprechende Bildbereich verschlüsselt zerlegt, aufgeteilt/werden. Es wird ferner offenbart, dass ein entsprechender Vorgang zum Unkenntlichmachen auch rückwärts durchgeführt werden kann, um die ursprünglichen Informationen im erfassten Bild wiederherzustellen.
Aufgabe der Erfindung ist es, einen effizienten Schutz sensibler Daten zu gewährleisten, während weiterhin Informationen aus einem Kamerabild einer Kameraeinheit zur Ausführung einer Fahrzeugfunktion wie einem Assistenzsystem verwendbar sind.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit mittels Degradierung des Kamerabilds, wobei das durch Bildanalyse verarbeitete Kamerabild zum Ausführen einer Fahrzeugfunktion wie beispielsweise einem Assistenzsystem dient, und wobei zur Reduzierung von personenbezogenen Informationen im Kamerabild vor der Verarbeitung originale Bilddaten der Kameraeinheit in Stufen der Bildverarbeitung degradiert werden, wobei jede der Stufen eine für sie charakteristische Art der Degradierung vornimmt und jede der Stufen zumindest einen veränderbaren Parameter zur Bestimmung der Intensität der Degradierung in der jeweiligen Stufe aufweist, wobei von einer Recheneinheit die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen ermittelt werden, wobei i) und ii) als Zielgrößen bzw. Zielwert verwendet und die Parameter zur Erreichung der Zielgrößen bestimmt werden. Die für die Fahrzeugfunktion mindestens bereitzustellenden Informationen stehen für eine Mindestanforderung, bei der die Fahrzeugfunktion in gewünschtem Umfang, d.h. beispielsweise ohne Einschränkung, mit leichten oder erheblichen Einschränkungen verfügbar ist.
Die Kameraeinheit ist bevorzugt an oder in einem Fahrzeug angeordnet und liefert Kamerabilder für eine Fahrzeugfunktion, beispielweise einer automatisierten Anwendung des Fahrzeugs. Eine solche Fahrzeugfunktion ist beispielsweise die Beobachtung des Fahrzeuginnenraums zum Zweck der Bestimmung der Anzahl von Insassen im Fahrzeug, zur Personalisierung von Funktionen des Fahrzeugs mittels Gesichtserkennung, ein Müdigkeits- Warnsystem oder Ähnliches. Aber auch an einer Außenseite des Fahrzeugs können Kameras zur Bereitstellung von visuellen Daten für eine Fahrzeugfunktion des Fahrzeugs angeordnet sein, beispielsweise zur Verkehrszeichenerkennung oder Kategorisierung von Verkehrsteilnehmern in der Umgebung des Fahrzeuges in vorgegebene Kategorien wie Fahrradfahrer, Fußgänger, andere Fahrzeuge etc.
Für die oben beispielhaft genannten Anwendungen kann eine Vielzahl technisch verschiedenartiger Kammersysteme für die Kameraeinheit verwendet werden. Insbesondere kann jeweils eine aus den folgenden verwendet werden: RGB-Kamera, IR- Kamera, FIR-/NIR-/Wärmebildkamera, Time-of-Flight-Camera, Stereo-Kamera, Structured Light Camera.
Eine Multi-Purpose Interior Cam (MPIC) ist beispielsweise eine Innenraumkamera, die in der Mittelkonsole des Fahrzeugs angeordnet ist. Die Kamera kann Signale an eine Vielzahl von Systemen liefern: Attention Assist (Fahrerbeobachtung für Müdigkeits- und Ablenkungserkennung, Zertifizierung), Fahrerassistenz-System mit „Hands-Free Driving“ Funktionen, Personalisierung mit Fahrer- und Beifahreridentifikation, oder auch Interior Assistant (Personen- und Gestenerkennung), sowie weitere Systeme.
In den Kamerabildern der Kameraeinheit sind häufig nicht nur die für die Fahrzeugfunktion Informationen enthalten, es können auch sensible Daten aus der Privatsphäre von Personen enthalten sein. Insbesondere umfassen die personenbezogenen Informationen die zur Identifizierung einer Person geeigneten Informationen, wie Informationen die für die Gesichtserkennung ausreichend sind. Aber auch objektbezogene Informationen außerhalb von Personen selbst können sensible Daten enthalten, wie beispielsweise Kennzeichenschilder von Fahrzeugen, Hausnummern und andere sensible, schützenswerte Daten mit Bezug zu privaten Informationen. Abhängig von der Fahrzeugfunktion ist jedoch ein gewisser Grad von solchen personenbezogenen Informationen nicht notwendig zur Ausführung der Fahrzeugfunktion. Erfindungsgemäß wird daher vorgeschlagen, ein gewisses Maß von personenbezogenen Informationen, wenn möglich, im Datenpfad vom Sensor der Kameraeinheit bis hin zur verarbeitenden Computereinheit insbesondere eines Fahrzeugs zur Ausführung der Fahrzeugfunktion in verschiedenen Stufen zu degradieren. Dabei müssen die nach der Degradierung bereitgestellten Informationen mindestens den als bereitzustellenden Informationen definierten Zielgröße erreichen, um eine ausreichende Güte zur Ausführung der Fahrzeugfunktion bereitstellen zu können.
Die Degradierung der Kamerabilder wird durch für die Stufe charakteristische Algorithmen bzw. Mechanismen ausgeführt, um durch Bearbeitungsschritte wie Bildbearbeitung das jeweilige Kamerabild zu degradieren, d. h. die in der Gesamtheit der Pixel des jeweiligen Kamerabildes interpretierbaren Informationen künstlich hin zu weniger interpretierbaren, d. h. zu einer geringeren Identifizierbarkeit von persönlichen Daten und personenbezogenen Informationen, zu transformieren. Das Degradieren erfolgt insbesondere durch Bearbeitungsschritte wie zum Erreichen einer reduzierten Auflösung des jeweiligen Kamerabildes, durch Aufprägen einer Überbelichtung, mittels einer veränderten Tonwertkurve, durch bilaterale Filter/Guided filter/Cartoonization Filter, oder Ähnliches. Es können ferner bekannte Methoden des Computational Imaging sowie von bekannten Image Processing Filter Methoden zur Degradierung verwendet werden.
Im Ergebnis kann in einem Ausführungsbeispiel das degradierte Kamerabild völlig farbverschoben, verrauscht und in kleiner Auflösung im Vergleich zu den originalen Bilddaten erhalten werden. In einem anderen Ausführungsbeispiel, in welchem die originalen Farben der originalen Bilddaten als wichtig erachtet würden zur einwandfreien Ausführung der Fahrzeugfunktion, werden bevorzugt die Parameter der Stufen so abgeändert, dass die originalen Farben der originalen Bilddaten erhalten bleiben.
Es ergibt sich dabei für jedes einzelne jeweilige Kamerabild eine notwendige Abwägung, d.h. einen zu findenden Kompromiss, zwischen dem einen Ziel, möglichst viele Informationen aus den originalen Bilddaten zu erhalten, um eine einwandfreie Funktion der Ausführung der Fahrzeugfunktion gewährleisten zu können, und dem anderen Ziel, möglichst viele personenbezogene Informationen aus den originalen Bilddaten zu entfernen. Dies sind grundsätzlich konkurrierende Ziele, zwischen denen in einer ersten Variante des ersten Aspekts der Erfindung so ausgewählt wird, dass beide als Zielgrößen in einem Optimierungsalgorithmus fungieren. Hierzu erfolgt beispielsweise eine Mehrzieloptimierung mit den genannten Zielen i) und ii) als jeweilige Zielgröße, die insbesondere gewichtet in einer gemeinsamen Kostenfunktion optimiert werden.
In einer alternativen oder zusätzlichen zweiten Variante des ersten Aspekts der Erfindung wird für den Fall, dass mittels Veränderung der Parameter nicht beide Zielgrößen gleichzeitig erreichbar sind, der Optimierungsalgorithmus die Parameter dahingehend optimiert, dass je nach Anwendungsfall entweder für die Fahrzeugfunktion bereitgestellten Informationen die Zielgröße i) erreicht wird und das erreichte Niveau der Beschränkung personenbezogener Informationen bestmöglich nahe der Zielgröße ii) liegt oder für das Niveau der Beschränkung personenbezogener Informationen die Zielgröße ii) erreicht wird und die erreichten bereitgestellten Informationen für die Fahrzeugfunktion bestmöglich nahe der Zielgröße i) liegen. Diese Variante findet Anwendung, sobald keine oder zumindest in einer vorgegebenen Zeit keine Werte für die Parameter auffindbar sind, die ein gleichzeitiges Erreichen beider Zielgrößen i) und ii) ermöglichen.
Damit sind erfindungsgemäß folgende Alternativen möglich:
- Eine Priorisierung der Privatsphäre durch Beschränkung und Entfernung von personenbezogenen Informationen entsprechend der Zielgröße ii) und bestmöglich nahe der Zielgröße i) für die Fahrzeugfunktion bereitgestellte Informationen oder
- Eine Priorisierung der für die Fahrzeugfunktion bereitzustellenden Informationen entsprechend der Zielgröße i) und bestmögliche nahe des gewünschten Niveaus der Beschränkung ii) liegende personenbezogene Informationen.
Unabhängig davon, ob der Optimierungsalgorithmus ein lineares Optimierungsproblem analytisch löst, ein nichtlineares Optimierungsproblem iterativ löst oder eine datenbankbasierte Lösung ausführt (Tabelle, Look-Up-Table), ist das Ergebnis eine Verteilung der Degradierung der originalen Bilddaten über die verschiedenen Stufen mit ihren jeweiligen charakteristischen Methoden zur Degradierung. Durch Bestimmung der Werte für die Parameter einer jeweiligen Stufe wird die Intensität der Degradierung in einer jeweiligen Stufe und damit auf eine jeweilige charakteristische Art festgelegt. Der Problemraum (bestimmt durch die Zahl der Parameter in den Stufen) ist hierbei jedoch typischerweise hochdimensional und kann typischerweise nicht durch einen simplen Kompromiss wie eine 1 D Parametergrenze gelöst werden. Es können im Gesamten über eintausend Parameter über eine typischerweise einstellige Zahl von Stufen der Verarbeitung bestehen, es können aber auch um Größenordnungen mehr Parameter bestehen.
Jede der Stufen weist damit insbesondere mindestens einen Parameter auf, mithilfe dessen eine Degradierung des Kamerabildes auf eine für die Stufe eigene Art in ihrer Höhe und/oder in ihrer Weise bestimmt werden kann. Durch sämtliche Parameter in ihrer Gesamtheit wird somit nach Bestimmung der Werte der Parameter eine Verteilung der Degradierung über die für die jeweiligen Stufen eigenen Methoden zur Degradierung bestimmt, d. h. welchen Anteil eine Degradierung jede der Stufen in einer aktuell vorliegenden Situation, insbesondere abhängig von der Fahrzeugfunktion, aufweist.
Die Werte der Parameter für die aufeinanderfolgenden Stufen der Verarbeitung zu bestimmen und damit die Bestimmung der Verteilung der Degradierung über die Stufen, sowie die Intensität der Degradierung im Gesamten, und gemäß mancher Ausführungsformen (siehe weiter unten) auch die lokale Intensitäts- Verteilung der Degradierung der Bilddaten innerhalb des Kamerabildes, ist Ziel des Optimierungsalgorithmus.
Es ist somit eine vorteilhafte Wirkung der Erfindung, dass Kamerabilder, die zum Ausführen einer Fahrzeugfunktion verwendet werden, um personenbezogene Informationen bis zu einem bestimmten Grad effizient reduziert werden. Die Effizienz der Reduzierung wird insbesondere von der Aufteilung der Reduzierung auf verschiedene Stufen, wobei jede der einzelnen Stufen bestimmte Mechanismen zur Reduzierung der personenbezogenen Informationen bereitstellt, erreicht. Es können die physischen und logischen Eigenschaften der jeweiligen Stufe insofern optimal ausgenutzt werden abhängig davon, welche Randbedingungen bezüglich der Bildeigenschaften vorliegen und welche und wie viele personenbezogenen Informationen aus den Kamerabildern entfernt werden sollen. Es kann ferner ein Kompromiss zwischen den konkurrierenden Anforderungen eines möglichst hohen Schutzes der Privatsphäre bezüglich der in den Kamerabildern enthaltenen privaten Informationen einerseits und des möglichst hohen Anteils verbleibender Informationen in den Kamerabildern zum Zwecke der Ausführung der Fahrzeugfunktion andererseits definiert und umgesetzt werden. Vorteilhaft können somit sowohl die Anforderungen an die Privatsphäre als auch die Anforderungen an die Fahrzeugfunktion insbesondere so berücksichtigt werden, dass die Fahrzeugfunktion keine oder nur geringe Verluste in ihrem Funktionsumfang hinnehmen muss, während die Achtung der Privatsphäre signifikant erhöht wird. Es besteht somit eine systematische Möglichkeit zur Optimierung der Abwägung zwischen Datenschutz und Funktion der Anwendung. Ein Angreifer ist damit prinzipiell nur in der Lage, die degradierten Kamerabilder ermitteln zu können, in denen die sensiblen Daten jedoch bereits ganz oder zu einem erheblichen Teil entfernt wurden.
Gemäß einer vorteilhaften Ausführungsform wird ein Maß für eine Präferenz zwischen den für die Fahrzeugfunktion mindestens bereitzustellenden Informationen oder eines gewünschten Niveaus der Beschränkung personenbezogener Informationen und/oder einer Priorisierung einer der Zielgrößen von einem Benutzer vorgegeben.
Mit anderen Worten kann der Nutzer eine Zielgröße bzw. einen Zielwert für das Niveau einer Funktionsfähigkeit der Anwendung durch die Güte der bereitzustellenden Informationen oder eine Zielgröße bzw, einen Zielwert für das Niveau personenbezogener Informationen vorgeben und beeinflussen. Der Nutzer kann beispielsweise entscheiden, dass er ein hohes Niveau der Beschränkung personenbezogener Daten, d.h. dass die Bilddaten wenig personenbezogene Daten umfassen, oder für eine uneingeschränkte Fahrzeugfunktion umfangreiche, durch die Bilddaten übermittelte Informationen wünscht. Diese Vorgabe durch den Benutzer wird bevorzugt an einer grafischen Bedienoberfläche eines Bedienrechners eines Fahrzeugs vorgenommen. Hierbei kann ein grafisches Element wie ein Schieberegler von Vorteil sein, aber auch diskrete Eingaben über Checkboxen an der grafischen Oberfläche können verwendet werden, je nach Situation und Anwendung.
Im Falle von sicherheitskritischen oder durch Zulassungsvorschriften unbedingt rechtlich erforderlichen Fahrzeugfunktion kann die Zielgröße nur bis zu einem Mindestwert reduziert werden oder die Person des Benutzers kann auch auf Entwicklungspersonal oder Werkstattpersonal beschränkt sein. Vorteilhaft werden somit verschiedene Benutzerberechtigungen vorgesehen, um die oben erklärte Vorgabe vornehmen zu können.
Gemäß einer weiteren vorteilhaften Ausführungsform wird ein Maß für eine Präferenz zwischen den für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und eines gewünschten Niveaus der Beschränkung personenbezogener Informationen und/oder einer Priorisierung einer der Zielgrößen von der Recheneinheit beispielsweise abhängig von der jeweiligen Fahrzeugfunktion, Geschwindigkeit, Fahrsituation, Umgebungsbedingungen etc. vorgegeben.
Im Gegensatz zur vorhergehend beschriebenen Ausführungsform wird die Abwägung zwischen i) und ii) von der Recheneinheit selbst getroffen, und zwar abhängig von der jeweiligen Fahrzeugfunktion. So kann beispielsweise eine Zielgröße bezüglich der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen für sicherheitskritische Fahrzeugfunktion von der Recheneinheit festgelegt werden, und im verbleibenden Spielraum die Beschränkung personenbezogener Informationen maximiert werden. Dies kann auch für einzelne Aspekte gelten und bei der Verteilung der Degradierung über die einzelnen Stufen berücksichtigt werden. Wenn beispielsweise die Augenfarbe für die Fahrzeugfunktion wichtig ist, wird dann die Recheneinheit selbständig erkennen, dass eine Farbverschiebung (was der Beschränkung personenbezogener Informationen hilft) in dieser Konstellation nicht vorgenommen werden darf.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Stufen der Bildverarbeitung die folgenden: Den Bildsensor der Kameraeinheit insbesondere Register des Bildsensors, Hardwareeinstellungen im Steuergerät der Kameraeinheit insbesondere Kalibrierdaten, Softwareprozessierung im Steuergerät der Kameraeinheit zur algorithmisch ausgeführten Bildbearbeitung.
Die Beschränkung personenbezogener Informationen wird in mehreren Stufen erreicht. Diese umfassen wie oben skizziert bevorzugt die Stufe des Sensors selbst, da hier persönliche Information direkt an der Quelle aus den Daten entfernt werden können. Der bevorzugte Algorithmus in der Stufe des Sensors umfasst die Anwendungen: 2x2 Binning, 8x Subsampling, High value saturation, 16x gain, image cropping, auto-exposure control and tone mapping for optimal privacy. Eine weitere bevorzugte Stufe ist durch die Hardwareeinstellungen im Steuergerät der Kameraeinheit, welche dem Sensor nachgeschaltet ist, realisiert. Diese Stufe ist insbesondere in Hardware in der ECU (z.B. Infotainment Zentralcomputer) realisiert. Hier sind komplexere Algorithmen zur Erhöhung des Datenschutzes als im Sensor möglich, ohne die Fahrzeugfunktion zu beeinträchtigen. Durch die Realisierung in Hardware ist diese Stufe vorteilhaft gut vor externen Angreifer geschützt. Der bevorzugte Algorithmus in der Stufe der Hardware umfasst die Anwendungen: Tone mapping for optimal privacy, Minimal color saturation, sharpness reduction with edge preservation. Eine weitere bevorzugte Stufe, die hinter der der Hardwareeinstellungen im Steuergerät der Kameraeinheit nachgeschaltet ist, ist das Software Preprocessing im Steuergerät der Kameraeinheit, welches zur flexiblen algorithmisch ausgeführten Bildbearbeitung ideal geeignet ist, um persönliche Daten zu entfernen, ohne die Fahrzeugfunktion zu beeinträchtigen. Komplexe Algorithmen (z.B. Neuronale Netzwerke) können hier angewendet werden, um persönliche Information aus den Daten zu entfernen. Die Realisierung dieser dritten Stufe in Software macht diese Stufe allerdings leichter angreifbar. Der bevorzugte Algorithmus in der Stufe der Software umfasst die Anwendung des Complex Wavelet SSIM (CW_SSIM), wobei die Abkürzung SSIM für "Structural Similarity Index Measure" steht. Der CW_SSIM kann als Messgröße für den Informationsgehalt verwendet werden. Für diesen bevorzugten Algorithmus werden unten beschriebene Filter und Parameter verwendet um personenbezogene Informationen möglichst stark zu verringern, und die gleichzeitig die Fahrzeugfunktion mittels Überwachung des CW_SSIM sichergestellt.
In einer weiteren Ausführungsform werden in der Stufe der Softwareprozessierung im Steuergerät der Kameraeinheit zur algorithmisch ausgeführten Bildbearbeitung Filter verwendet (insbesondere mindestens einer aus: Rauschfilter, Nachschärfefilter, Skalierungsfilter, Tonwertkurvenfilter, Helligkeitsfilter, Farbveränderungsfilter), die mittels eines künstlichen neuronalen Netzes mit Parametern zum Parametrieren dieser implementiert werden. Hierzu werden bevorzugt generische Schritte insbesondere in Form von CNNs (convolutional neuronal networks) vorgegeben. Durch bekannte Trainingsverfahren (von teils Millionen von Parametern) kann so eine nahtlose Kette von CNNs global optimiert werden. Grundannahme hierbei ist, dass für eine optimale Ausführung der Fahrzeugfunktion das für diese Stufe erhaltene Kamerabild nicht notwendigerweise besonders brillant und neutral erscheinen muss, stattdessen können spezifische Hervorhebungen (etwa von Kanten) die Verwendung der Informationen für die Fahrzeugfunktion aufgrund ihrer nichtlinearen Charakteristik stark verbessern. Somit ist vorteilhaft durch diese erweiterte Ausführung eine Umsetzung möglich, welche durch vorgefertigte „building blocks“ (wie dies in aktuellen Serienprojekten nach wie vor der Fall ist) gar nicht zur Verfügung steht.
Der jeweilige Algorithmus für jede Stufe wird bevorzugt angepasst an die vorhandene maximale Rechenleistung der Recheneinheit, an verwendete Datenformate, an Security- Anforderungen, und Ähnliches. Da typischerweise in der o.g. bevorzugten ersten Stufe, dem Sensor, nur wenig Rechenleistung zur Verfügung steht, werden hierin bevorzugt einfache Algorithmen implementiert (z.B. Pixel in bestimmten Regionen sättigen um persönliche Information zu entfernen). Die Komplexität der Anwendungen in o.g. weiteren bevorzugten Stufen ist dementsprechend tendenziell höher zu wählen von der Recheneinheit. Zwischen den Stufen werden die Daten insbesondere über einen physischen Kanal übertragen (z.B. von Stufe "Sensor" zu Stufe "Hardwareeinstellungen" mittels eines Kabels von der Kameraeinheit zur ECU).
In einer weiteren vorteilhaften Ausführungsform wird beispielsweise eine dem Sensor vorgelagerte Stufe verwendet, in der externe Signale auf den Sensor gezielt gerichtet werden, um die Sensorerfassung selbst zu unterwandern. In einer bevorzugten Ausführungsform wird eine künstliche Verschlechterung des Kamerabildes durch aktive Lichtquellen (Änderung der Intensität und/oder Pattern vorhandener oder zusätzlicher Beleuchtungen und/oder Projektoren, vorzugsweise im Infrarot-Bereich) erreicht.
Gemäß einer weiteren vorteilhaften Ausführungsform wird das gewünschte Niveau der Beschränkung personenbezogener Informationen mittels eines Structural Similarity Index bezüglich des Kamerabilds definiert. Nach dieser Ausführungsform wird die Zielgröße für das gewünschten Niveau der Beschränkung personenbezogener Informationen mittels eines sogenannten "Structural Similarity Index Measure" (SSIM) definiert. Als bevorzugtes Maß zur Quantifizierung des gewünschten Niveaus der Beschränkung wird verwendet: (1-CW_SSIM), in Worten "Eins minus CW_SSIM" wobei "CW für "Complex Wavelet" steht und "SSIM" für "Structural Similarity Index Measure"; weitere Informationen hierzu können der Publikation "Z. Wang and A. C. Bovik, "Mean squared error: Love it or leave it? A new look at Signal Fidelity Measures" in IEEE Signal Processing Magazine, vol. 26, no. 1, pp. 98-117, Jan. 2009, doi: 10.1109/MSP.2008.930649" entnommen werden.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die für die Fahrzeugfunktion mindestens bereitzustellenden Informationen eine mittlere Standardabweichung oder ein Signal-Rausch- Verhältnis bezüglich des Kamerabilds.
Auch bezüglich der mittleren Standardabweichung (abgekürzt "MSE") können weitere Informationen hierzu können der Publikation "Z. Wang and A. C. Bovik, "Mean squared error: Love it or leave it? A new look at Signal Fidelity Measures" in IEEE Signal Processing Magazine, vol. 26, no. 1 , pp. 98-117, Jan. 2009, doi: 10.1109/MSP.2008.930649" entnommen werden.
Gemäß einer weiteren vorteilhaften Ausführungsform wird eine in einem Fahrzeug angeordnete Recheneinheit verwendet, wobei von der Recheneinheit laufend aktualisierte Werte der Parameter für jede der Stufen für eine laufend aktualisierte Bestimmung der Verteilung der Degradierung über die Stufen ermittelt werden.
Die jeweils aktuellen Parameter, wie sie von der Recheneinheit ermittelt werden, werden somit Onboard ermittelt, d. h. lokal im Fahrzeug selbst. Die laufend aktualisierte Bestimmung der Verteilung der Degradierung führt zu einer Anpassung der Verteilung der Degradierung über die Stufen sowie die gesamte Intensität der Degradierung in Echtzeit. Vorteilhaft kann somit eine Anpassung an vorherrschende Bedingungen erfolgen, um eine laufend optimale Aufteilung der Informationen zwischen der Fahrzeugfunktion und dem Ziel der Verringerung personenbezogener Informationen ausführen zu können.
Gemäß einer weiteren vorteilhaften Ausführungsform werden von einer Recheneinheit die Parameter für jede der Stufen abhängig von ermittelten Situationsparametern ermittelt, wobei die Situationsparameter insbesondere einen der folgenden umfassen: Abstand eines Gesichts einer Person zur Kameraeinheit, Gesichtsbewegungen einer Person relativ zu der Kameraeinheit, Umgebungsbedingungen wie vorherrschende Helligkeit, Fahrsituation.
Somit kann insbesondere die Beschränkung personenbezogener Informationen variiert werden, da beispielsweise ein Gesicht nahe einer Kamera bezüglich der Privatsphäre kritischer ist als ein entfernteres Gesicht, beispielsweise auf dem Rücksitz eines Fahrzeugs bei Dunkelheit. Hierzu wird bevorzugt mittels künstlicher Intelligenz bzw. Regressionsverfahren eine Vorhersage getroffen, auch wenn im Betrieb ein zuvor verwendetes Referenzbild nicht mehr vorliegt.
Die Ermittlung der Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch den Optimierungsalgorithmus erfolgt vorteilhaft auch adaptiv insbesondere bezüglich der geometrischen ROIs (regions of interest) für die Fahrzeugfunktion, insbesondere um die ROI, das heißt Informationen dieses speziellen Bereichs, möglichst zu erhalten. Diese können sich szenengetrieben verändern. Gesichts-ROIs können mit bekannten algorithmischen Gesichtsdetektionen bestimmt werden. Es existieren auch Gesichtsdetektoren (zur Gesichtserkennung) im Stand der Technik, welche sich sehr robust gegen Verringerung der Ortsauflösung verhalten. Ferner kann den Eigenheiten der jeweiligen Fahrzeugfunktion bezüglich einer Sensitivität von Parameterwerten auf bestimmte Bildeigenschaften wie Rauschen, fehlende Struktur, fehlender Kontrast Rechnung getragen werden. Hierbei kann ferner die erwartete oder tatsächliche aktuelle Szene (etwa hinsichtlich Dynamikumfang, Helligkeitsverteilung wie mit einem Histogramm darstellbar), jeweils bezüglich bestimmter Bereiche, für die zur Bestimmung der Werte der Parameter im Optimierungsalgorithmus verwendet werden. Es kann außerdem örtlich, zeitlich, inhaltlich in jedem Bereich des Kamerabildes mit der Degradierung einer jeweiligen Stufe eine unterschiedliche Kombination von Parameterwerten angewendet werden.
Gemäß einer weiteren vorteilhaften Ausführungsform werden von der Recheneinheit Werte der Parameter der Stufen für vordefinierte Kamerabilder oder für Kamerabilder aus vordefinierten Szenen festgelegt und werden in einer Steuereinheit des Fahrzeugs abgespeichert gehalten.
Vorteilhaft müssen gemäß dieser Ausführungsform beim wiederholten Auftreten von vordefinierten Kamerabildern oder beim Auftreten von Kamerabildern aus vordefinierten Szenen die Werte der Parameter nicht neu bestimmt werden, sondern es kann auf einen vordefinierten Satz von vordefinierten Werten von Parametern zurückgegriffen werden, die in der Vergangenheit offboard bereits bestimmt wurden. So kann vorteilhaft überflüssiger Rechenaufwand eingespart werden. Vordefinierte Kamerabilder können dann verwendet werden, wenn von einer nahezu exakt wiederkehrenden Situation, erfasst von der Kameraeinheit, auszugehen ist. Kamerabilder aus vordefinierten Szenen dagegen sind flexibler im Einsatz und benötigen lediglich Übereinstimmungen in Merkmalen der Szenen. Diese Sätze von Werten von Parametern werden, wenn sie einmal ermittelt wurden, unter Zuordnung zu den vordefinierten Kamerabildern bzw. zu den vordefinierten Szenen in der Steuereinheit abgelegt und stehen dem Zugriff durch die Recheneinheit offen, um eine alternative Quelle zum Optimierungsalgorithmus zu bieten.
Gemäß einer weiteren vorteilhaften Ausführungsform werden die in der Steuereinheit abgespeicherten Werte der Parameter statt denen von der Recheneinheit laufend aktualisierten Werte der Parameter dann zur Degradierung nur dann verwendet, wenn ein vordefiniertes Kamerabild oder ein Kamerabild aus einer vordefinierten Szene im Betrieb vorliegt.
Gemäß einer weiteren vorteilhaften Ausführungsform wird von der Recheneinheit die Bestimmung der Werte der Parameter mittels eines numerischen, insbesondere iterativen, Verfahrens ausgeführt.
Das iterative, numerische, Verfahren wird insbesondere dazu vorteilhaft verwendet, um sich iterativ an vorgegebene Zielgrößen bezüglich i) oder ii) anzunähern, d. h. so lange die Werte der Parameter zu ändern, bis die erforderlichen Schwellen der Zielgrößen eingehalten werden oder zumindest eine Schwelle i) oder ii) der Zielgröße erreicht und die dementsprechend andere Schwelle bestmöglich erreicht wird . Bei einer Mehrzieloptimierung kann bei nichtlinearen Optimierungsproblemen ein iterativer Suchalgorithmus eingesetzt werden.
Gemäß einer weiteren vorteilhaften Ausführungsform wird von der Recheneinheit die Bestimmung der Werte der Parameter mittels eines vortrainierten, künstlichen neuronalen Netzes ausgeführt.
Hierbei nutzt der Optimierungsalgorithmus ein vortrainiertes künstliches neuronales Netz zur Bestimmung der Parameter. Mögliche Eingangsgröße des vortrainierten künstlichen neuronales Netzes sind insbesondere das jeweilige Kamerabild und Zielgrößen i) und ii); Ausgangswerte sind Parameter der Stufen.
Gemäß einer weiteren vorteilhaften Ausführungsform wird das vortrainierte, künstliche neuronale Netz auf einem Server kontinuierlich auf Basis von Daten von Kameraeinheiten von Fahrzeugen weitertrainiert, wobei Aktualisierungen des künstlichen neuronalen Netzes zurück an Fahrzeuge einer Flotte übertragen werden.
In einer weiteren bevorzugten Ausführungsform werden die Elemente der Stufen mit ihren Parametern nicht nur aus einer Menge vorgefertigter Filter kombiniert, sondern vollständig mittels deep learning Verfahren erzeugt, analog zu Generative Adversarial Networks (GANs). In einer erweiterten Ausführungsform werden zusätzlich auch die Hardware- Komponenten mit in der Zielfunktion durch einen weiteren Term berücksichtigt. Hierbei wird insbesondere der Ressourcenaufwand mit abgebildet, um dies im Optimierungsalgorithmus zu berücksichtigen - beispielsweise wird bei gleichbleibendem Niveau der Beschränkung personenbezogener Informationen unter ähnlicher (insbesondere in dem Maße, dass im Wesentlichen gleichbleibender) Qualität und Quantität von für die Fahrzeugfunktion bereitzustellenden Informationen die Variante von Parametern (insbesondere zur Auswahl von Filtermodulen) gewählt, die besonders effizient auf der Recheneinheit bzw. in der jeweiligen Stufe ausführbar ist.
Ein weiterer Aspekt der Erfindung betrifft ein System zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit mittels Degradierung des Kamerabilds, wobei das durch Bildanalyse verarbeitete Kamerabild zum Ausführen einer Fahrzeugfunktion, insbesondere in einem Fahrzeug, dient, und wobei eine Recheneinheit zur Reduzierung von personenbezogenen Informationen im Kamerabild dazu ausgeführt ist, originale Bilddaten der Kameraeinheit vor der Verarbeitung in Stufen zu degradieren, wobei jede der Stufen eine für sie charakteristische Art der Degradierung vornimmt und jede der Stufen zumindest einen veränderbaren Parameter zur Bestimmung der Intensität der Degradierung in der jeweiligen Stufe aufweist, wobei die Recheneinheit dazu ausgeführt ist, die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen zu ermitteln, wobei i) und ii) als Zielgrößen verwendet und die Parameter zur Erreichung der Zielgrößen bestimmt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 : Ein durch ein System ausgeführtes Verfahren zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 2: die im System genutzten Degradierungs-Stufen gemäß dem Ausführungsbeispiel der Fig. 1 im Detail;
Fig. 3: weitere Ausführungsform der im System genutzten Degradierungs-Stufen gemäß dem Ausführungsbeispiel der Fig. 1 und
Fig. 4 Ablauf des erfindungsgemäßen Verfahrens.
Fig. 1 zeigt den Innenraum eines Fahrzeuges 3 mit einer Kameraeinheit 1 und einer Recheneinheit 5. Mithilfe der Recheneinheit 5 wird ein Verfahren zur Reduzierung von personenbezogenen Informationen in einem jeweiligen Kamerabild der Kameraeinheit 1 mittels Degradierung des Kamerabilds ausgeführt. Das Kamerabild wird für Zwecke einer Fahrzeugfunktion von der Kameraeinheit 1 in hochfrequenten Wiederholungen erzeugt. Es wird eine Multi-Purpose Interior Cam verwendet, um eine Fahrzeugfunktion wie beispielsweise eine automatisierte Müdigkeitswarnung vorzunehmen. Damit werden jedoch auch personenbezogene Daten im Sekundäreffekt erfasst, d.h., dass die für eine Gesichtserkennung, automatisiert genauso wie durch eine Person, prinzipiell ausreichenden Daten im Kamerabild dadurch ein Sicherheitsrisiko darstellen, dass beispielsweise ein Angreifer von außen an diese Daten gelangen könnte. Es ist daher Ziel, die zur Identifikation der gefilmten Person verwendbaren Daten in dem jeweiligen Kamerabild möglichst zu entfernen, ohne die Fahrzeugfunktion zu beeinträchtigen. Zur Reduzierung von personenbezogenen Informationen im Kamerabild vor der Verarbeitung durch die Fahrzeugfunktion werden die originalen Bilddaten in Bearbeitungsstufen der Kameraeinheit 1 degradiert, d.h. künstlich verschlechtert. Jede der Stufen nimmt eine für sie charakteristische Art der Degradierung vor. Zur Einstellung, welche der Stufen in einem jeweiligen Szenario und bei einer jeweiligen Fahrzeugfunktion welchen Anteil an der Degradierung übernimmt und wie groß die Degradierung im Ganzen ausfallen möge, weist jede der Stufen einen Satz von Parametern mit veränderlichen Werten auf. Diese Verteilung wird von einer Recheneinheit 5 dadurch ermittelt, indem die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion Anwendung bereitzustellenden Informationen und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen ermittelt werden. Die konkurrierenden Ziele i) und ii) werden als Zielgrößen eines iterativen nichtlinearen Optimierungsalgorithmus zur Ausführung einer Mehrzieloptimierung vorgegeben, um für die Fahrzeugfunktion bereitgestellten Informationen den Zielwert i) und für das Niveau der Beschränkung personenbezogener Informationen den Zielwert ii) zu erreichen. Alternativ erfolgt eine Optimierung der Parameter, so dass entweder die für die Fahrzeugfunktion bereitgestellten Informationen den Zielwert i) erreichen und das Niveau der Beschränkung personenbezogener Informationen bestmöglich nahe der Zielgröße ii) liegt oder für das Niveau der Beschränkung personenbezogener Informationen der Zielwert ii) d.h. das gewünschte Niveau der Beschränkung erreicht wird und die bereitgestellten Informationen für die Fahrzeugfunktion bestmöglich nahe der Zielgröße i) liegen .
Die Stufen umfassen folgend: 1a ein Bildsensor der Kameraeinheit 1 insbesondere Register des Bildsensors; 1b Hardwareeinstellungen im Steuergerät der Kameraeinheit 1 insbesondere Kalibrierdaten, und 1c eine Softwareprozessierung im Steuergerät der Kameraeinheit 1 zur algorithmisch ausgeführten Bildbearbeitung. Des Weiteren ist eine nicht näher erläuterte optionale Stufe 1d gezeigt, die weitere parametrierbare, die Ziele i) und ii) beeinflussende Einstellungen wie beispielsweise einer Objektbeleuchtung, Nachbearbeitungsstufen etc. umfassen. Diese sind genauer in der Fig. 2 gezeigt. Ausgehend von der Kameraeinheit 1 wird bereits in der ersten Stufe 1a im Sensor eine Vielzahl von Methoden angewendet, um das originale Kamerabild der Kameraeinheit 1 zu modifizieren. Jeweilige Parameter in dieser Stufe betreffen den oben genannten Bildsensor der Kameraeinheit 1. Hier bereits können Methoden wie 2x2 Binning, 8x Subsampling, High value saturation, 16x gain, exposure control, tone mapping for optimal privacy ausgeführt werden. Die Hardwareeinstellungen im Steuergerät der Kameraeinheit 1 stellen die zweite Stufe 1b dar und weisen weitere Parameter in den folgenden Methoden auf: Tone mapping for optimal privacy, Minimal color saturation, sharpness reduction with edge preservation. In der dritten Stufe 1c, die sich immer noch vorgeschalten vor der Verarbeitung des degradierten Bildes durch die Fahrzeugfunktion befindet, wird ein Complex Wavelet SSIM (CW_SSIM) verwendet, wobei die Abkürzung SSIM für "Structural Similarity Index Measure" steht. Der Parametersatz mit den Werten der Parametern aller Stufen wird als Gesamtheit von Parametern iterativ von der Recheneinheit 5 des Fahrzeugs 3 onboard für jedes Kamerabild eigens ermittelt.
Hierzu wird ein die Stufen bearbeitetes, durch die Kamera 1 aufgenommenes Bild analysiert, indem für die Fahrzeugfunktion mindestens bereitzustellenden Informationen i) als Zielgröße 7 zur Erfüllung eines vorgegebenen Funktionsumfanges mit einem tatsächlichen Wert für die im Bild umfassten Informationen 7a verglichen werden und die eines gewünschten Niveaus der Beschränkung personenbezogener Informationen ii) als Zielgröße 9 mit einem tatsächlichen Wert des Bildes bezüglich des Niveaus personenbezogener Daten 9a verglichen wird. Sofern die tatsächlichen Werte 7a, 9a unterhalb den Zielgrößen liegen, optimiert die Recheneinheit 5 die Parameter aller Stufen 1a bis 1d beispielsweise in einem iterativen Optimierungsprozess so lange, bis idealerweise die tatsächlichen Werte der für die Fahrzeugfunktion durch das in den Stufen S1 bis S4 bearbeitete Bild bereitgestellten Information und das Niveau der personenbezogenen Daten mindestens die Zielgrößen 7, 9 erreichen und gibt dann das Bild 11 aus.
Sind für die tatsächlichen Werte der für die Fahrzeugfunktion bereitgestellten Information und das Niveau der personenbezogenen Daten nicht gleichzeitig die Zielgrößen 7, 9 erreichbar, dann werden die Parameter der Stufen 1a bis 1d so bestimmt, dass für zumindest für die Fahrzeugfunktion bereitgestellten Informationen die Zielgröße i) oder für das Niveau der Beschränkung personenbezogener Informationen die Zielgröße ii) erreicht wird und der jeweils andere Wert bestmöglich optimiert wird. Bei sicherheitsrelevanten Funktionen wie der Fahrerbeobachtung werden die für die Fahrzeugfunktion bereitgestellten Informationen priorisiert, so dass diese die für die Funktion erforderliche Zielgröße erreichen.
Fig. 3 zeigt eine Ausführungsform, bei dem der Optimierungsalgorithmus der Recheneinheit als vortrainiertes neuronales Netz ausgeführt ist. Das neuronale Netz ist eingerichtet auf Basis eines von der Kamera 1 aufgenommenen Bildes und vorgegebenen Zielgrößen i) für die für die Fahrzeugfunktion mindestens bereitzustellenden Informationen 7 und eines gewünschten Niveaus der Beschränkung personenbezogener Informationen 9 die Parameter der Stufen 1a bis 1d derart zu bestimmen, dass das in den Stufen 1a bis 1d bearbeitete und nachfolgend ausgegebene Bild 11 die für die Fahrzeugfunktion erforderliche Information 7a bereitstellt und das gewünschte Niveau der Beschränkung personenbezogener Informationen 9a einhält.
Fig. 4 zeigt exemplarisch ein Ablauf des erfindungsgemäßen Verfahrens, wobei im Schritt S1 ein Bild empfangen wird, im Schritt S2 das Bild in den Stufen 1a bis 1d mit vorgegebenen Bildbearbeitungsparametern bearbeitet wird. Im Schritt S3 wird überprüft, ob die durch das Bild bereitgestellten Informationen für die Fahrzeugfunktion die Zielgröße i), d.h. die die Fahrzeugfunktion mindestens bereitzustellenden Informationen (7) erreicht und ob das Niveau der Beschränkung personenbezogener Informationen des Bildes das gewünschten Niveaus der Beschränkung personenbezogener Informationen erreicht. Ergibt die Überprüfung ein positives Ergebnis, dann wird das Bild im Schritt S4 ausgegeben. Ergibt die Überprüfung in S3 ein negatives Ergebnis, dann werden im Schritt S5 die Bildbearbeitungsparameter durch den Optimierungsalgorithmus der Recheneinheit 5 geändert und in die Stufen 1a bis 1d übermittelt. Im Schritt S2 wird das Bild mit den geänderten Parametern bearbeitet, und dann im Schritt 3 wieder mit den Zielgrößen i) und i)) verglichen. Die Optimierung im Schritt S5 erfolgt solange, bis die Zielgrößen i) und ii) erreicht werden und das Bild dann im Schritt 4 ausgegeben werden kann.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.

Claims

Patentansprüche Verfahren zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit (1) mittels Degradierung des Kamerabilds, wobei das durch Bildanalyse verarbeitete Kamerabild zum Ausführen einer Fahrzeugfunktion, insbesondere in einem Fahrzeug (3), dient, und wobei zur Reduzierung von personenbezogenen Informationen im Kamerabild vor der Verarbeitung originale Bilddaten der Kameraeinheit (1) in Stufen degradiert werden, wobei jede der Stufen eine für sie charakteristische Art der Degradierung vornimmt und jede der Stufen zumindest einen veränderbaren Parameter zur Bestimmung der Intensität der Degradierung in der jeweiligen Stufe aufweist, wobei von einer Recheneinheit (5) die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen (7) und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen (9) ermittelt werden, wobei i) und ii) als Zielgrößen verwendet und die Parameter zur Erreichung der Zielgrößen bestimmt werden. Verfahren nach Anspruch 1 , wobei für den Fall, dass mittels Veränderung der Parameter nicht beide Zielgrößen gleichzeitig erreichbar sind, der Optimierungsalgorithmus die Parameter dahingehend optimiert, dass je nach Anwendungsfall entweder für die Fahrzeugfunktion bereitgestellten Informationen die Zielgröße i) erreicht wird und das Niveau der Beschränkung personenbezogener Informationen bestmöglich nahe der Zielgröße ii) liegt oder für das Niveau der Beschränkung personenbezogener Informationen die Zielgröße ii) erreicht wird und die bereitgestellten Informationen für die Fahrzeugfunktion bestmöglich nahe der Zielgröße i) liegen. Verfahren nach Anspruch 1 oder 2, wobei ein Maß für eine Präferenz zwischen den für die Fahrzeugfunktion mindestens bereitzustellenden Informationen oder eines gewünschten Niveaus der Beschränkung personenbezogener Informationen und/oder einer Priorisierung einer der Zielgrößen von einem Benutzer vorgegeben wird. Verfahren nach Anspruch 1 oder 2, wobei ein Maß für eine Präferenz zwischen den für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und eines gewünschten Niveaus der Beschränkung personenbezogener Informationen und/oder einer Priorisierung einer der Zielgrößen von der Recheneinheit (5) vorgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Stufen die folgenden umfassen: Den Bildsensor der Kameraeinheit (1) insbesondere Register des Bildsensors, Hardwareeinstellungen im Steuergerät der Kameraeinheit (1) insbesondere Kalibrierdaten, Softwareprozessierung im Steuergerät der Kameraeinheit (1) zur algorithmisch ausgeführten Bildbearbeitung. Verfahren nach einem der vorhergehenden Ansprüche, wobei das gewünschte Niveau der Beschränkung personenbezogener Informationen mittels eines Structural Similarity Index bezüglich des Kamerabilds definiert wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die für die Fahrzeugfunktion mindestens Informationen eine mittlere Standardabweichung oder ein Signal-Rausch- Verhältnis bezüglich des Kamerabilds umfassen. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine in einem Fahrzeug (3) angeordnete Recheneinheit (5) verwendet wird, wobei von der Recheneinheit (5) laufend aktualisierte Werte der Parameter für jede der Stufen für eine laufend aktualisierte Bestimmung der Verteilung der Degradierung über die Stufen ermittelt werden. Verfahren nach Anspruch 8, wobei von einer Recheneinheit (5) die Parameter für jede der Stufen abhängig von ermittelten Situationsparametern ermittelt werden, wobei die Situationsparameter insbesondere einen der folgenden umfassen: Abstand eines Gesichts einer Person zur Kameraeinheit (1), Gesichtsbewegungen einer Person relativ zu der Kameraeinheit (1), Umgebungsbedingungen wie vorherrschende Helligkeit, Fahrsituation. Verfahren nach einem der vorhergehenden Ansprüche, wobei von der Recheneinheit Werte der Parameter der Stufen für vordefinierte Kamerabilder oder für Kamerabilder aus vordefinierten Szenen festgelegt werden und in einer Steuereinheit des Fahrzeugs (3) abgespeichert sind. Verfahren nach einem der Ansprüche 10, wobei die in der Steuereinheit des Fahrzeugs abgespeicherten Werte der Parameter statt denen von der Recheneinheit (5) laufend aktualisierten Werte der Parameter dann zur Degradierung verwendet werden, wenn ein vordefiniertes Kamerabild oder ein Kamerabild aus einer vordefinierten Szene im Betrieb vorliegt. Verfahren nach einem der vorhergehenden Ansprüche, wobei von der Recheneinheit (5) die Bestimmung der Werte der Parameter mittels eines numerischen Verfahrens ausgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei von der Recheneinheit (5) die Bestimmung der Werte der Parameter mittels eines vortrainierten, künstlichen neuronalen Netzes ausgeführt wird. Verfahren nach Anspruch 13, wobei das vortrainierte, künstliche neuronale Netz auf einem Server kontinuierlich auf Basis von Daten von Kameraeinheiten von Fahrzeugen weitertrainiert wird, wobei Aktualisierungen des künstlichen neuronalen Netzes zurück an Fahrzeuge einer Flotte übertragen werden. System zur Reduzierung von personenbezogenen Informationen in einem Kamerabild einer Kameraeinheit (1) mittels Degradierung des Kamerabilds, wobei das durch Bildanalyse verarbeitete Kamerabild zum Ausführen einer Fahrzeugfunktion, insbesondere in einem Fahrzeug (3), dient, und wobei eine Recheneinheit (5) zur Redu- zierung von personenbezogenen Informationen im Kamerabild dazu ausgeführt ist, originale Bilddaten der Kameraeinheit (1) vor der Verarbeitung in Stufen zu degradieren, wobei jede der Stufen eine für sie charakteristische Art der Degradierung vornimmt und jede der Stufen zumindest einen veränderbaren Parameter zur Bestimmung der Intensität der Degradierung in der jeweiligen Stufe aufweist, wobei die Recheneinheit (5) dazu ausgeführt ist, die Werte der Parameter für jede der Stufen zur Bestimmung der Verteilung der Degradierung über die Stufen durch einen Optimierungsalgorithmus unter Verwendung i) der für die Fahrzeugfunktion mindestens bereitzustellenden Informationen und ii) eines gewünschten Niveaus der Beschränkung personenbezogener Informationen zu ermitteln, wobei i) und ii) als Zielgrößen oder aus der Menge von i) und ii) eine Zielgröße und eine Restriktion im Optimierungsalgorithmus verwendet werden. Fahrzeug (3) mit einem System nach Anspruch 15.
EP23736017.7A 2022-07-05 2023-06-26 Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild Pending EP4552099A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022002448.9A DE102022002448A1 (de) 2022-07-05 2022-07-05 Verfahren und Vorrichtung zur Beschränkung von personenbezogenen Informationen in einem Kamerabild
PCT/EP2023/067225 WO2024008492A1 (de) 2022-07-05 2023-06-26 Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild

Publications (1)

Publication Number Publication Date
EP4552099A1 true EP4552099A1 (de) 2025-05-14

Family

ID=87067069

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23736017.7A Pending EP4552099A1 (de) 2022-07-05 2023-06-26 Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild

Country Status (6)

Country Link
EP (1) EP4552099A1 (de)
JP (1) JP2025520792A (de)
KR (1) KR20250002744A (de)
CN (1) CN119256345A (de)
DE (1) DE102022002448A1 (de)
WO (1) WO2024008492A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269033B2 (ja) 2009-12-18 2013-08-21 韓國電子通信研究院 映像のプライバシーマスキング方法及び装置
JPWO2021075527A1 (de) * 2019-10-18 2021-04-22
CA3174627A1 (en) 2020-03-06 2021-09-10 The Regents Of The University Of California Methods of providing data privacy for neural network based inference

Also Published As

Publication number Publication date
CN119256345A (zh) 2025-01-03
WO2024008492A1 (de) 2024-01-11
JP2025520792A (ja) 2025-07-03
KR20250002744A (ko) 2025-01-07
DE102022002448A1 (de) 2024-01-11

Similar Documents

Publication Publication Date Title
DE60017600T2 (de) Digitales bilderzeugungsverfahren
DE102018218586A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erzeugen robuster automatisch lernender Systeme und Testen trainierter automatisch lernender Systeme
DE102018216413A1 (de) Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
DE112017007579T5 (de) Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
EP1609119A2 (de) Verfahren zur qualitativen beurteilung eines materials mit mindestens einem erkennungsmerkmal
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
EP3899808A1 (de) Verfahren zum trainieren eines neuronalen netzes
DE102018214198A1 (de) System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
EP4046049B1 (de) Abwehrgenerator, verfahren zur verhinderung eines angriffs auf eine ki-einheit und computerlesbares-speichermedium
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102017124600A1 (de) Semantische Segmentierung eines Objekts in einem Bild
EP3973466A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102021131179A1 (de) Formpriorisierte Bildklassifizierung unter Verwendung tiefer Faltungsnetze
EP4552099A1 (de) Verfahren und vorrichtung zur beschränkung von personenbezogenen informationen in einem kamerabild
EP3948649B1 (de) Maskierung von in einem bild enthaltenen objekten
DE102020209024A1 (de) Verfahren zum Generieren eines Überwachungs-Bildes
DE102016115128A1 (de) Verfahren zum Angleichen zumindest zweier Bilder bezüglich der Farbe und/oder der Helligkeit, Kamarasystem sowie Kraftfahrzeug
EP3973458A1 (de) Verfahren zum betreiben eines tiefen neuronalen netzes
DE102023130373A1 (de) Systeme und Verfahren zum Reduzieren von Streulichtreflexionen
EP3915058A1 (de) Verfahren zum trainieren eines neuronalen netzes
WO2022180218A1 (de) Vorrichtung zur verarbeitung von mindestens einem eingangsdatensatz unter verwendung eines neuronalen netzes sowie verfahren
DE102017215051A1 (de) Vorrichtung und Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf optische Bilderkennung
DE19502640C1 (de) Verfahren zur Erzeugung eines Fusionsbildes aus mehreren Eingangsbildern
DE102021119951B4 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung der Umgebung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240926

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)