EP4200801A1 - Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs - Google Patents

Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs

Info

Publication number
EP4200801A1
EP4200801A1 EP21748815.4A EP21748815A EP4200801A1 EP 4200801 A1 EP4200801 A1 EP 4200801A1 EP 21748815 A EP21748815 A EP 21748815A EP 4200801 A1 EP4200801 A1 EP 4200801A1
Authority
EP
European Patent Office
Prior art keywords
data processing
data
vehicle
processing unit
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21748815.4A
Other languages
English (en)
French (fr)
Inventor
Michael Hödlmoser
Sebastian Beyer
Florian SEITNER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emotion3D GmbH
Original Assignee
Emotion3D GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emotion3D GmbH filed Critical Emotion3D GmbH
Publication of EP4200801A1 publication Critical patent/EP4200801A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the invention relates to a computer-implemented method for analyzing the interior of a vehicle.
  • Modern vehicles contain camera-based systems for analyzing their interior in order to detect and analyze people and objects located in the vehicle cabin.
  • the arrangement of people and objects in the interior of the vehicle is referred to as a scene.
  • safety-relevant information e.g. the driver's attention, seat belt detection for all occupants, etc.
  • non-safety-relevant information e.g. determination of the driver's size for the automatic adjustment of the seat, driver identification for the modeling of different setting profiles, etc.
  • a computer-implemented method for determining features of the interior of a vehicle uses at least one image recording unit arranged in the interior of the vehicle, a data processing unit and a database. It includes at least the following steps:
  • the image recording unit takes a photo or a video of the interior and transmits the photo or video to the data processing unit.
  • the data processing unit analyzes the photo or video through a sequential data processing chain of hierarchically arranged program modules.
  • a data processing chain comprises a number of program modules, with each module either extracting information from images using known image processing algorithms, or linking and further processing information from other modules in order to obtain higher-value information.
  • the extracted information serves to describe the scene and can contain, for example, the position of a person or an object or colors, sizes, circumferences, etc. of these localized people and objects.
  • the information determined can essentially be summarized as personal and object data.
  • the program modules of the data processing chain are arranged hierarchically, with the hierarchy level of a module being determined by the level of detail of the information obtained from it.
  • the modules can depend on one or more other modules.
  • the first module in the processing chain is at the top of the hierarchy level and has no dependencies on information from other modules. The further down the module is in the hierarchy level, the more dependencies there are on previous processing steps or modules.
  • the information extracted by the modules thus gains in detail as the hierarchical level is reduced.
  • a rough analysis is carried out to localize people and objects in the photo or video.
  • Known image processing algorithms can be used for this purpose.
  • the outlines of the identified person or object are detected in the photo or video and sections of the photo or video are created around these outlines in the form of body and object images.
  • the objects can be, for example, mobile phones, child seats, handbags, backpacks or other objects.
  • the data processing unit can store the ascertained body and object data in a hierarchical data model in the database.
  • the next step is a detailed analysis of the extracted body and object images.
  • Known image processing algorithms can be used for this purpose.
  • Body data such as height, age, weight, gender, a body joint model, body posture and other visually recognizable features of the body can be extracted.
  • Object data such as size, shape, color, circumference and other optically recognizable properties of the recognized objects can also be extracted.
  • the detailed analysis can be carried out for all people and objects located in the interior in the first step.
  • the data processing unit stores the ascertained body and object data in a hierarchical data model in the database.
  • the data from the rough analysis is arranged at a higher hierarchical level than the data from the detailed analysis.
  • the hierarchical data model can be designed as a hierarchically structured text file that can be stored in the database and, if necessary, changed by the data processing unit. For example, it can be a file in XML format or a proprietary file format. This ensures the compatibility of the data model with any external program modules.
  • This hierarchical data model remains in the database and can subsequently be used by program modules of the data processing unit itself or by external program modules, for example by an external data processing unit, to determine features of the interior of the vehicle.
  • An external program module can use the hierarchical data model to determine a specific feature of the interior of the vehicle.
  • the searched feature of the interior can be, for example, one or more of the following: occupancy of the vehicle, seat belts correctly fastened, position of objects such as mobile phones or child seats in relation to the detected persons, level of driver attention, driver fatigue, and the like .
  • the external program module can extract precisely those body and object data from the hierarchical data model that are required to determine the feature.
  • the external program module can combine information from different levels and different levels of detail without having to run the corresponding analysis models again, so that fast processing is possible.
  • the program modules for rough analysis and detailed analysis are hierarchically structured.
  • the processing hierarchy results from the number of upstream program modules that are necessary to calculate the information using as few resources as possible.
  • image processing modules and algorithms are combined in a hierarchical manner. This results in significant advantages over conventional methods. On the one hand, there is a dramatic reduction in memory and computing capacity.
  • a system that uses the method according to the invention can acquire and process a large number of states and information from a scene more quickly. Information that is higher up in the hierarchy (ie, has a lower level of detail) is typically required by multiple program modules and is computed first and using larger portions of the resources (ie, memory and processing power).
  • Information that is further down the hierarchy level i.e. that has a higher level of detail
  • a method according to the invention allows the use of less expensive hardware for the corresponding systems.
  • the method according to the invention also allows a standardization of the overall system for interior space analysis.
  • properties of the interior of any complex overall system can be recorded without having to change the data processing chain.
  • the data processing chain thus exhibits high scalability in relation to the size and complexity of the interior scenes.
  • hierarchical levels can also be linked to certain properties and requirements. For example, with a lower level of detail of the overall system (i.e. only information with a low level of detail is extracted and required), the number of cameras and the resolution of the input data can be reduced, or the available program modules can be restricted to certain hierarchical levels.
  • the data processing unit and the database can preferably be arranged entirely in a vehicle. However, it can also be provided that the data processing unit and the database are arranged in the vehicle and communicate via an interface, for example a wireless connection, with an external server, for example a server on the Internet, on which there may be a database with a previously stored data model is located.
  • an interface for example a wireless connection
  • an external server for example a server on the Internet
  • the image recording unit can be a photo or video camera, a ToF (time-of-flight) camera or the like. Using a ToF camera facilitates the robust localization of person and objects and the extraction of the body and object data.
  • the image recording unit can preferably be arranged in the vehicle in such a way that as far as possible the entire interior is visible in the image area.
  • the image recording unit can also include a number of cameras arranged at different angles.
  • Image analysis libraries and/or a detector trained with training examples, for example a neural network can be used to extract and analyze the body and object data.
  • the data processing unit can be designed as a microcontroller or microcomputer and a central processing unit (CPU), a volatile semiconductor memory (RAM), a non-volatile semiconductor memory (ROM, SSD hard disk), a magnetic memory (hard disk) and/or an optical memory (CD ROM) as well as interface units (Ethernet, USB) and the like.
  • CPU central processing unit
  • RAM volatile semiconductor memory
  • ROM non-volatile semiconductor memory
  • ROM magnetic memory
  • CD ROM optical memory
  • the database can be provided as a software module in the data processing unit, in a computer that is separate from the data processing unit, or in an external server.
  • the data processing unit is connected to actuators or warning units, for example a motor to adjust the seat positions of the vehicle, a warning light to display a warning if the seat belt is not fastened, or a graphic display to show the detected level of alertness of the driver.
  • actuators or warning units can preferably be controlled directly by the external program modules as a reaction to the determined features of the vehicle interior.
  • the invention also extends to a computer-readable storage medium comprising instructions which cause a data processing unit to carry out a method according to the invention.
  • the invention also extends to a device for determining features of the interior of a vehicle, comprising at least one image recording unit, a data processing unit and a database, the device being designed to carry out a method according to the invention.
  • FIG. 1 shows a schematic representation of a vehicle with a data processing unit for carrying out a method according to the invention
  • figs Figures 2a - 2c show schematic examples of a captured image and the information extracted therefrom;
  • figs 3a - 3c show schematic representations of embodiments of a hierarchical data model according to the invention, a data processing chain according to the invention and a text file according to the invention for storing the data model;
  • FIG. 4 shows a schematic block diagram of an embodiment of a device according to the invention.
  • FIG. 1 shows a schematic representation of a vehicle 2 with electronic data processing units 4, 4' integrated therein for carrying out a method according to the invention.
  • An image recording unit 3 in the form of a camera is arranged on the ceiling in the interior 1 of the vehicle 2 .
  • the camera is designed and arranged in such a way that it can record the entire interior 1 of the vehicle 2, namely all the seats and the people in them. Inside, several people are seated in two rows.
  • the vehicle is designed as a passenger car.
  • the data processing units 4, 4' are connected to a database 5 and have interfaces (not shown) for communication with external electronic components.
  • figs 2a - 2c show schematic examples of a photo 11 of the interior 1 taken by the image recording unit 3 and transmitted to the data processing unit 4.
  • the photo 11 shows a typical scene in the interior 1 of a vehicle 2 with a driver, a front passenger and a person sitting on the back seat .
  • the information contained in the scene is extracted by a hierarchical data processing chain 10.
  • people and objects are localized and body and object images 15, 15', 15", which may overlap, are created.
  • three people and no objects are located.
  • the photo 11 is divided into three body and object images 15, 15', 15", and these are passed on to the subsequent detailed analysis.
  • the body images 15, 15', 15'' are analyzed more precisely and body and object data 7 are extracted from which a variety of relevant information can be derived.
  • body joint model 13, 13′, 13′′ the sitting posture of the person can be determined and, by comparison with reference images, it can be determined whether a seat belt has been put on correctly.
  • the body joint models 13, 13', 13'' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
  • the weight, age, sex and body size of the person can also be determined from this, for example by comparison with reference data stored in the database 5 .
  • a distinction can also be made as to which of the three body and object images 15, 15', 15'' are to be examined further, namely preferably those of the driver and the passenger.
  • more finely structured facial images 16, 16' and personal data 6 of the driver and front passenger can also be extracted, which are transferred to the subsequent program module of the data processing chain 10.
  • Face models 14, 14' can be created by using image recognition algorithms of the data processing unit 4.
  • Face data 8 such as the positions of the mouth, nose, eyes and ears, the line of sight and the like of the two persons can be determined from the face images 16, 16'.
  • the face models 14, 14' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
  • At least the body and object data 7 are stored in the database 5 as a result of the hierarchical data processing chain 10 .
  • Storage of the photograph 11 taken or of the body images 15, 15', 15'' in the database can be provided, but is not absolutely necessary and can be omitted to save storage space.
  • FIG. 3a shows a schematic representation of a hierarchical data model 9 created by the data processing unit 4 with a multiplicity of hierarchically arranged data objects 21 .
  • the level of detail of the information stored in the data objects 21 increases from top to bottom.
  • each data object 21 is shown as a circle, and the data objects 21 are divided into personal data 6, body and object data 7, and face data 8.
  • Detected people are described at the personal data 6 level by a large number of properties. Depending on the level of detail, the properties are stored in different levels.
  • Related properties are linked to properties or objects from levels below or above. For example, a vehicle may contain two people, each person may have a weight, height, and girth. At the level of the body and object data 7, different body regions such as upper body, lower body, head can be distinguished.
  • Positions of the eyes, nose, mouth, ears, etc. of each person or of selected persons can be stored at the face data level 8 .
  • further hierarchical levels can also be provided, i.e. a finer subdivision of the scene shown in photo 11 can also be made.
  • FIG. 3b shows a schematic representation of a data processing chain 10 according to the invention, divided into a rough analysis and a subsequent first, second and third detailed analysis.
  • the data processing chain receives a photo 11 and analyzes it in parallel for people (left branch) and objects (right branch). Rectangular boxes symbolize program modules or algorithms for extracting certain features of the vehicle interior, for which existing and standardized image analysis libraries can be used.
  • a deep learning network can be used for every feature of the vehicle interior to be recognized.
  • a neural network that only recognizes people in the image can be trained to detect people, a separate neural network to detect objects, as well as to detect joint positions, eye positions, viewing directions, head positions, body postures, gestures, and so on.
  • a person is detected in step S101 and an object is detected in step S201.
  • the program modules each provide the positions of recognized persons or objects in the three-dimensional space of the vehicle.
  • step S111 the joint positions of each identified person are determined, in step S112 a unique identification number is assigned for each identified person, and in step S113 the gender and weight of each identified person is determined or estimated.
  • step S212 the weight of each detected object is estimated in step S212.
  • the eye portion of each identified person is segmented in step S121, hand gestures are identified for each identified person in step S122, and the head area of each identified person is segmented in step S123.
  • the size of sub-objects is determined for the detected objects in step S221 and the scope of each detected sub-object is estimated in step S222.
  • step S131 the viewing direction of each identified person is identified, in step S132 the head poses are identified for each identified person, and in step S133 the emotions of each identified person are identified.
  • a first external program module 17 requires the person IDs from the program module S112, the line of sight of these persons from the program module S131, and the head position of these persons from the program module S132 and uses this to determine a degree of attention.
  • the external program module 17′ needs the weight of the detected objects from the program module S212 and their size from the program module S221, and uses this to determine whether the object is permissible for the interior of the vehicle in question.
  • the external program modules 17, 17' can be algorithms from standardized program libraries.
  • Fig. 3c shows a schematic excerpt from a text file 22 for storing the data objects 21 of the hierarchical data model 9.
  • the text file 22 has a hierarchical structure and is divided into logical blocks (persons, objects) and sub-blocks (eyes, head, body, viewing direction, etc.). structured, with each block and sub-block having a plurality of attributes (e.g. coordinates) that form a data object 21 .
  • This figure shows only a small part of the text file 22, which in practice can be much more extensive and can also be further refined during the operation of the method by including additional attributes.
  • Such an implementation of the data model 9 allows a simple and quick query by external program modules 17, 17', which allows an easy-to-program and thus portable interface for data access to the recognized features of the vehicle interior.
  • the program modules 17, 17' therefore do not have to analyze the photo 11 or the body and object images 15, 15', 15'', but access the desired data directly from the text file 22.
  • FIG. 4 shows a schematic block diagram of an embodiment of a device according to the invention for determining features of the interior of a vehicle.
  • the device comprises an image recording unit 3, a data processing unit 4, a further data processing unit 4' and a database 5. All components are arranged in a vehicle.
  • a sequential data processing chain 10 is implemented in the data processing unit 4, which in this embodiment comprises three program modules 12, 12', 12'' for analyzing a photo 11 made available by the image recording unit 3 via an interface.
  • These program modules 12, 12', 12'' are divided into a rough analysis of the photograph 11, a first detailed analysis of selected body images 15, 15', 15'' of the photograph 11, and a second detailed analysis of selected facial images 16, 16' of the body images 15, 15' , 15".
  • the results of this hierarchical image analysis are the personal data 6, body data 7 and facial data 8 transmitted by the program modules 12, 12', 12" to the database 5.
  • This data model 9 can be implemented in the form of a tree structure.
  • a hierarchical tree structure can be designed in such a way that personal data 6 and various body regions are assigned to an identified person on the top hierarchical level (lowest level of detail). Various body data 7 and facial images are assigned to the body regions on the middle hierarchical level. Face data 8 is assigned to the face images on the lowest hierarchical level (highest level of detail).
  • the data processing unit 4' is connected to an engine control unit 18, a display unit 19 and a warning light 20 of the vehicle 1 in order to activate an actuator of the seat or an exterior mirror, to issue a warning on the dashboard or to the driver depending on the result of its queries Q1 and Q2 show information on a display.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Bestimmung von Merkmalen des Innenraums (1) eines Fahrzeugs (2) mit zumindest einer Bildaufnahmeeinheit (3), einer Datenverarbeitungseinheit (4) und einer Datenbank (5), umfassend die Aufnahme, durch die Bildaufnahmeeinheit (3), eines Fotos (11) oder Videos des Innenraums (1) und Übermittlung an die Datenverarbeitungseinheit (4), die Analyse des Fotos (11) oder Videos, in der Datenverarbeitungseinheit (4), durch eine sequenzielle Datenverarbeitungskette (10) von Programmmodulen (12, 12', 12''), umfassend die Schritte Grobanalyse zur Lokalisierung von Personen und Objekten und Erstellung von Körper- und Objektbildern (15, 15', 15''), Detailanalyse der Körper- und Objektbilder (15, 15', 15''), Extraktion von Körper- und Objektdaten (7), und die Speicherung, durch die Datenverarbeitungseinheit (4), der ermittelten Körper- und Objektdaten (7) in einem hierarchischen Datenmodell (9) in der Datenbank (5).

Description

Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs.
Moderne Fahrzeuge beinhalten kamerabasierte Systeme zur Analyse ihres Innenraums, um in der Fahrzeugkabine befindliche Personen und Gegenstände zu detektieren bzw. zu analysieren. Die Anordnung von Personen und Gegenständen im Innenraum des Fahrzeugs wird dabei als Szene bezeichnet. Mit Hilfe derartiger Systeme können aus der aufgenommenen Szene sowohl sicherheitsrelevante Informationen (z.B. Aufmerksamkeit des Fahrers, Gurterkennung bei allen Insassen, etc.), als auch nicht sicherheitsrelevante Informationen (z.B. Größenbestimmung des Fahrers zur automatischen Einstellung des Sitzes, Fahrer-Identifizierung zur Modellierung von unterschiedlichen Einstellungsprofilen, etc.) abgeleitet werden.
Bekannte Systeme leiden jedoch unter verschiedenen Problemen. Erstens werden verschiedene Aufgaben aus dem Bereich der Innenraumanalyse meist unabhängig voneinander betrachtet. Das heißt, dass für jede abzuleitende Information jeweils ein völlig unabhängig operierendes Bildverarbeitungsmodul zum Einsatz kommt. So gibt es Systeme, die das Aufmerksamkeitslevel des Fahrers modellieren, oder aber auch Personen anhand ihres Gesichts erkennen und verifizieren. Solche Systeme leiden darunter, dass die einzelnen Module einen hohen Speicherbedarf und eine hohe Rechenkapazität benötigen. Zweitens sind die zu identifizierenden Szenen bei unterschiedlichen Fahrzeugtypen (z.B. PKW, LKW, Bus („Peoplemover“), Zug, etc.) verschieden groß und damit auch verschieden komplex. Bei der Analyse von Personen und Objekten ergibt sich zum Beispiel im Innenraum eines Zugs eine wesentlich größere Anzahl an zu analysierenden Objekten verglichen mit dem Innenraum eines PKWs. Folglich müssen für unterschiedliche Fahrzeugtypen verschiedene Systeme bereitgestellt werden.
Diese und andere Aufgaben der Erfindung werden erfindungsgemäß durch ein Verfahren gemäß Anspruch 1 gelöst.
Ein erfindungsgemäßes computerimplementiertes Verfahren zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs verwendet zumindest eine im Innenraum des Fahrzeugs angeordnete Bildaufnahmeeinheit, eine Datenverarbeitungseinheit und eine Datenbank. Es umfasst zumindest die folgenden Schritte:
Zunächst erfolgt durch die Bildaufnahmeeinheit die Aufnahme eines Fotos oder eines Videos des Innenraums, und die Übermittlung des Fotos oder Videos an die Datenverarbeitungseinheit. Die Datenverarbeitungseinheit analysiert das Foto oder Video durch eine sequenzielle Datenverarbeitungskette von hierarchisch angeordneten Programmmodulen.
Eine erfindungsgemäße Datenverarbeitungskette umfasst mehrere Programmmodule, wobei jedes Modul entweder Informationen aus Bildern extrahiert und dabei bekannte Bildverarbeitungsalgorithmen einsetzt, oder Informationen aus anderen Modulen verknüpft und weiterverarbeitet, um höherwertige Informationen zu gewinnen. Die extrahierten Informationen dienen dabei der Beschreibung der Szene und können zum Beispiel die Position einer Person oder eines Objekts bzw. Farben, Größen, Umfänge, etc. dieser lokalisierten Personen und Objekte beinhalten. Die ermittelten Informationen können im Wesentlichen als Personen- und Objektdaten zusammengefasst werden.
Die Programmmodule der Datenverarbeitungskette sind hierarchisch angeordnet, wobei die Hierarchieebene eines Moduls aus dem Detailgrad der daraus gewonnenen Information festgelegt wird. Die Module können von einem oder mehreren anderen Modulen abhängig sein. Das erste Modul in der Verarbeitungskette steht dabei in der Hierarchieebene ganz oben und hat keine Abhängigkeiten zu Informationen aus anderen Modulen. Je weiter unten das Modul in der Hierarchieebene steht, desto mehr Abhängigkeiten zu vorangegangenen Verarbeitungsschritten bzw. Modulen liegen vor. Die durch die Module extrahierten Informationen gewinnen also mit Verringerung der Hierarchieebene an Detail.
In einem ersten Schritt erfolgt eine Grobanalyse zur Lokalisierung von Personen und Objekten im Foto oder Video. Zu diesem Zweck können bekannte Bildverarbeitungsalgorithmen eingesetzt werden. Die Umrisse der erkannten Personen bzw. des erkannten Objekts werden im Foto oder Video detektiert und um diese Umrisse herum werden Teilabschnitte des Fotos oder Videos in Form von Körper- und Objektbildern erstellt. Bei den Objekten kann es sich beispielsweise um Mobiltelefone, Kindersitze, Handtaschen, Rucksäcke oder andere Objekte handeln. Gegebenenfalls kann die Datenverarbeitungseinheit die ermittelten Körper- und Objektdaten in einem hierarchischen Datenmodell in der Datenbank abspeichern.
Im nächsten Schritt erfolgt eine Detailanalyse der extrahierten Körper- und Objektbilder. Zu diesem Zweck können bekannte Bildverarbeitungsalgorithmen eingesetzt werden. Körperdaten wie Körpergröße, Alter, Gewicht, Geschlecht, ein Körpergelenksmodell, die Körperhaltung und andere optisch erkennbare Eigenschaften der Körper können extrahiert werden. Ebenso können Objektdaten wie Größe, Form, Farbe, Umfang und andere optisch erkennbare Eigenschaften der erkannten Objekte extrahiert werden. Die Detailanalyse kann für alle im ersten Schritt lokalisierten Personen und Objekte im Innenraum durchgeführt werden.
In einem weiteren Schritt speichert die Datenverarbeitungseinheit die ermittelten Körper- und Objektdaten in einem hierarchischen Datenmodell in der Datenbank. In diesem hierarchischen Datenmodell sind die Daten aus der Grobanalyse in einer höheren Hierarchieebene angeordnet als die Daten aus der Detailanalyse. Das hierarchische Datenmodell kann als hierarchisch strukturierte Textdatei ausgeführt sein, die in der Datenbank gespeichert und gegebenenfalls durch die Datenverarbeitungseinheit geändert werden kann. Beispielsweise kann es sich um eine Datei im XML-Format oder einem proprietären Dateiformat handeln. Dadurch wird die Kompatibilität des Datenmodells mit beliebigen externen Programmmodulen gewährleistet.
Dieses hierarchische Datenmodell verbleibt in der Datenbank und kann in Folge durch Programmmodule der Datenverarbeitungseinheit selbst, oder durch externe Programmmodule, beispielsweise von einer externen Datenverarbeitungseinheit, zur Bestimmung von Merkmalen des Innenraums des Fahrzeugs verwendet werden.
Ein externes Programmmodul kann zur Bestimmung eines bestimmten Merkmals des Innenraums des Fahrzeugs das hierarchische Datenmodell heranziehen. Bei dem gesuchten Merkmal des Innenraums kann es sich beispielsweise um eines oder mehrere der folgenden handeln: Besetzung des Fahrzeugs, Gurte korrekt angelegt, Position von Objekten wie Mobiltelefone oder Kindersitze in Relation zu den erkannten Personen, Aufmerksamkeitsgrad des Fahrers, Müdigkeit des Fahrers, und dergleichen.
Das externe Programmmodul kann dem hierarchischen Datenmodell genau jene Körper- und Objektdaten entnehmen, die zur Bestimmung des Merkmals erforderlich sind. Dabei kann das externe Programmmodul Informationen aus unterschiedlichen Ebenen und unterschiedlichen Detailgraden kombinieren, ohne die entsprechenden Analysemodelle neuerlich ausführen zu müssen, sodass eine schnelle Bearbeitung möglich ist.
Bei der erfindungsgemäßen Datenverarbeitungskette sind also die Programmmodule zur Grobanalyse und Detailanalyse hierarchisch aufgebaut. Die Hierarchie in der Abarbeitung ergibt sich durch die Anzahl der vorangeschalteten Programmmodule, die notwendig sind, um die Informationen mit möglichst wenig Ressourceneinsatz zu berechnen. Erfindungsgemäß werden Bildverarbeitungsmodule und Algorithmen auf eine hierarchische Weise kombiniert. Damit ergeben sich wesentliche Vorteile gegenüber herkömmlichen Verfahren. Einerseits erfolgt eine dramatische Reduktion von Speicher und Rechenkapazität. Ein System, welches das erfindungsgemäße Verfahren nutzt, kann aus einer Szene eine Vielzahl von Zuständen und Informationen schneller erfassen und verarbeiten. Informationen, die weiter oben in der Hierarchieebene stehen (d.h. einen niedrigeren Detailgrad haben), werden in der Regel von mehreren Programmmodulen benötigt und werden zuerst und unter Verwendung von größeren Teilen der Ressourcen (d.h. Speicherplatz und Prozessorleistung) berechnet.
Informationen, die weiter unten in der Hierarchieebene liegen (d.h. die einen höheren Detailgrad haben), werden erst nachgelagert, unter Verwendung von weniger Ressourcen und auch parallel berechnet. Dementsprechend erlaubt ein erfindungsgemäßes Verfahren den Einsatz von kostengünstigerer Hardware für die entsprechenden Systeme.
Das erfindungsgemäße Verfahren erlaubt auch eine Vereinheitlichung des Gesamtsystems zur Innenraumanalyse. So können Eigenschaften des Innenraums von beliebig komplexen Gesamtsystemen erfasst werden, ohne die Datenverarbeitungskette verändern zu müssen. Die Datenverarbeitungskette weist somit eine hohe Skalierbarkeit in Bezug auf die Größe und Komplexität der Szenen des Innenraums auf. Hierarchieebenen können aber auch an bestimmte Eigenschaften und Anforderungen gebunden sein. So kann zum Beispiel bei niedrigerem Detailgrad des Gesamtsystems (d.h. es werden nur Informationen mit einem niedrigem Detailgrad extrahiert und benötigt) die Anzahl der Kameras und die Auflösung der Eingabedaten reduziert werden, oder aber auch verfügbare Programmmodule auf bestimmte Hierarchieebenen eingeschränkt werden.
Die Datenverarbeitungseinheit und die Datenbank können vorzugsweise zur Gänze in einem Fahrzeug angeordnet sein. Es kann jedoch auch vorgesehen sein, dass die Datenverarbeitungseinheit und die Datenbank im Fahrzeug angeordnet sind und über eine Schnittstelle, beispielsweise eine drahtlose Verbindung, mit einem externen Server, beispielsweise einem Server im Internet, kommunizieren, auf dem sich gegebenenfalls eine Datenbank mit einem vorab hinterlegten Datenmodell befindet.
Bei der Bildaufnahmeeinheit kann es sich um eine Foto- oder Videokamera, eine ToF (Time-of-Flight) Kamera oder dergleichen handeln. Die Verwendung einer ToF-Kamera erleichtert die robuste Lokalisierung von Person und Objekten und die Extraktion der Körper- und Objektdaten. Die Bildaufnahmeeinheit kann im Fahrzeug vorzugsweise derart angeordnet sein, dass möglichst der gesamte Innenraum im Bildbereich sichtbar ist. Zu diesem Zweck kann die Bildaufnahmeeinheit auch mehrere in unterschiedlichen Winkeln angeordnete Kameras umfassen. Zur Extraktion und Analyse der Körper- und Objektdaten können Bildanalysebibliotheken und/oder ein mit Trainingsbeispielen trainierter Detektor, beispielsweise ein neuronales Netz herangezogen werden.
Die Datenverarbeitungseinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU), einen flüchtigen Halbleiterspeicher (RAM), einen nichtflüchtigen Halbleiterspeicher (ROM, SSD-Festplatte), einen magnetischen Speicher (Festplatte) und/oder einen optischen Speicher (CD-ROM) sowie Schnittstelleneinheiten (Ethernet, USB) und dergleichen umfassen. Die Bestandteile derartiger Datenverarbeitungseinheiten sind dem Fachmann grundsätzlich bekannt. Die Datenbank kann als Softwaremodul in der Datenverarbeitungseinheit, in einem von der Datenverarbeitungseinheit getrennten Computer oder in einem externen Server vorgesehen sein.
Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit mit Aktuatoren oder Warneinheiten in Verbindung steht, beispielsweise einem Motor zur Justierung der Sitzpositionen des Fahrzeugs, einer Warnleuchte zur Anzeige einer Warnung bei nicht angelegtem Gurt, oder einer grafischen Anzeige zur Darstellung des detektierten Aufmerksamkeitsgrads des Fahrers. Diese Aktuatoren oder Warneinheiten können vorzugsweise direkt durch die externen Programmmodule als Reaktion auf die ermittelten Merkmale des Fahrzeug-Innenraums angesteuert werden. Die Erfindung erstreckt sich auch auf ein computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens veranlassen.
Ferner erstreckt sich die Erfindung auch auf eine Vorrichtung zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs, umfassend zumindest eine Bildaufnahmeeinheit, eine Datenverarbeitungseinheit und eine Datenbank, wobei die Vorrichtung zur Ausführung eines erfindungsgemäßen Verfahrens ausgebildet ist.
Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den Ausführungsbeispielen und den Figuren.
Die Erfindung wird im Folgenden anhand eines exemplarischen, nicht ausschließlichen Ausführungsbeispiels erläutert.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs mit einer Datenverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens; Figs. 2a - 2c zeigen schematische Beispiele eines aufgenommenen Bildes und der daraus extrahierten Informationen;
Figs. 3a - 3c zeigen schematische Darstellungen von Ausführungsformen eines erfindungsgemäßen hierarchischen Datenmodells, einer erfindungsgemäßen Datenverarbeitungskette und einer erfindungsgemäßen Textdatei zur Speicherung des Datenmodells;
Fig. 4 zeigt ein schematisches Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 2 mit darin integrierten elektronischen Datenverarbeitungseinheiten 4, 4‘ zur Ausführung eines erfindungsgemäßen Verfahrens. Im Innenraum 1 des Fahrzeugs 2 ist an der Decke eine Bildaufnahmeeinheit 3 in Form einer Kamera angeordnet. Die Kamera ist dazu ausgebildet und derart angeordnet, dass sie den gesamten Innenraum 1 des Fahrzeugs 2, nämlich sämtliche Sitze und darin befindliche Personen, aufnehmen kann. Im Innenraum sitzen mehrere Personen in zwei Reihen. Das Fahrzeug ist in diesem Ausführungsbeispiel als PKW ausgebildet. Die Datenverarbeitungseinheiten 4, 4‘ sind mit einer Datenbank 5 verbunden und verfügen über (nicht dargestellte) Schnittstellen zur Kommunikation mit externen elektronischen Komponenten.
Figs. 2a - 2c zeigen schematische Beispiele eines durch die Bildaufnahmeeinheit 3 aufgenommenen und an die Datenverarbeitungseinheit 4 übermittelten Fotos 11 des Innenraums 1. Das Foto 11 zeigt eine typische Szene im Innenraum 1 eines Fahrzeugs 2 mit einem Fahrer, einem Beifahrer und einer auf der Rückbank sitzenden Person.
Die Extraktion der in der Szene enthaltenen Informationen erfolgt durch eine hierarchische Datenverarbeitungskette 10. Im Rahmen der Grobanalyse erfolgt eine Lokalisierung von Personen und Objekten, und eine Erstellung von gegebenenfalls überlappenden Körper- und Objektbildern 15, 15‘, 15“. Im gegenständlichen Ausführungsbeispiel werden drei Personen und keine Objekte lokalisiert. Auf Grundlage der lokalisierten Personen und deren Koordinaten wird das Foto 11 in drei Körper- und Objektbilder 15, 15‘, 15“ aufgeteilt, und diese werden an die nachfolgende Detailanalyse übergeben.
Im Rahmen der Detailanalyse erfolgt eine genauere Analyse der Körperbilder 15, 15‘, 15“ und eine Extraktion von Körper- und Objektdaten 7. Bei den Körper- und Objektdaten 7 handelt es sich insbesondere um ein Körpergelenksmodell 13, 13‘, 13“, aus dem eine Vielzahl relevanter Informationen abgeleitet werden kann. Beispielsweise kann auf Grundlage eines Körpergelenksmodells 13, 13‘, 13“ die Sitzhaltung der Person ermittelt und durch Vergleich mit Referenzbildern festgestellt werden, ob ein Sitzgurt korrekt angelegt wurde. Die Körpergelenksmodelle 13, 13‘, 13“ können insbesondere in Form von Graphen, also über Kanten verbundenen Punkten im kartesischen Raum, gebildet werden.
Auch das Gewicht, Alter, Geschlecht und der Körperumfang der Personen kann daraus ermittelt werden, beispielsweise durch Vergleich mit Referenzdaten, die in der Datenbank 5 abgelegt sind. Auf der Hierarchieebene der Detailanalyse kann auch unterschieden werden, welche der drei Körper- und Objektbilder 15, 15‘, 15“ weiter untersucht werden sollen, nämlich vorzugsweise jene des Fahrers und des Beifahrers.
In Ausführungsformen der Erfindung können auch feiner strukturierte Gesichtsbilder 16, 16‘ und Personendaten 6 des Fahrers und Beifahrers extrahiert werden, die an das nachfolgende Programmmodul der Datenverarbeitungskette 10 übergeben werden. Im hier gezeigten Ausführungsbeispiel gemäß Fig. 2c handelt es sich um das Gesicht des Fahrers und des Beifahrers. Durch Anwendung von Bilderkennungsalgorithmen der Datenverarbeitungseinheit 4 können Gesichtsmodelle 14, 14‘ erstellt werden. Aus den Gesichtsbildern 16, 16‘ können Gesichtsdaten 8 wie beispielsweise die Positionen von Mund, Nase, Augen und Ohren, die Blickrichtung und dergleichen der beiden Personen ermittelt. Die Gesichtsmodelle 14, 14‘ können insbesondere in Form von Graphen, also über Kanten verbundenen Punkten im kartesischen Raum, gebildet werden.
Als Ergebnis der hierarchischen Datenverarbeitungskette 10 werden zumindest die die Körper- und Objektdaten 7 in der Datenbank 5 abgespeichert. Eine Hinterlegung des aufgenommenen Fotos 11 bzw. der Körperbilder 15, 15‘, 15“ in der Datenbank kann vorgesehen sein, ist aber nicht zwingend erforderlich und kann zur Einsparung von Speicherplatz unterlassen werden.
Fig. 3a zeigt eine schematische Darstellung eines durch die Datenverarbeitungseinheit 4 erstellten hierarchischen Datenmodells 9 mit einer Vielzahl an hierarchisch angeordneten Datenobjekten 21 . Der Detailgrad der in den Datenobjekten 21 gespeicherten Informationen steigt von oben nach unten an. In dieser Darstellung ist jedes Datenobjekt 21 als Kreis dargestellt, und die Datenobjekte 21 gliedern sich in Personendaten 6, Körper- und Objektdaten 7, sowie Gesichtsdaten 8. Erkannte Personen werden auf der Ebene der Personendaten 6 durch eine Vielzahl von Eigenschaften beschrieben. Je nach Detailgrad werden die Eigenschaften in verschiedenen Ebenen gespeichert. Zusammengehörige Eigenschaften sind mit Eigenschaften bzw. Objekten von darunter bzw. darüber liegenden Ebenen verbunden. Beispielsweise kann ein Fahrzeug zwei Personen beinhalten, jede Person kann ein Gewicht, eine Größe und einen Körperumfang haben. Auf der Ebene der Körper- und Objektdaten 7 können verschiedene Körperregionen wie Oberkörper, Unterkörper, Kopf unterschieden werden.
Auf der Ebene der Gesichtsdaten 8 können Positionen von Augen, Nase, Mund, Ohren etc. jeder Person oder ausgewählter Personen abgespeichert sein. Natürlich können auch weitere Hierarchieebenen vorgesehen sein, d.h. es kann auch eine feinere Untergliederung der im Foto 11 dargestellten Szene erfolgen. Beispielsweise könnte eine weitere Untergliederung in zusammengehörige Personengruppen erfolgen, etwa in einem Autobus, wo jede Personenreihe als Personengruppe eine eigene Hierarchieebene bilden kann.
Fig. 3b zeigt eine schematische Darstellung einer erfindungsgemäßen Datenverarbeitungskette 10, aufgeteilt in eine Grobanalyse sowie eine nachfolgende erste, zweite und dritte Detailanalyse. Die Datenverarbeitungskette erhält ein Foto 11 und analysiert dieses parallel nach Personen (linker Zweig) und Objekten (rechter Zweig). Rechteckige Kästchen symbolisieren Programmmodule bzw. Algorithmen zur Extraktion bestimmter Merkmale des Fahrzeug-Innenraums, für die bestehende und standardisierte Bildanalysebibliotheken herangezogen werden können.
Grundsätzlich kann für jedes zu erkennende Merkmal des Fahrzeug-Innenraums ein Deep-Learning Netzwerk zum Einsatz kommen. Zur Detektion von Personen kann beispielsweise ein neurales Netzwerk trainiert werden, das nur Personen im Bild erkennt, zur Detektion von Objekten ein gesondertes neuronales Netzwerk, ebenso zur Detektion von Gelenkspositionen, Augenpositionen, Blickrichtungen, Kopfstellungen, Körperhaltungen, Gesten, und so weiter.
Im Rahmen der Grobanalyse erfolgt im Schritt S101 eine Personendetektion, im Schritt S201 eine Objektdetektion. Die Programmmodule liefern jeweils die Positionen von erkannten Personen bzw. Objekten im dreidimensionalen Raum des Fahrzeugs. Im Rahmen der ersten Detailanalyse erfolgt im Schritt S111 eine Bestimmung von Gelenkspositionen jeder erkannten Person, im Schritt S112 die Vergabe einer eindeutigen Identifikations-Nummer für jede erkannte Person, und im Schritt S113 die Bestimmung bzw. Schätzung des Geschlechts und des Gewichts jeder erkannten Person. Auf dieser Hierarchieebene erfolgt für die erkannten Objekte im Schritt S211 eine Detektion von Teilobjekten sowie im Schritt S212 eine Schätzung des Gewichts jedes erkannten Objekts.
Im Rahmen der zweiten Detailanalyse erfolgt im Schritt S121 eine Segmentierung der Augenportion jeder erkannten Person, im Schritt S122 die Erkennung von Handgesten für jede erkannte Person, und im Schritt S123 eine Segmentierung des Kopfbereichs jeder erkannten Person. Auf dieser Hierarchieebene erfolgt für die erkannten Objekte im Schritt S221 eine Größenbestimmung von Teilobjekten sowie im Schritt S222 eine Schätzung des Umfangs jedes erkannten Teilobjekts.
Im Rahmen der dritten Detailanalyse erfolgt im Schritt S131 eine Erkennung der Blickrichtung jeder erkannten Person, im Schritt S132 die Erkennung von Kopfposen für jede erkannte Person, und im Schritt S133 eine Erkennung von Emotionen jeder erkannten Person.
Die im Rahmen dieser Datenverarbeitungskette extrahierten Merkmale des Fahrzeug- Innenraums werden in einer (nicht dargestellten) Datenbank 9 abgelegt, beispielsweise in der Baumstruktur gemäß Fig. 3a. Es sind zwei externe Programmmodule 17, 17‘ als ovale Blöcke angedeutet. Diese beziehen, abhängig von ihrer Bestimmung, ausgewählte Merkmale des Fahrzeug-Innenraums aus dem hierarchischen Datenmodell 9 bzw. fragen diese Merkmale direkt bei den jeweiligen Programmmodulen ab. Im konkreten Ausführungsbeispiel benötigt ein erstes externes Programmmodul 17 die Personen-IDs aus dem Programmmodul S112, die Blickrichtung dieser Personen aus dem Programmmodul S131 , sowie die Kopfhaltung dieser Personen aus dem Programmmodul S132 und bestimmt daraus einen Aufmerksamkeitsgrad. Auf Seiten der erkannten Objekte benötigt das externe Programmmodul 17‘ das Gewicht der erkannten Objekte aus dem Programmmodul S212 und dessen Größe aus dem Programmmodul S221 , und bestimmt daraus, ob es sich um ein für den Innenraum des betreffenden Fahrzeuges zulässiges Objekt handelt. Wiederum kann es sich bei den externen Programmmodulen 17, 17‘ um Algorithmen aus standardisierten Programmbibliotheken handeln.
Fig. 3c zeigt einen schematischen Ausschnitt aus einer Textdatei 22 zur Speicherung der Datenobjekte 21 des hierarchischen Datenmodells 9. Die Textdatei 22 ist hierarchisch aufgebaut und in logische Blöcke (Personen, Objekte) sowie Unterblöcke (Augen, Kopf, Körper, Blickrichtung, etc.) gegliedert, wobei jeder Block und Unterblock eine Vielzahl von Attributen (beispielsweise Koordinaten) aufweisen kann, die ein Datenobjekt 21 bilden. Diese Figur zeigt nur einen kleinen Teil der Textdatei 22, welche in der Praxis wesentlich umfangreicher und auch während des Betriebs des Verfahrens durch Aufnahme zusätzlicher Attribute weiter verfeinert werden kann. Eine derartige Implementierung des Datenmodells 9 erlaubt eine einfache und schnelle Abfrage durch externe Programmmodule 17, 17‘, welche eine einfach zu programmierende und somit portable Schnittstelle zum Datenzugriff auf die erkannten Merkmale des Fahrzeuginnenraums erlaubt. Die Programmmodule 17, 17‘ müssen somit nicht das Foto 11 oder die Körper- und Objektbilder 15, 15‘, 15“ analysieren, sondern greifen aus der Textdatei 22 die gewünschten Daten direkt ab.
Beispielsweise ist in diesem schematischen Abschnitt der Textdatei 22 erkennbar, dass die erkannten Merkmale des Fahrzeug-Innenraums in hierarchischer Form gegliedert sind. Es wird zwischen dem Fahrer („driver“) und dem Beifahrer („co-driver“) unterschieden. In dem Beispiel gibt es einen Fahrer, der auf einer gewissen Position sitzt, wobei diese Position im Foto 11 erkannt wird (Block „pose“, "height": 1163, "width": 872, "x": 754, "y": -81 ). Zusätzlich sind dem Fahrer beispielsweise Gelenkspositionen und Augenpositionen zugeordnet. Für jeden erkannten Kopf gibt es eine Pose („headPose“) und 3 dazugehörige Winkel - "ccsPitchDegree": 24.61 , "ccsRollDegree": -15.06, "ccsYawDegree": 39.91 ). Auch für die Augen werden Zusatzinformationen berechnet (im Beispiel unter „eyes“ ausgeführt, wo eine Öffnung („openness“) bzw. eine Blickrichtung („eyeGaze“) für jedes Auge berechnet wird. Fig. 4 zeigt ein schematisches Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs. Die Vorrichtung umfasst eine Bildaufnahmeeinheit 3, eine Datenverarbeitungseinheit 4, eine weitere Datenverarbeitungseinheit 4‘ und eine Datenbank 5. Sämtliche Komponenten sind in einem Fahrzeug angeordnet.
In der Datenverarbeitungseinheit 4 ist eine sequenzielle Datenverarbeitungskette 10 implementiert, welche in dieser Ausführungsform drei Programmmodule 12, 12‘, 12“ zur Analyse eines von der Bildaufnahmeeinheit 3 über eine Schnittstelle zur Verfügung gestellten Fotos 11 umfasst. Diese Programmmodule 12, 12‘, 12“ unterteilen sich in eine Grobanalyse des Fotos 11 , eine erste Detailanalyse ausgewählter Körperbilder 15, 15‘, 15“ des Fotos 11 , und eine zweite Detailanalyse ausgewählter Gesichtsbilder 16, 16‘ der Körperbilder 15, 15‘, 15“. Ergebnisse dieser hierarchischen Bildanalyse sind die von den Programmmodulen 12, 12‘, 12“ an die Datenbank 5 übermittelten Personendaten 6, Körperdaten 7 und Gesichtsdaten 8.
In der Datenbank 5 werden diese extrahierten Daten in einem hierarchischen Datenmodell 9 gespeichert. Dieses Datenmodell 9 kann in Form einer Baumstruktur implementiert sein.
Eine hierarchische Baumstruktur kann so ausgebildet sein, dass einer erkannten Person auf der obersten Hierarchieebene (geringster Detailgrad) Personendaten 6 und verschiedene Körperregionen zugeordnet sind. Den Körperregionen sind auf der mittleren Hierarchieebene verschiedene Körperdaten 7 und Gesichtsbilder zugeordnet. Den Gesichtsbildern sind auf der untersten Hierarchieebene (höchster Detailgrad) Gesichtsdaten 8 zugeordnet.
Wenn die Analyse des Fotos 11 abgeschlossen ist, kann dieses verworfen werden, da sämtliche relevanten Daten im hierarchischen Datenmodell 9 abgelegt sind. In Folge können interne oder externe Programmmodule auf das Datenmodell 9 zugreifen, um die von ihnen benötigten Informationen zur Bestimmung der gewünschten Eigenschaften des Innenraums zu entnehmen. Beispielsweise können externe Programmmodule 17, 17‘ in einer externen Datenverarbeitungseinheit 4‘ Anfragen Q1 und Q2 an die Datenbank 5 stellen, welche jeweils die benötigte Hierarchieebene enthalten. Die Datenbank stellt den Programmmodulen 17, 17‘ in Folge die erforderlichen Informationen dieser Hierarchieebenen zur Verfügung. Im vorliegenden Beispiel handelt es sich dabei um die Personendaten 6 für Anfrage Q1 (zB wie viele Personen sitzen am Rücksitz?), bzw. um die Körperdaten 7 und Gesichtsdaten 8 für Anfrage Q2 (zB wie sind die Blickrichtungen und Körperhaltungen von Fahrer und Beifahrer?). Die Datenverarbeitungseinheit 4‘ ist mit einer Motorsteuerung 18, einer Anzeigeeinheit 19 und einer Warnleuchte 20 des Fahrzeugs 1 verbunden, um abhängig vom Ergebnis ihrer Anfragen Q1 und Q2 einen Aktuator des Sitzes oder eines Außenspiegels zu aktivieren, eine Warnung am Armaturenbrett auszugeben, oder dem Fahrer eine Information auf einem Display anzuzeigen.
Die Erfindung beschränkt sich nicht auf die beschriebenen Ausführungsbeispiele, sondern umfasst auch weitere Ausführungen der vorliegenden Erfindung im Rahmen der nachfolgenden Patentansprüche.
Bezugszeichenliste
1 Innenraum
2 Fahrzeug
3 Bildaufnahmeeinheit
4, 4‘ Datenverarbeitungseinheit
5 Datenbank
6 Personendaten
7 Körper- und Objektdaten
8 Gesichtsdaten
9 Hierarchisches Datenmodell
10 Datenverarbeitungskette
11 Foto
12, 12‘ Programmmodul
13, 13‘, 13“ Körpergelenksmodell
14, 14‘ Gesichtsmodell
15, 15‘, 15“ Körper- und Objektbild
16, 16‘ Gesichtsbild
17, 17‘ Externes Programmmodul
18 Motorsteuerung
19 Anzeigeeinheit
20 Warnleuchte
21 Datenobjekt
22 Textdatei

Claims

Patentansprüche
1 . Computerimplementiertes Verfahren zur Bestimmung von Merkmalen des Innenraums (1 ) eines Fahrzeugs (2) mit zumindest einer Bildaufnahmeeinheit (3), einer Datenverarbeitungseinheit (4) und einer Datenbank (5), umfassend die folgenden Schritte: a. Aufnahme, durch die Bildaufnahmeeinheit (3), eines Fotos (11 ) oder Videos des Innenraums (1 ) und Übermittlung an die Datenverarbeitungseinheit (4), b. Analyse des Fotos (11 ) oder Videos, in der Datenverarbeitungseinheit (4), durch eine sequenzielle Datenverarbeitungskette (10) von hierarchisch angeordneten Programmmodulen (12, 12‘, 12“), umfassend die Schritte i. Grobanalyse zur Lokalisierung von Personen und Objekten, Erstellung von Körper- und Objektbildern (15, 15‘, 15“), ii. Detailanalyse der Körper- und Objektbilder (15, 15‘, 15“), Extraktion von Körper- und Objektdaten (7), c. Speicherung, durch die Datenverarbeitungseinheit (4), der ermittelten Körper- und Objektdaten (7) in einem hierarchischen Datenmodell (9) in der Datenbank (5), sowie gegebenenfalls d. Verwendung des hierarchischen Datenmodells (9) durch externe Programmmodule (17, 17‘) zur Bestimmung von Merkmalen des Innenraums (1 ) des Fahrzeugs (2).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (4) im Rahmen der Grobanalyse durch Anwendung von Bildverarbeitungsalgorithmen a. die Anzahl der Personen und die Anzahl der Objekte sowie deren Positionen als Personen- und Objektdaten (6) extrahiert, und b. den Umriss der Personen und Objekte im Foto (11 ) detektiert und um diesen Umriss Körper- und Objektbilder (15, 15‘, 15“) erstellt. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (4) im Rahmen der Detailanalyse durch Anwendung von Bildverarbeitungsalgorithmen auf die Körper- und Objektbilder (15, 15‘, 15“) die Körpergröße, das Körpergewicht, das Alter, das Geschlecht, ein Körpergelenksmodell (13), die Körperhaltung, die Objektgröße, das Objektgewicht, die Objektfarbe und/oder andere Körper- und Objektdaten (7) der erkannten Personen und Objekte extrahiert. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein externes Programmmodul (17, 17‘) zur Bestimmung eines Merkmals des Innenraums (1 ) des Fahrzeugs (2) dem hierarchischen Datenmodell (9) die zur Bestimmung des Merkmals erforderlichen Körper- und Objektdaten (7) entnimmt. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die externen Programmmodule (17, 17‘) Teil einer externen Datenverarbeitungseinheit (4‘) sind. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass es sich bei dem Merkmal des Innenraums (1 ) des Fahrzeugs (2) beispielsweise um eines oder mehrere der folgenden handelt: Besetzung des Fahrzeugs (2), Gurte korrekt angelegt, Position von Objekten, beispielsweise Mobiltelefone oder Kindersitze, in Relation zu einer Person im Fahrzeug, Aufmerksamkeitsgrad oder Müdigkeit des Fahrers entsprechend der Fahrsituation. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass abhängig von den Merkmalen des Innenraums (1 ) des Fahrzeugs (2) Aktuatoren oder Warneinheiten des Fahrzeugs (1 ) angesteuert werden, beispielsweise eine Motorsteuerung (18), eine Anzeigeeinheit (19) oder eine Warnleuchte (20). Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Datenobjekte (21 ) des hierarchischen Datenmodells (9) in einer hierarchisch aufgebauten Textdatei (22) in der Datenbank (5) und/oder in der Datenverarbeitungseinheit (4) gespeichert werden. Computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit (4) zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 veranlassen. Vorrichtung zur Bestimmung von Merkmalen des Innenraums (1 ) eines Fahrzeugs (2), umfassend zumindest eine Bildaufnahmeeinheit (3), eine Datenverarbeitungseinheit (4) und eine Datenbank (5), dadurch gekennzeichnet, dass die Vorrichtung zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 ausgebildet ist. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass eine externe Datenverarbeitungseinheit (4‘) vorgesehen ist, welche mit Aktuatoren oder Warneinheiten des Fahrzeugs (1 ) verbunden ist, beispielsweise mit einer Motorsteuerung (18) der Sitze, einer Anzeigeeinheit (19) oder einer Warnleuchte (20) im Armaturenbrett.
EP21748815.4A 2020-08-18 2021-07-14 Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs Pending EP4200801A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50693/2020A AT523727B1 (de) 2020-08-18 2020-08-18 Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs
PCT/EP2021/069627 WO2022037853A1 (de) 2020-08-18 2021-07-14 Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP4200801A1 true EP4200801A1 (de) 2023-06-28

Family

ID=77155749

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21748815.4A Pending EP4200801A1 (de) 2020-08-18 2021-07-14 Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs

Country Status (5)

Country Link
US (1) US20230316783A1 (de)
EP (1) EP4200801A1 (de)
CN (1) CN116194342A (de)
AT (1) AT523727B1 (de)
WO (1) WO2022037853A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214347A1 (de) 2021-12-15 2023-06-15 Zf Friedrichshafen Ag Vorrichtung zum Überwachen des Innenraums eines Fahrradanhängers eines Gespanns aus Fahrrad und Fahrradanhänger
KR20230129787A (ko) * 2022-03-02 2023-09-11 현대모비스 주식회사 실내등 제어시스템 및 이의 제어방법
DE102022108223A1 (de) 2022-04-06 2023-10-12 Audi Aktiengesellschaft Verfahren zum Betrieb eines Kraftfahrzeugs, Kraftfahrzeug sowie Computerprogrammprodukt

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
DE19719695A1 (de) * 1997-05-09 1998-11-19 Univ Eberhard Karls Verfahren und Vorrichtung zum Messen der Aufmerksamkeit von Lebewesen innerhalb einer Menge von Lebewesen
FR2815135A1 (fr) * 2000-10-11 2002-04-12 Siemens Automotive Sa Procede de determination de l'occupation d'un habitacle de vehicule automobile
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
DE10234824B4 (de) * 2002-07-31 2007-04-26 Webasto Ag Vorrichtung zur Überwachung einer Person oder eines Objekts im Fahrzeuginnenraum
JP2006248364A (ja) * 2005-03-10 2006-09-21 Omron Corp 移動体のドライバー認証装置
WO2009000743A1 (de) * 2007-06-22 2008-12-31 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur fahrerunterstützung mittels fahrerassistenzsystemen
DE102010002861B4 (de) * 2010-03-15 2020-06-25 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit mindestens einem Individualsitzplatz für einen mitfahrenden Fahrzeuginsassen
DE102013210941A1 (de) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102013220240A1 (de) * 2013-10-08 2015-04-09 Bayerische Motoren Werke Aktiengesellschaft Insassenanwesenheitssystem für ein Fahrzeug, Zentralverriegelungssystem, Verfahren zum Überprüfen der Anwesenheit von Insassen in dem Fahrzeug sowie Verfahren zum automatischen Betätigen von Türschlössern
JP6458734B2 (ja) * 2013-10-09 2019-01-30 日本電気株式会社 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US9688271B2 (en) * 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
US10112505B2 (en) * 2016-09-21 2018-10-30 Intel Corporation Occupant profiling system
DE102016225406A1 (de) * 2016-12-19 2018-06-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Aktuieren zumindest eines Personenschutzmittels eines Fahrzeugs
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法
DE102017211885A1 (de) * 2017-07-12 2019-01-17 Audi Ag Verfahren zum Anfordern eines Handelsguts bei einer Kommunikationseinrichtung einer kraftfahrzeugexternen Datenservereinrichtung, Bestelleinrichtung, und Kraftfahrzeug mit einer Bestelleinrichtung
US10740632B2 (en) * 2018-02-19 2020-08-11 Robert Bosch Gmbh Occupant detection system and method for transportation vehicle
KR102122263B1 (ko) * 2018-10-19 2020-06-26 엘지전자 주식회사 차량 실내 인원 모니터링 장치 및 방법
CN110422178B (zh) * 2019-08-14 2021-05-11 李斯特技术中心（上海）有限公司 驾驶信息获取方法、装置及信息获取系统
CN111086370A (zh) * 2019-12-31 2020-05-01 浙江合众新能源汽车有限公司 配置有Tbox汽车防止儿童独自被锁车内系统实现方法

Also Published As

Publication number Publication date
CN116194342A (zh) 2023-05-30
AT523727B1 (de) 2021-11-15
US20230316783A1 (en) 2023-10-05
WO2022037853A1 (de) 2022-02-24
AT523727A4 (de) 2021-11-15

Similar Documents

Publication Publication Date Title
EP4200801A1 (de) Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs
DE602004008282T2 (de) System und verfahren zur gesichtserkennung
DE112018004797T5 (de) Ansichtspunktinvariante objekterkennung durch synthetisierung und domänenanpassung
DE102017127592A1 (de) Verfahren zum Klassifizieren von Bildszenen in einem Fahrunterstützungssystem
DE102015212953A1 (de) Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
DE102014210820A1 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
DE102006010607A1 (de) Wahrscheinlichkeitstheoretischer Verstärkungsbaum-Rahmen zum Lernen von Unterscheidungsmodellen
WO2020049154A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE112005000569T5 (de) System und Verfahren zur Patientenidentifikation für klinische Untersuchungen unter Verwendung von inhaltsbasiertem Erlangen und Lernen
DE102017208718A1 (de) Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
DE102018123112A1 (de) Bildverarbeitungsvorrichtung und Programm
EP3557487A1 (de) Generieren von validierungsdaten mit generativen kontradiktorischen netzwerken
DE102018217091A1 (de) Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
DE102021109395A1 (de) Verfahren, systeme und vorrichtungen für benutzerverständliche erklärbare lernmodelle
DE112020005663T5 (de) Objekterkennung mit training aus mehreren datensätzen
DE102013210771A1 (de) Detektion eines komplexen objekts unter verwendung einer kaskade von klassifizierungseinrichtungen
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
DE102019105850A1 (de) Verfahren zur Erzeugung eines reduzierten neuronalen Netzes für ein Steuergerät eines Fahrzeuges mithilfe von Eigenvektoren
DE102021111096A1 (de) Per visuellem verhalten geführte objekterkennung
EP3857455A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
DE102021206625A1 (de) Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
EP3754544A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren
DE102022213409A1 (de) Verfahren und vorrichtung zur bildverarbeitung und fahrzeugdieses verfahren und diese vorrichtung umfassend
DE102022104399A1 (de) Verfahren und Prozessorschaltung zum Ermitteln von Trainingsdatensätzen für ein Training eines Modells des maschinellen Lernens

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)