EP4200801A1 - Computer-implemented method for analysing the interior of a vehicle - Google Patents

Computer-implemented method for analysing the interior of a vehicle

Info

Publication number
EP4200801A1
EP4200801A1 EP21748815.4A EP21748815A EP4200801A1 EP 4200801 A1 EP4200801 A1 EP 4200801A1 EP 21748815 A EP21748815 A EP 21748815A EP 4200801 A1 EP4200801 A1 EP 4200801A1
Authority
EP
European Patent Office
Prior art keywords
data processing
data
vehicle
processing unit
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21748815.4A
Other languages
German (de)
French (fr)
Inventor
Michael Hödlmoser
Sebastian Beyer
Florian SEITNER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emotion3D GmbH
Original Assignee
Emotion3D GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emotion3D GmbH filed Critical Emotion3D GmbH
Publication of EP4200801A1 publication Critical patent/EP4200801A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the invention relates to a computer-implemented method for analyzing the interior of a vehicle.
  • Modern vehicles contain camera-based systems for analyzing their interior in order to detect and analyze people and objects located in the vehicle cabin.
  • the arrangement of people and objects in the interior of the vehicle is referred to as a scene.
  • safety-relevant information e.g. the driver's attention, seat belt detection for all occupants, etc.
  • non-safety-relevant information e.g. determination of the driver's size for the automatic adjustment of the seat, driver identification for the modeling of different setting profiles, etc.
  • a computer-implemented method for determining features of the interior of a vehicle uses at least one image recording unit arranged in the interior of the vehicle, a data processing unit and a database. It includes at least the following steps:
  • the image recording unit takes a photo or a video of the interior and transmits the photo or video to the data processing unit.
  • the data processing unit analyzes the photo or video through a sequential data processing chain of hierarchically arranged program modules.
  • a data processing chain comprises a number of program modules, with each module either extracting information from images using known image processing algorithms, or linking and further processing information from other modules in order to obtain higher-value information.
  • the extracted information serves to describe the scene and can contain, for example, the position of a person or an object or colors, sizes, circumferences, etc. of these localized people and objects.
  • the information determined can essentially be summarized as personal and object data.
  • the program modules of the data processing chain are arranged hierarchically, with the hierarchy level of a module being determined by the level of detail of the information obtained from it.
  • the modules can depend on one or more other modules.
  • the first module in the processing chain is at the top of the hierarchy level and has no dependencies on information from other modules. The further down the module is in the hierarchy level, the more dependencies there are on previous processing steps or modules.
  • the information extracted by the modules thus gains in detail as the hierarchical level is reduced.
  • a rough analysis is carried out to localize people and objects in the photo or video.
  • Known image processing algorithms can be used for this purpose.
  • the outlines of the identified person or object are detected in the photo or video and sections of the photo or video are created around these outlines in the form of body and object images.
  • the objects can be, for example, mobile phones, child seats, handbags, backpacks or other objects.
  • the data processing unit can store the ascertained body and object data in a hierarchical data model in the database.
  • the next step is a detailed analysis of the extracted body and object images.
  • Known image processing algorithms can be used for this purpose.
  • Body data such as height, age, weight, gender, a body joint model, body posture and other visually recognizable features of the body can be extracted.
  • Object data such as size, shape, color, circumference and other optically recognizable properties of the recognized objects can also be extracted.
  • the detailed analysis can be carried out for all people and objects located in the interior in the first step.
  • the data processing unit stores the ascertained body and object data in a hierarchical data model in the database.
  • the data from the rough analysis is arranged at a higher hierarchical level than the data from the detailed analysis.
  • the hierarchical data model can be designed as a hierarchically structured text file that can be stored in the database and, if necessary, changed by the data processing unit. For example, it can be a file in XML format or a proprietary file format. This ensures the compatibility of the data model with any external program modules.
  • This hierarchical data model remains in the database and can subsequently be used by program modules of the data processing unit itself or by external program modules, for example by an external data processing unit, to determine features of the interior of the vehicle.
  • An external program module can use the hierarchical data model to determine a specific feature of the interior of the vehicle.
  • the searched feature of the interior can be, for example, one or more of the following: occupancy of the vehicle, seat belts correctly fastened, position of objects such as mobile phones or child seats in relation to the detected persons, level of driver attention, driver fatigue, and the like .
  • the external program module can extract precisely those body and object data from the hierarchical data model that are required to determine the feature.
  • the external program module can combine information from different levels and different levels of detail without having to run the corresponding analysis models again, so that fast processing is possible.
  • the program modules for rough analysis and detailed analysis are hierarchically structured.
  • the processing hierarchy results from the number of upstream program modules that are necessary to calculate the information using as few resources as possible.
  • image processing modules and algorithms are combined in a hierarchical manner. This results in significant advantages over conventional methods. On the one hand, there is a dramatic reduction in memory and computing capacity.
  • a system that uses the method according to the invention can acquire and process a large number of states and information from a scene more quickly. Information that is higher up in the hierarchy (ie, has a lower level of detail) is typically required by multiple program modules and is computed first and using larger portions of the resources (ie, memory and processing power).
  • Information that is further down the hierarchy level i.e. that has a higher level of detail
  • a method according to the invention allows the use of less expensive hardware for the corresponding systems.
  • the method according to the invention also allows a standardization of the overall system for interior space analysis.
  • properties of the interior of any complex overall system can be recorded without having to change the data processing chain.
  • the data processing chain thus exhibits high scalability in relation to the size and complexity of the interior scenes.
  • hierarchical levels can also be linked to certain properties and requirements. For example, with a lower level of detail of the overall system (i.e. only information with a low level of detail is extracted and required), the number of cameras and the resolution of the input data can be reduced, or the available program modules can be restricted to certain hierarchical levels.
  • the data processing unit and the database can preferably be arranged entirely in a vehicle. However, it can also be provided that the data processing unit and the database are arranged in the vehicle and communicate via an interface, for example a wireless connection, with an external server, for example a server on the Internet, on which there may be a database with a previously stored data model is located.
  • an interface for example a wireless connection
  • an external server for example a server on the Internet
  • the image recording unit can be a photo or video camera, a ToF (time-of-flight) camera or the like. Using a ToF camera facilitates the robust localization of person and objects and the extraction of the body and object data.
  • the image recording unit can preferably be arranged in the vehicle in such a way that as far as possible the entire interior is visible in the image area.
  • the image recording unit can also include a number of cameras arranged at different angles.
  • Image analysis libraries and/or a detector trained with training examples, for example a neural network can be used to extract and analyze the body and object data.
  • the data processing unit can be designed as a microcontroller or microcomputer and a central processing unit (CPU), a volatile semiconductor memory (RAM), a non-volatile semiconductor memory (ROM, SSD hard disk), a magnetic memory (hard disk) and/or an optical memory (CD ROM) as well as interface units (Ethernet, USB) and the like.
  • CPU central processing unit
  • RAM volatile semiconductor memory
  • ROM non-volatile semiconductor memory
  • ROM magnetic memory
  • CD ROM optical memory
  • the database can be provided as a software module in the data processing unit, in a computer that is separate from the data processing unit, or in an external server.
  • the data processing unit is connected to actuators or warning units, for example a motor to adjust the seat positions of the vehicle, a warning light to display a warning if the seat belt is not fastened, or a graphic display to show the detected level of alertness of the driver.
  • actuators or warning units can preferably be controlled directly by the external program modules as a reaction to the determined features of the vehicle interior.
  • the invention also extends to a computer-readable storage medium comprising instructions which cause a data processing unit to carry out a method according to the invention.
  • the invention also extends to a device for determining features of the interior of a vehicle, comprising at least one image recording unit, a data processing unit and a database, the device being designed to carry out a method according to the invention.
  • FIG. 1 shows a schematic representation of a vehicle with a data processing unit for carrying out a method according to the invention
  • figs Figures 2a - 2c show schematic examples of a captured image and the information extracted therefrom;
  • figs 3a - 3c show schematic representations of embodiments of a hierarchical data model according to the invention, a data processing chain according to the invention and a text file according to the invention for storing the data model;
  • FIG. 4 shows a schematic block diagram of an embodiment of a device according to the invention.
  • FIG. 1 shows a schematic representation of a vehicle 2 with electronic data processing units 4, 4' integrated therein for carrying out a method according to the invention.
  • An image recording unit 3 in the form of a camera is arranged on the ceiling in the interior 1 of the vehicle 2 .
  • the camera is designed and arranged in such a way that it can record the entire interior 1 of the vehicle 2, namely all the seats and the people in them. Inside, several people are seated in two rows.
  • the vehicle is designed as a passenger car.
  • the data processing units 4, 4' are connected to a database 5 and have interfaces (not shown) for communication with external electronic components.
  • figs 2a - 2c show schematic examples of a photo 11 of the interior 1 taken by the image recording unit 3 and transmitted to the data processing unit 4.
  • the photo 11 shows a typical scene in the interior 1 of a vehicle 2 with a driver, a front passenger and a person sitting on the back seat .
  • the information contained in the scene is extracted by a hierarchical data processing chain 10.
  • people and objects are localized and body and object images 15, 15', 15", which may overlap, are created.
  • three people and no objects are located.
  • the photo 11 is divided into three body and object images 15, 15', 15", and these are passed on to the subsequent detailed analysis.
  • the body images 15, 15', 15'' are analyzed more precisely and body and object data 7 are extracted from which a variety of relevant information can be derived.
  • body joint model 13, 13′, 13′′ the sitting posture of the person can be determined and, by comparison with reference images, it can be determined whether a seat belt has been put on correctly.
  • the body joint models 13, 13', 13'' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
  • the weight, age, sex and body size of the person can also be determined from this, for example by comparison with reference data stored in the database 5 .
  • a distinction can also be made as to which of the three body and object images 15, 15', 15'' are to be examined further, namely preferably those of the driver and the passenger.
  • more finely structured facial images 16, 16' and personal data 6 of the driver and front passenger can also be extracted, which are transferred to the subsequent program module of the data processing chain 10.
  • Face models 14, 14' can be created by using image recognition algorithms of the data processing unit 4.
  • Face data 8 such as the positions of the mouth, nose, eyes and ears, the line of sight and the like of the two persons can be determined from the face images 16, 16'.
  • the face models 14, 14' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
  • At least the body and object data 7 are stored in the database 5 as a result of the hierarchical data processing chain 10 .
  • Storage of the photograph 11 taken or of the body images 15, 15', 15'' in the database can be provided, but is not absolutely necessary and can be omitted to save storage space.
  • FIG. 3a shows a schematic representation of a hierarchical data model 9 created by the data processing unit 4 with a multiplicity of hierarchically arranged data objects 21 .
  • the level of detail of the information stored in the data objects 21 increases from top to bottom.
  • each data object 21 is shown as a circle, and the data objects 21 are divided into personal data 6, body and object data 7, and face data 8.
  • Detected people are described at the personal data 6 level by a large number of properties. Depending on the level of detail, the properties are stored in different levels.
  • Related properties are linked to properties or objects from levels below or above. For example, a vehicle may contain two people, each person may have a weight, height, and girth. At the level of the body and object data 7, different body regions such as upper body, lower body, head can be distinguished.
  • Positions of the eyes, nose, mouth, ears, etc. of each person or of selected persons can be stored at the face data level 8 .
  • further hierarchical levels can also be provided, i.e. a finer subdivision of the scene shown in photo 11 can also be made.
  • FIG. 3b shows a schematic representation of a data processing chain 10 according to the invention, divided into a rough analysis and a subsequent first, second and third detailed analysis.
  • the data processing chain receives a photo 11 and analyzes it in parallel for people (left branch) and objects (right branch). Rectangular boxes symbolize program modules or algorithms for extracting certain features of the vehicle interior, for which existing and standardized image analysis libraries can be used.
  • a deep learning network can be used for every feature of the vehicle interior to be recognized.
  • a neural network that only recognizes people in the image can be trained to detect people, a separate neural network to detect objects, as well as to detect joint positions, eye positions, viewing directions, head positions, body postures, gestures, and so on.
  • a person is detected in step S101 and an object is detected in step S201.
  • the program modules each provide the positions of recognized persons or objects in the three-dimensional space of the vehicle.
  • step S111 the joint positions of each identified person are determined, in step S112 a unique identification number is assigned for each identified person, and in step S113 the gender and weight of each identified person is determined or estimated.
  • step S212 the weight of each detected object is estimated in step S212.
  • the eye portion of each identified person is segmented in step S121, hand gestures are identified for each identified person in step S122, and the head area of each identified person is segmented in step S123.
  • the size of sub-objects is determined for the detected objects in step S221 and the scope of each detected sub-object is estimated in step S222.
  • step S131 the viewing direction of each identified person is identified, in step S132 the head poses are identified for each identified person, and in step S133 the emotions of each identified person are identified.
  • a first external program module 17 requires the person IDs from the program module S112, the line of sight of these persons from the program module S131, and the head position of these persons from the program module S132 and uses this to determine a degree of attention.
  • the external program module 17′ needs the weight of the detected objects from the program module S212 and their size from the program module S221, and uses this to determine whether the object is permissible for the interior of the vehicle in question.
  • the external program modules 17, 17' can be algorithms from standardized program libraries.
  • Fig. 3c shows a schematic excerpt from a text file 22 for storing the data objects 21 of the hierarchical data model 9.
  • the text file 22 has a hierarchical structure and is divided into logical blocks (persons, objects) and sub-blocks (eyes, head, body, viewing direction, etc.). structured, with each block and sub-block having a plurality of attributes (e.g. coordinates) that form a data object 21 .
  • This figure shows only a small part of the text file 22, which in practice can be much more extensive and can also be further refined during the operation of the method by including additional attributes.
  • Such an implementation of the data model 9 allows a simple and quick query by external program modules 17, 17', which allows an easy-to-program and thus portable interface for data access to the recognized features of the vehicle interior.
  • the program modules 17, 17' therefore do not have to analyze the photo 11 or the body and object images 15, 15', 15'', but access the desired data directly from the text file 22.
  • FIG. 4 shows a schematic block diagram of an embodiment of a device according to the invention for determining features of the interior of a vehicle.
  • the device comprises an image recording unit 3, a data processing unit 4, a further data processing unit 4' and a database 5. All components are arranged in a vehicle.
  • a sequential data processing chain 10 is implemented in the data processing unit 4, which in this embodiment comprises three program modules 12, 12', 12'' for analyzing a photo 11 made available by the image recording unit 3 via an interface.
  • These program modules 12, 12', 12'' are divided into a rough analysis of the photograph 11, a first detailed analysis of selected body images 15, 15', 15'' of the photograph 11, and a second detailed analysis of selected facial images 16, 16' of the body images 15, 15' , 15".
  • the results of this hierarchical image analysis are the personal data 6, body data 7 and facial data 8 transmitted by the program modules 12, 12', 12" to the database 5.
  • This data model 9 can be implemented in the form of a tree structure.
  • a hierarchical tree structure can be designed in such a way that personal data 6 and various body regions are assigned to an identified person on the top hierarchical level (lowest level of detail). Various body data 7 and facial images are assigned to the body regions on the middle hierarchical level. Face data 8 is assigned to the face images on the lowest hierarchical level (highest level of detail).
  • the data processing unit 4' is connected to an engine control unit 18, a display unit 19 and a warning light 20 of the vehicle 1 in order to activate an actuator of the seat or an exterior mirror, to issue a warning on the dashboard or to the driver depending on the result of its queries Q1 and Q2 show information on a display.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a computer-implemented method for determining features of the interior (1) of a vehicle (2) having at least one image recording unit (3), a data processing unit (4) and a database (5), comprising the recording, by means of the image recording unit (3), of a photograph (11) or video of the interior (1) and transmission to the data processing unit (4), the analysis of the photograph (11) or video, in the data processing unit (4), by means of a sequential data processing chain (10) of program modules (12, 12', 12''), comprising the steps of coarse analysis for locating people and objects and creating body and object images (15, 15', 15''), detailed analysis of the body and object images (15, 15', 15''), extraction of body and object data (7), and storage, by means of the data processing unit (4), of the ascertained body and object data (7) in a hierarchic data model (9) in the database (5).

Description

Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs Computer-implemented method for analyzing the interior of a vehicle
Die Erfindung betrifft ein computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs. The invention relates to a computer-implemented method for analyzing the interior of a vehicle.
Moderne Fahrzeuge beinhalten kamerabasierte Systeme zur Analyse ihres Innenraums, um in der Fahrzeugkabine befindliche Personen und Gegenstände zu detektieren bzw. zu analysieren. Die Anordnung von Personen und Gegenständen im Innenraum des Fahrzeugs wird dabei als Szene bezeichnet. Mit Hilfe derartiger Systeme können aus der aufgenommenen Szene sowohl sicherheitsrelevante Informationen (z.B. Aufmerksamkeit des Fahrers, Gurterkennung bei allen Insassen, etc.), als auch nicht sicherheitsrelevante Informationen (z.B. Größenbestimmung des Fahrers zur automatischen Einstellung des Sitzes, Fahrer-Identifizierung zur Modellierung von unterschiedlichen Einstellungsprofilen, etc.) abgeleitet werden. Modern vehicles contain camera-based systems for analyzing their interior in order to detect and analyze people and objects located in the vehicle cabin. The arrangement of people and objects in the interior of the vehicle is referred to as a scene. With the help of such systems, both safety-relevant information (e.g. the driver's attention, seat belt detection for all occupants, etc.) and non-safety-relevant information (e.g. determination of the driver's size for the automatic adjustment of the seat, driver identification for the modeling of different setting profiles, etc.) can be derived.
Bekannte Systeme leiden jedoch unter verschiedenen Problemen. Erstens werden verschiedene Aufgaben aus dem Bereich der Innenraumanalyse meist unabhängig voneinander betrachtet. Das heißt, dass für jede abzuleitende Information jeweils ein völlig unabhängig operierendes Bildverarbeitungsmodul zum Einsatz kommt. So gibt es Systeme, die das Aufmerksamkeitslevel des Fahrers modellieren, oder aber auch Personen anhand ihres Gesichts erkennen und verifizieren. Solche Systeme leiden darunter, dass die einzelnen Module einen hohen Speicherbedarf und eine hohe Rechenkapazität benötigen. Zweitens sind die zu identifizierenden Szenen bei unterschiedlichen Fahrzeugtypen (z.B. PKW, LKW, Bus („Peoplemover“), Zug, etc.) verschieden groß und damit auch verschieden komplex. Bei der Analyse von Personen und Objekten ergibt sich zum Beispiel im Innenraum eines Zugs eine wesentlich größere Anzahl an zu analysierenden Objekten verglichen mit dem Innenraum eines PKWs. Folglich müssen für unterschiedliche Fahrzeugtypen verschiedene Systeme bereitgestellt werden. However, known systems suffer from various problems. First, different tasks from the field of interior analysis are usually considered independently of each other. This means that a completely independently operating image processing module is used for each piece of information to be derived. There are systems that model the driver's attention level, or that recognize and verify people based on their faces. Such systems suffer from the fact that the individual modules require a high memory requirement and a high computing capacity. Secondly, the scenes to be identified are of different sizes for different vehicle types (e.g. car, truck, bus (“people mover”), train, etc.) and are therefore also of different complexity. When analyzing people and objects, for example, there is a significantly larger number of objects to be analyzed in the interior of a train compared to the interior of a car. Consequently, different systems must be provided for different vehicle types.
Diese und andere Aufgaben der Erfindung werden erfindungsgemäß durch ein Verfahren gemäß Anspruch 1 gelöst. This and other objects of the invention are achieved according to the invention by a method according to claim 1.
Ein erfindungsgemäßes computerimplementiertes Verfahren zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs verwendet zumindest eine im Innenraum des Fahrzeugs angeordnete Bildaufnahmeeinheit, eine Datenverarbeitungseinheit und eine Datenbank. Es umfasst zumindest die folgenden Schritte: A computer-implemented method according to the invention for determining features of the interior of a vehicle uses at least one image recording unit arranged in the interior of the vehicle, a data processing unit and a database. It includes at least the following steps:
Zunächst erfolgt durch die Bildaufnahmeeinheit die Aufnahme eines Fotos oder eines Videos des Innenraums, und die Übermittlung des Fotos oder Videos an die Datenverarbeitungseinheit. Die Datenverarbeitungseinheit analysiert das Foto oder Video durch eine sequenzielle Datenverarbeitungskette von hierarchisch angeordneten Programmmodulen. First, the image recording unit takes a photo or a video of the interior and transmits the photo or video to the data processing unit. The data processing unit analyzes the photo or video through a sequential data processing chain of hierarchically arranged program modules.
Eine erfindungsgemäße Datenverarbeitungskette umfasst mehrere Programmmodule, wobei jedes Modul entweder Informationen aus Bildern extrahiert und dabei bekannte Bildverarbeitungsalgorithmen einsetzt, oder Informationen aus anderen Modulen verknüpft und weiterverarbeitet, um höherwertige Informationen zu gewinnen. Die extrahierten Informationen dienen dabei der Beschreibung der Szene und können zum Beispiel die Position einer Person oder eines Objekts bzw. Farben, Größen, Umfänge, etc. dieser lokalisierten Personen und Objekte beinhalten. Die ermittelten Informationen können im Wesentlichen als Personen- und Objektdaten zusammengefasst werden. A data processing chain according to the invention comprises a number of program modules, with each module either extracting information from images using known image processing algorithms, or linking and further processing information from other modules in order to obtain higher-value information. The extracted information serves to describe the scene and can contain, for example, the position of a person or an object or colors, sizes, circumferences, etc. of these localized people and objects. The information determined can essentially be summarized as personal and object data.
Die Programmmodule der Datenverarbeitungskette sind hierarchisch angeordnet, wobei die Hierarchieebene eines Moduls aus dem Detailgrad der daraus gewonnenen Information festgelegt wird. Die Module können von einem oder mehreren anderen Modulen abhängig sein. Das erste Modul in der Verarbeitungskette steht dabei in der Hierarchieebene ganz oben und hat keine Abhängigkeiten zu Informationen aus anderen Modulen. Je weiter unten das Modul in der Hierarchieebene steht, desto mehr Abhängigkeiten zu vorangegangenen Verarbeitungsschritten bzw. Modulen liegen vor. Die durch die Module extrahierten Informationen gewinnen also mit Verringerung der Hierarchieebene an Detail. The program modules of the data processing chain are arranged hierarchically, with the hierarchy level of a module being determined by the level of detail of the information obtained from it. The modules can depend on one or more other modules. The first module in the processing chain is at the top of the hierarchy level and has no dependencies on information from other modules. The further down the module is in the hierarchy level, the more dependencies there are on previous processing steps or modules. The information extracted by the modules thus gains in detail as the hierarchical level is reduced.
In einem ersten Schritt erfolgt eine Grobanalyse zur Lokalisierung von Personen und Objekten im Foto oder Video. Zu diesem Zweck können bekannte Bildverarbeitungsalgorithmen eingesetzt werden. Die Umrisse der erkannten Personen bzw. des erkannten Objekts werden im Foto oder Video detektiert und um diese Umrisse herum werden Teilabschnitte des Fotos oder Videos in Form von Körper- und Objektbildern erstellt. Bei den Objekten kann es sich beispielsweise um Mobiltelefone, Kindersitze, Handtaschen, Rucksäcke oder andere Objekte handeln. Gegebenenfalls kann die Datenverarbeitungseinheit die ermittelten Körper- und Objektdaten in einem hierarchischen Datenmodell in der Datenbank abspeichern. In a first step, a rough analysis is carried out to localize people and objects in the photo or video. Known image processing algorithms can be used for this purpose. The outlines of the identified person or object are detected in the photo or video and sections of the photo or video are created around these outlines in the form of body and object images. The objects can be, for example, mobile phones, child seats, handbags, backpacks or other objects. If necessary, the data processing unit can store the ascertained body and object data in a hierarchical data model in the database.
Im nächsten Schritt erfolgt eine Detailanalyse der extrahierten Körper- und Objektbilder. Zu diesem Zweck können bekannte Bildverarbeitungsalgorithmen eingesetzt werden. Körperdaten wie Körpergröße, Alter, Gewicht, Geschlecht, ein Körpergelenksmodell, die Körperhaltung und andere optisch erkennbare Eigenschaften der Körper können extrahiert werden. Ebenso können Objektdaten wie Größe, Form, Farbe, Umfang und andere optisch erkennbare Eigenschaften der erkannten Objekte extrahiert werden. Die Detailanalyse kann für alle im ersten Schritt lokalisierten Personen und Objekte im Innenraum durchgeführt werden. The next step is a detailed analysis of the extracted body and object images. Known image processing algorithms can be used for this purpose. Body data such as height, age, weight, gender, a body joint model, body posture and other visually recognizable features of the body can be extracted. Object data such as size, shape, color, circumference and other optically recognizable properties of the recognized objects can also be extracted. The detailed analysis can be carried out for all people and objects located in the interior in the first step.
In einem weiteren Schritt speichert die Datenverarbeitungseinheit die ermittelten Körper- und Objektdaten in einem hierarchischen Datenmodell in der Datenbank. In diesem hierarchischen Datenmodell sind die Daten aus der Grobanalyse in einer höheren Hierarchieebene angeordnet als die Daten aus der Detailanalyse. Das hierarchische Datenmodell kann als hierarchisch strukturierte Textdatei ausgeführt sein, die in der Datenbank gespeichert und gegebenenfalls durch die Datenverarbeitungseinheit geändert werden kann. Beispielsweise kann es sich um eine Datei im XML-Format oder einem proprietären Dateiformat handeln. Dadurch wird die Kompatibilität des Datenmodells mit beliebigen externen Programmmodulen gewährleistet. In a further step, the data processing unit stores the ascertained body and object data in a hierarchical data model in the database. In this hierarchical data model, the data from the rough analysis is arranged at a higher hierarchical level than the data from the detailed analysis. The hierarchical data model can be designed as a hierarchically structured text file that can be stored in the database and, if necessary, changed by the data processing unit. For example, it can be a file in XML format or a proprietary file format. This ensures the compatibility of the data model with any external program modules.
Dieses hierarchische Datenmodell verbleibt in der Datenbank und kann in Folge durch Programmmodule der Datenverarbeitungseinheit selbst, oder durch externe Programmmodule, beispielsweise von einer externen Datenverarbeitungseinheit, zur Bestimmung von Merkmalen des Innenraums des Fahrzeugs verwendet werden. This hierarchical data model remains in the database and can subsequently be used by program modules of the data processing unit itself or by external program modules, for example by an external data processing unit, to determine features of the interior of the vehicle.
Ein externes Programmmodul kann zur Bestimmung eines bestimmten Merkmals des Innenraums des Fahrzeugs das hierarchische Datenmodell heranziehen. Bei dem gesuchten Merkmal des Innenraums kann es sich beispielsweise um eines oder mehrere der folgenden handeln: Besetzung des Fahrzeugs, Gurte korrekt angelegt, Position von Objekten wie Mobiltelefone oder Kindersitze in Relation zu den erkannten Personen, Aufmerksamkeitsgrad des Fahrers, Müdigkeit des Fahrers, und dergleichen. An external program module can use the hierarchical data model to determine a specific feature of the interior of the vehicle. The searched feature of the interior can be, for example, one or more of the following: occupancy of the vehicle, seat belts correctly fastened, position of objects such as mobile phones or child seats in relation to the detected persons, level of driver attention, driver fatigue, and the like .
Das externe Programmmodul kann dem hierarchischen Datenmodell genau jene Körper- und Objektdaten entnehmen, die zur Bestimmung des Merkmals erforderlich sind. Dabei kann das externe Programmmodul Informationen aus unterschiedlichen Ebenen und unterschiedlichen Detailgraden kombinieren, ohne die entsprechenden Analysemodelle neuerlich ausführen zu müssen, sodass eine schnelle Bearbeitung möglich ist. The external program module can extract precisely those body and object data from the hierarchical data model that are required to determine the feature. The external program module can combine information from different levels and different levels of detail without having to run the corresponding analysis models again, so that fast processing is possible.
Bei der erfindungsgemäßen Datenverarbeitungskette sind also die Programmmodule zur Grobanalyse und Detailanalyse hierarchisch aufgebaut. Die Hierarchie in der Abarbeitung ergibt sich durch die Anzahl der vorangeschalteten Programmmodule, die notwendig sind, um die Informationen mit möglichst wenig Ressourceneinsatz zu berechnen. Erfindungsgemäß werden Bildverarbeitungsmodule und Algorithmen auf eine hierarchische Weise kombiniert. Damit ergeben sich wesentliche Vorteile gegenüber herkömmlichen Verfahren. Einerseits erfolgt eine dramatische Reduktion von Speicher und Rechenkapazität. Ein System, welches das erfindungsgemäße Verfahren nutzt, kann aus einer Szene eine Vielzahl von Zuständen und Informationen schneller erfassen und verarbeiten. Informationen, die weiter oben in der Hierarchieebene stehen (d.h. einen niedrigeren Detailgrad haben), werden in der Regel von mehreren Programmmodulen benötigt und werden zuerst und unter Verwendung von größeren Teilen der Ressourcen (d.h. Speicherplatz und Prozessorleistung) berechnet. In the data processing chain according to the invention, the program modules for rough analysis and detailed analysis are hierarchically structured. The processing hierarchy results from the number of upstream program modules that are necessary to calculate the information using as few resources as possible. According to the invention, image processing modules and algorithms are combined in a hierarchical manner. This results in significant advantages over conventional methods. On the one hand, there is a dramatic reduction in memory and computing capacity. A system that uses the method according to the invention can acquire and process a large number of states and information from a scene more quickly. Information that is higher up in the hierarchy (ie, has a lower level of detail) is typically required by multiple program modules and is computed first and using larger portions of the resources (ie, memory and processing power).
Informationen, die weiter unten in der Hierarchieebene liegen (d.h. die einen höheren Detailgrad haben), werden erst nachgelagert, unter Verwendung von weniger Ressourcen und auch parallel berechnet. Dementsprechend erlaubt ein erfindungsgemäßes Verfahren den Einsatz von kostengünstigerer Hardware für die entsprechenden Systeme. Information that is further down the hierarchy level (i.e. that has a higher level of detail) is calculated later, using fewer resources and also in parallel. Accordingly, a method according to the invention allows the use of less expensive hardware for the corresponding systems.
Das erfindungsgemäße Verfahren erlaubt auch eine Vereinheitlichung des Gesamtsystems zur Innenraumanalyse. So können Eigenschaften des Innenraums von beliebig komplexen Gesamtsystemen erfasst werden, ohne die Datenverarbeitungskette verändern zu müssen. Die Datenverarbeitungskette weist somit eine hohe Skalierbarkeit in Bezug auf die Größe und Komplexität der Szenen des Innenraums auf. Hierarchieebenen können aber auch an bestimmte Eigenschaften und Anforderungen gebunden sein. So kann zum Beispiel bei niedrigerem Detailgrad des Gesamtsystems (d.h. es werden nur Informationen mit einem niedrigem Detailgrad extrahiert und benötigt) die Anzahl der Kameras und die Auflösung der Eingabedaten reduziert werden, oder aber auch verfügbare Programmmodule auf bestimmte Hierarchieebenen eingeschränkt werden. The method according to the invention also allows a standardization of the overall system for interior space analysis. In this way, properties of the interior of any complex overall system can be recorded without having to change the data processing chain. The data processing chain thus exhibits high scalability in relation to the size and complexity of the interior scenes. However, hierarchical levels can also be linked to certain properties and requirements. For example, with a lower level of detail of the overall system (i.e. only information with a low level of detail is extracted and required), the number of cameras and the resolution of the input data can be reduced, or the available program modules can be restricted to certain hierarchical levels.
Die Datenverarbeitungseinheit und die Datenbank können vorzugsweise zur Gänze in einem Fahrzeug angeordnet sein. Es kann jedoch auch vorgesehen sein, dass die Datenverarbeitungseinheit und die Datenbank im Fahrzeug angeordnet sind und über eine Schnittstelle, beispielsweise eine drahtlose Verbindung, mit einem externen Server, beispielsweise einem Server im Internet, kommunizieren, auf dem sich gegebenenfalls eine Datenbank mit einem vorab hinterlegten Datenmodell befindet. The data processing unit and the database can preferably be arranged entirely in a vehicle. However, it can also be provided that the data processing unit and the database are arranged in the vehicle and communicate via an interface, for example a wireless connection, with an external server, for example a server on the Internet, on which there may be a database with a previously stored data model is located.
Bei der Bildaufnahmeeinheit kann es sich um eine Foto- oder Videokamera, eine ToF (Time-of-Flight) Kamera oder dergleichen handeln. Die Verwendung einer ToF-Kamera erleichtert die robuste Lokalisierung von Person und Objekten und die Extraktion der Körper- und Objektdaten. Die Bildaufnahmeeinheit kann im Fahrzeug vorzugsweise derart angeordnet sein, dass möglichst der gesamte Innenraum im Bildbereich sichtbar ist. Zu diesem Zweck kann die Bildaufnahmeeinheit auch mehrere in unterschiedlichen Winkeln angeordnete Kameras umfassen. Zur Extraktion und Analyse der Körper- und Objektdaten können Bildanalysebibliotheken und/oder ein mit Trainingsbeispielen trainierter Detektor, beispielsweise ein neuronales Netz herangezogen werden. The image recording unit can be a photo or video camera, a ToF (time-of-flight) camera or the like. Using a ToF camera facilitates the robust localization of person and objects and the extraction of the body and object data. The image recording unit can preferably be arranged in the vehicle in such a way that as far as possible the entire interior is visible in the image area. For this purpose, the image recording unit can also include a number of cameras arranged at different angles. Image analysis libraries and/or a detector trained with training examples, for example a neural network, can be used to extract and analyze the body and object data.
Die Datenverarbeitungseinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU), einen flüchtigen Halbleiterspeicher (RAM), einen nichtflüchtigen Halbleiterspeicher (ROM, SSD-Festplatte), einen magnetischen Speicher (Festplatte) und/oder einen optischen Speicher (CD-ROM) sowie Schnittstelleneinheiten (Ethernet, USB) und dergleichen umfassen. Die Bestandteile derartiger Datenverarbeitungseinheiten sind dem Fachmann grundsätzlich bekannt. Die Datenbank kann als Softwaremodul in der Datenverarbeitungseinheit, in einem von der Datenverarbeitungseinheit getrennten Computer oder in einem externen Server vorgesehen sein. The data processing unit can be designed as a microcontroller or microcomputer and a central processing unit (CPU), a volatile semiconductor memory (RAM), a non-volatile semiconductor memory (ROM, SSD hard disk), a magnetic memory (hard disk) and/or an optical memory (CD ROM) as well as interface units (Ethernet, USB) and the like. The components of such data processing units are known in principle to those skilled in the art. The database can be provided as a software module in the data processing unit, in a computer that is separate from the data processing unit, or in an external server.
Erfindungsgemäß kann vorgesehen sein, dass die Datenverarbeitungseinheit mit Aktuatoren oder Warneinheiten in Verbindung steht, beispielsweise einem Motor zur Justierung der Sitzpositionen des Fahrzeugs, einer Warnleuchte zur Anzeige einer Warnung bei nicht angelegtem Gurt, oder einer grafischen Anzeige zur Darstellung des detektierten Aufmerksamkeitsgrads des Fahrers. Diese Aktuatoren oder Warneinheiten können vorzugsweise direkt durch die externen Programmmodule als Reaktion auf die ermittelten Merkmale des Fahrzeug-Innenraums angesteuert werden. Die Erfindung erstreckt sich auch auf ein computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens veranlassen. According to the invention, it can be provided that the data processing unit is connected to actuators or warning units, for example a motor to adjust the seat positions of the vehicle, a warning light to display a warning if the seat belt is not fastened, or a graphic display to show the detected level of alertness of the driver. These actuators or warning units can preferably be controlled directly by the external program modules as a reaction to the determined features of the vehicle interior. The invention also extends to a computer-readable storage medium comprising instructions which cause a data processing unit to carry out a method according to the invention.
Ferner erstreckt sich die Erfindung auch auf eine Vorrichtung zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs, umfassend zumindest eine Bildaufnahmeeinheit, eine Datenverarbeitungseinheit und eine Datenbank, wobei die Vorrichtung zur Ausführung eines erfindungsgemäßen Verfahrens ausgebildet ist. The invention also extends to a device for determining features of the interior of a vehicle, comprising at least one image recording unit, a data processing unit and a database, the device being designed to carry out a method according to the invention.
Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den Ausführungsbeispielen und den Figuren. Further features according to the invention result from the claims, the exemplary embodiments and the figures.
Die Erfindung wird im Folgenden anhand eines exemplarischen, nicht ausschließlichen Ausführungsbeispiels erläutert. The invention is explained below using an exemplary, non-exclusive embodiment.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs mit einer Datenverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens; Figs. 2a - 2c zeigen schematische Beispiele eines aufgenommenen Bildes und der daraus extrahierten Informationen; 1 shows a schematic representation of a vehicle with a data processing unit for carrying out a method according to the invention; figs Figures 2a - 2c show schematic examples of a captured image and the information extracted therefrom;
Figs. 3a - 3c zeigen schematische Darstellungen von Ausführungsformen eines erfindungsgemäßen hierarchischen Datenmodells, einer erfindungsgemäßen Datenverarbeitungskette und einer erfindungsgemäßen Textdatei zur Speicherung des Datenmodells; figs 3a - 3c show schematic representations of embodiments of a hierarchical data model according to the invention, a data processing chain according to the invention and a text file according to the invention for storing the data model;
Fig. 4 zeigt ein schematisches Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung. 4 shows a schematic block diagram of an embodiment of a device according to the invention.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 2 mit darin integrierten elektronischen Datenverarbeitungseinheiten 4, 4‘ zur Ausführung eines erfindungsgemäßen Verfahrens. Im Innenraum 1 des Fahrzeugs 2 ist an der Decke eine Bildaufnahmeeinheit 3 in Form einer Kamera angeordnet. Die Kamera ist dazu ausgebildet und derart angeordnet, dass sie den gesamten Innenraum 1 des Fahrzeugs 2, nämlich sämtliche Sitze und darin befindliche Personen, aufnehmen kann. Im Innenraum sitzen mehrere Personen in zwei Reihen. Das Fahrzeug ist in diesem Ausführungsbeispiel als PKW ausgebildet. Die Datenverarbeitungseinheiten 4, 4‘ sind mit einer Datenbank 5 verbunden und verfügen über (nicht dargestellte) Schnittstellen zur Kommunikation mit externen elektronischen Komponenten. 1 shows a schematic representation of a vehicle 2 with electronic data processing units 4, 4' integrated therein for carrying out a method according to the invention. An image recording unit 3 in the form of a camera is arranged on the ceiling in the interior 1 of the vehicle 2 . The camera is designed and arranged in such a way that it can record the entire interior 1 of the vehicle 2, namely all the seats and the people in them. Inside, several people are seated in two rows. In this exemplary embodiment, the vehicle is designed as a passenger car. The data processing units 4, 4' are connected to a database 5 and have interfaces (not shown) for communication with external electronic components.
Figs. 2a - 2c zeigen schematische Beispiele eines durch die Bildaufnahmeeinheit 3 aufgenommenen und an die Datenverarbeitungseinheit 4 übermittelten Fotos 11 des Innenraums 1. Das Foto 11 zeigt eine typische Szene im Innenraum 1 eines Fahrzeugs 2 mit einem Fahrer, einem Beifahrer und einer auf der Rückbank sitzenden Person. figs 2a - 2c show schematic examples of a photo 11 of the interior 1 taken by the image recording unit 3 and transmitted to the data processing unit 4. The photo 11 shows a typical scene in the interior 1 of a vehicle 2 with a driver, a front passenger and a person sitting on the back seat .
Die Extraktion der in der Szene enthaltenen Informationen erfolgt durch eine hierarchische Datenverarbeitungskette 10. Im Rahmen der Grobanalyse erfolgt eine Lokalisierung von Personen und Objekten, und eine Erstellung von gegebenenfalls überlappenden Körper- und Objektbildern 15, 15‘, 15“. Im gegenständlichen Ausführungsbeispiel werden drei Personen und keine Objekte lokalisiert. Auf Grundlage der lokalisierten Personen und deren Koordinaten wird das Foto 11 in drei Körper- und Objektbilder 15, 15‘, 15“ aufgeteilt, und diese werden an die nachfolgende Detailanalyse übergeben. The information contained in the scene is extracted by a hierarchical data processing chain 10. As part of the rough analysis, people and objects are localized and body and object images 15, 15', 15", which may overlap, are created. In the present embodiment, three people and no objects are located. Based on the localized persons and their coordinates, the photo 11 is divided into three body and object images 15, 15', 15", and these are passed on to the subsequent detailed analysis.
Im Rahmen der Detailanalyse erfolgt eine genauere Analyse der Körperbilder 15, 15‘, 15“ und eine Extraktion von Körper- und Objektdaten 7. Bei den Körper- und Objektdaten 7 handelt es sich insbesondere um ein Körpergelenksmodell 13, 13‘, 13“, aus dem eine Vielzahl relevanter Informationen abgeleitet werden kann. Beispielsweise kann auf Grundlage eines Körpergelenksmodells 13, 13‘, 13“ die Sitzhaltung der Person ermittelt und durch Vergleich mit Referenzbildern festgestellt werden, ob ein Sitzgurt korrekt angelegt wurde. Die Körpergelenksmodelle 13, 13‘, 13“ können insbesondere in Form von Graphen, also über Kanten verbundenen Punkten im kartesischen Raum, gebildet werden. As part of the detailed analysis, the body images 15, 15', 15'' are analyzed more precisely and body and object data 7 are extracted from which a variety of relevant information can be derived. For example, based on a body joint model 13, 13′, 13″, the sitting posture of the person can be determined and, by comparison with reference images, it can be determined whether a seat belt has been put on correctly. The body joint models 13, 13', 13'' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
Auch das Gewicht, Alter, Geschlecht und der Körperumfang der Personen kann daraus ermittelt werden, beispielsweise durch Vergleich mit Referenzdaten, die in der Datenbank 5 abgelegt sind. Auf der Hierarchieebene der Detailanalyse kann auch unterschieden werden, welche der drei Körper- und Objektbilder 15, 15‘, 15“ weiter untersucht werden sollen, nämlich vorzugsweise jene des Fahrers und des Beifahrers. The weight, age, sex and body size of the person can also be determined from this, for example by comparison with reference data stored in the database 5 . At the hierarchical level of the detailed analysis, a distinction can also be made as to which of the three body and object images 15, 15', 15'' are to be examined further, namely preferably those of the driver and the passenger.
In Ausführungsformen der Erfindung können auch feiner strukturierte Gesichtsbilder 16, 16‘ und Personendaten 6 des Fahrers und Beifahrers extrahiert werden, die an das nachfolgende Programmmodul der Datenverarbeitungskette 10 übergeben werden. Im hier gezeigten Ausführungsbeispiel gemäß Fig. 2c handelt es sich um das Gesicht des Fahrers und des Beifahrers. Durch Anwendung von Bilderkennungsalgorithmen der Datenverarbeitungseinheit 4 können Gesichtsmodelle 14, 14‘ erstellt werden. Aus den Gesichtsbildern 16, 16‘ können Gesichtsdaten 8 wie beispielsweise die Positionen von Mund, Nase, Augen und Ohren, die Blickrichtung und dergleichen der beiden Personen ermittelt. Die Gesichtsmodelle 14, 14‘ können insbesondere in Form von Graphen, also über Kanten verbundenen Punkten im kartesischen Raum, gebildet werden. In embodiments of the invention, more finely structured facial images 16, 16' and personal data 6 of the driver and front passenger can also be extracted, which are transferred to the subsequent program module of the data processing chain 10. In the exemplary embodiment shown here according to FIG. 2c, it is the face of the driver and the passenger. Face models 14, 14' can be created by using image recognition algorithms of the data processing unit 4. Face data 8 such as the positions of the mouth, nose, eyes and ears, the line of sight and the like of the two persons can be determined from the face images 16, 16'. The face models 14, 14' can be formed in particular in the form of graphs, ie points in Cartesian space connected via edges.
Als Ergebnis der hierarchischen Datenverarbeitungskette 10 werden zumindest die die Körper- und Objektdaten 7 in der Datenbank 5 abgespeichert. Eine Hinterlegung des aufgenommenen Fotos 11 bzw. der Körperbilder 15, 15‘, 15“ in der Datenbank kann vorgesehen sein, ist aber nicht zwingend erforderlich und kann zur Einsparung von Speicherplatz unterlassen werden. At least the body and object data 7 are stored in the database 5 as a result of the hierarchical data processing chain 10 . Storage of the photograph 11 taken or of the body images 15, 15', 15'' in the database can be provided, but is not absolutely necessary and can be omitted to save storage space.
Fig. 3a zeigt eine schematische Darstellung eines durch die Datenverarbeitungseinheit 4 erstellten hierarchischen Datenmodells 9 mit einer Vielzahl an hierarchisch angeordneten Datenobjekten 21 . Der Detailgrad der in den Datenobjekten 21 gespeicherten Informationen steigt von oben nach unten an. In dieser Darstellung ist jedes Datenobjekt 21 als Kreis dargestellt, und die Datenobjekte 21 gliedern sich in Personendaten 6, Körper- und Objektdaten 7, sowie Gesichtsdaten 8. Erkannte Personen werden auf der Ebene der Personendaten 6 durch eine Vielzahl von Eigenschaften beschrieben. Je nach Detailgrad werden die Eigenschaften in verschiedenen Ebenen gespeichert. Zusammengehörige Eigenschaften sind mit Eigenschaften bzw. Objekten von darunter bzw. darüber liegenden Ebenen verbunden. Beispielsweise kann ein Fahrzeug zwei Personen beinhalten, jede Person kann ein Gewicht, eine Größe und einen Körperumfang haben. Auf der Ebene der Körper- und Objektdaten 7 können verschiedene Körperregionen wie Oberkörper, Unterkörper, Kopf unterschieden werden. FIG. 3a shows a schematic representation of a hierarchical data model 9 created by the data processing unit 4 with a multiplicity of hierarchically arranged data objects 21 . The level of detail of the information stored in the data objects 21 increases from top to bottom. In this representation, each data object 21 is shown as a circle, and the data objects 21 are divided into personal data 6, body and object data 7, and face data 8. Detected people are described at the personal data 6 level by a large number of properties. Depending on the level of detail, the properties are stored in different levels. Related properties are linked to properties or objects from levels below or above. For example, a vehicle may contain two people, each person may have a weight, height, and girth. At the level of the body and object data 7, different body regions such as upper body, lower body, head can be distinguished.
Auf der Ebene der Gesichtsdaten 8 können Positionen von Augen, Nase, Mund, Ohren etc. jeder Person oder ausgewählter Personen abgespeichert sein. Natürlich können auch weitere Hierarchieebenen vorgesehen sein, d.h. es kann auch eine feinere Untergliederung der im Foto 11 dargestellten Szene erfolgen. Beispielsweise könnte eine weitere Untergliederung in zusammengehörige Personengruppen erfolgen, etwa in einem Autobus, wo jede Personenreihe als Personengruppe eine eigene Hierarchieebene bilden kann. Positions of the eyes, nose, mouth, ears, etc. of each person or of selected persons can be stored at the face data level 8 . Of course, further hierarchical levels can also be provided, i.e. a finer subdivision of the scene shown in photo 11 can also be made. For example, there could be a further subdivision into groups of people who belong together, for example in a bus, where each row of people can form its own hierarchical level as a group of people.
Fig. 3b zeigt eine schematische Darstellung einer erfindungsgemäßen Datenverarbeitungskette 10, aufgeteilt in eine Grobanalyse sowie eine nachfolgende erste, zweite und dritte Detailanalyse. Die Datenverarbeitungskette erhält ein Foto 11 und analysiert dieses parallel nach Personen (linker Zweig) und Objekten (rechter Zweig). Rechteckige Kästchen symbolisieren Programmmodule bzw. Algorithmen zur Extraktion bestimmter Merkmale des Fahrzeug-Innenraums, für die bestehende und standardisierte Bildanalysebibliotheken herangezogen werden können. 3b shows a schematic representation of a data processing chain 10 according to the invention, divided into a rough analysis and a subsequent first, second and third detailed analysis. The data processing chain receives a photo 11 and analyzes it in parallel for people (left branch) and objects (right branch). Rectangular boxes symbolize program modules or algorithms for extracting certain features of the vehicle interior, for which existing and standardized image analysis libraries can be used.
Grundsätzlich kann für jedes zu erkennende Merkmal des Fahrzeug-Innenraums ein Deep-Learning Netzwerk zum Einsatz kommen. Zur Detektion von Personen kann beispielsweise ein neurales Netzwerk trainiert werden, das nur Personen im Bild erkennt, zur Detektion von Objekten ein gesondertes neuronales Netzwerk, ebenso zur Detektion von Gelenkspositionen, Augenpositionen, Blickrichtungen, Kopfstellungen, Körperhaltungen, Gesten, und so weiter. In principle, a deep learning network can be used for every feature of the vehicle interior to be recognized. For example, a neural network that only recognizes people in the image can be trained to detect people, a separate neural network to detect objects, as well as to detect joint positions, eye positions, viewing directions, head positions, body postures, gestures, and so on.
Im Rahmen der Grobanalyse erfolgt im Schritt S101 eine Personendetektion, im Schritt S201 eine Objektdetektion. Die Programmmodule liefern jeweils die Positionen von erkannten Personen bzw. Objekten im dreidimensionalen Raum des Fahrzeugs. Im Rahmen der ersten Detailanalyse erfolgt im Schritt S111 eine Bestimmung von Gelenkspositionen jeder erkannten Person, im Schritt S112 die Vergabe einer eindeutigen Identifikations-Nummer für jede erkannte Person, und im Schritt S113 die Bestimmung bzw. Schätzung des Geschlechts und des Gewichts jeder erkannten Person. Auf dieser Hierarchieebene erfolgt für die erkannten Objekte im Schritt S211 eine Detektion von Teilobjekten sowie im Schritt S212 eine Schätzung des Gewichts jedes erkannten Objekts. As part of the rough analysis, a person is detected in step S101 and an object is detected in step S201. The program modules each provide the positions of recognized persons or objects in the three-dimensional space of the vehicle. As part of the first detailed analysis, in step S111 the joint positions of each identified person are determined, in step S112 a unique identification number is assigned for each identified person, and in step S113 the gender and weight of each identified person is determined or estimated. On this hierarchical level, partial objects are detected for the detected objects in step S211 and the weight of each detected object is estimated in step S212.
Im Rahmen der zweiten Detailanalyse erfolgt im Schritt S121 eine Segmentierung der Augenportion jeder erkannten Person, im Schritt S122 die Erkennung von Handgesten für jede erkannte Person, und im Schritt S123 eine Segmentierung des Kopfbereichs jeder erkannten Person. Auf dieser Hierarchieebene erfolgt für die erkannten Objekte im Schritt S221 eine Größenbestimmung von Teilobjekten sowie im Schritt S222 eine Schätzung des Umfangs jedes erkannten Teilobjekts. As part of the second detailed analysis, the eye portion of each identified person is segmented in step S121, hand gestures are identified for each identified person in step S122, and the head area of each identified person is segmented in step S123. On this hierarchical level, the size of sub-objects is determined for the detected objects in step S221 and the scope of each detected sub-object is estimated in step S222.
Im Rahmen der dritten Detailanalyse erfolgt im Schritt S131 eine Erkennung der Blickrichtung jeder erkannten Person, im Schritt S132 die Erkennung von Kopfposen für jede erkannte Person, und im Schritt S133 eine Erkennung von Emotionen jeder erkannten Person. As part of the third detailed analysis, in step S131 the viewing direction of each identified person is identified, in step S132 the head poses are identified for each identified person, and in step S133 the emotions of each identified person are identified.
Die im Rahmen dieser Datenverarbeitungskette extrahierten Merkmale des Fahrzeug- Innenraums werden in einer (nicht dargestellten) Datenbank 9 abgelegt, beispielsweise in der Baumstruktur gemäß Fig. 3a. Es sind zwei externe Programmmodule 17, 17‘ als ovale Blöcke angedeutet. Diese beziehen, abhängig von ihrer Bestimmung, ausgewählte Merkmale des Fahrzeug-Innenraums aus dem hierarchischen Datenmodell 9 bzw. fragen diese Merkmale direkt bei den jeweiligen Programmmodulen ab. Im konkreten Ausführungsbeispiel benötigt ein erstes externes Programmmodul 17 die Personen-IDs aus dem Programmmodul S112, die Blickrichtung dieser Personen aus dem Programmmodul S131 , sowie die Kopfhaltung dieser Personen aus dem Programmmodul S132 und bestimmt daraus einen Aufmerksamkeitsgrad. Auf Seiten der erkannten Objekte benötigt das externe Programmmodul 17‘ das Gewicht der erkannten Objekte aus dem Programmmodul S212 und dessen Größe aus dem Programmmodul S221 , und bestimmt daraus, ob es sich um ein für den Innenraum des betreffenden Fahrzeuges zulässiges Objekt handelt. Wiederum kann es sich bei den externen Programmmodulen 17, 17‘ um Algorithmen aus standardisierten Programmbibliotheken handeln. The features of the vehicle interior extracted as part of this data processing chain are stored in a database 9 (not shown), for example in the tree structure according to FIG. 3a. Two external program modules 17, 17' are indicated as oval blocks. Depending on their purpose, these relate selected features of the vehicle interior from the hierarchical data model 9 or request these features directly from the respective program modules. In the specific exemplary embodiment, a first external program module 17 requires the person IDs from the program module S112, the line of sight of these persons from the program module S131, and the head position of these persons from the program module S132 and uses this to determine a degree of attention. On the detected objects side, the external program module 17′ needs the weight of the detected objects from the program module S212 and their size from the program module S221, and uses this to determine whether the object is permissible for the interior of the vehicle in question. Again, the external program modules 17, 17' can be algorithms from standardized program libraries.
Fig. 3c zeigt einen schematischen Ausschnitt aus einer Textdatei 22 zur Speicherung der Datenobjekte 21 des hierarchischen Datenmodells 9. Die Textdatei 22 ist hierarchisch aufgebaut und in logische Blöcke (Personen, Objekte) sowie Unterblöcke (Augen, Kopf, Körper, Blickrichtung, etc.) gegliedert, wobei jeder Block und Unterblock eine Vielzahl von Attributen (beispielsweise Koordinaten) aufweisen kann, die ein Datenobjekt 21 bilden. Diese Figur zeigt nur einen kleinen Teil der Textdatei 22, welche in der Praxis wesentlich umfangreicher und auch während des Betriebs des Verfahrens durch Aufnahme zusätzlicher Attribute weiter verfeinert werden kann. Eine derartige Implementierung des Datenmodells 9 erlaubt eine einfache und schnelle Abfrage durch externe Programmmodule 17, 17‘, welche eine einfach zu programmierende und somit portable Schnittstelle zum Datenzugriff auf die erkannten Merkmale des Fahrzeuginnenraums erlaubt. Die Programmmodule 17, 17‘ müssen somit nicht das Foto 11 oder die Körper- und Objektbilder 15, 15‘, 15“ analysieren, sondern greifen aus der Textdatei 22 die gewünschten Daten direkt ab. Fig. 3c shows a schematic excerpt from a text file 22 for storing the data objects 21 of the hierarchical data model 9. The text file 22 has a hierarchical structure and is divided into logical blocks (persons, objects) and sub-blocks (eyes, head, body, viewing direction, etc.). structured, with each block and sub-block having a plurality of attributes (e.g. coordinates) that form a data object 21 . This figure shows only a small part of the text file 22, which in practice can be much more extensive and can also be further refined during the operation of the method by including additional attributes. Such an implementation of the data model 9 allows a simple and quick query by external program modules 17, 17', which allows an easy-to-program and thus portable interface for data access to the recognized features of the vehicle interior. The program modules 17, 17' therefore do not have to analyze the photo 11 or the body and object images 15, 15', 15'', but access the desired data directly from the text file 22.
Beispielsweise ist in diesem schematischen Abschnitt der Textdatei 22 erkennbar, dass die erkannten Merkmale des Fahrzeug-Innenraums in hierarchischer Form gegliedert sind. Es wird zwischen dem Fahrer („driver“) und dem Beifahrer („co-driver“) unterschieden. In dem Beispiel gibt es einen Fahrer, der auf einer gewissen Position sitzt, wobei diese Position im Foto 11 erkannt wird (Block „pose“, "height": 1163, "width": 872, "x": 754, "y": -81 ). Zusätzlich sind dem Fahrer beispielsweise Gelenkspositionen und Augenpositionen zugeordnet. Für jeden erkannten Kopf gibt es eine Pose („headPose“) und 3 dazugehörige Winkel - "ccsPitchDegree": 24.61 , "ccsRollDegree": -15.06, "ccsYawDegree": 39.91 ). Auch für die Augen werden Zusatzinformationen berechnet (im Beispiel unter „eyes“ ausgeführt, wo eine Öffnung („openness“) bzw. eine Blickrichtung („eyeGaze“) für jedes Auge berechnet wird. Fig. 4 zeigt ein schematisches Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung zur Bestimmung von Merkmalen des Innenraums eines Fahrzeugs. Die Vorrichtung umfasst eine Bildaufnahmeeinheit 3, eine Datenverarbeitungseinheit 4, eine weitere Datenverarbeitungseinheit 4‘ und eine Datenbank 5. Sämtliche Komponenten sind in einem Fahrzeug angeordnet. For example, it can be seen in this schematic section of the text file 22 that the recognized features of the vehicle interior are structured in a hierarchical form. A distinction is made between the driver (“driver”) and the passenger (“co-driver”). In the example there is a driver sitting in a certain position, which position is recognized in photo 11 (block "pose", "height": 1163, "width": 872, "x": 754, "y" : -81 ). In addition, joint positions and eye positions are assigned to the driver, for example. For each detected head there is a pose ("headPose") and 3 associated angles - "ccsPitchDegree": 24.61 , "ccsRollDegree": -15.06 , "ccsYawDegree": 39.91 ). Additional information is also calculated for the eyes (in the example under "eyes", where an opening ("openness") or a viewing direction ("eyeGaze") is calculated for each eye. FIG. 4 shows a schematic block diagram of an embodiment of a device according to the invention for determining features of the interior of a vehicle. The device comprises an image recording unit 3, a data processing unit 4, a further data processing unit 4' and a database 5. All components are arranged in a vehicle.
In der Datenverarbeitungseinheit 4 ist eine sequenzielle Datenverarbeitungskette 10 implementiert, welche in dieser Ausführungsform drei Programmmodule 12, 12‘, 12“ zur Analyse eines von der Bildaufnahmeeinheit 3 über eine Schnittstelle zur Verfügung gestellten Fotos 11 umfasst. Diese Programmmodule 12, 12‘, 12“ unterteilen sich in eine Grobanalyse des Fotos 11 , eine erste Detailanalyse ausgewählter Körperbilder 15, 15‘, 15“ des Fotos 11 , und eine zweite Detailanalyse ausgewählter Gesichtsbilder 16, 16‘ der Körperbilder 15, 15‘, 15“. Ergebnisse dieser hierarchischen Bildanalyse sind die von den Programmmodulen 12, 12‘, 12“ an die Datenbank 5 übermittelten Personendaten 6, Körperdaten 7 und Gesichtsdaten 8. A sequential data processing chain 10 is implemented in the data processing unit 4, which in this embodiment comprises three program modules 12, 12', 12'' for analyzing a photo 11 made available by the image recording unit 3 via an interface. These program modules 12, 12', 12'' are divided into a rough analysis of the photograph 11, a first detailed analysis of selected body images 15, 15', 15'' of the photograph 11, and a second detailed analysis of selected facial images 16, 16' of the body images 15, 15' , 15". The results of this hierarchical image analysis are the personal data 6, body data 7 and facial data 8 transmitted by the program modules 12, 12', 12" to the database 5.
In der Datenbank 5 werden diese extrahierten Daten in einem hierarchischen Datenmodell 9 gespeichert. Dieses Datenmodell 9 kann in Form einer Baumstruktur implementiert sein. These extracted data are stored in a hierarchical data model 9 in the database 5 . This data model 9 can be implemented in the form of a tree structure.
Eine hierarchische Baumstruktur kann so ausgebildet sein, dass einer erkannten Person auf der obersten Hierarchieebene (geringster Detailgrad) Personendaten 6 und verschiedene Körperregionen zugeordnet sind. Den Körperregionen sind auf der mittleren Hierarchieebene verschiedene Körperdaten 7 und Gesichtsbilder zugeordnet. Den Gesichtsbildern sind auf der untersten Hierarchieebene (höchster Detailgrad) Gesichtsdaten 8 zugeordnet. A hierarchical tree structure can be designed in such a way that personal data 6 and various body regions are assigned to an identified person on the top hierarchical level (lowest level of detail). Various body data 7 and facial images are assigned to the body regions on the middle hierarchical level. Face data 8 is assigned to the face images on the lowest hierarchical level (highest level of detail).
Wenn die Analyse des Fotos 11 abgeschlossen ist, kann dieses verworfen werden, da sämtliche relevanten Daten im hierarchischen Datenmodell 9 abgelegt sind. In Folge können interne oder externe Programmmodule auf das Datenmodell 9 zugreifen, um die von ihnen benötigten Informationen zur Bestimmung der gewünschten Eigenschaften des Innenraums zu entnehmen. Beispielsweise können externe Programmmodule 17, 17‘ in einer externen Datenverarbeitungseinheit 4‘ Anfragen Q1 und Q2 an die Datenbank 5 stellen, welche jeweils die benötigte Hierarchieebene enthalten. Die Datenbank stellt den Programmmodulen 17, 17‘ in Folge die erforderlichen Informationen dieser Hierarchieebenen zur Verfügung. Im vorliegenden Beispiel handelt es sich dabei um die Personendaten 6 für Anfrage Q1 (zB wie viele Personen sitzen am Rücksitz?), bzw. um die Körperdaten 7 und Gesichtsdaten 8 für Anfrage Q2 (zB wie sind die Blickrichtungen und Körperhaltungen von Fahrer und Beifahrer?). Die Datenverarbeitungseinheit 4‘ ist mit einer Motorsteuerung 18, einer Anzeigeeinheit 19 und einer Warnleuchte 20 des Fahrzeugs 1 verbunden, um abhängig vom Ergebnis ihrer Anfragen Q1 und Q2 einen Aktuator des Sitzes oder eines Außenspiegels zu aktivieren, eine Warnung am Armaturenbrett auszugeben, oder dem Fahrer eine Information auf einem Display anzuzeigen. When the analysis of the photo 11 is complete, it can be discarded since all the relevant data is stored in the hierarchical data model 9 . As a result, internal or external program modules can access the data model 9 in order to extract the information they need to determine the desired properties of the interior. For example, external program modules 17, 17' in an external data processing unit 4' can make queries Q1 and Q2 to the database 5, each of which contains the required hierarchy level. The database provides the program modules 17, 17' with the information required for these hierarchical levels. In the present example, this is personal data 6 for query Q1 (e.g. how many people are sitting in the back seat?), or body data 7 and face data 8 for query Q2 (e.g. what are the viewing directions and postures of the driver and front passenger? ). The data processing unit 4' is connected to an engine control unit 18, a display unit 19 and a warning light 20 of the vehicle 1 in order to activate an actuator of the seat or an exterior mirror, to issue a warning on the dashboard or to the driver depending on the result of its queries Q1 and Q2 show information on a display.
Die Erfindung beschränkt sich nicht auf die beschriebenen Ausführungsbeispiele, sondern umfasst auch weitere Ausführungen der vorliegenden Erfindung im Rahmen der nachfolgenden Patentansprüche. The invention is not limited to the exemplary embodiments described, but also includes further embodiments of the present invention within the scope of the following patent claims.
Bezugszeichenliste reference list
1 Innenraum 1 interior
2 Fahrzeug 2 vehicle
3 Bildaufnahmeeinheit 3 Image acquisition unit
4, 4‘ Datenverarbeitungseinheit4, 4' data processing unit
5 Datenbank 5 database
6 Personendaten 6 personal data
7 Körper- und Objektdaten 7 body and object data
8 Gesichtsdaten 8 facial data
9 Hierarchisches Datenmodell9 Hierarchical data model
10 Datenverarbeitungskette10 data processing chain
11 Foto 11 photo
12, 12‘ Programmmodul 12, 12' program module
13, 13‘, 13“ Körpergelenksmodell 13, 13', 13" body joint model
14, 14‘ Gesichtsmodell 14, 14' face model
15, 15‘, 15“ Körper- und Objektbild 15, 15', 15" body and object image
16, 16‘ Gesichtsbild 16, 16' facial image
17, 17‘ Externes Programmmodul17, 17' External program module
18 Motorsteuerung 18 engine control
19 Anzeigeeinheit 19 display unit
20 Warnleuchte 20 warning light
21 Datenobjekt 21 data object
22 Textdatei 22 text file

Claims

Patentansprüche patent claims
1 . Computerimplementiertes Verfahren zur Bestimmung von Merkmalen des Innenraums (1 ) eines Fahrzeugs (2) mit zumindest einer Bildaufnahmeeinheit (3), einer Datenverarbeitungseinheit (4) und einer Datenbank (5), umfassend die folgenden Schritte: a. Aufnahme, durch die Bildaufnahmeeinheit (3), eines Fotos (11 ) oder Videos des Innenraums (1 ) und Übermittlung an die Datenverarbeitungseinheit (4), b. Analyse des Fotos (11 ) oder Videos, in der Datenverarbeitungseinheit (4), durch eine sequenzielle Datenverarbeitungskette (10) von hierarchisch angeordneten Programmmodulen (12, 12‘, 12“), umfassend die Schritte i. Grobanalyse zur Lokalisierung von Personen und Objekten, Erstellung von Körper- und Objektbildern (15, 15‘, 15“), ii. Detailanalyse der Körper- und Objektbilder (15, 15‘, 15“), Extraktion von Körper- und Objektdaten (7), c. Speicherung, durch die Datenverarbeitungseinheit (4), der ermittelten Körper- und Objektdaten (7) in einem hierarchischen Datenmodell (9) in der Datenbank (5), sowie gegebenenfalls d. Verwendung des hierarchischen Datenmodells (9) durch externe Programmmodule (17, 17‘) zur Bestimmung von Merkmalen des Innenraums (1 ) des Fahrzeugs (2). 1 . Computer-implemented method for determining features of the interior (1) of a vehicle (2) with at least one image recording unit (3), a data processing unit (4) and a database (5), comprising the following steps: a. Recording, by the image recording unit (3), a photo (11) or video of the interior (1) and transmission to the data processing unit (4), b. Analysis of the photo (11) or video in the data processing unit (4) by a sequential data processing chain (10) of hierarchically arranged program modules (12, 12', 12"), comprising the steps i. Rough analysis to localize people and objects, creation of body and object images (15, 15', 15"), ii. Detailed analysis of body and object images (15, 15', 15"), extraction of body and object data (7), c. Storage, by the data processing unit (4), of the determined body and object data (7) in a hierarchical data model (9) in the database (5), and optionally d. Use of the hierarchical data model (9) by external program modules (17, 17') for determining features of the interior (1) of the vehicle (2).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (4) im Rahmen der Grobanalyse durch Anwendung von Bildverarbeitungsalgorithmen a. die Anzahl der Personen und die Anzahl der Objekte sowie deren Positionen als Personen- und Objektdaten (6) extrahiert, und b. den Umriss der Personen und Objekte im Foto (11 ) detektiert und um diesen Umriss Körper- und Objektbilder (15, 15‘, 15“) erstellt. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (4) im Rahmen der Detailanalyse durch Anwendung von Bildverarbeitungsalgorithmen auf die Körper- und Objektbilder (15, 15‘, 15“) die Körpergröße, das Körpergewicht, das Alter, das Geschlecht, ein Körpergelenksmodell (13), die Körperhaltung, die Objektgröße, das Objektgewicht, die Objektfarbe und/oder andere Körper- und Objektdaten (7) der erkannten Personen und Objekte extrahiert. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein externes Programmmodul (17, 17‘) zur Bestimmung eines Merkmals des Innenraums (1 ) des Fahrzeugs (2) dem hierarchischen Datenmodell (9) die zur Bestimmung des Merkmals erforderlichen Körper- und Objektdaten (7) entnimmt. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die externen Programmmodule (17, 17‘) Teil einer externen Datenverarbeitungseinheit (4‘) sind. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass es sich bei dem Merkmal des Innenraums (1 ) des Fahrzeugs (2) beispielsweise um eines oder mehrere der folgenden handelt: Besetzung des Fahrzeugs (2), Gurte korrekt angelegt, Position von Objekten, beispielsweise Mobiltelefone oder Kindersitze, in Relation zu einer Person im Fahrzeug, Aufmerksamkeitsgrad oder Müdigkeit des Fahrers entsprechend der Fahrsituation. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass abhängig von den Merkmalen des Innenraums (1 ) des Fahrzeugs (2) Aktuatoren oder Warneinheiten des Fahrzeugs (1 ) angesteuert werden, beispielsweise eine Motorsteuerung (18), eine Anzeigeeinheit (19) oder eine Warnleuchte (20). Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Datenobjekte (21 ) des hierarchischen Datenmodells (9) in einer hierarchisch aufgebauten Textdatei (22) in der Datenbank (5) und/oder in der Datenverarbeitungseinheit (4) gespeichert werden. Computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit (4) zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 veranlassen. Vorrichtung zur Bestimmung von Merkmalen des Innenraums (1 ) eines Fahrzeugs (2), umfassend zumindest eine Bildaufnahmeeinheit (3), eine Datenverarbeitungseinheit (4) und eine Datenbank (5), dadurch gekennzeichnet, dass die Vorrichtung zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 8 ausgebildet ist. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass eine externe Datenverarbeitungseinheit (4‘) vorgesehen ist, welche mit Aktuatoren oder Warneinheiten des Fahrzeugs (1 ) verbunden ist, beispielsweise mit einer Motorsteuerung (18) der Sitze, einer Anzeigeeinheit (19) oder einer Warnleuchte (20) im Armaturenbrett. 2. The method according to claim 1, characterized in that the data processing unit (4) in the context of the rough analysis by using image processing algorithms a. extracts the number of persons and the number of objects as well as their positions as person and object data (6), and b. detects the outline of the people and objects in the photo (11) and creates body and object images (15, 15', 15") around this outline. Method according to claim 1 or 2, characterized in that the data processing unit (4) as part of the detailed analysis by applying image processing algorithms to the body and object images (15, 15', 15") the body size, body weight, age, gender , a body joint model (13) that extracts body posture, object size, object weight, object color and/or other body and object data (7) from the recognized persons and objects. Method according to one of claims 1 to 3, characterized in that an external program module (17, 17 ') for determining a feature of the interior (1) of the vehicle (2) the hierarchical data model (9) necessary for determining the feature body and extracts object data (7). Method according to one of Claims 1 to 4, characterized in that the external program modules (17, 17') are part of an external data processing unit (4'). The method according to any one of claims 1 to 5, characterized in that the feature of the interior (1) of the vehicle (2) is, for example, one or more of the following: occupancy of the vehicle (2), belts correctly applied, position of Objects, such as mobile phones or child seats, in relation to a person in the vehicle, level of alertness or driver fatigue according to the driving situation. Method according to one of claims 1 to 6, characterized in that depending on the characteristics of the interior (1) of the vehicle (2) actuators or warning units of the vehicle (1) are controlled, for example an engine control (18), a display unit (19) or a warning light (20). Method according to one of Claims 1 to 7, characterized in that the data objects (21) of the hierarchical data model (9) are stored in a hierarchically structured text file (22) in the database (5) and/or in the data processing unit (4). A computer-readable storage medium comprising instructions which cause a data processing unit (4) to carry out a method according to any one of claims 1 to 8. Device for determining features of the interior (1) of a vehicle (2), comprising at least one image recording unit (3), a data processing unit (4) and a database (5), characterized in that the device for carrying out a method according to one of the claims 1 to 8 is formed. Device according to claim 10, characterized in that an external data processing unit (4 ') is provided, which is connected to actuators or warning units of the vehicle (1), for example with a motor control (18) of the seats, a display unit (19) or a warning light (20) in the dashboard.
EP21748815.4A 2020-08-18 2021-07-14 Computer-implemented method for analysing the interior of a vehicle Pending EP4200801A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50693/2020A AT523727B1 (en) 2020-08-18 2020-08-18 Computer-implemented method for analyzing the interior of a vehicle
PCT/EP2021/069627 WO2022037853A1 (en) 2020-08-18 2021-07-14 Computer-implemented method for analysing the interior of a vehicle

Publications (1)

Publication Number Publication Date
EP4200801A1 true EP4200801A1 (en) 2023-06-28

Family

ID=77155749

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21748815.4A Pending EP4200801A1 (en) 2020-08-18 2021-07-14 Computer-implemented method for analysing the interior of a vehicle

Country Status (5)

Country Link
US (1) US20230316783A1 (en)
EP (1) EP4200801A1 (en)
CN (1) CN116194342A (en)
AT (1) AT523727B1 (en)
WO (1) WO2022037853A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214347A1 (en) 2021-12-15 2023-06-15 Zf Friedrichshafen Ag Device for monitoring the interior of a bicycle trailer of a combination of bicycle and bicycle trailer
KR20230129787A (en) * 2022-03-02 2023-09-11 현대모비스 주식회사 Indoor light control system and its control method
DE102022108223A1 (en) 2022-04-06 2023-10-12 Audi Aktiengesellschaft Method for operating a motor vehicle, motor vehicle and computer program product

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
DE19719695A1 (en) * 1997-05-09 1998-11-19 Univ Eberhard Karls Method and device for measuring the attention of living beings within a set of living beings
FR2815135A1 (en) * 2000-10-11 2002-04-12 Siemens Automotive Sa Detection of space occupation inside a vehicle, space monitored is split into secure and peripheral zones, secure zone is illuminated with higher frequency than other zone
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
DE10234824B4 (en) * 2002-07-31 2007-04-26 Webasto Ag Device for monitoring a person or an object in the vehicle interior
JP2006248364A (en) * 2005-03-10 2006-09-21 Omron Corp Driver authorization device of movable body
WO2009000743A1 (en) * 2007-06-22 2008-12-31 Continental Teves Ag & Co. Ohg Method and device for assisting a driver by means of driver assistance systems
DE102010002861B4 (en) * 2010-03-15 2020-06-25 Bayerische Motoren Werke Aktiengesellschaft Vehicle with at least one individual seat for a traveling vehicle occupant
DE102013210941A1 (en) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Method and device for operating a vehicle
DE102013220240A1 (en) * 2013-10-08 2015-04-09 Bayerische Motoren Werke Aktiengesellschaft In-vehicle occupant presence system, central locking system, method for checking occupant presence in the vehicle, and method for automatically actuating door locks
US9934442B2 (en) * 2013-10-09 2018-04-03 Nec Corporation Passenger counting device, passenger counting method, and program recording medium
US9688271B2 (en) * 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
US10112505B2 (en) * 2016-09-21 2018-10-30 Intel Corporation Occupant profiling system
DE102016225406A1 (en) * 2016-12-19 2018-06-21 Robert Bosch Gmbh Method and device for actuating at least one passenger protection device of a vehicle
JP7005933B2 (en) * 2017-05-09 2022-01-24 オムロン株式会社 Driver monitoring device and driver monitoring method
DE102017211885A1 (en) * 2017-07-12 2019-01-17 Audi Ag A method for requesting a merchandise at a communication device of a motor vehicle external data server device, ordering device, and motor vehicle with an ordering device
US10740632B2 (en) * 2018-02-19 2020-08-11 Robert Bosch Gmbh Occupant detection system and method for transportation vehicle
KR102122263B1 (en) * 2018-10-19 2020-06-26 엘지전자 주식회사 Vehicle Indoor Person Monitoring Device and method for operating the same
CN110422178B (en) * 2019-08-14 2021-05-11 李斯特技术中心（上海）有限公司 Driving information acquisition method and device and information acquisition system
CN111086370A (en) * 2019-12-31 2020-05-01 浙江合众新能源汽车有限公司 Implementation method of in-car system for preventing children from being locked independently for car with Tbox

Also Published As

Publication number Publication date
US20230316783A1 (en) 2023-10-05
AT523727B1 (en) 2021-11-15
CN116194342A (en) 2023-05-30
WO2022037853A1 (en) 2022-02-24
AT523727A4 (en) 2021-11-15

Similar Documents

Publication Publication Date Title
EP4200801A1 (en) Computer-implemented method for analysing the interior of a vehicle
DE102014210820B4 (en) Method for detecting large and passenger vehicles from fixed cameras
DE602004008282T2 (en) SYSTEM AND METHOD FOR FACE DETECTION
DE112018004797T5 (en) VIEWPOINT INVARIANT OBJECT DETECTION THROUGH SYNTHETIZING AND DOMAIN ADAPTATION
DE102017127592A1 (en) A method of classifying image scenes in a driving support system
DE102015212953A1 (en) Artificial neural networks for the classification of medical image datasets
DE112017005651T5 (en) Device for classifying data
DE102006010607A1 (en) Object localization method, involves calculating probability values for limitation boxes in input image based on probability that object is arranged in these locations, and selecting box with highest probability as location of object
EP3847578A1 (en) Method and device for classifying objects
DE112005000569T5 (en) System and method for patient identification for clinical examinations using content based acquisition and learning
DE102018123112A1 (en) Image processing device and program
DE102021109395A1 (en) METHODS, SYSTEMS AND DEVICES FOR USER UNDERSTANDABLE EXPLAINABLE LEARNING MODELS
DE112020005663T5 (en) OBJECT RECOGNITION WITH TRAINING FROM MULTIPLE DATASETS
EP3557487A1 (en) Generation of validation data with generative contradictory networks
DE102018217091A1 (en) Process, artificial neural network, device, computer program and machine-readable storage medium for the semantic segmentation of image data
DE102013210771A1 (en) DETECTION OF A COMPLEX OBJECT USING A CASCADE OF CLASSIFICATION EQUIPMENT
DE102021111096A1 (en) VISUAL BEHAVIOR GUIDED OBJECT DETECTION
DE102021203021A1 (en) SEMANTICALLY CONSISTENT EXTENDED TRAINING DATA FOR LIGHT DETECTION
DE102021207613A1 (en) Process for quality assurance of a system
DE102019105850A1 (en) Method for generating a reduced neural network for a control device of a vehicle by means of eigenvectors
DE102013206920A1 (en) Detecting a complex object using a cascade of classifiers
DE102022213409A1 (en) METHOD AND APPARATUS FOR IMAGE PROCESSING AND VEHICLE COMPOSING THIS METHOD AND APPARATUS
EP3857455A1 (en) Machine learning system and a method, a computer program and a device for creating the machine learning system
DE102021206625A1 (en) Computer-implemented method and system for supporting an imaging sensor installation and training method
DE112021007146T5 (en) Body structure determination device and body structure determination method

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)