EP4634879A1 - Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi - Google Patents

Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi

Info

Publication number
EP4634879A1
EP4634879A1 EP23833032.8A EP23833032A EP4634879A1 EP 4634879 A1 EP4634879 A1 EP 4634879A1 EP 23833032 A EP23833032 A EP 23833032A EP 4634879 A1 EP4634879 A1 EP 4634879A1
Authority
EP
European Patent Office
Prior art keywords
classification
activity
roi
passenger compartment
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23833032.8A
Other languages
English (en)
French (fr)
Inventor
Manuel Martin
Frederik Diederichs
Michael Voit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4634879A1 publication Critical patent/EP4634879A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the disclosure relates to a classification of an activity of a user in a means of transport with a detection of an activity of the user in a
  • a means of transport In the interior of a means of transport, ie in a passenger compartment of a transport means, such as in a passenger car or a truck, but also in a drone taxi or a gondola, it is becoming increasingly important to record the activities and possible distractions of the users, i.e. the vehicle occupants and in particular a user responsible for driving the vehicle.
  • This makes it possible, for example, to optimize the transfer of driving responsibility from a control unit of a (partially) automated means of transport back to the driver, to adapt assistance systems of the means of transport to the respective activity of the users and, for example, to proactively offer functions, or to take more targeted safety measures, such as deploying an airbag adapted to a respective recognized body pose.
  • Driving functions, comfort functions and safety functions in the means of transport can thus be improved.
  • a so-called body pose activity recognition is basically known, in which people are detected in the image data generated by the camera using one or more cameras in the passenger compartment and a configuration of the skeleton of each of the detected people is recognized in three dimensions, i.e. calculated according to a predetermined anatomical model.
  • the passenger compartment can refer to a closed space intended for accommodating users, such as the passenger compartment of a sedan and/or a partially open space intended for accommodating users, such as the passenger compartment of a convertible and/or an open space intended for accommodating users, such as the passenger compartment of a motorcycle.
  • the respective activity is then classified from the movement of the limbs, the position of known objects or devices in the passenger compartment such as the steering wheel and possibly other features, i.e.
  • classes such as “opens bottle”, “drinks”, “uses phone”, “types on notebook”, “sleeps” and the like can be specified for this classification or recognition.
  • the recognition can also include a hierarchical class model in which classes can each have one or more subclasses.
  • the class "uses phone” can include the subclasses "uses phone with mobile phone to ear” and "uses phone with hands-free device”.
  • other approaches can also be used, for example an end-to-end classification in which the image data is fed directly into a classifier and activities without Intermediate steps such as the described analysis of the body pose can be classified.
  • the known methods for classifying activities are error-prone and can therefore produce false-positive results.
  • the activity "talking on the phone with a mobile phone to the ear" can be recognized even though both hands are on the steering wheel.
  • the pose of the hands is clear, they are on the steering wheel, but the classification process was deceived by unknown causes and as a result produces an incorrect result.
  • the reasons for this can be, for example, a bias in the training data if a learned algorithm is used, in a corrupt skeleton recording in which, for example, only the hands are recognized correctly, but the rest are incorrect, or in the classification of other features as dominant for recognizing the activity and thus deceiving the classifier.
  • AI artificial intelligence
  • a learned algorithm such as a neural network or an algorithm generated using other machine learning methods, is used to classify a recorded activity, such errors cannot be ruled out with absolute reliability, since the algorithm's decisions are never made down to the last detail. can be reproduced, so the learned algorithm generally always has the character of a "black box". Accordingly, the previous approaches are also not suitable for implementing activity recognition, which also has an influence on safety-relevant functions.
  • the task is to record a user’s activity in a means of transport, in particular in a motor vehicle, with increased reliability detect, ideally with sufficient reliability to adapt security functions to a detected activity.
  • One aspect relates to a method for classifying an activity of a user in a means of transport such as a motor vehicle, but also an aircraft or a ship.
  • the method can thus be used in land-based, air-based and water-based means of transport, preferably in means of transport with partially or fully autonomous control.
  • One method step is to record an activity of the user in a passenger compartment of the means of transport using image data, which is done by a camera unit.
  • the camera unit can comprise one or more cameras.
  • the user's hands can be recorded in the image data either directly in the camera image, i.e. two-dimensionally, or in a three-dimensional scene reconstructed using the image data, i.e. three-dimensionally, and thus also the activity of the hands or the user.
  • a further step in the process is to specify one or more areas in the passenger compartment as regions of interest, or ROI.
  • ROIs are two-dimensional or three-dimensional areas that are marked manually or automatically in an image as a two-dimensional (image) area or in a scene as a three-dimensional (spatial) area.
  • these are rectangles or cuboids that are intended to enclose certain areas in the image or scene.
  • rectangles or cuboids are not sufficient to geometrically approximate objects; in these cases, other shapes such as circles, ellipses or cylinders or combined shapes consisting of a cylinder and a cuboid, for example, can be used.
  • the steering wheel can be approximated as a geometric shape in order to define an associated ROI, which can then be used, for example, to detect activities in which the hands are placed on the steering wheel. or not placed on the steering wheel is important.
  • a cuboid is suitable for faster calculations or a cylinder for a more precise representation. If the hands are within the ROI with which the steering wheel is approximated, i.e. the ROI of the steering wheel, activities that require the hands to be on the steering wheel or not on the steering wheel can be better recognized or recognition can be checked (validated).
  • a further process step is the classification of the recorded activity based on the image data and the specified ROI by a computing unit.
  • the solution presented here is also particularly flexible and can be used for a variety of different recognition strategies (body pose activity recognition, end-to-end activity recognition, etc.). In particular, it allows hierarchically divided classification or recognition of the respective activity, which allows integration into safety-relevant functions and, as described below, can combine the power of AI-based systems with the reliability of conventionally specified algorithms.
  • the solution presented here is therefore suitable for use in conjunction with driver assistance systems, for example occupant monitoring or driver monitoring in partially and fully automated means of transport, in human-machine interaction with vehicle assistance systems or infotainment systems in the passenger compartment, in monitoring occupants for adaptive safety functions and in recording vehicle occupants and their respective activities for entertainment media and other comfort functions.
  • the solution described thus filters out activities classified as falsely positive using intuitive and comprehensible heuristics: If, for example, the hands are not in the required area, this activity cannot take place.
  • the calculations of the ROI analysis are also quick due to the approximate geometric shapes and can be easily managed with known algorithms, so that it can also be carried out in means of transport with low data processing capacity compared to stationary systems.
  • the ROIs are used for a supplementary feature that is trained in a Kl-based activity classifier, i.e. a learned algorithm for classifying the recorded activity. Accordingly, the recorded activity is then classified based on image data and ROI with the image data and, for example, activation data of the respective ROI, i.e. an occupancy of ROIs, preferably resolved by limb, as entries in a corresponding input vector for the learned algorithm (activity classifier) that carries out the classification. The classification is then carried out in a single step in which image data and activation data are evaluated together.
  • a Kl-based activity classifier i.e. a learned algorithm for classifying the recorded activity.
  • the classification which can also be referenced as full classification or complete classification, comprises a first classification, which can be referenced as pre-classification, and a second classification, which can be referenced as final classification.
  • a hierarchical structure can therefore be selected for the classification.
  • the recorded activity is classified based on the image data and preferably without taking the predetermined ROIs into account, for example using a known method.
  • Additional data supplementing the image data such as status data and/or sensor data of the vehicle, can also be used. For example, a capacitive sensor on the steering wheel can detect whether the hands are on the steering wheel or not, and this can be taken into account when recognizing the activity.
  • a result of the first classification is processed with an occupancy analysis of the specified ROIs.
  • the results of a conventional activity classifier can be fed into another classifier instance, for example into a neural network or the like, together with the ROI occupancy analysis as a new feature vector and processed in a second, hierarchically higher process step.
  • a probability distribution for activities recognized in the first classification can be calculated together with the ROI occupancy analysis (in particular per limb) and an object specified and thus relevant for the respective activity recognized in the first classification (for example the steering wheel) are summarized as a feature vector and classified again in the second classification in order to prevent nonsensical hypotheses.
  • the first classification can be carried out by a first neural network and/or the second classification by a second, another neural network, which is different from the first neural network.
  • the result of the first classification comprises at least one, preferably at least two and particularly preferably three classification result candidates.
  • a classification result candidate can also be or comprise the probability distribution mentioned in the last paragraph for activities recognized in the first classification.
  • the processing of the second classification comprises a compatibility check of the respective classification result candidate(s) with the occupancy analysis of the specified ROIs based on a stored compatibility specification.
  • the compatibility specification can be in the form of a database and links a large number of classification result candidates with ROIs specified as compatible and/or incompatible for each classification result candidate.
  • the classification result candidates can each be assigned a specific validity, i.e. probability.
  • Preferably, as the final result of the complete classification only one classification result candidate is output whose assigned ROI(s) is compatible with a result of the occupancy analysis of the given ROIs.
  • the (preliminary) result of the (first) classification of the assigned first activity classifier can include three classification result candidates with the highest probability of occurrence. Accordingly, if the result of the first classification with the highest probability, i.e. for example, is "telephone with mobile phone to ear", but at the same time the occupancy analysis shows that the ROI assigned to the steering wheel is occupied twice, i.e. the hands are on the steering wheel, the (preliminary) result can be prevented from being output or further processed (as the final result). Accordingly, only one classification result candidate of the first classification is output as the final result of the classification, i.e. the full classification. whose assigned ROI or assigned ROIs are compatible with a result of the occupancy analysis of the given ROIs.
  • the first activity classifier does not just output one result, but one or more classification result candidates, ideally the top 3 or top 10 classification result candidates, possibly even a (discrete) probability distribution across all activities recognized as possible.
  • the respective classification result candidates are checked for plausibility using the ROI occupancy analysis. For example, it can be checked whether hands are important for an activity and whether the hands are located in an ROI corresponding to the activity. If this is the case, the activity was probably correctly recognized during the first classification. If this is not the case, the activity can be discarded and another one selected. In this way, all classification result candidates contained in the result of the first classification can be checked for their suitability as a possible final result in order of decreasing probability. It can also be provided that only classification result candidates with a specified minimum validity or probability are checked for compatibility. This has the advantage that a hierarchical procedure with independent classifiers is implemented, so that reliability is significantly improved.
  • the occupancy analysis and/or the compatibility test is carried out using an algorithm explicitly specified by a human.
  • the occupancy analysis and/or the compatibility test is then not carried out by an algorithm that is indirectly or directly specified by a human, but only implicitly.
  • implicitly specified algorithms are, for example, algorithms that are generated using a learning process, for example a trained neural network.
  • This has the advantage that the occupancy analysis or the compatibility test is not a so-called "black box", but that the structure and behavior of the algorithm can be understood and checked in detail.
  • This also makes it acceptable for the algorithm to influence safety-relevant functions, for example by taking into account of the detected activity in safety-relevant functions of the means of transport.
  • the occupancy analysis or compatibility check is clearly defined and can be solved efficiently using explicitly specified algorithms.
  • the (final) result of the classification i.e. the full classification
  • a safety-relevant function of the means of transport is also controlled by the control unit depending on the (final) result provided.
  • the safety-relevant function can, for example, comprise an acceleration and/or steering function, in particular a transverse and/or longitudinal and/or vertical guidance of the means of transport, but also another safety function such as a triggering scheme for one or more airbags or a behavior of a belt tensioner. This leads to improved safety of the means of transport, since the safety-relevant function can be implemented as an adaptive function that adapts to a behavior, i.e. an activity of the user.
  • At least one of the ROIs is specified as an area that can change in size and/or shape and/or position and/or orientation.
  • the ROIs therefore do not have to be static, but can also be dynamic.
  • Static ROIs are suitable, for example, for the steering wheel or other objects in a fixed position in the passenger compartment, which are described with sufficient accuracy by a ROI that has been defined once.
  • the ROI of the left and/or right ear can be dynamic and moving by means of upstream head tracking.
  • At least one ROI specified as an area that can change in size and/or shape and/or position and/or orientation can be an ROI linked to a mobile object (such as the ear) recognized and located in the passenger compartment.
  • the dynamic ROIs can therefore be "moving" on a mobile object.
  • These can be "marked” ROIs.
  • the object can also be detected in the environment while it is mobile relative to the vehicle, and an assigned ROI can be an area on a windshield that moves according to the movement of the vehicle and which can be occupied by a pointing hand when a user points to the object outside the vehicle, for example.
  • the described designs for the ROIs have the advantage that the flexibility and reliability of the classification are increased.
  • a further aspect relates to a classification device for classifying an activity of a user in a means of transport, having a camera unit for capturing an activity of the user in a passenger compartment of the means of transport using image data, having a storage unit for storing predetermined areas in the passenger compartment as regions of interest, ROI; and having a computing unit for classifying the recorded activity based on the image data and the predetermined ROI.
  • Fig. 1 shows an exemplary embodiment of a classification device 1 for classifying an activity of a user 2 in a means of transport 3, here embodied as a motor vehicle.
  • the classification device 1 has a camera unit 4 for recording the activity of the user 2 in a passenger compartment 5 of the means of transport 3.
  • the classification device 1 has a memory unit 6 for storing predetermined areas 7 in the passenger compartment as regions of interest, ROI.
  • a first predetermined area 7 is shown, which contains a steering wheel 8 as an ROI, and a second predetermined area 7', which contains an ear 13 of the user 2 as an ROI.
  • the classification device 1 here also has a computing unit 9 for classifying the recorded activity based on the image data of the camera unit 4 and the ROIs stored in the memory unit 6.
  • the classification device 1 is also equipped with a control unit 10 for controlling a (here safety-relevant) function of the means of transport 3 depending on a classification (final) result provided by the classification device 1.
  • the control unit 10 in the present example is coupled to a drive unit 11 and a brake unit 12.
  • the respective activity when classifying an activity of the user 2, the respective activity can be recorded by the camera unit 4.
  • a pre-classification can be carried out, for example, which initially runs without the specified ROIs.
  • a favored classification result candidate can be incorrectly identified as "telephone with the mobile phone to the ear”.
  • a subsequent classification result candidate can be identified as "steering the vehicle”.
  • an occupancy analysis of the specified ROIs 7, 7' in this case the ROI "steering wheel” and the ROI "ear”
  • the control unit 10 for controlling a safety-relevant function such as longitudinal and/or transverse guidance of the vehicle 3. Accordingly, for example, the control unit 10 could assume undivided attention of the user 2 and, for example, select a higher speed and/or a smaller distance to the vehicle in front than if the user 2 were actually driving with the

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Offenbarung betrifft ein Klassifizieren einer Aktivität eines Nutzers (2) in einem Verkehrsmittel (3), insbesondere in einem Kraftfahrzeug, mit Erfassen einer Aktivität des Nutzers (2) in einer Fahrgastzelle (5) des Verkehrsmittel (3) mittels Bilddaten, durch eine Kameraeinheit (4); mit Vorgeben von einem oder mehreren Bereichen (7) in der Fahrgastzelle (5) als Regionen von Interesse, ROI; und mit Klassifizieren der erfassten Aktivität basierend auf den Bilddaten und der oder den vorgegebenen ROI, durch eine Recheneinheit (9) um die Aktivität des Nutzers (2) mit erhöhter Verlässlichkeit zu erkennen, idealerweise mit einer für die Anpassung von Sicherheitsfunktionen an eine erkannte Aktivität ausreichenden Verlässlichkeit.

Description

Verbesserte Aktivitätserkennung in einer Fahrgastzelle eines Verkehrsmittels mit Hilfe von statischen oder dynamischen Regionen von Interesse, ROI
Die Offenbarung betrifft eine Klassifikation einer Aktivität eines Nutzers in ei- nem Verkehrsmittel mit einem Erfassen einer Aktivität des Nutzers in einer
Fahrgastzelle des Verkehrsmittels mittels Bilddaten, durch eine Kameraeinheit, und einem Klassifizieren der erfassten Aktivität, durch eine Recheneinheit.
Im Innenraum eines Verkehrsmittels, d.h. in einer Fahrgastzelle eines Verkehrs- mittels, wie beispielsweise in einem Personenkraftwagen oder einem Lastkraftwagen, aber auch in einem Drohnentaxi oder einer Gondel, wird es immer wichtiger, die Aktivitäten und möglichen Ablenkungen der Nutzer, d.h. der Fahrzeuginsassen und insbesondere eines für das Führen des Verkehrsmittels verantwortlichen Nutzers zu erfassen. Dies ermöglicht beispielsweise eine Übergabe der Fahrverantwortung von einer Steuereinheit eines (teil-)automatisierten Verkehrsmittels zurück zum Fahrer zu optimieren, Assistenzsysteme des Verkehrsmittels auf die jeweilige Aktivität der Nutzer anzupassen und beispielsweise proaktiv Funktionen anzubieten, oder gezielter Sicherheitsmaßnahmen zu treffen, wie beispielsweise an eine jeweilige erkannte Körperpose adaptierte Airbag-Auslösung vorzunehmen. Es können somit Fahrfunktionen, Komfortfunktionen und Sicherheitsfunktionen im Verkehrsmittel verbessert werden.
Grundsätzlich bekannt ist beispielsweise eine sogenannte Körperposen-Aktivi- tätserkennung, bei welcher mittels einer oder mehreren Kameras in der Fahrgastzelle Personen in den von der Kamera erzeugten Bilddaten detektiert werden und für die detektierten Personen jeweils eine Konfiguration ihres Skeletts in drei Dimensionen erkannt, d.h. einem vorgegebenen Anatomiemodell folgend berechnet wird. Insbesondere kann die Fahrgastzelle einen geschlossenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle einer Limousine und/oder einen teilweise offenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle eines Cabrios und/oder einen offenen zur Nutzeraufnahme bestimmten Raum wie die Fahrgastzelle eines Motorrads bezeichnen. Aus der Bewegung der Gliedmaßen, der Position bekannter Gegenstände oder Einrichtungen in der Fahrgastzelle wie dem Lenkrad und möglicherweise anderen Merkmalen wird dann die jeweilige Aktivität klassifiziert, d.h. als zu einem Typ von Aktivität gehörig erkannt. Beispielsweise können für diese Klassifizierung bzw. Erkennung Klassen wie „öffnet Flasche", „trinkt", „telefoniert", „tippt am Notebook", „schläft" und dergleichen mehr vorgegeben sein. Die Erkennung kann auch ein hierarchisches Klassenmodell umfassen bei welcher Klassen jeweils eine oder mehrere Unterklassen aufweisen können. So kann die Klasse „telefoniert" bspw. als Unterklassen „telefoniert mit Mobiltelefon am Ohr" und „telefoniert mit Freisprechanlage" umfassen. Alternativ zu dieser Art der Aktivitätsklassifikation können auch andere Ansätze zum Einsatz kommen, beispielsweise eine Ende-zu-Ende-Klassifikation, bei welcher die Bilddaten direkt in einen Klassifikator eingespeist werden und entsprechend Aktivitäten ohne Zwischenschritte wie die beschriebene Analyse der Körperpose klassifiziert werden.
Die bekannten Verfahren zur Klassifikation von Aktivitäten sind fehlerbehaftet und können entsprechend falsch-positive Ergebnisse liefern, beispielsweise kann die Aktivität „telefoniert mit Mobiltelefon am Ohr" erkannt werden, obwohl beide Hände am Lenkrad sind. In diesem Fall ist die Pose der Hände zwar eindeutig, sie liegen am Lenkrad, der Klassifikationsprozess wurde jedoch von unbekannten Ursachen getäuscht und liefert als Folge ein falsches Ergebnis. Ursachen hierfür können beispielsweise in einem Bias der Trainingsdaten liegen, falls ein erlernter Algorithmus zum Einsatz kommt, in einer korrupten Skeletterfassung, bei welcher beispielsweise nur die Hände richtig erkannt sind, allerdings der Rest falsch, oder in dem Einstufen anderer Merkmale als für das Erkennen der Aktivität dominant und entsprechend den Klassifikator täuschend. Gerade wenn für das Klassifizieren einer erfassten Aktivität eine sog. künstliche Intelligenz (Kl), d.h. ein erlernter Algorithmus wie beispielsweise ein neuronales Netz oder ein über andere Verfahren des Maschinenlernens generierter Algorithmus zum Einsatz kommen, können derartige Fehler nicht mit letzter Verlässlichkeit ausgeschlossen werden können, da dort Entscheidungen des Algorithmus nie bis ins letzte Detail nachvollzogen werden können, der erlernte Algorithmus also im allgemeinen stets den Charakter einer „Black Box" hat. Entsprechend sind die bisherigen Ansätze beispielsweise auch nicht geeignet, um eine Aktivitätserkennung zu implementieren, welche auch einen Einfluss auf sicherheitsrelevante Funktionen hat.
Die Problematik, einen Klassifikator stabiler zu gestalten, ist dabei im Allgemeinen nicht neu. Typischerweise wird versucht, zusätzliche, bisher nicht berücksichtigte Merkmale hinzuzufügen, um den der Klassifikation zugrundeliegenden Suchbaum einzuschränken. Beispielsweise könnten bei einer Körperposen-Ak- tivitätserkennung im Anatomiemodell jeweilige Gelenke mit erlaubten Gelenkwinkeln versehen werden, welche einer fehlerhaften Erkennung des Körperskeletts mit verbogenen Gliedmaßen entgegen wirken, da eine solche Konfiguration des Skelettes physiologisch nicht möglich wäre.
Entsprechend stellt sich die Aufgabe, eine Aktivität eines Nutzers in einem Verkehrsmittel, insbesondere in einem Kraftfahrzeug, mit erhöhter Verlässlichkeit erkennen, idealerweise mit einer für die Anpassung von Sicherheitsfunktionen an eine erkannte Aktivität ausreichenden Verlässlichkeit.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und der Figur.
Ein Aspekt betrifft ein Verfahren zum Klassifizieren einer Aktivität eines Nutzers in einem Verkehrsmittel wie einem Kraftfahrzeug, aber auch einem Flugzeug oder einem Schiff. Das Verfahren kann somit in landgebundenen, luftgebundenen und wassergebundenen Verkehrsmitteln zum Einsatz kommen, bevorzugt in Transport- bzw. Verkehrsmitteln mit teil- oder vollautonomer Steuerung. Ein Verfahrensschritt ist dabei ein Erfassen einer Aktivität des Nutzers in einer Fahrgastzelle des Verkehrsmittels mittels Bilddaten, was durch eine Kameraeinheit erfolgt. Die Kameraeinheit kann dabei eine oder mehrere Kameras umfassen. Es können beispielsweise in den Bilddaten Hände des Nutzers sowohl in dem Kamerabild direkt, also zweidimensional, oder in einer mittels der Bilddaten rekonstruierten dreidimensionalen Szene, also dreidimensional, erfasst werden und damit auch die Aktivität der Hände bzw. des Nutzers.
Ein weiterer Verfahrensschritt ist ein Vorgeben von einem oder mehreren Bereichen in der Fahrgastzelle als Regionen von Interesse, auch „Regions of Interest", ROI. ROIs sind dabei zweidimensionale oder dreidimensionale Bereiche, die entsprechend in einem Bild als zweidimensionaler (Bild-)Bereich oder in einer Szene als dreidimensionaler (Raum-)Bereich manuell oder automatisch markiert werden. Im einfachsten Fall handelt es sich um Rechtecke bzw. Quader, welche bestimmte Bereiche in Bild oder Szene einfassen sollen. Manchmal sind Rechtecke oder Quader nicht ausreichend, um Gegenstände geometrisch zu approximieren, dann können auch andere Formen wie beispielsweise Kreise, Ellipsen oder Zylinder oder aber kombinierte Formen, welche sich beispielsweise aus einem Zylinder und einem Quader zusammensetzen, herangezogen werden.
Beispielsweise kann das Lenkrad als geometrische Form approximiert werden, um hier eine zugehörigen ROI zu definieren, welcher dann beispielsweise für das Erkennen von Aktivitäten, bei welchen die Hände am Lenkrad platziert sind oder eben nicht am Lenkrad platziert sind, wichtig ist. Im Falle des Lenkrades bietet sich beispielsweise für eine schnellere Berechnung ein Quader oder für eine präzisere Darstellung ein Zylinder an. Liegen die Hände innerhalb der ROI, mit welcher das Lenkrad approximiert wird, also der ROI des Lenkrads, können entsprechend Aktivitäten, welche erfordern, dass die Hände am Lenkrad sind oder eben nicht am Lenkrad sind, besser erkannt bzw. ein Erkennen überprüft (validiert) werden. Entsprechend ist ein weiterer Verfahrensschritt das Klassifizieren der erfassten Aktivität basierend auf den Bilddaten und den vorgegebenen ROI durch eine Recheneinheit.
Das hat den Vorteil, dass durch die ROI-basierte Klassifikation, beispielsweise über eine Belegungsanalyse wie weiter unten beschrieben, eine Verlässlichkeit des Klassifikators verbessert wird. Die hier vorgestellte Lösung ist auch besonders flexibel und auf eine Vielzahl von unterschiedlichen Erkennungsstrategien (Körperposen-Aktivitätserkennung, Ende-zu-Ende Aktivitätserkennung,..) anwendbar. Sie erlaubt insbesondere ein hierarchisch unterteiltes Klassifizieren oder Erkennen der jeweiligen Aktivität, welches das Einbinden in sicherheitsrelevante Funktionen erlaubt und dabei wie unten noch beschrieben die Mächtigkeit Kl-basierter Systeme mit der Verlässlichkeit herkömmlich vorgegebener Algorithmen kombinieren kann. Die hier vorgestellte Lösung eignet sich somit zur Anwendung in Verbindung von Fahrerassistenz-Systemen, beispielsweise Occupant Monitoring bzw. Driver Monitoring bei teil- und auch vollautomatisierten Verkehrsmitteln, in der Mensch-Maschine-Interaktion mit Fahrzeugassistenz-Systemen oder Infotainment-Systemen in der Fahrgastzelle, in der Überwachung der Insassen für adaptive Sicherheitsfunktionen sowie im Erfassen von Fahrzeuginsassen und ihrer jeweiligen Aktivität für Unterhaltungsmedien und sonstige Komfortfunktionen. Die beschriebene Lösung bewirkt somit das Filtern von falsch positiv klassifizierten Aktivitäten anhand intuitiver und nachvollziehbarer Heuristiken: Sind beispielsweise die Hände nicht in dem dafür nötigen Bereich, so kann diese Aktivität nicht stattfinden. Die Berechnungen der ROI-Analyse ist aufgrund der approximierenden geometrischen Formen zudem schnell und mit bekannten Algorithmen gut beherrschbar, sodass sie auch in Verkehrsmitteln mit im Vergleich zu stationären Systemen geringer Datenverarbeitungskapazität durchgeführt werden kann. In einer Ausführungsform ist vorgesehen, dass die ROIs für ein ergänzendes Merkmal, welches in einen Kl-basierten Aktivitätsklassifikator, d.h. einen erlernten Algorithmus zum Klassifizieren der erfassten Aktivität, eintrainiert wird, genutzt werden. Entsprechend erfolgt dann das Klassifizieren der erfassten Aktivität basierend auf Bilddaten und ROI mit den Bilddaten und beispielsweise Aktivierungsdaten der jeweiligen ROI, d. h. einer Belegung von ROIs, bevorzugt aufgelöst nach Gliedmaßen, als Einträge in einem entsprechenden Eingabevektor für den erlernten Algorithmus (Aktivitätsklassifikator) welcher das Klassifizieren vornimmt. Das Klassifizieren erfolgt dann in einem einzigen Schritt, in welchem Bilddaten und Aktivierungsdaten miteinander ausgewertet werden.
In einer weiteren Ausführungsform ist vorgesehen, dass das Klassifizieren, welches auch als Vollklassifizieren oder vollständiges Klassifizieren referenziert werden kann, ein erstes Klassifizieren, welches als Vorklassifizieren referenziert werden kann, und ein zweites Klassifizieren, welches als Endklassifizieren referenziert werden kann, umfasst. Es kann also eine hierarchische Struktur für das Klassifizieren gewählt werden. Dabei wird bei dem ersten Klassifizieren die erfasste Aktivität basierend auf den Bilddaten und bevorzugt ohne Berücksichtigung der vorgegebenen ROIs klassifiziert, also beispielsweise mit einem bekannten Verfahren. Dabei können auch die Bilddaten ergänzende zusätzliche Daten, wie beispielsweise Zustandsdaten und/oder Sensordaten des Verkehrsmittels genutzt werden. Beispielsweise kann mittels eines kapazitiven Sensors am Lenkrad detektiert werden, ob die Hände am Lenkrad sind oder nicht, und dies beim Erkennen der Aktivität berücksichtigt werden.
Bei dem zweiten Klassifizieren wird ein Ergebnis des ersten Klassifizierens mit einer Belegungsanalyse der vorgegebenen ROIs verarbeitet. Beispielsweise können so die Ergebnisse eines herkömmlichen Aktivitätsklassifikators in eine weitere Klassifikator-Instanz, beispielsweise in ein neuronales Netz oder dergleichen, mitsamt der ROI-Belegungsanalyse als neuem Merkmalsvektor eingespeist und in einem zweiten, hierarchisch höheren Prozessschritt verarbeitet werden. So kann beispielsweise eine Wahrscheinlichkeitsverteilung für im ersten Klassifizieren erkannte Aktivitäten mitsamt der ROI-Belegungsanalyse (insbesondere pro Gliedmaß) und einem für die jeweilige im ersten Klassifizieren erkannte Aktivität vorgegebenen und damit relevanten Objekt (beispielsweise das Lenkrad) als Merkmalsvektor zusammengefasst werden und bei dem zweiten Klassifizieren erneut klassifiziert werden, um unsinnige Hypothesen zu verhindern. Entsprechend kann das erste Klassifizieren durch ein erstes neuronales Netz durchgeführt werden und/oder das zweite Klassifizieren durch ein zweites, ein weiteres neuronales Netz, welches von dem ersten neuronalen Netz verschieden ist.
In einer weiteren Ausführungsform ist vorgesehen, dass das Ergebnis des ersten Klassifizierens zumindest einen, bevorzugt zumindest zwei und besonders bevorzugt drei Klassifikationsergebnis-Kandidaten umfasst. Ein Klassifikationsergebnis-Kandidat kann auch die im letzten Absatz genannte Wahrscheinlichkeitsverteilung für im ersten Klassifizieren erkannte Aktivitäten sein oder umfassen. Das Verarbeiten des zweiten Klassifizierens umfasst dabei eine Verträglichkeitsüberprüfung des oder der jeweiligen Klassifikationsergebnis-Kandidaten mit der Belegungsanalyse der vorgegebenen ROIs anhand einer hinterlegten Verträglichkeitsvorgabe. Die Verträglichkeitsvorgabe kann in Form einer Datenbank vorliegen und verknüpft dabei eine Vielzahl von Klassifikationsergebnis-Kandidaten mit jeweils für einen Klassifikationsergebnis-Kandidaten als verträglich und/oder unverträglich vorgegebenen ROIs. Den Klassifikationsergebnis-Kandidaten kann jeweils eine spezifische Validität, d.h. Wahrscheinlichkeit zugeordnet sein. Dabei wird bevorzugt als Endergebnis des vollständigen Klassifizierens nur ein Klassifikationsergebnis-Kandidat ausgegeben, dessen zugeordneter oder zugeordnete ROIs mit einem Ergebnis der Belegungsanalyse der vorgegebenen ROIs verträglich ist.
Beispielsweise kann als (Vor-) Ergebnis des (ersten) Klassifizierens von dem zugeordneten ersten Aktivitätsklassifikator drei Klassifikationsergebniskandidaten mit den höchsten Wahrscheinlichkeiten für ein Eintreffen umfassen. Entsprechend kann beispielsweise wenn als Ergebnis des ersten Klassifizierens mit der größten Wahrscheinlichkeit, d.h. beispielsweise als erster Klassifikationsergebniskandidat geliefert wird „telefoniert mit Mobiltelefon am Ohr", zugleich jedoch die Belegungsanalyse ergibt, dass die dem Lenkrad zugeordnete ROI doppelt belegt ist, d.h. die Hände am Lenkrad sind, ein Ausgeben bzw. Weiterverarbeiten des (Vor-) Ergebnisses (als Endergebnis) verhindert wird. Entsprechend wird als Endergebnis des Klassifizierens, d.h. des Vollklassifizierens nur ein Klassifikationsergebnis-Kandidat des ersten Klassifizierens ausgegeben, dessen zugeordneter oder zugeordnete ROIs mit einem Ergebnis der Belegungsanalyse der vorgegebenen ROIs verträglich ist. Der erste Aktivitätsklassifikator gibt in diesem Fall also nicht nur ein Ergebnis aus, sondern einen oder mehrere Klassifikationsergebnis-Kandidaten, idealerweise die Top 3 oder auch Top 10 Klassifikationsergebnis-Kandidaten, möglicherweise sogar eine (diskrete) Wahrscheinlichkeitsverteilung über alle als möglich erkannten Aktivitäten. Anstatt nun wie in herkömmlichen Ansätzen die Aktivität auf Platz 1 und damit die wahrscheinlichste Aktivität auszuwählen, werden die jeweiligen Klassifikationsergebnis-Kandidaten auf Plausibilität mit der ROI-Belegungsanalyse hin überprüft. Beispielsweise kann überprüft werden, ob für eine Aktivität die Hände wichtig sind und ob entsprechend die Hände jeweils in einer der Aktivität entsprechenden ROI verortet sind. Wenn dies der Fall ist, wurde die Aktivität bei dem ersten Klassifizieren wahrscheinlich korrekt erkannt. Wenn dies nicht der Fall ist, kann die Aktivität verworfen werden und eine andere ausgewählt werden. So können der Reihe nach mit abnehmender Wahrscheinlichkeit sämtliche im Ergebnis des ersten Klassifizierens enthaltene Klassifikationsergebnis-Kandidaten auf ihre Eignung als mögliches Endergebnis hin überprüft werden. Es kann auch vorgesehen sein, dass nur Klassifikationsergebnis-Kandidaten mit einer vorgegebenen Mindest-Validität oder -Wahrscheinlichkeit auf Verträglichkeit überprüft werden. Das hat den Vorteil, dass ein hierarchisches Verfahren mit voneinander unabhängigen Klassifikatoren implementiert wird, so dass die Verlässlichkeit wesentlich verbessert wird.
Entsprechend kann vorgesehen sein, dass die Belegungsanalyse und/oder die Verträglichkeitsprüfung mittels eines durch einen Menschen explizit vorgegebenen Algorithmus durchgeführt wird. Die Belegungsanalyse und/oder Verträglichkeitsprüfung wird dann nicht durch einen durch einen Menschen mittelöder unmittelbar nur implizit vorgegebenen Algorithmus durchgeführt. Um solche implizit vorgegebene Algorithmen handelt es sich beispielsweise bei Algorithmen, welche über ein Lernverfahren erzeugt werden, also beispielsweise einem trainierten neuronalen Netz. Das hat den Vorteil, dass die Belegungsanalyse bzw. die Verträglichkeitsprüfung keine sogenannte „Blackbox" ist, sondern dass Struktur und Verhalten des Algorithmus im Detail nachvollzogen und überprüft werden kann. Damit ist auch eine Einflussnahme des Algorithmus auf sicherheitsrelevante Funktionen vertretbar, beispielsweise durch ein Berücksich- tigen der erkannten Aktivität in sicherheitsrelevanten Funktionen des Verkehrsmittels. Gerade die Belegungsanalyse bzw. Verträglichkeitsprüfung ist dabei im Vergleich zu dem ersten Klassifizieren klar definiert und entsprechend effizient durch explizit vorgegebene Algorithmen lösbar.
In einer weiteren Ausführungsform ist vorgesehen, dass ein Bereitstellen des (End-)Ergebnisses des Klassifizierens, d.h. des Vollklassifizierens, an eine Steuereinheit des Verkehrsmittels erfolgt und insbesondere auch ein Steuern einer sicherheitsrelevanten Funktion des Verkehrsmittels in Abhängigkeit des bereitgestellten (End-)Ergebnisses durch die Steuereinheit erfolgt. Die sicherheitsrelevante Funktion kann beispielsweise eine Beschleunigungs- und/oder Lenkfunktion umfassen, insbesondere eine Quer- und/oder Längs- und/oder Höhenführung des Verkehrsmittels, aber auch eine andere Sicherheitsfunktion wie beispielsweise ein Auslöseschema eines oder mehrerer Airbags oder ein Verhalten eines G urtst raffe rs. Dies führt zu einer verbesserten Sicherheit des Verkehrsmittels, da so die sicherheitsrelevante Funktion als adaptive Funktion, welche sich an ein Verhalten, d.h. eine Aktivität der Nutzer anpasst, implementiert werden kann.
In einer weiteren Ausführungsform ist vorgesehen, dass zumindest einer der ROIs als in Größe und/oder Form und/oder Position und/oder Orientierung veränderlicher Bereich vorgegeben ist. Die ROIs müssen somit nicht statisch, sondern können auch dynamisch sein. Statische ROIs eignen sich beispielsweise für das Lenkrad oder andere Gegenstände an einer festen Position in der Fahrgastzelle, welche durch eine einmal definierte ROI gleichbleibend ausreichend genau beschrieben werden. Es gibt jedoch auch bewegte Bereiche, wie beispielsweise den Kopf, an den das Mobiltelefon bzw. die Hände gehalten werden müssen, damit die Aktivität „telefonieren mit Mobiltelefon am Ohr" auch erfasst bzw. erkannt oder als solche klassifiziert werden kann. Beispielsweise kann die ROI des linken und/oder rechten Ohrs durch eine vorgeschaltete Kopfverfolgung („tracking") dynamisch und bewegt erfolgen. Entsprechend kann zumindest ein als in Größe und/oder Form und/oder Position und/oder Orientierung veränderlicher Bereich vorgegebene ROI ein mit einem in der Fahrgastzelle erkannten und georteten mobilen Objekt (wie dem Ohr) verknüpfte ROI sein. Es kann sich also bei den dynamischen ROIs um an einem mobilen Objekt „veran- kerte" ROIs handeln. Alternativ kann das Objekt auch relativ zum Fahrzeug mobil in der Umgebung erkannt sein, und beispielsweise eine zugeordnete ROI entsprechend ein Bereich an einer Windschutzscheibe sein, welcher sich entsprechend der Bewegung des Fahrzeugs verschiebt und welcher beispielsweise bei einem Deuten eines Nutzers auf das Objekt außerhalb des Fahrzeugs von einer deutenden Hand belegt sein kann. Die beschriebenen Ausgestaltungen für die ROIs haben den Vorteil, dass Flexibilität und Zuverlässigkeit der Klassifizierung erhöht sind.
Ein weiterer Aspekt betrifft eine Klassifizierungseinrichtung zum Klassifizieren einer Aktivität eines Nutzers in einem Verkehrsmittel mit einer Kameraeinheit zum Erfassen einer Aktivität des Nutzers in einer Fahrgastzelle des Verkehrsmittel mittels Bilddaten, mit einer Speichereinheit zum Hinterlegen von vorgegebenen Bereichen in der Fahrgastzelle als Regionen von Interesse, ROI; und mit einer Recheneinheit zum Klassifizieren der erfassten Aktivität basierend auf den Bilddaten und den vorgegebenen ROI.
Vorteile und vorteilhafte Ausführungsformen der Klassifizierungseinrichtung entsprechend dabei Vorteilen und vorteilhaften Ausführungsformen des oben beschriebenen Verfahrens.
Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Dabei zeigt Fig. 1 eine beispielhafte Ausführungsform einer Klassifizierungseinrichtung 1 zum Klassifizieren einer Aktivität eines Nutzers 2 in einem hier als Kraftfahrzeug ausgeführten Verkehrsmittel 3. Die Klassifizierungseinrichtung 1 weist eine Kameraeinheit 4 zum Erfassen der Aktivität des Nutzers 2 in einer Fahrgastzelle 5 des Verkehrsmittels 3 auf. Des Weiteren weist die Klassifizierungseinrichtung 1 eine Speichereinheit 6 zum Hinterlegen von vorgegebenen Bereichen 7 in der Fahrgastzelle als Regionen von Interesse, ROI auf. Im gezeigten Beispiel ist ein erster vorgegebener Bereich 7 dargestellt, welcher als ROI ein Lenkrad 8 enthält, und ein zweiter vorgegebener Bereich 7', welcher als ROI ein Ohr 13 des Nutzers 2 enthält. Schließlich weist die Klassifizierungseinrichtung 1 hier auch eine Recheneinheit 9 zum Klassifizieren der erfassten Aktivität basierend auf den Bilddaten der Kameraeinheit 4 und den in der Speichereinheit 6 hinterlegten ROIs auf. Im gezeigten Beispiel ist die Klassifizierungseinrichtung 1 auch mit einer Steuereinheit 10 zum Steuern einer (hier sicherheitsrelevanten) Funktion des Verkehrsmittels 3 in Abhängigkeit eines von der Klassifizierungseinrichtung 1 bereitgestellten Klassifizierungs(end)ergebnisses ausgestattet. Zu diesem Zweck ist die Steuereinheit 10 im vorliegenden Beispiel mit einer Antriebseinheit 11 und einer Bremseinheit 12 gekoppelt.
So kann beispielsweise bei dem Klassifizieren einer Aktivität des Nutzers 2 die jeweilige Aktivität durch die Kameraeinheit 4 erfasst werden. Basierend auf den durch die Kameraeinheit bereitgestellten Bilddaten kann dabei beispielsweise ein Vorklassifizieren erfolgen, welches zunächst noch ohne die vorgegebenen ROIs abläuft. Dort kann als ein favorisierter Klassifikationsergebnis-Kandidaten beispielsweise fälschlicherweise „telefoniert mit dem Mobiltelefon am Ohr" erkannt werden. Als nachgeordneter weiterer Klassifikationsergebnis-Kandidat kann „lenkt das Fahrzeug" erkannt werden. Unabhängig von dem Vorklassifizieren kann nun eine Belegungsanalyse der vorgegebenen ROIs 7, 7' vorliegend des ROIs „Lenkrad" und des ROIs „Ohr", vorgenommen werden und festgestellt werden, dass sich Gliedmaßen, hier Hände, in dem ROI 7 des Lenkrads 8 befinden. Entsprechend wird bei dem Überprüfen des Ergebnisses des ersten Klassifizierens festgestellt, dass der tatsächliche ROI, in welchem die Hände sich be- finden, nicht mit dem das Ohr 13 enthaltenden ROI verträglich ist. Entsprechend wird der erste Klassifikationsergebnis-Kandidat, hier „telefoniert mit Mobiltelefon am Ohr", verworfen und vorliegend der nächste Klassifikationsergebnis-Kandidat, hier „lenkt das Fahrzeug", als Endergebnis des Klassifizierens ausgegeben und im vorliegenden Fall an die Steuereinheit lO zum Steuern einer sicherheitsrelevanten Funktion wie einer Längs- und/oder Querführung des Verkehrsmittels 3 erfolgen. Entsprechend könnte beispielsweise die Steuereinheit 10 hier von einer ungeteilten Aufmerksamkeit des Nutzers 2 ausgehen und beispielsweise eine höhere Geschwindigkeit und/oder einen geringeren Ab- stand zum Vorderfahrzeug wählen als wenn der Nutzer 2 tatsächlich mit dem
Mobiltelefon am Ohr telefonieren würde.

Claims

Ansprüche
1. Verfahren zum Klassifizieren einer Aktivität eines Nutzers (2) in einem Verkehrsmittel (3), insbesondere in einem Kraftfahrzeug, mit den Verfahrensschritten:
- Erfassen einer Aktivität des Nutzers (2) in einer Fahrgastzelle (5) des Verkehrsmittel (3) mittels Bilddaten, durch eine Kameraeinheit (4); gekennzeichnet durch ein
- Vorgeben von einem oder mehreren Bereichen (7) in der Fahrgastzelle (5) als Regionen von Interesse, ROI;
- Klassifizieren der erfassten Aktivität basierend auf den Bilddaten und der o- der den vorgegebenen ROI, durch eine Recheneinheit (9).
2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass
- das Klassifizieren ein erstes Klassifizieren und ein zweites Klassifizieren umfasst, wobei bei dem ersten Klassifizieren die erfasste Aktivität basierend auf den Bilddaten klassifiziert wird und bei dem zweiten Klassifizieren ein Ergebnis des ersten Klassifizierens mit einer Belegungsanalyse des oder der vorgegebenen ROIs verarbeitet wird.
3. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das erste Klassifizieren durch ein neuronales Netz durchgeführt wird und/oder das zweite Klassifizieren durch ein weiteres neuronales Netz durchgeführt wird.
4. Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ergebnis des ersten Klassifizierens zumindest einen, bevorzugt zumindest zwei, besonders bevorzugt drei, Klassifikationsergebnis-Kandidaten umfasst, sowie das Verarbeiten des zweiten Klassifizierens eine Verträglichkeitsüberprüfung des oder der jeweiligen Klassifikationsergebnis-Kandidaten mit der Belegungsanalyse der vorgegebenen ROIs anhand einer hinterlegten Verträglichkeitsvorgabe umfasst, welche eine Vielzahl von Klassifikationsergebnis- Kandidaten mit jeweils als verträglich und/oder unverträglich vorgegebenen ROIs verknüpft. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Belegungsanalyse und/oder die Verträglichkeitsprüfung mittels eines durch einen Menschen explizit vorgegebenen Algorithmus durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein
- Bereitstellen eines Ergebnisses des Klassifizierens an eine Steuereinheit (10) des Verkehrsmittels (3); und
- Steuern einer sicherheitsrelevanten Funktion des Verkehrsmittels (3) in Abhängigkeit des bereitgestellten Ergebnisses, durch die Steuereinheit (10). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dreidimensionale Raumbereiche (7) in der Fahrgastzelle (5) als ROIs vorgegeben sind. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest einer der ROIs als in Größe und/oder Form und/oder Position und/oder Orientierung veränderlicher Bereich vorgegeben ist. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass zumindest ein als in Größe und/oder Form und/oder Position und/oder Orientierung veränderlicher Bereich vorgegebener ROI ein mit einem in der Fahrgastzelle (5) erkannten und georteten mobilen Objekt verknüpfter ROI ist. Klassifizierungseinrichtung (1) zum Klassifizieren einer Aktivität eines Nutzers (2) in einem Verkehrsmittel (3), insbesondere in einem Kraftfahrzeug, mit:
- einer Kameraeinheit (4) zum Erfassen der Aktivität des Nutzers (2) in einer Fahrgastzelle (5) des Verkehrsmittel (3) mittels Bilddaten; gekennzeichnet durch
- eine Speichereinheit (6) zum Hinterlegen von vorgegebenen Bereichen (7) in der Fahrgastzelle (5) als Regionen von Interesse, ROI;
- eine Recheneinheit (9) zum Klassifizieren der erfassten Aktivität basierend auf den Bilddaten und den vorgegebenen ROI.
EP23833032.8A 2022-12-15 2023-12-13 Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi Pending EP4634879A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022213679.9A DE102022213679A1 (de) 2022-12-15 2022-12-15 Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi
PCT/EP2023/085687 WO2024126616A1 (de) 2022-12-15 2023-12-13 Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi

Publications (1)

Publication Number Publication Date
EP4634879A1 true EP4634879A1 (de) 2025-10-22

Family

ID=89428659

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23833032.8A Pending EP4634879A1 (de) 2022-12-15 2023-12-13 Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi

Country Status (3)

Country Link
EP (1) EP4634879A1 (de)
DE (1) DE102022213679A1 (de)
WO (1) WO2024126616A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024105978A1 (de) * 2024-03-01 2025-09-04 Bayerische Motoren Werke Aktiengesellschaft Erkennungseinrichtung und verfahren zur erkennung zumindest einer hand an einem lenkrad eines kraftfahrzeugs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009028604A1 (de) 2009-08-18 2011-02-24 Robert Bosch Gmbh Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
DE102017217733A1 (de) 2017-10-05 2019-04-11 Conti Temic Microelectronic Gmbh Prüfen eines neuronalen Netzes
US20210248400A1 (en) * 2018-10-22 2021-08-12 5DT, Inc. Operator Behavior Recognition System
CN115273048B (zh) 2022-08-19 2026-03-17 多伦科技股份有限公司 基于视觉的手部脱离方向盘检测判断方法及电子设备

Also Published As

Publication number Publication date
DE102022213679A1 (de) 2024-06-20
WO2024126616A1 (de) 2024-06-20

Similar Documents

Publication Publication Date Title
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
DE102012222175A1 (de) Verfahren und Vorrichtung zum Öffnen einer Tür eines Fahrzeugs
DE102017217733A1 (de) Prüfen eines neuronalen Netzes
DE102021109395A1 (de) Verfahren, systeme und vorrichtungen für benutzerverständliche erklärbare lernmodelle
WO2018215031A1 (de) Verfahren zur erkennung von objekten in einem bild einer kamera
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2024126616A1 (de) Verbesserte aktivitätserkennung in einer fahrgastzelle eines verkehrsmittels mit hilfe von statischen oder dynamischen regionen von interesse, roi
DE102021003567A1 (de) Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
DE102020201235A1 (de) Verfahren und System zur Steuerung von Kraftfahrzeugfunktionen
DE102021200306B4 (de) Verfahren zur Körperhaltungs- und/oder Bewegungsanalyse einer Person
DE102021206625A1 (de) Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
DE102021202334A1 (de) Filterung von betriebsszenarien im betrieb eines fahrzeugs
DE102023123114A1 (de) Verfahren und Vorrichtung zur semantischen Segmentierung und Clutter-Erkennung
EP4591292A1 (de) Verfahren zum durchführen eines tracking-verfahrens für mehrere datenbrillen in einem innenraum eines fahrzeugs
DE102023202394A1 (de) Verfahren und eine Vorrichtung zur Umfeldmodellierung
EP4384892A1 (de) Verfahren zur darstellung einer rückwärtigen umgebung einer mobilen plattform, die mit einem anhänger gekoppelt ist
DE102021206299A1 (de) Verfahren zur Fahrzeugerkennung eines Fahrzeugs in einem automatischen Valet-Parking-System
EP4232341B1 (de) Selbstlernendes verfahren zur hinderniserkennung für ein schienenfahrzeug, hinderniserkennungseinrichtung, und schienenfahrzeug mit einer hinderniserkennungseinrichtung
DE102024210219B3 (de) Verfahren und Einrichtung für maschinelles Lernen zum Ermitteln einer Parkposition eines Kraftfahrzeugs in einer Parklücke
DE102020203814A1 (de) Trainieren eines künstlichen neuronalen Netzwerks
DE102019218590B4 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102022133342A1 (de) Computer- implementiertes Verfahren zur Aktionserkennung und Anwendung für die Überwachung von Fahrzeuginsassen oder Personen außerhalb des Fahrzeugs
DE102018212803A1 (de) Verfahren zur automatischen Entriegelung eines Fahrzeugs
EP4113392A1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250626

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)