DE102013102528B4

DE102013102528B4 - Method for determining an installation position of an interior sensor system in a vehicle

Info

Publication number: DE102013102528B4
Application number: DE102013102528.5A
Authority: DE
Inventors: Daniel Slieter; Matthias Gebhard
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2013-03-13
Filing date: 2013-03-13
Publication date: 2022-04-21
Anticipated expiration: 2033-03-14
Also published as: DE102013102528A1

Abstract

Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug, mit mindestens einer Kamera, welche zur Bestimmung einer Kopfpose mindestens eines Insassen des Fahrzeugs einzusetzen ist, wobei die Verbauposition der Innenraumsensorik durch mindestens eine virtuelle, auf einem mathematischen Operator basierende Szene evaluiert wird, wobei der mathematische Operator in Abhängigkeit eines spezifischen Fahrzeugmodells, spezifischer Fahrzeugdaten, eines Kopfmodells, welches auf messtechnisch zu erfassenden Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht, und von verschiedenen Koordinaten möglicher Verbaupositionen der Innenraumsensorik gebildet wird.

Method for determining an installation position of an interior sensor system in a vehicle, with at least one camera, which is to be used to determine a head pose of at least one occupant of the vehicle, the installation position of the interior sensor system being evaluated by at least one virtual scene based on a mathematical operator, the mathematical operator depending on a specific vehicle model, specific vehicle data, a head model, which is based on data to be recorded by measurement of different head poses of the at least one occupant, and is formed from different coordinates of possible installation positions of the interior sensor system.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein entsprechendes System zur Evaluation einer Verbauposition einer Innenraumsensorik in einem Fahrzeug.The present invention relates to a method and a corresponding system for evaluating an installation position of an interior sensor system in a vehicle.

Anhand einer Kopfpose eines Insassen eines Fahrzeugs können vielseitige Informationen über Intentionen des entsprechenden Insassen abgeleitet werden. Insbesondere im Bereich der Fahrererkennung kann durch Wissen über eine aktuelle Kopfpose eines jeweiligen Fahrers eine Prädiktion des Fahr- bzw. Fahrerverhaltens erreicht werden.Based on a head pose of an occupant of a vehicle, a variety of information about the intentions of the corresponding occupant can be derived. In particular in the field of driver recognition, a prediction of the driving or driver behavior can be achieved through knowledge of a current head pose of a respective driver.

Aus DE 103 60 176 A1 ist ein Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung bekannt, bei dem der Sensor im Kraftfahrzeug in einer Position angebracht ist und geeignet ausgerichtet ist, dass eine möglichst ungehinderte Erfassung des Fahrers des Kraftfahrzeugs möglich ist.Out of DE 103 60 176 A1 a motor vehicle with a sensor for monitoring the driver is known, in which the sensor is mounted in a position in the motor vehicle and is suitably aligned so that the driver of the motor vehicle can be detected as unhindered as possible.

Aus EP 1 530 525 B1 ist ein Verfahren zur Bestimmung der aktuellen Position eines sich auf eine dynamische Abschaltzone vor einem Airbagmodul hinbewegenden Kopfes eines Insassen im Innenraum eines Kraftfahrzeuges bekannt.Out of EP 1 530 525 B1 a method for determining the current position of an occupant's head moving towards a dynamic switch-off zone in front of an airbag module in the interior of a motor vehicle is known.

Aus DE 10 2010 044 449 A1 ist ein Verfahren zur Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums bekannt.Out of DE 10 2010 044 449 A1 a method for detecting the degree of driving ability of the driver of a motor vehicle using a driver observation camera for observing the driver and an interior camera for observing the interior of the vehicle is known.

Da eine Schätzung der Kopfpose eines jeweiligen Fahrers meist auf einer Interpretation digitaler Bilder beruht, ist die Verbauposition, welche in dem jeweiligen Fahrzeug für die Innenraumsensorik, insbesondere einer bildgebenden digitalen Vorrichtung, im speziellen einer Kamera, bestimmt ist, von großer Wichtigkeit für Effektivität und Qualität einer Schätzung der Kopfpose.Since an estimate of the head pose of a respective driver is usually based on an interpretation of digital images, the installation position, which is determined in the respective vehicle for the interior sensors, in particular an imaging digital device, especially a camera, is of great importance for effectiveness and quality an estimate of the head pose.

Bisher wurde die Verbauposition durch designtechnische Restriktionen vorgegeben. Dazu wurden in aufwendigen Verfahren geeignete Prototypen von Fahrzeugen, welche eine Inneraumsensorik umfassen, aufgebaut. Diese Prototpen zeigen jedoch immer auch einige Nachteile. So müssen, um einen Prototypen zu erschaffen, bauliche und strukturelle Veränderungen an einem existierenden Fahrzeug real vorgenommen werden. Dadurch ist eine Ausrichtung des Innenraumsensors grob durch diese baulichen und strukturellen Veränderungen vorbestimmt.Until now, the installation position was determined by technical design restrictions. For this purpose, suitable prototypes of vehicles, which include interior sensors, were built in a complex process. However, these prototype pens always have some disadvantages. In order to create a prototype, physical and structural changes must be made to an existing vehicle. As a result, an alignment of the interior sensor is roughly predetermined by these constructional and structural changes.

Weiterhin ist durch eine hohe Anzahl an möglichen Derivaten eines jeweiligen Fahrzeugs, also an Anpassungsformen für verschiedene Baureihen und Ausstattungsvarianten, eine Vielzahl an Prototypen erforderlich.Furthermore, due to the large number of possible derivatives of a given vehicle, i.e. forms of adaptation for different series and equipment variants, a large number of prototypes are required.

Ferner gestaltete sich eine Evaluierung von verschiedenen infrage kommenden Innenraumsensoren bisher schwierig, da eine Verwendung einer zu einem Vergleichsobjekt identischen Verbauposition aus baulichen oder strukturellen Gründen oft unmöglich und ein bestimmungsgemäßer Gebrauch der infrage stehenden Innenraumsensoren dadurch nicht immer möglich war.Furthermore, an evaluation of various possible interior sensors has so far been difficult, since the use of an installation position identical to a comparative object is often impossible for constructional or structural reasons, and the intended use of the interior sensors in question was not always possible as a result.

Weiterhin ergaben sich bei der Verwendung von Prototypen zur Bestimmung der bestmöglichen Verbauposition der Innenraumsensorik Probleme durch eine fehlende Referenz.Furthermore, when using prototypes to determine the best possible installation position for the interior sensors, problems arose due to a missing reference.

Aufgrund von Einschränkungen beim Verbau in einem jeweiligen Prototyp ist ein Einsatz von markerbasierten Systemen, welche eine Referenz in Form eines oder mehrerer Marker vorsehen, meist nicht möglich. Insbesondere ist ein Anbringen von Markern an den jeweiligen Insassen nicht möglich. Dieses Fehlen von Markern und einer damit verbundenen Grundwahrheit, welche als Bezugspunkt für etwaige Vergleiche von Messungen notwendig ist, erschwert eine Evaluation von unterschiedlichen Verbaupositionen eines Innenraumsensors enorm.Due to limitations when installing in a respective prototype, the use of marker-based systems, which provide a reference in the form of one or more markers, is usually not possible. In particular, it is not possible to attach markers to the respective occupants. This lack of markers and an associated basic truth, which is necessary as a reference point for any comparisons of measurements, makes an evaluation of different installation positions of an interior sensor enormously difficult.

Verfahren und Computerprodukte zur Blickerfassung sind bereits vorbekannt.Methods and computer products for eye tracking are already known.

So werden in der DE 10 2007 001 738 A1 ein Verfahren und ein Computerprogrammprodukt zur Blickerfassung offenbart. Dabei ist vorgesehen, mittels einer Kamera und einer Datenverarbeitungseinrichtung festzustellen, ob ein Proband seinen Blick während der Bildaufnahme in einen festgelegten räumlich begrenzten Bereich gerichtet hat.So be in the DE 10 2007 001 738 A1 discloses a method and computer program product for gaze tracking. It is provided to determine by means of a camera and a data processing device whether a test subject has directed his or her gaze to a defined, spatially limited area during the image recording.

In der DE 102 57 963 A1 sind ein Verfahren und eine Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen offenbart. Dabei werden unter Beobachtung von Fahrzeuginsassen durch mindestens zwei Kameras, geeignete Merkmale aus den aufgezeichneten Videodaten extrahiert und mittels Mustererkennung verifiziert. Ein Kopfmodell dient dabei als Grundlage für ein Tracking der verifizierten Merkmale.In the DE 102 57 963 A1 discloses a method and a device for determining the 3D position of car occupants. With at least two cameras observing vehicle occupants, suitable features are extracted from the recorded video data and verified using pattern recognition. A head model serves as the basis for tracking the verified features.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit vorzusehen, eine Verbauposition einer Innenraumsensorik in einem Fahrzeug zu bestimmen, wobei ein Vergleich von verschiedenen Einbaupositionen und/oder Ausprägungsformen der vorzusehenden Innenraumsensorik vorzusehen ist.Against this background, it is an object of the present invention to provide a way of determining an installation position of an interior sensor system in a vehicle, with a comparison of different installation positions and/or forms of the interior sensor system to be provided being provided.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 und ein System mit den Merkmalen des unabhängigen Patentanspruchs 14 gelöst.According to the invention, this object is achieved by a method having the features of independent patent claim 1 and a system having the features of independent patent claim 14 .

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung, den beiliegenden Zeichnungen und den jeweiligen Unteransprüchen.Further advantages and refinements of the invention result from the description, the accompanying drawings and the respective dependent claims.

Erfindungsgemäß wird dabei ein Verfahren bereitgestellt, welches zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug, insbesondere mindestens einer Kamera, welche zur Bestimmung einer Kopfpose mindestens eines Insassen des Fahrzeugs einzusetzen ist, vorgesehen ist. Dabei wird die Verbauposition der Innenraumsensorik durch mindestens eine virtuelle, auf einem mathematischen Operator basierende Szene evaluiert, wobei der mathematische Operator in Abhängigkeit eines spezifischen Fahrzeugmodells, spezifischer Fahrzeugdaten, eines Kopfmodells, welches auf messtechnisch zu erfassenden Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht und verschiedener Koordinaten möglicher Verbaupositionen der Innenraumsensorik gebildet wird.According to the invention, a method is provided which is intended to determine an installation position of an interior sensor system in a vehicle, in particular at least one camera, which is to be used to determine a head pose of at least one occupant of the vehicle. The installation position of the interior sensor system is evaluated by at least one virtual scene based on a mathematical operator, with the mathematical operator depending on a specific vehicle model, specific vehicle data, a head model, which is based on data to be recorded from various head poses of the at least one occupant and different coordinates of possible installation positions of the interior sensors is formed.

Im Kontext des vorliegenden erfindungsgemäßen Verfahrens ist unter Innenraumsensorik jede Form von Sensorik zu verstehen, mittels derer Informationen über das Geschehen im Inneren des Fahrzeugs erfasst werden können. Insbesondere sind dies 2D- und/oder Tiefenkameras, laser- und/oder radarbasierte Vorrichtungen sowie Infrarotsensoren.In the context of the present method according to the invention, interior sensor technology is understood to mean any form of sensor technology by means of which information about what is happening inside the vehicle can be recorded. In particular, these are 2D and/or depth cameras, laser and/or radar-based devices and infrared sensors.

Es ist erfindungsgemäß vorgesehen, eine virtuelle Szene zur Evaluierung verschiedener Verbaupositionen der Innenraumsensorik zu verwenden.It is provided according to the invention to use a virtual scene to evaluate different installation positions of the interior sensor system.

Die Berechnung der mindestens einen virtuellen Szene, welche als Simulation einer realen Fahrt zu verstehen ist, erfolgt dabei auf Basis des mathematischen Operators, welcher in Abhängigkeit des für das jeweilige Fahrzeug spezifischen Fahrzeugmodells, der spezifischen Fahrzeugdaten, des Kopfmodells, welches auf messtechnisch erfassten Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht und der verschiedenen Koordinaten möglicher Verbaupositionen gebildet wird.The at least one virtual scene, which is to be understood as a simulation of a real journey, is calculated on the basis of the mathematical operator, which, depending on the vehicle model specific to the respective vehicle, the specific vehicle data, the head model, which is based on measured data from different head poses of the at least one occupant is based and the different coordinates of possible installation positions is formed.

Ein spezifisches Fahrzeugmodell ist dabei nicht als Fahrzeuggruppe zu verstehen, sondern als digitales Modell eines einzelnen Fahrzeugs, was insbesondere in Form einer CAD-Zeichnung dargestellt werden kann. Selbstverständlich enthält das spezifische Fahrzeugmodell Informationen über die Fahrzeuggruppe, ferner jedoch zudem Ausstattungsmerkmale des jeweiligen Fahrzeugs. Dabei wird das spezifische Fahrzeugmodell bspw. aus 3D-Mesh- und/oder Texturdaten gebildet.A specific vehicle model is not to be understood as a group of vehicles, but as a digital model of an individual vehicle, which can be represented in particular in the form of a CAD drawing. Of course, the specific vehicle model contains information about the vehicle group, but also equipment features of the respective vehicle. The specific vehicle model is formed from 3D mesh and/or texture data, for example.

Die spezifischen Fahrzeugdaten umfassen sowohl die fahrzeugeigenen Parameter wie bspw. Maße von Baueinheiten oder Freiflächen als auch variable Daten über bspw. Gaspedalstellung, Motordrehzahl, Gierwinkel, Lenkwinkel und ähnliches.The specific vehicle data includes both the vehicle's own parameters, such as the dimensions of structural units or open spaces, and variable data, for example about the position of the accelerator pedal, engine speed, yaw angle, steering angle and the like.

Um eine möglichst hohe Realitätsnähe zu erhalten, ist erfindungsgemäß vorgesehen, dass die Kopfpose des jeweiligen mindestens einen Insassen, insbesondere des Fahrers, messtechnisch erfasst wird, d. h. die Kopfpose des jeweiligen mindestens einen Insassen wird durch die Innenraumsensorik, insbesondere durch mindestens eine Kamera vermessen und als Datengrundlage für ein Kopfmodell verwendet, welches Auskunft über spezifische Eigenschaften des jeweiligen Kopfes gibt. Dabei werden insbesondere Größe, Lage und Position des Kopfes verwendet.In order to obtain the greatest possible degree of realism, it is provided according to the invention that the head pose of the respective at least one occupant, in particular the driver, is recorded by measurement, i. H. the head pose of the respective at least one occupant is measured by the interior sensor system, in particular by at least one camera, and used as the data basis for a head model, which provides information about specific properties of the respective head. In particular, the size, location and position of the head are used.

Zur Evaluierung einer bestmöglichen Verbauposition der Innenraumsensorik ist erfindungsgemäß vorgesehen, verschiedene Einbauorte in der mindestens einen virtuellen Szene zu simulieren und diese miteinander zu vergleichen.In order to evaluate the best possible installation position for the interior sensor system, the invention provides for simulating different installation locations in the at least one virtual scene and comparing them with one another.

Eine Evaluation auf Basis einer virtuellen Szene weist dabei eine Vielzahl von Vorteilen auf. Bspw. können ohne großen Aufwand verschiedene Verbaupositionen simuliert und dadurch miteinander verglichen werden. Durch Verwendung eines digitalen Modells können Störvariablen minimiert und die Reliabilität von zugrundeliegenden Messungen maximiert werden. Dabei ist besonders die mit dem erfindungsgemäßen Verfahren einhergehende Kontrolle über Licht und Schattenwurf, welche die Innenraumsensorik beeinflussen, von Vorteil.An evaluation based on a virtual scene has a number of advantages. For example, different shoring positions can be simulated and compared with one another without great effort. By using a digital model, confounding variables can be minimized and the reliability of underlying measurements can be maximized. In this context, the control over light and cast shadows associated with the method according to the invention, which influence the interior sensor system, is particularly advantageous.

Weiterhin ist es möglich, verschiedene Sensoren in beliebiger Weise zu kombinieren, selbst wenn diese in der Realität in der Regel aus technischen Gründen in einer jeweiligen Ausgestaltung nicht zu verwenden wären. Eine solche Kombination erscheint bspw. dann sinnvoll, wenn verschiedene Ausführungsformen von geeigneten Sensoren zu vergleichen sind, welche in einem zukünftigen Entwicklungsschritt kombiniert werden sollen.Furthermore, it is possible to combine different sensors in any way, even if in reality these could generally not be used in a particular configuration for technical reasons. Such a combination makes sense, for example, when different embodiments of suitable sensors are to be compared, which are to be combined in a future development step.

Ferner können digitalisierte Daten des mindestens einen Insassen, ermittelt durch die Innenraumsensorik, als auch die Innenraumsensorik selbst, direkt in das CAD-Modell des Fahrzeugs integriert werden. Dadurch ist es möglich, die Innenraumsensorik von Beginn an bei einer Konstruktion eines Fahrzeugs zu berücksichtigen, wodurch eine spätere Anpassung von Bauelementen des Fahrzeuginnenraums vermieden werden kann.Furthermore, digitized data of the at least one occupant, determined by the interior sensor system and the interior sensor system itself, can be integrated directly into the CAD model of the vehicle. This makes it possible to take the interior sensor system into account from the start when designing a vehicle, as a result of which subsequent adaptation of components in the vehicle interior can be avoided.

Weiterhin ermöglicht das erfindungsgemäße Verfahren einen Vergleich von Verfahren und/oder Vorrichtungen, welche mit der Innenraumsensorik in Verbindung stehen. Basierend auf einer virtuellen Kopfposen-Szene können verschiedene Verfahren und/oder Vorrichtungen evaluiert werden. Bspw. können anhand derselben virtuellen Szene verschiedene Fahrerbeobachtungssysteme auf ihre Genauigkeit oder Fehlerwahrscheinlichkeit hin verglichen werden.Furthermore, the method according to the invention enables a comparison of methods and/or devices which are connected to the interior sensor system. Various methods and/or devices can be evaluated based on a virtual head pose scene. For example, different driver monitoring systems can be compared in terms of their accuracy or error probability using the same virtual scene.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Evaluation der Verbauposition mindestens folgende Verfahrensschritte umfasst:

a) Aufzeichnung realer Fahrten,
b) Kopfposeschätzung und Erstellen eines Kopfmodells mittels eines Tiefensensors sowie Fusion von Fahrzeugdaten, welche bei der Aufzeichung realer Fahrten erhoben wurden mit Daten des Kopfmodells und dem Fahrzeugmodell zu einer 3D-Szene,
c) Positionierung des Innenraumsensors in verschiedenen Verbaupositionen,
d) Evaluierung der verschiedenen Verbaupositionen anhand gerenderter, also im dreidimensionalen Raum digitalisierter Szenen.

In a further embodiment of the method according to the invention, it is provided that the evaluation of the shoring position includes at least the following method steps:

a) recording of real journeys,
b) Estimation of head pose and creation of a head model using a depth sensor and fusion of vehicle data, which was collected during the recording of real journeys, with data from the head model and the vehicle model to form a 3D scene,
c) Positioning of the interior sensor in different installation positions,
d) Evaluation of the various shoring positions using rendered scenes, i.e. scenes digitized in three-dimensional space.

Dabei ist erfindungsgemäß vorgesehen, die Daten, welche während realer Fahrten von einem Tiefensensor gesammelt wurden, als Grundlage für die Kopfposeschätzung zu verwenden, welche wiederum zur Erzeugung des Kopfmodells verwendet wird, welches schließlich mit dem auf den spezifischen Fahrzeugdaten beruhenden Fahrzeugmodell zu einer virtuellen 3D-Szene fusioniert wird. In dieser virtuellen 3D-Szene kann der Innenraumsensor frei in verschiedenen infrage kommenden Verbaupositionen positioniert und die dadurch erzeugten virtuellen Szenen jeweilig evaluiert werden.According to the invention, the data collected by a depth sensor during real journeys is used as the basis for the head pose estimation, which in turn is used to generate the head model, which is finally combined with the vehicle model based on the specific vehicle data to form a virtual 3D scene is merged. In this virtual 3D scene, the interior sensor can be freely positioned in various possible installation positions and the virtual scenes created in this way can be evaluated in each case.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das Kopfmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet werden kann.A further embodiment of the method according to the invention provides that the head model can be formed by a combination of 3D mesh and texture data.

Im Bereich des computergestützten Designs ist eine Erzeugung von virtuellen Szenen, insbesondere 3D-Szenen durch Mesh-Techniken in Verbindung mit Texturen bekannt. Erfindungsgemäß wird diese Technik verwendet, um ein qualitativ hochwertiges Kopfmodell zu erzeugen, welches als Grundlage für die Evaluation der Verbauposition der Innenraumsensorik dient.In the field of computer-aided design, the generation of virtual scenes, in particular 3D scenes, using mesh techniques in conjunction with textures is known. According to the invention, this technique is used to generate a high-quality head model, which serves as a basis for evaluating the installation position of the interior sensor system.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das spezifische Fahrzeugmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet werden kann.A further embodiment of the method according to the invention provides that the specific vehicle model can be formed by a combination of 3D mesh and texture data.

Da auch das spezifische Fahrzeugmodell als Grundlage für die Evaluation der Verbauposition der Innenraumsensorik dient, ist auch hier eine qualitativ hochwertige 3D-Szene entscheidend. Daher werden auch hier die bereits erwähnten Techniken der Fusion von 3D-Mesh und Texturen angewandt.Since the specific vehicle model also serves as the basis for evaluating the installation position of the interior sensors, a high-quality 3D scene is also crucial here. Therefore, the techniques of merging 3D mesh and textures already mentioned are also used here.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass der mathematische Operator verwendet wird, um das Fahrermodell mit Kopfanimation, das Fahrzeugmodell mit Lenkradanimation sowie simulierte Umgebungsbedingungen bereitzustellen.A further embodiment of the method according to the invention provides that the mathematical operator is used to provide the driver model with head animation, the vehicle model with steering wheel animation and simulated environmental conditions.

Um eine Funktionsweise eines jeweiligen Innenraumsensors zu evaluieren, sind in der dazu verwendeten virtuellen Szene Bedingungen zu schaffen, wie sie auch in der Realität vorherrschen bzw. vorherrschen können. Dazu ist zwingend notwendig, sowohl eine Kopfanimation als auch ein Fahrzeugmodell mit Lenkradsimulation und simulierte Umgebungsbedingungen in die virtuelle Szene einzubeziehen. Die Animation eines Kopfes als vornehmliches Zielobjekt der Inneraumsensorik ist dabei von besonderer Bedeutung.In order to evaluate the functionality of a respective interior sensor, conditions must be created in the virtual scene used for this purpose, as they also prevail or can prevail in reality. For this it is absolutely necessary to include both a head animation and a vehicle model with steering wheel simulation and simulated environmental conditions in the virtual scene. The animation of a head as the primary target of the interior sensors is of particular importance.

Erfindungsgemäß ist die Möglichkeit zur Kontrolle der genannten Parameter durch Verwendung einer virtuellen Szene vorgesehen. Dadurch wird eine Analyse der Kopfanimation unabhängig von den Störvariablen Umgebungsbedingungen, Fahrzeug- und Lenkradeinfluss ermöglicht. Innerhalb der virtuellen Szene können Störeinflüsse beliebig einbezogen oder ausgeschlossen werden, wenn diese bekannt und in die Generierung der virtuellen Szene einbezogen sind.According to the invention, the possibility of checking the parameters mentioned is provided by using a virtual scene. This allows an analysis of the head animation independent of the disruptive variables environmental conditions, vehicle and steering wheel influence. Within the virtual scene, interfering influences can be included or excluded as desired if they are known and included in the generation of the virtual scene.

Ferner ist erfindungsgemäß vorgesehen, dass von dem Fahrermodell auf die Stellung des Lenkrades und damit auf das jeweilige Fahrmanöver geschlossen werden kann. Dies ist nur möglich, wenn das Lenkrad auch in das jeweilige spezifische Fahrzeugmodell eingeschlossen wird.Furthermore, according to the invention, it is provided that the position of the steering wheel and thus the respective driving maneuver can be inferred from the driver model. This is only possible if the steering wheel is also included in the respective specific vehicle model.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das Kopfmodell unter Verwendung eines 2D-Sensors und/oder eines Tiefensensors erzeugt wird.A further embodiment of the method according to the invention provides that the head model is generated using a 2D sensor and/or a depth sensor.

Eine verlässliche Versorgung mit Tiefeninformationen ist in einer realen Anwendung im Fahrzeug häufig schwierig. Daher ist erfindungsgemäß eine Kopfposeschätzung auf Basis einer 2D- und/oder einer Tiefendarstellung des Fahrzeuginnenraums sowie einer 2D- und/oder einer Tiefendarstellung des mindestens einen Fahrzeuginsassen vorgesehen. Ferner bietet eine Fusion aus 2D- und Tiefendarstellung eine verbesserte Kopfposeschätzung, da in der 2D-Darstellung verhältnismäßig einfach die Information über den Hintergrund von der des Kopfes des mindestens einen Insassen des jeweiligen Fahrzeugs getrennt werden kann und der Tiefensensor Informationen über die räumliche Ausrichtung des Kopfes liefert.A reliable supply of depth information is often difficult in a real application in the vehicle. Therefore, according to the invention, a head pose estimation based on a 2D and/or a depth representation of the vehicle interior and a 2D and/or a depth representation of the at least one vehicle occupant is provided. It also offers a fusion of 2D and depths representation an improved head pose estimation, since in the 2D representation the information about the background can be separated relatively easily from that of the head of the at least one occupant of the respective vehicle and the depth sensor provides information about the spatial orientation of the head.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfpose, welche durch den mathematischen Operator bestimmt wird, in Verbindung mit den spezifischen Fahrzeugdaten zur Bildung eines Modells, welches sowohl das jeweilige Fahrzeug als auch die Kopfpose und die Arme des mindestens einen Insassen des jeweiligen Fahrzeugs aufweist, verwendet wird.In a further embodiment of the method according to the invention, it is provided that the head pose, which is determined by the mathematical operator, in conjunction with the specific vehicle data to form a model, which includes both the respective vehicle and the head pose and the arms of the at least one occupant of the respective vehicle has, is used.

Neben fahrzeugspezifischen Einflüssen, wie bspw. der Stellung des Lenkrads und den Umgebungseinflüssen, spielt auch die Position der Arme des mindestens einen Insassen des jeweiligen Fahrzeugs eine Rolle für die Verarbeitung der Kopfpose. Daher ist erfindungsgemäß vorgesehen, eine Simulation der Arme mindestens des mindestens einen Insassen mit in die Simulation aufzunehmen und dadurch deren Auswirkung auf die Innenraumsensorik auszuwerten.In addition to vehicle-specific influences, such as the position of the steering wheel and environmental influences, the position of the arms of at least one occupant of the respective vehicle also plays a role in processing the head pose. It is therefore provided according to the invention to include a simulation of the arms of at least one occupant in the simulation and thereby to evaluate their effect on the interior sensor system.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die mindestens eine virtuelle Szene zum Test einer Fahrererkennung eingesetzt werden kann, welcher mindestens die folgenden Schritte umfasst:

a) Wahl der Verbauposition der Innenraumsensorik
b) Szenenrendering
c) Algorithmentest.

In a further embodiment of the method according to the invention, it is provided that the at least one virtual scene can be used to test driver recognition, which comprises at least the following steps:

a) Choosing the installation position for the interior sensors
b) scene rendering
c) Algorithm test.

Ein Ziel der Kopfposebestimmung ist eine Fahrererkennung durch technische Mittel und daraus abgeleitet eine Prädiktion des Fahrverhaltens. Um dies zu leisten, ist eine ganze Reihe an Algorithmen denkbar, welche gegeneinander verglichen werden müssen, um den bestmöglichen Algorithmus zu bestimmen. Dabei kann die Wahl der Verbauposition der Innenraumsensorik für die Genauigkeit eines Algorithmus entscheidend sein. Daher ist es durch Einsatz des vorliegenden erfindungsgemäßen Verfahrens möglich, verschiedene Algorithmen unter Berücksichtigung verschiedener Verbaupositionen miteinander zu vergleichen, d. h. dass dem jeweiligen Algorithmus zugrunde liegende Szenenrendering zu testen.A goal of the head pose determination is a driver recognition by technical means and a prediction of the driving behavior derived from this. In order to achieve this, a whole range of algorithms are conceivable, which must be compared against each other in order to determine the best possible algorithm. The choice of installation position for the interior sensors can be decisive for the accuracy of an algorithm. It is therefore possible by using the present method according to the invention to compare different algorithms with one another, taking into account different shoring positions, i. H. to test the scene rendering underlying the respective algorithm.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass eine Fehlerberechnung, welche auf einer Modellüberlagerung einer 3D-Tiefenkarte basiert, als Ausgangspunkt für eine weitere Modellüberlagerung verwendet wird und ein Ergebnis der mindestens einen Modellüberlagerung als Kopfmodell in dem erfindungsgemäßen Verfahren verwendet wird.In a further embodiment of the method according to the invention it is provided that an error calculation, which is based on a model overlay of a 3D depth map, is used as the starting point for a further model overlay and a result of the at least one model overlay is used as a head model in the method according to the invention.

Um eine möglichst valide Kopfposeschätzung für die Erstellung einer virtuellen Szene zu erreichen, ist bei einer Ausführungsform des vorliegenden erfindungsgemäßen Verfahrens ein Abgleich einer Tiefenkarte und einer Punktewolke, generiert durch einen Tiefensensor, vorgesehen. Dazu wird die Tiefenkarte mit der Punktewolke verglichen, indem die Tiefenkarte von der Punktewolke überlagert wird. Anhand dieser Überlagerung sind Fehler in den jeweiligen Modellen zu berechnen, welche zur Kopfposeschätzung und damit zur Bildung des Kopfmodells beitragen. Dabei kann der Vorgang der Fehlerberechnung durch Wiedereinspeisen des errechneten Modells in die Überlagerungsdarstellung mehrmals durchlaufen werden, was zu einer erhöhten Genauigkeit des Kopfmodells führt.In order to achieve a head pose estimation that is as valid as possible for the creation of a virtual scene, an embodiment of the present inventive method provides for a comparison of a depth map and a point cloud generated by a depth sensor. To do this, the depth map is compared with the point cloud by overlaying the depth map with the point cloud. Based on this superimposition, errors in the respective models are to be calculated, which contribute to the estimation of the head pose and thus to the formation of the head model. The error calculation process can be run through several times by feeding the calculated model back into the overlay representation, which leads to an increased accuracy of the head model.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfpose relativ zu einem Fahrzeugkoordinatensystem des spezifischen Fahrzeugs bestimmt wird.A further embodiment of the method according to the invention provides that the head pose is determined relative to a vehicle coordinate system of the specific vehicle.

Um eine exakte Positionierung der Innenraumsensorik zu gewährleisten, ist erfindungsgemäß vorgesehen, die Kopfpose in räumlichen Bezug zu den Informationen der Innenraumsensorik zu stellen. Dazu wird die Kopfpose in Abhängigkeit zu einem Fahrzeugkoordinatensystem vermessen und deren Bewegung dargestellt.In order to ensure exact positioning of the interior sensor system, the invention provides for the head pose to be placed in spatial relation to the information from the interior sensor system. For this purpose, the head pose is measured in relation to a vehicle coordinate system and its movement is displayed.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass verschiedene Messdaten von verschiedenen Kamerapositionen im Fahrzeug verglichen werden und darunter die beste Position ausgewählt wird.In a further embodiment of the method according to the invention, it is provided that different measurement data from different camera positions in the vehicle are compared and the best position is selected from among them.

Ferner ist vorgesehen, dass der Prozess der Evaluation mit einem weiteren, verfeinerten Satz von Messdaten wiederholt wird.Provision is also made for the evaluation process to be repeated with a further, more refined set of measurement data.

Ein Ziel des erfindungsgemäßen Verfahrens ist die Evaluation der Verbauposition der Innenraumsensorik eines Fahrzeugs, insbesondere einer Kamera. Dazu ist erfindungsgemäß vorgesehen, dass verschiedene Messdaten aus verschiedenen Verbaupositionen aufgezeichnet, zur Bildung eines Kopfmodells verwendet und schließlich miteinander verglichen werden. Auf diese Weise können die zu vergleichenden Verbaupositionen immer weiter verfeinert werden, um schließlich die finale Verbauposition zu erhalten.A goal of the method according to the invention is the evaluation of the installation position of the interior sensor system of a vehicle, in particular a camera. For this purpose, according to the invention, it is provided that different measurement data from different shoring positions are recorded, used to form a head model and finally compared with one another. In this way, the shoring positions to be compared can be refined further and further in order to finally obtain the final shoring position.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für einen Vergleich von Kopfposeschätzungsalgorithmen zur Fahreraufmerksamkeitsbestimmung und/oder zur Fahrmanöverprädiktion genutzt wird.In a further embodiment of the method according to the invention it is provided that the head pose determination for a comparison of head pose estimation algorithms for determining driver attention and/or for predicting driving maneuvers.

Die Kopfpose eines Fahrers eines Fahrzeuges kann Aufschluss über dessen Intentionen geben. Daher ist erfindungsgemäß vorgesehen, über die Kopfposeschätzung bzw. die Kopfmodellbildung eine Prädiktion des Fahrverhaltens des jeweiligen Fahrers zu leisten und die daraus gewonnen Informationen einem jeweiligen Fahrzeugmanagement zur Verfügung zu stellen.The head pose of a driver of a vehicle can provide information about his intentions. It is therefore provided according to the invention to predict the driving behavior of the respective driver via the head pose estimation or the head model formation and to make the information obtained from this available to a respective vehicle management system.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für einen Vergleich verschiedener Kameramodelle genutzt wird.In a further embodiment of the method according to the invention, it is provided that the determination of the head pose is used for a comparison of different camera models.

Wie bereits dargelegt, eignet sich die Kopfposebestimmung mittels mindestens einer virtuellen Szene dazu, unterschiedliche Innenraumsensoren zu evaluieren. Insbesondere im Bereich der Kameras ist eine Vielzahl an Sensoren verfügbar, welche mittels des vorliegenden erfindungsgemäßen Verfahrens evaluiert werden können.As already explained, determining the head pose using at least one virtual scene is suitable for evaluating different interior sensors. A large number of sensors are available, particularly in the area of cameras, which can be evaluated using the present inventive method.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für eine Ausrichtung eines Head-Up-Displays (HUD) genutzt wird.In a further embodiment of the method according to the invention, it is provided that the determination of the head pose is used to align a head-up display (HUD).

Da die Erkennungsleistung eines HUD stark vom Sehwinkel des Betrachters abhängt, ist erfindungsgemäß eine Positionierung in Abhängigkeit der Kopfpose des Fahrers vorgesehen. Dazu wird das HUD in die mindestens eine virtuelle Szene eingefügt und ein bestmöglicher Sehwinkel für den Fahrer bestimmt.Since the recognition performance of a HUD is highly dependent on the viewer's viewing angle, the invention provides for positioning depending on the driver's head pose. For this purpose, the HUD is inserted into the at least one virtual scene and the best possible viewing angle for the driver is determined.

Ferner betrifft die vorliegende Erfindung ein System zur Evaluation einer Verbauposition einer Innenraumsensorik in einem Fahrzeug. Das erfindungsgemäße System dient insbesondere dazu das erfindungsgemäße Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik auszuführen.Furthermore, the present invention relates to a system for evaluating an installation position of an interior sensor system in a vehicle. The system according to the invention serves in particular to carry out the method according to the invention for determining an installation position of an interior sensor system.

In einer Ausgestaltung des erfindungsgemäßen Systems ist vorgesehen, dass das System mindestens folgende Komponenten umfasst: eine Vorrichtung zur Ausführung von notwendigen Rechenoperationen, eine Schnittstelle zur Erfassung von Daten der Innenraumsensorik und eine Innenraumsensorik, wobei Daten, welche von der Inneraumsenorik gesammelt werden, durch die Schnittstelle erfasst und schließlich der Vorrichtung zur Ausführung der notwendigen Rechenoperationen zur Verfügung gestellt werden, welche Vorrichtung unter Verwendung der durch die Schnittstelle erfassten Daten ein virtuelles Äquivalent zu der durch die Innenraumsensorik aufgezeichneten Szene errechnet.In one embodiment of the system according to the invention, it is provided that the system comprises at least the following components: a device for performing necessary arithmetic operations, an interface for acquiring data from the interior sensors and interior sensors, with data collected by the interior sensors being transmitted through the interface recorded and finally made available to the device for performing the necessary arithmetic operations, which device calculates a virtual equivalent to the scene recorded by the interior sensor system using the data recorded by the interface.

Dabei ist unter Vorrichtung zur Ausführung der notwendigen Rechenoperationen jede Form von automatisiertem Rechenelement zu verstehen, dass die für eine bestimmungsgemäße Ausführung des erfindungsgemäßen Verfahrens notwendigen Berechnungen zu leisten vermag.A device for performing the necessary arithmetic operations is to be understood as meaning any form of automated computing element that is able to perform the calculations required for the intended execution of the method according to the invention.

Als Schnittstelle zur Erfassung von Daten der Innenraumsensorik kommen insbesondere Hochgeschwindigkeitsschnittstellen wie bspw. ein Universal Serial Bus (USB) in Betracht.In particular, high-speed interfaces such as a universal serial bus (USB) can be considered as an interface for acquiring data from the interior sensor system.

Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung ausführlich beschrieben.

1 zeigt einen schematischen Ablauf eines Evaluierungsprozesses, wie er in einer ersten Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
2 zeigt die Ergebnisse einer Evaluierung anhand eines Fehler/Gierwinkel Diagramms,
3 zeigt einen schematischen Überblick über die Bildung eines spezifischen Fahrzeugmodells mit einem Insassen, welcher sowohl Kopf als auch Arme aufweist, anhand von spezifischen Fahrzeugdaten und einer Kopfposeschätzung, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
4 zeigt einen Vergleich zwischen zwei Verbaupositionen zur Optimierung eines Algorithmus zur Fahrererkennung, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
5 zeigt einen schematischen Ablauf einer Kopfposeschätzung mittels Tiefeninformation, wie sie in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
6 zeigt eine virtuelle Szene, in der ein Innenraumsensor relativ zu einem Fahrzeugkoordinatensystem positioniert wird, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
7 zeigt eine virtuelle Szene, in der verschiedene Verbaupositionen für Innenraumsensorik dargestellt sind, wie sie in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen sind.

The invention is shown schematically using embodiments in the drawing and is described in detail with reference to the drawing.

1 shows a schematic sequence of an evaluation process as provided in a first embodiment of the method according to the invention.
2 shows the results of an evaluation using a error/yaw angle diagram,
3 shows a schematic overview of the formation of a specific vehicle model with an occupant who has both a head and arms, based on specific vehicle data and a head pose estimate, as provided in a further embodiment of the method according to the invention.
4 shows a comparison between two installation positions for optimizing an algorithm for driver recognition, as provided in a further embodiment of the method according to the invention.
5 shows a schematic sequence of a head pose estimation using depth information, as provided in a further embodiment of the method according to the invention.
6 shows a virtual scene in which an interior sensor is positioned relative to a vehicle coordinate system, as provided in a further embodiment of the method according to the invention.
7 shows a virtual scene in which different installation positions for interior sensor systems are shown, as provided in a further embodiment of the method according to the invention.

Wie in 1 dargestellt, läuft eine Evaluierung einer Verbauposition für eine Innenraumsensorik, wie sie in einer ersten Ausführungsform des vorliegenden erfindungsgemäßen Verfahrens vorgesehen ist, in fünf Verfahrensschritten ab.
In einem ersten Schritt 1 werden Aufzeichnungen realer Fahrten mittels geeigneter 2D- und Tiefensensoren erstellt. Darüber hinaus erfolgt bei den realen Fahrten eine Aufzeichnung von Fahrzeugdaten, wie bspw. einem Lenkradwinkel, Gierwinkel oder ähnlichem.As in 1 shown, an evaluation of an installation position for an interior sensor system is in progress, as provided in a first embodiment of the present inventive method hen, in five process steps.
In a first step 1, recordings of real journeys are created using suitable 2D and depth sensors. In addition, vehicle data such as a steering wheel angle, yaw angle or similar is recorded during real journeys.

Durch die Innenraumsensorik, insbesondere durch 2D- und Tiefensensoren, aufgezeichnetes Datenmaterial wird in einem zweiten Schritt 2 zur Berechnung einer Kopfposeschätzung verwendet. Dabei erfolgt eine Fusion der 2D- und der Tiefensensordaten zu einem Kopfmodell.Data material recorded by the interior sensor system, in particular by 2D and depth sensors, is used in a second step 2 to calculate a head pose estimate. The 2D and depth sensor data are merged into a head model.

In einem dritten Verfahrensschritt 3 wird das Kopfmodell mit den aus den realen Fahrten gewonnen Fahrzeugdaten und einem virtuellen Fahrzeugmodell, welches als CAD-Zeichnung vorliegt, zu einer 3D-Szene fusioniert.In a third method step 3, the head model is merged into a 3D scene with the vehicle data obtained from real journeys and a virtual vehicle model, which is available as a CAD drawing.

1 zeigt weiterhin eine Visualisierung eines vierten Verfahrensschritts 4, in dem ein Innenraumsensor in verschiedenen Verbaupositionen simuliert wird und dessen jeweilige Ausgaben untereinander verglichen werden. 1 also shows a visualization of a fourth method step 4, in which an interior sensor is simulated in different installation positions and the respective outputs are compared with one another.

In einem fünften und letzten Verfahrensschritt 5 werden die Ausgaben der verschiedenen Verbaupositionen evaluiert. Dies geschieht unter anderem anhand von Fehler/Gierwinkel-Diagrammen.In a fifth and final method step 5, the outputs from the various installation positions are evaluated. This is done using error/yaw angle diagrams, among other things.

2 zeigt eine solche Evaluation anhand eines Fehler/Gierwinkel-Diagramms. Dabei zeigt sich in dem hier dargestellten konkreten Beispiel, dass eine Verbauposition einer Innenraumsensorik in einem Kombiinstrument des jeweiligen Fahrzeugs 2a eine geringere Fehlerhäufigkeit bedingt als dies bei einem Verbau in einer A-Säule 2c oder in einem Innenspiegel des jeweiligen Fahrzeugs 2b der Fall wäre. 2 shows such an evaluation using an error/yaw angle diagram. The concrete example shown here shows that an installation position of an interior sensor system in an instrument cluster of the respective vehicle 2a causes a lower error rate than would be the case with installation in an A-pillar 2c or in an interior mirror of the respective vehicle 2b.

In 3 ist der Verfahrensschritt der Kopfposeschätzung mittels 2D- und Tiefeninformation dargestellt. Die Informationen 3a des 2D-Sensors und die Informationen 3b des Tiefensensors werden zu einer Kopfposeschätzung fusioniert und bilden zusammen mit den Fahrzeugdaten, welche während der realen Fahrten aufgezeichnet wurden, ein Modell des Fahrzeugs 3c samt Insassen.In 3 shows the method step of estimating the head pose using 2D and depth information. The information 3a from the 2D sensor and the information 3b from the depth sensor are merged to form a head pose estimate and, together with the vehicle data recorded during real journeys, form a model of the vehicle 3c including the occupants.

Ein Vergleich zwischen zwei Verbaupositionen zur Optimierung eines Algorithmus zur Fahrererkennung ist in 4 dargestellt. Dabei zeigt sich, dass der Algorithmus unabhängig vom Einbauort 4a im Algorithmentest jeweils dieselben relevanten Gesichtsbereiche eines Insassen 4b markiert.A comparison between two installation positions to optimize an algorithm for driver recognition is in 4 shown. It turns out that the algorithm always marks the same relevant facial areas of an occupant 4b in the algorithm test, regardless of the installation location 4a.

Zur Schätzung der Tiefeninformation, wie sie in 5 schematisch dargestellt ist, werden eine Tiefenkarte 5a und eine Punktewolke, wie in 5b angedeutet, welche von einem Tiefensensor bereitgestellt werden, durch Überlagerung der Punktewolke und der Tiefenkarte zu einem Modell 5c fusioniert und anhand der Deckung der durch die Überlagerung erhaltenen Informationen mögliche Fehler berechnet. Das Ergebnis dieser Modellbildung kann wiederum als Eingangsmaterial für eine erneute Modellbildung 5d mit anschließender Fehlerberechnung verwendet werden.To estimate the depth information as given in 5 is shown schematically, a depth map 5a and a point cloud, as indicated in 5b, which are provided by a depth sensor, are merged into a model 5c by overlaying the point cloud and the depth map, and possible errors are calculated based on the coverage of the information obtained through the overlay. The result of this modeling can in turn be used as input material for a new modeling 5d with subsequent error calculation.

Um einen virtuellen Innenraumsensor 6a mit der nötigen Präzision in einem virtuellen Fahrzeug verbauen zu können, ist, wie in 6 dargestellt, ein Fahrzeugkoordinatensystem 6b vorgesehen.In order to be able to install a virtual interior sensor 6a in a virtual vehicle with the necessary precision, as in 6 shown, a vehicle coordinate system 6b is provided.

Die möglichen Verbaupositionen A, B, C, D werden zunächst, wie in 7a gezeigt, grob, d. h. mit großen Abständen zueinander evaluiert, um sich dann in weiteren Evaluationsschritten mit zunehmend kleineren Abständen der miteinander zu vergleichenden Verbaupositionen Da, Db, Dc, wie es in 7b dargestellt ist, schließlich der optimalen Verbauposition sukkzessive anzunähern.The possible shoring positions A, B, C, D are initially, as in 7a shown, evaluated roughly, i.e. with large distances from one another, in order to then be evaluated in further evaluation steps with increasingly smaller distances between the shoring positions Da, Db, Dc to be compared with one another, as is shown in 7b is shown to gradually approach the optimal installation position.

Claims

procedure after claim 1 , whereby the evaluation of the installation position of the interior sensor system comprises at least the following procedural steps: a) Recording of real journeys, b) Estimation of the head pose and creation of a head model using at least one depth sensor and a fusion of vehicle data collected during the recording of real journeys and of data from the head model and the vehicle model into a virtual scene, c) positioning of the interior sensor in different installation positions, d) evaluation of different installation positions using rendered scenes.

procedure after claim 1 or 2 , where the specific head model is formed by combining 3D mesh and texture data.

Method according to one of the preceding claims, wherein the specific vehicle model is formed by a combination of 3D mesh and texture data.

Method according to one of the preceding claims, wherein the mathematical operator is used to generate a driver model with head animation, the vehicle model with steering wheel animation and simulated environmental conditions.

Method according to one of the preceding claims, wherein the head model is generated using a 2D sensor and/or a depth sensor.

Method according to one of the preceding claims, wherein the head pose of the at least one occupant of the vehicle in connection with the specific vehicle data to form a model which has both the specific vehicle and the head pose and the arms of the at least one occupant of the respective vehicle will.

A method according to any one of the preceding claims, wherein the head pose is determined relative to a vehicle coordinate system of the specific vehicle.

Method according to one of the preceding claims, wherein different measurement data from different camera positions in the vehicle are compared and the position which causes the lowest error rate is selected.

procedure after claim 9 , the method being repeated with a further set of measurement data which has been optimized on the basis of the results of the previous measurement.

Method according to one of the preceding claims, wherein the determination of the head pose is used for a comparison of head pose estimation algorithms for determining driver attention and/or for predicting driving maneuvers.

Method according to one of the preceding claims, in which the determination of the head pose is used for a comparison of different camera models.

Method according to one of the preceding claims, wherein the head pose determination is used for an alignment of a head-up display (HUD).

System for carrying out an evaluation of a shoring position according to one of the preceding claims, wherein the system comprises at least the following components: a device for executing the necessary arithmetic operations and an interface for acquiring data from the interior sensor system, with data collected by the interior sensor system being acquired through the interface and made available to the apparatus for executing the necessary arithmetic operations, which apparatus using the the data recorded by the interface calculates a virtual equivalent of the scene recorded by the interior sensors.