DE102021111712A1 - Method and device for calibrating a depth sensor in a vehicle interior - Google Patents

Method and device for calibrating a depth sensor in a vehicle interior Download PDF

Info

Publication number
DE102021111712A1
DE102021111712A1 DE102021111712.7A DE102021111712A DE102021111712A1 DE 102021111712 A1 DE102021111712 A1 DE 102021111712A1 DE 102021111712 A DE102021111712 A DE 102021111712A DE 102021111712 A1 DE102021111712 A1 DE 102021111712A1
Authority
DE
Germany
Prior art keywords
sensor
vehicle
coordinate system
pose
vehicle interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021111712.7A
Other languages
German (de)
Inventor
Tobias Bauernfeind
Alan Keim
Wolfgang Haberl
Manfred Pauli
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021111712.7A priority Critical patent/DE102021111712A1/en
Publication of DE102021111712A1 publication Critical patent/DE102021111712A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren der Einbaulage eines Tiefensensors in einem Fahrzeuginnenraum, mit folgenden Schritten:- Erfassen des Fahrzeuginnenraums mithilfe des Tiefensensors, um eine Sensorkarte zu erhalten, die bezüglich eines Sensorkoordinatensystems definiert ist;- Bereitstellen von Referenzdaten, die Posenangaben von einem oder mehreren im Fahrzeuginnenraum befindlichen Strukturen und/oder Objekten bezüglich eines Fahrzeugkoordinatensystem angeben;- Durchführen eines Matchingverfahrens zum Ermitteln einer Kalibrationsinformation, insbesondere eines Kalibrationsvektors, der einen Unterschied zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem hinsichtlich Position und Orientierung angibt;- Anwenden der Kalibrationsinformation auf eine Erfassung eines Objekts oder eines Körperteils im Fahrzeuginnenraum, um die Pose des Objekts oder des Körperteils bezogen auf das Fahrzeugkoordinatensystem zu erhalten.The invention relates to a method for calibrating the installation position of a depth sensor in a vehicle interior, with the following steps: - detecting the vehicle interior using the depth sensor in order to obtain a sensor map that is defined with respect to a sensor coordinate system; - providing reference data that contains pose information from one or indicate several structures and/or objects located in the vehicle interior with regard to a vehicle coordinate system;- carrying out a matching method for determining calibration information, in particular a calibration vector which indicates a difference between the sensor coordinate system and the vehicle coordinate system in terms of position and orientation;- applying the calibration information to a Detection of an object or body part in the vehicle interior to obtain the pose of the object or body part with respect to the vehicle coordinate system.

Description

Technisches Gebiettechnical field

Die Erfindung betrifft Tiefensensoren in Fahrzeuginnenräumen, insbesondere zur Verwendung für eine Gestenerkennung oder zur Erkennung von Posen von Körperteilen oder beweglichen Objekten. Insbesondere betrifft die vorliegende Erfindung Maßnahmen zum Kalibrieren einer Einbauposition eines in den Innenraum eines Fahrzeugs gerichteten Tiefensensors.The invention relates to depth sensors in vehicle interiors, in particular for use in recognizing gestures or in recognizing poses of body parts or moving objects. In particular, the present invention relates to measures for calibrating an installation position of a depth sensor directed into the interior of a vehicle.

Technischer HintergrundTechnical background

Tiefensensoren sind Bildaufnehmer, die über verschiedene Messprinzipien die Abstände von einzelnen Bildpunkten von einem Sensorbezugspunkt erfassen können. Diese werden häufig in Form von Lidar, Radar oder Ultraschallsensoren ausgebildet.Depth sensors are image recorders that can record the distances of individual pixels from a sensor reference point using various measurement principles. These are often designed in the form of lidar, radar or ultrasonic sensors.

Tiefensensoren werden für verschiedene Anwendungen in Fahrzeuginnenräumen vorgesehen. Diese Tiefensensoren werden beispielsweise an einer Position im Fahrzeughimmel, beispielsweise im Bereich des Rückspiegels, eingebaut und können die Bewegung von Körperteilen von Fahrzeuginsassen erfassen, um eine Gestenerkennung für eine Gestensteuerung von Fahrzeugfunktionen zu realisieren. Darüber hinaus kann ein solcher Tiefensensor auch zum Tracken einer Pose des Kopfs eines Fahrzeuginsassen oder eines beweglichen Objekts im Fahrzeuginnenraum verwendet werden.Depth sensors are intended for various applications in vehicle interiors. These depth sensors are installed, for example, at a position in the roof of the vehicle, for example in the area of the rearview mirror, and can detect the movement of body parts of vehicle occupants in order to implement gesture recognition for gesture control of vehicle functions. In addition, such a depth sensor can also be used to track a pose of the head of a vehicle occupant or a moving object in the vehicle interior.

Fertigungsbedingt oder bei der Montage von Tiefensensoren kommt es zu Einbautoleranzen bei der Montage von Tiefensensoren in einem Fahrzeug. Dabei kann es insbesondere schon bei geringen Abweichungen der Orientierung von einer Soll-Einbaulage zu erheblichen Fehlbestimmungen von Posen von Körperteilen oder Objekten kommen. Zusätzlich kann sich die Einbaulage (Einbau-Orientierung und Einbau-position) aufgrund von Alterungseffekten und Temperaturveränderungen dynamisch während der Laufzeit des Fahrzeugs ändern. Zusätzlich weist ein solcher Tiefensensor Fehler in Form von Nichtlinearitäten, Offsets und Verzerrungen auf, die zwar werksseitig kompensiert werden können, sich jedoch abhängig von Umgebungszuständen, wie Temperatur, Luftfeuchtigkeit und dergleichen über die Laufzeit ändern können, ohne dass bislang vorgesehen ist, dass diese nachkalibriert werden.Due to manufacturing or when installing depth sensors, there are installation tolerances when installing depth sensors in a vehicle. Significant erroneous determinations of poses of body parts or objects can occur, in particular even with small deviations in the orientation from a desired installation position. In addition, the installation position (installation orientation and installation position) can change dynamically during the vehicle's service life due to aging effects and temperature changes. In addition, such a depth sensor has errors in the form of non-linearities, offsets and distortions, which can be compensated for at the factory, but can change over time depending on environmental conditions, such as temperature, humidity and the like, without the need for recalibration will.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Verfügung zu stellen, mit dem die Einbaulage eines Tiefensensors kalibriert werden kann.It is the object of the present invention to provide a method with which the installation position of a depth sensor can be calibrated.

Offenbarung der ErfindungDisclosure of Invention

Diese Aufgabe wird durch das Verfahren zum Kalibrieren der Einbaulage eines Tiefensensors in einen Fahrzeuginnenraum gemäß Anspruch 1 sowie durch die Vorrichtung und das Sensorsystem gemäß den nebengeordneten Ansprüchen gelöst.This object is achieved by the method for calibrating the installation position of a depth sensor in a vehicle interior according to claim 1 and by the device and the sensor system according to the independent claims.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further developments are specified in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Kalibrieren der Einbaulage eines Tiefensensors in einem Fahrzeuginnenraum vorgesehen, mit folgenden Schritten:

  • - Erfassen des Fahrzeuginnenraums mithilfe des Tiefensensors, um eine Sensorkarte zu erhalten, die bezüglich eines Sensorkoordinatensystems definiert ist;
  • - Bereitstellen von Referenzdaten, die Posenangaben von einem oder mehreren im Fahrzeuginnenraum befindlichen Strukturen und/oder Objekten bezüglich eines Fahrzeugkoordinatensystem angeben;
  • - Durchführen eines Matchingverfahrens zum Ermitteln einer Kalibrationsinformation, insbesondere eines Kalibrationsvektors, der einen Unterschied zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem hinsichtlich Position und Orientierung angibt;
  • - Anwenden der Kalibrationsinformation auf eine Erfassung eines Objekts oder eines Körperteils im Fahrzeuginnenraum, um die Pose des Objekts oder des Körperteils bezogen auf das Fahrzeugkoordinatensystem zu erhalten.
According to a first aspect, a method for calibrating the installation position of a depth sensor in a vehicle interior is provided, with the following steps:
  • - detecting the vehicle interior using the depth sensor to obtain a sensor map defined in terms of a sensor coordinate system;
  • - Providing reference data that indicate pose information of one or more structures and/or objects located in the vehicle interior with respect to a vehicle coordinate system;
  • - Carrying out a matching method for determining a piece of calibration information, in particular a calibration vector which indicates a difference between the sensor coordinate system and the vehicle coordinate system with regard to position and orientation;
  • - applying the calibration information to a detection of an object or a body part in the vehicle interior in order to obtain the pose of the object or the body part in relation to the vehicle coordinate system.

Die Einbaulage des Tiefensensors kann von einer gewünschten Soll-Einbaulage aufgrund von vielfältigen Gründen abweichen. Für die Nutzung des Tiefensensors zur exakten Posenbestimmung von Körperteilen und Objekten im Fahrzeuginnenraum muss jedoch eine möglichst exakte Soll-Einbaulage erreicht werden. Dazu wird nach obigem Verfahren eine Kalibrationsinformation bereitgestellt, der den Bezug der Einbaulage des Tiefensensors zu einem Fahrzeugkoordinatensystem bzw. einer Soll-Einbaulage präzise angibt. Diese Kalibrationsinformation, z.B. in Form eines Kalibrierungsvektors, kann ermittelt werden, indem Position und Orientierung/Ausrichtung des Tiefensensors bezüglich Referenzdaten bestimmt werden. Die Referenzdaten ermöglichen das Bestimmen der tatsächlichen Einbaulage des Tiefensensors.The installation position of the depth sensor can deviate from a desired target installation position for a variety of reasons. However, in order to use the depth sensor to precisely determine the pose of body parts and objects in the vehicle interior, a target installation position that is as exact as possible must be achieved. For this purpose, according to the above method, calibration information is provided which precisely indicates the relationship between the installation position of the depth sensor and a vehicle coordinate system or a target installation position. This calibration information, e.g. in the form of a calibration vector, can be determined by determining the position and orientation/alignment of the depth sensor with respect to reference data. The reference data enables the actual installation position of the depth sensor to be determined.

Es kann vorgesehen sein, dass die Referenzdaten einer 3D-Referenzkarte entsprechen, die bezüglich des Fahrzeugkoordinatensystems angegeben sind und die aus CAD-Daten bezüglich des Fahrzeuginnenraums für einen entsprechenden Fahrzeugtyp des Kraftfahrzeugs bestimmt werden.Provision can be made for the reference data to correspond to a 3D reference map which is specified with respect to the vehicle coordinate system are given and which are determined from CAD data relating to the vehicle interior for a corresponding vehicle type of the motor vehicle.

Gemäß einer Ausführungsform können die Referenzdaten in Form einer Referenzkarte bereitgestellt werden, die basierend auf CAD-Daten des Fahrzeuginnenraums erstellt werden kann. CAD-Daten liegen durch den Design-Prozess der Einrichtungen im Fahrzeuginnenraum vor und können zur Ableitung einer Referenzkarte genutzt werden. Die Referenzkarte kann einer 3D-Referenzkarte entsprechen. Die Geometrie des Fahrzeuginneren ist somit bekannt. Weiterhin ist die ungefähre Einbaulage des Tiefensensors ebenso aus den CAD-Daten bekannt.According to one embodiment, the reference data can be provided in the form of a reference map, which can be created based on CAD data of the vehicle interior. CAD data are available from the design process of the interior of the vehicle and can be used to derive a reference map. The reference map can correspond to a 3D reference map. The geometry of the vehicle interior is thus known. Furthermore, the approximate installation position of the depth sensor is also known from the CAD data.

Basierend auf den Referenzdaten, der Erfassung des Fahrzeuginnenraums durch den Tiefensensor und einer Angabe zu der Soll-Einbaulage ist nun möglich, die Abweichung der tatsächlichen Einbaulage von der Soll-Einbaulage in Form der Kalibrationsinformation zu erfassen. Die Kalibrationsinformation bzw. der Kalibrationsvektor kann als der Posenunterschied zwischen der Soll-Einbaulage des Tiefensensors 21 und der tatsächlichen Einbaulage bestimmt werden, d. h. die Verschiebung der Position und der Orientierung zu der vorgegebenen Soll-Einbaulage des Tiefensensors.Based on the reference data, the detection of the vehicle interior by the depth sensor and an indication of the target installation position, it is now possible to record the deviation of the actual installation position from the target installation position in the form of calibration information. The calibration information or the calibration vector can be determined as the pose difference between the desired installation position of the depth sensor 21 and the actual installation position, i. H. the displacement of the position and the orientation to the specified target installation position of the depth sensor.

Die Kalibrationsinformation ermöglicht bei der Bestimmung von Posen von Objekten und Körperteilen durch den Tiefensensor eine Korrektur der Posenerfassung, um die Abweichung der tatsächlichen Einbaulage des Tiefensensors auszugleichen. Dazu werden Sensordaten des Tiefensensors, die z.B. in Form eine Punktewolke bereitgestellt werden kann, mit der Referenzkarte verglichen, um durch ein geeignetes Matchingverfahren eine Verschiebungs- und Rotationsabweichung des Koordinatensystems des Tiefensensors von dem Fahrzeugkoordinatensystem zu ermitteln, woraus sich die Kalibrationsinformation ergibt.When the depth sensor is used to determine the poses of objects and body parts, the calibration information enables the pose detection to be corrected in order to compensate for the deviation in the actual installation position of the depth sensor. For this purpose, sensor data from the depth sensor, which can be provided e.g. in the form of a point cloud, is compared with the reference map in order to use a suitable matching method to determine a displacement and rotation deviation of the coordinate system of the depth sensor from the vehicle coordinate system, which results in the calibration information.

Das Durchführen des Matchingverfahrens zum Ermitteln der Kalibrationsinformation kann auf einem Optimierungsverfahren basieren, das eine gesamte Abweichung der Sensorkarte, insbesondere einer Punktewolke, von der 3D-Referenzkarte minimiert.Carrying out the matching method for determining the calibration information can be based on an optimization method that minimizes an overall deviation of the sensor map, in particular a point cloud, from the 3D reference map.

Insbesondere können in der 3D-Referenzkarte bewegliche oder nicht-ortsfeste Objekte im Fahrzeuginnenraum ausgeblendet oder ausmaskiert sein. So sollen bei der Ableitung der Referenzkarte aus den CAD-Daten nur diejenigen Objekte im Fahrzeuginneren berücksichtigt werden, die nicht beweglich sind. Insbesondere sind positionsveränderliche Objekte, wie Sitz, Hebel, Schalter oder dergleichen, nicht Teil der Referenzkarte und werden darin ausgeblendet oder maskiert.In particular, moving or non-stationary objects in the vehicle interior can be hidden or masked out in the 3D reference map. When deriving the reference map from the CAD data, only those objects inside the vehicle that cannot be moved should be taken into account. In particular, objects that can change position, such as a seat, lever, switch or the like, are not part of the reference map and are hidden or masked in it.

Eine derartige Kalibrierung des Tiefensensors kann initial nach der Fertigstellung des Fahrzeugs und kontinuierlich in regelmäßigen Zeitabständen während der Laufzeit des Fahrzeugs durchgeführt werden. Damit können auch dynamische Änderungen, die alterungsbedingt sind oder sich aufgrund von Temperaturänderungen und dergleichen ergeben, berücksichtigt werden.Such calibration of the depth sensor can be performed initially after completion of the vehicle and continuously at regular intervals during the life of the vehicle. This means that dynamic changes that are caused by aging or that result from temperature changes and the like can also be taken into account.

Da die Referenzkarte, die auf CAD-Daten basiert, eine absolute Referenz bildet, können nicht nur extrinsische Einbautoleranzen, sondern auch Nichtlinearitäten und sonstige aus der Datenverarbeitung des Tiefensensors resultierende Fehler kompensiert werden.Since the reference map, which is based on CAD data, forms an absolute reference, not only extrinsic installation tolerances but also non-linearities and other errors resulting from the data processing of the depth sensor can be compensated.

Gemäß einer weiteren Ausführungsform können die Referenzdaten eine Ego-Pose eines selbstlokalisierfähigen Objekts im Fahrzeuginnenraum enthalten, wobei die Ego-Pose bezüglich des Fahrzeugkoordinatensystem angegeben ist, wobei die Kalibrationsinformation abhängig von der Ego-Pose bestimmt wird.According to a further embodiment, the reference data can contain a first-person pose of an object capable of self-localization in the vehicle interior, the first-person pose being specified with respect to the vehicle coordinate system, the calibration information being determined as a function of the first-person pose.

Insbesondere kann die Kalibrationsinformation durch Bestimmen der Pose des selbstlokalisierfähigen Objekts mithilfe der Sensorkarte und durch Ermitteln des Unterschieds zwischen der mithilfe der Sensorkarte ermittelten Pose des selbstlokalisierfähigen Objekts und der Ego-Pose bestimmt werden.In particular, the calibration information can be determined by determining the pose of the self-locating object using the sensor map and by determining the difference between the pose of the self-locating object determined using the sensor map and the ego pose.

Gemäß einer weiteren Ausführungsform können die Referenzdaten auch von einem mobilen selbstlokalisierfähigen Objekt in dem Innenraum des Kraftfahrzeugs bereitgestellt werden. Dazu muss das selbstlokalisierfähige Objekt ausgebildet sein, seine Ego-Pose innerhalb des Fahrzeuginnenraums zu lokalisieren, wie es beispielsweise bei Datenbrillen mit einer Datenbrillenkamera, die zum Inside-Out Tracking ausgebildet ist, der Fall ist. Das selbstlokalisierfähige Objekt kann somit als Referenzdaten die eigene Pose an ein Steuergerät des Tiefensensors bereitstellen, insbesondere über eine drahtlose Kommunikationsverbindung, so dass der Tiefensensor mit Referenzdaten von dem selbstlokalisierfähigen Objekt kalibriert werden kann. Dazu kann der Tiefensensor durch geeignete Verfahren zur Objekterkennung die Pose des selbstlokalisierfähigen Objekts erfassen und den Kalibrierungsvektor durch Abgleichen zwischen der Pose der Referenzdaten und der durch den Tiefensensor erfassten Pose des selbstlokalisierfähigen Objekts bestimmen.According to a further embodiment, the reference data can also be provided by a mobile self-locating object in the interior of the motor vehicle. For this purpose, the self-locating object must be designed to localize its ego pose within the vehicle interior, as is the case, for example, with data glasses with a data glasses camera that is designed for inside-out tracking. The self-localizing object can thus provide its own pose as reference data to a control unit of the depth sensor, in particular via a wireless communication link, so that the depth sensor can be calibrated with reference data from the self-localizing object. For this purpose, the depth sensor can detect the pose of the self-localizing object using suitable methods for object recognition and determine the calibration vector by comparing the pose of the reference data and the pose of the self-localizing object detected by the depth sensor.

Das obige Verfahren ermöglicht es, den Präzisionsgrad bei der Montage des Tiefensensors zu verringern, da mithilfe des obigen Verfahrens Einbautoleranzen ausgeglichen werden können. Zudem können durch wiederholte Nachkalibrierungen während der Laufzeit Alterungseffekte auszugleichen. Durch die gemeinsame Kompensation von Alterungseffekten und Einbautoleranzen kann somit gemeinsam in einem Kalibriervorgang durch Bestimmung der Kalibrationsinformation eine nachträgliche Kompensation von Toleranzen der Einbaulage vorgenommen werden.The above method makes it possible to lower the degree of precision in assembling the depth sensor because the above method can accommodate assembly tolerances. In addition, aging effects can occur due to repeated recalibrations during the running time same. Due to the joint compensation of aging effects and installation tolerances, a subsequent compensation of tolerances of the installation position can be carried out jointly in a calibration process by determining the calibration information.

Weiterhin kann die Kalibrationsinformation genutzt werden, indem die durch den Tiefensensor erfasste Sensorkarte mit der Kalibrationsinformation korrigiert wird oder indem eine aus der Sensorkarte ermittelte Pose des Objekts oder des Körperteils in dem Fahrzeuginnenraum mit der Kalibrationsinformation korrigiert wird.Furthermore, the calibration information can be used by correcting the sensor map detected by the depth sensor with the calibration information or by correcting a pose of the object or body part in the vehicle interior determined from the sensor map with the calibration information.

Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Kalibrieren der Einbaulage eines Tiefensensors in einem Fahrzeuginnenraum vorgesehen, wobei die Vorrichtung ausgebildet ist zum:

  • - Erfassen des Fahrzeuginnenraums mithilfe des Tiefensensors, um eine Sensorkarte zu erhalten, die bezüglich eines Sensorkoordinatensystems definiert ist;
  • - Bereitstellen) von Referenzdaten, die Posenangaben von einem oder mehreren im Fahrzeuginnenraum befindlichen Strukturen und/oder Objekten bezüglich eines Fahrzeugkoordinatensystem angeben;
  • - Durchführen eines Matchingverfahrens zum Ermitteln einer Kalibrationsinformation, insbesondere eines Kalibrationsvektors, der einen Unterschied zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem hinsichtlich Position und Orientierung angibt;
  • - Anwenden der Kalibrationsinformation auf eine Erfassung eines Objekts oder eines Körperteils im Fahrzeuginnenraum, um die Pose des Objekts oder des Körperteils bezogen auf das Fahrzeugkoordinatensystem zu erhalten.
According to a further aspect, a device for calibrating the installation position of a depth sensor in a vehicle interior is provided, the device being designed for:
  • - detecting the vehicle interior using the depth sensor to obtain a sensor map defined in terms of a sensor coordinate system;
  • - providing) reference data which indicate pose information of one or more structures and/or objects located in the vehicle interior with respect to a vehicle coordinate system;
  • - Carrying out a matching method for determining a piece of calibration information, in particular a calibration vector which indicates a difference between the sensor coordinate system and the vehicle coordinate system with regard to position and orientation;
  • - applying the calibration information to a detection of an object or a body part in the vehicle interior in order to obtain the pose of the object or the body part in relation to the vehicle coordinate system.

Gemäß einem weiteren Aspekt ist ein Kraftfahrzeug vorgesehen, umfassend einen Tiefensensor und die obige Vorrichtung.According to a further aspect, a motor vehicle is provided, comprising a depth sensor and the above device.

Figurenlistecharacter list

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines Fahrzeuginnenraums mit einem Tiefensensor; und
  • 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Kalibrieren eines in einem Fahrzeuginnenraum eingebauten Tiefensensors; und
  • 3 ein Flussdiagramm zur Veranschaulichung eines weiteren Verfahrens zum Kalibrieren eines in einem Fahrzeuginnenraum eingebauten Tiefensensors.
Embodiments are explained in more detail below with reference to the accompanying drawings. Show it:
  • 1 a schematic representation of a vehicle interior with a depth sensor; and
  • 2 a flowchart to illustrate a method for calibrating a depth sensor installed in a vehicle interior; and
  • 3 a flowchart to illustrate a further method for calibrating a depth sensor installed in a vehicle interior.

Beschreibung von AusführungsformenDescription of Embodiments

1 zeigt eine schematische Darstellung eines Fahrzeuginnenraums 1 mit einem am Dachhimmel angeordneten Sensorsystem 2 mit einem Tiefensensor 21. Der Tiefensensor 21 kann als ein Lidar- oder Radarsensor ausgebildet sein, der in der Lage ist, die Umgebung abzutasten und z.B. eine Punktewolke von Abtastpunkten bereitzustellen, deren Abstände zu dem Tiefensensor 21 ermittelbar ist. 1 shows a schematic representation of a vehicle interior 1 with a roof lining arranged sensor system 2 with a depth sensor 21. The depth sensor 21 can be designed as a lidar or radar sensor that is able to scan the environment and provide, for example, a point cloud of scanning points whose Distances to the depth sensor 21 can be determined.

Der Tiefensensor 21 wird während der Montage mit einer vorgegebenen Einbaulage, d.h. mit einer vorgegebenen Position und Orientierung, eingebaut, unterliegt jedoch hinsichtlich seiner Position und Orientierung Einbautoleranzen, die während der Montage und auch aufgrund von Alterung und Umgebungseinflüssen während der Laufzeit des Fahrzeugs auftreten können. Diese führen dazu, dass die 3D-Erfassung des Tiefensensors von der durch die Einbaulage vorgegebenen Erfassung abweichen kann.The depth sensor 21 is installed during assembly with a predetermined installation position, i.e. with a predetermined position and orientation, but is subject to installation tolerances with regard to its position and orientation, which can occur during assembly and also due to aging and environmental influences during the service life of the vehicle. These mean that the 3D detection of the depth sensor can deviate from the detection specified by the installation position.

Der Tiefensensor 21 steht mit einem Steuergerät 22 in Verbindung, das die Sensordaten aufbereitet und als Sensorkarte bereitstellt. Die Sensorkarte entspricht beispielsweise einer 3-D Tiefenkarte oder einer Punktewolke aus den in verschiedenen Raumrichtungen bezüglich des Tiefensensors 21 erfassten Objekte und Körperteile im Fahrzeuginnenraum 1.The depth sensor 21 is connected to a control unit 22, which processes the sensor data and makes it available as a sensor card. The sensor map corresponds, for example, to a 3D depth map or a point cloud from the objects and body parts in the vehicle interior 1 detected in different spatial directions with respect to the depth sensor 21.

Das Steuergerät 22 kann separat zu einem Assistenzsystem 3 oder ein Teil eines Assistenzsystems sein. Das Steuergerät 22 steuert die Aufzeichnungen durch den Tiefensensor 21 und führt auch ein Verfahren zum Kalibrieren der Einbaulage des Tiefensensors 21 aus. Die Kalibration erfolgt durch Ermitteln eines Kalibrationsvektors als einer Kalibrationsinformation, die die Abweichung der Einbaulage des Tiefensensors 21 von einer bekannten Soll-Einbaulage des Tiefensensors 21 angeben kann. Das Verfahren zur Kalibration wird in 2 näher erläutert.Control unit 22 can be separate from an assistance system 3 or part of an assistance system. The controller 22 controls the recordings made by the depth sensor 21 and also performs a procedure for calibrating the mounting position of the depth sensor 21 . The calibration is performed by determining a calibration vector as calibration information that can indicate the deviation of the installation position of the depth sensor 21 from a known target installation position of the depth sensor 21 . The calibration procedure is described in 2 explained in more detail.

In Schritt S1 werden zunächst Referenzdaten ermittelt. Die Referenzdaten können beispielsweise eine 3D-Referenzkarte des Fahrzeuginneren umfassen, die von den CAD-Daten des verwendeten Fahrzeugmodells abgeleitet werden. Die 3D-Referenzkarte ist bezüglich eines vorgegebenen Fahrzeugkoordinatensystem definiert. Die CAD-Daten des Fahrzeugmodells sind aus der Konstruktion des Fahrzeugs bekannt und können in an sich bekannter Weise in die 3D-Referenzkarte transformiert werden. Dynamische verstellbare, nicht ortsfeste Objekte 4, wie z. B. ein Fahrzeugsitz, Hebel und dergleichen, werden von der 3D-Referenzkarte ausgenommen, da diese ihre Pose ändern können und sich daher nicht als Referenzdaten für die Kalibrierung des Tiefensensors 21 eignen.In step S1, reference data are first determined. The reference data can include, for example, a 3D reference map of the vehicle interior, which is derived from the CAD data of the vehicle model used. The 3D reference map is defined with respect to a given vehicle coordinate system. The CAD data of the vehicle model are known from the design of the vehicle and can be known per se way be transformed into the 3D reference map. Dynamic adjustable, non-stationary objects 4 such. B. a vehicle seat, levers and the like are excluded from the 3D reference map because they can change their pose and are therefore not suitable as reference data for the calibration of the depth sensor 21.

In Schritt S2 wird mithilfe des Tiefensensors 21 eine Erfassung des Fahrzeuginnenraums vorgenommen, die in einer 3D-Referenzkarte, z.B. in Form einer Punktewolke, resultiert. Die Punktewolke gibt für verschiedene Richtungen die Entfernung eines optischen Hindernisses, z.B. eines Objekts oder eines Körperteils an.In step S2, the vehicle interior is detected with the aid of the depth sensor 21, which results in a 3D reference map, e.g. in the form of a point cloud. The point cloud indicates the distance of an optical obstacle, e.g. an object or a body part, for different directions.

Die Punktewolke wird in Schritt S3 mit der 3D-Referenzkarte verglichen und in einem Matchingprozess aufeinander abgeglichen. Insbesondere wird eine bestmögliche Übereinstimmung der durch die Punktwolke angegebenen optischen Hindernisse mit den Oberflächen des durch die 3D-Referenzkarte bestimmten Fahrzeuginneren bestimmt. Ein solcher Matchingprozess kann ausgehend von einer ungefähren Einbaulage mithilfe eines Optimierungsverfahrens durch iterative Position- und/oder Orientierungsänderungen die tatsächliche Einbaulage des Tiefensensors 21 bezüglich des Fahrzeugkoordinatensystems ermitteln.In step S3, the point cloud is compared with the 3D reference map and compared with one another in a matching process. In particular, the best possible match between the optical obstacles indicated by the point cloud and the surfaces of the vehicle interior determined by the 3D reference map is determined. Starting from an approximate installation position, such a matching process can determine the actual installation position of the depth sensor 21 with respect to the vehicle coordinate system using an optimization method through iterative changes in position and/or orientation.

Es resultiert eine tatsächliche Einbaulage, die die Position und Orientierung des Tiefensensors 21 angibt. Ein Kalibrationsvektor wird als der Posenunterschied zwischen der Soll-Einbaulage des Tiefensensors 21 und der tatsächlichen Einbaulage bestimmt, d. h. die Verschiebung der Position und der Orientierung zu der vorgegebenen Soll-Einbaulage des Tiefensensors 21.An actual installation position that indicates the position and orientation of the depth sensor 21 results. A calibration vector is determined as the pose difference between the desired mounting position of the depth sensor 21 and the actual mounting position, i. H. the displacement of the position and the orientation to the specified target installation position of the depth sensor 21.

In Schritt S4 kann der Kalibrationsvektor anschließend für Erfassungen des Tiefensensors 21 im herkömmlichen Betrieb verwendet werden. So kann mithilfe des Tiefensensors 21 eine Posenerkennung eines Objekts oder eines Körperteils im Fahrzeuginnenraum 1 vorgenommen werden, wobei die Pose des Objekts oder des Körperteils sich auf ein Sensor-Koordinatensystem bezieht, das bezüglich der Ausrichtung des Tiefensensors festgelegt ist und einen festen örtlichen Bezug zu dem Tiefensensor 21 aufweist. Der Bezug zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem wird durch die Kalibrationsinformation bzw. den Kalibrationsvektor bestimmt, sodass die Pose des Objekts oder des Körperteils vom Sensor-Koordinatensystem zum Fahrzeugkoordinatensystem transformiert werden kann.In step S4, the calibration vector can then be used for detections by the depth sensor 21 in conventional operation. Depth sensor 21 can be used to detect the pose of an object or a body part in vehicle interior 1, with the pose of the object or body part relating to a sensor coordinate system that is defined with regard to the alignment of the depth sensor and has a fixed local reference to the Depth sensor 21 has. The relationship between the sensor coordinate system and the vehicle coordinate system is determined by the calibration information or the calibration vector, so that the pose of the object or body part can be transformed from the sensor coordinate system to the vehicle coordinate system.

Die Kalibrierung kann in regelmäßigen Zeitabständen durchgeführt werden, so dass überprüft werden kann, ob eine alterungs- oder umgebungseinflussbedingte Änderung der Einbaulage des Tiefensensors 21 erfolgt ist. Außerdem kann eine Überprüfung der intrinsischen Parameter des Tiefensensors 21 basierend auf der 3D-Referenzkarte vorgenommen werden.The calibration can be carried out at regular time intervals, so that it can be checked whether there has been a change in the installation position of the depth sensor 21 due to aging or environmental influences. In addition, the intrinsic parameters of the depth sensor 21 can be checked based on the 3D reference map.

In 3 ist ein Flussdiagramm zur Veranschaulichung eines weiteren Verfahrens zur Kalibrierung des Tiefensensors dargestellt.In 3 1 is a flow chart illustrating another method for calibrating the depth sensor.

In Schritt S11 wird zunächst die Punktewolke mithilfe des Tiefensensors 21 erfasst, als Ergebnis einer Abtastung des Fahrzeuginnenraums.In step S11, the point cloud is first recorded using the depth sensor 21 as a result of scanning the vehicle interior.

In Schritt S12 wird mithilfe eines selbstlokalisierfähigen Objekts 6 die Ego-Pose innerhalb des Fahrzeuginnenraums 1 bestimmt. Das selbstlokalisierfähige Objekt 6 kann beispielsweise eine Datenbrille oder ein Mobilgerät sein, das mithilfe einer Kamera oder dergleichen ein Inside-Out-Tracking in an sich bekannter Weise vornehmen kann. Das Inside-Out-Tracking kann beispielsweise durch Mustererkennung von Referenzmarkern im Innenraum erfolgen. Aufgrund des Insight Out Tracking wird die Ego-Pose des selbstlokalisierfähigen Objekts 6 bezogen auf das Fahrzeugkoordinatensystem ermittelt.In step S12, the ego pose within the vehicle interior 1 is determined with the aid of an object 6 capable of self-localization. The self-locating object 6 can be, for example, data glasses or a mobile device that can carry out inside-out tracking in a manner known per se using a camera or the like. Inside-out tracking can be done, for example, by pattern recognition of reference markers in the interior. Based on the insight out tracking, the ego pose of the self-localizing object 6 is determined in relation to the vehicle coordinate system.

In Schritt S13 übermittelt das selbstlokalisierfähige Objekt 6 die bestimmte Ego-Pose an das Steuersystem, insbesondere an die Steuereinheit 22 des Tiefensensors 21. Die Übermittlung der Ego-Pose kann mithilfe drahtgebundener oder drahtloser Kommunikationsverfahren erfolgen.In step S13, the self-localizing object 6 transmits the determined ego pose to the control system, in particular to the control unit 22 of the depth sensor 21. The ego pose can be transmitted using wired or wireless communication methods.

In Schritt S14 ermittelt die Steuereinheit 22 des Tiefensensors 21 aus der Punktewolke durch ein geeignetes Objekterkennungsverfahren die Pose des selbstlokalisierfähigen Objekts 6, das mithilfe einer Objekterkennung erkannt worden ist. Die so ermittelte Pose des selbstlokalisierfähigen Objekts 6 wird bezogen auf das Sensor-Koordinatensystem ermittelt.In step S14, the control unit 22 of the depth sensor 21 uses a suitable object recognition method to determine the pose of the self-locating object 6 from the cloud of points, which object 6 has been recognized using object recognition. The pose of the self-localizing object 6 determined in this way is determined in relation to the sensor coordinate system.

In Schritt S15 wird der Unterschiede zwischen der Ego-Pose und der aus der Punktewolke ermittelten Pose des selbstlokalisierfähigen Objekts 6 ein Kalibrationsvektor ermittelt.In step S15, a calibration vector is determined for the differences between the ego pose and the pose of the self-localizing object 6 determined from the point cloud.

Beispielsweise können mithilfe eines Optimierungsalgorithmus Orientierungs- und Positionierungsfehler zwischen der Ego-Pose des lokalisierfähigen Objekts und der durch den Tiefensensor 21 erkannten Pose des Objekts erkannt werden.For example, orientation and positioning errors between the ego pose of the localizable object and the pose of the object detected by the depth sensor 21 can be detected using an optimization algorithm.

Der Kalibrierungsvektor kann in regelmäßigen Zeitabständen aktualisiert werden, wobei das Inside-Out Tracking des selbstlokalisierfähigen Objekts 6 nicht zu jeder Zeit ausgeführt werden muss, um so bei energieautarken Mobilgeräten oder Datenbrillen den Energiebedarf für die Posenbestimmung zu reduzieren und dadurch die Akkulaufzeit zu erhöhen.The calibration vector can be updated at regular time intervals, with the inside-out tracking of the self-locating object 6 not having to be carried out at all times, as is the case with mobile devices that are self-sufficient in terms of energy or data glasses to reduce the energy requirement for determining the pose and thereby increase the battery life.

In Schritt S16 kann wie in Schritt S4 der Kalibrationsvektor anschließend für Erfassungen des Tiefensensors 21 im herkömmlichen Betrieb verwendet werden. So kann mithilfe des Tiefensensors 21 eine Posenerkennung eines Objekts oder eines Körperteils im Fahrzeuginnenraum 1 vorgenommen werden, wobei die Pose des Objekts oder des Körperteils sich auf ein Sensor-Koordinatensystem bezieht. Der Bezug zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem wird durch den Kalibrationsvektor bestimmt, sodass die Pose des Objekts oder des Körperteils vom Sensor-Koordinatensystem zum Fahrzeugkoordinatensystem transformiert werden kann.In step S16, as in step S4, the calibration vector can then be used for detections by the depth sensor 21 in conventional operation. Thus, with the aid of the depth sensor 21, a pose of an object or a body part in the vehicle interior 1 can be recognized, with the pose of the object or the body part relating to a sensor coordinate system. The relation between the sensor coordinate system and the vehicle coordinate system is determined by the calibration vector, so that the pose of the object or body part can be transformed from the sensor coordinate system to the vehicle coordinate system.

Die Kalibrierung kann in regelmäßigen Zeitabständen durchgeführt werden, so dass überprüft werden kann, ob eine alterungs- oder umgebungseinflussbedingte Änderung der Einbaulage des Tiefensensors 21 erfolgt ist. Außerdem kann eine Überprüfung der intrinsischen Parameter des Tiefensensors basierend auf der Ego-Pose vorgenommen werden.The calibration can be carried out at regular time intervals, so that it can be checked whether there has been a change in the installation position of the depth sensor 21 due to aging or environmental influences. In addition, a check of the intrinsic parameters of the depth sensor can be made based on the ego pose.

BezugszeichenlisteReference List

11
Fahrzeuginnenraumsvehicle interior
22
Sensorsystemsensor system
2121
Tiefensensordepth sensor
2222
Steuereinheitcontrol unit
33
Assistenzsystemassistance system
44
dynamisches Innenraumobjektdynamic interior object
66
selbstlokalisierfähiges Objektself-locating object

Claims (9)

Verfahren zum Kalibrieren der Einbaulage eines Tiefensensors (21) in einem Fahrzeuginnenraum, mit folgenden Schritten: - Erfassen (S1, S11) des Fahrzeuginnenraums mithilfe des Tiefensensors (21), um eine Sensorkarte zu erhalten, die bezüglich eines Sensorkoordinatensystems definiert ist; - Bereitstellen (S2, S12, S13) von Referenzdaten, die Posenangaben von einem oder mehreren im Fahrzeuginnenraum befindlichen Strukturen und/oder Objekten bezüglich eines Fahrzeugkoordinatensystem angeben; - Durchführen (S3, S15) eines Matchingverfahrens zum Ermitteln einer Kalibrationsinformation, insbesondere eines Kalibrationsvektors, der einen Unterschied zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem hinsichtlich Position und Orientierung angibt; - Anwenden (S4, S16) der Kalibrationsinformation auf eine Erfassung eines Objekts oder eines Körperteils im Fahrzeuginnenraum, um die Pose des Objekts oder des Körperteils bezogen auf das Fahrzeugkoordinatensystem zu erhalten.Method for calibrating the installation position of a depth sensor (21) in a vehicle interior, with the following steps: - detecting (S1, S11) the vehicle interior using the depth sensor (21) in order to obtain a sensor map which is defined with respect to a sensor coordinate system; - providing (S2, S12, S13) reference data which indicate pose information of one or more structures and/or objects located in the vehicle interior with respect to a vehicle coordinate system; - Carrying out (S3, S15) a matching method for determining calibration information, in particular a calibration vector which indicates a difference between the sensor coordinate system and the vehicle coordinate system with regard to position and orientation; - Applying (S4, S16) the calibration information to a detection of an object or a body part in the vehicle interior in order to obtain the pose of the object or the body part in relation to the vehicle coordinate system. Verfahren nach Anspruch 1, wobei die Referenzdaten einer 3D-Referenzkarte entsprechen, die bezüglich des Fahrzeugkoordinatensystems angegeben sind und die aus CAD-Daten bezüglich des Fahrzeuginnenraums für einen entsprechenden Fahrzeugtyp des Kraftfahrzeugs bestimmt werden.procedure after claim 1 , wherein the reference data correspond to a 3D reference map, which are specified with respect to the vehicle coordinate system and which are determined from CAD data with respect to the vehicle interior for a corresponding vehicle type of the motor vehicle. Verfahren nach Anspruch 2, wobei in der 3D-Referenzkarte bewegliche oder nicht-ortsfeste Objekte im Fahrzeuginnenraum ausgeblendet oder ausmaskiert sind.procedure after claim 2 , with moving or non-stationary objects in the vehicle interior being hidden or masked out in the 3D reference map. Verfahren nach Anspruch 1, wobei die Referenzdaten eine Ego-Pose eines selbstlokalisierfähigen Objekts im Fahrzeuginnenraum enthalten, wobei die Ego-Pose bezüglich des Fahrzeugkoordinatensystem angegeben ist, wobei die Kalibrationsinformation abhängig von der Ego-Pose bestimmt wird.procedure after claim 1 , wherein the reference data contain an ego pose of a self-locating object in the vehicle interior, the ego pose being specified with respect to the vehicle coordinate system, the calibration information being determined as a function of the ego pose. Verfahren nach Anspruch 4, wobei die Kalibrationsinformation durch Bestimmen der Pose des selbstlokalisierfähigen Objekts mithilfe der Sensorkarte und durch Ermitteln des Unterschieds zwischen der mithilfe der Sensorkarte ermittelten Pose des selbstlokalisierfähigen Objekts und der Ego-Pose bestimmt wird.procedure after claim 4 , wherein the calibration information is determined by determining the pose of the self-locating object using the sensor map and by determining the difference between the pose of the self-locating object determined using the sensor map and the ego pose. Verfahren nach einem der Ansprüche 1-5, wobei die Kalibrationsinformation genutzt wird, indem die durch den Tiefensensor erfasste Sensorkarte mit der Kalibrationsinformation korrigiert wird oder indem eine aus der Sensorkarte ermittelte Pose des Objekts oder des Körperteils in dem Fahrzeuginnenraum mit der Kalibrationsinformation korrigiert wird.Procedure according to one of Claims 1 - 5 wherein the calibration information is used by correcting the sensor map detected by the depth sensor with the calibration information or by correcting a pose of the object or the body part in the vehicle interior determined from the sensor map with the calibration information. Verfahren nach einem der Ansprüche 2-3, wobei das Durchführen des Matchingverfahrens zum Ermitteln der Kalibrationsinformation auf einem Optimierungsverfahren basiert, dass eine gesamte Abweichung der Sensorkarte, insbesondere einer Punktewolke, von der 3D-Referenzkarte minimiert.Procedure according to one of claims 2 - 3 , wherein the implementation of the matching method for determining the calibration information is based on an optimization method that minimizes an overall deviation of the sensor map, in particular a point cloud, from the 3D reference map. Vorrichtung zum Kalibrieren der Einbaulage eines Tiefensensors (21) in einem Fahrzeuginnenraum, wobei die Vorrichtung ausgebildet ist zum: - Erfassen des Fahrzeuginnenraums mithilfe des Tiefensensors (21), um eine Sensorkarte zu erhalten, die bezüglich eines Sensorkoordinatensystems definiert ist; - Bereitstellen) von Referenzdaten, die Posenangaben von einem oder mehreren im Fahrzeuginnenraum befindlichen Strukturen und/oder Objekten bezüglich eines Fahrzeugkoordinatensystem angeben; - Durchführen eines Matchingverfahrens zum Ermitteln einer Kalibrationsinformation, insbesondere eines Kalibrationsvektors, der einen Unterschied zwischen dem Sensor-Koordinatensystem und dem Fahrzeugkoordinatensystem hinsichtlich Position und Orientierung angibt; - Anwenden der Kalibrationsinformation auf eine Erfassung eines Objekts oder eines Körperteils im Fahrzeuginnenraum, um die Pose des Objekts oder des Körperteils bezogen auf das Fahrzeugkoordinatensystem zu erhalten.Device for calibrating the installation position of a depth sensor (21) in a vehicle interior, the device being designed for: - detecting the vehicle interior using the depth sensor (21) in order to obtain a sensor map which is defined with respect to a sensor coordinate system; - Provide) reference data that Posenanga specify ben of one or more structures and/or objects located in the vehicle interior with respect to a vehicle coordinate system; - Carrying out a matching method for determining a piece of calibration information, in particular a calibration vector which indicates a difference between the sensor coordinate system and the vehicle coordinate system with regard to position and orientation; - applying the calibration information to a detection of an object or a body part in the vehicle interior in order to obtain the pose of the object or the body part in relation to the vehicle coordinate system. Kraftfahrzeug umfassend einen Tiefensensor (21) und eine Vorrichtung nach Anspruch 8.Motor vehicle comprising a depth sensor (21) and a device claim 8 .
DE102021111712.7A 2021-05-05 2021-05-05 Method and device for calibrating a depth sensor in a vehicle interior Pending DE102021111712A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021111712.7A DE102021111712A1 (en) 2021-05-05 2021-05-05 Method and device for calibrating a depth sensor in a vehicle interior

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021111712.7A DE102021111712A1 (en) 2021-05-05 2021-05-05 Method and device for calibrating a depth sensor in a vehicle interior

Publications (1)

Publication Number Publication Date
DE102021111712A1 true DE102021111712A1 (en) 2022-11-10

Family

ID=83692279

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021111712.7A Pending DE102021111712A1 (en) 2021-05-05 2021-05-05 Method and device for calibrating a depth sensor in a vehicle interior

Country Status (1)

Country Link
DE (1) DE102021111712A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6998987B2 (en) 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US20140112574A1 (en) 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US20210064147A1 (en) 2018-01-03 2021-03-04 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6998987B2 (en) 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US20140112574A1 (en) 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US20210064147A1 (en) 2018-01-03 2021-03-04 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device

Similar Documents

Publication Publication Date Title
DE102017221938A1 (en) System and method for vehicle radar inspection
EP3254136B1 (en) Processing sensor measurements of a vehicle environment with low transverse resolution
DE10229334A1 (en) Method and device for calibrating sensors in a motor vehicle
EP3775783A1 (en) Method for calibrating a position sensor in a vehicle, computer program, storage means, control device and calibration route
EP3824247A1 (en) Method and system for determining a position of a vehicle
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102018218492A1 (en) Control device, method and sensor arrangement for self-monitored localization
EP1766431B1 (en) Method and device for compensating mounting tolerances of a proximity sensor
DE102022110052A1 (en) SYSTEM AND METHOD OF INSPECTION OF ADVANCED DRIVER ASSISTANCE SYSTEM USING MOBILE MANIPULATOR
DE102017007765A1 (en) Method for calibrating sensors of a vehicle
DE102017108107A1 (en) METHOD, DEVICE AND COMPUTER READABLE STORAGE MEDIUM WITH INSTRUCTIONS FOR ESTIMATING A POSE OF A MOTOR VEHICLE
DE102018220782A1 (en) Localization of a vehicle based on dynamic objects
DE102021204363A1 (en) Method for calibrating a sensor using a means of transportation
DE102018007960A1 (en) Method for matching map material with a detected environment of a vehicle, control device configured to carry out such a method, and vehicle having such a control device
DE102021111712A1 (en) Method and device for calibrating a depth sensor in a vehicle interior
DE102017126495A1 (en) Calibration of a stationary camera system for detecting the position of a mobile robot
DE102015205087A1 (en) Method for determining the misalignment of a driver assistance sensor
EP3545330A1 (en) Method and device for determining an exact position of a vehicle based on radar signatures of the vehicle environment
DE102020203392A1 (en) Determining an installation configuration of a sensor for motor vehicles
DE102019201635A1 (en) System and method for measuring a field of view of an environmental sensor in a vehicle
DE102019216396A1 (en) Method and device for calibrating a vehicle sensor
DE102019214008A1 (en) Method and device for localizing a mobile agent in an environment with dynamic objects
DE102019213776A1 (en) Method for calibrating sensors and detecting decalibration
DE102019214345B4 (en) Method for detecting misalignment of at least one sensor of a motor vehicle
DE102022204776B3 (en) Method for locating a vehicle within a SAR image

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R163 Identified publications notified