CN116443028A - 头部姿态数据采集系统及方法 - Google Patents

头部姿态数据采集系统及方法 Download PDF

Info

Publication number
CN116443028A
CN116443028A CN202310443806.7A CN202310443806A CN116443028A CN 116443028 A CN116443028 A CN 116443028A CN 202310443806 A CN202310443806 A CN 202310443806A CN 116443028 A CN116443028 A CN 116443028A
Authority
CN
China
Prior art keywords
unit
head
coordinate system
inertial measurement
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310443806.7A
Other languages
English (en)
Inventor
林枝叶
何晶
罗林
胡束芒
贾澜鹏
颉毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202310443806.7A priority Critical patent/CN116443028A/zh
Publication of CN116443028A publication Critical patent/CN116443028A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种头部姿态数据采集系统及方法，该系统包括：第一摄像单元、惯性测量单元和第二摄像单元；惯性测量单元佩戴于用户头部，用于采集用户头部的姿态数据；第一摄像单元与惯性测量单元固设在一起，用于采集其朝向区域的图像数据；第一摄像单元的朝向为背对用户头部的方向；第二摄像单元设置于正对所述用户头部的位置，用于采集其朝向区域的图像数据；第一摄像单元用于对惯性测量单元所在坐标系与第二摄像单元所在坐标系之间的目标转换关系进行标定以便于确定第二摄像单元所在坐标系下用户头部的姿态数据。本发明可有效获取头部姿态的训练数据，保证头部姿态估计模型的训练精度。

Description

头部姿态数据采集系统及方法
技术领域
本发明属于数据采集技术领域，更具体地说，是涉及一种头部姿态数据采集系统及方法。
背景技术
随着科技不断发展，车辆座舱变得越来越智能化和人性化，通过各种技术的支持，用户可以感到更好的关怀和更安全的服务。在舱内视觉应用中，经常获取车内人员的头部姿态。在获取车内人员的头部姿态后，可分析驾驶员的头部朝向，进而判断驾驶员是否在关注道路，从而提醒驾驶员专心驾驶。同时，还可根据车内人员的头部朝向，分析车内人员的意图和行为，以提供安全智能的驾乘和座舱体验。
近年来，基于深度学习的头部姿态估计方法，凭借着其高精度、低时延、易于部署等优点，得到广泛地关注。但深度学习任务特别是监督学习方法对于训练数据有强依赖性，而头部姿态很难通过人工标注方法去获取训练数据中的真值数据，进而使得头部姿态的训练数据难以获取，影响头部姿态估计模型的训练精度。
发明内容
本发明的目的在于提供一种头部姿态数据采集系统及方法，以解决现有技术中存在的头部姿态的训练数据难以获取导致影响头部姿态估计模型的训练精度的问题。
为实现上述目的，本发明实施例提供一种头部姿态数据采集系统，所述头部姿态数据采集系统包括：
标定模块和数据采集模块；所述标定模块包含第一摄像单元，所述数据采集模块包含惯性测量单元和第二摄像单元；
所述惯性测量单元佩戴于用户头部，用于采集所述用户头部的姿态数据；
所述第一摄像单元与所述惯性测量单元固设在一起，用于采集其朝向区域的图像数据；所述第一摄像单元的朝向为背对所述用户头部的方向；
所述第二摄像单元设置于正对所述用户头部的位置，用于采集其朝向区域的图像数据；
其中，所述第一摄像单元用于对所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系进行标定；所述目标转换关系用于将所述惯性测量单元采集的姿态数据转换至所述第二摄像单元所在坐标系下，以确定所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
在一种可能的实现方式中，所述头部姿态数据采集系统还包括：数据处理模块；
所述数据处理模块用于根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据确定所述惯性测量单元所在坐标系与所述第一摄像单元所在坐标系的第一转换关系；
所述数据处理模块还用于根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据确定所述第一摄像单元所在坐标系与所述第二摄像单元所在坐标系的第二转换关系；
所述数据处理模块还用于根据所述第一转换关系和所述第二转换关系确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系；
所述数据处理模块还用于根据所述目标转换关系对所述惯性测量单元采集的姿态数据进行转换，得到所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
在一种可能的实现方式中，所述根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据确定所述惯性测量单元所在坐标系与所述第一摄像单元所在坐标系的第一转换关系，包括：
对所述惯性测量单元的内部参数进行标定；
对所述第一摄像单元的内部参数进行标定；
根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据对所述惯性测量单元的外部参数和所述第一摄像单元的外部参数进行标定，并确定所述第一转换关系。
在一种可能的实现方式中，所述根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据确定所述第一摄像单元所在坐标系与所述第二摄像单元所在坐标系的第二转换关系，包括：
根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据对所述第一摄像单元的外部参数和所述第二摄像单元的外部参数进行标定，并确定所述第二转换关系。
在一种可能的实现方式中，所述根据所述第一转换关系和所述第二转换关系确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系，包括：
通过R_imuToRgb2＝R_imuToRgb1@R_Rgb1ToRgb2确定所述目标转换关系；
其中，R_imuToRgb2为所述目标转换关系，R_imufoRgb1为所述第一转换关系，R_Rgb1foRgb2为所述第二转换关系，@表示矩阵乘法。
在一种可能的实现方式中，所述姿态数据为所述用户头部在不同时刻的角度变化量；
所述根据所述目标转换关系对所述惯性测量单元采集的姿态数据进行转换，得到所述第二摄像单元所在坐标系下所述用户头部的姿态数据，包括：
根据
RHeadposet0Tot＝R_imuToRgb2@R_imut0Tot@(R_imuToRgb2)-1
确定在所述第二摄像单元所在坐标系下所述用户头部在不同时刻的角度变化量；
其中，RHeadposet0Tot为在所述第二摄像单元所在坐标系下所述用户头部在t0时刻至t时刻的角度变化量，R_imut0Tot为所述惯性测量单元采集的所述用户头部在t0时刻至t时刻的角度变化量，R_imuToRgb2为所述目标转换关系，@表示矩阵乘法。
在一种可能的实现方式中，所述头部姿态数据采集系统还包括：
通信模块；
所述通信模块用于实现所述惯性测量单元、所述第一摄像单元以及所述第二摄像单元之间的通信。
在一种可能的实现方式中，所述通信模块包含话题通信单元和协议通信单兀；
所述惯性测量单元与所述第一摄像单元通过所述话题通信单元进行通信；
所述惯性测量单元与所述第二摄像单元通过所述话题通信单元和协议通信单元进行通信；
所述第一摄像单元与所述第二摄像单元通过所述协议通信单元进行通信。
在一种可能的实现方式中，所述头部姿态数据采集系统还包括：
数据清洗模块；
所述数据清洗模块用于去除转换后的姿态数据中的异常数据；
其中，所述转换后的姿态数据为所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
在本发明实施例的另一方面，还提供了一种应用于以上所描述的头部姿态数据采集系统的头部姿态数据采集方法，所述头部姿态数据采集方法包括：
所述惯性测量单元在接收到数据采集指令时采集所述用户头部的姿态数据，所述第一摄像单元在接收到数据采集指令时采集其朝向区域的图像数据，所述第二摄像单元在接收到数据采集指令时采集其朝向区域的图像数据；
其中，所述惯性测量单元采集的姿态数据、所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据用于确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系；所述目标转换关系用于将所述惯性测量单元采集的姿态数据转换至所述第二摄像单元所在坐标系下，以确定所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
本发明实施例提供的头部姿态数据采集系统及方法的有益效果在于：
本发明实施例提供了一种头部姿态数据采集系统，该系统中包含数据采集模块，数据采集模块中包含的第二摄像单元可以获取训练数据中的图像数据，数据采集模块中包含的惯性测量单元可以获取训练数据中的真值数据。在此基础上，本发明实施例还创造性地设置了标定模块，也即设定了与惯性测量单元固定设置在一起的第一摄像单元，基于此设置即可借助第一摄像单元准确地标定惯性测量单元与第二摄像单元之间的目标转换关系，从而将前述真值数据转换到第二摄像单元所在的坐标系，以便于后续进行头部姿态估计模型的训练。也就是说，基于本发明实施例所描述的系统可有效获取头部姿态的训练数据，保证头部姿态估计模型的训练精度，从而有效解决了现有技术的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的头部姿态示意图；
图2为本发明一实施例提供的头部姿态数据采集系统的结构示意图；
图3为本发明提供的头部姿态数据采集系统的布设示意图；
图4为本发明另一实施例提供的头部姿态数据采集系统的结构示意图；
图5为本发明一实施例提供的各个坐标系之间的转换示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图和具体实施方式对本发明作进一步详细的说明。
首先，对本发明实施例中所使用到的术语进行解释。
1)头部姿态
头部姿态用于描述头部相对于相机在3D空间下的姿态，一般用旋转矩阵、旋转向量、欧拉角和四元数等来表示(由于欧拉角更加直观，常用于头部3D姿态角的描述)。在此基础上，可建立头部坐标系，头部的姿势均可使用头部坐标系中各个姿态角的变化来描述。如图1所示，头部坐标系以人头中心为轴原点，平行于左右眼连线为X轴，平行于鼻子端点与下巴端点连线为Y轴，垂直于X轴和Y轴为Z轴。在此基础上，头部绕X轴旋转时，人头摆出点头姿势，姿态角Pitch会变化。头部绕Y轴旋转时，人头摆出摇头姿势，姿态角Yaw会变化。头部绕Z轴旋转时，人头处于摆头姿势，姿态角Roll会变化。基于此，即可实现头部姿态的描述。
2)惯性测量单元IMU
IMU全称Inertial Measurement Unit，也即惯性测量单元，其是用于测量物体加速度、角速度、磁场，高度等的元器件。惯性测量单元包括一种或多种传感器，比如倾角仪、加速度计、陀螺仪、磁力计、气压计等，其可通过传感器融合算法，获得物体的运动、航向、姿态角(滚动角、俯仰角和偏航角)等。
其次，对本发明实施例所涉及的背景进行详述，以便于理解本发明实施例所描述的方案，本发明实施例所涉及的背景详述如下：
头部姿态估计是视觉领域中重要方向之一，其主要任务是通过单张图像预测头部的3D姿态角，由于其广泛应用，使得其相关研究逐渐增多。近些年来深度学习方法也凭借着其高精度、低时延、易于部署等优点，得到广泛地关注。前述头部姿态估计，主流方法也是深度学习，其具体的技术路线是：首先对图像中的人脸进行检测和定位，获取人脸图像，然后采用训练数据训练头部姿态估计模型，通过头部姿态估计模型确定头部姿态角。其中，训练数据很依赖于真值制作，真值准确性直接影响头部姿态估计模型的检测效果。
因此，在上述背景的前提下，本发明实施例提出一种基于惯性测量单元和双摄像单元的头部姿态数据采集系统，旨在获取高准确度、高精度的头部姿态角，改善头部姿态估计模型的训练精度。
基于上述描述，可参考图2，图2为本发明一实施例提供的头部姿态数据采集系统的结构示意图，该头部姿态数据采集系统100包括：
标定模块10和数据采集模块20。标定模块10包含第一摄像单元11，数据采集模块20包含惯性测量单元21和第二摄像单元22。
惯性测量单元21佩戴于用户头部，用于采集用户头部的姿态数据。
第一摄像单元11与惯性测量单元21固设在一起，用于采集其朝向区域的图像数据。第一摄像单元11的朝向为背对用户头部的方向。
第二摄像单元22设置于正对所述用户头部的位置，用于采集其朝向区域的图像数据。
其中，第一摄像单元11用于对惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系进行标定。目标转换关系用于将惯性测量单元21采集的姿态数据转换至第二摄像单元22所在坐标系下，以确定第二摄像单元22所在坐标系下用户头部的姿态数据。
在本实施例中，由于第一摄像单元11会随着用户头部的转动而转动，因此其包含多个朝向区域。在此基础上，第二摄像单元22的朝向区域需保证与至少一个第一摄像单元11的朝向区域存在重叠，以便于两者之间转换关系的标定。
在本实施例中，由于惯性测量单元21采集姿态数据是在其自身坐标系下，因此为了后续训练数据的使用，需要将惯性测量单元21采集的姿态数据转换到人头图像采集设备的坐标系下(也即第二摄像单元22的坐标系下或者说头部坐标系下)，因此需要标定惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系。因此，本实施例将惯性测量单元21佩戴在用户头部来读取用户头部的姿态数据，将第一摄像单元11与惯性测量单元21固定在一起佩戴于用户头部。基于此设置，第一摄像单元11与惯性测量单元21的变换关系是固定的，第二摄像单元22与惯性测量单元21的变换关系是变化的。在此基础上，惯性测量单元21可借助与其变换关系固定的第一摄像单元11将其采集的姿态数据转换至第二摄像单元22所在的坐标系，从而获取高精度的头部姿态估计真值，提升头部姿态估计模型的训练精度。并且，数据采集模块仅使用惯性测量单元21和第二摄像单元22，相较于现有手段中设置多个数据采集设备以提升测量精度的方式，本发明实施例的硬件成本也较低。
在本实施例中，作为一种具体实施方式，可参考图3，图3中IMU表示惯性测量单元21，RGB1表示第一摄像单元11，RGB2表示第二摄像单元22。如图3所示，为了避免第二摄像单元22采集的图像中包含第一摄像单元11和/或惯性测量单元21，导致影响后续头部姿态估计模型的训练精度，本发明实施例可将第一摄像单元11和惯性测量单元21佩戴于用户头部的后方，将第二摄像单元22设置于用户的正前方(朝向用户头部)，以更好地采集用户头部的各类数据。
从以上描述可知，本发明实施例提供了一种头部姿态数据采集系统，该系统中包含数据采集模块，数据采集模块中包含的第二摄像单元可以获取训练数据中的图像数据，数据采集模块中包含的惯性测量单元可以获取训练数据中的真值数据。在此基础上，本发明实施例还创造性地设置了标定模块，也即设定了与惯性测量单元固定设置在一起的第一摄像单元，基于此设置即可借助第一摄像单元准确地标定惯性测量单元与第二摄像单元之间的目标转换关系，从而将前述真值数据转换到第二摄像单元所在的坐标系，以便于后续进行头部姿态估计模型的训练。
也就是说，基于本发明实施例所描述的系统可有效获取头部姿态的训练数据，保证头部姿态估计模型的训练精度，从而有效解决了现有技术的问题。
在一种可能的实现方式中，可参考图4，头部姿态数据采集系统100还包括：数据处理模块30。
数据处理模块30用于根据惯性测量单元采集的姿态数据以及第一摄像单元11采集的图像数据确定惯性测量单元21所在坐标系与第一摄像单元11所在坐标系的第一转换关系。
数据处理模块30还用于根据第一摄像单元11采集的图像数据和第二摄像单元采集22的图像数据确定第一摄像单元11所在坐标系与第二摄像单元22所在坐标系的第二转换关系。
数据处理模块30还用于根据第一转换关系和第二转换关系确定惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系。
数据处理模块30还用于根据目标转换关系对惯性测量单元采集的姿态数据进行转换，得到第二摄像单元所在坐标系下用户头部的姿态数据。
在本实施例中，可参考图5，图5中，_1表示第一转换关系，R_rgb1ToRgb2表示第二转换关系。如图5所示，确定惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系可包含两个步骤，第一个步骤为：通过离线方式标定惯性测量单元21所在坐标系与第一摄像单元11所在坐标系的第一转换关系。第二个步骤为通过在线方式标定第一摄像单元11所在坐标系与第二摄像单元22所在坐标系的第二转换关系。
其中，离线方式指的是：无需限定被采集对象(也即用户)即可完成相关数据的采集以及第一转换关系的标定的方式。
其中，由于第一摄像单元11固定在用户头部，会随着用户头部的移动而改变空间位置，而用户不同，用户头部旋转同一姿态角的图像也会不同，因此需要针对每个被采集对象(用户)均进行一次第二转换关系的标定，因此，需要通过在线方式标定。也即，在线方式指的是：需要对每个被采集对象都进行一次相关数据采集以及第二转换关系的标定的方式。
从以上描述可知，通过离线标定和在线标定的结合，本发明实施例即可实现惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系的标定。
在本实施例中，确定惯性测量单元21所在坐标系与第二摄像单元22所在坐标系之间的目标转换关系后，后续数据处理模块30可根据目标转换关系对惯性测量单元采集的姿态数据进行转换，得到第二摄像单元所在坐标系下用户头部的姿态数据。
在一种可能的实现方式中，根据惯性测量单元采集的姿态数据以及第一摄像单元采集的图像数据确定惯性测量单元所在坐标系与第一摄像单元所在坐标系的第一转换关系，包括：
对惯性测量单元的内部参数进行标定。
对第一摄像单元的内部参数进行标定。
根据姿态数据以及第一摄像单元采集的图像数据对惯性测量单元的外部参数和第一摄像单元的外部参数进行标定，并确定第一转换关系。
在本实施例中，对惯性测量单元的内部参数进行标定主要是由于惯性测量单元存在刻度系数误差，以及其中的加速度计、陀螺仪等可能存在三个轴非正交等问题，导致惯性测量单元计算姿态角时存在一定的噪声，故需标定惯性测量单元的噪声参数。其中，惯性测量单元内部参数的标定主要是设计惯性测量单元噪声模型，录制惯性测量单元数据，以及采用内参标定工具进行内部参数的标定。比如，可采用工具imu_utils来进行惯性测量单元内部参数的标定。
其中，对惯性测量单元的内部参数进行标定，可以详述为：
步骤1：录制惯性测量单元静止状态的数据。
步骤2：播放惯性测量单元数据包，并获取惯性测量单元的测量数据。
步骤3：采用imu_utils工具对前述测量数据进行处理进而标定惯性测量单元的噪声。
在本实施例中，与常见的彩色相机标定相同，第一摄像单元的内部参数标定主要是获取第一摄像单元的内部参数。其中，前述内部参数包括但不限于焦距、主点坐标以及相机畸变参数等。在此基础上，对第一摄像单元的内部参数进行标定，可以详述为：
步骤1：在第一摄像单元的朝向区域设置标定板(可参考图2中标定板的位置示意)，在此基础上，可从多个角度采集第一摄像单元的朝向区域的图像(也即采集标定板的图像)，并从前述标定板的图像中提取标定板的角点。
步骤2：通过将标定板每一行的角点拟合成圆来确定第一摄像单元的初始内部参数。对于此步骤，需要指出的是，真实世界平行的直线经过摄像单元成像投影之后，不再是平行的，而是相交于两点。故对标定板每一行的角点，都可以在图像上拟合一个圆，两个圆交点的距离除以圆周率即可确定焦距初始值，主点坐标可采用第一摄像单元的图像分辨率的一半作为初始值。
步骤3：求解第一摄像单元每一帧的位姿pose，将前述pose作为后续优化的变量。对于此步骤，需要指出的是，把标定板作为参考坐标系时，由于标定板尺寸已知，因此每一个角点在此参考坐标系下的3D坐标是已知。通过3D-2D的对应，即可求解出每一帧图像的pose。
步骤4：通过每一帧的pose将前述参考坐标系下的3D坐标点转换到相机坐标系下，通过相机的投影模型，得到标定板3D角点在图像平面上的预测投影位置。通过优化每一帧的Pose和第一摄像单元的内部参数以使所有的重投影误差最小，最后使得所有重投影误差最小的内部参数即为第一摄像单元标定完成的内部参数。
在本实施例中，可通过手眼标定法来实现惯性测量单元与第一摄像单元外部参数的标定。此过程可以详述为：
步骤1：估计第一摄像单元与惯性测量单元之间的时间延时。
步骤2：获取第一摄像单元与惯性测量单元之间的初始转换参数以及一些必要的初始值，比如重力加速度、陀螺仪偏置等。
步骤3：通过第一摄像单元采集的图像数据以及惯性测量单元采集的姿态数据对相关参数进行优化，实现第一摄像单元与惯性测量单元外部参数的标定，确定两者之间的第二转换关系。其中，前述相关参数包括但不限于所有角点的重投影误差、惯性测量单元的加速度计与陀螺仪测量误差、偏置随机游走噪声等。
在一种可能的实现方式中，根据第一摄像单元采集的图像数据和第二摄像单元采集的图像数据确定第一摄像单元所在坐标系与第二摄像单元所在坐标系的第二转换关系，包括：
根据第一摄像单元采集的图像数据和第二摄像单元采集的图像数据对第一摄像单元的外部参数和第二摄像单元的外部参数进行标定，并确定第二转换关系。
在本实施例中，可通过对第一摄像单元和第二摄像单元的外部参数进行标定来确定第二转换关系。其中，确定第二转换关系可以详述为：
步骤1：在第一摄像单元的朝向区域设置标定板(可参考图2中标定板的位置示意)，在此基础上，第一摄像单元和第二摄像单元可以同时采集其朝向区域的图像(也即采集标定板的图像)。
步骤2：第一摄像单元基于标定板的图像确定标定板的角点，在此基础上，通过PNP方法可求解第一摄像单元与世界坐标系的旋转矩阵和平移矩阵。
步骤3：第二摄像单元基于标定板的图像确定标定板的角点，在此基础上，通过PNP方法可求解第二摄像单元与世界坐标系的旋转矩阵和平移矩阵。
步骤4：第二转换关系可以旋转矩阵和平移矩阵来表征，在此基础上，可通过以下公式即可确定第一摄像单元与第二摄像单元之间的第二转换关系。
其中，R为第一摄像单元与第二摄像单元之间的旋转矩阵，为第一摄像单元与第二摄像单元之间的平移矩阵，Rl为第一摄像单元与世界坐标系之间的旋转矩阵，Rr为第二摄像单元与世界坐标系之间的旋转矩阵，/>为第一摄像单元与世界坐标系之间的平移矩阵，为第二摄像单元与世界坐标系之间的平移矩阵。
在一种可能的实现方式中，根据第一转换关系和第二转换关系确定惯性测量单元所在坐标系与第二摄像单元所在坐标系之间的目标转换关系，包括：
通过R_imuToRgb2＝R_imuToRgb1@R_Rgb1ToRgb2确定目标转换关系。
其中，R_imuToRgb2为目标转换关系，R_imuToRgb1为第一转换关系，R_Rgb1ToRgb2为第二转换关系，@表示矩阵乘法。
在本实施例中，后续实际应用时，可通过惯性测量单元采集用户头部的姿态角，进而通过上式确定的目标转换关系来将惯性测量单元下的姿态角转换为第二摄像单元下的姿态角，从而确定训练数据中的真值数据。
在一种可能的实现方式中，姿态数据为用户头部在不同时刻的角度变化量。
根据目标转换关系对惯性测量单元采集的姿态数据进行转换，得到第二摄像单元所在坐标系下用户头部的姿态数据，包括：
根据
RHeadposet0Tot＝R_imuToRgb2@R_imut0Tot@(R_imuToRgb2)-1
确定在第二摄像单元所在坐标系下用户头部在不同时刻的角度变化量。
其中，RHeadposet0Tot为在第二摄像单元所在坐标系下用户头部在t0时刻至t时刻的角度变化量，R_imut0Tot为惯性测量单元采集的用户头部在t0时刻至t时刻的角度变化量，R_imuToRgb2为目标转换关系，@表示矩阵乘法。
在本实施例中，后续实际应用时，可通过惯性测量单元采集用户头部的姿态角的角度变化量，进而通过上式来将惯性测量单元下的角度变化量转换为第二摄像单元下的角度变化量，从而确定训练数据中的真值数据。
在一种可能的实现方式中，可参考图4，头部姿态数据采集系统100还包括：
通信模块40。
通信模块40用于实现惯性测量单元21、第一摄像单元11以及第二摄像单元22之间的通信。
在本实施例中，为了保证标定以及后续数据采集的准确性，在惯性测量单元21、第一摄像单元11、第二摄像单元22的标定过程以及后续训练数据的采集过程中都需要尽可能地同时采集数据，因此，本发明实施例还设置了通信模块40以实现惯性测量单元21、第一摄像单元11和第二摄像单元22之间的相互通信。
在一种可能的实现方式中，通信模块包含话题通信单元和协议通信单元。
惯性测量单元与第一摄像单元通过话题通信单元进行通信。
惯性测量单元与第二摄像单元通过话题通信单元和协议通信单元进行通信。
第一摄像单元与第二摄像单元通过协议通信单元进行通信。
在本实施例中，惯性测量单元与第一摄像单元可采用ROS系统的话题通信方式(也即通过话题通信单元)进行通信，也即，一个节点发布消息，另一个节点订阅该消息。
在本实施例中，惯性测量单元与第二摄像单元可通过话题通信单元和协议通信单元(比如，TCP-IP通信单元)进行通信。
在本实施例中，第一摄像单元与第二摄像单元可通过协议通信单元(比如，TCP-IP通信单元)进行通信。
在一种可能的实现方式中，可参考图4，头部姿态数据采集系统100还包括：
数据清洗模块50。
数据清洗模块50用于去除转换后的姿态数据中的异常数据。其中，转换后的姿态数据为第二摄像单元所在坐标系下用户头部的姿态数据。
在本实施例中，在确定第二摄像单元所在坐标系下用户头部的姿态数据后，为了保证数据的准确性和可用性，本发明实施例还可通过数据清洗模块50来将异常的数据清洗掉，得到比较准确的姿态数据。其中，前述姿态数据也可以为姿态角，本实施例对此不做限定。
综合上述各实施例，本发明提出了一种基于惯性测量单元和双摄像单元的头部姿态数据采集系统，旨在获取高准确度、高精度的姿态数据，改善头部姿态估计模型的训练精度。具体的，本发明将惯性测量单元和第一摄像单元固定在用户头部，惯性测量单元读取姿态角，联合第一摄像单元，将惯性测量单元坐标系下的姿态数据转换到头部坐标系下(也即第二摄像单元坐标系下)，从而获取到头部坐标系下的姿态数据。通过本发明可获取大量高精度的真值数据，从而提升训练精度。并且，由于本系统仅使用了惯性测量单元和摄像单元，因此硬件成本也较低。
在本发明实施例的另一方面，还提供了一种应用于以上所描述的头部姿态数据采集系统的头部姿态数据采集方法，该头部姿态数据采集方法包括：
惯性测量单元在接收到数据采集指令时采集用户头部的姿态数据，第一摄像单元在接收到数据采集指令时采集其朝向区域的图像数据，第二摄像单元在接收到数据采集指令时采集其朝向区域的图像数据。
其中，惯性测量单元采集的姿态数据、第一摄像单元采集的图像数据和第二摄像单元采集的图像数据用于确定惯性测量单元所在坐标系与第二摄像单元所在坐标系之间的目标转换关系。目标转换关系用于将惯性测量单元采集的姿态数据转换至第二摄像单元所在坐标系下，确定第二摄像单元所在坐标系下用户头部的姿态数据。
在本实施例中，惯性测量单元、第一摄像单元和第二摄像单元均为数据采集单元，三者均可在其接收到数据采集指令时采集对应数据，进而将所采集的数据发送至内部/外部的数据处理模块进行数据处理。
在本实施例中，不同的场景下可向不同的数据采集单元发送数据采集指令。
比如，在进行惯性测量单元、第一摄像单元、第二摄像单元之间的转换关系的标定时，可同时向惯性测量单元、第一摄像单元和第二摄像单元发送数据采集指令，此时，惯性测量单元、第一摄像单元和第二摄像单元均采集数据，三者采集的数据用于确定惯性测量单元所在坐标系与第二摄像单元所在坐标系之间的目标转换关系。具体的，惯性测量单元、第一摄像单元和第二摄像单元可将其采集的数据发送至内部/外部的数据处理模块，由数据处理模块进行数据处理得到惯性测量单元所在坐标系与第二摄像单元所在坐标系之间的目标转换关系。
比如，在前述目标转换关系标定完成之后，后续进行头部姿态估计模型训练数据的获取时，可只向惯性测量单元和第二摄像单元发送数据采集指令，此时惯性测量单元采集用户头部的姿态数据(记为第一姿态数据)，第二摄像单元采集其朝向区域的图像数据(也即包含用户头部的图像数据，记为第一图像数据)。在此基础上，第一图像数据即为头部姿态估计模型训练数据中的图像数据，经过目标转换关系转换的第一姿态数据即为头部姿态估计模型训练数据的真值数据(其中可通过内部/外部的数据处理模块来根据目标转换关系对第一姿态数据进行转换)，也即第一图像数据和经过目标转换关系转换的第一姿态数据组合即组成头部姿态估计模型的训练数据。
综合以上描述，基于本发明实施例的数据采集方法，可有效获取头部姿态的训练数据，保证头部姿态估计模型的训练精度。
在一种可能的实现方式中，头部姿态数据采集方法还可以包含数据处理模块的各个数据处理过程，具体可参考前述实施例，此处不再赘述。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种头部姿态数据采集系统，其特征在于，包括：
标定模块和数据采集模块；所述标定模块包含第一摄像单元，所述数据采集模块包含惯性测量单元和第二摄像单元；
所述惯性测量单元佩戴于用户头部，用于采集所述用户头部的姿态数据；
所述第一摄像单元与所述惯性测量单元固设在一起，用于采集其朝向区域的图像数据；所述第一摄像单元的朝向为背对所述用户头部的方向；
所述第二摄像单元设置于正对所述用户头部的位置，用于采集其朝向区域的图像数据；
其中，所述第一摄像单元用于对所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系进行标定；所述目标转换关系用于将所述惯性测量单元采集的姿态数据转换至所述第二摄像单元所在坐标系下，以确定所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
2.如权利要求1所述的头部姿态数据采集系统，其特征在于，所述头部姿态数据采集系统还包括：数据处理模块；
所述数据处理模块用于根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据确定所述惯性测量单元所在坐标系与所述第一摄像单元所在坐标系的第一转换关系；
所述数据处理模块还用于根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据确定所述第一摄像单元所在坐标系与所述第二摄像单元所在坐标系的第二转换关系；
所述数据处理模块还用于根据所述第一转换关系和所述第二转换关系确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系；
所述数据处理模块还用于根据所述目标转换关系对所述惯性测量单元采集的姿态数据进行转换，得到所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
3.如权利要求2所述的头部姿态数据采集系统，其特征在于，所述根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据确定所述惯性测量单元所在坐标系与所述第一摄像单元所在坐标系的第一转换关系，包括：
对所述惯性测量单元的内部参数进行标定；
对所述第一摄像单元的内部参数进行标定；
根据所述惯性测量单元采集的姿态数据以及所述第一摄像单元采集的图像数据对所述惯性测量单元的外部参数和所述第一摄像单元的外部参数进行标定，并确定所述第一转换关系。
4.如权利要求2所述的头部姿态数据采集系统，其特征在于，所述根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据确定所述第一摄像单元所在坐标系与所述第二摄像单元所在坐标系的第二转换关系，包括：
根据所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据对所述第一摄像单元的外部参数和所述第二摄像单元的外部参数进行标定，并确定所述第二转换关系。
5.如权利要求2至4任一项所述的头部姿态数据采集系统，其特征在于，所述根据所述第一转换关系和所述第二转换关系确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系，包括：
通过R_imuToRgb2＝R_imuTiRgb1@R_Rgb1ToRgb2确定所述目标转换关系；
其中，R_imuToRgb2为所述目标转换关系，R_muToRgb1为所述第一转换关系，R_Rgb1ToRgb2为所述第二转换关系，@表示矩阵乘法。
6.如权利要求2至4任一项所述的头部姿态数据采集系统，其特征在于，所述姿态数据为所述用户头部在不同时刻的角度变化量；
所述根据所述目标转换关系对所述惯性测量单元采集的姿态数据进行转换，得到所述第二摄像单元所在坐标系下所述用户头部的姿态数据，包括：
根据
RHeadposet0Tot＝R_imuToRgb2@R_imut0Tot@(R_imuToRgb2)-1
确定在所述第二摄像单元所在坐标系下所述用户头部在不同时刻的角度变化量；
其中，RHeadposet0Tot为在所述第二摄像单元所在坐标系下所述用户头部在t0时刻至t时刻的角度变化量，R_imut0Tot为所述惯性测量单元采集的所述用户头部在t0时刻至t时刻的角度变化量，R_imuToRgb2为所述目标转换关系，@表示矩阵乘法。
7.如权利要求1至4任一项所述的头部姿态数据采集系统，其特征在于，所述头部姿态数据采集系统还包括：
通信模块；
所述通信模块用于实现所述惯性测量单元、所述第一摄像单元以及所述第二摄像单元之间的通信。
8.如权利要求7所述的头部姿态数据采集系统，其特征在于，所述通信模块包含话题通信单元和协议通信单元；
所述惯性测量单元与所述第一摄像单元通过所述话题通信单元进行通信；
所述惯性测量单元与所述第二摄像单元通过所述话题通信单元和协议通信单元进行通信；
所述第一摄像单元与所述第二摄像单元通过所述协议通信单元进行通信。
9.如权利要求2至4任一项所述的头部姿态数据采集系统，其特征在于，所述头部姿态数据采集系统还包括：
数据清洗模块；
所述数据清洗模块用于去除转换后的姿态数据中的异常数据；
其中，所述转换后的姿态数据为所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
10.一种基于如权利要求1至9任一项所述的头部姿态数据采集系统的头部姿态数据采集方法，其特征在于，包括：
所述惯性测量单元在接收到数据采集指令时采集所述用户头部的姿态数据，所述第一摄像单元在接收到数据采集指令时采集其朝向区域的图像数据，所述第二摄像单元在接收到数据采集指令时采集其朝向区域的图像数据；
其中，所述惯性测量单元采集的姿态数据、所述第一摄像单元采集的图像数据和所述第二摄像单元采集的图像数据用于确定所述惯性测量单元所在坐标系与所述第二摄像单元所在坐标系之间的目标转换关系；所述目标转换关系用于将所述惯性测量单元采集的姿态数据转换至所述第二摄像单元所在坐标系下，以确定所述第二摄像单元所在坐标系下所述用户头部的姿态数据。
CN202310443806.7A 2023-04-23 2023-04-23 头部姿态数据采集系统及方法 Pending CN116443028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310443806.7A CN116443028A (zh) 2023-04-23 2023-04-23 头部姿态数据采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310443806.7A CN116443028A (zh) 2023-04-23 2023-04-23 头部姿态数据采集系统及方法

Publications (1)

Publication Number Publication Date
CN116443028A true CN116443028A (zh) 2023-07-18

Family

ID=87121822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310443806.7A Pending CN116443028A (zh) 2023-04-23 2023-04-23 头部姿态数据采集系统及方法

Country Status (1)

Country Link
CN (1) CN116443028A (zh)

Similar Documents

Publication Publication Date Title
CN104658012B (zh) 一种基于惯性与光学测量融合的运动捕捉方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
CN106814753B (zh) 一种目标位置矫正方法、装置及系统
CN106056664A (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
WO2022002132A1 (zh) 多传感器手柄控制器混合追踪方法及装置
CN109141433A (zh) 一种机器人室内定位系统及定位方法
WO2015123774A1 (en) System and method for augmented reality and virtual reality applications
CN108154533A (zh) 一种位置姿态确定方法、装置及电子设备
CN106197429A (zh) 一种多信息融合定位设备及系统
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
CN106370178B (zh) 移动终端设备的姿态测量方法及装置
CN111811462A (zh) 极端环境下大构件便携式视觉测距系统及方法
CN110361001B (zh) 一种用于空间碎片运动测量系统及标定方法
CN109878528A (zh) 面向车载立体视觉系统的头部运动姿态检测系统
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
CN110132272A (zh) 一种用于空间碎片运动参数的测量方法及系统
CN108322698B (zh) 基于多摄像机和惯性测量单元融合的系统和方法
US11468599B1 (en) Monocular visual simultaneous localization and mapping data processing method apparatus, terminal, and readable storage medium
CN116443028A (zh) 头部姿态数据采集系统及方法
CN112161639B (zh) 一种基于角度光流法的垂直双目惯导里程计及其计算方法
JP2002007030A (ja) 運動検出装置及び操作入力装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination