CN114562993A - 一种轨迹处理方法、装置及电子设备 - Google Patents
一种轨迹处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114562993A CN114562993A CN202210191203.8A CN202210191203A CN114562993A CN 114562993 A CN114562993 A CN 114562993A CN 202210191203 A CN202210191203 A CN 202210191203A CN 114562993 A CN114562993 A CN 114562993A
- Authority
- CN
- China
- Prior art keywords
- ultra
- sensor
- target object
- data
- bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本申请公开了一种轨迹处理方法、装置及电子设备，包括：获取待处理场景的场景特征信息；基于场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；获取惯性传感器的第一采集数据和超带宽传感器的第二采集数据；基于位置关系、第一采集数据和第二采集数据，生成目标对象的三维运动轨迹。本申请通过将惯性传感器和超带宽传感器结合对目标对象的运动进行定位，可以避免光学定位跟踪受光信号的影响的问题，提升了目标对象三维运动轨迹生成的精准性。
Description
技术领域
本申请涉及信息处理技术领域，更具体的说是涉及一种轨迹处理方法、装置及电子设备。
背景技术
目前，随着虚拟现实技术的发展，越来越多的虚拟现实技术被应用到学习和工作中。例如，可以构建一个混合现实的学习空间，即使用半透明的全息膜作为老师讲课的黑板，允许老师在半透明的黑板后面讲课，学生可以裸眼看到虚拟的数字内容，同时，老师和学生可以在黑板前后和虚拟的教学内容进行互动。
但是，当投影机照射在半透明的全息膜对应的屏幕上，使得光在屏幕上有多重折射和反射，造成传统的光学定位跟踪以及动作捕获系统无法正常工作，从而无法准确获得老师和学生的动作轨迹。可见，在不受光学信息的影响下，如何准确获得场景中目标对象的三维运动轨迹称为目前的研究难题。
发明内容
有鉴于此，本申请提供如下技术方案：
一种轨迹处理方法，包括：
获取待处理场景的场景特征信息；
基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；
获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据；
基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹。
可选地，所述惯性传感器和超带宽传感器的位置关系包括：所述超带宽传感器设置在所述目标对象的目标区域，多个所述惯性传感器设置在所述目标对象的非所述目标区域对应的区域，其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标；
基于所述第一采集数据，确定所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息；
根据所述参考点的三维坐标以及所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息，确定所述目标对象的三维运动轨迹。
可选地，所述惯性传感器和超带宽传感器的位置关系包括：所述目标对象的每一位置点均设置有惯性传感器和超带宽传感器，其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据；
根据所述修正后的数据，确定每一位置点的三维坐标；
基于每一位置点的三维坐标，生成所述目标对象的三维运动轨迹。
可选地，所述基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系，包括：
基于所述场景特征信息，获取超带宽传感器的数量信息；
基于所述超带宽传感器的数量信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
可选地，所述基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标，包括：
将所述超带宽传感器的定位信号发送至目标基站，以获得所述目标基站基于所述定位信号确定的所述目标区域对应的参考点三维位置坐标。
可选地，所述目标对象包括至少两个对象，所述获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据，包括：
基于每一对象的对象标识信息，获取与每一对象对应的所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据。
可选地，所述基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据，包括：
获取惯性传感器的第一采样频率和超带宽传感器的第二采样频率；
基于所述第一采样频率和所述第二采样频率，确定修正参数；
基于所述修正参数和所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据。
一种轨迹处理装置，包括：
第一获取单元，用于获取待处理场景的场景特征信息；
位置确定单元，用于基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；
第二获取单元，用于获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据；
生成单元，用于基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如上述中任一项所述的轨迹处理方法。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述中任一项所述的轨迹处理方法。
经由上述的技术方案可知，本申请公开了一种轨迹处理方法、装置及电子设备，包括：获取待处理场景的场景特征信息；基于场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；获取惯性传感器的第一采集数据和超带宽传感器的第二采集数据；基于位置关系、第一采集数据和第二采集数据，生成目标对象的三维运动轨迹。本申请通过将惯性传感器和超带宽传感器结合对目标对象的运动进行定位，可以避免光学定位跟踪受光信号的影响的问题，提升了目标对象三维运动轨迹生成的精准性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种轨迹处理方法的流程示意图；
图2为本申请实施例提供的一种设置在目标对象的传感器位置的示意图；
图3为本申请实施例提供的一种轨迹处理装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种轨迹处理方法，该方法可以应用于对目标对象的三维运动轨迹的识别、生成或者重塑的场景，三维运动轨迹包括目标对象的三维移动轨迹，还可以包括目标对象的三维动作轨迹。结合惯性传感器成本低、安装部署便捷的特点，以及超带宽传感器的精准定位的特点，实现了提升对目标对象的三维运动轨迹生成的准确性。
参见图1，为本申请实施例提供的一种轨迹处理方法的流程示意图，该方法可以包括以下步骤：
S101、获取待处理场景的场景特征信息。
待处理场景是指目标对象所在的场景，场景特征信息可以包括针对目标对象的采集特征，也可以是场景本身的特点，还包括采集可以应用的装置的特征。具体的，可以根据待生成三维运动轨迹信息的目标对象的特征，如可能产生的运动姿势、动作姿态等。场景本身的特征可以包括场景中是否存在干扰信息等。采集运动轨迹的装置的特征可以包括可用的采集部件的数量、种类等信息。基于场景特征信息进行后续的三维运动轨迹的识别和生成，可以使得后续对三维运动轨迹的生成更加满足场景特征，以进一步提升生成的三维运动轨迹的精准性。
S102、基于场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
在获得了场景特征信息后，可以根据场景特征确定能够满足当前待处理场景的、可以对目标对象的动作数据进行采集的部件。在本申请实施例中集合了惯性传感器和超带宽传感器对动作数据采集的优势，通过二者结合来获得目标对象的运动数据。为了能够更精准地获得目标对象的运动数据，需要通过场景特征信息来确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。该位置关系可以表征惯性传感器和超带宽传感器分别设置在目标对象上的位置，还可以表征二者设置的相对位置关系。目标对象可以是待处理场景中能够产生运动轨迹的对象，如，人或者模拟人运动的机器人等。
其中，惯性传感器主要是检测和测量加速度、倾斜、振动、旋转和多自由度(DoF)运动的传感器。可以将惯性传感器固定在目标对象(如人体)的肢体上，来采集各个肢体的姿态、加速度、角速度等运动信息。惯性传感器通常由微型MEMS加速度计、陀螺仪和磁力计构成，由于其尺寸小重量轻佩戴在人体上不会妨碍人体正常运动，具有成本低、功耗低等优势。但是，惯性传感器的测量噪声和漂移较大，因此，在本申请实施例中结合了超带宽传感器来解决惯性传感器在应用中的不足。可以利用超带宽(Ultra Wide Band，UWB)传感器的位置测量对惯性传感器的位置估计进行修正。超带宽通常是指带宽大于1.5GHz无线信号，超带宽传感器可以是以超带宽测量标签(简称为UWB tag)的形式来体现的，其对应的超带宽定位系统可以是由若干个位置固定的基站和测量标签组成。
S103、获取惯性传感器的第一采集数据和超带宽传感器的第二采集数据。
S104、基于位置关系、第一采集数据和第二采集数据，生成目标对象的三维运动轨迹。
惯性传感器的第一采集数据可以是通过惯性传感器直接采集获得的目标对象的运动数据。如目标对象为人体时，可以将惯性传感器与人体关节绑定，实现对人体关节运动信息的实时采集。具体的，若采集时使用的惯性传感器为九轴惯性传感器时，该九轴惯性传感器包括三轴磁力计、三轴陀螺仪和三轴加速度计，用于实时采集人体肢体运动是产生的三轴加速度、三轴磁力和角速度。
在对目标对象人体运动捕捉过程中，由于惯性传感器没有外界参考点，不能获取空间位移信息，所以需要采用定位方式，获取目标对象运动捕捉过程中的位移信息。在本申请实施例中采用了超带宽定位方式，即通过超带宽传感器的第二采集数据来确定目标对象的空间位置信息。其中，第二采集数据是对应通过超带宽传感器的数据处理模式获得的数据，该数据能够表征目标对象的空间位置坐标。为了便于定位目标对象的空间位置信息，也便于目标对象的佩戴，通常超带宽传感器可以是便于佩戴的UWB tag(超带宽测量标签)。通过超带宽传感器与基站进行信号的传输来获得第二采集数据，该第二采集数据为超带宽传感器佩戴位置的空间位置坐标。
进一步地，超带宽传感器与基站进行信号交互来获得定位数据可以通过基于信号强度法(RSS)、基于接收信号时间法(TOA/TDOA)或者基于接收信号角度法(AOA)实现。
位置关系能够表征设置在目标对象上的惯性传感器和超带宽传感器的位置关系。从而根据该位置关系确定处理第一采集数据和第二采集数据的处理模式。具体的，若通过该位置关系获知超带宽传感器配置在目标对象在运动过程中受动作影响最小的位置，如人体的腰部，可以将处于该位置的超带宽传感器对应得到的空间位置坐标确定为参考点的位置坐标，利用配置在其他关节点的惯性传感器采集数据获得与该参考点对应的相对位移信息，从而得到目标对象的三维运动轨迹。还可以是基于惯性传感器和超带宽传感器配置的相对位置关系，进行运动数据的修正，从而得到目标对象的三维运动轨迹。
在本申请实施例中通过超带宽传感器可以确定目标对象的空间位置，因此可以用于3D空间中确定目标对象的三维运动轨迹的场景，也可以应用于对目标对象的三维运动轨迹的识别和重构。
本申请实施例提供了一种轨迹处理方法，包括：获取待处理场景的场景特征信息；基于场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；获取惯性传感器的第一采集数据和超带宽传感器的第二采集数据；基于位置关系、第一采集数据和第二采集数据，生成目标对象的三维运动轨迹。本申请通过将惯性传感器和超带宽传感器结合对目标对象的运动进行定位，可以避免光学定位跟踪受光信号的影响的问题，提升了目标对象三维运动轨迹生成的精准性。
在本申请实施例的一种实现方式中，惯性传感器和超带宽传感器的位置关系包括：超带宽传感器设置目标对象的目标区域，多个惯性传感器设置目标对象的非目标区域对应的区域。其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标；
基于所述第一采集数据，确定所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息；
根据所述参考点的三维坐标以及所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息，确定所述目标对象的三维运动轨迹。
具体的，目标区域是指目标对象在运动过程动作改变程度较小的区域，如通过人体运动模型可以将腰部区域确定为目标区域，即将超带宽传感器设置在该区域，可以实时获得腰部的三维位置坐标，即空间位置坐标。将该目标区域对应的位置点确定为参考点，该位置点即为超带宽传感器设置在目标对象上的位置。
然后基于第一采集数据，即通过惯性传感器获得的目标对象的运动数据，来确定非目标区域的区域对应的位置点相对于该参考点的相对位置信息。其中，非目标区域的区域对应的位置点为设置在目标对象上的惯性传感器的点。根据惯性传感器采集到的这些点的数据，以及参考点的三维位置坐标，可以确定出这些点与该参考点的相对位置，从而可以根据该相对位置信息确定出目标对象在运动时间段内的三维运动轨迹。
举例说明，假设采用6个惯性传感器和1个UWB tag实现对待处理场景中的目标对象的三维运动轨迹的捕捉。可以将6个惯性传感器分别设置目标对象的头部、腰部、两个手腕以及两个膝盖位置，如图2中所示的201-206，根据这些惯性传感器采集得到的数据对目标对象进行实时的三维姿态估计。将1个UWB tag设置在目标对象的腰部，如图2中的202，通过与超带宽基站的信号传输来确定在不同时刻腰部的三维位置坐标，将每一时刻的腰部三维位置坐标确定为参考点的，从而可以计算出每一目标对象的手部、头部、腿部相对于腰部的位置信息，进一步可以确定出目标对象的头部、手部、腿部的姿态，以得出目标对象的三维动作轨迹。
在本申请实施例的该实施方式中通过超带宽传感器采集的数据，解决了惯性传感器无法获得不能获取空间位移信息的问题，实现了提升生成目标对象的三维运动轨迹的精准性。
在另一种实施方式中，惯性传感器和超带宽传感器的位置关系包括：目标对象的每一位置点均设置有惯性传感器和超带宽传感器，其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据；
根据所述修正后的数据，确定每一位置点的三维坐标；
基于每一位置点的三维坐标，生成所述目标对象的三维运动轨迹。
在该实施方式中，由于超带宽传感器在进行定位时需要与超带宽基站进行通信。若全部采用超带宽传感器，各个超带宽传感器会将相应的信号同时发送给基站，造成基站处理数据拥堵，数据的采样率低，无法保证采集的实时性。因此，增加惯性传感器的采集数据作为运动轨迹的补充，结合运动学模型，以空间坐标的移动确定了目标对象在空间中的运动轨迹。
具体的，可以根据惯性传感器的采样频率确定惯性传感器的标准偏差，根据超带宽传感器的采样频率确定超带宽传感器的标准偏差，然后，分别根据惯性传感器和超带宽传感器采集得到的数据，分别得到目标对象的三维坐标，然后基于得到的二者的标准偏差进行计算，得到不同时刻目标对象的各个位置点的三维坐标，从而得到目标对象的三维运动轨迹。例如，还可以通过获取惯性传感器采集到的加速度数据，以及通过超带宽传感器获得的目标对象的位置数据，从而可以基于该位置数据确定目标对象是否有位移。根据惯性传感器的加速度确定目标对象是否有位置。如果二者同时检测到有位置，则可以记录目标对象的三维位置坐标，从而得到目标对象的三维运动轨迹。例如，可以获取惯性传感器的第一采样频率和超带宽传感器的第二采样频率；基于第一采样频率和第二采样频率，确定修正参数；基于修正参数和第二采样数据对第一采样数据进行修正，得到修正后的数据。其中，修正参数可以是对应于采样偏差的系数。在本申请实施例可以基于超带宽传感器对应的采集数据对惯性传感器的采集数据进行修正，也可以是基于惯性传感器的采集数据对超带宽传感器对应的采集数据进行修正。
不同的待处理场景具有不同的生成目标对象的三维运动轨迹的需求，同时还需要考虑采集设备的成本以及数量问题。以使得在获得额目标对象高精度的三维运动轨迹的同时，采集成本也较低。
在一种实施方式中，所述基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系，包括：基于所述场景特征信息，获取超带宽传感器的数量信息；基于所述超带宽传感器的数量信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
若超带宽传感器的数量较少，如仅有一个，则可以将其设置在目标对象的目标区域，以将其在目标区域的设置点作为参考点，通过惯性传感器采集的数据来确定惯性传感器设置点与参考点之间的相对位移信息。
还可以根据超带宽基站的特征，如数据传输承载量等信息确定超带宽传感器的数量，进而确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
在获得了超带宽传感器对应的第二采集数据后，可以确定与目标区域对应的参考点的三维位置坐标。具体的，包括：将所述超带宽传感器的定位信号发送至目标基站，以获得所述目标基站基于所述定位信号确定的所述目标区域对应的参考点三维位置坐标。
在该实施方式中，第二采集数据包括超带宽传感器与超带宽基站的交互信号。具体的，若通过接收信号时间法获得三维位置时，需要超带宽传感器(如UWB tag)在第一时刻向基站发送信号，基站在收到信号后经过一段时间后向超带宽传感器发送应答信号，超带宽传感器在第二时刻收到应道信号。根据每一基站得到的第一时刻和第二时刻之间的时间差，来计算超带宽传感器设置点(如参考点)的三维位置坐标。
但是，一个超带宽传感器设置位置点的空间位置的确定，需要4个基站，若用上述接收信号时间法。在超带宽传感器和基站之间，需要来回至少三次的数据包的传输，四个基站就需要完成12次数据包交换，而且以UWB tag为例，其在连续的手打模式下工作，使得标签的功耗高、系统延迟高，而不能满足实时获取目标对象三维运动轨迹的需求。
因此，在本申请实施例中可以设置UWB基站，在该UWB基站上使用多个UWB收发模组，可以将UWB收发模组对应的天线阵列中的天线不同线，以使得天线接收或者发射信号辐射成球面体。例如，部署一个L形的二维天线阵列作为接收UWB tag信号的基站，并在该基站的电路上设计了时钟分配和同步电路，使得单个基站上所有天线的时间、频率和相位同步。当超带宽传感器发送信号时，基站的天线阵列中的每一个天线同时接收这个信号，可以计算得出空间的方位角和极角。其中，方位角是从某点的指北方向线起，以顺时针方向到目标方向线之间的水平夹角。在极坐标系中，平面上任何一点到极点的连线和极轴的夹角为极角。当超带宽传感器发出的信号到达基站后，由于基站天线的排列方式，信号可以形成形成一个球面体，可以计算出极角和方位角，从而可以得到超带宽传感器和每个基站之间信号传输的方位角和极角，通过多个基站的三维到达角的计算方式可以实时定位超带宽传感器的位置，即得到超带宽传感器所在点的三维位置。
在该实施方式中超带宽传感器与基站中仅需要进行一次数据包的传递即可，可以降低超带宽传感器的功耗和延时。
在本申请实施例提供的轨迹处理方法还可以应用在对多个目标对象进行运动轨迹识别或者生成的场景中。在对多个目标对象的三维动作轨迹识别的场景中，可以为每一目标对象设置与之对应的对象标识信息，根据该对象标识信息来区分设置在每一目标对象上的惯性传感器和超带宽传感器。使得能够基于每一对象的对象标识信息，获取与每一对象对应的惯性传感器的第一采集数据和超带宽传感器的第二采集数据。
例如，需要生成场景中的用户A和用户B的运动轨迹，用户A的对象标识信息为A11，用户B的标识信息为B21，假设用户A和用户B分别设置有5个惯性传感器和1个超带宽传感器，则用户A上的惯性传感器对应的标识为A1101、A1102、A1103、A1104、A1105，用户A上的超带宽传感器对应的标识可以为A1111；对应的，用户B上的惯性传感器对应的标识可以为B2101、B2102、B2103、B2104、B2105，用户D上的超带宽传感器对应的标识可以为B2111。使得后续用户A和用户B身上的惯性传感器和超带宽传感器在进行信号传输、数据采集以及根据它们采集得到的数据进行处理的过程中均需要携带各个传感器对应的标识信息，以便能够区分每一对应的三维运动轨迹数据。
在本申请实施例中可以实现对多个目标对象的三维运动轨迹的识别、生成以及三维动作捕获的场景中，基于每一目标对象的标识信息对设置在目标对象的惯性传感器和超带宽传感器的采集数据进行区分，使得针对各个目标对象的运动数据的采集互补影响，并且每一对象之间的实际运动也不会对其他对应的运动数据的采集造成影响。提升了在多个目标对象的三维运动轨迹的识别过程中的精准性。
在本申请实施例中还提供了一种轨迹处理装置，参见图3，该装置可以包括：
第一获取单元301，用于获取待处理场景的场景特征信息；
位置确定单元302，用于基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；
第二获取单元303，用于获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据；
生成单元304，用于基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹。
本申请实施例公开了一种轨迹处理装置，包括：第一获取单元获取待处理场景的场景特征信息；位置确定单元基于场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；第二获取单元获取惯性传感器的第一采集数据和超带宽传感器的第二采集数据；生成单元基于位置关系、第一采集数据和第二采集数据，生成目标对象的三维运动轨迹。本申请通过将惯性传感器和超带宽传感器结合对目标对象的运动进行定位，可以避免光学定位跟踪受光信号的影响的问题，提升了目标对象三维运动轨迹生成的精准性。
在一种实施方式中，所述惯性传感器和超带宽传感器的位置关系包括：所述超带宽传感器设置在所述目标对象的目标区域，多个所述惯性传感器设置在所述目标对象的非所述目标区域对应的区域，其中，生成单元包括：
第一确定子单元，用于基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标；
第二确定子单元，用于基于所述第一采集数据，确定所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息；
第三确定子单元，用于根据所述参考点的三维坐标以及所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息，确定所述目标对象的三维运动轨迹。
在另一种实施方式中，所述惯性传感器和超带宽传感器的位置关系包括：所述目标对象的每一位置点均设置有惯性传感器和超带宽传感器，其中，生成单元包括：
修正子单元，用于基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据；
第四确定子单元，用于根据所述修正后的数据，确定每一位置点的三维坐标；
生成子单元，用于基于每一位置点的三维坐标，生成所述目标对象的三维运动轨迹。
可选地，位置确定单元具体用于：
基于所述场景特征信息，获取超带宽传感器的数量信息；
基于所述超带宽传感器的数量信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
进一步地，所述第一确定子单元具体用于：
将所述超带宽传感器的定位信号发送至目标基站，以获得所述目标基站基于所述定位信号确定的所述目标区域对应的参考点三维位置坐标。
可选地，所述目标对象包括至少两个对象，其中，第一获取单元具体用于：
基于每一对象的对象标识信息，获取与每一对象对应的所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据。
进一步地，所述修正子单元具体用于：
获取惯性传感器的第一采样频率和超带宽传感器的第二采样频率；
基于所述第一采样频率和所述第二采样频率，确定修正参数；
基于所述修正参数和所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据。
需要说明的是，本实施例中各个单元的具体实现可以参考前文中的相应内容，此处不再详述。
参见图4，为本申请另一实施例提供的一种电子设备的结构示意图，该电子设备可以包括：
存储器401，用于存储程序；
处理器402，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如上述中任一项所述的轨迹处理方法。
需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。
在本申请的另一实施例中还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述中任一项所述的轨迹处理方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种轨迹处理方法，包括：
获取待处理场景的场景特征信息；
基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；
获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据；
基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹。
2.根据权利要求1所述的方法，所述惯性传感器和超带宽传感器的位置关系包括：所述超带宽传感器设置在所述目标对象的目标区域，多个所述惯性传感器设置在所述目标对象的非所述目标区域对应的区域，其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标；
基于所述第一采集数据，确定所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息；
根据所述参考点的三维坐标以及所述非目标区域的区域对应的位置点相对于所述参考点的相对位置信息，确定所述目标对象的三维运动轨迹。
3.根据权利要求1所述的方法，所述惯性传感器和超带宽传感器的位置关系包括：所述目标对象的每一位置点均设置有惯性传感器和超带宽传感器，其中，所述基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹，包括：
基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据；
根据所述修正后的数据，确定每一位置点的三维坐标；
基于每一位置点的三维坐标，生成所述目标对象的三维运动轨迹。
4.根据权利要求1所述的方法，所述基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系，包括：
基于所述场景特征信息，获取超带宽传感器的数量信息；
基于所述超带宽传感器的数量信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系。
5.根据权利要求2所述的方法，所述基于所述第二采集数据，确定与所述目标区域对应的参考点三维位置坐标，包括：
将所述超带宽传感器的定位信号发送至目标基站，以获得所述目标基站基于所述定位信号确定的所述目标区域对应的参考点三维位置坐标。
6.根据权利要求1所述的方法，所述目标对象包括至少两个对象，所述获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据，包括：
基于每一对象的对象标识信息，获取与每一对象对应的所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据。
7.根据权利要求3所述的方法，所述基于所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据，包括：
获取惯性传感器的第一采样频率和超带宽传感器的第二采样频率；
基于所述第一采样频率和所述第二采样频率，确定修正参数；
基于所述修正参数和所述第二采集数据对所述第一采集数据进行修正，得到修正后的数据。
8.一种轨迹处理装置，包括：
第一获取单元，用于获取待处理场景的场景特征信息；
位置确定单元，用于基于所述场景特征信息，确定设置在目标对象上的惯性传感器和超带宽传感器的位置关系；
第二获取单元，用于获取所述惯性传感器的第一采集数据和所述超带宽传感器的第二采集数据；
生成单元，用于基于所述位置关系、所述第一采集数据和所述第二采集数据，生成所述目标对象的三维运动轨迹。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如权利要求1-7中任一项所述的轨迹处理方法。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的轨迹处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191203.8A CN114562993A (zh) | 2022-02-28 | 2022-02-28 | 一种轨迹处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191203.8A CN114562993A (zh) | 2022-02-28 | 2022-02-28 | 一种轨迹处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114562993A true CN114562993A (zh) | 2022-05-31 |
Family
ID=81716347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210191203.8A Pending CN114562993A (zh) | 2022-02-28 | 2022-02-28 | 一种轨迹处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114562993A (zh) |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
| WO2010001109A2 (en) * | 2008-07-04 | 2010-01-07 | Berlin-Armstrong Locatives Ltd | Method of generating motion capture data and/or animation data |
| US20110025562A1 (en) * | 2009-08-03 | 2011-02-03 | Xsens Technologies, B.V. | Tightly Coupled UWB/IMU Pose Estimation System and Method |
| US20110046915A1 (en) * | 2007-05-15 | 2011-02-24 | Xsens Holding B.V. | Use of positioning aiding system for inertial motion capture |
| US20120172126A1 (en) * | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Method and apparatus for tracking orientation of a user |
| US20120220233A1 (en) * | 2011-02-28 | 2012-08-30 | Qualcomm Incorporated | Ranging with body motion capture |
| CN103150016A (zh) * | 2013-02-20 | 2013-06-12 | 兰州交通大学 | 一种融合超宽带定位与惯性传感技术的多人动作捕捉系统 |
| CN103279186A (zh) * | 2013-05-07 | 2013-09-04 | 兰州交通大学 | 融合光学定位与惯性传感的多目标运动捕捉系统 |
| WO2014150961A1 (en) * | 2013-03-15 | 2014-09-25 | Jointvue, Llc | Motion tracking system with inertial-based sensing units |
| US20150192413A1 (en) * | 2014-01-09 | 2015-07-09 | Xsens Holding B.V. | Motion Tracking with Reduced On-Body Sensors Set |
| CN104834917A (zh) * | 2015-05-20 | 2015-08-12 | 北京诺亦腾科技有限公司 | 一种混合运动捕捉系统及方法 |
| US20170103541A1 (en) * | 2015-10-12 | 2017-04-13 | Xsens Holding B.V. | Integration of Inertial Tracking and Position Aiding for Motion Capture |
| CN106886288A (zh) * | 2017-03-24 | 2017-06-23 | 苏州创捷传媒展览股份有限公司 | 一种姿态动态捕捉方法及装置 |
| CN107923740A (zh) * | 2015-09-09 | 2018-04-17 | 索尼公司 | 传感器设备、传感器系统以及信息处理设备 |
| CN108627153A (zh) * | 2018-05-11 | 2018-10-09 | 南京大学 | 一种基于惯性传感器的刚体运动追踪系统及其工作方法 |
| CN109741371A (zh) * | 2019-01-07 | 2019-05-10 | 西安理工大学 | 一种基于惯性传感器的人体动作描述方法 |
| CN110393533A (zh) * | 2019-07-25 | 2019-11-01 | 森博迪(深圳)科技有限公司 | 一种结合惯性和红外的穿戴式动作捕捉系统及其方法 |
| RU2018145205A3 (zh) * | 2018-12-19 | 2020-06-19 | ||
| CN111318009A (zh) * | 2020-01-19 | 2020-06-23 | 张衡 | 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法 |
| CN111382701A (zh) * | 2020-03-09 | 2020-07-07 | 北京字节跳动网络技术有限公司 | 动作捕捉方法、装置、电子设备及计算机可读存储介质 |
| CN112097768A (zh) * | 2020-11-17 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 机器人位姿的确定方法、装置、机器人及存储介质 |
| CN112957033A (zh) * | 2021-02-01 | 2021-06-15 | 山东大学 | 人机协作中人体实时室内定位与运动姿态捕捉方法与系统 |
| CN113038362A (zh) * | 2021-02-09 | 2021-06-25 | 华为技术有限公司 | 超宽带定位方法及系统 |
| CN113074739A (zh) * | 2021-04-09 | 2021-07-06 | 重庆邮电大学 | 基于动态鲁棒容积卡尔曼的uwb/ins融合定位方法 |
| CN113220119A (zh) * | 2021-04-22 | 2021-08-06 | 南京多禾互娱科技股份有限公司 | 一种惯性传感器运动捕捉装置 |
| CN113887280A (zh) * | 2021-08-27 | 2022-01-04 | 北京机械设备研究所 | 动作捕捉测试方法、动作捕捉过程遮挡点的位置检测方法 |
| CN114078279A (zh) * | 2020-08-11 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 动作捕捉方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-28 CN CN202210191203.8A patent/CN114562993A/zh active Pending
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110046915A1 (en) * | 2007-05-15 | 2011-02-24 | Xsens Holding B.V. | Use of positioning aiding system for inertial motion capture |
| US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
| WO2010001109A2 (en) * | 2008-07-04 | 2010-01-07 | Berlin-Armstrong Locatives Ltd | Method of generating motion capture data and/or animation data |
| US20110025562A1 (en) * | 2009-08-03 | 2011-02-03 | Xsens Technologies, B.V. | Tightly Coupled UWB/IMU Pose Estimation System and Method |
| US20120172126A1 (en) * | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Method and apparatus for tracking orientation of a user |
| US20120220233A1 (en) * | 2011-02-28 | 2012-08-30 | Qualcomm Incorporated | Ranging with body motion capture |
| CN103150016A (zh) * | 2013-02-20 | 2013-06-12 | 兰州交通大学 | 一种融合超宽带定位与惯性传感技术的多人动作捕捉系统 |
| WO2014150961A1 (en) * | 2013-03-15 | 2014-09-25 | Jointvue, Llc | Motion tracking system with inertial-based sensing units |
| CN103279186A (zh) * | 2013-05-07 | 2013-09-04 | 兰州交通大学 | 融合光学定位与惯性传感的多目标运动捕捉系统 |
| US20150192413A1 (en) * | 2014-01-09 | 2015-07-09 | Xsens Holding B.V. | Motion Tracking with Reduced On-Body Sensors Set |
| CN104834917A (zh) * | 2015-05-20 | 2015-08-12 | 北京诺亦腾科技有限公司 | 一种混合运动捕捉系统及方法 |
| CN107923740A (zh) * | 2015-09-09 | 2018-04-17 | 索尼公司 | 传感器设备、传感器系统以及信息处理设备 |
| US20170103541A1 (en) * | 2015-10-12 | 2017-04-13 | Xsens Holding B.V. | Integration of Inertial Tracking and Position Aiding for Motion Capture |
| CN106886288A (zh) * | 2017-03-24 | 2017-06-23 | 苏州创捷传媒展览股份有限公司 | 一种姿态动态捕捉方法及装置 |
| CN108627153A (zh) * | 2018-05-11 | 2018-10-09 | 南京大学 | 一种基于惯性传感器的刚体运动追踪系统及其工作方法 |
| RU2018145205A3 (zh) * | 2018-12-19 | 2020-06-19 | ||
| CN109741371A (zh) * | 2019-01-07 | 2019-05-10 | 西安理工大学 | 一种基于惯性传感器的人体动作描述方法 |
| CN110393533A (zh) * | 2019-07-25 | 2019-11-01 | 森博迪(深圳)科技有限公司 | 一种结合惯性和红外的穿戴式动作捕捉系统及其方法 |
| CN111318009A (zh) * | 2020-01-19 | 2020-06-23 | 张衡 | 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法 |
| CN111382701A (zh) * | 2020-03-09 | 2020-07-07 | 北京字节跳动网络技术有限公司 | 动作捕捉方法、装置、电子设备及计算机可读存储介质 |
| CN114078279A (zh) * | 2020-08-11 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 动作捕捉方法、装置、电子设备及存储介质 |
| CN112097768A (zh) * | 2020-11-17 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 机器人位姿的确定方法、装置、机器人及存储介质 |
| CN112957033A (zh) * | 2021-02-01 | 2021-06-15 | 山东大学 | 人机协作中人体实时室内定位与运动姿态捕捉方法与系统 |
| CN113038362A (zh) * | 2021-02-09 | 2021-06-25 | 华为技术有限公司 | 超宽带定位方法及系统 |
| CN113074739A (zh) * | 2021-04-09 | 2021-07-06 | 重庆邮电大学 | 基于动态鲁棒容积卡尔曼的uwb/ins融合定位方法 |
| CN113220119A (zh) * | 2021-04-22 | 2021-08-06 | 南京多禾互娱科技股份有限公司 | 一种惯性传感器运动捕捉装置 |
| CN113887280A (zh) * | 2021-08-27 | 2022-01-04 | 北京机械设备研究所 | 动作捕捉测试方法、动作捕捉过程遮挡点的位置检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨苗: "室内人机协作中人体姿态检测与定位方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 December 2021 (2021-12-15), pages 11 - 20 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10652695B2 (en) | Determining the geographic location of a portable electronic device | |
| CN106774844B (zh) | 一种用于虚拟定位的方法及设备 | |
| US9273982B2 (en) | Hybrid location test system and method | |
| CN105527643B (zh) | 移动终端的定位方法和移动终端 | |
| WO2016183812A1 (zh) | 一种混合运动捕捉系统及方法 | |
| EP2572545B1 (en) | Determining the geographic locaton of a portable electronic device | |
| CN107810426A (zh) | 用于确定远程rf信号源的相对方向的方法、设备和计算机程序产品 | |
| CN104834917A (zh) | 一种混合运动捕捉系统及方法 | |
| CN112040394B (zh) | 一种基于ai深度学习算法的蓝牙定位方法及系统 | |
| KR20160096473A (ko) | 동작 평가 시스템 및 방법 | |
| CN106291455A (zh) | 基于运动状态信息的定位装置及方法 | |
| CN104197987A (zh) | 一种组合式运动捕捉系统 | |
| CN111007455B (zh) | 定位系统及方法、数据库、神经网络模型训练方法 | |
| CN111684293A (zh) | 用于跟踪电子装置的移动的设备和方法 | |
| CN108508404A (zh) | 一种基于天线阵列的定位方法及系统 | |
| JP2001265521A (ja) | モーションキャプチャシステム | |
| CN113534047A (zh) | 设备定位方法和装置 | |
| US9292963B2 (en) | Three-dimensional object model determination using a beacon | |
| CN110658515A (zh) | 一种基于uwb单基站的多用户imu定位对齐方法 | |
| CN112256125B (zh) | 一种基于激光大空间定位与光惯互补动作捕捉系统及方法 | |
| CN107229055B (zh) | 移动设备定位方法和移动设备定位装置 | |
| CN114562993A (zh) | 一种轨迹处理方法、装置及电子设备 | |
| TWI706295B (zh) | 用於確定軌跡的系統和方法 | |
| Jatesiktat et al. | Recovery of forearm occluded trajectory in kinect using a wrist-mounted inertial measurement unit | |
| Tiemann et al. | Improving the robustness of control-grade ultra-wideband localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |