CN116086462B - 轨迹数据处理方法、装置、介质和计算设备 - Google Patents

Abstract

本发明的实施方式提供了一种轨迹数据处理方法、装置、介质和计算设备。该方法包括：通过传感器采集与操作视频匹配的传感器参数；操作视频的视频时间段与传感器参数的采集时间段相同；传感器参数中至少包括加速度集合和角速度集合；对加速度集合进行计算，得到加速度轨迹坐标集合；其中加速度轨迹坐标集合中包括多个加速度轨迹坐标；对角速度集合进行计算，得到偏转姿态数据集合；其中偏转姿态数据集合中包括多个偏转姿态数据，偏转姿态数据与加速度轨迹坐标一一对应；将加速度轨迹坐标集合和偏转姿态数据集合映射至预设坐标系中得到轨迹数据图像；轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。本发明可以提升EUS检查的准确性。

Description

轨迹数据处理方法、装置、介质和计算设备

技术领域

本发明的实施方式涉及数据处理技术领域，更具体地，本发明的实施方式涉及一种轨迹数据处理方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

超声内镜（EUS）是将内镜和超声相结合的消化道检查技术，将微型高频超声探头安置在内镜顶端，当内镜插入体腔后，在内镜直接观察消化道黏膜病变的同时，可利用内镜下的超声进行实时扫描，可以获得胃肠道的层次结构的组织学特征及周围邻近脏器的超声图像，是消化内镜领域最有前景的新技术，目前其应用已经渗透到多系统疾病的诊治。

然而，EUS的操作手法复杂，通常需要操作者通过双手操作同时实现EUS检查过程，对检查医生的要求较高，需要检查医生具备相应的解剖学结构知识和大量临床操作的经验。由于EUS检查的实现过程较为复杂，使用EUS进行检查的过程可能会出现误操作，目前也无法对误操作进行识别，导致操作者难以意识到检查过程中出现的失误，从而降低了EUS检查的准确性。

发明内容

在本上下文中，本发明的实施方式期望提供一种轨迹数据处理方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种轨迹数据处理方法，包括：

通过传感器采集与操作视频匹配的传感器参数；其中，所述传感器固定于手部；所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合；

对所述加速度集合进行计算，得到加速度轨迹坐标集合；其中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；

对所述角速度集合进行计算，得到偏转姿态数据集合；其中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；

将所述加速度轨迹坐标集合和所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像；所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。

在本实施方式的一个实施例中，所述传感器至少包括加速度传感器和角速度传感器，所述通过传感器采集与操作视频匹配的传感器参数，包括：

通过所述加速度传感器采集与操作视频匹配的初始加速度集合；

通过所述角速度传感器采集与所述操作视频匹配的角速度集合；

基于预设的转移矩阵和噪声协方差矩阵，对所述初始加速度集合进行预测拟合，得到加速度集合；

将所述加速度集合和所述角速度集合确定为传感器参数。

在本实施方式的一个实施例中，所述加速度集合中包括多个加速度，且各个加速度分别对应各个处于所述采集时间段内的时间点，所述对所述加速度集合进行计算，得到加速度轨迹坐标集合，包括：

将预先设置的初始加速度轨迹坐标添加至加速度轨迹坐标集合中；

基于时间点的先后顺序遍历所述加速度集合，得到各个加速度对应的加速度轨迹坐标；

将各个所述加速度轨迹坐标添加至所述加速度轨迹坐标集合中，得到更新后的加速度轨迹坐标集合。

在本实施方式的一个实施例中，所述加速度包括第一方向加速度、第二方向加速度以及第三方向加速度；

基于时间点的先后顺序遍历所述加速度集合，得到一个目标加速度对应的加速度轨迹坐标，包括：

确定与所述目标加速度的目标时间点对应的前一时间点；

基于时间点的先后顺序从所述加速度轨迹坐标集合中获取与所述前一时间点对应的前一加速度轨迹坐标；其中，所述前一加速度轨迹坐标中包括前一第一方向坐标、前一第二方向坐标以及前一第三方向坐标；

根据所述前一第一方向坐标和所述第一方向加速度，得到第一方向加速度轨迹坐标；

根据所述前一第二方向坐标和所述第二方向加速度，得到第二方向加速度轨迹坐标；

根据所述前一第三方向坐标和所述第三方向加速度，得到第三方向加速度轨迹坐标；

将所述第一方向加速度轨迹坐标、所述第二方向加速度轨迹坐标以及所述第三方向加速度轨迹坐标确定为与所述目标加速度对应的加速度轨迹坐标。

在本实施方式的一个实施例中，所述角速度集合中包括多个角速度，且各个角速度分别对应各个处于所述采集时间段内的时间点，所述对所述角速度集合进行计算，得到偏转姿态数据集合，包括：

将预先设置的初始偏转姿态数据添加至偏转姿态数据集合中；

根据预设参数，基于时间点的先后顺序遍历所述角速度集合，得到各个角速度对应的偏转姿态数据；

将各个所述偏转姿态数据添加至所述偏转姿态数据集合中，得到更新后的偏转姿态数据集合。

在本实施方式的一个实施例中，所述角速度包括第一方向角速度、第二方向角速度以及第三方向角速度；

根据预设参数，基于一个目标时间点对应的一个目标角速度，得到一个偏转姿态数据，包括：

根据预设参数、所述前一第一方向坐标以及所述第一方向角速度，得到第一方向偏转姿态数据；

根据所述预设参数、所述前一第二方向坐标以及所述第二方向角速度，得到第二方向偏转姿态数据；

根据所述预设参数、所述前一第三方向坐标以及所述第三方向角速度，得到第三方向偏转姿态数据；

将所述第一方向偏转姿态数据、所述第二方向偏转姿态数据以及所述第三方向偏转姿态数据确定为与所述目标角速度对应的偏转姿态数据。

在本实施方式的一个实施例中，所述得到偏转姿态数据集合之后，所述方法还包括：

根据所述加速度轨迹坐标集合和所述偏转姿态数据集合，模拟得到手部动作影像；

将所述手部动作影像和所述操作视频加载至三维场景中，得到动作轨迹仿真影像；其中，所述手部动作影像的时长与所述操作视频的采集时间段的时长相同。

在本发明实施方式的第二方面中，提供了一种轨迹数据处理装置，包括：

采集单元，用于通过传感器采集与操作视频匹配的传感器参数；其中，所述传感器固定于手部；所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合；

第一计算单元，用于对所述加速度集合进行计算，得到加速度轨迹坐标集合；其中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；

第二计算单元，用于对所述角速度集合进行计算，得到偏转姿态数据集合；其中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；

映射单元，用于将所述加速度轨迹坐标集合和所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像；所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。

在本发明实施方式的第三方面中，提供了一种计算设备，所述计算设备包括：至少一个处理器、存储器和输入输出单元；其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面中任一项所述的方法。

在本发明实施方式的第四方面中，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行第一方面中任一项所述的方法。

根据本发明实施方式的轨迹数据处理方法、装置、介质和计算设备，能够通过固定在手部的传感器采集到手部运动过程的加速度集合和角速度集合；通过对加速度集合进行计算可以得到加速度轨迹坐标集合；通过对角速度集合进行计算可以得到手部的偏转姿态数据集合；且加速度轨迹坐标与偏转姿态数据一一对应，即可以通过对应的加速度轨迹坐标和偏转姿态数据表示手部的运动状态；可见，将加速度轨迹坐标集合与偏转姿态数据集合映射至预设坐标系中，得到的轨迹数据图像可以清晰地表示手部在各个时间点的移动的加速度、角速度以及速度；从而可以基于轨迹数据图像对EUS检查过程中的误操作进行识别，准确的识别出检查过程中出现的失误，提升了EUS检查的准确性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为本发明一实施例提供的轨迹数据处理方法的流程示意图；

图2为本发明一实施例提供的加速度轨迹坐标集合更新方法的流程示意图；

图3为本发明一实施例提供的偏转姿态数据集合更新方法的流程示意图；

图4为本发明一实施例提供的基于轨迹数据处理方法绘制的轨迹数据图像；

图5为本发明一实施例提供的动作轨迹仿真影像；

图6为本发明一实施例提供的轨迹数据处理装置的结构示意图；

图7为本发明一实施例提供的一种介质的结构示意图；

图8为本发明一实施例提供的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种轨迹数据处理方法、装置、介质和计算设备。

需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

示例性方法

下面参考图1，图1为本发明一实施例提供的轨迹数据处理方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。

图1所示的本发明一实施例提供的轨迹数据处理方法的流程，包括：

步骤S101，通过传感器采集与操作视频匹配的传感器参数。

本发明实施例中，所述传感器固定于手部，即传感器可以固定于手腕处、小臂处等，对此，本发明实施例不做限定。所述传感器至少包括加速度传感器和角速度传感器。

可选的，将传感器以及传感器的收发结构可以进行微型化处理，处于医院感控的需求，需要将其放入手套内部与外部环境进行隔绝，同时进行固定，通过腕部的传感器采集各项参数。

采集的传感器参数可以包括左手的传感器参数和/或右手的传感器参数，左右手可以分别获取各自的加速度（单位：g）和角速度（单位：°/秒）正负参数信息；收集传感器参数记录的时间点t_i，时间单位是毫秒，时间点（年月日时分秒毫秒），格式为yyMMddHHmmssSSS。

本发明实施例中，操作视频可以为配合手部动作同步显示内镜检查的视频，可以通过视频采集装置采集超声内镜实时记录的影像数据，包括每帧的画面和图像采集的时间点，以时间作为唯一标志，关联左手与右手的加速度和角速度参数和视频帧。所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合。

作为一种可选的实施方式，步骤S101通过传感器采集与操作视频匹配的传感器参数的方式具体可以为：

通过所述加速度传感器采集与操作视频匹配的初始加速度集合；

通过所述角速度传感器采集与所述操作视频匹配的角速度集合；

基于预设的转移矩阵和噪声协方差矩阵，对所述初始加速度集合进行预测拟合，得到加速度集合；

将所述加速度集合和所述角速度集合确定为传感器参数。

其中，实施这种实施方式，可以通过加速度传感器采集初始加速度集合，通过角速度传感器采集角速度集合；并通过预设的转移矩阵和噪声协方差矩阵对初始加速度集合中的加速度进行预测拟合，以使得到的加速度集合中的加速度更加真实合理；进而可以将加速度集合和角速度集合共同确定为传感器参数，以使传感器参数中可以包含有手部运动的加速度数据和角速度数据，提升了传感器参数的全面性和真实性。

本发明实施例中，可以通过任意轨迹预测的拟合函数对初始加速度集合进行预测拟合。例如，可以使用卡尔曼（Kalman）滤波器对初始加速度集合进行预测拟合。具体的，可以通过预先设置的滤波器测量矩阵的转移矩阵Trans、以及测量噪声协方差矩阵Noise，并将Trans和Noise代入Kalman滤波器，完成Kalman滤波器程序的初始化操作；以及将初始加速度集合输入至Kalman滤波器进行预测拟合，得到加速度集合。

步骤S102，对所述加速度集合进行计算，得到加速度轨迹坐标集合。

本发明实施例中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；所述加速度集合中包括多个加速度，且各个加速度分别对应各个处于所述采集时间段内的时间点。

本发明另一实施例中，为了确定出更加准确的手部的运动状态，可以按照时间点的先后顺序遍历加速度集合，得到每个加速度的加速度轨迹坐标，如图2所示，则上述步骤S102由以下步骤S201~步骤S203代替：

步骤S201，将预先设置的初始加速度轨迹坐标添加至加速度轨迹坐标集合中。

本发明实施例中，可以先创建空白加速度轨迹坐标集合（pxx、pyy和pzz），并且预先设置的初始加速度轨迹坐标均可以为0。

步骤S202，基于时间点的先后顺序遍历所述加速度集合，得到各个加速度对应的加速度轨迹坐标。

步骤S203，将各个所述加速度轨迹坐标添加至所述加速度轨迹坐标集合中，得到更新后的加速度轨迹坐标集合。

实施上述的步骤S201~步骤S203，可以按照时间点的先后顺序遍历加速度集合，得到每个加速度的加速度轨迹坐标，通过加速度轨迹坐标可以更加直观的看出不同时间点的手部运动的加速度数据，从而确定出更加准确的手部的运动状态。

本发明实施例中，所述加速度包括第一方向加速度、第二方向加速度以及第三方向加速度。加速度集合可以为p_acc。

可选的，基于时间点的先后顺序遍历所述加速度集合，得到一个目标加速度对应的加速度轨迹坐标的方式具体可以为：

确定与所述目标加速度的目标时间点对应的前一时间点；

基于时间点的先后顺序从所述加速度轨迹坐标集合中获取与所述前一时间点对应的前一加速度轨迹坐标；其中，所述前一加速度轨迹坐标中包括前一第一方向坐标、前一第二方向坐标以及前一第三方向坐标；

根据所述前一第一方向坐标和所述第一方向加速度，得到第一方向加速度轨迹坐标；

根据所述前一第二方向坐标和所述第二方向加速度，得到第二方向加速度轨迹坐标；

根据所述前一第三方向坐标和所述第三方向加速度，得到第三方向加速度轨迹坐标；

将所述第一方向加速度轨迹坐标、所述第二方向加速度轨迹坐标以及所述第三方向加速度轨迹坐标确定为与所述目标加速度对应的加速度轨迹坐标。

其中，实施这种实施方式，可以获取到目标时间点对应的前一时间点的前一加速度轨迹坐标，该前一加速度轨迹坐标中可以包括三个方向的坐标；基于前一加速度轨迹坐标中的三个方向的坐标分别确定出加速度轨迹坐标的三个方向的坐标，以使得到的加速度轨迹坐标更加精确。

具体的，根据所述前一第一方向坐标pxx_-1和所述第一方向加速度p_acc_i0，得到第一方向加速度轨迹坐标ax_i的公式为：

ax_i= pxx_-1+ p_acc_i0

根据所述前一第二方向坐标pyy_-1和所述第二方向加速度p_acc_i1，得到第二方向加速度轨迹坐标ay_i的公式为：

ay_i= pyy_-1+ p_acc_i1

根据所述前一第三方向坐标pzz_-1和所述第三方向加速度p_acc_i2，得到第三方向加速度轨迹坐标az_i的公式为：

az_i= pzz_-1+ p_acc_i2

此时，可以将得到的第一方向加速度轨迹坐标ax_i、第二方向加速度轨迹坐标ay_i以及第三方向加速度轨迹坐标az_i分别添加至加速度轨迹坐标集合（pxx、pyy和pzz）中。

步骤S103，对所述角速度集合进行计算，得到偏转姿态数据集合。

本发明实施例中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；所述角速度集合中包括多个角速度，且各个角速度分别对应各个处于所述采集时间段内的时间点。

本发明另一实施例中，为了确定出更加准确的手部的偏转状态，可以按照时间点的先后顺序遍历角速度集合，并根据预设参数得到每个角速度的偏转姿态数据，如图3所示，则上述步骤S103由以下步骤S301~步骤S303代替：

步骤S301，将预先设置的初始偏转姿态数据添加至偏转姿态数据集合中。

本发明实施例中，可以先创建空白偏转姿态数据集合（rxx、ryy和rzz），并且预先设置的初始偏转姿态数据均可以为0。

步骤S302，根据预设参数，基于时间点的先后顺序遍历所述角速度集合，得到各个角速度对应的偏转姿态数据。

步骤S303，将各个所述偏转姿态数据添加至所述偏转姿态数据集合中，得到更新后的偏转姿态数据集合。

实施上述的步骤S301~步骤S303，可以按照时间点的先后顺序遍历角速度集合，并根据预设参数得到每个角速度的偏转姿态数据，通过偏转姿态数据可以更加直观的看出不同时间点的手部运动的偏转姿态，从而确定出更加准确的手部的偏转状态。

本发明实施例中，所述角速度包括第一方向角速度、第二方向角速度以及第三方向角速度；角速度集合可以为deg。

可选的，根据预设参数，基于一个目标时间点对应的一个目标角速度，得到一个偏转姿态数据的方式具体可以为：

根据预设参数、所述前一第一方向坐标以及所述第一方向角速度，得到第一方向偏转姿态数据；

根据所述预设参数、所述前一第二方向坐标以及所述第二方向角速度，得到第二方向偏转姿态数据；

根据所述预设参数、所述前一第三方向坐标以及所述第三方向角速度，得到第三方向偏转姿态数据；

将所述第一方向偏转姿态数据、所述第二方向偏转姿态数据以及所述第三方向偏转姿态数据确定为与所述目标角速度对应的偏转姿态数据。

其中，实施这种实施方式，可以根据前一时间点的包含三个方向坐标的前一加速度轨迹坐标以及包含三个方向坐标的目标角速度，确定出偏转姿态数据的三个方向的坐标，以使得到的偏转姿态数据更加精确。

具体的，根据预设参数、所述前一第一方向坐标pxx_-1以及所述第一方向角速度deg_i0，得到第一方向偏转姿态数据rx_i的公式为：

rx_i= pxx_-1+ deg_i0×λ

根据所述预设参数、所述前一第二方向坐标pyy_-1以及所述第二方向角速度deg_i1，得到第二方向偏转姿态数据ry_i的公式为：

ry_i= pyy_-1+ deg_i1×λ

根据所述预设参数、所述前一第三方向坐标pzz_-1以及所述第三方向角速度deg_i2，得到第三方向偏转姿态数据rz_i的公式为：

rz_i= pzz_-1+ deg_i2×λ

其中，λ可以为预设参数，以及可以将得到的第一方向偏转姿态数据rx_i、第二方向偏转姿态数据ry_i以及第三方向偏转姿态数据rz_i分别添加至偏转姿态数据集合（rxx、ryy和rzz）中。

步骤S104，将所述加速度轨迹坐标集合和所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像。

本发明实施例中，所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。

请一并参阅图4，图4为本发明一实施例提供的基于轨迹数据处理方法绘制的轨迹数据图像。其中，L表示左手移动的加速度移动轨迹，R表示右手移动的加速度移动轨迹。每个箭头都可以表示手部在一个时间点上移动的加速度、角速度以及速度，即每个箭头的起始点的坐标可以表示手部移动的加速度，每个箭头的方向可以表示手部的角速度（即偏转姿态），每个箭头的长度可以表示在该时间点上手部的速度。

作为一种可选的实施方式，步骤S103之后，还可以执行以下步骤：

根据所述加速度轨迹坐标集合和所述偏转姿态数据集合，模拟得到手部动作影像；

将所述手部动作影像和所述操作视频加载至三维场景中，得到动作轨迹仿真影像；其中，所述手部动作影像的时长与所述操作视频的采集时间段的时长相同。

其中，实施这种实施方式，可以将加速度轨迹坐标集合和偏转姿态数据集合进行拟合，得到手部动作影像；由于加速度集合和角速度集合的采集时间段与操作视频的视频时间段是匹配的，因此手部动作影像与操作视频也是匹配的，可以将手部动作影像和操作视频加载至三维场景中，得到工作轨迹仿真影像，以使观看者可以在看到手部动作的同时，一并看到手部动作对应的操作视频的画面，以使手部动作与操作视频更加直观的结合。

举例来说，得到动作轨迹仿真影像的具体实现方式可以为：

1、加载三维场景

启动4维仿真程序，加载左手模型，加载右手模型，加载虚拟显示器模型，加载背景模型，调整左右手模型至EUS检查前标准准备动作，将虚拟显示器至左右手前方，用于在虚拟环境中播放操作视频，将光源调整到适当位置，并调整虚拟相机到第一人称进行EUS检查的角度。

2、接收传感器的参数和间隔时间

仿真程序在完成三维场景加载后，启动传感器接收程序，开始接受传感器处理后的加速度集合acc和角速度集合deg，得到0.5秒内产生的pxx、pyy、pzz、rxx、ryy和rzz。

3、将EUS检查视频加载至三维场景

在虚拟显示器模型面向虚拟相机的面上加载接收图像的矩阵C，其中C的列数量为EUS视频图像像素宽度，行数量为视频像素高，每个元素为rgb三原色组成的数组c=[r,g,b]，其中r∈[0,255],g∈[0,255]和b∈[0,255]。

4、 四维时空同步播放视频并还原手部动作

加载一下临时数组最后一个元素坐标pxx_-1、pyy_-1、pzz_-1、rxx_-1、ryy_-1和rzz_-1，还原手部的操作，配合手部动作同步显示内镜检查的操作视频。

请一并参阅图5，图5为本发明一实施例提供的动作轨迹仿真影像，其中：下方存在左手手部仿真模型和右手手部仿真模型，中间为采集到的操作视频，手部动作与采集的操作视频播放的画面匹配。

本发明能够基于轨迹数据图像对EUS检查过程中的误操作进行识别，准确的识别出检查过程中出现的失误，提升了EUS检查的准确性。此外，本发明还可以提升传感器参数的全面性和真实性。此外，本发明还可以确定出更加准确的手部的运动状态。此外，本发明还可以使得到的加速度轨迹坐标更加精确。此外，本发明还可以确定出更加准确的手部的片状偏转状态。此外，本发明还可以使得到的偏转姿态数据更加精确。此外，本发明还可以使手部动作与操作视频更加直观的结合。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的一种轨迹数据处理装置进行说明，该装置包括：

采集单元601，用于通过传感器采集与操作视频匹配的传感器参数；其中，所述传感器固定于手部；所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合；

第一计算单元602，用于对采集单元601得到的所述加速度集合进行计算，得到加速度轨迹坐标集合；其中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；

第二计算单元603，用于对采集单元601得到的所述角速度集合进行计算，得到偏转姿态数据集合；其中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；

映射单元604，用于将第一计算单元602得到的所述加速度轨迹坐标集合和第二计算单元603得到的所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像；所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。

作为一种可选的实施方式，所述传感器至少包括加速度传感器和角速度传感器，采集单元601通过传感器采集与操作视频匹配的传感器参数的方式具体可以为：

通过所述加速度传感器采集与操作视频匹配的初始加速度集合；

通过所述角速度传感器采集与所述操作视频匹配的角速度集合；

基于预设的转移矩阵和噪声协方差矩阵，对所述初始加速度集合进行预测拟合，得到加速度集合；

将所述加速度集合和所述角速度集合确定为传感器参数。

其中，实施这种实施方式，可以通过加速度传感器采集初始加速度集合，通过角速度传感器采集角速度集合；并通过预设的转移矩阵和噪声协方差矩阵对初始加速度集合中的加速度进行预测拟合，以使得到的加速度集合中的加速度更加真实合理；进而可以将加速度集合和角速度集合共同确定为传感器参数，以使传感器参数中可以包含有手部运动的加速度数据和角速度数据，提升了传感器参数的全面性和真实性。

作为一种可选的实施方式，所述加速度集合中包括多个加速度，且各个加速度分别对应各个处于所述采集时间段内的时间点，第一计算单元602对所述加速度集合进行计算，得到加速度轨迹坐标集合的方式具体可以为：

将预先设置的初始加速度轨迹坐标添加至加速度轨迹坐标集合中；

基于时间点的先后顺序遍历所述加速度集合，得到各个加速度对应的加速度轨迹坐标；

将各个所述加速度轨迹坐标添加至所述加速度轨迹坐标集合中，得到更新后的加速度轨迹坐标集合。

其中，实施这种实施方式，可以按照时间点的先后顺序遍历加速度集合，得到每个加速度的加速度轨迹坐标，通过加速度轨迹坐标可以更加直观的看出不同时间点的手部运动的加速度数据，从而确定出更加准确的手部的运动状态。

作为一种可选的实施方式，所述加速度包括第一方向加速度、第二方向加速度以及第三方向加速度，第一计算单元602基于时间点的先后顺序遍历所述加速度集合，得到一个目标加速度对应的加速度轨迹坐标的方式具体可以为：

确定与所述目标加速度的目标时间点对应的前一时间点；

基于时间点的先后顺序从所述加速度轨迹坐标集合中获取与所述前一时间点对应的前一加速度轨迹坐标；其中，所述前一加速度轨迹坐标中包括前一第一方向坐标、前一第二方向坐标以及前一第三方向坐标；

根据所述前一第一方向坐标和所述第一方向加速度，得到第一方向加速度轨迹坐标；

根据所述前一第二方向坐标和所述第二方向加速度，得到第二方向加速度轨迹坐标；

根据所述前一第三方向坐标和所述第三方向加速度，得到第三方向加速度轨迹坐标；

将所述第一方向加速度轨迹坐标、所述第二方向加速度轨迹坐标以及所述第三方向加速度轨迹坐标确定为与所述目标加速度对应的加速度轨迹坐标。

其中，实施这种实施方式，可以获取到目标时间点对应的前一时间点的前一加速度轨迹坐标，该前一加速度轨迹坐标中可以包括三个方向的坐标；基于前一加速度轨迹坐标中的三个方向的坐标分别确定出加速度轨迹坐标的三个方向的坐标，以使得到的加速度轨迹坐标更加精确。

作为一种可选的实施方式，所述角速度集合中包括多个角速度，且各个角速度分别对应各个处于所述采集时间段内的时间点，第二计算单元603对所述角速度集合进行计算，得到偏转姿态数据集合的方式具体可以为：

将预先设置的初始偏转姿态数据添加至偏转姿态数据集合中；

根据预设参数，基于时间点的先后顺序遍历所述角速度集合，得到各个角速度对应的偏转姿态数据；

将各个所述偏转姿态数据添加至所述偏转姿态数据集合中，得到更新后的偏转姿态数据集合。

其中，实施这种实施方式，可以按照时间点的先后顺序遍历角速度集合，并根据预设参数得到每个角速度的偏转姿态数据，通过偏转姿态数据可以更加直观的看出不同时间点的手部运动的偏转姿态，从而确定出更加准确的手部的片状偏转状态。

作为一种可选的实施方式，所述角速度包括第一方向角速度、第二方向角速度以及第三方向角速度，第二计算单元603所述角速度包括第一方向角速度、第二方向角速度以及第三方向角速度的方式具体可以为：

根据预设参数，基于一个目标时间点对应的一个目标角速度，得到一个偏转姿态数据，包括：

根据预设参数、所述前一第一方向坐标以及所述第一方向角速度，得到第一方向偏转姿态数据；

根据所述预设参数、所述前一第二方向坐标以及所述第二方向角速度，得到第二方向偏转姿态数据；

根据所述预设参数、所述前一第三方向坐标以及所述第三方向角速度，得到第三方向偏转姿态数据；

将所述第一方向偏转姿态数据、所述第二方向偏转姿态数据以及所述第三方向偏转姿态数据确定为与所述目标角速度对应的偏转姿态数据。

其中，实施这种实施方式，可以根据前一时间点的包含三个方向坐标的前一加速度轨迹坐标以及包含三个方向坐标的目标角速度，确定出偏转姿态数据的三个方向的坐标，以使得到的偏转姿态数据更加精确。

作为一种可选的实施方式，第二计算单元603还用于：

根据所述加速度轨迹坐标集合和所述偏转姿态数据集合，模拟得到手部动作影像；

将所述手部动作影像和所述操作视频加载至三维场景中，得到动作轨迹仿真影像；其中，所述手部动作影像的时长与所述操作视频的采集时间段的时长相同。

其中，实施这种实施方式，可以将加速度轨迹坐标集合和偏转姿态数据集合进行拟合，得到手部动作影像；由于加速度集合和角速度集合的采集时间段与操作视频的视频时间段是匹配的，因此手部动作影像与操作视频也是匹配的，可以将手部动作影像和操作视频加载至三维场景中，得到工作轨迹仿真影像，以使观看者可以在看到手部动作的同时，一并看到手部动作对应的操作视频的画面，以使手部动作与操作视频更加直观的结合。

本发明能够基于轨迹数据图像对EUS检查过程中的误操作进行识别，准确的识别出检查过程中出现的失误，提升了EUS检查的准确性。此外，本发明还可以提升传感器参数的全面性和真实性。此外，本发明还可以确定出更加准确的手部的运动状态。此外，本发明还可以使得到的加速度轨迹坐标更加精确。此外，本发明还可以确定出更加准确的手部的片状偏转状态。此外，本发明还可以使得到的偏转姿态数据更加精确。此外，本发明还可以使手部动作与操作视频更加直观的结合。

示例性介质

在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，通过传感器采集与操作视频匹配的传感器参数；操作视频的视频时间段与传感器参数的采集时间段相同；传感器参数中至少包括加速度集合和角速度集合；对加速度集合进行计算，得到加速度轨迹坐标集合；其中加速度轨迹坐标集合中包括多个加速度轨迹坐标；对角速度集合进行计算，得到偏转姿态数据集合；其中偏转姿态数据集合中包括多个偏转姿态数据，偏转姿态数据与加速度轨迹坐标一一对应；将加速度轨迹坐标集合和偏转姿态数据集合映射至预设坐标系中得到轨迹数据图像；轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度；各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

示例性计算设备

在介绍了本发明示例性实施方式的方法、装置和介质之后，接下来，参考图8对本发明示例性实施方式的用于轨迹数据处理的计算设备。

图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件（包括系统存储器802和处理单元801）的总线803。

计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质（图8中未显示，通常称为“硬盘驱动器”）。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。

计算设备80也可以与一个或多个外部设备804（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块（如处理单元801等）通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。

处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，通过传感器采集与操作视频匹配的传感器参数；操作视频的视频时间段与传感器参数的采集时间段相同；传感器参数中至少包括加速度集合和角速度集合；对加速度集合进行计算，得到加速度轨迹坐标集合；其中加速度轨迹坐标集合中包括多个加速度轨迹坐标；对角速度集合进行计算，得到偏转姿态数据集合；其中偏转姿态数据集合中包括多个偏转姿态数据，偏转姿态数据与加速度轨迹坐标一一对应；将加速度轨迹坐标集合和偏转姿态数据集合映射至预设坐标系中得到轨迹数据图像；轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了轨迹数据处理装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (9)

1.一种轨迹数据处理方法，包括：

通过传感器采集与操作视频匹配的传感器参数；其中，所述传感器固定于手部；所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合；

对所述加速度集合进行计算，得到加速度轨迹坐标集合；其中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；

对所述角速度集合进行计算，得到偏转姿态数据集合；其中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；

将所述加速度轨迹坐标集合和所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像；所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度；

其中，所述传感器至少包括加速度传感器和角速度传感器，所述通过传感器采集与操作视频匹配的传感器参数，包括：

通过所述加速度传感器采集与操作视频匹配的初始加速度集合；

通过所述角速度传感器采集与所述操作视频匹配的角速度集合；

基于预设的转移矩阵和噪声协方差矩阵，对所述初始加速度集合进行预测拟合，得到加速度集合；

将所述加速度集合和所述角速度集合确定为传感器参数。

2.根据权利要求1所述的轨迹数据处理方法，所述加速度集合中包括多个加速度，且各个加速度分别对应各个处于所述采集时间段内的时间点，所述对所述加速度集合进行计算，得到加速度轨迹坐标集合，包括：

将预先设置的初始加速度轨迹坐标添加至加速度轨迹坐标集合中；

基于时间点的先后顺序遍历所述加速度集合，得到各个加速度对应的加速度轨迹坐标；

将各个所述加速度轨迹坐标添加至所述加速度轨迹坐标集合中，得到更新后的加速度轨迹坐标集合。

3.根据权利要求2所述的轨迹数据处理方法，所述加速度包括第一方向加速度、第二方向加速度以及第三方向加速度；

基于时间点的先后顺序遍历所述加速度集合，得到一个目标加速度对应的加速度轨迹坐标，包括：

确定与所述目标加速度的目标时间点对应的前一时间点；

基于时间点的先后顺序从所述加速度轨迹坐标集合中获取与所述前一时间点对应的前一加速度轨迹坐标；其中，所述前一加速度轨迹坐标中包括前一第一方向坐标、前一第二方向坐标以及前一第三方向坐标；

根据所述前一第一方向坐标和所述第一方向加速度，得到第一方向加速度轨迹坐标；

根据所述前一第二方向坐标和所述第二方向加速度，得到第二方向加速度轨迹坐标；

根据所述前一第三方向坐标和所述第三方向加速度，得到第三方向加速度轨迹坐标；

将所述第一方向加速度轨迹坐标、所述第二方向加速度轨迹坐标以及所述第三方向加速度轨迹坐标确定为与所述目标加速度对应的加速度轨迹坐标。

4.根据权利要求3所述的轨迹数据处理方法，所述角速度集合中包括多个角速度，且各个角速度分别对应各个处于所述采集时间段内的时间点，所述对所述角速度集合进行计算，得到偏转姿态数据集合，包括：

将预先设置的初始偏转姿态数据添加至偏转姿态数据集合中；

根据预设参数，基于时间点的先后顺序遍历所述角速度集合，得到各个角速度对应的偏转姿态数据；

将各个所述偏转姿态数据添加至所述偏转姿态数据集合中，得到更新后的偏转姿态数据集合。

5.根据权利要求4所述的轨迹数据处理方法，所述角速度包括第一方向角速度、第二方向角速度以及第三方向角速度；

根据预设参数，基于一个目标时间点对应的一个目标角速度，得到一个偏转姿态数据，包括：

根据预设参数、所述前一第一方向坐标以及所述第一方向角速度，得到第一方向偏转姿态数据；

根据所述预设参数、所述前一第二方向坐标以及所述第二方向角速度，得到第二方向偏转姿态数据；

根据所述预设参数、所述前一第三方向坐标以及所述第三方向角速度，得到第三方向偏转姿态数据；

将所述第一方向偏转姿态数据、所述第二方向偏转姿态数据以及所述第三方向偏转姿态数据确定为与所述目标角速度对应的偏转姿态数据。

6.根据权利要求1所述的轨迹数据处理方法，所述得到偏转姿态数据集合之后，所述方法还包括：

根据所述加速度轨迹坐标集合和所述偏转姿态数据集合，模拟得到手部动作影像；

将所述手部动作影像和所述操作视频加载至三维场景中，得到动作轨迹仿真影像；其中，所述手部动作影像的时长与所述操作视频的采集时间段的时长相同。

7.一种轨迹数据处理装置，包括：

采集单元，用于通过传感器采集与操作视频匹配的传感器参数；其中，所述传感器固定于手部；所述操作视频的视频时间段与所述传感器参数的采集时间段相同；所述传感器参数中至少包括加速度集合和角速度集合；

第一计算单元，用于对所述加速度集合进行计算，得到加速度轨迹坐标集合；其中，所述加速度轨迹坐标集合中包括多个加速度轨迹坐标；

第二计算单元，用于对所述角速度集合进行计算，得到偏转姿态数据集合；其中，所述偏转姿态数据集合中包括多个偏转姿态数据，所述偏转姿态数据与所述加速度轨迹坐标一一对应；

映射单元，用于将所述加速度轨迹坐标集合和所述偏转姿态数据集合映射至预设坐标系中，得到轨迹数据图像；所述轨迹数据图像表示手部在各个时间点移动的加速度、角速度以及速度；

其中，所述传感器至少包括加速度传感器和角速度传感器，所述采集单元通过传感器采集与操作视频匹配的传感器参数，包括：

通过所述加速度传感器采集与操作视频匹配的初始加速度集合；

通过所述角速度传感器采集与所述操作视频匹配的角速度集合；

基于预设的转移矩阵和噪声协方差矩阵，对所述初始加速度集合进行预测拟合，得到加速度集合；

将所述加速度集合和所述角速度集合确定为传感器参数。

8.一种计算设备，所述计算设备包括：

至少一个处理器、存储器和输入输出单元；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1~6中任一项所述的方法。

9.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1~6中的任一项所述的方法。

Images