CN107203269A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN107203269A
CN107203269A CN201710404553.7A CN201710404553A CN107203269A CN 107203269 A CN107203269 A CN 107203269A CN 201710404553 A CN201710404553 A CN 201710404553A CN 107203269 A CN107203269 A CN 107203269A
Authority
CN
China
Prior art keywords
data
point
data point
collecting device
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710404553.7A
Other languages
English (en)
Other versions
CN107203269B (zh
Inventor
郭远清
黄少波
李范强
韦雄奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Wisdom Medical Technology Co Ltd
Original Assignee
Zhuhai Wisdom Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Wisdom Medical Technology Co Ltd filed Critical Zhuhai Wisdom Medical Technology Co Ltd
Priority to CN201710404553.7A priority Critical patent/CN107203269B/zh
Publication of CN107203269A publication Critical patent/CN107203269A/zh
Application granted granted Critical
Publication of CN107203269B publication Critical patent/CN107203269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数据处理方法及装置，在该方法中，使用多Leap Motion的方法可以解决数据不够精确的问题。也就是实现三台Leap Motion间的数据同步传输；其次进行不同的Leap Motion的三维空间坐标转换；然后在完整度阈值大于19的情况下，进行三台设备的手骨架点集ICP算法图像拼接，实现一个更为完整的手骨架信息点集。

Description

一种数据处理方法及装置
技术领域
本申请涉及电子技术领域，尤其涉及一种数据处理方法及装置。
背景技术
目前，leap motion通过绑定视野范围能的手，手指或者工具来提供实时数据，这些数据多数是通过集合或者数据提供，每一帧都包含了一系列的基本绑定数据，比如手，手指或者工具的数据，当然，他也能实时的识别场景中的手势和自定义数据。
当设备检测到手、手指、工具或者是手势的话，设备会赋予它一个唯一的ID号码作为标记，只要这个实体不出设备的可视区域，这个ID号就会一直不变，如果设备丢失这个实体之后又出现了，Leap就会赋予它一个新的ID号码，但是软件不会知道这个和以前的那个实体有什么关系。对指运动检测普遍采用单leap motion进行手指骨架空间信息判断。但是，单leap motion检测会存在观察盲点和视觉死角等问题，从而无法精确构建手指骨架空间信息。
发明内容
本发明实施例提供了一种数据处理方法及装置，用以解决现有技术中单leapmotion检测会存在观察盲点和视觉死角等问题，从而无法精确构建手指骨架空间信息的问题。
其具体的技术方案如下：
一种数据处理方法，所述方法包括：
获取由n个采集设备采集到的n条数据点集，其中，所述数据点集中包含关节点信息，n为大于等于3的正整数；
根据获取到的n条数据点集，确定采集设备的空间重心；
根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；
在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
可选的，根据获取到的n条数据点集，确定采集设备的空间重心，包括：
通过如下公式确定采集设备的空间重心：
其中，W为空间重心，pi、qi表征像素i的坐标为(pi,qi)，pj、qj表征,像素点j的坐标的(pj,qj)。
可选的，根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值，包括：
根据n条数据点集，获取正定矩阵N；
根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；
根据所述最大特征值以及最大特征向量，确定旋转四元素；
将所述旋转四元素，确定对应的旋转矩阵；
根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
可选的，在根据获取到的n条数据点集，确定采集设备的空间重心之前，所述方法还包括：
判定采集到的n条数据点集中每条数据点集中的关节点数据是否大于预设阈值；
若是每条数据点集中的节点数据都大于预设阈值，则使用n条数据点集确定采集设备的空间重心。
可选的，所述方法还包括：
若n条数据点集中两条数据点集的关节点数据大于预设阈值时，则使用所述两条数据点集确定采集设备的空间重心。
可选的，所述方法还包括：
若n条数据点集中的一条数据点集的关节点数据大于预设阈值时，则使用所述一条数据点集确定采集设备的空间重心。
一种数据处理装置，所述装置包括：
获取模块，用于获取由n个采集设备采集到的n条数据点集，其中，所述数据点集中包含关节点信息，n为大于等于3的正整数；
确定模块，用于根据获取到的n条数据点集，确定采集设备的空间重心；
处理模块，用于根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
可选的，所述处理模块，具体用于根据n条数据点集，获取正定矩阵N；根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；根据所述最大特征值以及最大特征向量，确定旋转四元素；将所述旋转四元素，确定对应的旋转矩阵；根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
可选的，所述处理模块，还用于判定采集到的n条数据点集中每条数据点集中的关节点数据是否大于预设阈值；若是每条数据点集中的节点数据都大于预设阈值，则使用n条数据点集确定采集设备的空间重心。
可选的，所述处理模块，还用于若n条数据点集中两条数据点集的关节点数据大于预设阈值时，则使用所述两条数据点集确定采集设备的空间重心；若n条数据点集中的一条数据点集的关节点数据大于预设阈值时，则使用所述一条数据点集确定采集设备的空间重心。
在本发明中，使用多Leap Motion的方法可以解决数据不够精确的问题。也就是实现三台Leap Motion间的数据同步传输；其次进行不同的Leap Motion的三维空间坐标转换；然后在完整度阈值大于19的情况下，进行三台设备的手骨架点集ICP算法图像拼接，实现一个更为完整的手骨架信息点集。
附图说明
图1为本发明实施例中一种数据处理方法的流程图；
图2为本发明实施例中一种数据处理装置的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解，本发明实施例以及实施例中的具体技术特征只是对本发明技术方案的说明，而不是限定，在不冲突的情况下，本发明实施例以及实施例中的具体技术特征可以相互组合。
如图1所示为本发明实施例中一种数据处理方法的流程图，该方法包括：
S101，获取由n个采集设备采集到的n条数据点集；
在本发明实施例中的采集设备可以是leap motion，并且采用的是3台leapmotion，每台leap motion采集到不同角度的手指三维空间坐标。先实现三台Leap Motion间的数据同步传输。
具体来讲，多Leap Motion系统利用三个不同角度的Leap Motion侦测手对指运动，三台仪器中选择一台作为服务器，另外两台客户端将数据传输至服务器主机，服务器主机将三台Leap Motion的数据进行决策和处理。
S102，根据获取到的n条数据点集，确定采集设备的空间重心；
三台leap motion获取到的手指点集的空间重心进行确定得到三个基准点。
假设手指点集一共n个点，则手指点集的空间重心可由下式确定：
其中，W为空间重心，pi、qi表征像素i的坐标为(pi,qi)，pj、qj表征,像素点j的坐标的(pj,qj)。
S103，根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；
根据n条数据点集，获取正定矩阵N；根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；根据所述最大特征值以及最大特征向量，确定旋转四元素；将所述旋转四元素，确定对应的旋转矩阵；根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
具体来讲，由获取到的数据点集计算正定矩阵N，并计算正定矩阵N的最大特征值及其最大特征向量；由于最大特征向量等价于残差平方和最小时的旋转四元素，将四元素转换为旋转矩阵R；在旋转矩阵R被确定后，平移向量t是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定；
通过三个三维点云的重心位置每次进行两个三维点集之间的距离计算平方和之差作为协方差可以求出点集的旋转平移等变化的差异，迭代该过程直到该差异到达阈值，则两个三维点集初步配准。
S104，在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
在本发明实施例中，由于三台Leap Motion获得的手关节骨架图像之间会有部分点集重合，所以使用ICP算法进行三维点云拼接。但在本文中，由于骨骼关节点的数据量较少，故使用ICP算法前还需要确定三台Leap Motion的数据量足够大，它们获取到的骨架信息足够适用于ICP算法。当三台Leap Motion每台检测到的手掌关节的骨架所含的点大于19个时，才使用ICP算法。即只有在阈值T joint>19的情况下，才会使用ICP算法进行点集的拼接。因为当两个点集有一定的相似度的时候，才能用ICP算计算精度更高的数据。理论上Leap Motion侦测到的手掌骨架有22个关节点组成，每个手指四个关节点加上手掌中心点和手腕点。复合算法思想为当三台仪器的手关节点信息都大于19个时，迭代两次ICP算法。而当两台仪器的手关节点信息大于19个时，用这两台Leap Motion数据进行ICP。而当只有一台仪器的关节点信息大于19时，用唯一的那台大于19点的Leap Motion数据作为结果，如果没有一台仪器的数据大于19，取最近仪器的那台数据点集作为最终结果。
综上来讲，在本发明实施例中，使用多Leap Motion的方法可以解决数据不够精确的问题。也就是实现三台Leap Motion间的数据同步传输；其次进行不同的Leap Motion的三维空间坐标转换；然后在完整度阈值大于19的情况下，进行三台设备的手骨架点集ICP算法图像拼接，实现一个更为完整的手骨架信息点集。
对应本发明实施例中一种数据处理方法，本发明实施例中还提供了一种数据处理装置，如图2所示为本发明实施例中一种数据处理装置的结构示意图，该装置包括：
获取模块201，用于获取由n个采集设备采集到的n条数据点集，其中，所述数据点集中包含关节点信息，n为大于等于3的正整数；
确定模块202，用于根据获取到的n条数据点集，确定采集设备的空间重心；
处理模块203，用于根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
进一步，在本发明实施例中，所述处理模块203，具体用于根据n条数据点集，获取正定矩阵N；根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；根据所述最大特征值以及最大特征向量，确定旋转四元素；将所述旋转四元素，确定对应的旋转矩阵；根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
进一步，在本发明实施例中，所述处理模块203，还用于判定采集到的n条数据点集中每条数据点集中的关节点数据是否大于预设阈值；若是每条数据点集中的节点数据都大于预设阈值，则使用n条数据点集确定采集设备的空间重心。
进一步，在本发明实施例中，所述处理模块203，还用于若n条数据点集中两条数据点集的关节点数据大于预设阈值时，则使用所述两条数据点集确定采集设备的空间重心；若n条数据点集中的一条数据点集的关节点数据大于预设阈值时，则使用所述一条数据点集确定采集设备的空间重心。
尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
获取由n个采集设备采集到的n条数据点集，其中，所述数据点集中包含关节点信息，n为大于等于3的正整数；
根据获取到的n条数据点集，确定采集设备的空间重心；
根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；
在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
2.如权利要求1所述的方法，其特征在于，根据获取到的n条数据点集，确定采集设备的空间重心，包括：
通过如下公式确定采集设备的空间重心：
<mrow> <mi>W</mi> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>i</mi> </munder> <mrow> <mo>{</mo> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow> <mo>}</mo> </mrow> </mrow>
其中，W为空间重心，pi、qi表征像素i的坐标为(pi,qi)，pj、qj表征,像素点j的坐标的(pj,qj)。
3.如权利要求1所述的方法，其特征在于，根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值，包括：
根据n条数据点集，获取正定矩阵N；
根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；
根据所述最大特征值以及最大特征向量，确定旋转四元素；
将所述旋转四元素，确定对应的旋转矩阵；
根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
4.如权利要求1所述的方法，其特征在于，在根据获取到的n条数据点集，确定采集设备的空间重心之前，所述方法还包括：
判定采集到的n条数据点集中每条数据点集中的关节点数据是否大于预设阈值；
若是每条数据点集中的节点数据都大于预设阈值，则使用n条数据点集确定采集设备的空间重心。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
若n条数据点集中两条数据点集的关节点数据大于预设阈值时，则使用所述两条数据点集确定采集设备的空间重心。
6.如权利要求4所述的方法，其特征在于，所述方法还包括：
若n条数据点集中的一条数据点集的关节点数据大于预设阈值时，则使用所述一条数据点集确定采集设备的空间重心。
7.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取由n个采集设备采集到的n条数据点集，其中，所述数据点集中包含关节点信息，n为大于等于3的正整数；
确定模块，用于根据获取到的n条数据点集，确定采集设备的空间重心；
处理模块，用于根据所述空间重心以及旋转矩阵，确定数据点集的旋转平移差异值；在所述平移差异达到预设阈值时，对采集到的所述n条数据点集进行拼接。
8.如权利要求7所述的装置，其特征在于，所述处理模块，具体用于根据n条数据点集，获取正定矩阵N；根据正定矩阵N，得到正定矩阵N对应最大特征值以及最大特征向量；根据所述最大特征值以及最大特征向量，确定旋转四元素；将所述旋转四元素，确定对应的旋转矩阵；根据所述空间重心以及所述旋转矩阵，得到所述旋转平移差异值。
9.如权利要求7所述的装置，其特征在于，所述处理模块，还用于判定采集到的n条数据点集中每条数据点集中的关节点数据是否大于预设阈值；若是每条数据点集中的节点数据都大于预设阈值，则使用n条数据点集确定采集设备的空间重心。
10.如权利要求7所述的装置，其特征在于，所述处理模块，还用于若n条数据点集中两条数据点集的关节点数据大于预设阈值时，则使用所述两条数据点集确定采集设备的空间重心；若n条数据点集中的一条数据点集的关节点数据大于预设阈值时，则使用所述一条数据点集确定采集设备的空间重心。
CN201710404553.7A 2017-06-01 2017-06-01 一种数据处理方法及装置 Active CN107203269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710404553.7A CN107203269B (zh) 2017-06-01 2017-06-01 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710404553.7A CN107203269B (zh) 2017-06-01 2017-06-01 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107203269A true CN107203269A (zh) 2017-09-26
CN107203269B CN107203269B (zh) 2020-05-05

Family

ID=59907308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710404553.7A Active CN107203269B (zh) 2017-06-01 2017-06-01 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107203269B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236660A (zh) * 2008-03-06 2008-08-06 张利群 三维扫描仪及其三维模型重构方法
US20130013201A1 (en) * 2011-07-05 2013-01-10 Marc Soucy Synchronization of the position and orientation of a 3d measurement device and the position and orientation of an intelligent guidance device
CN103268158A (zh) * 2013-05-21 2013-08-28 上海速盟信息技术有限公司 一种获取重力传感数据的方法、装置及一种电子设备
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描系统中点云拼接用边界特征点配准方法
CN104778731A (zh) * 2015-03-03 2015-07-15 北京空间机电研究所 基于拟合平面法向量方向求模型三维相似变换参数的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236660A (zh) * 2008-03-06 2008-08-06 张利群 三维扫描仪及其三维模型重构方法
US20130013201A1 (en) * 2011-07-05 2013-01-10 Marc Soucy Synchronization of the position and orientation of a 3d measurement device and the position and orientation of an intelligent guidance device
CN103268158A (zh) * 2013-05-21 2013-08-28 上海速盟信息技术有限公司 一种获取重力传感数据的方法、装置及一种电子设备
CN103955939A (zh) * 2014-05-16 2014-07-30 重庆理工大学 三维扫描系统中点云拼接用边界特征点配准方法
CN104778731A (zh) * 2015-03-03 2015-07-15 北京空间机电研究所 基于拟合平面法向量方向求模型三维相似变换参数的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN109214295B (zh) * 2018-08-08 2022-03-22 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法

Also Published As

Publication number Publication date
CN107203269B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN107808407A (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN102697508B (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN103759716B (zh) 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN102607526B (zh) 双介质下基于双目视觉的目标姿态测量方法
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
CN103745458A (zh) 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN106826833A (zh) 基于3d立体感知技术的自主导航机器人系统
CN109035334A (zh) 位姿的确定方法和装置、存储介质及电子装置
CN102072706B (zh) 一种多相机定位与跟踪方法及系统
CN103858148A (zh) 用于移动设备的平面映射和跟踪
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN107862704A (zh) 一种目标跟踪方法、系统及其使用的云台相机
CN103323209A (zh) 基于双目立体视觉的结构模态参数识别系统
CN110111248A (zh) 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN108007456A (zh) 一种室内导航方法、装置及系统
CN102750704A (zh) 一种摄像机分步自标定方法
CN110617813A (zh) 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN107680112A (zh) 图像配准方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN109785373A (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN108882156A (zh) 一种校准定位基站坐标系的方法及装置
CN115063480A (zh) 位姿确定方法、装置、电子设备和可读存储介质
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN117095002B (zh) 轮毂缺陷的检测方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant