CN110389652A - 一种基于Leap Motion的起落架虚拟维修教学方法 - Google Patents

一种基于Leap Motion的起落架虚拟维修教学方法 Download PDF

Info

Publication number
CN110389652A
CN110389652A CN201910003464.0A CN201910003464A CN110389652A CN 110389652 A CN110389652 A CN 110389652A CN 201910003464 A CN201910003464 A CN 201910003464A CN 110389652 A CN110389652 A CN 110389652A
Authority
CN
China
Prior art keywords
gesture
maintenance
undercarriage
virtual maintenance
leap motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910003464.0A
Other languages
English (en)
Other versions
CN110389652B (zh
Inventor
严雨灵
陈闵叶
吕亚辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201910003464.0A priority Critical patent/CN110389652B/zh
Publication of CN110389652A publication Critical patent/CN110389652A/zh
Application granted granted Critical
Publication of CN110389652B publication Critical patent/CN110389652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于Leap Motion的起落架虚拟维修教学方法，其包括如下步骤：通过Leap Motion获取操作手势，操作手势包括连续多帧图像的手势动作；从操作手势中提取预设帧数的动作信息，判断预设帧数的动作信息是否变化，若是，则提取操作手势中的指尖至掌心的距离并基于距离生成操作手势特征信息；调用预置的动态手势分类模型识别出与操作手势特征信息对应的维修手势，调用与维修手势对应的预设装配模型进行虚拟维修。本发明采用手势识别的起落架虚拟维修教学，利用Leap Motion采集各类手势的数据，使用PCA‑PNN分类算法或者SVM分类算法得到分类模型，提高了起落架虚拟维修教学中静态与动态手势识别的精度和速度。

Description

一种基于Leap Motion的起落架虚拟维修教学方法
技术领域
本发明涉及虚拟现实领域，具体而言，本发明涉及一种基于Leap Motion的起落架虚拟维修教学方法。
背景技术
一直以来，人工排故是起落架方法相关故障判断的主要方法，起落架 的维修若采用虚拟维修技术可以提升维修训练的水平，通过现代化虚拟现 实技术方式传授维修知识和维修技巧，可以解决传统维修培训手段落后的 情况，可以解决民机维修人员的维修能力不足、维修效率偏低和维修成本 高昂等问题。
发明内容
为了寻找更为有效的现代化虚拟现实技术方式传授维修知识和维修 技巧的实现方案，考虑到三维手势作为最近兴起的人机交互手段，将其应 用到虚拟维修的人机交互中，使用手势进行维修训练可以提升交互的临场 感与真实感。为此，本发明实施例提供了一种基于Leap Motion的起落架 虚拟维修教学方法，其包括如下步骤：
通过Leap Motion获取操作手势，所述操作手势包括连续多帧图像的 手势动作；
从所述操作手势中提取预设帧数的动作信息，判断所述预设帧数的动 作信息是否变化，若是，则提取所述操作手势中的指尖至掌心的距离并基 于所述距离生成操作手势特征信息；
调用预置的动态手势分类模型识别出与所述操作手势特征信息对应 的维修手势，调用与所述维修手势对应的预设装配模型进行虚拟维修。
优选地，所述预置的动态手势分类模型基于PCA和PNN训练得到。
优选地，所述判断所述预设帧数的动作信息是否变化之后，还包括如 下步骤：
若所述预设帧数的动作信息未变化，则调用预置的静态手势分类模型 识别出静态指令；
执行所述静态指令。
优选地，所述预置的静态手势分类模型基于SVM训练得到。
优选地，所述预设帧数为3—10帧。
优选地，所述预设装配模型基于SolidWorks和3Dmax创建。
优选地，所述调用与所述维修手势对应的预设装配模型进行虚拟维修 包括如下步骤：根据所述维修手势以及检测到的碰撞信息调用与所述维修 手势对应的预设装配模型。
与现有技术相比，本发明实施例一种基于Leap Motion的起落架虚拟 维修教学方法具有如下有益效果：
本发明实施例一种基于Leap Motion的起落架虚拟维修教学方法采用 手势识别的起落架虚拟维修教学，利用Leap Motion采集各类手势的数据， 使用PCA-PNN分类算法或者SVM分类算法得到分类模型，提高了起落 架虚拟维修教学中静态与动态手势识别的精度和速度。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面 的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描 述中将变得明显和容易理解，其中：
图1为本发明实施例一种基于Leap Motion的起落架虚拟维修教学方 法的应用场景示意图；
图2为本发明实施例一种基于Leap Motion的起落架虚拟维修教学方 法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其 中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似 功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本 发明，而不能解释为对本发明的限制。
请参阅图1，本发明实施例一种基于Leap Motion的起落架虚拟维修 教学方法主要应用于如图1所示的起落架虚拟维修教学系统中，该起落架 虚拟维修教学系统包括主机100、头戴式显示器104、用于采集操作人员 手势的Leap Motion传感器102、用于定位头戴式显示器104的定位器， 其中，定位器包括第一定位器106以及第二定位器108，该第一定位器106 以及第二定位器108通过无线通信协议与主机100连接；头戴式显示器 104通过USB传输协议以及HDMI协议与主机100连接；Leap Motion传 感器102通过USB传输协议与主机100连接。
优选地，头戴式显示器104为HTC Vive设备。
请参阅图2，为便于理解本发明实施例，下面以本发明实施例应用于 图1所示的起落架虚拟维修教学系统中为例进行解释说明，如图2所示， 本发明实施例一种基于LeapMotion的起落架虚拟维修教学方法包括如下 步骤：
步骤S101：通过Leap Motion获取操作手势，所述操作手势包括连续 多帧图像的手势动作；其中操作手势为操作人员摆出自然手势，本发明实 施例对此不做限制。
Leap Motion是2013年由Leap Motion公司发布的小型体感器设备， 它能够捕捉150度范围视场以及约8平方英尺的交互式空间内的多个物体， 其针对手部区域进行识别，感应区间精确到0.01mm，因此对于使用手部 为主的起落架虚拟维修方法最为适合。
步骤S103：从所述操作手势中提取预设帧数的动作信息，判断所述 预设帧数的动作信息是否变化，若是，则提取所述操作手势中的指尖至掌 心的距离并基于所述距离生成操作手势特征信息；其中预设帧数为3—10 帧。
Leap Motion采集到的操作手势主要包括掌心信息C和手指信息Fi， 其中i可以根据Leap Motion进行设定，本发明实施例对此不做限制。考 虑到每个人的手型各不相同，因此Leap Motion采用指尖至掌心的距离作 为特征值，并进行归一化处理以增强适应性和鲁棒性，其中归一化因子G 以及距离D计算方式如下：
这样通过组合各个特征值，就可以得到特征值向量集V＝[D1、D2、 D3、D4、D5、F1、F2、F3、F4、F5]。单个样本是每连续五帧采集到数 据的特征向量集，因此特征值向量集V中共25个特征值，对应的，也即 得到操作手势特征信息。
步骤S105：调用预置的动态手势分类模型识别出与所述操作手势特 征信息对应的维修手势，调用与所述维修手势对应的预设装配模型进行虚 拟维修。其中，预置的动态手势分类模型包括机轮磨损维修手势、联轴器 漏油维修手势、刹车片磨损维修手势、储压器更换维修手势、接近传感器 更换维修手势和地面滑行偏转维修手势。
在一些实施方式中，预置的动态手势分类模型基于PCA和PNN训练 得到。其中，主成分分析(Principal Component Analysis，简称PCA)是 一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线 性不相关的变量，转换后的这组变量叫主成分。它可以降低手势数据的维 度，并得到更具区分度的数据，从而加快识别速度并提高识别精度；概率 神经网络(Probabilistic Neural Network，简称PNN)是一种结构简单、应 用广泛的神经网络，能用线性学习算法实现非线性学习算法的功能。
具体地，与基于距离生成操作手势特征信息相同，在针对起落架虚拟 维修训练所需要完成的维修动作设计动态手势库，如拧螺母、打保险丝、 推、压等动作以及根据需要的指令设计静态手势库，如正确、错误、完成 等指令之后，对于采集得到的样本的特征信息加上各自的标签进行分类操 作，通过PCA算法，把样本中各个特征信息根据贡献率进行排序，对特 征信息进行降维操作，排除噪声数据的干扰从而提高准确率。完成后除标 签外共有三个贡献率最高的特征信息之后，将数据放入PNN神经网络进 行训练，其中，高斯参数选取在0.45，就可以得到预置的动态手势分类模 型。
在一些实施方式中，判断预设帧数的动作信息是否变化之后，还包括 如下步骤：若预设帧数的动作信息未变化，则调用预置的静态手势分类模 型识别出静态指令；执行静态指令。值得注意的是，动态手势库与训练完 毕的动态手势分类模型相对应，静态手势库与训练完毕的静态手势分类模 型相对应。考虑到静态手势分类模型中连续预设帧数的基本没有变化，因 此为了提高效率，预置的静态手势分类模型优选采用SVM训练得到，其 中，支持向量机(Support Vector Machine，简称SVM)是常见的一种判别 方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识 别、分类以及回归分析。
优选地，在训练好动态手势分类模型和静态手势分类模型之后，将它 们放入Unity3D平台，其中，Unity3D是由Unity Technologies开发的一个 让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互 动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。
在一些实施方式中，调用与维修手势对应的预设装配模型进行虚拟维 修包括如下步骤：根据维修手势以及检测到的碰撞信息调用与维修手势对 应的预设装配模型。
在Unity3D平台要产生碰撞必须为游戏对象添加刚体和碰撞器，刚体 可以让物体在物理影响下运动。碰撞体是物理组件的一类，它要与刚体一 起添加到游戏对象上才能触发碰撞。如果两个刚体相互撞在一起，除非两 个对象有碰撞体时物理引擎才会计算碰撞，在物理模拟中，没有碰撞体的 刚体会彼此相互穿过。一般物体发生碰撞的必要条件是两个物体都必须带 有碰撞器，其中一个物体还必须带有刚体。在Unity3D平台，能检测碰撞 发生的方式有两种，一种是利用碰撞器，另一种则是利用触发器，对此， 本发明实施例并不做限制。
在一些实施方式中，预设装配模型基于SolidWorks和3Dmax创建。
具体地，根据飞机维修手册和飞机部件图解手册中的零件图对起落架 的各个零件进行分析，采用Solidworks对细分零件进行建模，最终得到三 维零件数据库。由SolidWorks新建的零件可以通过3DMax进行编辑和装 配，采用这种方式，不仅避免了SolidWorks模型导入会出现的各种问题， 还可以快捷高效的完成机轮和停留刹车储压器等的虚拟装配工作，可以大 大避免较多的人工干预，极大的提高了装配效率。在模型的虚拟装配中， 要注意各个配合的误差，以确保虚拟装配对现实情况具有真实再现功能， 提高虚拟装配的真实性和指导性。
零部件在维修场景中的运动轨迹的模拟可以通过改变零部件在场景 中的空间位置信息。零部件的空间位置信息一般进入软件后会给出相对应 的位置坐标信息。除了维修场景中需要对零部件进行移动，一些维修场景 可能还需要对模型进行比例扩大或缩小，所以需要采用公式(1)所示的 四维矩阵运算实现。
其中，x、y、z是零部件在虚拟维修场景中变换前对应的x轴、y轴 和z轴的空间坐标值；x’、y’、z’是零部件在虚拟维修场景中变换后对应 的x轴、y轴和z轴的空间坐标值，l是需要改变位置的矩阵信息；△x、 △y、△z分别表示零件沿x、y、z轴移动的距离；mij作为姿态矩阵控制 扩大或缩小的比例及三轴的旋转角度。
通过矩阵的变换运算转换后，其值变换成了为零部件的新的空间位姿。
把公式(1)中右侧的矩阵记为M，可以转换为公式(2)的分解：
公式(2)中第二个等式后，前面的矩阵记为R，表示零部件的旋转、 缩放变换矩，后面的矩阵记为P，表示位置的平移变换矩阵。
从公式(3)和公式(4)可以看出，矩阵R需要围绕各坐标轴才能实 现零部件的旋转、缩放的效果，如果在空间任意一轴进行旋转变换就不能 够实现。考虑到实际情况，维修过程需要对零部件进行空间的任一轴旋转 变换都是可能的，所以需要引入一个四元数Q来对零部件的空间位姿信息 进行表示：
四元数的数学定义是一个实数和三个复数构成的数学量，是复数向多 维度空间的拓展。本文利用四元数对旋转变换进行描述，零部件绕任一轴 旋转变换角度值θ的一半的余弦值视为四元数的实数部分。而四元数的复 数部分是旋转变换角度一半值的正弦值和绕旋转轴矢量乘积的坐标值作 为旋转变换的x、y、z。可把公式(5)转换为公式(6)的形式：
Q＝[cos(θ/2),(sin(θ/2)nx,sin(θ/2)ny,sin(θ/2)nz)] (6)
把四元数的数学表达式带入到对应公式中，得到的零部件空间位姿变 换公式为9和10所示，式中T为平移变换矩阵，Q为旋转变换矩阵。
当前位置：p＝(x',y',z',1)＝(x,y,z,1)*T (7)
当前角度姿态：A＝(w',(x'1,y'1,z'1,1))＝(w,(x1,y1,z1,1))·Q (8)
零部件采用四元数形式的变换后，最终位姿使用[P·A]进行表示。
示例地，某零件的初始位置、初始姿态是A＝(w0,(x0,y0,z0))，在装配过 程中平移量为：Δx＝20、Δy＝30、Δz＝15，绕向量旋 转角度θ＝π/3。位置信息和姿态信息分别为公式(9)和公式(10)：
所以此时用[P′·A′]来表示该零件经过装配后的位姿信息。
为进一步理解本发明实施例一种基于Leap Motion的起落架虚拟维修 教学方法，下面以机轮磨损故障为例进行解释说明，操作人员摆出机轮磨 损故障的操作手势，即进入第一个故障机轮磨损，开始进行拆卸机轮，按 照顺序做出与真实维修动作的动态手势拆卸外部螺钉、风扇罩、风扇螺母、 风扇螺母垫片、风扇、螺钉、轮毂罩、配重块螺钉、连接螺钉、连接螺钉 垫片、配重块、支架、固定罩和轮胎，每一步的拆卸都会以红色突出显示 该零件，还可以在安装时以黄色显示下一部件需要安装目标位置，在虚拟 环境中作搬动手势则物体位置向上偏移，到目标位置附近后则完成安装， 并显示下一部件及其目标位置。按顺序完成全部装卸过程完成该故障的维 护。
在一些实施方式中，为了以测试学习者对该项维护工作的掌握程度。 本发明实施例基于Leap Motion的起落架虚拟维修教学方法还可以时间、 零件卸载完整度、卸载顺序、零件安装位置和安装顺序为考核依据。以机 轮磨损故障为例，考核更换机轮，设置考核时间为5分钟。卸载机轮阶段 考核卸载完整度和顺序，安装机轮阶段考核选择零件的顺序和零件安装位 置，完成卸载与安装的时间越短，所获时间评分越高。由于安装出错可能 会出现安全事故，故在安装时出现错误直接判定安装阶段考核分为0，根 据其装卸的重要程度分值占比，故设置时间占20％、卸载阶段占30％、安 装阶段占50％。
与现有技术相比，本发明实施例一种基于Leap Motion的起落架虚拟 维修教学方法具有如下有益效果：
本发明实施例一种基于Leap Motion的起落架虚拟维修教学方法采用 手势识别的起落架虚拟维修教学，利用Leap Motion采集各类手势的数据， 使用PCA-PNN分类算法或者SVM分类算法得到分类模型，提高了起落 架虚拟维修教学中静态与动态手势识别的精度和速度。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述基于LeapMotion的起落架虚拟维修教学方法包括如下步骤：
通过Leap Motion获取操作手势，所述操作手势包括连续多帧图像的手势动作；
从所述操作手势中提取预设帧数的动作信息，判断所述预设帧数的动作信息是否变化，若是，则提取所述操作手势中的指尖至掌心的距离并基于所述距离生成操作手势特征信息；
调用预置的动态手势分类模型识别出与所述操作手势特征信息对应的维修手势，调用与所述维修手势对应的预设装配模型进行虚拟维修。
2.如权利要求1所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述预置的动态手势分类模型基于PCA和PNN训练得到。
3.如权利要求1所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述判断所述预设帧数的动作信息是否变化之后，还包括如下步骤：
若所述预设帧数的动作信息未变化，则调用预置的静态手势分类模型识别出静态指令；
执行所述静态指令。
4.如权利要求3所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述预置的静态手势分类模型基于SVM训练得到。
5.如权利要求1-4任意一项所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述预设帧数为3—10帧。
6.如权利要求1所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述预设装配模型基于SolidWorks和3Dmax创建。
7.如权利要求1所述的基于Leap Motion的起落架虚拟维修教学方法，其特征在于，所述调用与所述维修手势对应的预设装配模型进行虚拟维修包括如下步骤：根据所述维修手势以及检测到的碰撞信息调用与所述维修手势对应的预设装配模型。
CN201910003464.0A 2019-01-03 2019-01-03 一种基于Leap Motion的起落架虚拟维修教学方法 Active CN110389652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910003464.0A CN110389652B (zh) 2019-01-03 2019-01-03 一种基于Leap Motion的起落架虚拟维修教学方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910003464.0A CN110389652B (zh) 2019-01-03 2019-01-03 一种基于Leap Motion的起落架虚拟维修教学方法

Publications (2)

Publication Number Publication Date
CN110389652A true CN110389652A (zh) 2019-10-29
CN110389652B CN110389652B (zh) 2023-04-28

Family

ID=68284786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910003464.0A Active CN110389652B (zh) 2019-01-03 2019-01-03 一种基于Leap Motion的起落架虚拟维修教学方法

Country Status (1)

Country Link
CN (1) CN110389652B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046232A (zh) * 2019-11-30 2020-04-21 北京达佳互联信息技术有限公司 一种视频分类方法、装置及系统
CN111694427A (zh) * 2020-05-13 2020-09-22 北京农业信息技术研究中心 Ar虚拟摇蜜互动体验系统、方法、电子设备及存储介质
CN113866167A (zh) * 2021-09-13 2021-12-31 北京逸驰科技有限公司 一种轮胎检测结果的生成方法、计算机设备及存储介质
CN113961080A (zh) * 2021-11-09 2022-01-21 南京邮电大学 一种基于手势交互的三维建模软件框架及设计方法
CN116469279A (zh) * 2022-12-28 2023-07-21 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107967057A (zh) * 2017-11-30 2018-04-27 西安交通大学 一种基于Leap Motion的虚拟装配示教方法
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107967057A (zh) * 2017-11-30 2018-04-27 西安交通大学 一种基于Leap Motion的虚拟装配示教方法
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J. -S. WANG 等: "An Accelerometer-Based Digital Pen With a Trajectory Recognition Algorithm for Handwritten Digit and Gesture Recognition", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 *
吕亚辉 等: "基于手势轨迹的工业机器人轨迹规划", 《智能计算机与应用》 *
周开店 等: "基于Leap Motion指尖位置的手势提取和识别技术研究", 《微型机与应用》 *
孙健 等: "基于PCA和PNN的模拟电路故障诊断", 《微电子学》 *
魏庆丽 等: "基于PNN的手势识别", 《传感器与微系统》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046232A (zh) * 2019-11-30 2020-04-21 北京达佳互联信息技术有限公司 一种视频分类方法、装置及系统
CN111046232B (zh) * 2019-11-30 2024-06-14 北京达佳互联信息技术有限公司 一种视频分类方法、装置及系统
CN111694427A (zh) * 2020-05-13 2020-09-22 北京农业信息技术研究中心 Ar虚拟摇蜜互动体验系统、方法、电子设备及存储介质
CN113866167A (zh) * 2021-09-13 2021-12-31 北京逸驰科技有限公司 一种轮胎检测结果的生成方法、计算机设备及存储介质
CN113961080A (zh) * 2021-11-09 2022-01-21 南京邮电大学 一种基于手势交互的三维建模软件框架及设计方法
CN113961080B (zh) * 2021-11-09 2023-08-18 南京邮电大学 一种基于手势交互的三维建模软件框架及设计方法
CN116469279A (zh) * 2022-12-28 2023-07-21 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统
CN116469279B (zh) * 2022-12-28 2023-09-15 润芯微科技(江苏)有限公司 一种汽车点读教学方法及系统

Also Published As

Publication number Publication date
CN110389652B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110389652A (zh) 一种基于Leap Motion的起落架虚拟维修教学方法
Lai et al. Smart augmented reality instructional system for mechanical assembly towards worker-centered intelligent manufacturing
CN110399905B (zh) 施工场景中安全帽佩戴情况的检测及描述方法
US8154590B2 (en) Method for observation of a person in an industrial environment
CN112818768B (zh) 一种基于元学习的变电站改扩建违章行为智能化识别方法
CN104866860A (zh) 一种室内人体行为识别方法
JP4721830B2 (ja) 画像検索方法及び装置
CN101853388B (zh) 一种基于几何不变量的视角不变的行为识别方法
Bickel et al. Comparing CAD part models for geometrical similarity: A concept using machine learning algorithms
CN113537019B (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN105469402B (zh) 基于空间形状上下文特征的汽车零件识别方法
Liang et al. A robot calligraphy writing method based on style transferring algorithm and similarity evaluation
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN211604116U (zh) 一种投影式增强现实紧固件装配引导及检测装置
CN117173791A (zh) 一种基于动作识别的配网施工人员违规检测方法及系统
CN107127766A (zh) 智能电网业务受理机器人
CN103390150B (zh) 人体部件检测方法和装置
CN110428496A (zh) 基于虚实融合的手持工具作业导引方法
Choksuriwong et al. Comparison of invariant descriptors for object recognition
CN115222778A (zh) 基于光流的移动物体检测方法、装置、电子设备及介质
JP2022186422A (ja) 分類装置、分類方法、及び、分類プログラム
CN114758286A (zh) 基于工作票事件的边缘智能安全监测方法和装置
CN113487111A (zh) 基于人工智能的风险识别方法、装置、电子设备及介质
CHIOU et al. Machine learning tool development in fire safety design review
CN116486438B (zh) 一种人员轨迹的检测方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant