CN108509026A - 基于增强交互方式的远程维修支持系统及方法 - Google Patents

基于增强交互方式的远程维修支持系统及方法 Download PDF

Info

Publication number
CN108509026A
CN108509026A CN201810116612.5A CN201810116612A CN108509026A CN 108509026 A CN108509026 A CN 108509026A CN 201810116612 A CN201810116612 A CN 201810116612A CN 108509026 A CN108509026 A CN 108509026A
Authority
CN
China
Prior art keywords
gesture
module
maintenance
remote
remote expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810116612.5A
Other languages
English (en)
Other versions
CN108509026B (zh
Inventor
殷磊
孔宪光
汪星
薛博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tali Technology Co ltd
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810116612.5A priority Critical patent/CN108509026B/zh
Publication of CN108509026A publication Critical patent/CN108509026A/zh
Application granted granted Critical
Publication of CN108509026B publication Critical patent/CN108509026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种基于增强交互方式的远程维修支持系统及方法，用于解决现有技术中存在的指导信息准确性差和维修支持效率低的技术问题，实现步骤为：设置专家手势数据的获取参数；手势动作捕捉识别模块获取手势数据；设置手势动作恢复识别参数；手势动作捕捉识别模块识别手势动作并输出；坐标融合计算模块计算手势位置坐标；通信模块获取并传递现场维修应用端透视式显示模块标定参数；坐标融合计算模块利用手势位置坐标和标定参数，将手势转换映射至维修现场；通信模块获得并传送经转换的手势命令；现场维修应用端获得手势，生成包含增强交互效果的维修支持信息并显示。本发明提供的维修支持信息直观，专家指导操作自然。

Description

基于增强交互方式的远程维修支持系统及方法
技术领域
本发明属于增强现实技术领域，涉及一种远程维修支持系统及方法，具体涉及一种在增强现实应用场景下，基于增强交互方式提供维修支持的系统及方法，可用于远程专家维修支持，对维修操作人员具有协助指导作用。
背景技术
增强现实技术(Augmented Reality，简称AR)又称混合现实技术，是利用计算机产生虚拟对象信息，通过传感器技术实现虚拟信息与真实场景的“无缝”融合，利用显示器等设备输出虚拟信息，这些虚拟信息叠加显示在人员视野内的真实物体之上，动态“增强”了用户所感知的真实场景。
利用动态捕捉和传感器融合技术，将人体动作“虚拟化”，实现人体动作在增强现实环境下的输入，从而使真实的动作与虚拟的对象信息产生交互，实现虚实信息融合，极大地提高了用户的沉浸性和临场感，由于真实动作和虚拟对象同时位于三维环境中，进一步提高了交互的自然性。
在远程维修支持系统的应用场景中，远程技术支持中心有相关技术专家值班，现场维修人员通常具有与远程专家进行视频通信的设备和能力。当来自现场的维修协助请求发起时，技术中心专家通过视频和数据通信渠道获取现场信息，对现场设备系统环境做出技术判断，继而提供维修支援。但是，各类复杂的设备系统和技术环境，在仅仅依靠视频画面或语音等条件下，很难实现对技术专家指导意图的准确传达，维修人员不能获得具有针对性的处置方案，不利于故障排除，严重影响了维修工作的顺利开展。为解决上述问题，在申请公布号为CN106339094A，名称为“基于增强现实技术的交互式远程专家协作检修系统及方法”的专利申请中，公开了一种基于增强现实技术的交互式远程专家协作检修系统及方法。此系统由现场客户端和远程服务端构成，现场客户端可对待检测维修的设备进行视频采集或图像拍摄，再通过无线网络将现场信息传递至远程服务端，专家在接收到的视频和图像上勾画处理作出标记，再通过网络回传至现场客户端，现场客户端通过跟踪算法完成对维修目标区域的识别、定位与跟踪，实现在现场视频图像中维修目标区域的位置处叠加标记图案或文字批注，利用增强现实技术合成增强现实影像视频，实现在专家的协作下完成现场设备的故障诊断和检修。该发明虽然应用增强现实技术实现远程专家协作，提供的检修指令具有较高的针对性和可操作性，进一步丰富了维修信息，但仍存在以下不足：(1)该发明提供的专家标记信息基于所接收的视频和图像等二维画面，平面的图案或文字支持信息缺少空间维度，面对结构复杂的设备环境，仅能提供指导意义有限的维修支援，指导信息的准确性差；(2)该发明中专家仅能向维修现场单向输出标记信息，并不能与现场端已提供的增强现实维修应用中的虚拟对象进行交互，专家操作指导不够自然、直观，导致远程维修支持的效率较低。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于增强交互方式的远程维修支持系统及方法，用于解决现有技术中存在的指导信息准确性差和维修支持效率低的技术问题。
为实现上述目的，本发明采取的技术方案为：
一种基于增强交互方式的远程维修支持系统，包括远程维修支持端、现场维修应用端和通信模块，其中：
所述远程维修支持端，包括手势动作捕捉识别模块、坐标融合计算模块和显示模块，其中：
所述手势动作捕捉识别模块，用于获取远程专家的手势动作数据并进行识别；
所述坐标融合计算模块，用于根据手势动作捕捉识别模块获取的远程专家手势动作数据计算手势空间位置坐标，并将计算得到的手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下；
所述显示模块，用于向远程专家显示场景输入模块采集的维修现场影像，以及包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息；
所述现场维修应用端，包括场景输入模块、增强现实处理模块和透视式显示模块，其中：
所述场景输入模块，用于采集维修现场影像；
所述增强现实处理模块，用于根据场景输入模块采集的维修现场影像信息，计算透视式显示模块的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，并根据映射转换关系，生成包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息，同时判断虚拟对象间的交互关系，以生成包含增强交互效果的维修支持信息；
所述透视式显示模块，用于在现场维修操作人员视野内，叠加显示由增强现实处理模块生成的包含增强交互效果的维修支持信息；
所述通信模块，包括前端通信模块和后端通信模块，其中：
所述前端通信模块，用于发送场景输入模块采集的维修现场影像、增强现实处理模块计算的透视式显示模块标定参数和增强现实处理模块生成的虚拟对象信息；接收后端通信模块发送的数据；
所述后端通信模块，用于发送由远程维修支持端转换的远程专家手势；接收前端通信模块发送的数据。
上述基于增强交互方式的远程维修支持系统，所述手势动作捕捉识别模块，包括深度传感器和计算处理子模块，其中：
所述深度传感器，用于采集远程专家手势动作的连续帧图像，并从连续帧图像中提取包括手部的位置、速度、方向和长度的特征向量数据；
所述计算处理子模块，用于对深度传感器获取的特征向量数据进行预处理，并通过预处理结果对远程专家手势进行恢复和识别。
一种基于增强交互方式的远程维修支持方法，包括如下步骤：
(1)设置远程专家手势数据的获取参数：
定义基本手部对象；设定手势状态描述集，并以此描述集定义完整手势状态划分规则；设置特征向量预处理参数，包括速度有效性阈值τ和平滑系数；
(2)手势动作捕捉识别模块获取远程专家手势动作数据：
(2a)深度传感器采集远程专家手势动作的连续帧图像，并根据基本手部对象定义，从每一帧图像中各提取一组包括手部的位置、速度、方向和长度的特征向量数据；
(2b)计算处理子模块判断步骤(2a)提取出的特征向量数据有效性，并保存有效数据，实现步骤为：
(2b1)计算处理子模块依次判断步骤(2a)所提取的每一组特征向量数据中的手部速度是否小于τ，若是，该组数据无效，删除该组数据并执行步骤(2a)；否则，依次保存每一组有效特征向量数据，以构成有效特征向量数据组集合，并执行步骤(2b2)；
(2b2)计算处理子模块判断步骤(2b1)保存的有效特征向量组集合，直到该集合符合完整手势划分规则，保存该有效特征向量组集合，并以此集合作为有效远程专家手势动作数据；若不符合完整手势划分规则定义，继续执行步骤(2a)；
(2c)计算处理子模块利用步骤(1)中的平滑系数，对步骤(2b)保存的有效远程专家手势动作数据进行平滑处理，得到去噪声后的远程专家手势动作数据；
(3)设置远程专家手势动作恢复识别参数：
构建关键点手势模型，并以此模型为基础建立手指运动约束模型；设计维修支持交互手势分类集，以此分类集参考为远程专家交互手势动作添加分类标签，并以分类标签为依据，部署支持向量机分类器；
(4)手势动作捕捉识别模块恢复和识别远程专家手势动作并输出：
(4a)计算处理子模块利用步骤(2)的远程专家手势动作数据，对手指运动约束模型进行求解，得到远程专家手势恢复数据；
(4b)计算处理子模块以属于维修支持手势交互分类集的远程专家手势恢复数据为训练集，对支持向量机分类器进行训练；
(4c)支持向量机分类器识别并输出远程专家交互手势动作；
(4d)手势动作捕捉识别模块输出包含交互手势动作在内的手势恢复数据，作为远程专家手势动作；
(5)坐标融合计算模块计算手势空间位置坐标：
坐标融合计算模块利用步骤(4)输出的远程专家手势恢复数据，求解维修支持端三维世界坐标系下远程专家手势空间位置坐标，完成对深度传感器的标定；
(6)通信模块将透视式显示模块的标定参数传送至坐标融合计算模块：
(6a)前端通信模块获得现场维修应用端透视式显示模块的标定参数，并传送至后端通信模块；
(6b)后端通信模块将透视式显示模块的标定参数传送至坐标融合计算模块；
(7)坐标融合计算模块将手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下：
坐标融合计算模块通过步骤(5)的手势空间位置坐标和步骤(6)的标定参数建立坐标系转换关系，实现远程专家手势空间位置坐标向现场维修应用端三维世界坐标系下的转换映射；
(8)通信模块将经坐标关系转换的远程专家手势传送至增强现实处理模块：
(8a)后端通信模块获得经坐标融合计算模块转换的远程专家手势，并传送至前端通信模块；
(8b)前端通信模块将远程专家手势传送至增强现实处理模块；
(9)现场维修应用端获得维修支持信息并显示：
(9a)增强现实处理模块获得远程专家手势，并判断增强现实维修场景应用中虚拟对象与远程专家手势间的交互关系，得到包含增强交互效果的维修支持信息；
(9b)透视式显示模块显示由增强现实处理模块生成的包含增强交互效果的维修支持信息。
本发明与现有技术相比，具有如下优点：
1、本发明由于采用手势动作捕捉识别模块获取并识别远程专家手势动作数据，坐标融合计算模块通过融合处理，将手势数据由远程维修支持端向现场维修应用端三维世界坐标系下的转换映射，实现基于增强交互方式的远程维修支持，提供了维修现场三维空间精确定位的远程专家手势支援信息，同时，增强交互可为维修人员呈现操作细节，与现有技术相比，有效地提高了远程维修支持信息的准确性和指导效率。
2、本发明由于在远程专家手势动作恢复与识别过程中，构建了基于关键点手势模型，计算处理子模块利用此手部简化模型，实现对手势动作的快速恢复，与现有技术相比，有效提高了维修支持的实时性。
3、本发明由于在远程专家手势动作恢复与识别过程中，设计并建立维修支持交互手势分类集，以支持向量机分类器实现对远程专家交互手势的分类输出，提供不同类型增强交互效果的维修支持信息，与现有技术相比，维修支持操作更加自然，进一步提高了维修指导效率。
附图说明
图1为本发明远程维修支持系统的结构示意图；
图2为本发明远程维修支持方法的实现流程图；
图3为本发明中关键点手势模型与手指运动约束模型示意图；
图4为本发明中远程专家手势空间位置求解示意图；
图5为本发明中现场维修应用端透视式显示模块的标定示意图；
图6为本发明中远程专家手势与虚拟对象间增强交互示意图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述：
参照图1，一种基于增强交互方式的远程维修支持系统，包括远程维修支持端、现场维修应用端和通信模块，其中：
所述远程维修支持端，包括手势动作捕捉识别模块、坐标融合计算模块和显示模块，其中：
所述手势动作捕捉识别模块，用于获取远程专家的手势动作数据并进行识别，包括深度传感器和计算处理子模块，其中：
所述深度传感器，用于采集远程专家手势动作的连续帧图像，并从连续帧图像中提取包括手部的位置、速度、方向和长度的特征向量数据；
所述计算处理子模块，用于对深度传感器获取的特征向量数据进行预处理，并通过预处理结果对远程专家手势进行恢复和识别；
所述坐标融合计算模块，用于根据手势动作捕捉识别模块获取的远程专家手势动作数据计算手势空间位置坐标，并将计算得到的手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下；
所述显示模块，用于向远程专家显示场景输入模块采集的维修现场影像，以及包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息；
所述现场维修应用端，包括场景输入模块、增强现实处理模块和透视式显示模块，其中：
所述场景输入模块，用于采集维修现场影像；
所述增强现实处理模块，用于根据场景输入模块采集的维修现场影像信息，计算透视式显示模块的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，并根据映射转换关系，生成包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息，同时判断虚拟对象间的交互关系，以生成包含增强交互效果的维修支持信息；
所述透视式显示模块，用于在现场维修操作人员视野内，叠加显示由增强现实处理模块生成的包含增强交互效果的维修支持信息；
所述通信模块，包括前端通信模块和后端通信模块，其中：
所述前端通信模块，用于发送场景输入模块采集的维修现场影像、增强现实处理模块计算的透视式显示模块标定参数和增强现实处理模块生成的虚拟对象信息；接收后端通信模块发送的数据；
所述后端通信模块，用于发送由远程维修支持端转换的远程专家手势；接收前端通信模块发送的数据。
参照图2，一种基于增强交互方式的远程维修支持方法，包括如下步骤：
(1)设置远程专家手势数据的获取参数：
预先定义基本手部对象，包括指尖位置坐标、指尖速率、手指方向向量uf、手掌法向up和指长Lfinger，用于储存各对象特征向量数据，以各手指独立ID为标识，包括Thumb(拇指)、Index(食指)、Middle(中指)、Ring(无名指)和Pinky(小指)，用于区分存储各手指对应特征向量值；
设定手势状态描述集，用于描述深度传感器所采集的远程专家手势在连续帧图像序列中的状态，其表达式为：
S＝{S0,S1,S2}
其中，S0为无效状态，S1为静止状态，S2为运动状态；
手势动作捕捉识别模块获取的有效远程专家手势，在其图像帧序列中，不应包括无效状态S0，且必然开始和结束于S1，中间帧可能存在一定数量的S2状态，则利用手势状态描述集，可将完整手势状态划分规则定义为：
S1→S2→S1
其中，S1为静止状态，S2为运动状态；
设置特征向量预处理参数，包括速度有效性阈值τ和平滑系数。
(2)手势动作捕捉识别模块获取远程专家手势动作数据：
(2a)深度传感器采集远程专家手势动作的连续帧图像，并根据基本手部对象定义，从每一帧图像中各提取一组包括手部的位置、速度、方向和长度的特征向量数据；
(2b)计算处理子模块判断步骤(2a)提取出的特征向量数据有效性，并保存有效数据，实现步骤为：
(2b1)计算处理子模块依次判断步骤(2a)所提取的每一组特征向量数据中的手部速度是否小于τ，若是，该组数据无效，删除该组数据并执行步骤(2a)；否则，依次保存每一组有效特征向量数据，以构成有效特征向量数据组集合，并执行步骤(2b2)；
(2b2)计算处理子模块判断步骤(2b1)保存的有效特征向量组集合，直到该集合符合完整手势划分规则，保存该有效特征向量组集合，并以此集合作为有效远程专家手势动作数据；若不符合完整手势划分规则定义，继续执行步骤(2a)；
(2c)计算处理子模块利用步骤(1)中的平滑系数，对步骤(2b)保存的有效远程专家手势动作数据进行平滑处理，得到去噪声后的远程专家手势动作数据，平滑处理公式为：
Af′＝β×Af-1′+(1-β)Af
其中，Af表示当前帧深度传感器采集到的数据，Af′是当前帧平滑后的数据，Af-1′是上一帧平滑后的数据，β表示平滑系数。
(3)设置远程专家手势动作恢复识别参数：
构建关键点手势模型，如图3(a)所示，关键点手势模型建模基础为手部三维骨骼模型，由手掌(Palm)、手腕(Wrist)、指尖(TIP)、远指关节(DIP)、近指关节(PIP)和指掌关节(MCP)共21个关键点构成，其中：拇指由指尖(TIP)、远指关节(DIP)和近指关节(PIP)共3个关键点构成，其他四指由指尖(TIP)、远指关节(DIP)、近指关节(PIP)和指掌关节(MCP)各4个关键点构成；
以关键点手势模型为基础，建立手指运动约束模型，其中：拇指由3个关键点构成三角形模型，其他四指由4个关键点构成平面四边形模型，构成手指运动约束的多边形模型包含边长(指段长度)经验值比例关系及角度约束条件，以使模型符合人手生理学结构；
如图3(b)，拇指三角形模型表示为：
其中，d对应某一时刻实际空间中手指的伸出长度，l对应手指的总长度，指段长度比例关系定义为经验值：
根据余弦定理对模型进行求解，令
f(x,y,φ)＝x2+y2-2xycosφ (1)
得拇指远指关节和指尖的局部坐标分别为：
如图3(c)，其他四指平面四边形模型表示为：
其中，角度约束条件为：
指段长度比例关系为经验值：
角度比例关系定义为经验值：
θ2＝1.2θ1
根据式(1)对模型进行求解，得其他四指近指关节、远指关节、指尖的局部坐标分别为：
设计维修支持交互手势分类集，包括指示类动作、选择类动作和其他辅助类动作，用于建立自定义专家交互手势库；
以维修支持交互手势分类集作为参考，为远程专家交互手势动作添加分类标签，并以分类标签为依据，部署支持向量机分类器。
(4)手势动作捕捉识别模块恢复和识别远程专家手势动作并输出：
(4a)计算处理子模块利用步骤(2)的远程专家手势动作数据，对手指运动约束模型进行求解，得到远程专家手势恢复数据；
(4b)计算处理子模块以属于维修支持手势交互分类集的远程专家手势恢复数据为训练集，对支持向量机分类器进行训练，支持向量机中的分类器对输入手势进行识别，获得对应自定义专家交互手势库的最优分类解，完成自定义专家交互手势库的构建；
(4c)支持向量机分类器识别并输出远程专家交互手势动作；
(4d)手势动作捕捉识别模块输出包含交互手势动作在内的手势恢复数据，作为远程专家手势动作。
(5)坐标融合计算模块计算手势空间位置坐标：
坐标融合计算模块利用步骤(4)输出的远程专家手势恢复数据，求解维修支持端三维世界坐标系下远程专家手势空间位置坐标，完成对深度传感器的标定，专家手势在维修支持端三维世界坐标系下关系如图4所示，其空间位置坐标求解实现步骤为：
(5a)以深度传感器为参考建立维修支持端三维世界坐标系，设深度传感器参考坐标系Lp为O-xyz，将手指平面坐标系根据右手法则直接扩展为三维坐标系O′-x′y′z′，利用深度传感器提取的手指长度Lfinger、指尖坐标(xT，yT，zT)和手指方向uf，计算手指坐标系O′-x′y′z′的原点位置在Lp坐标系下的表示为：
(x0,y0,z0)＝(xT,yT,zT)-uf·Lfinger
利用手指方向uf、手掌法向up求解出手指坐标系O′-x′y′z′坐标轴方向向量在Lp坐标系下的表示为：
u′x＝uf
u′z＝u′x×up
u′y＝u′z×u′x
(5b)根据求解出的手指坐标系参数(x0，y0，z0)，u′x，u′y，u′z和三维坐标变换公式，求得Lp坐标系O-xyz中一点(x1，y2，z3)到手指局部三维坐标系O′-x′y′z′的坐标(x′，y′，z′)转换公式：
(x′,y′,z′,1)＝(x1,y1,z1,1)·T·R
(5c)经过矩阵逆变换处理，求得手指局部坐标系O′-x′y′z′内一点(x′，y′，z′)到Lp坐标系O-xyz中一点(x1，y2，z3)的转换公式，维修支持端三维坐标系下远程专家手势空间位置坐标表示为：
(x1,y1,z1,1)＝(x′,y′,z′,1)·R-1·T-1
其中，
(6)通信模块将透视式显示模块的标定参数传送至坐标融合计算模块：
(6a)前端通信模块获得现场维修应用端透视式显示模块的标定参数，并传送至后端通信模块；
参照图5，结合优选实施例，对现场维修应用端透视式显示模块标定参数具体说明如下：
现场维修应用端的跟踪摄相机(Tracking Camera)作为场景输入模块，负责采集维修现场影像，增强现实处理模块利用维修现场影像计算透视式显示模块(Projector)的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，转换关系为：
(u,v,1)＝K·(Rc·(x1,y1,z1)+Tc)/zc
其中，(x1，y1，z1)表示维修现场三维空间中P点的世界坐标，(u，v)表示P点映射至透视式显示模块二维平面(Virtual Plane)的图像坐标，Rc、Tc分别表示跟踪摄像机相对于世界坐标系的旋转和平移矩阵，K表示跟踪摄像机内参矩阵，zc是点P在跟踪摄像机坐标系的坐标轴z的分量；
(6b)后端通信模块将透视式显示模块的标定参数传送至坐标融合计算模块。
(7)坐标融合计算模块将手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下：
坐标融合计算模块通过步骤(5)的手势空间位置坐标和步骤(6)的标定参数建立坐标系转换关系，实现远程专家手势空间位置坐标向现场维修应用端三维世界坐标系下的转换映射。
(8)通信模块将经坐标关系转换的远程专家手势传送至增强现实处理模块：
(8a)后端通信模块获得经坐标融合计算模块转换的远程专家手势，并传送至前端通信模块；
(8b)前端通信模块将远程专家手势传送至增强现实处理模块。
(9)现场维修应用端获得维修支持信息并显示：
(9a)增强现实处理模块获得远程专家手势，并判断增强现实维修场景应用中虚拟对象与远程专家手势间的交互关系，得到包含增强交互效果的维修支持信息；
参照图6，作为优选实施例，自定义专家交互手势库的三类维修支持交互手势，与增强现实维修场景应用中虚拟对象间具有不同的交互逻辑关系：
如图6(a)的指示类动作，可向增强现实维修场景内添加基于空间关系的标识类信息(3D Signs)：增强现实处理模块根据指示类动作交互逻辑，为单指指示手势添加射线系统(Raycast Physics)和渲染系统(Rendering System)，利用获得的经坐标关系转换的远程专家手势数据，定位预添加标识的空间位置坐标，由增强现实处理模块生成指示交互效果；
如图6(b)的选择类动作，可实现对维修场景中虚拟模型对象进行选中(select)、拾取操作：增强现实处理模块根据选择类动作交互逻辑，为食指点击手势添加包围盒体(box collider)用以检测手势与虚拟对象间碰撞，通过增强现实处理模块碰撞检测触发选择(select)事件，改变虚拟模型被触碰的具体部件材质，以实现对部件的高亮(highlight)显示，由增强现实处理模块生成选择交互效果；
如图6(c)的辅助交互类动作，在选择类交互动作所确定的目标对象基础之上，可实现对场景中虚拟对象的其他自定义交互：增强现实处理模块根据辅助交互类逻辑，为握拳手势添加3D变换(transform)控件，通过绑定握拳手势和虚拟对象二者的锚点，使得通过旋转握拳手势实现对虚拟对象的旋转操作，由增强现实处理模块生成对应增强交互效果；
(9b)透视式显示模块显示由增强现实处理模块生成的包含增强交互效果的维修支持信息。
以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于增强交互方式的远程维修支持系统，其特征在于，包括远程维修支持端、现场维修应用端和通信模块，其中：
所述远程维修支持端，包括手势动作捕捉识别模块、坐标融合计算模块和显示模块，其中：
所述手势动作捕捉识别模块，用于获取远程专家的手势动作数据并进行识别；
所述坐标融合计算模块，用于根据手势动作捕捉识别模块获取的远程专家手势动作数据计算手势空间位置坐标，并将计算得到的手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下；
所述显示模块，用于向远程专家显示场景输入模块采集的维修现场影像，以及包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息；
所述现场维修应用端，包括场景输入模块、增强现实处理模块和透视式显示模块，其中：
所述场景输入模块，用于采集维修现场影像；
所述增强现实处理模块，用于根据场景输入模块采集的维修现场影像信息，计算透视式显示模块的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，并根据映射转换关系，生成包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息，同时判断虚拟对象间的交互关系，以生成包含增强交互效果的维修支持信息；
所述透视式显示模块，用于在现场维修操作人员视野内，叠加显示由增强现实处理模块生成的包含增强交互效果的维修支持信息；
所述通信模块，包括前端通信模块和后端通信模块，其中：
所述前端通信模块，用于发送场景输入模块采集的维修现场影像、增强现实处理模块计算的透视式显示模块标定参数和增强现实处理模块生成的虚拟对象信息；接收后端通信模块发送的数据；
所述后端通信模块，用于发送由远程维修支持端转换的远程专家手势；接收前端通信模块发送的数据。
2.根据权利要求1所述的基于增强交互方式的远程维修支持系统，其特征在于，所述手势动作捕捉识别模块，包括深度传感器和计算处理子模块，其中：
所述深度传感器，用于采集远程专家手势动作的连续帧图像，并从连续帧图像中提取包括手部的位置、速度、方向和长度的特征向量数据；
所述计算处理子模块，用于对深度传感器获取的特征向量数据进行预处理，并通过预处理结果对远程专家手势进行恢复和识别。
3.一种基于增强交互方式的远程维修支持方法，其特征在于，包括如下步骤：
(1)设置远程专家手势数据的获取参数：
定义基本手部对象；设定手势状态描述集，并以此描述集定义完整手势状态划分规则；设置特征向量预处理参数，包括速度有效性阈值τ和平滑系数；
(2)手势动作捕捉识别模块获取远程专家手势动作数据：
(2a)深度传感器采集远程专家手势动作的连续帧图像，并根据基本手部对象定义，从每一帧图像中各提取一组包括手部的位置、速度、方向和长度的特征向量数据；
(2b)计算处理子模块判断步骤(2a)提取出的特征向量数据有效性，并保存有效数据，实现步骤为：
(2b1)计算处理子模块依次判断步骤(2a)所提取的每一组特征向量数据中的手部速度是否小于τ，若是，该组数据无效，删除该组数据并执行步骤(2a)；否则，依次保存每一组有效特征向量数据，以构成有效特征向量数据组集合，并执行步骤(2b2)；
(2b2)计算处理子模块判断步骤(2b1)保存的有效特征向量组集合，直到该集合符合完整手势划分规则，保存该有效特征向量组集合，并以此集合作为有效远程专家手势动作数据；若不符合完整手势划分规则定义，继续执行步骤(2a)；
(2c)计算处理子模块利用步骤(1)中的平滑系数，对步骤(2b)保存的有效远程专家手势动作数据进行平滑处理，得到去噪声后的远程专家手势动作数据；
(3)设置远程专家手势动作恢复识别参数：
构建关键点手势模型，并以此模型为基础建立手指运动约束模型；设计维修支持交互手势分类集，以此分类集作为参考为远程专家交互手势动作添加分类标签，并以分类标签为依据，部署支持向量机分类器；
(4)手势动作捕捉识别模块恢复和识别远程专家手势动作并输出：
(4a)计算处理子模块利用步骤(2)的远程专家手势动作数据，对手指运动约束模型进行求解，得到远程专家手势恢复数据；
(4b)计算处理子模块以属于维修支持手势交互分类集的远程专家手势恢复数据作为训练集，对支持向量机分类器进行训练；
(4c)支持向量机分类器识别并输出远程专家交互手势动作；
(4d)手势动作捕捉识别模块输出包含交互手势动作在内的手势恢复数据，作为远程专家手势动作；
(5)坐标融合计算模块计算手势空间位置坐标：
坐标融合计算模块利用步骤(4)输出的远程专家手势恢复数据，求解维修支持端三维世界坐标系下远程专家手势空间位置坐标，完成对深度传感器的标定；
(6)通信模块将透视式显示模块的标定参数传送至坐标融合计算模块：
(6a)前端通信模块获得现场维修应用端透视式显示模块的标定参数，并传送至后端通信模块；
(6b)后端通信模块将透视式显示模块的标定参数传送至坐标融合计算模块；
(7)坐标融合计算模块将手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下：
坐标融合计算模块通过步骤(5)的手势空间位置坐标和步骤(6)的标定参数建立坐标系转换关系，实现远程专家手势空间位置坐标向现场维修应用端三维世界坐标系下的转换映射；
(8)通信模块将经坐标关系转换的远程专家手势传送至增强现实处理模块：
(8a)后端通信模块获得经坐标融合计算模块转换的远程专家手势，并传送至前端通信模块；
(8b)前端通信模块将远程专家手势传送至增强现实处理模块；
(9)现场维修应用端获得维修支持信息并显示：
(9a)增强现实处理模块获得远程专家手势，并判断增强现实维修场景应用中虚拟对象与远程专家手势间的交互关系，生成包含增强交互效果的维修支持信息；
(9b)透视式显示模块显示由增强现实处理模块生成的包含增强交互效果的维修支持信息。
4.根据权利要求3所述的基于增强交互方式的远程维修支持方法，其特征在于，步骤(1)所述的手势状态描述集，其表达式为：
S＝{S0,S1,S2}
其中，S0为无效状态，S1为静止状态，S2为运动状态。
5.根据权利要求3所述的基于增强交互方式的远程维修支持方法，其特征在于，步骤(1)所述的完整手势状态划分规则，其定义为：
S1→S2→S1
其中，S1为静止状态，S2为运动状态。
6.根据权利要求3所述的基于增强交互方式的远程维修支持方法，其特征在于，步骤(3)所述的建立手指运动约束模型，实现步骤为：
(3a)建立由手掌、手腕、指尖、远指关节、近指关节和指掌关节共21个关键点构成的关键点手势模型，其中：拇指由指尖、远指关节和近指关节共3个关键点构成，其他四指由指尖、远指关节、近指关节和指掌关节各4个关键点构成；
(3b)建立以关键点手势模型为基础的手指运动约束模型，其中：拇指由3个关键点构成三角形模型，其他四指由4个关键点构成平面四边形模型，构成手指运动约束的多边形模型包含边长经验值比例关系及角度约束条件，以使模型符合人手生理学结构。
7.根据权利要求3所述的基于增强交互方式的远程维修支持方法，其特征在于，步骤(3)所述的维修支持交互手势分类集，包括指示类动作、选择类动作和其他辅助类动作。
8.根据权利要求3所述的基于增强交互方式的远程维修支持方法，其特征在于，步骤(4c)所述的远程专家交互手势动作，用于与现场维修应用端中的虚拟对象判断交互逻辑关系，增强现实处理模块以判断结果，生成包含增强交互效果的维修支持信息。
CN201810116612.5A 2018-02-06 2018-02-06 基于增强交互方式的远程维修支持系统及方法 Active CN108509026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810116612.5A CN108509026B (zh) 2018-02-06 2018-02-06 基于增强交互方式的远程维修支持系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810116612.5A CN108509026B (zh) 2018-02-06 2018-02-06 基于增强交互方式的远程维修支持系统及方法

Publications (2)

Publication Number Publication Date
CN108509026A true CN108509026A (zh) 2018-09-07
CN108509026B CN108509026B (zh) 2020-04-14

Family

ID=63375346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810116612.5A Active CN108509026B (zh) 2018-02-06 2018-02-06 基于增强交互方式的远程维修支持系统及方法

Country Status (1)

Country Link
CN (1) CN108509026B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710066A (zh) * 2018-12-19 2019-05-03 平安普惠企业管理有限公司 基于手势识别的交互方法、装置、存储介质和电子设备
CN110189416A (zh) * 2019-05-29 2019-08-30 国家电网有限公司 检修现场的远程指导方法及系统
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手系统
CN111260084A (zh) * 2020-01-09 2020-06-09 长安大学 基于增强现实协同装配维修的远程系统及方法
CN111526118A (zh) * 2019-10-29 2020-08-11 南京翱翔信息物理融合创新研究院有限公司 一种基于混合现实的远程操作引导系统及方法
CN111565307A (zh) * 2020-04-29 2020-08-21 昆明埃舍尔科技有限公司 一种基于mr远程空间同步指导方法和系统
CN112130666A (zh) * 2020-09-16 2020-12-25 博彦科技（上海）有限公司 数据处理方法及系统
EP4064006A1 (en) * 2021-03-22 2022-09-28 Siemens Aktiengesellschaft Identifying a place of interest on a physical object through its 3d model in augmented reality view
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
CN117745496A (zh) * 2024-02-19 2024-03-22 成都运达科技股份有限公司 一种基于混合现实技术的智能考评方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212756A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based navigation of a handheld user interface
CN104656893A (zh) * 2015-02-06 2015-05-27 西北工业大学 一种信息物理空间的远程交互式操控系统及方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN107450714A (zh) * 2016-05-31 2017-12-08 大唐电信科技股份有限公司 基于增强现实和图像识别的人机交互支撑测试系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212756A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based navigation of a handheld user interface
CN104656893A (zh) * 2015-02-06 2015-05-27 西北工业大学 一种信息物理空间的远程交互式操控系统及方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN107450714A (zh) * 2016-05-31 2017-12-08 大唐电信科技股份有限公司 基于增强现实和图像识别的人机交互支撑测试系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔宪光等: "工业大数据环境下的混合故障诊断模型研究", 《2015年全国机械行业可靠性技术学术交流会暨第五届可靠性工程分会第二次全体委员大会论文集》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710066A (zh) * 2018-12-19 2019-05-03 平安普惠企业管理有限公司 基于手势识别的交互方法、装置、存储介质和电子设备
CN110189416B (zh) * 2019-05-29 2023-05-05 国家电网有限公司 检修现场的远程指导方法及系统
CN110189416A (zh) * 2019-05-29 2019-08-30 国家电网有限公司 检修现场的远程指导方法及系统
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手系统
CN111526118A (zh) * 2019-10-29 2020-08-11 南京翱翔信息物理融合创新研究院有限公司 一种基于混合现实的远程操作引导系统及方法
WO2021179399A1 (zh) * 2019-10-29 2021-09-16 南京翱翔信息物理融合创新研究院有限公司 一种基于混合现实的远程操作引导系统及方法
CN111260084A (zh) * 2020-01-09 2020-06-09 长安大学 基于增强现实协同装配维修的远程系统及方法
CN111260084B (zh) * 2020-01-09 2024-03-15 长安大学 基于增强现实协同装配维修的远程系统及方法
CN111565307A (zh) * 2020-04-29 2020-08-21 昆明埃舍尔科技有限公司 一种基于mr远程空间同步指导方法和系统
CN112130666A (zh) * 2020-09-16 2020-12-25 博彦科技（上海）有限公司 数据处理方法及系统
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
WO2022199995A1 (en) * 2021-03-22 2022-09-29 Siemens Aktiengesellschaft Identifying a place of interest on a physical object through its 3d model in augmented reality view
EP4064006A1 (en) * 2021-03-22 2022-09-28 Siemens Aktiengesellschaft Identifying a place of interest on a physical object through its 3d model in augmented reality view
CN117745496A (zh) * 2024-02-19 2024-03-22 成都运达科技股份有限公司 一种基于混合现实技术的智能考评方法、系统及存储介质
CN117745496B (zh) * 2024-02-19 2024-05-31 成都运达科技股份有限公司 一种基于混合现实技术的智能考评方法、系统及存储介质

Also Published As

Publication number Publication date
CN108509026B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
WO2021103648A1 (zh) 手部关键点检测方法、手势识别方法及相关装置
JP7273880B2 (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
Li et al. A survey on 3D hand pose estimation: Cameras, methods, and datasets
CN106055091B (zh) 一种基于深度信息和校正方式的手部姿态估计方法
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
Erol et al. Vision-based hand pose estimation: A review
CN104331164B (zh) 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法
Davis et al. Determining 3-d hand motion
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN107450714A (zh) 基于增强现实和图像识别的人机交互支撑测试系统
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN114445853A (zh) 一种视觉手势识别系统识别方法
CN104484034B (zh) 一种基于手势识别的手势运动基元过渡帧定位方法
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
Davis et al. Toward 3-D gesture recognition
Roy et al. Real time hand gesture based user friendly human computer interaction system
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
CN115953375A (zh) 多方法融合的手部穴位定位方法、系统及电子设备
CN202749066U (zh) 一种非接触式物展交互系统
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法
CN114926613A (zh) 一种人体数据及空间定位的增强现实的方法及系统
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230418

Address after: Room 408, Building D, Huixin IBC, No.1 Zhangba 1st Road, Zhangba Street Office, High tech Zone, Xi'an City, Shaanxi Province, 710076

Patentee after: Xi'an Tali Technology Co.,Ltd.

Address before: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2

Patentee before: XIDIAN University

TR01 Transfer of patent right