CN113093914B - 一种基于vr的高临场视觉感知方法及装置 - Google Patents

一种基于vr的高临场视觉感知方法及装置 Download PDF

Info

Publication number
CN113093914B
CN113093914B CN202110430315.XA CN202110430315A CN113093914B CN 113093914 B CN113093914 B CN 113093914B CN 202110430315 A CN202110430315 A CN 202110430315A CN 113093914 B CN113093914 B CN 113093914B
Authority
CN
China
Prior art keywords
joint
robot
information
pose
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110430315.XA
Other languages
English (en)
Other versions
CN113093914A (zh
Inventor
王杨
吴晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority to CN202110430315.XA priority Critical patent/CN113093914B/zh
Publication of CN113093914A publication Critical patent/CN113093914A/zh
Application granted granted Critical
Publication of CN113093914B publication Critical patent/CN113093914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种基于VR的高临场视觉感知方法和装置，操作者根据所获取的视场改变其头部位姿动作，并通过采集操作者的头部位姿动作可远距离地实时控制串联机器人的关节末端跟随其位姿变化进行同步跟踪，从而实现操作更加灵活，实现高临场；同时，能够快速反馈目标物的位置信息，为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息，提高作业效率。

Description

一种基于VR的高临场视觉感知方法及装置
技术领域
本申请涉及虚拟现实混合技术领域，尤其涉及一种基于VR的高临场视觉感知方法及装置。
背景技术
随着社会发展和科技的进步，人类社会的活动无时无刻离不开电。然而，用电的高峰期难免会引起电力设备故障，而停电检修不仅给企业造成巨大的经济损失，还会给人们的日常生活造成诸多的不便，因此，电网故障带电抢修作业越来越变得更加迫切。
目前，人工带电作业存在许多的不足和安全隐患，其中包括需要前期大量安全准备工作、电击触电危险、高空坠落风险等，因此，通过机器人替代人进行带电作业，不仅仅降低操作人员的工作强度和风险程度，同时也可以节省很多前期安全预防工作，大大提高电力抢修效率。
但是，户外作业环境非确定性强。尤其当作业区域内危险障碍分布密集，安全作业空间狭窄受限，机器人本体难以进行灵活移动的时候，传统的固定式视觉感知系统就难以绕过作业空间内的障碍遮蔽为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息。
发明内容
本申请提供了一种基于VR的高临场视觉感知方法及装置，用于解决现有的视觉感知系统无法为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息的技术问题。
有鉴于此，本申请第一方面提供了一种基于VR的高临场视觉感知方法，应用于视觉交互系统，所述视觉交互系统包括：VR头戴设备、工作站、串联机器人以及设置于所述串联机器人的关节末端的双目相机；
所述VR头戴设备设有IMU惯导装置和定位基站；
所述IMU惯导装置用于提供所述VR头戴设备的位姿信息；
所述定位基站用于提供所述VR头戴设备的定位信息；
所述工作站用于采集所述IMU惯导装置和所述定位基站分别提供的所述位姿信息和所述定位信息；还用于根据所述位姿信息和所述定位信息控制所述串联机器人的关节进行运动，从而实现所述双目相机对操作者的头部空间运动进行同步跟踪；还用于获取所述双目相机所采集到的视场内的深度信息和可见光图像，还用于根据所述可见光图像确定目标物，还用于根据所述目标物的深度信息得出所述目标物的空间位置信息，还用于将所述目标物的所述空间位置信息反馈至所述VR头戴设备；
该高临场视觉感知方法包括以下步骤：
S1、通过所述工作站实时获取所述VR头戴设备的所述位姿信息和所述定位信息来确定所述VR头戴设备的实时空间位姿信息；
S2、基于预先建立的关于所述VR头戴设备的空间位姿信息与所述串联机器人的各关节角度之间的逆运动学模型，计算得出所述串联机器人当前的各关节角度；
S3、基于所述逆运动学模型，根据所述VR头戴设备的所述实时空间位姿信息和所述串联机器人当前的各关节角度，得出所述串联机器人的各关节相应的旋转角度信息；
S4、通过所述工作站根据所述旋转角度信息驱动所述串联机器人的伺服电机转动相应的角度，从而实现所述双目相机对所述操作者的头部空间运动进行同步跟踪；
S5、通过所述双目相机采集视场内的深度信息和可见光图像后，将所述深度信息和所述可见光图像传输至所述工作站；
S6、通过所述工作站基于预先训练好的目标物识别模型，根据所述可见光图像识别出所述目标物；
S7、通过所述工作站根据所述目标物的所述深度信息确定所述目标物的空间位置信息，再将所述空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
优选地，所述步骤S2之前包括：
S11：基于预先在所述VR头戴设备和所述串联机器人的所述关节末端上分别建立的笛卡尔坐标系，得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型；
S12：根据所述串联机器人的关节结构建立相应的关节结构模型，根据所述关节结构模型中的各关节之间的几何关系确定所述串联机器人的所述关节末端的位姿与各关节的关节角的角度映射关系模型；
S13：根据所述位姿映射关系模型和所述角度映射关系模型对所述串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型。
优选地，所述步骤S11具体包括：
S111：基于预先建立的所述VR头戴设备的笛卡尔坐标系，确定所述VR头戴设备的空间位置和空间位姿，同时，基于所述串联机器人的所述关节末端的笛卡尔坐标系，确定所述串联机器人的所述关节末端的空间位置和空间位姿；
S112：根据所述VR头戴设备的空间位置和所述串联机器人的所述关节末端的空间位置确定所述VR头戴设备和所述串联机器人的所述关节末端在初始状态下的空间位置映射关系；
S113：根据所述VR头戴设备的空间位姿和所述串联机器人的所述关节末端的空间位姿确定所述VR头戴设备和所述串联机器人的所述关节末端的空间位姿映射关系；
S114：根据所述空间位置映射关系和所述空间位姿映射关系得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型。
优选地，所述串联机器人由六个自由度的关节、颈部以及连接于各关节之间的连杆组成，则所述步骤S12具体包括：
S121：根据所述串联机器人的关节结构建立相应的关节结构模型，根据串联机器人的所述关节末端相对于笛卡尔坐标系中的空间位姿确定所述颈部在所述关节结构模型中的空间位置；
S122：根据所述颈部的空间位置以及所述连杆的长度及其位姿通过几何关系计算得出六个自由度的关节的关节角矢量，从而建立所述串联机器人的所述关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
优选地，所述步骤S7具体包括：
S71：基于预先在所述双目相机建立的相机坐标系，通过所述工作站根据所述目标物的所述深度信息确定所述目标物在相机坐标系下的空间位置信息；
S72：基于刚体的坐标转换原理，将所述目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，所述机器人坐标系为预先建立在所述串联机器人的所述关节末端的笛卡尔坐标系；
S73：将所述目标物在机器人坐标系下的空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
第二方面，本发明还提供了一种基于VR的高临场视觉感知装置，应用于视觉交互系统，所述视觉交互系统包括：VR头戴设备、工作站、串联机器人以及设置于所述串联机器人的关节末端的双目相机；
所述VR头戴设备设有IMU惯导装置和定位基站；
所述IMU惯导装置用于提供所述VR头戴设备的位姿信息；
所述定位基站用于提供所述VR头戴设备的定位信息；
所述工作站用于采集所述IMU惯导装置和所述定位基站分别提供的所述位姿信息和所述定位信息；还用于根据所述位姿信息和所述定位信息控制所述串联机器人的关节进行运动，从而实现所述双目相机对操作者的头部空间运动进行同步跟踪；还用于获取所述双目相机所采集到的视场内的深度信息和可见光图像，还用于根据所述可见光图像确定目标物，还用于根据所述目标物的深度信息得出所述目标物的空间位置信息，还用于将所述目标物的所述空间位置信息反馈至所述VR头戴设备；
该高临场视觉感知装置包括：
第一确定模块，用于实时获取所述VR头戴设备的所述位姿信息和所述定位信息来确定所述VR头戴设备的实时空间位姿信息；
第一计算模块，用于基于预先建立的关于所述VR头戴设备的空间位姿信息与所述串联机器人的各关节角度之间的逆运动学模型，计算得出所述串联机器人当前的各关节角度；
第二计算模块，用于基于所述逆运动学模型，根据所述VR头戴设备的所述实时空间位姿信息和所述串联机器人当前的各关节角度，得出所述串联机器人的各关节相应的旋转角度信息；
第一驱动模块，用于根据所述旋转角度信息驱动所述串联机器人的伺服电机转动相应的角度，从而实现所述双目相机对所述操作者的头部空间运动进行同步跟踪；
传输模块，用于通过所述双目相机采集视场内的深度信息和可见光图像后，将所述深度信息和所述可见光图像传输至所述工作站；
目标识别模块，用于基于预先训练好的目标物识别模型，根据所述可见光图像识别出所述目标物；
第二确定模块，用于根据所述目标物的所述深度信息确定所述目标物的空间位置信息，还用于将所述空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
优选地，该装置还包括：
第一映射模块，用于基于预先在所述VR头戴设备和所述串联机器人的所述关节末端上分别建立的笛卡尔坐标系，得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型；
第二映射模块，用于根据所述串联机器人的关节结构建立相应的关节结构模型，根据所述关节结构模型中的各关节之间的几何关系确定所述串联机器人的所述关节末端的位姿与各关节的关节角的角度映射关系模型；
模型建立模块，用于根据所述位姿映射关系模型和所述角度映射关系模型对所述串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型。
优选地，所述第一映射模块具体包括：
第一确定子模块，用于基于预先建立的所述VR头戴设备的笛卡尔坐标系，确定所述VR头戴设备的空间位置和空间位姿，还用于基于所述串联机器人的所述关节末端的笛卡尔坐标系，确定所述串联机器人的所述关节末端的空间位置和空间位姿；
第一映射子模块，用于根据所述VR头戴设备的空间位置和所述串联机器人的所述关节末端的空间位置确定所述VR头戴设备和所述串联机器人的所述关节末端在初始状态下的空间位置映射关系；
第二映射子模块，用于根据所述VR头戴设备的空间位姿和所述串联机器人的所述关节末端的空间位姿确定所述VR头戴设备和所述串联机器人的所述关节末端的空间位姿映射关系；
第三映射子模块，用于根据所述空间位置映射关系和所述空间位姿映射关系得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型。
优选地，所述串联机器人由六个自由度的关节、颈部以及连接于各关节之间的连杆组成，则所述第二映射模块具体包括：
第二确定子模块，用于根据所述串联机器人的关节结构建立相应的关节结构模型，还用于根据串联机器人的所述关节末端相对于笛卡尔坐标系中的空间位姿确定所述颈部在所述关节结构模型中的空间位置；
第四映射子模块，用于根据所述颈部的空间位置以及所述连杆的长度及其位姿通过几何关系计算得出六个自由度的关节的关节角矢量，从而建立所述串联机器人的所述关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
优选地，所述第二确定模块具体包括：
第三确定子模块，用于基于预先在所述双目相机建立的相机坐标系，通过所述工作站根据所述目标物的所述深度信息确定所述目标物在相机坐标系下的空间位置信息；
坐标转换子模块，用于基于刚体的坐标转换原理，将所述目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，所述机器人坐标系为预先建立在所述串联机器人的所述关节末端的笛卡尔坐标系；
传输子模块，用于将所述目标物在机器人坐标系下的空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的一种基于VR的高临场视觉感知方法和装置，操作者根据所获取的视场改变其头部位姿动作，并通过采集操作者的头部位姿动作可远距离地实时控制串联机器人的关节末端跟随其位姿变化进行同步跟踪，从而实现操作更加灵活，实现高临场；同时，能够快速反馈目标物的位置信息，为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息，提高作业效率。
附图说明
图1为本申请实施例提供的视觉交互系统的结构示意图；
图2为本申请实施例提供的一种基于VR的高临场视觉感知方法的流程图；
图3为本申请实施例提供的串联机器人的结构示意图；
图4为本申请实施例提供的一种基于VR的高临场视觉感知装置的结构示意图；
图5为本申请实施例提供的关于建立逆运动学模型的结构示意图；
图6为本申请实施例提供的第一映射模块的结构示意图；
图7为本申请实施例提供的第二映射模块的结构示意图；
图8为本申请实施例提供的第二确定模块的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明提供的一种基于VR的高临场视觉感知方法，应用于视觉交互系统，如图1所示，视觉交互系统包括：VR头戴设备10、工作站20、串联机器人30以及设置于串联机器人30的关节末端的双目相机31；
VR头戴设备10设有IMU惯导装置11和定位基站12；
IMU惯导装置11用于提供VR头戴设备10的位姿信息；
定位基站12用于提供VR头戴设备10的定位信息；
工作站20用于采集IMU惯导装置11和定位基站12分别提供的位姿信息和定位信息；还用于根据位姿信息和定位信息控制串联机器人30的关节进行运动，从而实现双目相机31对操作者的头部空间运动进行同步跟踪；还用于获取双目相机31所采集到的视场内的深度信息和可见光图像，还用于根据可见光图像确定目标物，还用于根据目标物的深度信息得出目标物的空间位置信息，还用于将目标物的空间位置信息反馈至VR头戴设备10；
在一个具体实施例中，VR头戴设备10与工作站20之间采用USB通讯，工作站20与串联机器人30之间采用以太网通讯，工作站20与双目相机31之间采用USB通讯。
为了方便理解，请参阅图2，本发明提供的高临场视觉感知方法包括以下步骤：
S1、通过工作站实时获取VR头戴设备的位姿信息和定位信息来确定VR头戴设备的实时空间位姿信息；
可以理解的是，VR头戴设备由操作者的头部进行佩戴，操作者需要根据观测目标的需求，需在一定范围内移动或转动VR头戴设备，而IMU惯导装置会采集VR头戴设备的位姿，定位基站则会采集VR头戴设备的定位信息，定位信息包括相对基站的坐标信息，从而通过位姿信息和定位信息既可以确定VR头戴设备的空间位姿信息。
S2、基于预先建立的关于VR头戴设备的空间位姿信息与串联机器人的各关节角度之间的逆运动学模型，计算得出串联机器人当前的各关节角度；
S3、基于逆运动学模型，根据VR头戴设备的实时空间位姿信息和串联机器人当前的各关节角度，得出串联机器人的各关节相应的旋转角度信息；
需要说明的是，逆运动学模型包括关于VR头戴设备位姿、串联机器人的关节末端位姿、串联机器人的关节末端位姿与机器人各关节角的映射关系，因此，在获得VR头戴设备的实时空间位姿信息后，先映射到串联机器人末端位姿，再通过逆运动学模型求解出串联机器人的各关节的所期望的关节角，从而得出串联机器人的每个关节相应的旋转角度信息。
S4、通过工作站根据旋转角度信息驱动串联机器人的伺服电机转动相应的角度，从而实现双目相机对操作者的头部空间运动进行同步跟踪；
可以理解的是，随着操作者的头部空间运动，VR头戴设备的位姿与定位信息均随之变化，而将实时获取的VR头戴设备的实时空间位姿信息映射到串联机器人的关节末端的位姿动作上，从而实现双目相机对操作者的头部空间运动进行同步跟踪。
S5、通过双目相机采集视场内的深度信息和可见光图像后，将深度信息和可见光图像传输至工作站；
在本实施例中，双目相机具体为双目深度相机，可以获取到视场内的物体的深度信息。
S6、通过工作站基于预先训练好的目标物识别模型，根据可见光图像识别出目标物；
在本实施例中，预先训练好的目标物识别模型是通过深度学习神经网络算法训练得到的。
S7、通过工作站根据目标物的深度信息确定目标物的空间位置信息，再将空间位置信息传输至VR头戴设备中，从而为操作者提供目标物位置信息。
本实施例中，操作者根据所获取的视场改变其头部位姿动作，并通过采集操作者的头部位姿动作可远距离地实时控制串联机器人的关节末端跟随其位姿变化进行同步跟踪，从而实现操作更加灵活，实现高临场；同时，能够快速反馈目标物的位置信息，为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息，提高作业效率。
以下为对本实施例提供的基于VR的高临场视觉感知方法进行的详细描述。
在VR头戴设备和串联机器人的关节末端上分别建立的笛卡尔坐标系，其中，VR头戴设备的笛卡尔坐标系是以其两个VR镜头之间的中心点为原点，建立笛卡尔坐标系，定义为m，在笛卡尔坐标系m中，定义VR头戴设备分别绕笛卡尔坐标系m的x、y、z轴的旋转角对应为
Figure BDA0003031125640000091
θ0、φ0，定义VR头戴设备分别在笛卡尔坐标系m的x、y、z轴的投影距离对应为x0、y0、z0；
其中，串联机器人的关节末端的笛卡尔坐标系是以关节末端的中心点为原点，建立笛卡尔坐标系，定义为s，在笛卡尔坐标系s中，定义串联机器人的关节末端分别绕笛卡尔坐标系s的x、y、z轴的旋转角对应为
Figure BDA0003031125640000092
θ1、φ1，定义VR头戴设备分别在笛卡尔坐标系m的x、y、z轴的投影距离对应为x1、y1、z1。
则在步骤S2之前，包括以下步骤：
S11、基于VR头戴设备和串联机器人的关节末端上分别建立的笛卡尔坐标系，得出VR头戴设备与串联机器人的关节末端的位姿映射关系模型；
具体地，步骤S11包括以下步骤：
S111：基于VR头戴设备的笛卡尔坐标系，确定VR头戴设备的空间位置和空间位姿，同时，基于串联机器人的关节末端的笛卡尔坐标系，确定串联机器人的关节末端的空间位置和空间位姿；
可以理解的是，本实施例中，根据前述建立的笛卡尔坐标系m和笛卡尔坐标系s，其中，旋转角
Figure BDA0003031125640000101
θ0、φ0可以用来确定VR头戴设备的空间位姿，投影距离x0、y0、z0可以用来确定VR头戴设备的空间位置；旋转角
Figure BDA0003031125640000102
θ1、φ1可以用来确定串联机器人的关节末端的空间位姿，投影距离x1、y1、z1用来确定串联机器人的关节末端的空间位置。
S112：根据VR头戴设备的空间位置和串联机器人的关节末端的空间位置确定VR头戴设备和串联机器人的关节末端在初始状态下的空间位置映射关系；
需要说明的是，VR头戴设备与串联机器人的关节末端的空间位置映射关系模型具体表示为：
[x0-x1,y0-y1,z0-z1]s＝b[-x0+x1,-y0+y1,z0-z1]m (1)
式中，b为映射比例系数，b的取值根据需求设定，本质上由串联机器人工作空间大小和观测目标的外轮廓尺寸所决定，[x0-x1,y0-y1,z0-z1]s为VR头戴设备在初始状态下的空间位置，[-x0+x1,-y0+y1,z0-z1]m为串联机器人的关节末端在初始状态下的空间位置，其中，初始状态即为与坐标系无偏差的状态。
S113：根据VR头戴设备的空间位姿和串联机器人的关节末端的空间位姿确定VR头戴设备和串联机器人的关节末端的空间位姿映射关系；
需要说明的是，由于VR头戴设备和串联机器人的关节末端的相对坐标系定义不同，因此，以直角坐标系作为统一的标准坐标系，通过旋转矩阵分别对VR头戴设备和串联机器人的关节末端的空间位姿进行表示，具体表达式为：
Figure BDA0003031125640000111
Figure BDA0003031125640000112
n、o、a轴上的投影距离，其中，直角坐标系O-noa的圆心O与笛卡尔坐标系m的圆心重合，以人员佩戴VR头戴设备后，人员双眼直视方向的反向为n轴正方向、直视方向的左侧为o轴正方向、直视方向的上侧为a轴正方向，r为欧拉角对应的旋转矩阵，z(φ)m、y(θ)m、
Figure BDA0003031125640000113
均为VR头戴设备的欧拉角；
式(3)中，
Figure BDA0003031125640000114
为串联机器人的关节末端分别在其直角坐标系O′-n′o′a′中的n′、o′、a′轴上的投影距离，其中，直角坐标系O′-n′o′a′的圆心O′与笛卡尔坐标系s的圆心重合，该坐标系以机器人正向面对作业目标的方向为n′轴正方向、左侧为o′轴正方向、上侧为a′轴正方向r为欧拉角对应的旋转矩阵，z(φ1)s、y(θ1)s、
Figure BDA0003031125640000115
均为串联机器人的关节末端的欧拉角；
在VR头戴设备和串联机器人的关节末端在统一的标准坐标系的映射关系下，串联机器人的关节末端的n′、o′、a′轴分别与VR头戴设备的a、o、n轴对应，且在笛卡尔坐标系的-z轴上的投影距离等大且反向，则有VR头戴设备和串联机器人的关节末端的空间位姿映射关系为：
Figure BDA0003031125640000116
S114：根据空间位置映射关系和空间位姿映射关系得出VR头戴设备与串联机器人的关节末端的位姿映射关系模型。
需要说明的是，根据公式(1和(4)得到VR头戴设备与串联机器人的关节末端的位姿映射关系模型为：
Figure BDA0003031125640000121
式(5)中，
Figure BDA0003031125640000122
nzm＝-sin(θ)
Figure BDA0003031125640000126
Figure BDA0003031125640000123
Figure BDA0003031125640000124
S12：根据串联机器人的关节结构建立相应的关节结构模型，根据关节结构模型中的各关节之间的几何关系确定串联机器人的关节末端的位姿与各关节的关节角的角度映射关系模型；
具体地，如图3所示，串联机器人由六个自由度的关节1、2、3、4、5、6、颈部以及连接于各关节之间的连杆组成，步骤S12具体包括：
S121：根据串联机器人的关节结构建立相应的关节结构模型，根据串联机器人的关节末端相对于笛卡尔坐标系中的空间位姿确定颈部在关节结构模型中的空间位置；
需要说明的是，在本实施例中，定义串联机器人关节4和关节5的回转轴线的交点为颈部，颈部位置与VR头戴设备内置的IMU惯导装置反馈的位置一致；而颈部至串联机器人的关节末端的位姿由式(5)确定。
S122：根据颈部的空间位置以及连杆的长度及其位姿通过几何关系计算得出六个自由度的关节1、2、3、4、5、6的关节角矢量，从而建立串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
在本实施例中，根据颈部的空间位置PxPyPz，PxPyPz表示颈部在笛卡尔坐标系中x-y面上的位置投影，求解串联机器人的关节1、2、3相应的关节角矢量q1、q2、q3，具体为：
Figure BDA0003031125640000125
Figure BDA0003031125640000131
Figure BDA0003031125640000132
式(6)～(8)中，
Figure BDA0003031125640000133
lxy′＝Pxcos(q1′)+Pysin(q1′)
Figure BDA0003031125640000134
d为串联机器人关节6转轴和关节1转轴在平行状态下的间距，l和lxy′为中间量，l1为关节1至关节2的长度，l2为关节2至关节3的长度，l3为关节2至关节3的长度，l4为关节5至关节6的长度，l5为关节6至关节末端的长度。
根据公式(4)以及(6)～(8)求解串联机器人的关节4、5相应的关节角矢量q4、q5，则得到：
Figure BDA0003031125640000135
Figure BDA0003031125640000136
公式(4)表示了末端朝向的象限，而nxm表示公式(4)中末端正向的变化，nxm>0表示末端沿x方向向前，nxm≤0表示末端沿x方向向后；nym>0表示末端沿y方向向前，nym＜0表示末端沿y方向向后；a、b、c、e为计算中间量，无意义。
式(9)和(10)中，a＝tan(q1)2+1
b＝2cos(θ)cos(φ)sec(q1)tan(q1)
Figure BDA0003031125640000137
Figure BDA0003031125640000138
cv＝cos(v)，sv＝sin(v)，v为φ、
Figure BDA0003031125640000139
θ；
基于串联机器人的关节1、2、3、4、5相应的关节角矢量q1、q2、q3、q4、q5得出串联机器人的关节6的关节角矢量q6，
Figure BDA0003031125640000141
式中，si表示sin(qi)；ci表示cos(qi)；Cφ＝cos(φ)。
由于确定颈部的空间位置是由串联机器人的关节末端相对于笛卡尔坐标系中的空间位姿决定的，因此，根据各关节的关节角矢量和串联机器人的关节末端的空间位姿可以建立串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
S13：根据位姿映射关系模型和角度映射关系模型对串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型。
需要说明的是，逆运动学模型具体为：
Figure BDA0003031125640000142
式(12)中，f为VR头戴设备与串联机器人的关节末端的位姿映射关系模型，g为串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型，q为串联机器人的各个关节的关节角。
进一步地，述步骤S7具体包括：
S71：基于预先在双目相机建立的相机坐标系，通过工作站根据目标物的深度信息确定目标物在相机坐标系下的空间位置信息；
需要说明的是，在双目相机建立的相机坐标系是以双目相机的两摄像头之间的中心点为原点建立的笛卡尔直角坐标系，通过双目相机获取到深度信息后，可以基于相机坐标系确定目标物的空间位置信息。
S72：基于刚体的坐标转换原理，将目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，机器人坐标系为预先建立在串联机器人的关节末端的笛卡尔坐标系；
具体地，将目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息的转换过程表示为：
Figure BDA0003031125640000151
式中，
Figure BDA0003031125640000152
为目标物在机器人坐标系下的空间位置信息；
Figure BDA0003031125640000153
为目标物在相机坐标系下的空间位置信息；
Figure BDA0003031125640000154
为目标物分别在其直角坐标系O′-n′o′a′中的n′、o′、a′轴上的旋转矩阵，其中，左上3×3矩阵表示物体姿态，右上3×1表示物体位置。
S73：将目标物在机器人坐标系下的空间位置信息传输至VR头戴设备中，从而为操作者提供目标物位置信息。
以上为本发明提供的一种基于VR的高临场视觉感知方法的实施例的具体描述，以下为本发明提供的一种基于VR的高临场视觉感知装置的实施例的具体描述。
本发明提供的一种基于VR的高临场视觉感知装置，应用于视觉交互系统，如图1所示，视觉交互系统包括：VR头戴设备10、工作站20、串联机器人30以及设置于串联机器人30的关节末端的双目相机31；
VR头戴设备10设有IMU惯导装置11和定位基站12；
IMU惯导装置11用于提供VR头戴设备10的位姿信息；
定位基站12用于提供VR头戴设备10的定位信息；
工作站20用于采集IMU惯导装置11和定位基站12分别提供的位姿信息和定位信息；还用于根据位姿信息和定位信息控制串联机器人30的关节进行运动，从而实现双目相机31对操作者的头部空间运动进行同步跟踪；还用于获取双目相机31所采集到的视场内的深度信息和可见光图像，还用于根据可见光图像确定目标物，还用于根据目标物的深度信息得出目标物的空间位置信息，还用于将目标物的空间位置信息反馈至VR头戴设备10；
在一个具体实施例中，VR头戴设备10与工作站20之间采用USB通讯，工作站20与串联机器人30之间采用以太网通讯，工作站20与双目相机31之间采用USB通讯。
为了方便理解，请参阅图4，该高临场视觉感知装置包括：
第一确定模块100，用于实时获取VR头戴设备的位姿信息和定位信息来确定VR头戴设备的实时空间位姿信息；
可以理解的是，VR头戴设备由操作者的头部进行佩戴，操作者需要根据观测目标的需求，需在一定范围内移动或转动VR头戴设备，而IMU惯导装置会采集VR头戴设备的位姿，定位基站则会采集VR头戴设备的定位信息，定位信息包括相对基站的坐标信息，从而通过位姿信息和定位信息既可以确定VR头戴设备的空间位姿信息。
第一计算模块200，用于基于预先建立的关于VR头戴设备的空间位姿信息与串联机器人的各关节角度之间的逆运动学模型，计算得出串联机器人当前的各关节角度；
第二计算模块300，用于基于逆运动学模型，根据VR头戴设备的实时空间位姿信息和串联机器人当前的各关节角度，得出串联机器人的各关节相应的旋转角度信息；
需要说明的是，逆运动学模型包括关于VR头戴设备位姿、串联机器人的关节末端位姿、串联机器人的关节末端位姿与机器人各关节角的映射关系，因此，在获得VR头戴设备的实时空间位姿信息后，先映射到串联机器人末端位姿，再通过逆运动学模型求解出串联机器人的各关节的所期望的关节角，从而得出串联机器人的每个关节相应的旋转角度信息。
第一驱动模块400，用于根据旋转角度信息驱动串联机器人的伺服电机转动相应的角度，从而实现双目相机对操作者的头部空间运动进行同步跟踪；
可以理解的是，随着操作者的头部空间运动，VR头戴设备的位姿与定位信息均随之变化，而将实时获取的VR头戴设备的实时空间位姿信息映射到串联机器人的关节末端的位姿动作上，从而实现双目相机对操作者的头部空间运动进行同步跟踪。
传输模块500，用于通过双目相机采集视场内的深度信息和可见光图像后，将深度信息和可见光图像传输至工作站；
在本实施例中，双目相机具体为双目深度相机，可以获取到视场内的物体的深度信息。
目标识别模块600，用于基于预先训练好的目标物识别模型，根据可见光图像识别出目标物；
在本实施例中，预先训练好的目标物识别模型是通过深度学习神经网络算法训练得到的。
第二确定模块700，用于根据目标物的深度信息确定目标物的空间位置信息，还用于将空间位置信息传输至VR头戴设备中，从而为操作者提供目标物位置信息。
本实施例中，操作者根据所获取的视场改变其头部位姿动作，并通过采集操作者的头部位姿动作可远距离地实时控制串联机器人的关节末端跟随其位姿变化进行同步跟踪，从而实现操作更加灵活，实现高临场；同时，能够快速反馈目标物的位置信息，为操作人员准确地提供空间高覆盖的作业环境感知和目标定位信息，提高作业效率。
进一步地，请见图5，该装置还包括：
第一映射模块800，用于基于预先在VR头戴设备和串联机器人的关节末端上分别建立的笛卡尔坐标系，得出VR头戴设备与串联机器人的关节末端的位姿映射关系模型；
在本实施例中，在VR头戴设备和串联机器人的关节末端上分别建立的笛卡尔坐标系，其中，VR头戴设备的笛卡尔坐标系是以其两个VR镜头之间的中心点为原点，建立笛卡尔坐标系，定义为m，在笛卡尔坐标系m中，定义VR头戴设备分别绕笛卡尔坐标系m的x、y、z轴的旋转角对应为
Figure BDA0003031125640000181
θ0、φ0，定义VR头戴设备分别在笛卡尔坐标系m的x、y、z轴的投影距离对应为x0、y0、z0；
其中，串联机器人的关节末端的笛卡尔坐标系是以关节末端的中心点为原点，建立笛卡尔坐标系，定义为s，在笛卡尔坐标系s中，定义串联机器人的关节末端分别绕笛卡尔坐标系s的x、y、z轴的旋转角对应为
Figure BDA0003031125640000182
θ1、φ1，定义VR头戴设备分别在笛卡尔坐标系m的x、y、z轴的投影距离对应为x1、y1、z1。
具体地，请见图6，第一映射模块800具体包括：
第一确定子模块801，用于基于预先建立的VR头戴设备的笛卡尔坐标系，确定VR头戴设备的空间位置和空间位姿，还用于基于串联机器人的关节末端的笛卡尔坐标系，确定串联机器人的关节末端的空间位置和空间位姿；
第一映射子模块802，用于根据VR头戴设备的空间位置和串联机器人的关节末端的空间位置确定VR头戴设备和串联机器人的关节末端在初始状态下的空间位置映射关系；
可以理解的是，本实施例中，根据前述建立的笛卡尔坐标系m和笛卡尔坐标系s，其中，旋转角
Figure BDA0003031125640000183
θ0、φ0可以用来确定VR头戴设备的空间位姿，投影距离x0、y0、z0可以用来确定VR头戴设备的空间位置；旋转角
Figure BDA0003031125640000184
θ1、φ1可以用来确定串联机器人的关节末端的空间位姿，投影距离x1、y1、z1用来确定串联机器人的关节末端的空间位置。
需要说明的是，VR头戴设备与串联机器人的关节末端的空间位置映射关系模型具体表示为：
[x0-x1,y0-y1,z0-z1]s＝b[-x0+x1,-y0+y1,z0-z1]m (1)
式中，b为映射比例系数，b的取值根据需求设定，本质上由串联机器人工作空间大小和观测目标的外轮廓尺寸所决定，[x0-x1,y0-y1,z0-z1]s为VR头戴设备在初始状态下的空间位置，[-x0+x1,-y0+y1,z0-z1]m为串联机器人的关节末端在初始状态下的空间位置，其中，初始状态即为与坐标系无偏差的状态。
第二映射子模块803，用于根据VR头戴设备的空间位姿和串联机器人的关节末端的空间位姿确定VR头戴设备和串联机器人的关节末端的空间位姿映射关系；
需要说明的是，由于VR头戴设备和串联机器人的关节末端的相对坐标系定义不同，因此，以直角坐标系作为统一的标准坐标系，通过旋转矩阵分别对VR头戴设备和串联机器人的关节末端的空间位姿进行表示，具体表达式为：
Figure BDA0003031125640000191
Figure BDA0003031125640000192
式(2)中，
Figure BDA0003031125640000193
为VR头戴设备分别在其直角坐标系O-noa中的n、o、a轴上的投影距离，其中，直角坐标系O-noa的圆心O与笛卡尔坐标系m的圆心重合，以人员佩戴VR头戴设备后，人员双眼直视方向的反向为n轴正方向、直视方向的左侧为o轴正方向、直视方向的上侧为a轴正方向，r为欧拉角对应的旋转矩阵，z(φ)m、y(θ)m、
Figure BDA0003031125640000194
均为VR头戴设备的欧拉角；
式(3)中，
Figure BDA0003031125640000195
为串联机器人的关节末端分别在其直角坐标系O′-n′o′a′中的n′、o′、a′轴上的投影距离，其中，直角坐标系O′-n′o′a′的圆心O′与笛卡尔坐标系s的圆心重合，该坐标系以机器人正向面对作业目标的方向为n′轴正方向、左侧为o′轴正方向、上侧为a′轴正方向r为欧拉角对应的旋转矩阵，z(φ1)s、y(θ1)s、
Figure BDA0003031125640000201
均为串联机器人的关节末端的欧拉角；
在VR头戴设备和串联机器人的关节末端在统一的标准坐标系的映射关系下，串联机器人的关节末端的n′、o′、a′轴分别与VR头戴设备的a、o、n轴对应，且在笛卡尔坐标系的-z轴上的投影距离等大且反向，则有VR头戴设备和串联机器人的关节末端的空间位姿映射关系为：
Figure BDA0003031125640000202
第三映射子模块804，用于根据空间位置映射关系和空间位姿映射关系得出VR头戴设备与串联机器人的关节末端的位姿映射关系模型。
需要说明的是，根据公式(1)和(4)得到VR头戴设备与串联机器人的关节末端的位姿映射关系模型为：
Figure BDA0003031125640000203
式(5)中，
Figure BDA0003031125640000204
nzm＝-sin(θ)
Figure BDA0003031125640000205
Figure BDA0003031125640000206
Figure BDA0003031125640000207
第二映射模块900，用于根据串联机器人的关节结构建立相应的关节结构模型，根据关节结构模型中的各关节之间的几何关系确定串联机器人的关节末端的位姿与各关节的关节角的角度映射关系模型；
具体地，请参见图7，第二映射模块900具体包括：
第二确定子模块901，用于根据串联机器人的关节结构建立相应的关节结构模型，还用于根据串联机器人的关节末端相对于笛卡尔坐标系中的空间位姿确定颈部在关节结构模型中的空间位置；
需要说明的是，在本实施例中，定义串联机器人关节4和关节5的回转轴线的交点为颈部，颈部位置与VR头戴设备内置的IMU惯导装置反馈的位置一致；而颈部至串联机器人的关节末端的位姿由式(5)确定。
第四映射子模块902，用于根据颈部的空间位置以及连杆的长度及其位姿通过几何关系计算得出六个自由度的关节的关节角矢量，从而建立串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
在本实施例中，根据颈部的空间位置PxPyPz，PxPyPz表示颈部在笛卡尔坐标系中x-y面上的位置投影，求解串联机器人的关节1、2、3相应的关节角矢量q1、q2、q3，具体为：
Figure BDA0003031125640000211
Figure BDA0003031125640000212
Figure BDA0003031125640000213
式(6)～(8)中，
Figure BDA0003031125640000214
lxy′＝Pxcos(q1′)+Pysin(q1′)
Figure BDA0003031125640000215
d为串联机器人关节6转轴和关节1转轴在平行状态下的间距，l和lxy′为中间量，l1为关节1至关节2的长度，l2为关节2至关节3的长度，l3为关节2至关节3的长度，l4为关节5至关节6的长度，l5为关节6至关节末端的长度。
根据公式(4)以及(6)～(8)求解串联机器人的关节4、5相应的关节角矢量q4、q5，则得到：
Figure BDA0003031125640000216
Figure BDA0003031125640000217
公式(4)表示了末端朝向的象限，而nxm表示公式(4)中末端正向的变化，nxm>0表示末端沿x方向向前，nxm≤0表示末端沿x方向向后；nym>0表示末端沿y方向向前，nym＜0表示末端沿y方向向后；a、b、c、e为计算中间量，无意义。
式(9)和(10)中，a＝tan(q1)2+1
b＝2cos(θ)cos(φ)sec(q1)tan(q1)
Figure BDA0003031125640000221
Figure BDA0003031125640000222
cv＝cos(v)，sv＝sin(v)，v为φ、
Figure BDA0003031125640000223
θ；
基于串联机器人的关节1、2、3、4、5相应的关节角矢量q1、q2、q3、q4、q5得出串联机器人的关节6的关节角矢量q6，
Figure BDA0003031125640000224
式中，si表示sin(qi)；ci表示cos(qi)；Cφ＝cos(φ)。
由于确定颈部的空间位置是由串联机器人的关节末端相对于笛卡尔坐标系中的空间位姿决定的，因此，根据各关节的关节角矢量和串联机器人的关节末端的空间位姿可以建立串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
模型建立模块903，用于根据位姿映射关系模型和角度映射关系模型对串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型。
需要说明的是，逆运动学模型具体为：
Figure BDA0003031125640000225
式(12)中，f为VR头戴设备与串联机器人的关节末端的位姿映射关系模型，g为串联机器人的关节末端的位姿与其各关节的关节角矢量的角度映射关系模型，q为串联机器人的各个关节的关节角。
进一步地，请参见图8，第二确定模块700具体包括：
第三确定子模块701，用于基于预先在双目相机建立的相机坐标系，通过工作站根据目标物的深度信息确定目标物在相机坐标系下的空间位置信息；
需要说明的是，在双目相机建立的相机坐标系是以双目相机的两摄像头之间的中心点为原点建立的笛卡尔直角坐标系，通过双目相机获取到深度信息后，可以基于相机坐标系确定目标物的空间位置信息。
坐标转换子模块702，用于基于刚体的坐标转换原理，将目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，机器人坐标系为预先建立在串联机器人的关节末端的笛卡尔坐标系；
具体地，将目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息的转换过程表示为：
Figure BDA0003031125640000231
式中，
Figure BDA0003031125640000232
为目标物在机器人坐标系下的空间位置信息；
Figure BDA0003031125640000233
为目标物在相机坐标系下的空间位置信息；
Figure BDA0003031125640000234
为目标物分别在其直角坐标系O′-n′o′a′中的n′、o′、a′轴上的旋转矩阵，左上3×3矩阵表示物体姿态，右上3×1表示物体位置。
传输子模块703，用于将目标物在机器人坐标系下的空间位置信息传输至VR头戴设备中，从而为操作者提供目标物位置信息。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种基于VR的高临场视觉感知方法，应用于视觉交互系统，所述视觉交互系统包括：VR头戴设备、工作站、串联机器人以及设置于所述串联机器人的关节末端的双目相机；
所述VR头戴设备设有IMU惯导装置和定位基站；
所述IMU惯导装置用于提供所述VR头戴设备的位姿信息；
所述定位基站用于提供所述VR头戴设备的定位信息；
所述工作站用于采集所述IMU惯导装置和所述定位基站分别提供的所述位姿信息和所述定位信息；还用于根据所述位姿信息和所述定位信息控制所述串联机器人的关节进行运动，从而实现所述双目相机对操作者的头部空间运动进行同步跟踪；还用于获取所述双目相机所采集到的视场内的深度信息和可见光图像，还用于根据所述可见光图像确定目标物，还用于根据所述目标物的深度信息得出所述目标物的空间位置信息，还用于将所述目标物的所述空间位置信息反馈至所述VR头戴设备；
其特征在于，该高临场视觉感知方法包括以下步骤：
S1、通过所述工作站实时获取所述VR头戴设备的所述位姿信息和所述定位信息来确定所述VR头戴设备的实时空间位姿信息；
S2、基于预先建立的关于所述VR头戴设备的空间位姿信息与所述串联机器人的各关节角度之间的逆运动学模型，计算得出所述串联机器人当前的各关节角度；
S3、基于所述逆运动学模型，根据所述VR头戴设备的所述实时空间位姿信息和所述串联机器人当前的各关节角度，得出所述串联机器人的各关节相应的旋转角度信息；
S4、通过所述工作站根据所述旋转角度信息驱动所述串联机器人的伺服电机转动相应的角度，从而实现所述双目相机对所述操作者的头部空间运动进行同步跟踪；
S5、通过所述双目相机采集视场内的深度信息和可见光图像后，将所述深度信息和所述可见光图像传输至所述工作站；
S6、通过所述工作站基于预先训练好的目标物识别模型，根据所述可见光图像识别出所述目标物；
S7、通过所述工作站根据所述目标物的所述深度信息确定所述目标物的空间位置信息，再将所述空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息；
所述步骤S2之前包括：
S11：基于预先在所述VR头戴设备和所述串联机器人的所述关节末端上分别建立的笛卡尔坐标系，得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型；
S12：根据所述串联机器人的关节结构建立相应的关节结构模型，根据所述关节结构模型中的各关节之间的几何关系确定所述串联机器人的所述关节末端的位姿与各关节的关节角的角度映射关系模型；
S13：根据所述位姿映射关系模型和所述角度映射关系模型对所述串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型；
所述串联机器人由六个自由度的关节、颈部以及连接于各关节之间的连杆组成，则所述步骤S12具体包括：
S121：根据所述串联机器人的关节结构建立相应的关节结构模型，根据串联机器人的所述关节末端相对于笛卡尔坐标系中的空间位姿确定所述颈部在所述关节结构模型中的空间位置；
S122：根据所述颈部的空间位置以及所述连杆的长度及其位姿通过几何关系计算得出六个自由度的关节的关节角矢量，从而建立所述串联机器人的所述关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
2.根据权利要求1所述的基于VR的高临场视觉感知方法，其特征在于，所述步骤S11具体包括：
S111：基于预先建立的所述VR头戴设备的笛卡尔坐标系，确定所述VR头戴设备的空间位置和空间位姿，同时，基于所述串联机器人的所述关节末端的笛卡尔坐标系，确定所述串联机器人的所述关节末端的空间位置和空间位姿；
S112：根据所述VR头戴设备的空间位置和所述串联机器人的所述关节末端的空间位置确定所述VR头戴设备和所述串联机器人的所述关节末端在初始状态下的空间位置映射关系；
S113：根据所述VR头戴设备的空间位姿和所述串联机器人的所述关节末端的空间位姿确定所述VR头戴设备和所述串联机器人的所述关节末端的空间位姿映射关系；
S114：根据所述空间位置映射关系和所述空间位姿映射关系得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型。
3.根据权利要求1所述的基于VR的高临场视觉感知方法，其特征在于，所述步骤S7具体包括：
S71：基于预先在所述双目相机建立的相机坐标系，通过所述工作站根据所述目标物的所述深度信息确定所述目标物在相机坐标系下的空间位置信息；
S72：基于刚体的坐标转换原理，将所述目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，所述机器人坐标系为预先建立在所述串联机器人的所述关节末端的笛卡尔坐标系；
S73：将所述目标物在机器人坐标系下的空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
4.一种基于VR的高临场视觉感知装置，应用于视觉交互系统，所述视觉交互系统包括：VR头戴设备、工作站、串联机器人以及设置于所述串联机器人的关节末端的双目相机；
所述VR头戴设备设有IMU惯导装置和定位基站；
所述IMU惯导装置用于提供所述VR头戴设备的位姿信息；
所述定位基站用于提供所述VR头戴设备的定位信息；
所述工作站用于采集所述IMU惯导装置和所述定位基站分别提供的所述位姿信息和所述定位信息；还用于根据所述位姿信息和所述定位信息控制所述串联机器人的关节进行运动，从而实现所述双目相机对操作者的头部空间运动进行同步跟踪；还用于获取所述双目相机所采集到的视场内的深度信息和可见光图像，还用于根据所述可见光图像确定目标物，还用于根据所述目标物的深度信息得出所述目标物的空间位置信息，还用于将所述目标物的所述空间位置信息反馈至所述VR头戴设备；
其特征在于，该高临场视觉感知装置包括：
第一确定模块，用于实时获取所述VR头戴设备的所述位姿信息和所述定位信息来确定所述VR头戴设备的实时空间位姿信息；
第一计算模块，用于基于预先建立的关于所述VR头戴设备的空间位姿信息与所述串联机器人的各关节角度之间的逆运动学模型，计算得出所述串联机器人当前的各关节角度；
第二计算模块，用于基于所述逆运动学模型，根据所述VR头戴设备的所述实时空间位姿信息和所述串联机器人当前的各关节角度，得出所述串联机器人的各关节相应的旋转角度信息；
第一驱动模块，用于根据所述旋转角度信息驱动所述串联机器人的伺服电机转动相应的角度，从而实现所述双目相机对所述操作者的头部空间运动进行同步跟踪；
传输模块，用于通过所述双目相机采集视场内的深度信息和可见光图像后，将所述深度信息和所述可见光图像传输至所述工作站；
目标识别模块，用于基于预先训练好的目标物识别模型，根据所述可见光图像识别出所述目标物；
第二确定模块，用于根据所述目标物的所述深度信息确定所述目标物的空间位置信息，还用于将所述空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息；
第一映射模块，用于基于预先在所述VR头戴设备和所述串联机器人的所述关节末端上分别建立的笛卡尔坐标系，得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型；
第二映射模块，用于根据所述串联机器人的关节结构建立相应的关节结构模型，根据所述关节结构模型中的各关节之间的几何关系确定所述串联机器人的所述关节末端的位姿与各关节的关节角的角度映射关系模型；
模型建立模块，用于根据所述位姿映射关系模型和所述角度映射关系模型对所述串联机器人的各关节进行逆运动学分析，从而建立逆运动学模型；
所述串联机器人由六个自由度的关节、颈部以及连接于各关节之间的连杆组成，则所述第二映射模块具体包括：
第二确定子模块，用于根据所述串联机器人的关节结构建立相应的关节结构模型，还用于根据串联机器人的所述关节末端相对于笛卡尔坐标系中的空间位姿确定所述颈部在所述关节结构模型中的空间位置；
第四映射子模块，用于根据所述颈部的空间位置以及所述连杆的长度及其位姿通过几何关系计算得出六个自由度的关节的关节角矢量，从而建立所述串联机器人的所述关节末端的位姿与其各关节的关节角矢量的角度映射关系模型。
5.根据权利要求4所述的基于VR的高临场视觉感知装置，其特征在于，所述第一映射模块具体包括：
第一确定子模块，用于基于预先建立的所述VR头戴设备的笛卡尔坐标系，确定所述VR头戴设备的空间位置和空间位姿，还用于基于所述串联机器人的所述关节末端的笛卡尔坐标系，确定所述串联机器人的所述关节末端的空间位置和空间位姿；
第一映射子模块，用于根据所述VR头戴设备的空间位置和所述串联机器人的所述关节末端的空间位置确定所述VR头戴设备和所述串联机器人的所述关节末端在初始状态下的空间位置映射关系；
第二映射子模块，用于根据所述VR头戴设备的空间位姿和所述串联机器人的所述关节末端的空间位姿确定所述VR头戴设备和所述串联机器人的所述关节末端的空间位姿映射关系；
第三映射子模块，用于根据所述空间位置映射关系和所述空间位姿映射关系得出所述VR头戴设备与所述串联机器人的所述关节末端的位姿映射关系模型。
6.根据权利要求4所述的基于VR的高临场视觉感知装置，其特征在于，所述第二确定模块具体包括：
第三确定子模块，用于基于预先在所述双目相机建立的相机坐标系，通过所述工作站根据所述目标物的所述深度信息确定所述目标物在相机坐标系下的空间位置信息；
坐标转换子模块，用于基于刚体的坐标转换原理，将所述目标物在相机坐标系下的空间位置信息通过坐标转换成在机器人坐标系下的空间位置信息，所述机器人坐标系为预先建立在所述串联机器人的所述关节末端的笛卡尔坐标系；
传输子模块，用于将所述目标物在机器人坐标系下的空间位置信息传输至所述VR头戴设备中，从而为所述操作者提供所述目标物位置信息。
CN202110430315.XA 2021-04-21 2021-04-21 一种基于vr的高临场视觉感知方法及装置 Active CN113093914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430315.XA CN113093914B (zh) 2021-04-21 2021-04-21 一种基于vr的高临场视觉感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110430315.XA CN113093914B (zh) 2021-04-21 2021-04-21 一种基于vr的高临场视觉感知方法及装置

Publications (2)

Publication Number Publication Date
CN113093914A CN113093914A (zh) 2021-07-09
CN113093914B true CN113093914B (zh) 2022-10-28

Family

ID=76679043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110430315.XA Active CN113093914B (zh) 2021-04-21 2021-04-21 一种基于vr的高临场视觉感知方法及装置

Country Status (1)

Country Link
CN (1) CN113093914B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997293A (zh) * 2021-12-07 2022-02-01 广东电网有限责任公司 一种动态视觉的感知观测跟踪控制方法、装置及设备
CN114445488B (zh) * 2022-01-25 2024-07-19 阿凡达康复科技(深圳)有限公司 一种vr关节位置觉评定系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN108538359A (zh) * 2018-03-20 2018-09-14 孙傲然 基于虚拟现实技术的腕关节运动能力评估训练系统
CN109244935A (zh) * 2018-09-27 2019-01-18 广东电网有限责任公司 一种基于vr视觉的高空机器人带电检修系统
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN112105486A (zh) * 2018-03-26 2020-12-18 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
CN106203299A (zh) * 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置
CN109635616B (zh) * 2017-10-09 2022-12-27 阿里巴巴集团控股有限公司 互动方法和设备
CN110097024B (zh) * 2019-05-13 2020-12-25 河北工业大学 一种移乘搬运护理机器人的人体姿态视觉识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN108538359A (zh) * 2018-03-20 2018-09-14 孙傲然 基于虚拟现实技术的腕关节运动能力评估训练系统
CN112105486A (zh) * 2018-03-26 2020-12-18 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
CN109244935A (zh) * 2018-09-27 2019-01-18 广东电网有限责任公司 一种基于vr视觉的高空机器人带电检修系统
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN112365966A (zh) * 2020-09-27 2021-02-12 青岛大学附属医院 结合vr技术的数字化手术系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
6自由度工业机器人增强现实示教研究;张石磊;《中国优秀博硕士学位论文全文数据库(硕士)》;20190515;正文第1-85页 *
立体沉浸式远程体控机器人系统;王金金等;《物联网技术》;20191020;第5-10页 *

Also Published As

Publication number Publication date
CN113093914A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN107030693B (zh) 一种基于双目视觉的带电作业机器人目标跟踪方法
CN113093914B (zh) 一种基于vr的高临场视觉感知方法及装置
CN105291138B (zh) 一种增强虚拟现实浸入感的视觉反馈平台
CN112634318B (zh) 一种水下维修机器人的遥操作系统和方法
CN110682291B (zh) 一种基于vr的机器人遥操作系统及其遥操作方法
CN101791750A (zh) 用于远程焊接的机器人遥控焊接系统及方法
CN111438673B (zh) 基于立体视觉和手势控制的高空作业遥操作方法及系统
GB2594810A (en) An enhanced reality underwater maintenance system by using a virtual reality manipulator (VRM)
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
CN115469576B (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN108582031A (zh) 一种基于力反馈主从控制的带电作业机器人支接引线搭接方法
CN110045740A (zh) 一种基于人类行为模拟的移动机器人实时运动规划方法
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
CN115157261B (zh) 基于混合现实的柔性机械臂遥操作人机交互装置及方法
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
Kakiuchi et al. Development of humanoid robot system for disaster response through team nedo-jsk's approach to darpa robotics challenge finals
CN107053168A (zh) 一种基于深度学习网络的目标识别方法及带电作业机器人
CN106737862B (zh) 一种带电作业机器人数据通信系统
CN110421558A (zh) 面向配电网作业机器人的通用型遥操作系统及方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN207682391U (zh) 一种基于深度学习的智能型避障抓取系统
CN108565793A (zh) 一种基于力反馈主从控制的带电作业机器人导线修补方法
CN109917670B (zh) 一种智能机器人集群的同时定位与建图方法
CN117733845A (zh) 基于xr的井下机器人与操作员无人机多元协同作业方法
Fernando et al. Effectiveness of Spatial Coherent Remote Drive Experience with a Telexistence Backhoe for Construction Sites.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant