CN115424714A - 基于虚拟现实的机器人互动方法、装置、设备和存储介质 - Google Patents

基于虚拟现实的机器人互动方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115424714A
CN115424714A CN202211087397.3A CN202211087397A CN115424714A CN 115424714 A CN115424714 A CN 115424714A CN 202211087397 A CN202211087397 A CN 202211087397A CN 115424714 A CN115424714 A CN 115424714A
Authority
CN
China
Prior art keywords
display device
registration
marker
real
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211087397.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaowei Changxing Robot Co ltd
Original Assignee
Suzhou Xiaowei Changxing Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaowei Changxing Robot Co ltd filed Critical Suzhou Xiaowei Changxing Robot Co ltd
Priority to CN202211087397.3A priority Critical patent/CN115424714A/zh
Publication of CN115424714A publication Critical patent/CN115424714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种基于虚拟现实的机器人互动方法、装置、设备和存储介质。所述方法包括：获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。能够使得多名用户在不同位姿看到与用户所处位姿相匹配的操作动画，从而提高学习效率。

Description

基于虚拟现实的机器人互动方法、装置、设备和存储介质
技术领域
本申请涉及虚拟现实技术领域，特别是涉及一种基于虚拟现实的机器人互动方法、装置、设备和存储介质。
背景技术
随着计算机技术的发展，出现了虚拟现实技术，虚拟现实技术是是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。广泛应用在工业制造行业、医疗工业、航天军工和房产地产等领域。在需要展示虚拟对象或者对虚拟对象执行指定的操作后，观察虚拟对象的变化的场景下，常常会涉及到基于虚拟现实的互动，根据虚拟现实技术提供一个无风险的操作环境，降低安全风险。
传统的互动方式通常是用户对虚拟对象执行操作，虚拟对象根据操作给出相应的反馈，这种反馈一般是基于操作者的视觉角度展示虚拟对象的变化，这种方式只能是操作者与虚拟对象的互动，其他观看者无法参与互动，这种方式存在互动效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够使得多名用户在不同位姿看到与用户所处位姿相匹配的操作动画，从而提高互动效率的基于虚拟现实的机器人互动方法、装置、设备和存储介质。
第一方面，本申请提供了一种基于虚拟现实的机器人互动方法，所述方法包括：
获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；
对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；
将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
在其中一个实施例中，对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿，包括：
根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物；
根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿。
在其中一个实施例中，显示装置包括相机，且显示装置的外围设置有补充标识物，根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物，包括：
获取各显示装置的相机拍摄的图像，基于图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置；
对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将第一正面标记所指向的配准标识物，作为与未被遮挡的显示装置相关联的配准标识物；
对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
在其中一个实施例中，对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，包括：
对图像进行图像阈值分割，获得多个连通域；
对连通域的角点数和大小符合预设条件的连通域进行透视变换，得到第一正面标记。
在其中一个实施例中，显示装置包括未被遮挡的显示装置，根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿，包括：
获取未被遮挡的显示装置所拍摄的图像，并识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息；
根据第一二维位置信息、以及配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵；
根据第一位置转换矩阵，确定未被遮挡的显示装置相对于真实三维空间的位姿。
在其中一个实施例中，根据第一二维位置信息、以及配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵，包括：
以未被遮挡的显示装置的相机的中心为原点，以配准标识物的平面为XY平面建立三维坐标系，获得配准标识物的角点在三维坐标系中的第一三维位置信息；
根据三维坐标系与二维坐标系的转换关系、第一二维位置信息和第一三维位置信息，确定第一位置转换矩阵。
在其中一个实施例中，显示装置还包括被遮挡的显示装置，根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿，还包括：
获取被遮挡的显示装置所拍摄的图像，并识别被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息；
根据第二二维位置信息、以及补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵；
基于第一位置转换矩阵和第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿。
在其中一个实施例中，根据第二二维位置信息、以及补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵，包括：
以被遮挡的显示装置的相机的中心为原点，以补充标识物的平面为XY平面建立三维坐标系，获得补充标识物的角点在三维坐标系中的第二三维位置信息；
根据三维坐标系与二维坐标系的转换关系、第二二维位置信息和第二三维位置信息，确定第二位置转换矩阵。
第二方面，本申请还提供了一种基于虚拟现实的机器人互动装置，所述装置包括：
获取模块，用于获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；
配准模块，用于对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
操作动画生成模块，用于在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；
显示模块，用于将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
在其中一个实施例中，配准模块还用于根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物；
根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿。
在其中一个实施例中，显示装置包括相机，且显示装置的外围设置有补充标识物，配准模块还用于获取各显示装置的相机拍摄的图像，基于图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置；
对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将第一正面标记所指向的配准标识物，作为与未被遮挡的显示装置相关联的配准标识物；
对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；
对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；
将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；
对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；
将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；
对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；
将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
上述基于虚拟现实的机器人互动方法、装置、设备和存储介质，获取操作信息，并根据操作信息控制机器人对虚拟对象执行相应的操作。对至少一个显示装置分别进行虚实配准，以确定每个显示装置分别在真实三维空间中的位姿。这样在控制机器人执行相应操作的过程中，可以按照各个显示装置的位姿，分别生成与各位姿相匹配的操作动画，并将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示，能够使得处于不同方位的用户通过显示装置看到与自身所处方位相匹配的操作动画，以切实地了解虚拟对象在接受到相应操作后的状态的变化过程，提高了互动效率，丰富了互动形式。
附图说明
图1为一个实施例中基于虚拟现实的机器人互动方法的应用环境图；
图2为一个实施例中基于虚拟现实的机器人互动方法的流程示意图；
图3为一个实施例中基于虚拟现实的机器人互动方法的操作装置与感知装置的示意图；
图4为另一个实施例中基于虚拟现实的机器人互动方法的实时更新虚拟对象数据流程示意图；
图5为一个实施例中操作教学的流程示意图；
图6为一个实施例中确定各显示装置相对于真实三维空间的位姿的流程示意图；
图7为一个实施例中显示装置虚实配准的流程示意图；
图8为一个实施例中海明编码原理示意图；
图9为一个实施例中配准标识张贴示意图；
图10为一个实施例中确定与各显示装置分别关联的配准标识物的流程示意图；
图11为一个实施例中显示装置的补充标识物示意图；
图12为一个实施例中识别配准标识物的第一正面标记的流程示意图；
图13为一个实施例中未被遮挡的显示装置的相对于真实三维空间的位姿的流程示意图；
图14为一个实施例中相机成像模型示意图；
图15为一个实施例中标记姿态估计的原理示意图；
图16为一个实施例中计算被遮挡的显示装置的相对于真实三维空间的位姿的流程示意图；
图17为一个实施例中基于虚拟现实的机器人互动方法的最详细流程示意图；
图18为一个实施例中操作提示功能示意图；
图19为一个实施例中操作指示功能示意图；
图20为一个实施例中操作警告功能示意图；
图21为一个实施例中基于虚拟现实的机器人互动装置的结构框图；
图22为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的基于虚拟现实的机器人互动方法，可以应用于如图1所示的应用环境中。其中，操作装置102设置在智能机器人或者其他独立于智能机器人的设备上，佩戴有显示装置108的用户操控操作装置102时，操作装置102将操作结果和/或操作信息通过网络发送给处理单元104，感知装置106设置在智能机器人上或者其他可以感知用户操作信息的位置，感知装置106采集用户的操作信息，并将用户的操作信息传输给处理单元104，处理单元104获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作；对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程；将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。处理单元104与远端服务器110建立连接，处理单元104向远端服务器110发送接入请求，远端服务器110认证通过后将远端的服务工程师的操作指令传输给处理单元104，处理单元104接收到操作指令后，根据操作指令控制机器人对虚拟对象执行相应的操作，并将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。其中，处理单元104是计算机设备中的处理器，计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能机器人和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。比如，当计算机设备是智能机器人时，处理单元具体可以是智能机器人的中控单元。远端服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
现有的虚拟现实结合的机器人操作方法一般是用户执行一个操作，虚拟机器人给出对应的反馈。例如，在进行医疗机器人教学场景下，现有的示教方法一般是用户对虚拟的医疗机器人执行操作，虚拟的医疗机器人根据操作给出对应的反馈，或者由机器人供应商提供教学资料，现有的互动方式无法实际操作真实的医疗机器人，互动方式单一，并且互动效率低。为解决上述问题，在一个实施例中，如图2所示，提供了一种基于虚拟现实的机器人互动方法，以该方法应用于图1中的处理单元104为例进行说明，包括以下步骤：
S202，获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作。
其中，用户通过操作装置进行教学操作时，产生操作信息。其中，操作装置可以提示、指示和预警内容，展示形式包括图像、文字、声音、震动等。本实施例中，操作装置可以是智能机器人的操控手柄或控件，操作装置还可以是安装在智能机器人的独立控制单元。
如图3所示，本实施例通过感知装置获取操作信息，感知装置包括语音识别单元、机器视觉单元与力反馈单元，语音识别单元用于获取用户的语音指令；机器视觉单元用于判断用户已完成的操作；力反馈单元用于检测用户在操作操作装置所用的力度。感知装置与处理单元通信，并将用户的操作信息传输给处理单元。本实施例中，感知装置可以是附着在操作装置上的摄像头、麦克风、力传感器组成的传感单元，可感知、捕获用户的动作、声音、控制等。
具体地，用户通过操作装置进行教学操作时，处理单元通过感知装置获取操作信息，并将操作信息反馈给处理单元，处理单元根据用户的操作信息实时更新用户交互内容、操作状态与虚拟对象状态。其中，虚拟对象状态包含虚拟对象位姿、虚拟对象操作状态等。操作状态包含操作前规划状态、操作中引导状态等。
S204，对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿。
其中，显示装置与处理单元建立连接，显示装置用于向用户提供与现实环境高度耦合的虚拟视觉信息。显示装置可以是头戴式显示装置，用户佩戴头戴式显示装置，当用户的位置发生改变时，需要再次对显示装置进行配置，以确定移动后的显示装置相对于真实三维空间的位姿。显示装置的数量不做限定，可根据实际需求设置。
虚实配准的意思是：实时、精确地计算用户视点相对于真实世界的位置、姿态信息，并利用这些信息将虚拟场景正确地叠加到它所应处的位置上。
具体地，处理单元对显示装置拍摄的包括配准标识物的图像进行识别，获得配准标识物的正面标记，即完成了显示装置的虚实配准。根据配准标识物的正面标记可以得知显示装置的方位，例如，配准标识物张贴在处理单元的正面，且显示装置与处理单元的正面的配准标识物完成虚实配准，则表明显示装置位于可以拍摄到处理单元的正面的位置范围内。
S206，在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程。
其中，如图4所示，处理单元在控制机器人执行相应操作的过程中，不同位置和不同角度的虚拟图像不同，因此，处理单元根据不同位置处的显示装置的位姿，生成与各个显示装置的位姿相匹配的操作动画。
需要注意的是：根据不同位置处的显示装置的位姿，生成与各个显示装置的位姿相匹配的操作动画的过程是：在控制机器人执行相应操作的过程中，处理单元生成虚拟对象的全局的三维变化图，根据各个显示装置所对应的位姿，确定各个显示装置所对应的视觉范围，将各个显示装置所对应的视觉范围的虚拟对象状态变化进行画面呈现。
S208，将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
具体地，显示装置、操作装置和感知装置与处理单元的通讯架构如图1所示，处理单元计算各显示装置相对于真实空间的位姿，并生成与各位姿相匹配的虚拟指引信息和虚拟对象图像，将虚拟指引信息和虚拟对象图像发送给对应的显示装置，用户根据显示装置上的虚拟指引信息操控操作装置，操作装置和感知装置捕获用户的操作信息与位置，并将操作信息反馈给处理单元，处理单元根据各个显示装置所对应的操作信息和位姿，分别生成与各位姿相匹配的操作动画，将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
上述基于虚拟现实的机器人互动方法中，获取操作信息，并根据操作信息控制机器人对虚拟对象执行相应的操作。对至少一个显示装置分别进行虚实配准，以确定每个显示装置分别在真实三维空间中的位姿。这样在控制机器人执行相应操作的过程中，可以按照各个显示装置的位姿，分别生成与各位姿相匹配的操作动画，并将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示，能够使得处于不同方位的用户通过显示装置看到与自身所处方位相匹配的操作动画，以切实地了解虚拟对象在接受到相应操作后的状态的变化过程，提高了互动效率，丰富了互动形式。
在一个实施例中，处理单元根据用户的操作信息实时更新用户交互内容、操作状态与虚拟对象状态。其中，虚拟对象状态包含虚拟对象位姿、虚拟对象操作状态等。操作状态包含操作前规划状态、操作中引导状态等。操作前规划状态、操作中引导状态如图5所示。在操作前阶段，用户依次完成确定操作类型、确定虚拟对象信息、操作规划的步骤；在操作中阶段，处理单元会按步骤依次指引用户操作机器人进行操作，并在必要时警示用户操作已接近安全极限；在操作后，处理单元会进行操作后总结以及操作信息的保存，保存的操作信息包括音频、视频以及每一步用户的操作信息。另外，用户可请求远端工程师在任意阶段参与虚拟操作。
在一个实施例中，如图6所示，对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿，包括以下步骤：
S602，根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物。
其中，虚实配准的流程图如图7所示，处理单元获取显示装置的相机拍摄的图像或从相机录制的视频中抽取视频帧，处理单元检测图像或视频帧中的配准标识物，确定显示装置相对于配准标识物的位置，处理单元识别配准标识物的正面标记完成虚实配准，最后处理单元计算各显示装置相对于配准标识物的位姿，并按照各个显示装置的位姿，分别生成与各位姿相匹配的操作动画，并将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
配准标识物可以采用ARTag标签系统为基础的海明编码作为配准标识，也可采用其他的图形码作为配准标识物，比如二维码、条形码等，本申请实施例对此不作限定。ARTag基于边缘检测的方法对标识物定位,具有一定的抗遮挡性,特征图形采用CRC(CyclicRedundancy Check)编码,识别过程实际为解码过程，大大提高了识别效率。借鉴ARTag，将数字0/1码转换为由黑白块组成的方形标志作为配准标识物。如图8所示，配准标识物被划分成7x7的方格，黑白格分别以0、1表示，配准标识物的外围一圈黑色便于配准标识物检测，标记内部5x5网格为有效区域，每行由5位组成，第1、3、5位用于错误校验，以获得标识物的正方向，2、4位为信息位，储存有效数据，因此每行5位表达4种数据(00/01/10/11)，数据总数达4^5＝1024个。为防止一个全黑的矩形变成有效标记，对海明码第1位取反，若编码为0(海明码为00000)，则正面标记ID为10000。海明码不具有旋转对称性，通过计算海明距离可以确定配准标识物的正方向。因此，解码信息是唯一的。图8所示的配准标识物的有效ID为0000001010，即为10。
配准标识物张贴在不易被遮挡的位置，例如，导航台车、机器人或处理单元上，如图9所示，将配准标识物张贴于处理单元的顶点三个面上、导航台车的相邻三个面上、或其他合适张贴处，每个张贴面存在固定的位置关系，并且张贴面的之间的相对位置存在固定的位置关系。
具体地，将多张配准标识物张贴于机器人或处理单元上不易被遮挡处，如图9所示，将配准标识物张贴于处理单元的顶点三个面上、导航台车的相邻三个面上、或其他合适张贴处。每张配准标识物的标记不同，处理单元通过识别各显示装置拍摄的图像中配准标识物的正面标记即可确定各显示装置位于配准标识物的方位，以及正面标记所指向的配准标识物即为与显示装置关联的配准标识物。例如，将3张配准标识物张贴于处理单元的正面、俯视面和右侧面，正面、俯视面和右侧面的配准标识物的正面标记分别为数字10、数字20和数字30，处理单元识别显示装置A拍摄的图像中配准标识物的正面标记为数字10，则表示显示装置A位于可以拍摄到处理单元的正面的位置范围内。
S604，根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿。
其中，处理单元确定每个显示装置分别关联的配准标识物的方位后，通过确定在该方位内相同点的二维坐标和三维坐标，以及二维坐标系与三维坐标系之间的转换关系，即可得知各显示装置相对于真实三维空间的位姿。
本实施例中，通过在不同方位张贴多个配准标识物，每个配准标识物的正面标记不同，通过识别各显示装置拍摄的图像中配准标识物的正面标记即可确定各显示装置位于配准标识物的方位，再结合该方位内相同点的二维坐标和三维坐标，以及二维坐标系与三维坐标系之间的转换关系，即可得知各显示装置相对于真实三维空间的位姿，为生成与各位姿相匹配的操作动画提供坐标信息。
在一个实施例中，在多人教学场景中，会出现某一显示装置被障碍物遮挡导致显示装置无法拍摄配准标识物或者配准标识物被遮挡的情况，这种情况下，被遮挡的显示装置无法确定与之相关联的配准标识，从而导致处理单元无法得知被遮挡的显示装置的位姿，无法将各位姿相匹配的操作动画传输到显示装置上显示。因此，为了解决上述问题，如图10所示，根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物，包括以下步骤：
S1002，获取各显示装置的相机拍摄的图像，基于图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置。
其中，显示装置包括相机。处理单元通过判断各显示装置的相机拍摄的图像是否包含配准标识物确定显示装置是否被遮挡，若显示装置的相机拍摄的图像包含配准标识物，则确定显示装置未被遮挡；若显示装置的相机拍摄的图像不包含配准标识物，则确定显示装置被遮挡。
S1004，对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将第一正面标记所指向的配准标识物，作为与未被遮挡的显示装置相关联的配准标识物。
其中，显示装置拍摄的图像中只有一个完整的配准标识物时，代表显示装置位于该配置标识物的正面，识别显示装置拍摄的图像的配准标识物，即可获得该配准标识物的第一正面标记。当显示装置拍摄的图像中包含多个或残缺的配准标识物时，代表无法确定当前的显示装置位置，需要移动显示装置，直至显示装置拍摄的图像中只有一个完整的配准标识物为止。
具体地，处理单元对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，若未被遮挡的显示装置所对应的图像中包含多个或残缺的配准标识物时，移动未被遮挡的显示装置，直至未被遮挡的显示装置拍摄的图像中只有一个完整的配准标识物为止，识别此时未被遮挡的显示装置所对应的图像的配准标识物的第一正面标记，处理单元根据第一正面标记确定未被遮挡的显示装置位于配准标识物的方位，以及第一正面标记所指向的配准标识物即为与未被遮挡的显示装置关联的配准标识物。
S1006，对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
其中，在多人场景中，某一个显示装置在配准过程被其他物品遮挡，导致该显示装置无法拍摄到配准标识物时，被遮挡的显示装置无法确定与之相关联的配准标识，从而导致处理单元无法得知被遮挡的显示装置的位姿，无法将各位姿相匹配的操作动画传输到显示装置上显示。为解决上述问题，如图11所示，在显示装置的外围设置有补充标识物112，补充标识物与配准标识物的正面标记不同，并且不同的显示装置的补充标识物也不相同，标识物位于显示装置上，且显示位置位于被遮挡显示装置可见范围内。
在一些实施例中，在确定显示装置被遮挡后，被遮挡的显示装置立即发出信号，该信号可以是电磁波、声音或其他形式的信号，其余未被遮挡的显示装置接收到信号后，未被遮挡的显示装置的提示灯亮起，佩戴有被遮挡的显示装置的用户可以根据提示灯确定目标显示装置，并根据目标显示装置的位置调整当前的位置，直至被遮挡的显示装置可以拍摄到目标显示装置上的补充标识物，并将拍摄的包括未被遮挡的显示装置上张贴的补充标识物的图像传递给处理单元，处理单元识别补充标识物的正面标记，处理单元根据第二正面标记确定补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
在一些实施例中，在确定显示装置被遮挡后，被遮挡的显示装置将拍摄的包括补充标识物的图像传递给处理单元，处理单元识别补充标识物的正面标记，处理单元根据第二正面标记确定补充标识物所位于的目标显示装置，处理单元根据目标显示装置的状态，判断目标显示装置是否被遮挡；若目标显示装置被遮挡，则提示佩戴有被遮挡的显示装置的用户移动相机的视角，重新拍摄包括补充标识物的图像，处理单元重新获取不同方位拍摄的包括补充标识物的图像，并识别补充标识物的正面标记，处理单元根据第二正面标记确定补充标识物所位于的目标显示装置，处理单元再次判断目标显示装置是否被遮挡，重复上述过程，直至目标显示装置未被遮挡。若目标显示装置未被遮挡，则识别补充标识物的正面标记，处理单元根据第二正面标记确定补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
通过补充标识物的正面标记，不仅可以实现与被遮挡的显示装置的进一步配准，即可通过未被遮挡的显示装置的补充标识物计算出视野被遮挡的显示装置相对于配准标识物的位置，还可以确定被遮挡的显示装置相对于补充标识物的方位。本实施例在每个显示装置上，有八个固定位置用于显示补充配准标识物，均匀分布在显示装置外围一周。
具体地，当显示装置被遮挡时，被遮挡的显示装置立即发出信号，其余未被遮挡的显示装置接收到信号后，未被遮挡的显示装置的提示灯亮起，处理单元获取被遮挡的显示装置拍摄的包括未被遮挡的显示装置上补充标识物的图像，若被遮挡的显示装置所对应的图像中包含多个或残缺的补充标识物时，提示用户移动，被遮挡的显示装置的位置随着用户的移动而改变，直至被遮挡的显示装置拍摄的图像中只有一个完整的补充标识物为止，处理单元对该补充标识物进行识别，得到补充标识物的第二正面标记，处理单元根据第二正面标记确定补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。例如，被遮挡的显示装置A拍摄的图像中包括未被遮挡的显示装置的补充标识物，识别补充标识物，得到补充标识物的第二正面标记，该第二正面标记为数值40，则根据预先设置的补充标识物与显示装置的张贴关系，确定补充标识物所位于的目标显示装置为未被遮挡的显示装置B，按照上述实施例可知未被遮挡的显示装置B关联的配准标识物，将未被遮挡的显示装置B关联的配准标识物，作为与被遮挡的显示装置A相关联的配准标识物。
本实施例中，通过在显示装置上张贴多个补充标识物，补充标识物的正面标记唯一，在显示装置被遮挡时，对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物，通过上述方法不仅使得被遮挡的显示装置通过未被遮挡的显示装置的补充标识物间接与配准标识物实现虚实配准，即根据未被遮挡的显示装置与配准标识物之间的虚实配准以及被遮挡的显示装置与未被遮挡的显示装置的补充标识物之间的虚实配准，还可以确定被遮挡的显示装置相对于配准标识物的方位，进而得知被遮挡的显示装置的位姿，将各位姿相匹配的操作动画传输到被遮挡的显示装置上显示。
在一个实施例中，配准标识物识别和补充标识物的识别方法可以相同，也可以不相同，本实施例设置配准标识物识别和补充标识物的识别方法相同，因此，在此只介绍配准标识物的识别方法。如图12所示，对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，包括以下步骤：
S1202，对图像进行图像阈值分割，获得多个连通域。
其中，图像是指未被遮挡的显示装置拍摄的包括配准标识物的图像。本实施例采用ARTag标签系统为基础的海明编码作为配准标识物。海明编码的原理在上述实施例已做解释，因此，在此不在累述。
具体地，处理单元获取未被遮挡的显示装置的相机拍摄的包括配准标识物的图像，对该图像进行预处理，例如平滑、边缘增强处理等，对预处理后的图像进行阈值分割，得到多个连通域。
S1204，对连通域的角点数和大小符合预设条件的连通域进行透视变换，得到第一正面标记。
其中，由于显示装置在某些角度拍摄的图像中包括多个或不完整的配准标识物的图像，这种情况下，不利于识别配准标识物，因此，在识别配准标识物的正面标记之前，需要对不符合要求的图像进行过滤处理，得到可用于识别的配准标识物。本实施例根据连通域的角点数和大小是否符合预设条件判断当前的连通域是否符合要求，其中，预设条件是连通域的角点数为4个，且连通域的大小符合预设区间，其中预设区间的下限值为连通域的角点数为4个的最小面积，预设区间的上限值为连通域的角点数为4个的最大面积。
具体地，处理单元对连通域进行连通域分析和轮廓检测，对满足连通域的角点数和大小符合预设条件的连通域进行透视变换，连通域在相机中成像，获取透视变换矩阵对连通域进行透视变换，得到配准标识物的正视图，将配准标识物的正视图进行二值化处理，得到二值化图像，以便提取配准标识物中的信息。处理单元解码时，首先判断配准标识物是否完整，可检测配准标识物的外围一圈是否全黑，检测的标准为判断配准标识物的外围一圈的编码是否为0，若是，则代表配准标识物的外围一圈全黑，配准标识物完整；反之，配准标识物不完整，图像不是配准标识物。然后，识别完整的配准标识物的中心编码区域，计算编码区域的海明距离，得到配准标识物的正方向。最后，遍历配准标识物的中心编码区域的各行对配准标识物解码获得第一正面标记。
本实施例中，根据连通域的角点数和大小设置预设条件，筛选显示装置正面拍摄且包括一个完整配准标识物的图像，对该图像进行识别，可以获取配准标识物的第一正面标记，通过对显示装置拍摄的图像配准标识物进行筛选，提高配准标识物的配准效率。
在一个实施例中，显示装置包括未被遮挡的显示装置，通过上述实施例获取到未被遮挡的显示装置所对应的图像中配准标识物的第一正面标记后，如图13所示，根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿，包括：
S1302，获取未被遮挡的显示装置所拍摄的图像，并识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息。
其中，配准标识物采用海明编码，海明编码的有效区域的形态为矩形，配准标识物的角点为矩形的角点。如图14所示，相机坐标系是指以相机的光心为原点的坐标系，z轴为主光轴方向，一般指向相机拍摄方向；水平方向为x轴，方向向右；竖直方向为y轴，满足右手定则。将标识坐标系记为(Xm，Ym，Zm)^T，将相机坐标系记为(Xc，Yc，Zc)^T。相机坐标系与相机实际屏幕坐标系之间的转换矩阵称为内参数矩阵，记为K，通过相机标定获得，相机实际屏幕坐标系为平面坐标系；也就是说通过内参数矩阵K即可确定第一二维位置信息。第一二维位置信息即为未被遮挡的显示装置拍摄的图像中配准标识物的角点在相机实际屏幕坐标系的二维坐标，第一二维位置信息代表角点图像的行和列的信息。
具体地，处理单元获取未被遮挡的显示装置所拍摄的图像，对图像进行图像阈值分割，获得多个连通域，对连通域的角点数和大小符合预设条件的连通域进行透视变换，得到配准标识物的正视图，将配准标识物的正视图进行二值化处理，得到二值化图像，遍历二值化图像，提取海明编码的有效区域，根据内参数矩阵K确定有效区域的4个角点在相机实际屏幕坐标系的第一二维位置信息，从4个角点中确定目标角点。
S1304，根据第一二维位置信息、以及配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵。
其中，第一位置转换矩阵表示未被遮挡的显示装置的相机坐标系与标识坐标系之间的转换关系，第一位置转换矩阵也称为外参数矩阵，记为Tcm，包括旋转矩阵R和平移向量T，Tcm的数学表达式如下：
Figure BDA0003835721300000141
本步骤包括以下步骤：
S1，以未被遮挡的显示装置的相机的中心为原点，以配准标识物的平面为XY平面建立三维坐标系，获得配准标识物的角点在三维坐标系中的第一三维位置信息。
S2，根据三维坐标系与二维坐标系的转换关系、第一二维位置信息和第一三维位置信息，确定第一位置转换矩阵。
其中，三维坐标系与二维坐标系的转换关系为：m＝KTcmM。其中m为相机平面坐标，M为三维空间坐标。通过配准标识物已知的角点信息可估计二维到三维空间的姿态，即寻找第一位置转换矩阵Tcm。如图15所示，O为相机中心，Mi是标识坐标系中的配准标识物的角点，mi是Mi投影在相机实际屏幕G上的对应点，通过配准标识物的角点的角点信息可知mi的第一二维位置信息；以相机的中心为原点，以配准标识物的平面为XY平面建立三维坐标系，获取配准标识物的角点Mi在三维坐标系的第一三维位置信息。最后，根据已知的三维坐标系与二维坐标系的转换关系、第一二维位置信息和第一三维位置信息，确定第一位置转换矩阵。
S1306，根据第一位置转换矩阵，确定未被遮挡的显示装置相对于真实三维空间的位姿。
其中，已知配准标识物的角点的第一二维位置信息、第一三维位置信息以及第一位置转换矩阵，可以根据多点透视PnP函数计算未被遮挡的显示装置相对于真实三维空间的位姿。
本实施例中，识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息，根据第一二维位置信息、以及配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵，可以根据已知配准标识物的角点的第一二维位置信息、第一三维位置信息以及第一位置转换矩阵，可以根据多点透视PnP函数计算未被遮挡的显示装置相对于真实三维空间的位姿。
在一个实施例中，显示装置包括被遮挡的显示装置，通过上述实施例获取到与被遮挡的显示装置相关联的配准标识的第一正面标记和补充标识的第二正面标记后，如图16所示，根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿，包括以下步骤：
S1602，获取被遮挡的显示装置所拍摄的图像，并识别被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息。
其中，被遮挡的显示装置所拍摄的图像包括未被遮挡的显示装置补充标识物。本实施例的补充标识物也采用海明编码，海明编码的原理在上述实施例中已解释，在此不再累述。第二二维位置信息的获取方法与第一二维位置信息的获取方法相同，在此不再累述。
需要注意的是：第二二维位置信息是未被遮挡的显示装置补充标识物的角点的二维坐标。
S1604，根据第二二维位置信息、以及补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵。
其中，第二位置转换矩阵表示被遮挡的显示装置的相机坐标系与未被遮挡的显示装置的相机坐标系之间的转换关系。第二位置转换矩阵与第一位置转换矩阵的数学表达式相同，在此不再累述。
本步骤包括以下步骤：
S1：以被遮挡的显示装置的相机的中心为原点，以补充标识物的平面为XY平面建立三维坐标系，获得补充标识物的角点在三维坐标系中的第二三维位置信息。
需要注意的是：与上述确定第一位置转换矩阵的实施例不同的是：本步骤中的三维坐标系的原点是被遮挡的显示装置的相机的中心，XY平面是补充标识物的平面。
S2，根据三维坐标系与二维坐标系的转换关系、第二二维位置信息和第二三维位置信息，确定第二位置转换矩阵。
需要注意的是：三维坐标系与二维坐标系的转换关系与上述实施例的转换关系相同，在此不再累述。本实施例与上述确定第一位置转换矩阵的实施例不同的是：本实施例的第二二维位置信息和第二三维位置信息与第一二维位置信息和第一三维位置信息不相同。
S1606，基于第一位置转换矩阵和第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿。
其中，第一位置转换矩阵和第二位置转换矩阵的乘积结果为被遮挡的显示装置相对于配准标识物的位置转换矩阵，已知补充标识物的角点的第二二维位置信息、第二三维位置信息以及被遮挡的显示装置相对于配准标识物的位置转换矩阵，可以根据多点透视PnP函数计算被遮挡的显示装置相对于真实三维空间的位姿。
本实施例中，被遮挡的显示装置通过未被遮挡的显示装置的补充标识物间接与配准标识物实现虚实配准，确定被遮挡的显示装置相对于配准标识物的方位之后，获取被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息，以被遮挡的显示装置的相机的中心为原点，以补充标识物的平面为XY平面建立三维坐标系，获得补充标识物的角点在三维坐标系中的第二三维位置信息，根据三维坐标系与二维坐标系的转换关系、第二二维位置信息和第二三维位置信息，确定第二位置转换矩阵，基于第一位置转换矩阵和第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿。通过上述方法可以通过未被遮挡的显示装置与配准标识物之间的第一位置转换矩阵，以及被遮挡的显示装置与未被遮挡的显示装置的补充标识物之间的第二位置转换矩阵，间接计算出被遮挡的显示装置与配准标识物之间的位置转换矩阵，从而确定被遮挡的显示装置相对于真实三维空间的位姿。
在一个实施例中，如图17所示，本实施例提供一种基于虚拟现实的机器人互动方法，具体包括以下步骤：
S1702，获取操作信息，根据操作信息控制机器人对虚拟对象执行相应的操作。
S1704，获取各显示装置的相机拍摄的图像，基于图像中的内容判断显示装置是否是被遮挡的显示装置；若显示装置是未被遮挡的显示装置，则执行S1706；若显示装置是被遮挡的显示装置，则执行S1716。
S1706，对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将第一正面标记所指向的配准标识物，作为与未被遮挡的显示装置相关联的配准标识物。
S1708，识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息。
S1710，以未被遮挡的显示装置的相机的中心为原点，以配准标识物的平面为XY平面建立三维坐标系，获得配准标识物的角点在三维坐标系中的第一三维位置信息。
S1712，根据三维坐标系与二维坐标系的转换关系、第一二维位置信息和第一三维位置信息，确定第一位置转换矩阵。
S1714，根据第一位置转换矩阵，确定未被遮挡的显示装置相对于真实三维空间的位姿，执行S1726。
S1716，对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
S1718，识别被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息。
S1720，以被遮挡的显示装置的相机的中心为原点，以补充标识物的平面为XY平面建立三维坐标系，获得补充标识物的角点在三维坐标系中的第二三维位置信息。
S1722，根据三维坐标系与二维坐标系的转换关系、第二二维位置信息和第二三维位置信息，确定第二位置转换矩阵。
S1724，基于第一位置转换矩阵和第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿，执行S1726。
S1726，在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，操作动画反映了在相应位姿下，虚拟对象在接受到相应操作后的状态变化过程。
S1728，将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
本实施例中，能够使得处于不同方位的用户通过显示装置看到与自身所处方位相匹配的操作动画，以切实地了解虚拟对象在接受到相应操作后的状态的变化过程，丰富了互动形式；
通过在显示装置上张贴多个补充标识物，补充标识物的正面标记唯一，在显示装置被遮挡时，对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物，通过上述方法使得被遮挡的显示装置间接与配准标识物实现虚实配准，处理单元根据未被遮挡的显示装置与配准标识物之间的虚实配准以及被遮挡的显示装置与未被遮挡的显示装置的补充标识物之间的虚实配准，确定被遮挡的显示装置相对于配准标识物的方位，进而得知被遮挡的显示装置的位姿，将各位姿相匹配的操作动画传输到被遮挡的显示装置上显示。
在一个实施例中，如图18所示，提供了操作提示功能示意图，在用户未操作，或其他需要提示的场景，对用户进行提示，处理单元上的显示页面或显示装置的显示页面上显示操作提示功能页面。例如，当用户长时间未进行操作，操作提示功能页面提示用户处理单元的显示页面将进入睡眠状态。
在一个实施例中，如图19所示，提供了操作指示功能示意图，在处理单元的显示页面或显示装置的显示页面上形成操作指示功能页面，在操作前、操作中或操作前通过操作指示功能页面指引用户进行每一步操作操作。例如，在操作前，操作指示功能页面显示操作步骤和虚拟对象的信息，虚拟对象的信息可以包括虚拟对象的虚拟身份信息和虚拟病灶信息。图19中“请点击框中xxx”用于指引用户触发操作指示功能页面的控件。
在一个实施例中，如图20所示，提供了操作警告功能示意图，在进行虚拟操作的过程中，在操作触及警示条件时显示警告内容。例如：超过安全边界，处理单元上的显示页面或显示装置的显示页面的界面跳转为红色，并同时发出警示音、头戴设备震动以警告用户。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于虚拟现实的机器人互动方法的基于虚拟现实的机器人互动装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于虚拟现实的机器人互动装置实施例中的具体限定可以参见上文中对于基于虚拟现实的机器人互动方法的限定，在此不再赘述。
在一个实施例中，如图21所示，提供了一种基于虚拟现实的机器人互动装置，包括：
获取模块100，用于获取操作信息，根据所述操作信息控制机器人对虚拟对象执行相应的操作。
配准模块200，用于对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿。
操作动画生成模块300，用于在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，所述操作动画反映了在相应位姿下，所述虚拟对象在接受到相应操作后的状态变化过程。
显示模块400，用于将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
在一个实施例中，配准模块200还用于：根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物；根据与每个显示装置分别关联的配准标识物的方位，计算各显示装置相对于真实三维空间的位姿。
在一个实施例中，显示装置包括相机，且显示装置的外围设置有补充标识物，配准模块200还用于：获取各显示装置的相机拍摄的图像，基于图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置；对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将第一正面标记所指向的配准标识物，作为与未被遮挡的显示装置相关联的配准标识物；对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定第二正面标记所指向的补充标识物所位于的目标显示装置，若目标显示装置未被遮挡，则将目标显示装置关联的配准标识物，作为与被遮挡的显示装置相关联的配准标识物。
在一个实施例中，配准模块200还用于：对图像进行图像阈值分割，获得多个连通域；对连通域的角点数和大小符合预设条件的连通域进行透视变换，得到第一正面标记。
在一个实施例中，显示装置包括未被遮挡的显示装置，配准模块200还用于：获取未被遮挡的显示装置所拍摄的图像，并识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息；根据第一二维位置信息、以及配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵；根据第一位置转换矩阵，确定未被遮挡的显示装置相对于真实三维空间的位姿。
在一个实施例中，配准模块200还用于：以未被遮挡的显示装置的相机的中心为原点，以配准标识物的平面为XY平面建立三维坐标系，获得配准标识物的角点在三维坐标系中的第一三维位置信息；根据三维坐标系与二维坐标系的转换关系、第一二维位置信息和第一三维位置信息，确定第一位置转换矩阵。
在一个实施例中，显示装置还包括被遮挡的显示装置，配准模块200还用于：获取被遮挡的显示装置所拍摄的图像，并识别被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息；根据第二二维位置信息、以及补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵；基于第一位置转换矩阵和第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿。
在一个实施例中，配准模块200还用于：以被遮挡的显示装置的相机的中心为原点，以补充标识物的平面为XY平面建立三维坐标系，获得补充标识物的角点在三维坐标系中的第二三维位置信息；根据三维坐标系与二维坐标系的转换关系、第二二维位置信息和第二三维位置信息，确定第二位置转换矩阵。
上述基于虚拟现实的机器人互动装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是机器人，其内部结构图可以如图22所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于虚拟现实的机器人互动方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图22中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种基于虚拟现实的机器人互动方法，其特征在于，所述方法包括：
获取操作信息，根据所述操作信息控制机器人对虚拟对象执行相应的操作；
对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，所述操作动画反映了在相应位姿下，所述虚拟对象在接受到相应操作后的状态变化过程；
将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
2.根据权利要求1所述的方法，其特征在于，所述对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿，包括：
根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物；
根据与每个显示装置分别关联的配准标识物的方位，计算各所述显示装置相对于真实三维空间的位姿。
3.根据权利要求2所述的方法，其特征在于，所述显示装置包括相机，且所述显示装置的外围设置有补充标识物，所述根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物，包括：
获取各所述显示装置的相机拍摄的图像，基于所述图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置；
对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将所述第一正面标记所指向的配准标识物，作为与所述未被遮挡的显示装置相关联的配准标识物；
对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定所述第二正面标记所指向的补充标识物所位于的目标显示装置，若所述目标显示装置未被遮挡，则将所述目标显示装置关联的配准标识物，作为与所述被遮挡的显示装置相关联的配准标识物。
4.根据权利要求3所述的方法，其特征在于，所述对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，包括：
对所述图像进行图像阈值分割，获得多个连通域；
对所述连通域的角点数和大小符合预设条件的连通域进行透视变换，得到第一正面标记。
5.根据权利要求2所述的方法，其特征在于，所述显示装置包括未被遮挡的显示装置，所述根据与每个显示装置分别关联的配准标识物的方位，计算各所述显示装置相对于真实三维空间的位姿，包括：
获取未被遮挡的显示装置所拍摄的图像，并识别未被遮挡的显示装置拍摄的图像中配准标识物的角点的第一二维位置信息；
根据所述第一二维位置信息、以及所述配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵；
根据所述第一位置转换矩阵，确定未被遮挡的显示装置相对于真实三维空间的位姿。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一二维位置信息、以及所述配准标识物的角点在真实三维空间中的第一三维位置信息，确定第一位置转换矩阵，包括：
以未被遮挡的显示装置的相机的中心为原点，以所述配准标识物的平面为XY平面建立三维坐标系，获得所述配准标识物的角点在所述三维坐标系中的第一三维位置信息；
根据三维坐标系与二维坐标系的转换关系、所述第一二维位置信息和所述第一三维位置信息，确定第一位置转换矩阵。
7.根据权利要求5所述的方法，其特征在于，所述显示装置还包括被遮挡的显示装置，所述根据与每个显示装置分别关联的配准标识物的方位，计算各所述显示装置相对于真实三维空间的位姿，还包括：
获取被遮挡的显示装置所拍摄的图像，并识别被遮挡的显示装置所拍摄的图像中补充标识物的角点的第二二维位置信息；
根据所述第二二维位置信息、以及所述补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵；
基于所述第一位置转换矩阵和所述第二位置转换矩阵，确定被遮挡的显示装置相对于真实三维空间的位姿。
8.根据权利要求6所述的方法，其特征在于，所述根据所述第二二维位置信息、以及所述补充标识物的角点在真实三维空间中的第二三维位置信息，确定第二位置转换矩阵，包括：
以被遮挡的显示装置的相机的中心为原点，以所述补充标识物的平面为XY平面建立三维坐标系，获得所述补充标识物的角点在所述三维坐标系中的第二三维位置信息；
根据三维坐标系与二维坐标系的转换关系、所述第二二维位置信息和所述第二三维位置信息，确定第二位置转换矩阵。
9.一种基于虚拟现实的机器人互动装置，其特征在于，所述装置包括：
获取模块，用于获取操作信息，根据所述操作信息控制机器人对虚拟对象执行相应的操作；
配准模块，用于对至少一个显示装置分别进行虚实配准，以确定各显示装置相对于真实三维空间的位姿；
操作动画生成模块，用于在控制机器人执行相应操作的过程中，按照各个显示装置所对应的位姿，分别生成与各位姿相匹配的操作动画，其中，所述操作动画反映了在相应位姿下，所述虚拟对象在接受到相应操作后的状态变化过程；
显示模块，用于将各个显示装置分别对应的操作动画传输至相对应的显示装置以供显示。
10.根据权利要求9所述的装置，其特征在于，所述配准模块还用于根据张贴于不同方位的多个配准标识物，对至少一个显示装置进行虚实配准，以确定与各显示装置分别关联的配准标识物；
根据与每个显示装置分别关联的配准标识物的方位，计算各所述显示装置相对于真实三维空间的位姿。
11.根据权利要求10所述的装置，其特征在于，所述显示装置包括相机，且所述显示装置的外围设置有补充标识物，所述配准模块还用于获取各所述显示装置的相机拍摄的图像，基于所述图像中的内容确定未被遮挡的显示装置、以及被遮挡的显示装置；
对未被遮挡的显示装置所对应的图像进行配准标识物识别处理，得到第一正面标记，将所述第一正面标记所指向的配准标识物，作为与所述未被遮挡的显示装置相关联的配准标识物；
对被遮挡的显示装置所对应的图像进行补充标识物识别处理，得到第二正面标记，确定所述第二正面标记所指向的补充标识物所位于的目标显示装置，若所述目标显示装置未被遮挡，则将所述目标显示装置关联的配准标识物，作为与所述被遮挡的显示装置相关联的配准标识物。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
CN202211087397.3A 2022-09-07 2022-09-07 基于虚拟现实的机器人互动方法、装置、设备和存储介质 Pending CN115424714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211087397.3A CN115424714A (zh) 2022-09-07 2022-09-07 基于虚拟现实的机器人互动方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211087397.3A CN115424714A (zh) 2022-09-07 2022-09-07 基于虚拟现实的机器人互动方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115424714A true CN115424714A (zh) 2022-12-02

Family

ID=84202969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211087397.3A Pending CN115424714A (zh) 2022-09-07 2022-09-07 基于虚拟现实的机器人互动方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115424714A (zh)

Similar Documents

Publication Publication Date Title
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
US10235771B2 (en) Methods and systems of performing object pose estimation
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN102708355A (zh) 信息处理装置、信息处理方法及程序
Miller et al. Interactive 3D model acquisition and tracking of building block structures
CN109840949A (zh) 基于光学定位的增强现实图像处理方法和装置
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
KR20150103266A (ko) 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치
CN110109535A (zh) 增强现实生成方法及装置
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN109688343A (zh) 增强现实演播室的实现方法和装置
Wu et al. Vison-based auxiliary navigation method using augmented reality for unmanned aerial vehicles
CN112102342A (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
KR20180031013A (ko) 모니터링
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
CN103700128A (zh) 移动设备及其增强显示方法
CN115424714A (zh) 基于虚拟现实的机器人互动方法、装置、设备和存储介质
CN111107307A (zh) 基于单应性变换的视频融合方法、系统、终端及介质
CN114241046A (zh) 数据标注方法、装置、计算机设备及存储介质
CN113191462A (zh) 信息获取方法、图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination