CN116243795A - 基于混合现实的物品抓取方法及混合现实设备 - Google Patents

基于混合现实的物品抓取方法及混合现实设备 Download PDF

Info

Publication number
CN116243795A
CN116243795A CN202310192947.6A CN202310192947A CN116243795A CN 116243795 A CN116243795 A CN 116243795A CN 202310192947 A CN202310192947 A CN 202310192947A CN 116243795 A CN116243795 A CN 116243795A
Authority
CN
China
Prior art keywords
mixed reality
virtual
head
robot
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310192947.6A
Other languages
English (en)
Other versions
CN116243795B (zh
Inventor
付成龙
张成杰
冷雨泉
黄国靖
程耀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN202310192947.6A priority Critical patent/CN116243795B/zh
Publication of CN116243795A publication Critical patent/CN116243795A/zh
Application granted granted Critical
Publication of CN116243795B publication Critical patent/CN116243795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于智能制造技术领域，提供了一种基于混合现实的物品抓取方法及混合现实设备，所述方法包括：混合现实设备获取用户头部的位置向量和方向向量，头部位置向量和方向向量用于指示虚拟头部射线的端点和方向，虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线；机器人获取场景图像，场景图像包括场景的RGB图像和深度图像；混合现实设备根据场景图像和虚拟头部射线确定目标物体；混合现实设备控制机器人抓取目标物体。本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，帮助机器人做出正确率更高的抓取决策。

Description

基于混合现实的物品抓取方法及混合现实设备
技术领域
本申请属于智能制造技术领域，尤其涉及一种基于混合现实的物品抓取方法及混合现实设备。
背景技术
对于失去手臂的残疾人或因为疾病等原因手臂肌肉萎缩、手颤、或者脑部受到损伤后不能很好的控制手臂的患者而言，不能抓取物品是他们在生活中面临的重大而艰巨的挑战。当前有许多机器人都可以辅助用户实现抓取物品的功能。一般的，机器人通过识别来自用户的语音、脑电图、肌电图等信号，或者是用户通过手臂运动、眼部运动、头部运动发送的信号，来理解用户的控制命令或操作意图。机器人接收来自用户的指令并理解上述指令的过程被称作人机界面(human-robot interfaces，HRI)。然而，现有的辅助用户抓取物品的机器人有限的环境感知能力导致机器人的抓取效果较差。其中，基于脑电图、肌电图、头部运动及眼部运动HRI的机器人只能抓取简单物体，基于语音控制HRI的机器人抓取透明或反光物体的效果不好。
发明内容
本申请实施例提供了一种基于混合现实的物品抓取方法及混合现实设备，可以解决现有的辅助用户实现抓取功能的机器人抓取效果差的问题。
第一方面，本申请实施例提供了一种基于混合现实的物品抓取方法，包括：
混合现实设备获取用户头部的位置向量和所述用户头部的方向向量，所述头部位置向量和所述头部方向向量用于指示虚拟头部射线的端点和方向，所述虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线；
机器人获取场景图像，所述场景图像包括场景的RGB图像和所述场景的深度图像；
所述混合现实设备根据所述场景图像和所述虚拟头部射线，确定目标物体；
所述混合现实设备控制所述机器人抓取所述目标物体。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
在第一方面的一种可能的实现方式中，混合现实设备可以对场景图像进行分割处理，得到至少一个物品图像。根据场景图像，确定场景点云，然后根据至少一个物品图像、场景点云及虚拟头部射线，确定目标物体。
在第一方面的一种可能的实现方式中，混合现实设备可以将包括第一点云的点云集合确定为第一目标点云集合。若第一目标点云集合对应的物体属于至少一个物体图像对应的物体，将第一目标点云集合对应的物体确定为目标物体。
示例性的，第一点云与虚拟头部射线的距离最小，且第一点云与虚拟头部射线的距离小于或者等于容忍阈值。
在第一方面的一种可能的实现方式中，混合现实设备可以根据获取到的来自用户的第一指令，确定机器人的夹爪抓取目标物体时的动作原点。根据获取到的来自用户的第一头部旋转角，控制虚拟夹爪旋转的角度。根据获取到的来自用户的第二头部旋转角，控制虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置。然后根据动作原点、第一头部旋转角及第二头部旋转角来控制机器人抓取目标物品。
示例性的，虚拟夹爪的位置和虚拟夹爪旋转的角度与机器人夹爪相同。
在第一方面的一种可能的实现方式中，混合现实设备可以对第一目标点云集合进行降采样处理并剔除其离群值，得到第二目标点云集合。然后向用户发送第二目标点云集合，获取用户发送的第一指令。再根据第一指令确定原点点云，并根据原点点云确定动作原点。
示例性的，原点点云是用户通过头部注视光标确定的，原点点云为抓取目标物体时虚拟夹爪的坐标系原点，原点点云是第二目标点云集合中的一个，虚拟夹爪的坐标系原点与动作原点的位置在竖直方向上相差5cm。
在第一方面的一种可能的实现方式中，机器人可以将抓取到的目标物体放置在回收区域，然后机器人返回预设等待区域，等待下一次抓取任务开始。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。进一步的，用户通过头部注视光标选择物体的点云来确定机器人抓取物体时的动作原点，这样，即使透明物体和反光物体的点云形状较差，用户也能够通过虚拟头部射线选择该透明或反光物体，从而使得机器人能够抓取透明物体和反光物体，提高机器人的抓取效率。
第二方面，本申请实施例提供了一种基于混合现实的物品抓取方法，所述方法应用于机器人，所述方法包括：
获取场景图像，所述场景图像包括场景的RGB图像和所述场景的深度图像；
接收来自混合现实设备的第二指令，所述第二指令用于确定所述机器人的夹爪抓取目标物体时的动作原点、所述机器人的夹爪旋转的角度及所述机器人的夹爪在虚拟夹爪坐标系Z轴方向的位置；
根据所述第二指令，抓取所述目标物体。
在第二方面的一种可能的实现方式中，所述机器人在住区目标物体后还可以将抓取到的目标物体放置在回收区域，然后机器人返回预设等待区域，等待下一次抓取任务开始。
第三方面，本申请实施例提供了一种混合现实设备，包括：获取单元和处理单元；
所述获取单元用于获取用户头部的位置向量和所述用户头部的方向向量及场景图像，所述头部位置向量和所述头部方向向量用于指示虚拟头部射线的端点和方向，所述虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线；
所述处理单元用于根据机器人获取的场景图像和所述头部虚拟射线，确定目标物体，所述场景图像包括场景的RGB图像和所述场景的深度图像；
所述处理单元还用于控制所述机器人抓取所述目标物体。
在第三方面的一种可能的实现方式中，处理单元具体可以用于：对场景图像进行分割处理，得到至少一个物品图像。根据场景图像，确定场景点云。然后根据至少一个物品图像、场景点云及虚拟头部射线，确定目标物体。
在第三方面的一种可能的实现方式中，处理单元具体可以用于：将包括第一点云的点云集合确定为第一目标点云集合。若第一目标点云集合对应的物体属于至少一个物体图像对应的物体，将第一目标点云集合对应的物体确定为目标物体。
示例性的，第一点云与虚拟头部射线的距离最小，且第一点云与虚拟头部射线的距离小于或者等于容忍阈值。
在第三方面的一种可能的实现方式中，处理单元还可以用于：根据获取到的来自用户的第一指令，确定机器人的夹爪抓取目标物体时的动作原点。根据获取到的来自用户的第一头部旋转角，控制虚拟夹爪旋转的角度。根据获取到的来自用户的第二头部旋转角，控制虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置。
示例性的，虚拟夹爪的位置和虚拟夹爪旋转的角度与机器人的夹爪相同。
在第三方面的一种可能的实现方式中，处理单元具体可以用于：对第一目标点云集合进行降采样处理并剔除其离群值，得到第二目标点云集合。向用户发送第二目标点云集合，并接收用户发送的第一指令。根据第一指令确定原点点云，并根据原点点云确定动作原点。
示例性的，原点点云为抓取目标物体时虚拟夹爪的坐标系原点，原点点云是第二目标点云集合中的一个，虚拟夹爪的坐标系原点与动作原点的位置在竖直方向上相差5cm。
第四方面，本申请实施例提供了一种终端设备，包括：存储器和处理器，所述处理器可以用于执行存储在存储器中的程序(指令)，以实现上述第一方面或第二方面提供的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被执行时，可以实现上述第一方面或第二方面提供的方法。
第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第二方面中任一项所述的基于混合现实的物品抓取方法。
可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于混合现实的物品抓取系统的结构示意图；
图2是本申请一实施例提供的物品抓取时的场景示意图；
图3是本申请一实施例提供的头部注视光标和第三目标点云集合的示意图；
图4是本申请一实施例提供的基于混合现实的物品抓取方法的流程示意图；
图5是本申请一实施例提供的目标物体的确定方法的流程示意图；
图6是本申请一实施例提供的目标物体的抓取方法的流程示意图；
图7是本申请一实施例提供的劣点云的示意图；
图8是本申请实施例提供的基于混合现实的物品抓取方法的流程示意图；
图9是本申请实施例提供的混合现实设备的结构示意图；
图10是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在当前辅助用户抓取物品的机器人中，双臂残疾或不能控制双手的用户无法使用基于操纵杆、手臂运动、或智能手机HRI的机器人。因为脑电信号的信噪比较低，机器人在识别时特征提取的精度不高，并且脑电和肌电的有效特征量较少，所以基于脑电图和肌电图HRI的机器人只能在简单场景下抓取简单物体，比如在二维平面上从上往下抓取简单立方体。又因为，基于脑电图和肌电图HRI的机器人在使用时还需额外建立和机械臂或抓夹的映射关系，这导致用户操作的难度大大增加。
基于眼部运动HRI的机器人多数使用半自动控制模式，用户通过注视物体向机器人提供物体位置，机器人来生成抓取姿态。但是由于基于眼部运动HRI的机器人的环境感知误差较大，难以生成有效、灵活的三维抓取姿态，所以基于眼部运动HRI的机器人也很难在复杂环境中抓取物体。
基于语音控制HRI的机器人的抓取能力取决于机器人的环境感知能力，由于透明物体或反光物体会给机器人带来很大的感知误差，所以基于语音控制HRI的机器人抓取透明物体和反光物体的能力不高。用户在控制基于头部的运动HRI的机器人抓取物品时，不仅要通过头部运动确定物品的位置，还需通过头部运动控制机器人做出复杂的抓取姿态，这导致用户头部和机器人的机械臂之间存在复杂的映射关系，用户的操作难度大，机器人的抓取效果差。
有鉴于此，本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
图1示出了一例本申请提供的一种基于混合现实的物品抓取系统的结构示意图。作为示例而非限定，物品抓取系统100可以包括混合现实设备110和机器人120。
混合现实设备110用于获取用户头部的位置向量和用户头部的方向向量。
示例性的，用户头部的位置向量和用户头部的方向向量用于指示虚拟头部射线的端点和方向。其中，虚拟头部射线是由混合现实技术渲染的从用户头部向外发射的虚拟射线，用户可以通过虚拟现实设备观察到该虚拟头部射线。
机器人120用于获取场景图像。
示例性的，场景图像可以包括抓取场景的RGB图像和深度图像。
混合现实设备110还可以用于根据场景图像和虚拟头部射线确定目标物体。在确定目标物体后控制机器人120抓取目标物体。
示例性的，混合现实设备110可以是HoloLens2。
机器人120可以接收来自混合现实设备的第二指令，并根据第二指令来抓取目标物体。
示例性的，第二指令用于确定机器人的夹爪抓取目标物体时的动作原点、机器人夹爪旋转的角度(即机器人夹爪的姿态)、及机器人夹爪在竖直方向的位置。
图2示出了一例本申请实施例提供的抓取物品的场景示意图。
参见图2中的(a)，机器人120被固定在桌子的一角，桌子上随机且密集地摆放了8个物体，参见图2中的(b)，分别为胶带201，卷尺202、充电器203、纸盒饮料204、透明水瓶205、洗发露206、水杯207、反光铁碗208。用户佩戴着混合现实设备110，坐在距离桌子40-50cm处，通过混合现实设备110来控制机器人120。
用户透过轻微摆动头部来调整头部注视光标的位置，在大致确定了目标物体(如反光铁碗208)后，说出语音指令“gaze”。此时机器人会获取场景图像，混合现实设备会获取目标物体的点云集合(参见图3中的301)，并将目标物体的点云集合展示给用户。然后用户通过头部注视光标，(参见图3中的302)，来从目标物体的点云集合里，确定一个虚拟夹爪坐标系(参见图4中的303)原点(即机器人夹爪的动作原点)。
具体的，用户通过轻微摆动头部来移动头部注视光标，头部注视光标移动到点云集合的某一个点云上时，该点云就变成红色，若用户想要将该点云确定为虚拟夹爪的坐标系原点，就可以发出语音指令“position”。
可选地，若用户觉得现有的目标物体的点云集合不理想，可以通过语音指令“add”来命令混合现实设备生成新的点云集合，然后在新的点云集合里选择虚拟夹爪的坐标系原点。
在确定虚拟夹爪的坐标系原点后，用户可以发出语音指令“rotation”，进入调整虚拟夹爪的姿态环节。用户可以通过轻微旋转、摆动头部来调整虚拟夹爪旋转的角度。调整好姿态后，再发出语音指令“translate”进入调整虚拟夹爪在竖直方向上的位置的环节。类似的，用户可以通过轻微旋转、摆动头部来调整虚拟夹爪在竖直方向上的位置。
在虚拟夹爪的位置和姿态调整好后，用户可以发出语音指令“go”，然后机器人120就会来到比上述虚拟夹爪坐标系原点低5cm的位置，然后调整到虚拟夹爪的姿态，再来到和虚拟夹爪在竖直方向上的位置相同的地方，抓取目标物体。当机器人120夹紧目标物体后，用户可以发出语音指令“stop”然后机器人120携带目标物体向上移动30cm，然后将目标物体移动到提前设定好的预设位置处，回到起始姿态。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
本申请实施例提供的基于混合现实的物品抓取方法可以应用于上述基于混合现实的物品抓取系统上，本申请实施例对物品抓取系统的具体类型不作任何限制。
图4示出了本申请提供的基于混合现实的物品抓取方法的示意性流程图，作为示例而非限定，该方法可以应用于上述物品抓取系统100中。
S401，混合现实设备获取用户头部的位置向量和用户头部的方向向量。
S402，机器人获取场景图像。
在一个示例中，在混合现实设备获取用户的头部位置向量，用户头部方向向量，机器人获取场景图像之前，用户可以佩戴混合现实设备，通过混合现实设备的头部注视光标(参见图3中的302)，通过摆动，旋转头部，初步确定目标物体。然后机器人获取目标物品周围场景的场景图像。同时，混合现实设备可以根据用户的头部位置向量和头部方向向量渲染虚拟头部射线。
示例性的，用户的头部位置向量和头部方向向量可以用于指示虚拟头部射线的端点和方向。
示例性的，机器人可以通过RGBD相机来获取场景图像。
示例性的，RGBD相机可以是Intel的RealSense D435i。
S403，混合现实设备根据场景图像和虚拟头部射线，确定目标物体。
在一种可能的实现方式中，机器人在获取到场景头像后，可以向混合现实设备发送场景图像。然后混合现实设备可以对获取到的场景进行分割处理，得到至少一个物品图像。混合现实设备可以根据场景图像，得到场景点云。然后根据场景点云，上述至少一个物品图像，还有虚拟头部射线确定目标物体。
作为示例而非限定，可以通过步骤S4031-S4035来确定目标物品，下面对步骤S4031-S4035作以说明。
S4031，混合现实设备对场景图像进行分割处理，得到至少一个物品图像。
可选地，可以通过实例分割算法对场景的RGB图像进行分割处理，得到至少一个物品图像。
示例性的，实例分割算法可以是mask-r-cnn算法。
S4032，混合现实设备根据场景图像，确定场景点云。
具体的，可以通过深度相机内外参数矩阵实现场景的深度图像与RGB图像对齐，并计算场景的点云。
可选地，当部分场景的深度值丢失时(比如物体的边缘)，可以通过实时深度补全算法来填充深度值，以此能够得到更好、更准确的场景点云。
S4033，混合现实设备将包括第一点云的点云集合确定为第一目标点云集合。
示例性的，第一点云与虚拟头部射线的距离最小，且第一点云与虚拟头部射线的距离小于或等于容忍阈值。
具体的，若该点云与虚拟头部射线的距离最小，且该点云与虚拟头部射线的距离小于或等于容忍阈值，则将该点云属于的物体的点云集合确定为第一目标点云集合。
可选地，可以通过下述公式来判断第一点云与虚拟头部射线的距离是否小于容忍阈值：
Figure BDA0004121604700000111
其中，P(i)是第一点云在深度相机坐标系下的坐标，
Figure BDA0004121604700000121
是用户的头部位置向量在深度相机坐标系下的坐标，
Figure BDA0004121604700000122
是用户的头部方向向量在深度相机坐标系下的坐标，tol是容忍阈值。
示例性的，因为混合现实设备直接获取到的是用户的头部方向向量和用户的头部位置向量在绝对虚拟坐标系(参见图2中的绝对虚拟坐标系220)下的坐标，所以在使用上述公式判断第一点云和虚拟头部射线的距离是否小于或等于容忍阈值之前，可以通过下述公式将用户的头部方向向量和用户的头部位置向量从绝对虚拟坐标系转换到深度相机坐标系：
Figure BDA0004121604700000123
Figure BDA0004121604700000124
其中，
Figure BDA0004121604700000125
是用户的头部方向向量在绝对虚拟坐标系下的坐标，
Figure BDA0004121604700000126
是用户的头部位置向量在绝对虚拟坐标系下的坐标，
Figure BDA0004121604700000127
是两个坐标系之间的旋转矩阵。
S4034，混合现实设备判断第一目标点云集合对应的物体是否为所述至少一个物体图像对应的物体。
具体的，混合现实设备可以先将第一目标点云集合中的点云投影到场景的RGB图像中，然后将投影得到的像素点与上述至少一个物品图像进行对比，判断该像素点是否属于上述至少一个物品图像，以此增加系统识别目标物体的准确性。
可选地，可以构建函数，例如isBelongTo，来判断第一目标点云集合对应的物体是否为所述至少一个物体图像对应的物体。当第一目标点云集合对应的物体为所述至少一个物体图像对应的物体时，返回true和对应的点云的坐标；否则，返回false和-1。
示例性的，函数isBelongTo的代码可以为：
Figure BDA0004121604700000128
Figure BDA0004121604700000131
其中，在深度相机坐标系下，代码的输入是用户的头部方向向量、用户的头部位置向量、上述至少一个物品图像、及场景点云，输出的是深度相机坐标系下目标物体的第一目标点云集合Ptarget。
在一个示例中，若第一目标点云集合对应的物体为上述至少一个物体图像对应的物体，则进行步骤S4035。
在另一个示例中，若第一目标点云集合对应的物体不属于上述至少一个物体图像对应的物体，则进行步骤S401或S4031，重新获取用户的头部位置向量，头部方向向量，场景图像，或者对原有的RGB图像重新进行分割处理，确定新的至少一个物品图像。
S4035，混合现实设备将第一目标点云集合对应的物体确定为目标物体。
S404，混合现实设备控制机器人抓取所述目标物体。
具体的，在确定了目标物体后，混合现实设备可以向用户展示渲染出的虚拟夹爪(参见图3中的304)，虚拟夹爪在混合现实设备向用户展示的场景中的位置和姿态和机器人的夹爪在现实场景中的位置和姿态相同，用户通过观察虚拟夹爪能够更好的控制机器人的夹爪的的位置和姿态。
作为示例而非限定，可以通过步骤S4041-S4044来抓取目标物品，下面对步骤S4041-S4044作以说明。
S4041，根据获取到的来自用户的第一指令，确定机器人的夹爪抓取目标物体时的动作原点。
可选地，第一指令可以时语音指令，例如“position”。
在一种可能的实现方式中，为了减小虚拟夹爪移动时和机器人夹爪移动的延迟、减少混合现实设备的处理时间、提高混合现实设备的处理速度，在获取第一指令之前，混合现实设备可以对第一目标点云集合进行降采样处理并剔除其离群值，得到第二目标点云集合，并将第二点云集合展示给用户。例如。图2中的铁碗208的第二目标点云集合中的点云只有大概200-400个，这大大降低了夹爪的移动延迟，提高了混合现实设备的处理速度。
在一个示例中，用户可以通过头部注视光标在第二点云集合中选择一个点云作为虚拟夹爪的坐标系原点。
具体的，用户可以通过轻微摆动头部来移动头部注视光标，头部注视光标在移动的过程中，若哪个点云被用户选中，则该点云就会变为红色。用户如果想将该点云确定为虚拟夹爪的坐标系原点，则可以发出第一指令(如“position”)。此时，混合现实设备则会将该点云确定为虚拟夹爪的坐标系原点。
在另一种可能的实现方式中，若用户觉得混合现实设备得到的第二目标点云集合不能很好的反应目标物体的形状(参见图7所示的劣点云)，比如点云的整体偏移量过大达到3-5cm(参见图7中的(a))、点云不准确(参见图7中的(b))、点云缺失(参见图7中的(c))、点云多余(参见图7中的(d))等，或者现有的点云作为虚拟夹爪的坐标系原点时抓取效果很差。用户可以发出第三指令(比如语音指令“add”)，命令混合现实设备生成新的第三目标点云集合，参见图3中的301，然后从第三目标点云集合中通过头部注视光标选择一个点云作为虚拟夹爪坐标系的原点。
具体的，混合现实设备可以获取第二点云集合中各点云在虚拟头部射线上的投影，形成一条在虚拟头部射线上紧密排列的由投影得到的点云组成的线段，则第三点云集合即由第二点云集合中的点云和该线段上的点云组成。
可选地，可以通过下述代码获得第三点云集合：
Figure BDA0004121604700000151
S4042，根据获取到的来自用户的第一头部旋转角，控制虚拟夹爪旋转的角度。
可选地，用户可以发出语音指令(例如“rotation”)使得混合现实设备进入调整虚拟夹爪旋转的角度的环节。
示例性的，第一头部旋转角为在虚拟绝对坐标系(参见图2中的220)中用户头部旋转的欧拉角。
具体的，虚拟夹爪旋转的角度是第一头部旋转角的K1倍。当虚拟夹爪旋转的角度是第一旋转角的K1倍时可以防止虚拟夹爪因用户头部的轻微旋转而产生大幅度晃动。
S4043，混合现实设备根据获取到的来自用户的第二头部旋转角，控制虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置。
可选地，用户可以发出语音指令(例如“translate”)使得混合现实设备进入调整虚拟夹爪旋转的角度的环节。
示例性的，第二头部旋转角为用户头部绕虚拟绝对坐标系的Y轴(参见图2中的220)旋转的欧拉角的变化量。
具体的，为了减少夹爪自身形状影响抓取物品，减少夹爪抓取时和其他物品的碰撞，虚拟夹爪在虚拟夹爪坐标系(参见图3的303)的Z轴方向上的平移量可以是第二头部旋转角的K2倍。当虚拟夹爪在虚拟夹爪坐标系的Z轴方向上的平移量是第二头部旋转角的K2倍时可以防止虚拟夹爪因用户头部的轻微晃动而产生大幅度的移动。
S4044，机器人接收混合现实设备发送的第二指令，并根据第二指令抓取目标物体。
示例性的，第二指令可以用于确定所述机器人的夹爪抓取目标物体时的动作原点、所述机器人的夹爪旋转的角度及所述机器人的夹爪在竖直方向的位置。
具体的，混合现实设备将虚拟夹爪的坐标系原点，第一头部旋转角。第二头部旋转角的相关信息发送给机器人。机器人接收第二指令后，将虚拟夹爪坐标系中坐标为(0，0，-5cm)的位置确定为机器人夹爪抓取目标物体时的动作原点，K1倍的第一头部旋转角确定为抓取目标物体时机器人夹爪旋转的角度，K2倍的第二头部旋转角作为抓取目标物体时机器人夹爪在竖直方向上的移动量。机器人夹爪在接收到用户的语音指令(例如“go”)后，前往动作原点并旋转，旋转时的角度为K1倍的第一头部旋转角。然后向下运动K2倍的第二头部旋转角的距离，并抓紧目标物体。在接收到用户的语音指令(例如“stop”)后，机器人夹爪携带抓紧的目标物体向上移动30cm。
可选地，在抓取到目标物体后，还可以进行步骤S405-S406。
S405，机器人将抓取到的目标物体放置在回收区域。
S406，机器人返回预设等待区域。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。进一步的，用户通过头部注视光标选择物体的点云来确定机器人抓取物体时的动作原点，这样，即使透明物体和反光物体的点云形状较差，用户也能够通过虚拟头部射线选择该透明或反光物体，从而使得机器人能够抓取透明物体和反光物体，提高机器人的抓取效率。
图8示出了本申请提供的一种基于混合现实的物品抓取方法的示意性流程图，作为示例而非限定，方法800可以包括步骤S801-S804，方法800可以应用于上述机器人120中，下面对步骤S801-S804作以说明。
S801，获取场景图像。
S802，接收来自混合现实设备的第二指令，并根据第二指令，抓取目标物体。
S803，将抓取到的目标物体放置在回收区域。
S804，返回预设等待区域。
方法800的步骤S801-S804与方法400中步骤S402，S404-S406相同，具体可以参见方法400中的相关描述。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法400，图9示出了本申请实施例提供的一种混合现实设备的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图9，该装置包括：获取单元910和处理单元920。
获取单元910用于获取用户头部的位置向量和用户头部的方向向量，头部位置向量和头部方向向量用于指示虚拟头部射线的端点和方向，虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线；
处理单元920用于根据机器人获取的场景图像和头部虚拟射线，确定目标物体，场景图像包括场景的RGB图像和场景的深度图像；
处理单元920还用于控制机器人抓取目标物体。
在一种可能的实现方式中，处理单元920具体可以用于：对场景图像进行分割处理，得到至少一个物品图像。根据场景图像，确定场景点云。然后根据至少一个物品图像、场景点云及虚拟头部射线，确定目标物体。
在一个示例中，处理单元920具体可以用于：将包括第一点云的点云集合确定为第一目标点云集合。若第一目标点云集合对应的物体属于至少一个物体图像对应的物体，将第一目标点云集合对应的物体确定为目标物体。
示例性的，第一点云与虚拟头部射线的距离最小，且第一点云与虚拟头部射线的距离小于或者等于容忍阈值。
在另一种可能的实现方式中，处理单元920还可以用于：根据获取到的来自用户的第一指令，确定机器人的夹爪抓取目标物体时的动作原点。根据获取到的来自用户的第一头部旋转角，控制虚拟夹爪旋转的角度。根据获取到的来自用户的第二头部旋转角，控制虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置。
示例性的，虚拟夹爪的位置和虚拟夹爪旋转的角度与机器人的夹爪相同。
在一个示例中，处理单元920具体可以用于：对第一目标点云集合进行降采样处理并剔除其离群值，得到第二目标点云集合。向用户发送第二目标点云集合，并接收用户发送的第一指令。根据第一指令确定原点点云，并根据原点点云确定动作原点。
示例性的，原点点云为抓取目标物体时虚拟夹爪的坐标系原点，原点点云是第二目标点云集合中的一个，虚拟夹爪的坐标系原点与动作原点的位置在竖直方向上相差5cm。
本申请提出一种基于混合现实的物品抓取方法，通过混合现实设备向用户展示机器人感知到的场景，能够使得用户充分发挥自身的感知能力来纠正机器人的感知错误的部分，比如通过虚拟头部射线确定目标物品的位置，帮助机器人做出正确率更高的抓取决策。通过虚拟头部射线确定目标物品的位置后，用户只需通过头部运动控制机器人抓取物品的姿态，这能够降低用户的操作难度。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图10示出的是本申请一实施例提供的处理设备的结构示意图。如图10所示的处理设备1000可以包括：至少一个处理器1010(图10中仅示出一个处理器)、存储器1020以及存储在所述存储器1020中并可在所述至少一个处理器1010上运行的计算机程序1030，所述处理器1010执行所述计算机程序1030时实现上述任意各个方法实施例中的步骤。
所述处理设备1000可以是机器人等能够实现上述方法的处理设备，本申请实施例对处理设备的具体类型不作任何限制。
本领域技术人员可以理解，图10仅仅是处理设备1000的举例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。比如，该处理设备1000还可以包括输入输出接口。
所称处理器1010可以是中央处理单元(Central Processing Unit，CPU)，该处理器1010还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1020在一些实施例中可以是内部存储单元，例如硬盘或内存。所述存储器1020在另一些实施例中也可以是外部存储设备，例如插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1020还可以既包括内部存储单元也包括外部存储设备。所述存储器1020用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器1020还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在混合现实设备上运行时，使得混合现实设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (10)

1.一种基于混合现实的物品抓取方法，其特征在于，包括：
混合现实设备获取用户头部的位置向量和所述用户头部的方向向量，所述位置向量和所述方向向量用于指示虚拟头部射线的端点和方向，所述虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线；
机器人获取场景图像，所述场景图像包括场景的RGB图像和所述场景的深度图像；
所述混合现实设备根据所述场景图像和所述虚拟头部射线，确定目标物体；
所述混合现实设备控制所述机器人抓取所述目标物体。
2.如权利要求1所述的方法，其特征在于，所述混合现实设备根据所述场景图像和所述虚拟头部射线，确定目标物体，包括：
所述混合现实设备对所述场景图像进行分割处理，得到至少一个物品图像；
所述混合现实设备根据所述场景图像，确定场景点云；
所述混合现实设备根据所述至少一个物品图像、所述场景点云及所述虚拟头部射线，确定所述目标物体。
3.如权利要求2所述的方法，其特征在于，所述混合现实设备根据所述至少一个物品图像、所述场景点云及所述虚拟头部射线，确定所述目标物体，包括：
所述混合现实设备将包括第一点云的点云集合确定为第一目标点云集合，所述第一点云与所述虚拟头部射线的距离最小，且所述第一点云与所述虚拟头部射线的距离小于或者等于容忍阈值；
若所述第一目标点云集合对应的物体属于所述至少一个物体图像对应的物体，将所述第一目标点云集合对应的物体确定为目标物体。
4.如权利要求1-3任一项所述的方法，其特征在于，所述混合现实设备控制所述机器人抓取所述目标物体，包括：
所述混合现实设备根据获取到的来自用户的第一指令，确定所述机器人的夹爪抓取所述目标物体时的动作原点；
所述混合现实设备根据获取到的来自用户的第一头部旋转角，控制虚拟夹爪旋转的角度，所述虚拟夹爪的位置和所述虚拟夹爪旋转的角度与所述机器人夹爪相同；
所述混合现实设备根据获取到的来自用户的第二头部旋转角，控制虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置；
所述机器人根据所述动作原点、所述虚拟夹爪旋转角度、及所述虚拟夹爪在虚拟夹爪坐标系Z轴方向的位置抓取所述目标物体。
5.如权利要求4所述的方法，其特征在于，所述混合现实设备根据获取到的来自用户的第一指令，确定所述机器人的夹爪抓取所述目标物体时的动作原点，包括：
所述混合现实设备对所述第一目标点云集合进行降采样处理并剔除其离群值，得到第二目标点云集合；
所述混合现实设备向用户发送第二目标点云集合，并接收用户发送的第一指令；
所述混合现实设备根据所述第一指令确定原点点云，并根据所述原点点云确定所述动作原点，所述原点点云是用户通过头部注视光标确定的，所述原点点云为抓取所述目标物体时所述虚拟夹爪坐标系的原点，所述原点点云是所述第二目标点云集合中的一个，所述虚拟夹爪坐标系的原点与所述动作原点的位置在竖直方向上相差5cm。
6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
所述机器人将抓取到的所述目标物体放置在回收区域；
所述机器人返回预设等待区域。
7.一种基于混合现实的物品抓取方法，其特征在于，应用于抓取机器人，所述方法包括：
获取场景图像，所述场景图像包括场景的RGB图像和所述场景的深度图像；
接收来自混合现实设备的第二指令，所述第二指令用于确定所述机器人的夹爪抓取目标物体时的动作原点、所述机器人的夹爪旋转的角度及所述机器人的夹爪在竖直方向的位置；
根据所述第二指令，抓取所述目标物体。
8.一种混合现实设备，其特征在于，包括：获取单元和处理单元；
所述获取单元用于获取用户头部的位置向量、所述用户头部的方向向量及场景图像，所述位置向量和所述方向向量用于指示虚拟头部射线的端点和方向，所述虚拟头部射线为由混合现实技术渲染的从用户头部向外发射的虚拟射线，所述场景图像是由机器人获取并发送给所述混合设备的；
所述处理单元用于根据所述场景图像和所述头部虚拟射线，确定目标物体，所述场景图像包括场景的RGB图像和所述场景的深度图像；
所述处理单元还用于控制所述机器人抓取所述目标物体。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202310192947.6A 2023-02-20 2023-02-20 基于混合现实的物品抓取方法及混合现实设备 Active CN116243795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310192947.6A CN116243795B (zh) 2023-02-20 2023-02-20 基于混合现实的物品抓取方法及混合现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310192947.6A CN116243795B (zh) 2023-02-20 2023-02-20 基于混合现实的物品抓取方法及混合现实设备

Publications (2)

Publication Number Publication Date
CN116243795A true CN116243795A (zh) 2023-06-09
CN116243795B CN116243795B (zh) 2024-06-21

Family

ID=86625801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310192947.6A Active CN116243795B (zh) 2023-02-20 2023-02-20 基于混合现实的物品抓取方法及混合现实设备

Country Status (1)

Country Link
CN (1) CN116243795B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105710885A (zh) * 2016-04-06 2016-06-29 济南大学 服务型移动机械手系统
CN106239511A (zh) * 2016-08-26 2016-12-21 广州小瓦智能科技有限公司 一种基于头部运动的机器人移动控制方式
CN108854064A (zh) * 2018-05-25 2018-11-23 深圳市腾讯网络信息技术有限公司 交互控制方法、装置、计算机可读介质及电子设备
CN111124116A (zh) * 2019-12-18 2020-05-08 佛山科学技术学院 一种虚拟现实中与远距离物体交互方法及系统
US20200249654A1 (en) * 2019-02-06 2020-08-06 Cy-Fighter LLC Robotic control via a virtual world simulation
CN111784765A (zh) * 2020-06-03 2020-10-16 Oppo广东移动通信有限公司 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112907751A (zh) * 2021-03-23 2021-06-04 中德（珠海）人工智能研究院有限公司 一种基于混合现实的虚拟装修方法、系统、设备和介质
WO2021191598A1 (en) * 2020-03-23 2021-09-30 Cmr Surgical Limited Virtual console for controlling a surgical robot
CN114202639A (zh) * 2021-12-09 2022-03-18 南方电网电力科技股份有限公司 一种基于vr的高临场视觉感知方法及相关装置
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN115070757A (zh) * 2022-06-13 2022-09-20 上海节卡机器人科技有限公司 物体抓取方法、装置、机器人及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105710885A (zh) * 2016-04-06 2016-06-29 济南大学 服务型移动机械手系统
CN106239511A (zh) * 2016-08-26 2016-12-21 广州小瓦智能科技有限公司 一种基于头部运动的机器人移动控制方式
CN108854064A (zh) * 2018-05-25 2018-11-23 深圳市腾讯网络信息技术有限公司 交互控制方法、装置、计算机可读介质及电子设备
US20200249654A1 (en) * 2019-02-06 2020-08-06 Cy-Fighter LLC Robotic control via a virtual world simulation
CN111124116A (zh) * 2019-12-18 2020-05-08 佛山科学技术学院 一种虚拟现实中与远距离物体交互方法及系统
WO2021191598A1 (en) * 2020-03-23 2021-09-30 Cmr Surgical Limited Virtual console for controlling a surgical robot
CN111784765A (zh) * 2020-06-03 2020-10-16 Oppo广东移动通信有限公司 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112907751A (zh) * 2021-03-23 2021-06-04 中德（珠海）人工智能研究院有限公司 一种基于混合现实的虚拟装修方法、系统、设备和介质
CN114202639A (zh) * 2021-12-09 2022-03-18 南方电网电力科技股份有限公司 一种基于vr的高临场视觉感知方法及相关装置
CN114564106A (zh) * 2022-02-25 2022-05-31 北京字跳网络技术有限公司 交互指示线的确定方法、装置、电子设备及存储介质
CN115070757A (zh) * 2022-06-13 2022-09-20 上海节卡机器人科技有限公司 物体抓取方法、装置、机器人及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜豪等: "虚拟现实技术在柔性上肢康复机器人中的应用", 《计算机工程与应用》, no. 24, 31 December 2020 (2020-12-31), pages 261 *
陈宝权;秦学英;: "混合现实中的虚实融合与人机智能交融", 中国科学:信息科学, no. 12, 20 December 2016 (2016-12-20), pages 1738 *

Also Published As

Publication number Publication date
CN116243795B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
US9921663B2 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US20180088663A1 (en) Method and system for gesture-based interactions
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
JP3768174B2 (ja) ワーク取出し装置
US11331806B2 (en) Robot control method and apparatus and robot using the same
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN110728739B (zh) 一种基于视频流的虚拟人控制与交互方法
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN109108968A (zh) 机器人头部运动调整的交互方法、装置、设备和存储介质
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
EP3782119A1 (en) Detection, tracking and 3d modeling of objects with sparse rgb-d slam and interactive perception
CN113366491A (zh) 眼球追踪方法、装置及存储介质
CN116884095B (zh) 仿生机械手的手势识别控制方法、系统、设备和存储介质
WO2013149475A1 (zh) 一种用户界面的控制方法及装置
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN108555902B (zh) 一种机器人分拣物品的方法、装置及机器人
CN116243795B (zh) 基于混合现实的物品抓取方法及混合现实设备
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114750164B (zh) 一种透明物体的抓取方法、系统及计算机可读存储介质
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
CN109214295A (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant