CN112650436A - 基于增强现实的机器人操作方法、装置、存储介质 - Google Patents

基于增强现实的机器人操作方法、装置、存储介质 Download PDF

Info

Publication number
CN112650436A
CN112650436A CN202011459398.7A CN202011459398A CN112650436A CN 112650436 A CN112650436 A CN 112650436A CN 202011459398 A CN202011459398 A CN 202011459398A CN 112650436 A CN112650436 A CN 112650436A
Authority
CN
China
Prior art keywords
virtual robot
robot
target object
operator
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011459398.7A
Other languages
English (en)
Inventor
刘培超
刘主福
解俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Priority to CN202011459398.7A priority Critical patent/CN112650436A/zh
Publication of CN112650436A publication Critical patent/CN112650436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及机器人技术领域，提供了基于增强现实的机器人操作方法、装置、控制终端和计算机可读存储介质。所述方法包括：加载增强现实场景并在显示界面上进行场景显示；响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人；响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体；响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作。本申请的技术方案提高了验证的效率，而且虚拟机器人设置可以更加灵活，可以打破实体机器人以及实体物体选择或者设置的局限性，大大提高了验证的灵活性和效率。

Description

基于增强现实的机器人操作方法、装置、存储介质
技术领域
本申请属于智能机器人技术领域，尤其涉及一种基于增强现实的机器人操作方法、装置、设备和存储介质。
背景技术
随着机器人技术的发展，无论是在工业应用中还是日常生活中，智能机器人的应用日益增多。机器人在设计、制造以及应用的过程中，都会涉及测试、验证的环节。受限于机器人体积、重量以及场地等的限制，多数机器人的测试、验证环节会通过机器人仿真来实现。机器人仿真是指通过计算机对实际的机器人进行模拟的技术，通过仿真，可以在制造单机与生产线之前模拟出机器人实物，亦可以模拟出机器人实物在真实环境中的实际行为，例如抓取、运送物体等，从而缩短生产工期，避免不必要的返工。
然而，传统的机器人仿真在完全虚拟的环境下进行仿真作业，而虚拟环境无法很好地还原真实的环境，而且仿真的数据也无法充分体现真实数据，在验证的真实性和准确性上存在较大的不足。
发明内容
本申请提供一种基于增强现实的机器人操作方法、装置、控制终端和计算机可读存储介质，提高了验证的效率，而且虚拟机器人设置可以更加灵活，可以打破实体机器人以及实体物体选择或者设置的局限性，大大提高了验证的灵活性和效率。
本申请第一方面提供了一种基于增强现实的机器人操作方法，所述方法包括：
加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第二方面提供了一种基于增强现实的机器人操作装置，所述装置包括：
数据加载模块，用于加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
机器人加载模块，用于响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
物体加载模块，用于响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
操作控制模块，用于响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行计算机程序时实现以下方法：
加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下方法的步骤：
加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
上述基于增强现实的机器人操作方法、装置、计算机设备及存储介质中，移动终端先加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。通过上述操作方法，就可以对虚拟机器人模型对应的虚拟机器人的功能、内置算法、运行轨迹是否合理等进行验证，不需要实际的实体机器人进行验证，打破了实体机器人需要在不同环境/场景中进行验证而需要频繁移动或者搬运该实体机器人的弊端，提高了验证的效率，而且目标物体设置可以更加灵活，可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等)，大大提高了验证的灵活性和效率。而且，由于本实施例的技术方案的虚拟机器人处在真实环境生成的增强现实场景中，该可以保证验证过程更加直观、逼真；另一方面，本实施例的技术方案通过移动终端就可以实现，由于移动终端(例如，智能手机等)已经普及，可以随时随地实现本技术方案，因此，本申请技术方案的即时性或实时性得以增强。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于增强现实的机器人操作方法的一示例图；
图2是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；
图3是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；
图4是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；
图5是本发明一实施例中基于增强现实的机器人操作方法的另一示例图；
图6是本发明一实施例中基于增强现实的机器人操作装置的一示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供的基于增强现实的机器人操作方法，可应用在移动终端中。其中，该移动终端可以但不限于为各种智能手机、平板电脑和其他便携式可穿戴设备等。
在一实施例中，如图1所示，提供一种基于增强现实的机器人操作方法，以该方法应用在移动终端为例进行说明，包括如下步骤：
S101：加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成。
该增强现实场景为根据采集的真实环境数据生成。可以理解地，采集该真实环境数据的过程可以为实时进行的，也可以为预先采集完成。操作者可以通过移动终端完成对真实环境数据的采集，也可以通过其他设备进行采集，然后发送至移动终端，移动终端根据该采集的真实环境数据生成增强现实场景。或者，其他设备完成真实环境数据的采集之后，再生成增强现实场景，再发送至移动终端。
在一个实施方式中，在加载增强现实场景并在显示界面上进行场景显示之前，该基于增强现实的机器人操作方法还包括：采集当前环境的真实环境数据，根据该真实环境数据生成增强现实场景。操作者可以通过移动终端进行对当前环境的真实环境数据的采集，具体地，可以通过移动终端中的摄像头进行该真实环境数据的采集。可以理解地，操作者可以对当前环境的具体的采集范围进行自定义。当前环境为采集时所处的环境。
移动终端进行真实环境数据的采集。可选地，该移动终端可以通过采集视频数据或者图像数据的方式实现对真实环境数据的采集。并且根据该真实环境数据生成增强现实场景。根据真实环境数据生成增强现实场景的过程可以通过移动终端自身实现，或者移动终端将采集的真实环境数据发送至特定的终端或者服务器之后，通过该特定的终端或者服务器生成增强现实场景，移动终端再接收该增强现实场景的相关数据，以供后续在显示界面进行显示。在一个具体实施方式中，所述根据所述真实环境数据生成增强现实场景包括：发送所述真实环境数据至第三终端或者服务器，接收所述第三终端或者服务器返回的增强现实场景，所述增强现实场景为第三终端或者服务器根据所述真实环境数据生成。该第三终端可以为个人计算机、其他移动终端或者其他可以具备实现对应功能的终端。
其中，根据该真实环境数据生成增强现实场景可以包括采用跟踪注册技术将测帧数环境中物体的特征点以及轮廓信息，跟踪物体特征点自动生成三维坐标信息。可选地，跟踪注册方法可以为基于跟踪器的注册方法、基于机器视觉跟踪注册方法、基于无线网络的混合跟踪注册技术等。
可以理解地，在生成该增强现实场景中，可以构建第一坐标系，第一坐标系可以为三维坐标系，示例性地，可以以移动终端采集摄像头位置作为坐标原点，建立该第一坐标系，真实映射出采集的真实环境(当前环境)中每一物体和该坐标原点的相对位置。
可以通过移动终端的显示界面的场景显示还原采集到的真实环境，以供后续的交互。可选地，还可以在第三方的显示界面上进行场景显示，该移动终端和一第三方显示设备建立连接，即可以在该第三方显示设备进行场景显示。可以理解地，可以在移动终端的显示界面以及该第三方显示设备的显示界面上同时进行场景显示。即在显示界面上进行场景显示包括：在所述移动终端的显示界面上进行场景显示，或者，在第三方显示设备的显示界面上进行场景显示，或者，在所述移动终端的显示界面以及在第三方显示设备的显示界面上进行场景显示。
在一个具体实施方式中，若在第三方显示设备的显示界面上进行场景显示，则该方法还包括：在移动终端的显示界面上展示操作界面，以供操作者进行交互。如此，操作者可以通过移动终端的操作界面进行操控，并且通过第三方显示设备的显示界面进行场景显示。
在一个具体实施方式中，若在在所述移动终端的显示界面上进行场景显示，则该方法还包括：在移动终端的显示界面上展示操作界面或者操作按键。其中，该操作界面或者操作按键可以和显示的场景分布在显示界面上的不同区域，或者，该操作界面或者操作按键可以和显示的场景在显示界面上有部分交叠，或者，该操作界面或者操作按键可以内嵌或者浮置在显示的场景的上方。
S102：响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联。
操作者可以和移动终端进行交互。其中，第一操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第一操作行为也可以为上述不同操作方式的组合。例如，第一操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。
移动终端可以预先生成或者内置一个或者多个虚拟机器人模型，然后通过对移动终端的显示界面的操作选定其中一个虚拟机器人模型对应的虚拟机器人。操作者可以从一个物体列表中选择一个或者多个虚拟机器人，或者通过输入对应的名称、指令、编号等确定一个或者多个虚拟机器人。
该步骤还包括确定该选定的虚拟机器人在显示界面上显示的场景中的具体位置，即第一位置，所述第一位置和所述第一操作行为关联，该第一位置指示该虚拟机器人在显示的场景中的具体位置。示例性地，操作者可以点击显示界面上的一个具体位置，确定虚拟机器人的放置位置，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置作为第一位置。
可以理解地，该第一操作行为可以包括多个操作动作，即操作者可以通过一个或者多个操作动作确定待显示的虚拟机器人，再通过一个或者多个操作动作确定第一位置。其中，可以先确定虚拟机器人再确定第一位置，也可以先确定第一位置再确定虚拟机器人，在此不做具体限制。
S103：响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联。
其中，第二操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第二操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第二操作行为也可以为上述不同操作方式的组合。例如，第二操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。
该目标物体可以从显示的场景中包括的物体的指定来确定，进一步地，还可以从显示的场景中指定了目标物体之后，再确定该目标物体的位置，从而将该显示的场景中被指定的物体移动到第二位置处。可选地，还可以预先生成一个物体清单，该物体清单包括现实的场景中包括的物体。因此，该目标物体可以为从预设的物体列表/清单中选取，也可以为从当前显示的场景中指定。
该步骤还包括确定该选定的目标物体在显示界面上显示的场景中的具体位置，即第二位置，所述第二位置和所述第二操作行为关联，该第二位置指示该目标物体在显示的场景中的具体位置。示例性地，操作者可以点击显示界面上的一个具体位置，确定目标物体的放置位置，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置作为第二位置。
可以理解地，该第二操作行为可以包括多个操作动作，即操作者可以通过一个或者多个操作动作确定待显示的目标物体，再通过一个或者多个操作动作确定第二位置。其中，可以先确定虚拟机器人再确定第一位置，也可以先确定第二位置再确定目标物体，在此不做具体限制。
S104：响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
其中，第三操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第三操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第三操作行为也可以为上述不同操作方式的组合。例如，第三操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。
目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及第二位置的位置信息确定。可选地，第一位置的位置信息以及第二位置的位置信息都可以通过第一位置以及第二位置在第一坐标系中的对应坐标来体现。
响应操作者的第三操作行为之后，移动终端可以触发生成一个第一操作指令，该第一操作指令指示虚拟机器人的移动。示例性地，该第一操作指令可以指示该虚拟机器人移动至目标物体处，指示该虚拟机器人抓取该目标物体，指示该虚拟机器人抓取该目标物体移动至其他位置等。可以理解地，若第三操作行为包括多个动作，则可以对应生成多个操作指令，以指示虚拟机器人完成多个对应的操作。
该第一动作可以和上述第一操作指令指示的信息一致，例如，该第一动作可以为该虚拟机器人移动至目标物体处，该虚拟机器人抓取该目标物体，该虚拟机器人抓取该目标物体移动至其他位置等。
示例性地，操作者可以通过点击预先生成在显示界面上的几个可选项实现对虚拟机器人的操作，移动终端响应操作者的选择操作来生成对应的第一操作指令指示虚拟机器人的移动。虚拟机器人模型中预先内置了操作算法，通过所述第一操作指令以及目标物体和虚拟机器人之间的相对位置信息，虚拟机器人就可以根据预设的操作算法来进行对应的操作。例如，获悉目标物体的位置之后，若接收到的第一操作指令是移动到目标物体处，虚拟机器人即可以根据预设的操作算法来进行移动，以移动至目标物体对应的位置处。
在本实施例中，移动终端先加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。通过上述操作方法，就可以对虚拟机器人模型对应的虚拟机器人的功能、内置算法、运行轨迹是否合理等进行验证，不需要实际的实体机器人进行验证，打破了实体机器人需要在不同环境/场景中进行验证而需要频繁移动或者搬运该实体机器人的弊端，提高了验证的效率，而且目标物体设置可以更加灵活，可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等)，大大提高了验证的灵活性和效率。而且，由于本实施例的技术方案的虚拟机器人处在真实环境生成的增强现实场景中，该可以保证验证过程更加直观、逼真；另一方面，本实施例的技术方案通过移动终端就可以实现，由于移动终端(例如，智能手机等)已经普及，可以随时随地实现本技术方案，因此，本申请技术方案的即时性或实时性得以增强。
在一个实施例中，如图2所示，在所述响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后，该基于增强现实的机器人操作方法还包括：
S201：监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述第三操作行为确定。
其中，目标部位可以为虚拟机器人中的任意一个或者多个部位，该目标部位根据所述第三操作行为确定，通过第三操作行为确定要监测的目标部位，例如，若第三操作行为为指示操作虚拟机器人的机械臂位于所述目标物体的上方，则该目标部位为机械臂中的一个或者多个预设位置。若第三操作行为为移动所述虚拟机器人至所述目标物体左侧，则该目标部位可以为指示该虚拟机器人底座(足部)的一个或者多个预设位置。可以理解地，可以预先建立一个目标部位和第三操作行为的对应关系数据。
其中，该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发，或者操作者间接触发，例如，操作者可以通过移动的操作直接触发对该第一相对位置关系的监测，或者操作者指示虚拟机器人在进行特定的动作时，移动终端自动监测该第一相对位置关系。例如，操作者的第三操作行为指示虚拟机器人移动至目标物体的左侧，则此时移动终端可以在虚拟机器人移动过程中定时或者实时监测该第一相对位置关系和/或第二实时位置信息。
可选地，第一相对位置关系可以为虚拟机器人的目标部位和所述目标物体之间的距离。第二实时位置信息为指示虚拟机器人的目标部位在显示的场景中的位置的信息，示例性地，可以为虚拟机器人的目标部位在第一坐标系中的坐标信息。
S202：若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。
该标准位置关系为预先设置或者定义的位置衡量标准。该标准位置关系具体指示了在不同第三操作行为下虚拟机器人和目标物体的合理位置关系，和/或，在不同第一操作指令下虚拟机器人在显示的场景中的合理位置关系。
示例性地，若第一操作指令为移动虚拟机器人至目标物体的左侧，则该标准位置关系可以为：虚拟机器人执行对应的指令之后，其目标部位位于目标物体左侧的预设范围内。若该虚拟机器人的目标部位不位于目标物体左侧的预设范围内，则可以认定该第一相对位置关系不符合预设的标准位置关系。
示例性地，若第一操作指令为移动虚拟机器人至目标物体的左侧，该标准位置关系还可以包括：该虚拟机器人的目标部位的第二实时位置不和显示的场景中任一物体的位置存在交叠。若虚拟机器人的目标部位的第二实时位置和显示的场景中任一物体的位置存在交叠。则可以认定该第二实时位置信息不符合预设的标准位置关系。
该报警事件可以为不同的触发提示方式，可以通过声音、文字、振动的方式体现。或者该报警事件可以为发送提示信息至对应的一终端。
在本实施例中，通过监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述操作指令确定；若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。通过本实施例实现了对虚拟机器人的自动监控，当显示界面中虚拟机器人的运行出现异常(运行轨迹异常，碰撞到显示场景中的其他物体，或者没有准确运行到虚拟物体所在位置、不恰当的抓取等)，即可以触发报警，实现了智能监控。
在一个实施例中，如图3所示，在所述响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后，还包括：
S301：监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，所述目标部位根据所述第三操作行为确定。
该目标部位根据所述第三操作行为确定，通过第三操作行为确定要监测的目标部位，例如，若第三操作行为为指示操作虚拟机器人的机械臂位于所述目标物体的上方，则该目标部位为机械臂中的一个或者多个预设位置。若第三操作行为为移动所述虚拟机器人至所述目标物体左侧，则该目标部位可以为指示该虚拟机器人底座(足部)的一个或者多个预设位置。可以理解地，可以预先建立一个目标部位和第三操作行为的对应关系数据。
在该步骤中，移动终端监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系。其中，该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发，或者操作者间接触发，例如，操作者可以通过移动的操作直接触发对该第一相对位置关系的监测，或者操作者指示虚拟机器人在进行特定的动作时，移动终端自动监测该第一相对位置关系。例如，操作者的第三操作行为指示虚拟机器人移动至目标物体的左侧，则此时移动终端可以在虚拟机器人移动过程中定时或者实时监测该第一相对位置关系。
S302：响应于操作者的第四操作行为，若所述第一相对位置关系符合预设的标准位置关系，则控制所述目标物体执行对应的第二动作，所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
其中，第四操作行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第四操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地，第四操作行为也可以为上述不同操作方式的组合。例如，第四操作行为可以包括多个动作，可以包括对显示界面的点击操作以及语音操作等。
该第四操作行为指示所述虚拟机器人和所述目标物体的共同移动行为。示例性地，该第四操作行为可以为指示所述虚拟机器人抓取/推动所述目标物体移动。
移动终端响应该第四操作行为，先判断第一相对位置关系是否符合预设的标准位置关系。若第一相对位置关系符合预设的标准位置关系，控制所述目标物体执行对应的第二动作，所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。示例性地，若第四操作行为为指示虚拟机器人抓取/推动所述目标物体移动，则该第二动作可以为指示所述目标物体按照一定的距离跟随所述虚拟机器人的目标部位的运行轨迹。
在一个实施方式中，移动终端响应该第四操作行为，若所述第一相对位置关系不符合预设的标准位置关系，则触发报警事件。
在本实施例中，移动终端监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系；响应于操作者的第四操作行为，若所述第一相对位置关系符合预设的标准位置关系，则控制所述目标物体执行对应的第二动作，所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。通过控制目标物体执行第二动作，更好地实现对真实场景中的对应操作的还原，更好地保证了验证的顺利、准确。
在一个实施例中，在所述响应操作者的第三操作行为之前，还包括：
通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述目标物体和所述虚拟机器人之间的相对位置信息。
在该步骤中，通过第一位置的位置信息以及第二位置的位置信息即可以确定目标物体和所述虚拟机器人之间的相对位置信息。
示例性地，以预先建立了第一坐标系为例，第一位置的位置信息为Pv(xv，yv，zv)，第二位置的位置信息为Pr(xr，yr，zr)，则通过两个坐标相减即可以得到目标物体和所述虚拟机器人之间的相对位置信息。
具体地，将第二位置的位置信息Pr(xr，yr，zr)的三个分量分别与第一位置的位置信息Pv(xv，yv，zv)的三个分量相减，即，执行xr-xv、yr-yv以及zr-zv；分别将xr与xv的差值即xr-xv、yr与yv的差值即yr-yv以及zr与zv的差值即zr-zv分别赋值给xrv、yrv与zrv，即xrv＝xr-xv、yrv＝yr-yv以及zrv＝zr-zv，得到目标物体和所述虚拟机器人之间的相对位置信息Pv r(xrv，yrv，zrv)。
在本实施例中，移动终端通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述目标物体和所述虚拟机器人之间的相对位置信息，更好地保证了后续操作的准确性。
在一个实施例中，如图4所示，所述响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，包括：
S401：响应操作者的第一触发行为，确定待显示的虚拟机器人信息。
其中，该第一触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地，该第一触发行为可以为对显示界面上显示的虚拟机器人列表中的选取，例如，通过点击、长按或者双击等方式从该虚拟机器人列表中确定待显示的虚拟机器人信息。或者，操作者通过预先设定的手势或者语音确定一个具体的虚拟机器人，可以预先将一个特定的手势或者语音绑定对应的虚拟机器人，如此，即可以通过手势或者语音确定待显示的虚拟物体信息。该待显示的虚拟机器人信息可以为指示该虚拟机器人的名称、编号或者其他指示信息。
S402：响应操作者的第二触发行为，确定待显示的虚拟机器人在显示的场景中的位置信息。
其中，该第二触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第二触发行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地，操作者可以点击显示界面上的一个具体位置，确定虚拟机器人的放置位置，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置，以此确定虚拟机器人在显示的场景中的位置信息。可选地，该位置信息可以通过坐标的形式体现。
S403：根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在所述显示的场景中的位置信息，在显示界面上的第一位置加载所述虚拟机器人信息对应的虚拟机器人，所述第一位置由所述待显示的虚拟机器人在所述显示的场景中的位置信息确定。
具体地，根据待显示的虚拟机器人信息确定对应的虚拟物体，加载该虚拟机器人模型，并且在显示界面上的第一位置加载该虚拟机器人。该第一位置由所述待显示的虚拟机器人在所述显示的场景中的位置信息确定。
在本实施例中，通过分别响应操作者的第一触发行为和第二触发行为从而分别确定虚拟机器人以及对应的第一位置，以更好地在显示界面上显示的场景中加载该虚拟机器人。
在一个实施例中，如图5所示，所述响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联，包括：
S501：响应操作者的第三触发行为，确定所述第三触发行为指示的位置信息，将所述显示的场景中和所述第三触发行为指示的位置信息对应的物体确定为目标物体。
其中，该第三触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第三触发行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。
在显示界面上显示的场景中，包括了若干物体，该实施例中通过操作者的第三触发行为，从而指定显示的场景中的一个物体作为目标物体。具体地，通过该第三触发行为指示的位置信息来确定目标物体，将显示的场景中和所述第三触发行为指示的位置信息对应的物体确定为目标物体。和第三触发行为指示的位置信息对应的物体可以为和第三触发行为指示的位置信息最接近的物体。
示例性地，操作者可以点击显示界面上的一个具体位置，作为指示的位置信息，或者，操作者可以通过参数输入的方式确定该具体位置，例如，输入一个坐标点来确定该具体位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置，以此确定该位置信息。可选地，该位置信息可以通过坐标的形式体现。
S502：响应操作者的第四触发行为，在显示界面上的第二位置加载所述目标物体，其中，所述第二位置和所述第四触发行为关联。
其中，该第四触发行为可以为操作者对显示界面的触摸、点击、长按等操作，也可以为语音、手势交互等其他方式。或者，第四触发行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。
第二位置和所述第四触发行为关联，具体地，通过该第四出发行为确定该第二位置。
示例性地，操作者可以点击显示界面上的一个具体位置，作为第二位置，或者，操作者可以通过参数输入的方式确定该第二位置，例如，输入一个坐标点来确定该第二位置。或者，在显示界面上的显示场景中预先划分为多个不同区域/位置，操作者从中选取一个区域/位置，以此确定为第二位置。可选地，该第二位置可以通过坐标的形式体现。
在确定第二位置之后，移动终端在显示界面上的第二位置加载所述目标物体。
在本实施例中，通过将显示的场景中的物体确定为目标物体，而且可以指定其放置的具体位置(第二位置)，提高了目标物体确定的便利，不需要提前或者预先建立虚拟物体模型，进一步提高了该方法的验证效率。
在一个实施例中，所述基于增强现实的机器人操作方法，还包括：
将位于所述第三触发行为指示的位置信息处的目标物体移除；
或者，
所述在显示界面上的第二位置加载所述目标物体包括：将位于所述第三触发行为指示的位置信息处的目标物体移动至所述第二位置。
在该实施例中，在显示界面上的第二位置加载所述目标物体之后，可以将位于所述第三触发行为指示的位置信息处的目标物体移除。或者，在显示界面上的第二位置加载所述目标物体可以包括将位于所述第三触发行为指示的位置信息处的目标物体移动至所述第二位置。
在一实施例中，提供一种基于增强现实的机器人操作装置，该基于增强现实的机器人操作装置与上述实施例中基于增强现实的机器人操作方法一一对应。如图6所示，该基于增强现实的机器人操作装置包括数据加载模块601、机器人加载模块602、物体加载模块603和第一操作控制模块604。各功能模块详细说明如下：
数据加载模块601，用于加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
机器人加载模块602，用于响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
物体加载模块603，用于响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
第一操作控制模块604，用于响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
优选地，该基于增强现实的机器人操作装置还包括第一检测模块和报警触发模块：
第一检测模块，用于监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述第三操作行为确定；
报警触发模块，用于若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。
优选地，该基于增强现实的机器人操作装置还包括第二监测模块和第二操作控制模块：
第二监测模块，用于监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，所述目标部位根据所述第三操作行为确定；
第二操作控制模块，用于响应于操作者的第四操作行为，若所述第一相对位置关系符合预设的标准位置关系，则控制所述目标物体执行对应的第二动作，所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
优选地，该基于增强现实的机器人操作装置还包括位置确定模块，用于通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述目标物体和所述虚拟机器人之间的相对位置信息。
优选地，机器人加载模块602包括机器人信息确定单元、位置信息确定单元和机器人加载单元。
机器人信息确定单元，用于响应操作者的第一触发行为，确定待显示的虚拟机器人信息；
第一位置信息确定单元，用于响应操作者的第二触发行为，确定待显示的虚拟机器人在显示的场景中的位置信息；
机器人加载单元，用于根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在显示的场景中的位置信息，在显示界面上的第一位置加载所述待显示的虚拟机器人信息对应的虚拟机器人，所述第一位置由待显示的虚拟机器人在显示的场景中的位置信息确定。
优选地，物体加载模块603包括第二位置信息确定单元和物体加载单元。
第二位置信息确定单元，用于响应操作者的第三触发行为，确定所述第三触发行为指示的位置信息，将所述显示的场景中和所述第三触发行为指示的位置信息对应的物体确定为目标物体；
物体加载单元，用于响应操作者的第四触发行为，在显示界面上的第二位置加载所述目标物体，其中，所述第二位置和所述第四触发行为关联。
优选地，该基于增强现实的机器人操作装置还包括移除模块，用于将位于所述第三触发行为指示的位置信息处的目标物体移除。
优选地，物体加载单元还用于将位于所述第三触发行为指示的位置信息处的目标物体移动至所述第二位置。
关于基于增强现实的机器人操作装置的具体限定可以参见上文中对于基于增强现实的机器人操作方法的限定，在此不再赘述。上述基于增强现实的机器人操作装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是移动终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现上述实施例中的一种基于增强现实的机器人操作方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的一种基于增强现实的机器人操作方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的一种基于增强现实的机器人操作方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/控制终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/控制终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，机器人仿真方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于增强现实的机器人操作方法，其特征在于，包括：
加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
2.如权利要求1所述的基于增强现实的机器人操作方法，其特征在于，在所述响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后，还包括：
监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，和/或，监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息，所述目标部位根据所述第三操作行为确定；
若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系，则触发报警事件。
3.如权利要求1所述的基于增强现实的机器人操作方法，其特征在于，在所述响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后，还包括：
监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系，所述目标部位根据所述第三操作行为确定；
响应于操作者的第四操作行为，若所述第一相对位置关系符合预设的标准位置关系，则控制所述目标物体执行对应的第二动作，所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
4.如权利要求1所述的基于增强现实的机器人操作方法，其特征在于，在所述响应操作者的第三操作行为之前，还包括：
通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述目标物体和所述虚拟机器人之间的相对位置信息。
5.如权利要求1所述的基于增强现实的机器人操作方法，其特征在于，所述响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，包括：
响应操作者的第一触发行为，确定待显示的虚拟机器人信息；
响应操作者的第二触发行为，确定待显示的虚拟机器人在显示的场景中的位置信息；
根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在显示的场景中的位置信息，在显示界面上的第一位置加载所述待显示的虚拟机器人信息对应的虚拟机器人，所述第一位置由待显示的虚拟机器人在显示的场景中的位置信息确定。
6.如权利要求1所述的基于增强现实的机器人操作方法，其特征在于，所述响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联，包括：
响应操作者的第三触发行为，确定所述第三触发行为指示的位置信息，将所述显示的场景中和所述第三触发行为指示的位置信息对应的物体确定为目标物体；
响应操作者的第四触发行为，在显示界面上的第二位置加载所述目标物体，其中，所述第二位置和所述第四触发行为关联。
7.如权利要求6所述的基于增强现实的机器人操作方法，其特征在于，所述基于增强现实的机器人操作方法，还包括：
将位于所述第三触发行为指示的位置信息处的目标物体移除；
或者，
所述在显示界面上的第二位置加载所述目标物体包括：将位于所述第三触发行为指示的位置信息处的目标物体移动至所述第二位置。
8.一种基于增强现实的机器人操作装置，其特征在于，所述装置包括：
数据加载模块，用于加载增强现实场景并在显示界面上进行场景显示，所述增强现实场景为根据采集的真实环境数据生成；
机器人加载模块，用于响应操作者的第一操作行为，在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人，所述虚拟机器人根据预先构造的机器人模型生成，所述第一位置和所述第一操作行为关联；
物体加载模块，用于响应操作者的第二操作行为，在显示界面上的第二位置加载目标物体，所述目标物体从所述显示的场景中包括的物体中确定，所述第二位置和所述第二操作行为关联；
第一操作控制模块，用于响应操作者的第三操作行为，根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作，其中，所述目标物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于增强现实的机器人操作方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的基于增强现实的机器人操作方法。
CN202011459398.7A 2020-12-11 2020-12-11 基于增强现实的机器人操作方法、装置、存储介质 Pending CN112650436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011459398.7A CN112650436A (zh) 2020-12-11 2020-12-11 基于增强现实的机器人操作方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011459398.7A CN112650436A (zh) 2020-12-11 2020-12-11 基于增强现实的机器人操作方法、装置、存储介质

Publications (1)

Publication Number Publication Date
CN112650436A true CN112650436A (zh) 2021-04-13

Family

ID=75353673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011459398.7A Pending CN112650436A (zh) 2020-12-11 2020-12-11 基于增强现实的机器人操作方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN112650436A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113733087A (zh) * 2021-09-06 2021-12-03 深圳太力生物技术有限责任公司 细胞操作机器人的控制信息配置方法、装置、设备和介质
CN115348224A (zh) * 2022-08-16 2022-11-15 中国联合网络通信集团有限公司 一种聊天机器人的交互方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683763B1 (ko) * 2015-09-14 2016-12-07 주식회사 프레스토솔루션 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
CN108959668A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和装置
CN109483601A (zh) * 2018-12-24 2019-03-19 合肥欣奕华智能机器有限公司 一种工业机器人功能测试系统及测试方法
CN110573308A (zh) * 2017-04-17 2019-12-13 西门子股份公司 机器人系统的混合现实辅助空间编程
CN111267073A (zh) * 2020-03-24 2020-06-12 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN111476882A (zh) * 2020-03-26 2020-07-31 哈尔滨工业大学 一种面向浏览器的机器人虚拟图形建模方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683763B1 (ko) * 2015-09-14 2016-12-07 주식회사 프레스토솔루션 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
CN110573308A (zh) * 2017-04-17 2019-12-13 西门子股份公司 机器人系统的混合现实辅助空间编程
CN108959668A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和装置
CN109483601A (zh) * 2018-12-24 2019-03-19 合肥欣奕华智能机器有限公司 一种工业机器人功能测试系统及测试方法
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN111267073A (zh) * 2020-03-24 2020-06-12 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法
CN111476882A (zh) * 2020-03-26 2020-07-31 哈尔滨工业大学 一种面向浏览器的机器人虚拟图形建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张石磊: "6自由度工业机器人增强现实示教研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113733087A (zh) * 2021-09-06 2021-12-03 深圳太力生物技术有限责任公司 细胞操作机器人的控制信息配置方法、装置、设备和介质
CN113733087B (zh) * 2021-09-06 2023-03-07 深圳太力生物技术有限责任公司 细胞操作机器人的控制信息配置方法、装置、设备和介质
CN115348224A (zh) * 2022-08-16 2022-11-15 中国联合网络通信集团有限公司 一种聊天机器人的交互方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112667139A (zh) 基于增强现实的机器人操作方法、装置、设备和存储介质
CN110210219B (zh) 病毒文件的识别方法、装置、设备及存储介质
CN112650436A (zh) 基于增强现实的机器人操作方法、装置、存储介质
CN111045931B (zh) 应用程序测试方法、装置、设备及存储介质
CN111555938B (zh) 一种信息处理的方法以及相关装置
CN108874664A (zh) 一种vr软件测试方法、装置、系统及电子设备
CN113064823A (zh) 汽车的零部件功能测试方法、装置及计算机存储介质
CN112543960A (zh) 信息处理装置、中介装置、模拟系统以及信息处理方法
CN106412432A (zh) 一种拍照方法及移动终端
CN108959064A (zh) 自动化测试的弹窗处理方法及装置
CN113280265B (zh) 工况识别方法、装置、计算机设备以及存储介质
CN109921960B (zh) 一种idc机房网络异常测试方法及装置
CN108523281A (zh) 用于虚拟现实系统的手套外设、方法、装置及系统
CN111739093B (zh) 一种蒸汽管道位移的监测方法、装置及电子设备
CN109032911A (zh) 用于移动设备的帧率检测方法、装置及电子设备
CN112667138A (zh) 基于增强现实的机器人操作方法、装置和存储介质
CN110221736A (zh) 图标处理方法、装置、移动终端以及存储介质
CN108307055A (zh) 电子装置、跌落的保护方法及相关产品
CN112989878A (zh) 瞳孔检测方法及相关产品
CN115328770A (zh) 应用程序的测试方法、装置、电子设备及存储介质
CN115134523B (zh) 远程控制方法、装置、操作终端、控制设备和存储介质
TW202017625A (zh) 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法
CN114720932A (zh) 一种电池管理系统信号采样精度测试方法、装置、上位机及存储介质
CN114594751A (zh) 车辆功能的测试方法、装置、设备及计算机可读存储介质
CN113408175A (zh) 焊点模型的建立方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210413

RJ01 Rejection of invention patent application after publication