CN112667138A - 基于增强现实的机器人操作方法、装置和存储介质 - Google Patents
基于增强现实的机器人操作方法、装置和存储介质 Download PDFInfo
- Publication number
- CN112667138A CN112667138A CN202011459399.1A CN202011459399A CN112667138A CN 112667138 A CN112667138 A CN 112667138A CN 202011459399 A CN202011459399 A CN 202011459399A CN 112667138 A CN112667138 A CN 112667138A
- Authority
- CN
- China
- Prior art keywords
- robot
- virtual
- displayed
- scene
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 53
- 230000006399 behavior Effects 0.000 claims description 172
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 238000011017 operating method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 description 19
- 238000003825 pressing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本申请提供了基于增强现实的机器人操作方法、装置、设备和可读存储介质。所述方法包括加载增强现实场景并在显示界面上进行场景显示;响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人;响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体;响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作。在真实环境生成的增强现实场景中加载虚拟机器人和虚拟物体,可以很方便的在不同环境下进行验证,可以保证验证过程更加直观、逼真,大大提高了验证的灵活性和效率。
Description
技术领域
本申请属于智能机器人技术领域,尤其涉及一种基于增强现实的机器人操作方法、装置、设备和存储介质。
背景技术
随着机器人技术的发展,无论是在工业应用中还是日常生活中,智能机器人的应用日益增多。机器人在设计、制造以及应用的过程中,都会涉及测试、验证的环节。受限于机器人体积、重量以及场地等的限制,多数机器人的测试、验证环节会通过机器人仿真来实现。机器人仿真是指通过计算机对实际的机器人进行模拟的技术,通过仿真,可以在制造单机与生产线之前模拟出机器人实物,亦可以模拟出机器人实物在真实环境中的实际行为,例如抓取、运送物体等,从而缩短生产工期,避免不必要的返工。
然而,传统的机器人仿真在完全虚拟的环境下进行仿真作业,而虚拟环境无法很好地还原真实的环境,而且仿真的数据也无法充分体现真实情况,在验证的真实性和准确性上存在较大的不足。
发明内容
本申请提供一种基于增强现实的机器人操作方法、装置、控制终端和计算机可读存储介质,提高了验证的效率,在真实环境生成的增强现实场景中加载虚拟机器人和虚拟物体,可以很方便的在不同环境下进行验证,可以保证验证过程更加直观、逼真,大大提高了验证的灵活性和效率。
本申请第一方面提供了一种基于增强现实的机器人操作方法,所述方法包括:
加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第二方面提供了一种基于增强现实的机器人操作装置,所述装置包括:
场景加载模块,用于加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
机器人加载模块,用于响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
物体加载模块,用于响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
第一控制操作模块,用于响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第三方面提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行计算机程序时实现以下方法:
加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以下方法的步骤:
加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
上述基于增强现实的机器人操作方法、装置、计算机设备及存储介质,移动终端先加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。通过上述操作方法,就可以对虚拟机器人模型对应的虚拟机器人的功能、内置算法、运行轨迹是否合理等进行验证,不需要实际的实体机器人进行验证,打破了实体机器人需要在不同环境/场景中进行验证而需要频繁移动或者搬运该实体机器人的弊端,提高了验证的效率,而且虚拟物体设置可以更加灵活,可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等),大大提高了验证的灵活性和效率。而且,由于本实施例的技术方案的虚拟机器人处在真实环境生成的增强现实场景中,在真实环境中加载虚拟机器人和虚拟物体,可以很方便的在不同环境下进行验证,可以保证验证过程更加直观、逼真;另一方面,本实施例的技术方案通过移动终端就可以实现,由于移动终端(例如,智能手机等)已经普及,可以随时随地实现本技术方案,因此,本申请技术方案的即时性或实时性得以增强。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于增强现实的机器人操作方法的一示例图;
图2是本发明一实施例中基于增强现实的机器人操作方法的另一示例图;
图3是本发明一实施例中基于增强现实的机器人操作方法的另一示例图;
图4是本发明一实施例中基于增强现实的机器人操作方法的另一示例图;
图5是本发明一实施例中基于增强现实的机器人操作方法的另一示例图;
图6是本发明一实施例中基于增强现实的机器人操作方法的另一示例图;
图7是本发明一实施例中基于增强现实的机器人操作装置的一示意图;
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
此外,下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了说明本申请的技术方案,下面通过具体实施例来进行说明。
本发明实施例提供的基于增强现实的机器人操作方法,可应用在移动终端中。其中,该移动终端可以但不限于为各种智能手机、平板电脑和其他便携式可穿戴设备等。
在一实施例中,如图1所示,提供一种基于增强现实的机器人操作方法,包括如下步骤:
S101:加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成。
该增强现实场景为根据采集的真实环境数据生成。可以理解地,采集该真实环境数据的过程可以为实时进行的,也可以为预先采集完成。操作者可以通过移动终端完成对真实环境数据的采集,也可以通过其他设备进行采集,然后发送至移动终端,移动终端根据该采集的真实环境数据生成增强现实场景。或者,其他设备完成真实环境数据的采集之后,再生成增强现实场景,再发送至移动终端。
在一个实施方式中,在加载增强现实场景并在显示界面上进行场景显示之前,该基于增强现实的机器人操作方法还包括:采集当前环境的真实环境数据,根据该真实环境数据生成增强现实场景。操作者可以通过移动终端进行对当前环境的真实环境数据的采集,具体地,可以通过移动终端中的摄像头进行该真实环境数据的采集。可以理解地,操作者可以对当前环境的具体的采集范围进行自定义。当前环境为采集时所处的环境。
移动终端进行真实环境数据的采集。可选地,该移动终端可以通过采集视频数据或者图像数据的方式实现对真实环境数据的采集。并且根据该真实环境数据生成增强现实场景。根据真实环境数据生成增强现实场景的过程可以通过移动终端自身实现,或者移动终端将采集的真实环境数据发送至特定的终端或者服务器之后,通过该特定的终端或者服务器生成增强现实场景,移动终端再接收该增强现实场景的相关数据,以供后续在显示界面进行显示。在一个具体实施方式中,所述根据所述真实环境数据生成增强现实场景包括:发送所述真实环境数据至第三终端或者服务器,接收所述第三终端或者服务器返回的增强现实场景,所述增强现实场景为第三终端或者服务器根据所述真实环境数据生成。该第三终端可以为个人计算机、其他移动终端或者其他可以具备实现对应功能的终端。
其中,根据该真实环境数据生成增强现实场景可以包括采用跟踪注册技术将测帧数环境中物体的特征点以及轮廓信息,跟踪物体特征点自动生成三维坐标信息。可选地,跟踪注册方法可以为基于跟踪器的注册方法、基于机器视觉跟踪注册方法、基于无线网络的混合跟踪注册技术等。
可以理解地,在生成该增强现实场景中,可以构建第一坐标系,第一坐标系可以为三维坐标系,示例性地,可以以移动终端采集摄像头位置作为坐标原点,建立该第一坐标系,真实映射出采集的真实环境(当前环境)中每一物体和该坐标原点的相对位置。
可以通过移动终端的显示界面的场景显示还原采集到的真实环境,以供后续的交互。可选地,还可以在第三方的显示界面上进行场景显示,该移动终端和一第三方显示设备建立连接,即可以在该第三方显示设备进行场景显示。可以理解地,可以在移动终端的显示界面以及该第三方显示设备的显示界面上同时进行场景显示。即在显示界面上进行场景显示包括:在所述移动终端的显示界面上进行场景显示,或者,在第三方显示设备的显示界面上进行场景显示,或者,在所述移动终端的显示界面以及在第三方显示设备的显示界面上进行场景显示。
在一个具体实施方式中,若在第三方显示设备的显示界面上进行场景显示,则该方法还包括:在移动终端的显示界面上展示操作界面,以供操作者进行交互。如此,操作者可以通过移动终端的操作界面进行操控,并且通过第三方显示设备的显示界面进行场景显示。
在一个具体实施方式中,若在在所述移动终端的显示界面上进行场景显示,则该方法还包括:在移动终端的显示界面上展示操作界面或者操作按键。其中,该操作界面或者操作按键可以和显示的场景分布在显示界面上的不同区域,或者,该操作界面或者操作按键可以和显示的场景在显示界面上有部分交叠,或者,该操作界面或者操作按键可以内嵌或者浮置在显示的场景的上方。
S102:响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联。
操作者可以和移动终端进行交互。其中,第一操作行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地,第一操作行为也可以为上述不同操作方式的组合。例如,第一操作行为可以包括多个动作,可以包括对显示界面的点击操作以及语音操作等。
移动终端可以预先生成或者内置一个或者多个虚拟机器人模型,然后通过对移动终端的显示界面的操作选定其中一个虚拟机器人模型对应的虚拟机器人。操作者可以从一个物体列表中选择一个或者多个虚拟机器人,或者通过输入对应的名称、指令、编号等确定一个或者多个虚拟机器人。
该步骤还包括确定该选定的虚拟机器人在显示界面上显示的场景中的具体位置,即第一位置,所述第一位置和所述第一操作行为关联,该第一位置指示该虚拟机器人在显示的场景中的具体位置。示例性地,操作者可以点击显示界面上的一个具体位置,确定虚拟机器人的放置位置,或者,操作者可以通过参数输入的方式确定该具体位置,例如,输入一个坐标点来确定该具体位置。或者,在显示界面上的显示场景中预先划分为多个不同区域/位置,操作者从中选取一个区域/位置作为第一位置。
可以理解地,该第一操作行为可以包括多个操作动作,即操作者可以通过一个或者多个操作动作确定待显示的虚拟机器人,再通过一个或者多个操作动作确定第一位置。其中,可以先确定虚拟机器人再确定第一位置,也可以先确定第一位置再确定虚拟机器人,在此不做具体限制。
S103:响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联。
其中,第二操作行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第二操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地,第二操作行为也可以为上述不同操作方式的组合。例如,第二操作行为可以包括多个动作,可以包括对显示界面的点击操作以及语音操作等。
移动终端可以预先生成或者内置一个或者多个虚拟物体模型,然后通过对移动终端的显示界面的操作选定其中一个虚拟物体模型对应的虚拟物体。操作者可以从一个物体列表中选择一个或者多个虚拟物体,或者通过输入对应的名称、指令、编号等确定一个或者多个虚拟物体。
该步骤还包括确定该选定的目标物体在显示界面上显示的场景中的具体位置,即第二位置,所述第二位置和所述第二操作行为关联,该第二位置指示该目标物体在显示的场景中的具体位置。示例性地,操作者可以点击显示界面上的一个具体位置,确定目标物体的放置位置,或者,操作者可以通过参数输入的方式确定该具体位置,例如,输入一个坐标点来确定该具体位置。或者,在显示界面上的显示场景中预先划分为多个不同区域/位置,操作者从中选取一个区域/位置作为第二位置。
可以理解地,该第二操作行为可以包括多个操作动作,即操作者可以通过一个或者多个操作动作确定待显示的虚拟物体,再通过一个或者多个操作动作确定第二位置。其中,可以先确定虚拟物体再确定第二位置,也可以先确定第二位置再确定虚拟物体,在此不做具体限制。
S104:响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
其中,第三操作行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第三操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地,第三操作行为也可以为上述不同操作方式的组合。例如,第三操作行为可以包括多个动作,可以包括对显示界面的点击操作以及语音操作等。
虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及第二位置的位置信息确定。可选地,第一位置的位置信息以及第二位置的位置信息都可以通过第一位置以及第二位置在第一坐标系中的对应坐标来体现。
响应操作者的第三操作行为之后,移动终端可以触发生成一个第一操作指令,该第一操作指令指示虚拟机器人的移动。示例性地,该第一操作指令可以指示该虚拟机器人移动至虚拟物体处,指示该虚拟机器人抓取该虚拟物体,指示该虚拟机器人抓取该虚拟物体移动至其他位置等。可以理解地,若第三操作行为包括多个动作,则可以对应生成多个操作指令,以指示虚拟机器人完成多个对应的操作。
该第一动作则体现和上述第一操作指令指示的信息一致,例如,该第一动作可以为该虚拟机器人移动至虚拟物体处,该虚拟机器人抓取该虚拟物体,该虚拟机器人抓取该虚拟物体移动至其他位置等。
示例性地,操作者可以通过点击预先生成在显示界面上的几个可选项实现对虚拟机器人的操作,移动终端响应操作者的选择操作来生成对应的第一操作指令指示虚拟机器人的移动。虚拟机器人模型中预先内置了操作算法,通过所述第一操作指令以及虚拟物体和虚拟机器人之间的相对位置信息,虚拟机器人就可以根据预设的操作算法来进行对应的操作。例如,获悉虚拟物体的位置之后,若接收到的第一操作指令是移动到虚拟物体处,虚拟机器人即可以根据预设的操作算法来进行移动,以移动至虚拟物体对应的位置处。
在本实施例中,移动终端先加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。通过上述操作方法,就可以对虚拟机器人模型对应的虚拟机器人的功能、内置算法、运行轨迹是否合理等进行验证,不需要实际的实体机器人进行验证,打破了实体机器人需要在不同环境/场景中进行验证而需要频繁移动或者搬运该实体机器人的弊端,提高了验证的效率,而且虚拟物体设置可以更加灵活,可以打破实体物体选择或者设置的局限性(不易搬动、位置的局限等),大大提高了验证的灵活性和效率。而且,由于本实施例的技术方案的虚拟机器人处在真实环境生成的增强现实场景中,在真实环境中加载虚拟机器人和虚拟物体,可以很方便的在不同环境下进行验证,可以保证验证过程更加直观、逼真;另一方面,本实施例的技术方案通过移动终端就可以实现,由于移动终端(例如,智能手机等)已经普及,可以随时随地实现本技术方案,因此,本申请技术方案的即时性或实时性得以增强。
在一个实施例中,如图2所示,所述响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,包括:
S201:响应操作者的第一触发行为,确定待显示的虚拟机器人信息。
其中,该第一触发行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第一操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地,该第一触发行为可以为对显示界面上显示的虚拟机器人列表中的选取,例如,通过点击、长按或者双击等方式从该虚拟机器人列表中确定待显示的虚拟机器人信息。或者,操作者通过预先设定的手势或者语音确定一个具体的虚拟机器人,可以预先将一个特定的手势或者语音绑定对应的虚拟机器人,如此,即可以通过手势或者语音确定待显示的虚拟物体信息。该待显示的虚拟机器人信息可以为指示该虚拟机器人的名称、编号或者其他指示信息。
S202:响应操作者的第二触发行为,确定待显示的虚拟机器人在显示的场景中的位置信息。
其中,该第二触发行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第二触发行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地,操作者可以点击显示界面上的一个具体位置,确定虚拟机器人的放置位置,或者,操作者可以通过参数输入的方式确定该具体位置,例如,输入一个坐标点来确定该具体位置。或者,在显示界面上的显示场景中预先划分为多个不同区域/位置,操作者从中选取一个区域/位置,以此确定虚拟机器人在显示的场景中的位置信息。可选地,该位置信息可以通过坐标的形式体现。
S203:根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在所述显示的场景中的位置信息,在显示界面上的第一位置加载所述虚拟机器人信息对应的虚拟机器人,所述第一位置由所述待显示的虚拟机器人在所述显示的场景中的位置信息确定。
具体地,根据待显示的虚拟机器人信息确定对应的虚拟物体,加载该虚拟机器人模型,并且在显示界面上的第一位置加载该虚拟机器人。该第一位置由所述待显示的虚拟机器人在所述显示的场景中的位置信息确定。
在本实施例中,通过分别响应操作者的第一触发行为和第二触发行为从而分别确定虚拟机器人以及对应的第一位置,以更好地在显示界面上显示的场景中加载该虚拟机器人。
在一个实施例中,如图3所示,所述响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联,包括:
S301:响应操作者的第三触发行为,确定待显示的虚拟物体信息。
其中,该第三触发行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第三操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地,该第三触发行为可以为对显示界面上显示的虚拟物体列表中的选取,例如,通过点击、长按或者双击等方式从该虚拟物体列表中确定待显示的虚拟物体信息。或者,操作者通过预先设定的手势或者语音确定一个具体的虚拟物体,可以预先将一个特定的手势或者语音绑定对应的虚拟物体,如此,即可以通过手势或者语音确定待显示的虚拟物体信息。该待显示的虚拟物体信息可以为指示该虚拟物体的名称、编号或者其他指示信息。
S302:响应操作者的第四触发行为,确定虚拟物体在显示的场景中的位置信息。
其中,该第四触发行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第四触发行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。示例性地,操作者可以点击显示界面上的一个具体位置,确定虚拟物体的放置位置,或者,操作者可以通过参数输入的方式确定该具体位置,例如,输入一个坐标点来确定该具体位置。或者,在显示界面上的显示场景中预先划分为多个不同区域/位置,操作者从中选取一个区域/位置,以此确定虚拟物体在显示的场景中的位置信息。可选地,该位置信息可以通过坐标的形式体现。
S303:根据所述待显示的虚拟物体信息和待显示的虚拟物体在所述显示的场景中的位置信息,在显示界面上的第二位置加载所述虚拟物体信息对应的虚拟物体,所述第二位置由所述待显示的虚拟物体在所述显示的场景中的位置信息确定。
具体地,根据待显示的虚拟物体信息确定对应的虚拟物体,加载该虚拟物体模型,并且在显示界面上的第二位置加载该虚拟物体。该第一位置由所述待显示的虚拟物体在所述显示的场景中的位置信息确定。
在本实施例中,通过分别响应操作者的第三触发行为和第四触发行为从而分别确定虚拟物体以及对应的第二位置,以更好地在显示界面上显示的场景中加载该虚拟物体。
在一个实施例中,在所述确定待显示的虚拟物体在显示的场景中的位置信息之后,还包括:
若所述待显示的虚拟物体在显示的场景中的位置信息与所述显示的场景中任一物体的位置信息存在交叠或者重叠,则将所述显示的场景中所述存在交叠或者重叠的物体移除。
在显示界面上显示的场景中,包括了若干物体,每一物体在显示的场景中占据了一定的位置,通过每一物体在显示的场景中的位置信息体现该物体在显示的场景中的位置。在该实施例中,若待显示的虚拟物体在显示的场景中的位置信息与所述显示的场景中任一物体的位置信息存在交叠或者重叠,则将所述显示的场景中所述存在交叠或者重叠的物体移除,以供后续放置虚拟物体。其中,交叠或者重叠可以为两者的位置信息存在交叠或者重叠的部分,或者两者的位置信息之间的距离小于一定的间距也可以认定为存在交叠。
在本实施例中,若所述待显示的虚拟物体在显示的场景中的位置信息与所述显示的场景中任一物体的位置信息存在交叠或者重叠,则将所述显示的场景中所述存在交叠或者重叠的物体移除。通过将显示的场景中和后续放置的虚拟物体的位置交叠或者重叠的物体移除,可以进一步增加虚拟物体放置位置的灵活性,进一步保证验证的完整和便捷。
在一个实施例中,如图4所示,所述基于增强现实的机器人操作方法还包括:
S401:响应操作者的第四操作行为,确定所述第四操作行为指示的位置信息,将所述显示的场景中和所述第四操作行为指示的位置信息对应的物体确定为目标物体。
其中,第四操作行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第四操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地,第四操作行为也可以为上述不同操作方式的组合。例如,第四操作行为可以包括多个动作,可以包括对显示界面的点击操作以及语音操作等。
该实施例中通过操作者的第四操作行为,确定所述第四操作行为指示的位置信息。将显示的场景中和所述第四操作行为指示的位置信息对应的物体确定为目标物体。和第四操作行为指示的位置信息对应的物体可以为和第四操作行为指示的位置信息最接近、存在交叠或者重叠的物体。
S402:根据所述目标物体构造对应的虚拟物体模型。
在该步骤中,根据确定的目标物体构造对应的虚拟物体模型,即将该显示的场景中该选定的目标物体来构造虚拟物体模型,如此,在后续的使用中,就可以方便快捷地增加虚拟物体了。具体地,该构造的虚拟物体模型可以包括对该目标物体外形、体积、颜色等因素的还原。
在本实施例中,响应操作者的第四操作行为,确定所述第四操作行为指示的位置信息,将所述显示的场景中和所述第四操作行为指示的位置信息对应的物体确定为目标物体;根据所述目标物体构造对应的虚拟物体模型。该实施例通过直接选取显示的场景中的物体来构造虚拟物体模型,极大提高了虚拟物体模型构造的便捷性。
在一个实施例中,如图5所示,在所述响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后,该基于增强现实的机器人操作方法还包括:
S501:监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,和/或,监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息,所述目标部位根据所述第三操作行为确定。
其中,目标部位可以为虚拟机器人中的任意一个或者多个部位,该目标部位根据所述第三操作行为确定,通过第三操作行为确定要监测的目标部位,例如,若第三操作行为为指示操作虚拟机器人的机械臂位于所述虚拟物体的上方,则该目标部位为机械臂中的一个或者多个预设位置。若第三操作行为为移动所述虚拟机器人至所述虚拟物体左侧,则该目标部位可以为指示该虚拟机器人底座(足部)的一个或者多个预设位置。可以理解地,可以预先建立一个目标部位和第三操作行为的对应关系数据。
其中,该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发,或者操作者间接触发,例如,操作者可以通过移动的操作直接触发对该第一相对位置关系的监测,或者操作者指示虚拟机器人在进行特定的动作时,移动终端自动监测该第一相对位置关系。例如,操作者的第三操作行为指示虚拟机器人移动至目标物体的左侧,则此时移动终端可以在虚拟机器人移动过程中定时或者实时监测该第一相对位置关系和/或第二实时位置信息。
可选地,第一相对位置关系可以为虚拟机器人的目标部位和所述虚拟物体之间的距离。第二实时位置信息为指示虚拟机器人的目标部位在显示的场景中的位置的信息,示例性地,可以为虚拟机器人的目标部位在第一坐标系中的坐标信息。
S502:若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系,则触发报警事件。
该标准位置关系为预先设置或者定义的位置衡量标准。该标准位置关系具体指示了在不同第三操作行为下虚拟机器人和虚拟物体的合理位置关系,和/或,在不同第一操作指令下虚拟机器人在显示的场景中的合理位置关系。
示例性地,若第一操作指令为移动虚拟机器人至虚拟物体的左侧,则该标准位置关系可以为:虚拟机器人执行对应的指令之后,其目标部位位于虚拟物体左侧的预设范围内。若该虚拟机器人的目标部位不位于虚拟物体左侧的预设范围内,则可以认定该第一相对位置关系不符合预设的标准位置关系。
示例性地,若第一操作指令为移动虚拟机器人至虚拟物体的左侧,该标准位置关系还可以包括:该虚拟机器人的目标部位的第二实时位置不和显示的场景中任一物体的位置存在交叠。若虚拟机器人的目标部位的第二实时位置和显示的场景中任一物体的位置存在交叠。则可以认定该第二实时位置信息不符合预设的标准位置关系。
该报警事件可以为不同的触发提示方式,可以通过声音、文字、振动的方式体现。或者该报警事件可以为发送提示信息至对应的一终端。
在本实施例中,通过监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,和/或,监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息,所述目标部位根据所述操作指令确定;若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系,则触发报警事件。通过本实施例实现了对虚拟机器人的自动监控,当显示界面中虚拟机器人的运行出现异常(运行轨迹异常,碰撞到显示场景中的其他物体,或者没有准确运行到虚拟物体所在位置、不恰当的抓取等),即可以触发报警,实现了智能监控。
在一个实施例中,如图6所示,在所述响应操作者的第三操作行为,根据所述第三操作行为以及所述目标物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后,还包括:
S601:监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系。
在该步骤中,移动终端监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系。其中,该监测时机可以为定时检测、实时监测或者在特定的指令下触发的监测。该特定的指令可以为操作者主动触发,或者操作者间接触发,例如,操作者可以通过移动的操作直接触发对该第一相对位置关系的监测,或者操作者指示虚拟机器人在进行特定的动作时,移动终端自动监测该第一相对位置关系。例如,操作者的第三操作行为指示虚拟机器人移动至虚拟物体的左侧,则此时移动终端可以在虚拟机器人移动过程中定时或者实时监测该第一相对位置关系。
S602:响应于操作者的第六操作行为,若所述第一相对位置关系符合预设的标准位置关系,则控制所述目标物体执行对应的第二动作,所述第二动作和所述第六操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
其中,第六操作行为可以为操作者对显示界面的触摸、点击、长按等操作,也可以为语音、手势交互等其他方式。或者,第六操作行为可以为操作者对移动终端上设置的实体按键或者虚拟按键的操作行为等。进一步地,第四操作行为也可以为上述不同操作方式的组合。例如,第四操作行为可以包括多个动作,可以包括对显示界面的点击操作以及语音操作等。
该第四操作行为指示所述虚拟机器人和所述虚拟物体的共同移动行为。示例性地,该第六操作行为可以为指示所述虚拟机器人抓取/推动所述虚拟物体移动。
移动终端响应该第四操作行为,先判断第一相对位置关系是否符合预设的标准位置关系。若第一相对位置关系符合预设的标准位置关系,控制所述虚拟物体执行对应的第二动作,所述第二动作和所述第六操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。示例性地,若第六操作行为为指示虚拟机器人抓取/推动所述虚拟物体移动,则该第二动作可以为指示所述虚拟物体按照一定的距离跟随所述虚拟机器人的目标部位的运行轨迹。
在一个实施方式中,移动终端响应该第四操作行为,若所述第一相对位置关系不符合预设的标准位置关系,则触发报警事件。
在本实施例中,移动终端监测所述虚拟机器人的目标部位和所述目标物体的第一相对位置关系;响应于操作者的第六操作行为,若所述第一相对位置关系符合预设的标准位置关系,则控制所述虚拟物体执行对应的第二动作,所述第二动作和所述第四操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。通过控制目标物体执行第二动作,更好地实现对真实场景中的对应操作的还原,更好地保证了验证的顺利、准确。
在一个实施例中,在所述响应操作者的第三操作行为之前,还包括:
通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述目标物体和所述虚拟机器人之间的相对位置信息。
在该步骤中,通过第一位置的位置信息以及第二位置的位置信息即可以确定虚拟物体和所述虚拟机器人之间的相对位置信息。
示例性地,以预先建立了第一坐标系为例,第一位置的位置信息为Pv(xv,yv,zv),第二位置的位置信息为Pr(xr,yr,zr),则通过两个坐标相减即可以得到虚拟物体和所述虚拟机器人之间的相对位置信息。
具体地,将第二位置的位置信息Pr(xr,yr,zr)的三个分量分别与第一位置的位置信息Pv(xv,yv,zv)的三个分量相减,即,执行xr-xv、yr-yv以及zr-zv;分别将xr与xv的差值即xr-xv、yr与yv的差值即yr-yv以及zr与zv的差值即zr-zv分别赋值给xrv、yrv与zrv,即xrv=xr-xv、yrv=yr-yv以及zrv=zr-zv,得到虚拟物体和所述虚拟机器人之间的相对位置信息
在本实施例中,移动终端通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述虚拟物体和所述虚拟机器人之间的相对位置信息,更好地保证了后续操作的准确性。
在一实施例中,提供一种基于增强现实的机器人操作装置,该基于增强现实的机器人操作装置与上述实施例中基于增强现实的机器人操作方法一一对应。如图7所示,该基于增强现实的机器人操作装置包括场景加载模块701、机器人加载模块702、物体加载模块703和第一控制操作模块704。各功能模块详细说明如下:
场景加载模块701,用于加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
机器人加载模块702,用于响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
物体加载模块703,用于响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
第一控制操作模块704,用于响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
优选地,机器人加载模块702包括机器人信息确定单元、位置信息确定单元和机器人加载单元。
机器人信息确定单元,用于响应操作者的第一触发行为,确定待显示的虚拟机器人信息;
第一位置信息确定单元,用于响应操作者的第二触发行为,确定待显示的虚拟机器人在显示的场景中的位置信息;
机器人加载单元,用于根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在显示的场景中的位置信息,在显示界面上的第一位置加载所述待显示的虚拟机器人信息对应的虚拟机器人,所述第一位置由待显示的虚拟机器人在显示的场景中的位置信息确定。
优选地,物体加载模块703包括物体信息确定单元、第二位置信息确定单元和物体加载单元。
物体信息确定单元,用于响应操作者的第三触发行为,确定待显示的虚拟物体信息;
第二位置信息确定单元,用于响应操作者的第四触发行为,确定待显示的虚拟物体在显示的场景中的位置信息;
物体加载单元,用于根据所述待显示的虚拟物体信息和待显示的虚拟物体在显示的场景中的位置信息,在显示界面上的第二位置加载所述待显示的虚拟机器人信息对应的虚拟机器人,所述第二位置由待显示的虚拟物体在显示的场景中的位置信息确定。
优选地,该基于增强现实的机器人操作装置还包括移除模块,用于若所述待显示的虚拟物体在显示的场景中的位置信息与所述显示的场景中任一物体的位置信息存在交叠或者重叠,则将所述显示的场景中所述存在交叠或者重叠的物体移除。
优选地,该基于增强现实的机器人操作装置还包括目标物体确定模块和物体模型构造模块:
目标物体确定模块,用于响应操作者的第四操作行为,确定所述第四操作行为指示的位置信息,将所述显示的场景中和所述第四操作行为指示的位置信息对应的物体确定为目标物体;
物体模型构造模块,用于根据所述目标物体构造对应的虚拟物体模型。
优选地,该基于增强现实的机器人操作装置还包括第一检测模块和报警触发模块:
第一检测模块,用于监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,和/或,监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息,所述目标部位根据所述第三操作行为确定;
报警触发模块,用于若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系,则触发报警事件。
优选地,该基于增强现实的机器人操作装置还包括第二监测模块和第二操作控制模块:
第二监测模块,用于监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,所述目标部位根据所述第三操作行为确定;
第二操作控制模块,用于响应于操作者的第六操作行为,若所述第一相对位置关系符合预设的标准位置关系,则控制所述虚拟物体执行对应的第二动作,所述第二动作和所述第六操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
优选地,该基于增强现实的机器人操作装置还包括位置确定模块,用于通过所述第一位置的位置信息以及所述第二位置的位置信息确定所述虚拟物体和所述虚拟机器人之间的相对位置信息。
关于基于增强现实的机器人操作装置的具体限定可以参见上文中对于基于增强现实的机器人操作方法的限定,在此不再赘述。上述基于增强现实的机器人操作装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是移动终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现上述实施例中的一种基于增强现实的机器人操作方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的一种基于增强现实的机器人操作方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中的一种基于增强现实的机器人操作方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/控制终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/控制终端实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,机器人仿真方法的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤,其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于增强现实的机器人操作方法,其特征在于,包括:
加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
2.如权利要求1所述的基于增强现实的机器人操作方法,其特征在于,所述响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,包括:
响应操作者的第一触发行为,确定待显示的虚拟机器人信息;
响应操作者的第二触发行为,确定待显示的虚拟机器人在显示的场景中的位置信息;
根据所述待显示的虚拟机器人信息和待显示的虚拟机器人在显示的场景中的位置信息,在显示界面上的第一位置加载所述待显示的虚拟机器人信息对应的虚拟机器人,所述第一位置由待显示的虚拟机器人在显示的场景中的位置信息确定。
3.如权利要求1所述的基于增强现实的机器人操作方法,其特征在于,所述响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联,包括:
响应操作者的第三触发行为,确定待显示的虚拟物体信息;
响应操作者的第四触发行为,确定待显示的虚拟物体在显示的场景中的位置信息;
根据所述待显示的虚拟物体信息和待显示的虚拟物体在显示的场景中的位置信息,在显示界面上的第二位置加载所述待显示的虚拟机器人信息对应的虚拟机器人,所述第二位置由待显示的虚拟物体在显示的场景中的位置信息确定。
4.如权利要求3所述的基于增强现实的机器人操作方法,其特征在于,在所述确定待显示的虚拟物体在显示的场景中的位置信息之后,还包括:
若所述待显示的虚拟物体在显示的场景中的位置信息与所述显示的场景中任一物体的位置信息存在交叠或者重叠,则将所述显示的场景中所述存在交叠或者重叠的物体移除。
5.如权利要求1所述的基于增强现实的机器人操作方法,其特征在于,所述基于增强现实的机器人操作方法还包括:
响应操作者的第四操作行为,确定所述第四操作行为指示的位置信息,将所述显示的场景中和所述第四操作行为指示的位置信息对应的物体确定为目标物体;
根据所述目标物体构造对应的虚拟物体模型。
6.如权利要求1所述的基于增强现实的机器人操作方法,其特征在于,在所述响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后,还包括:
监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,和/或,监测所述虚拟机器人的目标部位在所述显示的场景中的第二实时位置信息,所述目标部位根据所述第三操作行为确定;
若所述第一相对位置关系和/或第二实时位置信息不符合预设的标准位置关系,则触发报警事件。
7.如权利要求1所述的基于增强现实的机器人操作方法,其特征在于,在所述响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作之后,还包括:
监测所述虚拟机器人的目标部位和所述虚拟物体的第一相对位置关系,所述目标部位根据所述第三操作行为确定;
响应于操作者的第六操作行为,若所述第一相对位置关系符合预设的标准位置关系,则控制所述虚拟物体执行对应的第二动作,所述第二动作和所述第六操作行为以及所述虚拟机器人的目标部位的运行轨迹关联。
8.一种基于增强现实的机器人操作装置,其特征在于,所述装置包括:
场景加载模块,用于加载增强现实场景并在显示界面上进行场景显示,所述增强现实场景为根据采集的真实环境数据生成;
机器人加载模块,用于响应操作者的第一操作行为,在显示界面上显示的场景中的第一位置中加载预先设定的虚拟机器人,所述虚拟机器人根据预先构造的机器人模型生成,所述第一位置和所述第一操作行为关联;
物体加载模块,用于响应操作者的第二操作行为,在显示界面上显示的场景中的第二位置中加载预先设定的虚拟物体,所述虚拟物体根据预先构造的物体模型生成,所述第二位置和所述第二操作行为关联;
第一控制操作模块,用于响应操作者的第三操作行为,根据所述第三操作行为以及所述虚拟物体和虚拟机器人之间的相对位置信息控制所述虚拟机器人执行对应的第一动作,其中,所述虚拟物体和虚拟机器人之间的相对位置信息为通过所述第一位置的位置信息以及所述第二位置的位置信息确定。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于增强现实的机器人操作方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的基于增强现实的机器人操作方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459399.1A CN112667138A (zh) | 2020-12-11 | 2020-12-11 | 基于增强现实的机器人操作方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459399.1A CN112667138A (zh) | 2020-12-11 | 2020-12-11 | 基于增强现实的机器人操作方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112667138A true CN112667138A (zh) | 2021-04-16 |
Family
ID=75405096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011459399.1A Pending CN112667138A (zh) | 2020-12-11 | 2020-12-11 | 基于增强现实的机器人操作方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112667138A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160257000A1 (en) * | 2015-03-04 | 2016-09-08 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
CN111090922A (zh) * | 2018-10-23 | 2020-05-01 | 西门子工业软件有限公司 | 对用于多个工业单元的协作机器人编程的方法和系统 |
CN111300416A (zh) * | 2020-03-10 | 2020-06-19 | 南京工程学院 | 基于增强现实的模块化可重构机器人规划仿真方法和系统 |
WO2020203793A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エスイーフォー | ロボットの制御装置、制御ユニット、それらを有するロボット制御システム |
-
2020
- 2020-12-11 CN CN202011459399.1A patent/CN112667138A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160257000A1 (en) * | 2015-03-04 | 2016-09-08 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
CN111090922A (zh) * | 2018-10-23 | 2020-05-01 | 西门子工业软件有限公司 | 对用于多个工业单元的协作机器人编程的方法和系统 |
WO2020203793A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エスイーフォー | ロボットの制御装置、制御ユニット、それらを有するロボット制御システム |
CN111300416A (zh) * | 2020-03-10 | 2020-06-19 | 南京工程学院 | 基于增强现实的模块化可重构机器人规划仿真方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112667139A (zh) | 基于增强现实的机器人操作方法、装置、设备和存储介质 | |
CN110210219B (zh) | 病毒文件的识别方法、装置、设备及存储介质 | |
CN112650436A (zh) | 基于增强现实的机器人操作方法、装置、存储介质 | |
CN111555938B (zh) | 一种信息处理的方法以及相关装置 | |
JP2021152979A (ja) | 作業支援装置、作業支援方法及びプログラム | |
CN111176764B (zh) | 显示控制方法和终端设备 | |
CN108681483A (zh) | 一种任务处理方法及装置 | |
CN106412432A (zh) | 一种拍照方法及移动终端 | |
CN112543960A (zh) | 信息处理装置、中介装置、模拟系统以及信息处理方法 | |
CN113280265B (zh) | 工况识别方法、装置、计算机设备以及存储介质 | |
CN116009519A (zh) | 仿真测试方法、装置、设备和存储介质 | |
CN106162150A (zh) | 一种拍照方法及移动终端 | |
CN107608707A (zh) | 具有热修复功能之应用检测方法、终端及可读存储介质 | |
CN108307055B (zh) | 电子装置、跌落的保护方法及相关产品 | |
CN112667138A (zh) | 基于增强现实的机器人操作方法、装置和存储介质 | |
CN109032911A (zh) | 用于移动设备的帧率检测方法、装置及电子设备 | |
CN110168599A (zh) | 一种数据处理方法及终端 | |
CN112199246A (zh) | 终端测试方法、装置、存储介质及移动终端 | |
CN112989878A (zh) | 瞳孔检测方法及相关产品 | |
CN110213205B (zh) | 验证方法、装置及设备 | |
CN114720932A (zh) | 一种电池管理系统信号采样精度测试方法、装置、上位机及存储介质 | |
CN115328770A (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
CN116943216A (zh) | 一种贴合关系检测方法、装置、设备及存储介质 | |
CN112347568B (zh) | 一种仿真测试的方法、相关装置、设备及存储介质 | |
CN110782530B (zh) | 自动驾驶仿真系统中车辆信息的展示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |