CN117608401A - 一种基于数字分身的机器人远程交互系统及交互方法 - Google Patents
一种基于数字分身的机器人远程交互系统及交互方法 Download PDFInfo
- Publication number
- CN117608401A CN117608401A CN202311577041.2A CN202311577041A CN117608401A CN 117608401 A CN117608401 A CN 117608401A CN 202311577041 A CN202311577041 A CN 202311577041A CN 117608401 A CN117608401 A CN 117608401A
- Authority
- CN
- China
- Prior art keywords
- robot
- world scene
- digital
- image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000926 separation method Methods 0.000 title abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000009347 mechanical transmission Effects 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 2
- 230000010354 integration Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 239000002609 medium Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003197 gene knockdown Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于数字分身的机器人远程交互系统及交互方法，所述系统包括现实世界场景、虚拟世界场景；虚拟世界场景与现实世界场景信号连接；现实世界场景包括使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；机器人设备包括机械臂、机械夹爪、ROS控制器、通讯模块；全景相机设备包括摄像头、图像处理器、通讯接口；摄像头与图像处理器信号连接，图像处理器与通讯接口信号连接；虚拟世界场景包括数字机器人、虚拟现实环境；VR设备与数字机器人信号连接。本发明将VR/AR和数字分身融合到智能控制中，实现虚拟与实际的融合，提高了虚拟环境与物理机设备实际工作环境的一致性，有效提升了智能控制作业效率。
Description
技术领域
本发明涉及VR/AR虚拟现实技术领域，具体而言，涉及一种基于数字分身的机器人远程交互系统及交互方法。
背景技术
近年来，随着虚拟现实VR(Virtual Reality)和增强现实AR(Augmented Reality)技术的迅猛发展，虚拟与现实世界之间的联系日益紧密。
VR技术是一种通过计算机模拟创建三维虚拟环境的技术，提供视觉、听觉、触觉等多感官模拟，使用户可以身临其境地即时观察和互动虚拟三维空间内的事物。AR技术则是一项实时计算摄像机影像的位置和角度，然后将相应的图像、视频和3D模型与真实环境实时叠加在同一画面或空间中的技术。
将VR与AR技术结合使用，能够实现虚拟与实际的融合，使用户既可以像使用AR技术一样看到周围的真实世界，又可以像使用VR技术一样实时进行改变和互动。这一趋势在虚拟和现实交互领域带来了前所未有的技术可能性，影响着多个应用领域的发展。
在智能控制领域中，远程设备操作提供了一种设备实时控制的技术方法。特别是当设备工作在危险环境中时，允许操作人员能够远程遥控操作设备，避免人员亲自进入危险区域，从而提高操作的安全性，成为突出的重要需求。
然而，现阶段尽管在远程设备遥控作业方面已经进行了大量研究，但是大多数研究只是集中在实时视频监控上，实际应用中视频监控呈现给操作者的环境与物理机设备的实际工作环境之间存在不一致的问题，视频监控画面并不能很好地让使用者体验到实际现场控制的感觉。
因此，如何将VR、AR技术应用于智能控制领域，解决现有技术的上述难点问题，实现虚拟与实际的真实融合，成为当前亟需研究开发的技术方向。
发明内容
鉴于此，本发明的目的在于提出一种基于VR/AR数字分身的机器人远程交互系统和交互方法，将VR/AR和数字分身技术融合到智能控制中，实现虚拟与实际的真实融合，提高虚拟环境与物理机设备的实际工作环境之间的一致性，从而提升智能控制作业效率。
本发明提供一种基于数字分身的机器人远程交互系统，包括：现实世界场景、虚拟世界场景；所述虚拟世界场景与所述现实世界场景之间信号连接；
其中，所述现实世界场景包括：使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；所述机器人设备位于所述机器人周围环境中；所述机器人设备与所述计算机设备之间信号连接；
机器人周围环境是现实世界场景中机器人周围的现实环境。
其中，所述机器人设备包括：机械臂、机械夹爪、ROS控制器、通讯模块；
所述机械臂与所述机械夹爪传动连接；所述机械夹爪和所述机械臂分别电性连接有电动舵机；所述通讯模块为所述机器人设备和所述计算机设备之间提供数据传输通道；
所述全景相机设备包括：摄像头、图像处理器、通讯接口；所述摄像头与所述图像处理器信号连接，所述图像处理器与所述通讯接口信号连接，所述通讯接口提供全景相机设备与计算机设备的数据传输通道；
所述虚拟世界场景包括：数字机器人、虚拟现实环境；所述数字机器人位于所述虚拟现实环境中；所述VR设备与所述数字机器人信号连接。
使用者通过所述VR设备与所述数字机器人进行实时交互，实时控制现实世界场景中的机器人设备，实现虚拟世界场景和现实世界场景之间的交互耦合。
进一步地，所述机器人设备还包括：底座，所述底座上设置有固定孔位，用于将所述机器人设备固定设置在所述机器人周围环境中。
本发明还提供一种基于数字分身的机器人远程交互方法，应用于如上述所述的基于数字分身的机器人远程交互系统，包括：
S1、所述ROS控制器的内部运行ROS操作系统，通过ROS操作系统发送PWM脉冲，控制所述电动舵机在-180°到+180°的角度之间转动；
S2、所述电动舵机通过机械传动结构控制机械夹爪及机械臂的五种不同空间变化，通过通讯模块接收来自所述计算机设备上的数字孪生环境内下发的控制指令、通过通讯模块发送自身设备状态信息；
S3、所述摄像头将所述现实世界场景进行实时感知记录，并将图像传输到所述图像处理器；
S4、所述图像处理器将不同的摄像头感知到的现实世界场景按拍摄角度进行裁剪组合，通过三维球面全景视频实时拼接算法，形成以机器人设备为中心感知的360°球型全景视频流；通过通讯接口将所述360°球型全景视频流传输至计算机设备，实现连续时间内现实世界场景的实时环境变化感知及传输；
所述摄像头的数目可根据现实世界场景的实际情况设定。
S5、所述计算机设备运行数字孪生环境，通过虚实交互距离匹配算法，实现连续时间内现实世界场景的实时环境变化感知及传输。
进一步地，所述S4步骤的所述三维球面全景视频实时拼接算法的处理流程包括以下步骤：
S41、使用SIFT特征提取算法，从不同图像中提取相同的特征点，用于后续的图像匹配和融合；
所述从不同图像中提取相同的特征点的方法包括：
对每个像素点构建Hessian矩阵，生成图像稳定的边缘突变点；所述Hessian矩阵的表达式为：
式(1)中，G(x，y)为像素值；是像素点的二阶导数；
将每个像素点与相邻点的Hessian矩阵表达式的值进行对比，将大于或者小于所有相邻点的像素点作为特征点；
S42、将每张图像进行区域划分，通过对比两张图像的特征区域内的特征点的重合程度，确定相邻图像的匹配区域；
将每张图像进行区域划分的方法包括：将图像按区域大小Z＝Zn/N进行划分，其中Z为图像内每个区域的大小，Zn为整个图像的大小；N为划分区域数目；
S43、根据匹配区域将相邻图像进行融合，将图像内不被匹配区域带包围的区域舍弃，将相邻图像内匹配区域带的区域进行融合，生成全景图像；
所述全景图像中的匹配区域带内每像素的位置(x,y)为：
F(x，y)＝λ*Gi(xi，yi)+(1-λ)*Gi+1(xi+1，yi+1) (2)
式(2)中，(xi+1,yi+1)为图像Gi+1的重合点像素坐标；(xi,yi)为图像Gi的重合点像素坐标；λ为权值渐变因子；
式(2)中的λ的计算表达式为：
式(3)中，JyL为重叠区域第y行左边界坐标；JyR为第y行重叠区域右边界坐标；dy为第y行重叠像素数，即dy＝JyR-JyL；
S44、将生成的全景图像进行透射变换，生成三维球面模型的全景图像。利用全景图像的像素坐标，进行透射变换，将全景图像变换为三维球面模型的全景图像；
所述透射变换的方法包括：将球面上的点转换为单位向量R(x′，y′，z′)：
式(4)中，x,y,z是球面上的点的坐标；
将单位向量投射变换为全景图像的二维图像坐标：
式(5)中，u,v为全景图像二维图像坐标，x',y',z'为球面单位向量坐标。
进一步地，所述S5步骤的虚实交互距离匹配算法的处理过程包括以下步骤：
S51、测量现实世界场景中的物理实体的尺寸(优选以米为单位)与机器人设备的距离(优选以米为单位)；
S52、计算虚拟世界场景中的长度单位与现实世界场景中的长度单位之间的比例因子，确定虚拟世界场景的尺度；
比例因子的计算式为：
式(6)中，δ为尺度因子，L为现实世界场景中的实际物理尺寸，L′为虚拟世界场景中的尺寸；
S53、计算物体与机器人设备之间在虚拟世界场景中的距离，计算表达式为：
L′R＝δ*LR (7)
式(7)中，L′R为虚拟世界场景的物体与数字机器人的距离，LR为现实世界场景的物理实体与机器人设备的距离；
S54、确定物体在虚拟世界场景中的尺寸，计算表达式为：
L′S＝δ*LS (8)
式(8)中，L′S为虚拟世界场景的物体尺寸，LS为现实世界场景的物理实体尺寸。
进一步地，所述S42步骤的确定相邻图像的匹配区域的方法和规则包括：
依次循环对比，将匹配值与阈值进行比较；若匹配值高于阈值，则输出匹配区域，将与所有相邻图像的匹配值较高的区域按其在图像内位置，生成一条完整闭合的图像匹配区域带；若匹配值不高于阈值，则不输出匹配区域。
进一步地，所述S2步骤的通过通讯模块接收的来自所述计算机设备上的数字孪生环境内下发的控制指令包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延。
进一步地，所述S2步骤的通过通讯模块发送的自身设备状态信息包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延、机器人设备的故障信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的基于数字分身的机器人远程交互方法的步骤。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于数字分身的机器人远程交互方法的步骤。
与现有技术相比，本发明的有益效果在于：
本发明基于VR/AR数字分身的机器人远程交互系统和交互方法将VR/AR和数字分身技术融合到智能控制中，能够实现虚拟与实际的真实融合，提高了虚拟环境与物理机设备的实际工作环境之间的一致性，有效提升了智能控制作业效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明一种基于数字分身的机器人远程交互方法的流程图；
图2为本发明实施例三维球面全景视频实时拼接算法的处理流程示意图；
图3为本发明实施例基于数字分身的机器人远程交互系统的系统架构图；
图4为本发明实施例计算机设备的构成示意图；
图5为本发明实施例虚实交互距离匹配算法的处理流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的系统和产品的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面对本发明实施例作进一步详细说明。
本发明实施例提供一种基于数字分身的机器人远程交互系统，参见图3所示，包括：现实世界场景、虚拟世界场景；所述虚拟世界场景与所述现实世界场景之间信号连接；
其中，所述现实世界场景包括：使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；所述机器人设备位于所述机器人周围环境中；所述机器人设备与所述计算机设备之间信号连接；
机器人周围环境是现实世界场景中机器人周围的现实环境。
其中，所述机器人设备包括：机械臂、机械夹爪、ROS控制器、通讯模块；
所述机械臂与所述机械夹爪传动连接；所述机械夹爪和所述机械臂分别电性连接有电动舵机；所述通讯模块为所述机器人设备和所述计算机设备之间提供数据传输通道；
所述全景相机设备包括：摄像头、图像处理器、通讯接口；所述摄像头与所述图像处理器信号连接，所述图像处理器与所述通讯接口信号连接，所述通讯接口提供全景相机设备与计算机设备的数据传输通道；
所述虚拟世界场景包括：数字机器人、虚拟现实环境；所述数字机器人位于所述虚拟现实环境中；所述VR设备与所述数字机器人信号连接。
使用者通过所述VR设备与所述数字机器人进行实时交互，实时控制现实世界场景中的机器人设备，实现虚拟世界场景和现实世界场景之间的交互耦合。
所述机器人设备还包括：底座，所述底座上设置有固定孔位，用于将所述机器人设备固定设置在所述机器人周围环境中。
本发明实施例还提供一种基于数字分身的机器人远程交互方法，应用于如上述所述的基于数字分身的机器人远程交互系统，参见图1所示，包括：
S1、所述ROS控制器的内部运行ROS操作系统，通过ROS操作系统发送PWM脉冲，控制所述电动舵机在-180°到+180°的角度之间转动；
S2、所述电动舵机通过机械传动结构控制机械夹爪及机械臂的五种不同空间变化，通过通讯模块接收来自所述计算机设备上的数字孪生环境内下发的控制指令、通过通讯模块发送自身设备状态信息；
通过通讯模块接收的来自所述计算机设备上的数字孪生环境内下发的控制指令包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延。
通过通讯模块发送的自身设备状态信息包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延、机器人设备的故障信息。
S3、所述摄像头将所述现实世界场景进行实时感知记录，并将图像传输到所述图像处理器；
S4、所述图像处理器将不同的摄像头感知到的现实世界场景按拍摄角度进行裁剪组合，通过三维球面全景视频实时拼接算法，形成以机器人设备为中心感知的360°球型全景视频流；通过通讯接口将所述360°球型全景视频流传输至计算机设备，实现连续时间内现实世界场景的实时环境变化感知及传输；
所述摄像头的数目可根据现实世界场景的实际情况设定。
所述三维球面全景视频实时拼接算法的处理流程，参见图2所示，包括以下步骤：
S41、使用SIFT特征提取算法，从不同图像中提取相同的特征点，用于后续的图像匹配和融合；
所述从不同图像中提取相同的特征点的方法包括：
对每个像素点构建Hessian矩阵，生成图像稳定的边缘突变点；所述Hessian矩阵的表达式为：
式(1)中，G(x，y)为像素值；是像素点的二阶导数；
将每个像素点与相邻点的Hessian矩阵表达式的值进行对比，将大于或者小于所有相邻点的像素点作为特征点；
S42、将每张图像进行区域划分，通过对比两张图像的特征区域内的特征点的重合程度，确定相邻图像的匹配区域；
本实施例中，将每张图像进行区域划分的方法包括：
将图像按区域大小Z＝Zn/N进行划分，其中Z为图像内每个区域的大小，Zn为整个图像的大小；N为划分区域数目。
确定相邻图像的匹配区域的方法和规则包括：
依次循环对比，将匹配值与阈值进行比较；若匹配值高于阈值，则输出匹配区域，将与所有相邻图像的匹配值较高的区域按其在图像内位置，生成一条完整闭合的图像匹配区域带；若匹配值不高于阈值，则不输出匹配区域。
S43、根据匹配区域将相邻图像进行融合，将图像内不被匹配区域带包围的区域舍弃，将相邻图像内匹配区域带的区域进行融合，生成全景图像；
所述全景图像中的匹配区域带内每像素的位置(x,y)为：
F(x，y)＝λ*Gi(xi，yi)+(1-λ)*Gi+1(xi+1，yi+1) (2)
式(2)中，(xi+1,yi+1)为图像Gi+1的重合点像素坐标；(xi,yi)为图像Gi的重合点像素坐标；λ为权值渐变因子；
式(2)中的λ的计算表达式为：
式(3)中，JyL为重叠区域第y行左边界坐标；JyR为第y行重叠区域右边界坐标；dy为第y行重叠像素数，即dy＝JyR-JyL；
S44、将生成的全景图像进行透射变换，生成三维球面模型的全景图像。利用全景图像的像素坐标，进行透射变换，将全景图像变换为三维球面模型的全景图像；
所述透射变换的方法包括：将球面上的点转换为单位向量R(x′，y′，z′)：
式(4)中，x,y,z是球面上的点的坐标；
将单位向量投射变换为全景图像的二维图像坐标：
式(5)中，u,v为全景图像二维图像坐标，x',y',z'为球面单位向量坐标。
S5、所述计算机设备运行数字孪生环境，通过虚实交互距离匹配算法，实现连续时间内现实世界场景的实时环境变化感知及传输。
所述虚实交互距离匹配算法的处理过程，参见图5所示，包括以下步骤：
S51、测量现实世界场景中的物理实体的尺寸(优选以米为单位)与机器人设备的距离(优选以米为单位)；
S52、计算虚拟世界场景中的长度单位与现实世界场景中的长度单位之间的比例因子，确定虚拟世界场景的尺度；
比例因子的计算式为：
式(6)中，δ为尺度因子，L为现实世界场景中的实际物理尺寸，L′为虚拟世界场景中的尺寸；
S53、计算物体与机器人设备之间在虚拟世界场景中的距离，计算表达式为：
L′R＝δ*LR (7)
式(7)中，L′R为虚拟世界场景的物体与数字机器人的距离，LR为现实世界场景的物理实体与机器人设备的距离；
S54、确定物体在虚拟世界场景中的尺寸，计算表达式为：
L′S＝δ*LS (8)
式(8)中，L′S为虚拟世界场景的物体尺寸，LS为现实世界场景的物理实体尺寸。
本实施例中，VR设备主要包含VR头盔、VR左右手柄组成，其中VR头盔作为虚拟世界场景的显示设备；VR左右手柄控制虚拟世界场景中的数字机器人，实现现实世界场景与虚拟世界场景的实时交互。VR设备为使用者与虚拟世界场景建立实时交互的手段，使使用者沉浸在虚拟世界中；VR头盔接收计算机设备生成的数字机器人和虚拟现实环境信息，并将数字机器人和虚拟现实环境在VR头盔内显示，让使用者通过VR头盔完美沉浸在虚拟世界场景中，VR头盔通过USB或者蓝牙的通讯方式与计算机设备相连，VR头盔与手柄之间主要同通过蓝牙通讯方式进行数据传输；VR左右手柄通过对VR头盔上虚拟世界内数字机器人的操控实现对现实场景内机器人设备控制，使用者通过对VR左右手柄上不同按扭控制VR头盔上虚拟世界内数字机器人的机械夹爪的前后、左右、上下、旋转与开闭五种空间上的不同变化，进一步控制现实世界场景内机器人设备上机械夹爪的前后、左右、上下、旋转与开闭五种空间上的不同变化，实现虚拟世界场景控制现实世界场景；同时，VR设备接收改变后现实世界场景的信息数据，修正虚拟世界内数字机器人和虚拟现实环境，实现现实世界场景对虚拟世界场景的影响。
虚拟世界场景中的数字机器人为现实世界机器人设备在虚拟世界的数字分身；虚拟现实环境为现实世界场景中机器人设备及机器人周围环境的现实虚拟化。数据机器人通过计算机设备中的数字孪生环境生成，具有与现实世界场景中的机器人设备相同的物理特性，包括臂长、结构、关节最大转动角度、机械夹爪最大开合角度等，使用者通过VR设备控制虚拟世界场景中的数字机器人，实现了现实世界场景对虚拟世界场景的影响。VR左右手柄通过手柄按钮和旋钮控制数字机器人的行为动作；VR设备对数字机器人和虚拟现实环境组成的虚拟场景进行显示，显示视角为以数字机器人为中心的第三视角。
本发明实施例还提供一种计算机设备，图4是本发明实施例提供的一种计算机设备的结构示意图；参见附图图4所示，该计算机设备包括：输入系统23、输出系统24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的基于数字分身的机器人远程交互方法；其中输入系统23、输出系统24、存储器22和处理器21可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的基于数字分身的机器人远程交互方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出系统24可包括显示屏等显示设备。
处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于VR/AR数字分身的机器人远程交互方法。
上述提供的计算机设备可用于执行上述实施例提供的基于VR/AR数字分身的机器人远程交互系统及交互方法，具备相应的功能和有益效果。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的基于VRAR数字分身的机器人远程交互方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带系统；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的基于VRAR数字分身的机器人远程交互系统及交互方法，还可以执行本发明任意实施例所提供的基于VRAR数字分身的机器人远程交互方法中的相关操作。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于数字分身的机器人远程交互系统，其特征在于，包括：现实世界场景、虚拟世界场景；所述虚拟世界场景与所述现实世界场景之间信号连接；
其中，所述现实世界场景包括：使用者、VR设备、计算机设备、机器人设备、全景相机设备、机器人周围环境；所述机器人设备位于所述机器人周围环境中；所述机器人设备与所述计算机设备之间信号连接；
其中，所述机器人设备包括：机械臂、机械夹爪、ROS控制器、通讯模块；
所述机械臂与所述机械夹爪传动连接；所述机械夹爪和所述机械臂分别电性连接有电动舵机；所述通讯模块为所述机器人设备和所述计算机设备之间提供数据传输通道；
所述全景相机设备包括：摄像头、图像处理器、通讯接口；所述摄像头与所述图像处理器信号连接，所述图像处理器与所述通讯接口信号连接，所述通讯接口提供全景相机设备与计算机设备的数据传输通道；
所述虚拟世界场景包括：数字机器人、虚拟现实环境；所述数字机器人位于所述虚拟现实环境中；所述VR设备与所述数字机器人信号连接。
2.根据权利要求1所述的基于数字分身的机器人远程交互系统，其特征在于，所述机器人设备还包括：底座，所述底座上设置有固定孔位，用于将所述机器人设备固定设置在所述机器人周围环境中。
3.一种基于数字分身的机器人远程交互方法，应用于如权利要求1或2所述的基于数字分身的机器人远程交互系统，其特征在于，包括：
S1、所述ROS控制器的内部运行ROS操作系统，通过ROS操作系统发送PWM脉冲，控制所述电动舵机在-180°到+180°的角度之间转动；
S2、所述电动舵机通过机械传动结构控制机械夹爪及机械臂的五种不同空间变化，通过通讯模块接收来自所述计算机设备上的数字孪生环境内下发的控制指令、通过通讯模块发送自身设备状态信息；
S3、所述摄像头将所述现实世界场景进行实时感知记录，并将图像传输到所述图像处理器；
S4、所述图像处理器将不同的摄像头感知到的现实世界场景按拍摄角度进行裁剪组合，通过三维球面全景视频实时拼接算法，形成以机器人设备为中心感知的360°球型全景视频流；通过通讯接口将所述360°球型全景视频流传输至计算机设备；
S5、所述计算机设备运行数字孪生环境，通过虚实交互距离匹配算法，实现连续时间内现实世界场景的实时环境变化感知及传输。
4.根据权利要求3所述的基于数字分身的机器人远程交互方法，其特征在于，所述S4步骤的所述三维球面全景视频实时拼接算法的处理流程包括以下步骤：
S41、使用SIFT特征提取算法，从不同图像中提取相同的特征点，用于后续的图像匹配和融合；
所述从不同图像中提取相同的特征点的方法包括：
对每个像素点构建Hessian矩阵，生成图像稳定的边缘突变点；所述Hessian矩阵的表达式为：
式(1)中，G(x，y)为像素值；是像素点的二阶导数；
将每个像素点与相邻点的Hessian矩阵表达式的值进行对比，将大于或者小于所有相邻点的像素点作为特征点；
S42、将每张图像进行区域划分，通过对比两张图像的特征区域内的特征点的重合程度，确定相邻图像的匹配区域；
将每张图像进行区域划分的方法包括：将图像按区域大小Z＝Zn/N进行划分，其中Z为图像内每个区域的大小，Zn为整个图像的大小；N为划分区域数目；
S43、根据匹配区域将相邻图像进行融合，将图像内不被匹配区域带包围的区域舍弃，将相邻图像内匹配区域带的区域进行融合，生成全景图像；
所述全景图像中的匹配区域带内每像素的位置(x，y)为：
F(x，y)＝λ*Gi(xi，yi)+(1-λ)*Gi+1(xi+1，yi+1) (2)
式(2)中，(xi+1，yi+1)为图像Gi+1的重合点像素坐标；(xi，yi)为图像Gi的重合点像素坐标；入为权值渐变因子；
式(2)中的入的计算表达式为：
式(3)中，JyL为重叠区域第y行左边界坐标；JyR为第y行重叠区域右边界坐标；dy为第y行重叠像素数，即dy＝JyR-JyL；
S44、将生成的全景图像进行透射变换，生成三维球面模型的全景图像。利用全景图像的像素坐标，进行透射变换，将全景图像变换为三维球面模型的全景图像；
所述透射变换的方法包括：将球面上的点转换为单位向量R(x′，y′，z′)：
式(4)中，x，y，z是球面上的点的坐标；
将单位向量投射变换为全景图像的二维图像坐标：
式(5)中，u，v为全景图像二维图像坐标，x′，y′，z′为球面单位向量坐标。
5.根据权利要求4所述的基于数字分身的机器人远程交互方法，其特征在于，所述S5步骤的虚实交互距离匹配算法的处理过程包括以下步骤：
S51、测量现实世界场景中的物理实体的尺寸与机器人设备的距离；
S52、计算虚拟世界场景中的长度单位与现实世界场景中的长度单位之间的比例因子，确定虚拟世界场景的尺度；
比例因子的计算式为：
式(6)中，δ为尺度因子，L为现实世界场景中的实际物理尺寸，L′为虚拟世界场景中的尺寸；
S53、计算物体与机器人设备之间在虚拟世界场景中的距离，计算表达式为：
L′R＝δ*LR (7)
式(7)中，L′R为虚拟世界场景的物体与数字机器人的距离，LR为现实世界场景的物理实体与机器人设备的距离；
S54、确定物体在虚拟世界场景中的尺寸，计算表达式为：
L′S＝δ*LS(8)
式(8)中，L′S为虚拟世界场景的物体尺寸，LS为现实世界场景的物理实体尺寸。
6.根据权利要求4所述的基于数字分身的机器人远程交互方法，其特征在于，所述S42步骤的确定相邻图像的匹配区域的方法和规则包括：
依次循环对比，将匹配值与阈值进行比较；若匹配值高于阈值，则输出匹配区域，将与所有相邻图像的匹配值较高的区域按其在图像内位置，生成一条完整闭合的图像匹配区域带；若匹配值不高于阈值，则不输出匹配区域。
7.根据权利要求3所述的基于数字分身的机器人远程交互方法，其特征在于，所述S2步骤的通过通讯模块接收的来自所述计算机设备上的数字孪生环境内下发的控制指令包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延。
8.根据权利要求3所述的基于数字分身的机器人远程交互方法，其特征在于，所述S2步骤的通过通讯模块发送的自身设备状态信息包括：
控制机械臂和机械夹爪的电动舵机的旋转角度、机器人设备的动作时延、机器人设备的故障信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求3-8任一项所述的基于数字分身的机器人远程交互方法的步骤。
10.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求3-8任一项所述的基于数字分身的机器人远程交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311577041.2A CN117608401A (zh) | 2023-11-23 | 2023-11-23 | 一种基于数字分身的机器人远程交互系统及交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311577041.2A CN117608401A (zh) | 2023-11-23 | 2023-11-23 | 一种基于数字分身的机器人远程交互系统及交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117608401A true CN117608401A (zh) | 2024-02-27 |
Family
ID=89952806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311577041.2A Pending CN117608401A (zh) | 2023-11-23 | 2023-11-23 | 一种基于数字分身的机器人远程交互系统及交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608401A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| CN111897332A (zh) * | 2020-07-30 | 2020-11-06 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
| CN116197899A (zh) * | 2023-01-10 | 2023-06-02 | 北京航空航天大学 | 一种基于vr的主动式机器人遥操作系统 |
-
2023
- 2023-11-23 CN CN202311577041.2A patent/CN117608401A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| CN111897332A (zh) * | 2020-07-30 | 2020-11-06 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
| CN116197899A (zh) * | 2023-01-10 | 2023-06-02 | 北京航空航天大学 | 一种基于vr的主动式机器人遥操作系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452133B2 (en) | Interacting with an environment using a parent device and at least one companion device | |
| US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
| US7663649B2 (en) | Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object | |
| US8989876B2 (en) | Situational awareness for teleoperation of a remote vehicle | |
| Buss et al. | Development of a multi-modal multi-user telepresence and teleaction system | |
| CN104656893B (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| Wei et al. | Multi-view merging for robot teleoperation with virtual reality | |
| Vagvolgyi et al. | Augmented virtuality for model-based teleoperation | |
| Xin et al. | 3D augmented reality teleoperated robot system based on dual vision | |
| Tripicchio et al. | A stereo-panoramic telepresence system for construction machines | |
| WO2019120481A1 (en) | System and method for determining a transformation representation | |
| Collett et al. | Augmented reality visualisation for player | |
| Chen et al. | Enhanced visual feedback with decoupled viewpoint control in immersive humanoid robot teleoperation using slam | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| Makita et al. | Offline direct teaching for a robotic manipulator in the computational space | |
| CN117608401A (zh) | 一种基于数字分身的机器人远程交互系统及交互方法 | |
| Shin et al. | Stereoscopic low-latency vision system via ethernet network for humanoid teleoperation | |
| Saraiji et al. | Development of Mutual Telexistence System using Virtual Projection of Operator's Egocentric Body Images. | |
| CN111452046A (zh) | 基于虚拟现实的排爆机器人系统、控制方法及存储介质 | |
| Villani et al. | Avatarm: an Avatar With Manipulation Capabilities for the Physical Metaverse | |
| Berti et al. | Human-robot interaction and tracking using low cost 3d vision systems | |
| Rezeck et al. | An Immersion Enhancing Robotic Head-Like Device for Teleoperation. | |
| Kamezaki et al. | Video presentation based on multiple-flying camera to provide continuous and complementary images for teleoperation | |
| Yu et al. | A mixed reality platform for online motion planning of mobile robots via Hololens 2 | |
| Kon et al. | Development of robot teleoperation system in bad viewing condition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |