CN114791765A - 一种基于混合现实技术的ros智能车交互方法 - Google Patents
一种基于混合现实技术的ros智能车交互方法 Download PDFInfo
- Publication number
- CN114791765A CN114791765A CN202210283152.1A CN202210283152A CN114791765A CN 114791765 A CN114791765 A CN 114791765A CN 202210283152 A CN202210283152 A CN 202210283152A CN 114791765 A CN114791765 A CN 114791765A
- Authority
- CN
- China
- Prior art keywords
- ros
- intelligent vehicle
- hololens
- remote end
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 239000011521 glass Substances 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- BLRPTPMANUNPDV-UHFFFAOYSA-N Silane Chemical compound [SiH4] BLRPTPMANUNPDV-UHFFFAOYSA-N 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于混合现实技术的ROS小车交互方法。本系统由本地端与远程端构成。本地端主要指HoloLens设备，用于显示与操作混合现实交互界面；远程端为一台ROS智能车，用于响应与实现交互功能。远程端与本地端通过局域网进行连接。操作者通过佩戴HoloLens眼镜，在混合现实交互界面做相关的操作，就可以实现ROS智能车有目的的运动控制。通过上述方法，本发明能够很大的加强了操作者在交互过程中的临场感和真实感，可以直观地观察出ROS智能车和真实场景的相对位置关系；同时明显改善ROS智能车的操作滞后问题，减轻了操作者操作的不适感，从而大大的提高了用户体验，有利于完成较为复杂的工作，提高了工作效率。
Description
技术领域
本发明涉及移动机器人领域以及混合现实技术，具体涉及一种基于混合现实技术的ROS智能车交互方法。
背景技术
混合现实（MR）创造一种空间，可以实现物理对象和数字对象共存，并在现实场景，虚拟场景和操作者之间实时产生信息交互。以Microsoft的HoloLens为代表的的MR设备给操作者呈现最直观的感觉，可以实现以增强MR操作者真实感和临场感为目的的人车交互新体验。
与ROS智能车之间的交互是指，以一定的交互方式，为完成确定任务的人与智能车之间的信息交换过程。而在对智能车的实际遥操作过程中，例如手势交互以及语音交互等，大多数是单向的操控方式，不够自然；或者是由于信息传输存在时延人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率，导致人与智能车之间的互动性较差。
发明内容
针对上述技术要求，本发明要提供一种基于混合现实技术的ROS智能车交互方法。
本发明拟公开一种基于混合现实技术的ROS智能车交互方法，包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端，所述本地端主要是HoloLens眼镜构成，所述远程端是由搭载Linux平台ROS系统(下文简称“ROS系统”)的工控机进行控制的的智能小车；
首先进行本地端实施步骤：
步骤一：通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端；
步骤二：操作者启动并佩戴HoloLens眼镜，开启HoloLens中部署的项目文件；
步骤三：在HoloLens全息图中，可以看见所设计的ROS智能车的数字模型和渲染的场景，但此时的ROS智能小车数字模型与实体是不匹配的；
步骤四：等待与远程端进行连接；
接下来开启远程端的实施步骤：
步骤五：ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ROS里程功能，通过IMU进行姿态融合，基于思岚A2雷达的SLAM方案，构建地图，进行导航以及避障；
步骤六：ROS系统启动基于WebSocket的通信模块，连接到HoloLens的ROS-Bridge服务器；
步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；
步骤八：采集HoloLens的深度图，将深度图转换为点云，在ROS智能车是放置Kinect V2相机，采取ROS智能车的点云信息；
步骤九：通过ROS智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵T_Trans，并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端；
步骤十：由于T_Human与T_MRobot的位置转换矩阵可以已知的，加上T_Trans的转换矩阵，就可以计算出T_MRobot_1的转换矩阵；
步骤十一：将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中，就可以实现Robot坐标系与Mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合；
步骤十二：届时，MR操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ROS智能车；
步骤十三：当拖动全息图中的小车数字模型时，HoloLens发布目标位置信息；
步骤十四：根据ROS通信格式，对ROS系统接收到来自HoloLens的目标位置信息进行处理；
步骤十五：通过ROS中的Action机制向 Navigation 栈发布目标点位置；
步骤十六：ROS智能车导航中的Navigation 栈接收到位置信息，驱动ROS智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。
所述ROS智能车顶部搭载雷达，所述雷达与设于ROS机器人底盘内的控制器连接，用于传递障碍物感知信息。
Hololens眼镜本地端与ROS智能车远程端通过Ros-sharp功能包进行通讯，其通讯数据格式为JSON格式。
当ROS智能车运动时，远程端发送将自身位置姿态信息至服务器，Hololens眼镜本地端解析数据类型，并将其呈现在MR场景中，具体的为：当远程端运动时，ROS智能车所搭载的里程计以及IMU数据也随之改变，本地端通过ROS-sharp功能包订阅相关话题并获取JSON形式数据，本地端解析JSON数据并将其表现在MR场景中，其JSON数据格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariancetwist。
Hololens眼镜本地端可以发送位置信息至服务器，ROS智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过Ros-sharp订阅相关节点，当MR操作者在MR界面中操作ROS智能车的数字模型时，会发布位置相关的JSON格式信息，ROS远程端获取位置信息，并执行相关指令，其JSON数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。
采用上述方案，该发明针对ROS智能车交互中存在的操作滞后、人机交互不直观等问题，利用HoloLens眼镜搭建的混合现实界面，加强了交互的真实感与临场感，很直观的显示了人车交互结果，提高了工作效率。
本发明的有益效果为：通过混合现实技术的方法来实现ROS智能车交互，这种交互方式更为直观以及具有真实感与临场感，提高操作者工作效率。在混合现实界面中，可以快速呈现ROS智能车的位置姿态信息，便于观察与调整。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明实施例的整体控制框图。
图2为发明实施中的ROS智能车结构示意图（左视图）。
图3为发明实施中的ROS智能车结构示意图（俯视图）。
图4为发明实施中混合现实界面与ROS小车的坐标变换示意图。
附图标记：1小车主体（内置电池），2电子控制板，3雷达，4工控机，5驱动轮，6从动轮，22 STM32电机控制板，21电源控制板，7 MR操作者，8 HoloLens眼镜。Map为MR 混合现实设备在启动项目程序时初始化坐标系，作为世界坐标系；MRobot为项目程序中设定的数字模型的坐标系；Human为MR操作者实时的坐标系；Robot为ROS智能车的坐标系；Mrobot_1为转换后的数字模型的坐标系；T_Human表示MR操作者与世界坐标系之间的位置关系矩阵；T_MRobot表示数字模型与世界坐标系之间的位置关系矩阵；T_Robot表示ROS智能车实体与世界坐标系之间的位置关系矩阵；T_MRobot_Robot表示ROS智能车实体与数字模型之间的位置关系矩阵；T_Trans表示ROS智能车实体与MR操作者之间的位置关系矩阵；T_MRobot_1表示数字模型与世界坐标系之间的位置关系矩阵。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种基于混合现实技术的ROS智能车交互方法，通过HoloLens的混合现实技术，采用JSON格式与ROS系统进行通信，实现一种更为直接与直观的新型交互方式。
本发明包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端，所述本地端主要是HoloLens眼镜构成，所述远程端是由搭载Linux平台ROS系统(下文简称“ROS系统”)的工控机进行控制的的智能小车；
首先进行本地端实施步骤：
步骤一：通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端；
步骤二：操作者启动并佩戴HoloLens眼镜，开启HoloLens中部署的项目文件；
步骤三：在HoloLens全息图中，可以看见所设计的ROS智能车的数字模型和渲染的场景，但此时的ROS智能小车数字模型与实体是不匹配的；
步骤四：等待与远程端进行连接；
接下来开启远程端的实施步骤：
步骤五：ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ROS里程功能，通过IMU进行姿态融合，基于思岚A2雷达的SLAM方案，构建地图，进行导航以及避障；
步骤六：ROS系统启动基于WebSocket的通信模块，连接到HoloLens的ROS-Bridge服务器；
步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；
步骤八：采集HoloLens的深度图，将深度图转换为点云，在ROS智能车是放置Kinect V2相机，采取ROS智能车的点云信息；
步骤九：通过ROS智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵T_Trans，并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端；
步骤十：由于T_Human与T_MRobot的位置转换矩阵可以已知的，加上T_Trans的转换矩阵，就可以计算出T_MRobot_1的转换矩阵；
步骤十一：将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中，就可以实现Robot坐标系与Mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合；
步骤十二：届时，MR操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ROS智能车；
步骤十三：当拖动全息图中的小车数字模型时，HoloLens发布目标位置信息；
步骤十四：根据ROS通信格式，对ROS系统接收到来自HoloLens的目标位置信息进行处理；
步骤十五：通过ROS中的Action机制向 Navigation 栈发布目标点位置；
步骤十六：ROS智能车导航中的Navigation 栈接收到位置信息，驱动ROS智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。
所述ROS智能车顶部搭载雷达，所述雷达与设于ROS机器人底盘内的控制器连接，用于传递障碍物感知信息。
Hololens眼镜本地端与ROS智能车远程端通过Ros-sharp功能包进行通讯，其通讯数据格式为JSON格式。
当ROS智能车运动时，远程端发送将自身位置姿态信息至服务器，Hololens眼镜本地端解析数据类型，并将其呈现在MR场景中，具体的为：当远程端运动时，ROS智能车所搭载的里程计以及IMU数据也随之改变，本地端通过ROS-sharp功能包订阅相关话题并获取JSON形式数据，本地端解析JSON数据并将其表现在MR场景中，其JSON数据格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariancetwist。
Hololens眼镜本地端可以发送位置信息至服务器，ROS智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过Ros-sharp订阅相关节点，当MR操作者在MR界面中操作ROS智能车的数字模型时，会发布位置相关的JSON格式信息，ROS远程端获取位置信息，并执行相关指令，其JSON数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。
如上述步骤，就可完成一系列的混合交互过程。相较于传统的交互方法，本发明的优点是，加强了操作者操作ROS智能车的临场感和真实感，可以直观地观察出ROS智能车和场景的相对位置关系；同时明显改善ROS智能车的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。
HoloLens眼镜由MR操作者佩戴。HoloLens显示设备，用于建立MR交互界面。交互界面主要包含渲染的场景以及ROS智能车的数字模型。所述ROS智能车的数字模型与现实ROS智能车完全在混合现实界面中运动状态与姿态完全重合。所述HoloLens显示设备中的MR交互场景通过Windows平台Unity3D三维游戏引擎(下文简称“Unity”)进行开发。将构造的项目文件生成并部署到HoloLens设备。由HoloLens构成的本地端与ROS智能车构成的远程端通过Ros-sharp功能包进行通讯。所述ROS智能车具有SLAM、自主避障以及路径规划等功能。所述ROS机器小车采用工控进行运动控制以及与HoloLens眼镜通讯。所述ROS机器小车搭载Rosbridge_Suit功能包，基于WebSocket的通信模块，连接到HoloLens。
所述ROS智能车底盘采用履带式驱动机构，能适应复杂地形。利用工控机对电机控制板发出信号，再由电机控制板控制电机，从而驱动履带完成行进的动作。所述ROS智能车可以采集惯性测量单位（IMU）以及里程计信息可以得出底盘位姿信息。
所述ROS机器小车顶部搭载雷达，所述雷达单元与设于所述ROS机器人底盘内的控制器连接，用于传递障碍物感知信息。整个小车的工作过程是先通过雷达来对环境进行测绘，在工控机中建立虚拟地图用来设置导航路线。
具体的，首先将本地端与远程端通过局域网进行远程通讯；MR操作者佩戴HoloLens眼镜，在HoloLens眼镜中显示ROS智能车的数字模型以及虚拟场景所构建的混合现实交互界面，本地端获取远程端的ROS智能车的位姿信息，并将位姿信息映射到ROS智能车的数字模型上；采用手拖动HoloLens眼镜混合现实界面中的ROS智能车的数字模型，本地端将数字模型的位置坐标发送给远程端，远程端接收位置坐标信息并转换为运动信息，控制ROS智能车到达指定位置。同时，远程端将自身位置姿态信息实时的传送到本地端，映射到混合现实界面中的数字模型中，在整个交互过程中，ROS智能车的数字模型和实体在混合现实的界面中时完全重合的。
上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于混合现实技术的ROS智能车交互方法，其特征在于，包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端，所述本地端包括HoloLens眼镜，所述远程端是由搭载Linux平台ROS系统的工控机进行控制的的智能小车，
首先进行本地端实施步骤：
步骤一：通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端；
步骤二：操作者启动并佩戴HoloLens眼镜，开启HoloLens中部署的项目文件；
步骤三：在HoloLens全息图中，可以看见所设计的ROS智能车的数字模型和渲染的场景，但此时的ROS智能小车数字模型与实体是不匹配的；
步骤四：等待与远程端进行连接；
接下来开启远程端的实施步骤：
步骤五：ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ROS里程功能，通过IMU进行姿态融合，基于思岚A2雷达的SLAM方案，构建地图，进行导航以及避障；
步骤六：ROS系统启动基于WebSocket的通信模块，连接到HoloLens的ROS-Bridge服务器；
步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；
步骤八：采集HoloLens的深度图，将深度图转换为点云，在ROS智能车是放置Kinect V2相机，采取ROS智能车的点云信息；
步骤九：通过ROS智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵T_Trans，并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端；
步骤十：由于T_Human与T_MRobot的位置转换矩阵可以已知的，加上T_Trans的转换矩阵，就可以计算出T_MRobot_1的转换矩阵；
步骤十一：将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中，就可以实现Robot坐标系与Mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合；
步骤十二：届时，MR操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ROS智能车；
步骤十三：当拖动全息图中的小车数字模型时，HoloLens发布目标位置信息；
步骤十四：根据ROS通信格式，对ROS系统接收到来自HoloLens的目标位置信息进行处理；
步骤十五：通过ROS中的Action机制向 Navigation 栈发布目标点位置；
步骤十六：ROS智能车导航中的Navigation 栈接收到位置信息，驱动ROS智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。
2.根据权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，所述ROS智能车顶部搭载雷达，所述雷达与设于ROS机器人底盘内的控制器连接，用于传递障碍物感知信息。
3.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征还包括：Hololens眼镜本地端与ROS智能车远程端通过Ros-sharp功能包进行通讯，其通讯数据格式为JSON格式。
4.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，当ROS智能车运动时，远程端发送将自身位置姿态信息至服务器，Hololens眼镜本地端解析数据类型，并将其呈现在MR场景中，具体的为：当远程端运动时，ROS智能车所搭载的里程计以及IMU数据也随之改变，本地端通过ROS-sharp功能包订阅相关话题并获取JSON形式数据，本地端解析JSON数据并将其表现在MR场景中，其JSON数据格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariance twist。
5.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，Hololens眼镜本地端可以发送位置信息至服务器，ROS智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过Ros-sharp订阅相关节点，当MR操作者在MR界面中操作ROS智能车的数字模型时，会发布位置相关的JSON格式信息，ROS远程端获取位置信息，并执行相关指令，其JSON数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210283152.1A CN114791765B (zh) | 2022-03-22 | 2022-03-22 | 一种基于混合现实技术的ros智能车交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210283152.1A CN114791765B (zh) | 2022-03-22 | 2022-03-22 | 一种基于混合现实技术的ros智能车交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114791765A true CN114791765A (zh) | 2022-07-26 |
| CN114791765B CN114791765B (zh) | 2024-05-10 |
Family
ID=82460296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210283152.1A Active CN114791765B (zh) | 2022-03-22 | 2022-03-22 | 一种基于混合现实技术的ros智能车交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114791765B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036649A (zh) * | 2023-06-09 | 2023-11-10 | 电子科技大学 | 一种基于混合现实场景的三维地图显示与交互的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| US20200233436A1 (en) * | 2017-02-16 | 2020-07-23 | Indiana University Research And Technology Corporation | Cloud based robotic control systems and methods |
| CN111459277A (zh) * | 2020-04-01 | 2020-07-28 | 重庆大学 | 基于混合现实的机械臂遥操作系统及交互界面构建方法 |
-
2022
- 2022-03-22 CN CN202210283152.1A patent/CN114791765B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| US20200233436A1 (en) * | 2017-02-16 | 2020-07-23 | Indiana University Research And Technology Corporation | Cloud based robotic control systems and methods |
| CN111459277A (zh) * | 2020-04-01 | 2020-07-28 | 重庆大学 | 基于混合现实的机械臂遥操作系统及交互界面构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张军;韦鹏;王古超;: "基于ROS的全向移动机器人定位导航系统研究", 组合机床与自动化加工技术, no. 06, 20 June 2020 (2020-06-20) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036649A (zh) * | 2023-06-09 | 2023-11-10 | 电子科技大学 | 一种基于混合现实场景的三维地图显示与交互的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114791765B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| CN104067781B (zh) | 基于虚拟机器人与真实机器人集成的采摘系统及方法 | |
| US8996176B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
| WO2020221311A1 (zh) | 基于可穿戴设备的移动机器人控制系统及控制方法 | |
| CN114815654B (zh) | 一种面向无人车控制的数字孪生系统及其搭建方法 | |
| WO2015180497A1 (zh) | 一种基于立体视觉的动作采集和反馈方法及系统 | |
| CN107193371A (zh) | 一种基于虚拟现实的实时人机交互系统及方法 | |
| CN106313049A (zh) | 一种仿人机械臂体感控制系统及控制方法 | |
| CN111459277B (zh) | 基于混合现实的机械臂遥操作系统及交互界面构建方法 | |
| CN105241461A (zh) | 机器人的地图创建及定位方法和机器人系统 | |
| CN206883638U (zh) | 机器人控制系统以及机器人 | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
| CN109262609A (zh) | 基于虚拟现实技术的机械臂远程控制系统及方法 | |
| CN106020208A (zh) | 一种基于ros操作系统的机器人远程控制方法和远程控制系统 | |
| CN106527439A (zh) | 一种运动控制方法和装置 | |
| CN114791765B (zh) | 一种基于混合现实技术的ros智能车交互方法 | |
| CN106393142A (zh) | 一种智能机器人 | |
| CN205247208U (zh) | 机器人系统 | |
| Angelopoulos et al. | Drone brush: Mixed reality drone path planning | |
| CN111134974B (zh) | 一种基于增强现实和多模态生物信号的轮椅机器人系统 | |
| CN112722331B (zh) | 一种月面载人移动车系统的交互装置及交互控制方法 | |
| CN210198395U (zh) | 无人机与无人车协作导航系统 | |
| CN115359222A (zh) | 一种基于扩展现实的无人交互控制方法及系统 | |
| CN106527720A (zh) | 一种沉浸式交互控制方法与系统 | |
| CN112975972B (zh) | 一种基于头戴式ar设备和操作手柄的机器人控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |