CN117008723A - 一种增强现实显示及交互技术赋能自主移动机器人 - Google Patents

一种增强现实显示及交互技术赋能自主移动机器人 Download PDF

Info

Publication number
CN117008723A
CN117008723A CN202310867359.8A CN202310867359A CN117008723A CN 117008723 A CN117008723 A CN 117008723A CN 202310867359 A CN202310867359 A CN 202310867359A CN 117008723 A CN117008723 A CN 117008723A
Authority
CN
China
Prior art keywords
information
robot
interaction
glasses
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310867359.8A
Other languages
English (en)
Inventor
周知星
杨硕
王枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huozaoyuan Intelligent Technology Co ltd
Original Assignee
Guangdong Huozaoyuan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Huozaoyuan Intelligent Technology Co ltd filed Critical Guangdong Huozaoyuan Intelligent Technology Co ltd
Priority to CN202310867359.8A priority Critical patent/CN117008723A/zh
Publication of CN117008723A publication Critical patent/CN117008723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种增强现实显示及交互技术赋能自主移动机器人，将AR眼镜与AMR或AGV结合，利用AR眼镜提供更大的视场和沉浸感，让使用者能够更直接、直观地与机器人进行交互，增强了操作的感知和理解，提高了用户体验，减少了对外部显示屏或其他设备的依赖，简化了操作流程；通过虚拟现实的交互方式，提高操作效率和准确性；让使用者可以更快速地获取和分析机器人的信息，减少了信息获取和处理的时间，及时发现和解决问题，提供及时的监测和反馈，提高工作效率和响应速度。

Description

一种增强现实显示及交互技术赋能自主移动机器人
技术领域
本发明涉及智能控制的技术领域；具体而言，涉及增强现实(AR)交互技术在自主移动机器人(AMR)或自动导引车(AGV)方面的应用；更具体的，涉及一种增强现实显示及交互技术赋能自主移动机器人。
背景技术
现有的自主移动机器人(AMR)或者说自动导引车(AGV)中常用的交互方式如下：
触摸屏交互：许多AMR或AGV系统配置了触摸屏作为主要的用户界面。使用者可以通过触摸屏进行操作和控制，例如启动/停止机器人、选择目标位置、调整参数等。触摸屏提供了直观的图形界面，但其交互受限于屏幕尺寸和物理接触。
物理按钮或开关：一些AMR或AGV系统的机子上提供了物理按钮或开关，用于执行特定的功能或操作。这些按钮可以用于启动/停止机器人、切换模式、应急停止等。物理按钮提供了简单的二进制交互，但其功能有限且无法扩展。
遥控器：在某些情况下，AMR或AGV系统配备了遥控器，使用者可以通过遥控器发送指令来控制机器人的运动和功能。遥控器通常具有方向控制按钮、速度调节和其他自定义按钮，以实现基本的机器人操作。
电脑软件：一些AMR或AGV系统通过电脑软件提供更高级的交互功能。使用者可以在电脑上运行特定的控制软件，通过图形界面或命令行界面与机器人进行交互。电脑软件界面通常提供更多的功能和灵活性，但需要具备一定的计算机技术知识。
远程监控和操作：一些AMR或AGV系统支持远程监控和操作。使用者可以通过网络连接远程访问机器人，并通过专用软件或网页界面查看机器人的状态、监控传感器数据，并进行远程操作和控制。
总的来说，现有的自主移动机器人智能控制方案仍有不少的限制，亟待提升便利性、智能性和可操作性。
发明内容
针对现有技术的局限性，本发明提出了一种增强现实显示及交互技术赋能自主移动机器人，采用的技术方案如下：
一种增强现实显示及交互技术赋能自主移动机器人，包括机器人本体(、AR眼镜以及后台管理系；其中：
所述AR眼镜用于采集使用者视角图像信息以及使用者的语音指令，将所述使用者视角图像信息以及语音指令传输到所述后台管理系统；所述使用者视角图像信息包括使用者的手势指令；从所述后台管理系统接收交互信息，将所述交互信息叠加到所述AR眼镜的视野中；
所述后台管理系统用于获取所述机器人本体的实时运行信息，根据所述实时运行信息和/或使用者的手势指令和/或语音指令，生成交互信息以及控制指令；将所述交互信息传输到所述AR眼镜，将所述控制指令传输到所述机器人本体。
相较于现有技术，本发明将AR眼镜与AMR或AGV结合，利用AR眼镜提供更大的视场和沉浸感，让使用者能够更直接、直观地与机器人进行交互，增强了操作的感知和理解，提高了用户体验，减少了对外部显示屏或其他设备的依赖，简化了操作流程；通过虚拟现实的交互方式，提高操作效率和准确性；让使用者可以更快速地获取和分析机器人的信息，减少了信息获取和处理的时间，及时发现和解决问题，提供及时的监测和反馈，提高工作效率和响应速度。
作为一种优选方案，所述使用者视角图像信息还包括所述机器人本体在所述AR眼镜的视野中的位置信息；所述交互信息包括导航指引信息和/或操作指引信息；
所述后台管理系统根据所述机器人本体在所述AR眼镜的视野中的位置信息，确定所述导航指引信息和/或操作指引信息叠加在所述AR眼镜的视野中的位置。
进一步的，所述机器人本体设有本体摄像头，所述本体摄像头用于采集机器人视角图像信息；所述机器人本体的实时运行信息包括所述机器人视角图像信息。
更进一步的，所述导航指引信息包括所述机器人本体的避障信息；
所述后台管理系统根据所述使用者视角图像信息和/或机器人视角图像信息，识别出所述机器人本体附近的障碍物，生成所述避障信息。
更进一步的，所述交互信息包括所述机器人视角图像信息。
作为一种优选方案，所述机器人本体的实时运行信息包括机器人状态信息，所述机器人状态信息包括所述机器人本体的电池状态和/或运行温度和/或运行里程和/或传感器数据；
所述交互信息包括所述后台管理系统对所述机器人状态信息进行处理分析后在所述AR眼镜的视野中以图表形式和/或三维模型形式显示的机器人面板信息界面。
进一步的，所述导航指引信息包括路径规划信息，所述路径规划信息通过预设的导航系统根据预设的任务信息生成。
进一步的，所述导航指引信息和/或操作指引信息在所述AR眼镜的视野中以图标和/或文字和/或动画的方式呈现。
作为一种优选方案，所述交互信息包括在所述AR眼镜的视野中呈现的虚拟按键；使用者的手势指令包括使用者对所述虚拟按键的点击操作。
作为一种优选方案，还包括与机器人本体和/或后台管理系统无线连接的遥控器。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的增强现实显示及交互技术赋能自主移动机器人的组成示意图之一；
图2为本发明实施例提供的增强现实显示及交互技术赋能自主移动机器人的数据共享示意图；
图3为本发明实施例在显示导航指引信息和/或操作指引信息之前AR眼镜的视野示意图；
图4为本发明实施例导航指引信息和/或操作指引信息在AR眼镜的视野中呈现方式的示意图；
图5为本发明实施例提供的增强现实显示及交互技术赋能自主移动机器人的组成示意图之二；
附图标记说明：1、机器人本体；2、AR眼镜；3、后台管理系统；4、遥控器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
一种增强现实显示及交互技术赋能自主移动机器人，请参阅图1，包括机器人本体1、AR眼镜2以及后台管理系统3；其中：
所述AR眼镜2用于采集使用者视角图像信息以及使用者的语音指令，将所述使用者视角图像信息以及语音指令传输到所述后台管理系统3；所述使用者视角图像信息包括使用者的手势指令；从所述后台管理系统3接收交互信息，将所述交互信息叠加到所述AR眼镜2的视野中；
所述后台管理系统3用于获取所述机器人本体1的实时运行信息，根据所述实时运行信息和/或使用者的手势指令和/或语音指令，生成交互信息以及控制指令；将所述交互信息传输到所述AR眼镜2，将所述控制指令传输到所述机器人本体1。
相较于现有技术，本发明将AR眼镜与AMR或AGV结合，利用AR眼镜提供更大的视场和沉浸感，让使用者能够更直接、直观地与机器人进行交互，增强了操作的感知和理解，提高了用户体验，减少了对外部显示屏或其他设备的依赖，简化了操作流程；通过虚拟现实的交互方式，提高操作效率和准确性；让使用者可以更快速地获取和分析机器人的信息，减少了信息获取和处理的时间，及时发现和解决问题，提供及时的监测和反馈，提高工作效率和响应速度。
具体的，本发明相较于现有方案提供了更大屏幕显示：传统AMR或AGV常用的触摸屏交互方式屏幕相对较小，限制了信息的展示和操作的便利性。本发明通过将AR眼镜应用于AMR或AGV中，可以实现大屏幕显示，将丰富的后台数据和信息以增强现实的形式呈现，提供更广阔的视野和更好的信息展示效果。
本发明创造了AMR或AGV的交互方式：传统AMR或AGV通常依赖于触摸屏或按钮等有限的交互方式，操作繁琐且不够直观。本发明利用AR眼镜的手势识别和语音识别功能，提供新型的交互方式。使用者可以通过手势或语音指令快速操控和控制机器人，增加了操作的便捷性和灵活性。
本发明提升了用户体验和操作效率：传统AMR或AGV的操作界面相对单一，使用者对于机器人的状态和环境了解有限。本发明通过AR眼镜的实时数据可视化和环境感知功能，增强用户体验。使用者可以实时查看机器人的状态、传感器数据和环境信息，提高操作效率和决策准确性。
特别的，在本发明中，并不强调自主移动机器人(AMR)与自动导引车(AGV)的区别，两者或其它类似的名词可以视为指代相同的应用对象，仅在称谓上有所不同。
具体的，所述AR眼镜2的电路部分可以包括以下器件：主控芯片，在研发过程中选用了高通XR2；还包括主板，显示模组，显示模组包括微型显示屏、驱动芯片、光学模组等；还包括电池，摄像头，麦克风，扬声器，链接性模块(如蓝牙、Wi-Fi等)，传感器(如IMU、距离传感器等)，手势识别传感器(如深度相机或摄像头)。
作为一种可选方案，本实施例中通过vuplex技术，将后台管理系统3的weburl地址输入所述机器人本体1与AR眼镜2。
更具体的，手势指令与后台管理系统3的下达指令的打通：采集包含使用者动作手势的使用者视角图像信息后，手势指令的识别可以在所述AR眼镜2进行，也可在后台管理系统3完成。手势指令可以包括使用者手指的划动、点击、拖拉动作等，具体设置可以根据使用者的习惯进行修改。
更具体的，语音指令与后台管理系统3的下达指令的打通：AR眼镜2接收的音频，可以直接实时传输给后台管理系统3，后台管理系统3进行语音识别，然后执行相应指令；也可以是在AR眼镜2接收的音频，直接在AR眼镜2转成文本后发送给后台管理系统3，然后执行相应指令。
AR眼镜2与后台管理系统3之间具体可以采用websocket接口进行数据传输。
作为一种优选实施例，所述使用者视角图像信息还包括所述机器人本体1在所述AR眼镜2的视野中的位置信息；所述交互信息包括导航指引信息和/或操作指引信息；
所述后台管理系统3根据所述机器人本体1在所述AR眼镜2的视野中的位置信息，确定所述导航指引信息和/或操作指引信息叠加在所述AR眼镜2的视野中的位置。
具体的，所述导航指引信息可以视为指引使用者操控所述机器人本体1的引导内容；所述操作指引信息可以视为帮助使用者熟悉本发明各项操作流程的引导内容，可以视为本发明使用说明的动态可视化呈现。相对的，本发明还可以实现远程协作和远程支持功能，请参阅图2，通过使用者的数据共享，让远程协助人员通过语音或图像指导使用者进行相应的操作，指导过程中的图像数据同样可以采用与操作指引信息相同的方式叠加在所述AR眼镜2的视野中。
作为一种可选实施例，对所述机器人本体1的识别，可以采用以yolov5模型对预设的数据集进行训练后得到的识别模型来完成；作为一种优选实施例，该识别模型可以存储在后台管理系统3。
更具体的，在识别出所述机器人本体1后，可以进一步结合所述AR眼镜2采集的位置和姿态信息，确定所述导航指引信息和/或操作指引信息叠加在所述AR眼镜2的视野中的位置。
进一步的，所述机器人本体1设有本体摄像头，所述本体摄像头用于采集机器人视角图像信息；所述机器人本体1的实时运行信息包括所述机器人视角图像信息。
更进一步的，所述导航指引信息包括所述机器人本体1的避障信息；
所述后台管理系统3根据所述使用者视角图像信息和/或机器人视角图像信息，识别出所述机器人本体1附近的障碍物，生成所述避障信息。
进一步的，所述交互信息包括所述机器人视角图像信息。
具体的，通过反馈所述机器人视角图像信息，一方面能为使用者提供视角切换的功能，进一步的提升使用者的操纵体验；另一方面，还可以更进一步完善本发明的远程协作和远程支持功能，通过与使用者的数据共享，让远程协助人员能够更好地与在现场的使用者进行实时沟通、指导和支持。
作为一种优选实施例，所述机器人本体1的实时运行信息包括机器人状态信息，所述机器人状态信息包括所述机器人本体1的电池状态和/或运行温度和/或运行里程和/或传感器数据；
所述交互信息包括所述后台管理系统3对所述机器人状态信息进行处理分析后在所述AR眼镜2的视野中以图表形式和/或三维模型形式显示的机器人面板信息界面。
进一步的，所述导航指引信息包括路径规划信息，所述路径规划信息通过预设的导航系统根据预设的任务信息生成。
进一步的，请参阅图3以及图4，所述导航指引信息和/或操作指引信息在所述AR眼镜2的视野中以图标和/或文字和/或动画的方式呈现。
具体的，图3以及图4表示的场景为AMR或AGV在前进路线上遇到一段三岔路口的简单示例，黑色粗实线表示AMR或AGV实际发生的行驶轨迹。
作为一种优选实施例，所述交互信息包括在所述AR眼镜2的视野中呈现的虚拟按键；使用者的手势指令包括使用者对所述虚拟按键的点击操作。
作为一种优选实施例，还包括与机器人本体1和/或后台管理系统3无线连接的遥控器4。
具体的，通过补充遥控器4，让本发明可以在利用AR技术帮助使用者实现沉浸式感知的同时，兼容需要直接采用遥控器进行快速响应操作的场景。因此，所述遥控器4可以通过网络协议的方式，经由所述后台管理系统3与所述机器人本体1连接；为了追求更短的操作延时，所述遥控器4还可以如图5所示，通过蓝牙等方式直接与所述机器人本体1连接。
需要说明的是，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。本申请提供的各项功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例记载内容的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
具体的，在一种实施例中，所述后台管理系统3可以由存储有手势或语音指令识别模型或其它图像识别模型的主机或服务器实现；在另一种实施例中，所述后台管理系统3与所述机器人本体1可以集成在一起。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应当以权利要求的保护范围为准。

Claims (10)

1.一种增强现实显示及交互技术赋能自主移动机器人，其特征在于，包括机器人本体(1)、AR眼镜(2)以及后台管理系统(3)；其中：
所述AR眼镜(2)用于采集使用者视角图像信息以及使用者的语音指令，将所述使用者视角图像信息以及语音指令传输到所述后台管理系统(3)；所述使用者视角图像信息包括使用者的手势指令；从所述后台管理系统(3)接收交互信息，将所述交互信息叠加到所述AR眼镜(2)的视野中；
所述后台管理系统(3)用于获取所述机器人本体(1)的实时运行信息，根据所述实时运行信息和/或使用者的手势指令和/或语音指令，生成交互信息以及控制指令；将所述交互信息传输到所述AR眼镜(2)，将所述控制指令传输到所述机器人本体(1)。
2.根据权利要求1所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述使用者视角图像信息还包括所述机器人本体(1)在所述AR眼镜(2)的视野中的位置信息；所述交互信息包括导航指引信息和/或操作指引信息；
所述后台管理系统(3)根据所述机器人本体(1)在所述AR眼镜(2)的视野中的位置信息，确定所述导航指引信息和/或操作指引信息叠加在所述AR眼镜(2)的视野中的位置。
3.根据权利要求2所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述机器人本体(1)设有本体摄像头，所述本体摄像头用于采集机器人视角图像信息；所述机器人本体(1)的实时运行信息包括所述机器人视角图像信息。
4.根据权利要求3所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述导航指引信息包括所述机器人本体(1)的避障信息；
所述后台管理系统(3)根据所述使用者视角图像信息和/或机器人视角图像信息，识别出所述机器人本体(1)附近的障碍物，生成所述避障信息。
5.根据权利要求3所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述交互信息包括所述机器人视角图像信息。
6.根据权利要求1所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述机器人本体(1)的实时运行信息包括机器人状态信息，所述机器人状态信息包括所述机器人本体(1)的电池状态和/或运行温度和/或运行里程和/或传感器数据；
所述交互信息包括所述后台管理系统(3)对所述机器人状态信息进行处理分析后在所述AR眼镜(2)的视野中以图表形式和/或三维模型形式显示的机器人面板信息界面。
7.根据权利要求2所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述导航指引信息包括路径规划信息，所述路径规划信息通过预设的导航系统根据预设的任务信息生成。
8.根据权利要求2所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述导航指引信息和/或操作指引信息在所述AR眼镜(2)的视野中以图标和/或文字和/或动画的方式呈现。
9.根据权利要求1所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，所述交互信息包括在所述AR眼镜(2)的视野中呈现的虚拟按键；使用者的手势指令包括使用者对所述虚拟按键的点击操作。
10.根据权利要求1或3所述的增强现实显示及交互技术赋能自主移动机器人，其特征在于，还包括与机器人本体(1)和/或后台管理系统(3)无线连接的遥控器(4)。
CN202310867359.8A 2023-07-14 2023-07-14 一种增强现实显示及交互技术赋能自主移动机器人 Pending CN117008723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310867359.8A CN117008723A (zh) 2023-07-14 2023-07-14 一种增强现实显示及交互技术赋能自主移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310867359.8A CN117008723A (zh) 2023-07-14 2023-07-14 一种增强现实显示及交互技术赋能自主移动机器人

Publications (1)

Publication Number Publication Date
CN117008723A true CN117008723A (zh) 2023-11-07

Family

ID=88561162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310867359.8A Pending CN117008723A (zh) 2023-07-14 2023-07-14 一种增强现实显示及交互技术赋能自主移动机器人

Country Status (1)

Country Link
CN (1) CN117008723A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017197971A1 (zh) * 2016-05-18 2017-11-23 彭波 汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
WO2021127888A1 (zh) * 2019-12-23 2021-07-01 深圳市大疆创新科技有限公司 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
CN115185368A (zh) * 2022-06-28 2022-10-14 西安电子科技大学广州研究院 基于Hololens的移动机器人交互操作系统
CN115712383A (zh) * 2022-10-20 2023-02-24 中国人民解放军63919部队 混合现实机器人自然交互方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017197971A1 (zh) * 2016-05-18 2017-11-23 彭波 汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
WO2021127888A1 (zh) * 2019-12-23 2021-07-01 深圳市大疆创新科技有限公司 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
CN115185368A (zh) * 2022-06-28 2022-10-14 西安电子科技大学广州研究院 基于Hololens的移动机器人交互操作系统
CN115712383A (zh) * 2022-10-20 2023-02-24 中国人民解放军63919部队 混合现实机器人自然交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张凤军;戴国忠;彭晓兰;: "虚拟现实的人机交互综述", 中国科学:信息科学, no. 12, 20 December 2016 (2016-12-20) *

Similar Documents

Publication Publication Date Title
EP3178617B1 (en) Hybrid reality based i-bot navigation and control
Berg et al. Review of interfaces for industrial human-robot interaction
Sugimoto et al. Time Follower's Vision: a teleoperation interface with past images
US20160364003A1 (en) Holographic interface for manipulation
JP7180613B2 (ja) 情報処理装置および情報処理方法
CN106681354B (zh) 无人机的飞行控制方法和装置
Aivaliotis et al. An augmented reality software suite enabling seamless human robot interaction
CN107688791A (zh) 显示内容控制方法及装置、系统、存储介质和电子设备
Martín-Barrio et al. Application of immersive technologies and natural language to hyper-redundant robot teleoperation
CN103118227A (zh) 一种基于kinect的摄像机PTZ控制方法、装置和系统
Lotsaris et al. AR based robot programming using teaching by demonstration techniques
JP5776544B2 (ja) ロボットの制御方法、ロボットの制御装置、及びロボット
KR20130060952A (ko) 서비스로봇 원격제어 시스템
EP2973509B1 (en) Indicating an object at a remote location
KR20190098102A (ko) 외부 기기를 제어하기 위한 인공 지능 장치
Bolano et al. Deploying multi-modal communication using augmented reality in a shared workspace
Materna et al. Teleoperating assistive robots: a novel user interface relying on semi-autonomy and 3D environment mapping
US20120316679A1 (en) Providing remote gestural and voice input to a mobile robot
CN109032343B (zh) 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
Rivera-Pinto et al. Toward programming a collaborative robot by interacting with its digital twin in a mixed reality environment
CN109597544A (zh) 输入交互方法、装置、设备和存储介质
Fang et al. A survey on HoloLens AR in support of human-centric intelligent manufacturing
Garcia et al. Towards an immersive and natural gesture controlled interface for intervention underwater robots
CN117008723A (zh) 一种增强现实显示及交互技术赋能自主移动机器人
Wongphati et al. Gestures for manually controlling a helping hand robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination