CN111784797A - 一种基于ar的机器人物联网交互方法、装置及介质 - Google Patents
一种基于ar的机器人物联网交互方法、装置及介质 Download PDFInfo
- Publication number
- CN111784797A CN111784797A CN202010605081.3A CN202010605081A CN111784797A CN 111784797 A CN111784797 A CN 111784797A CN 202010605081 A CN202010605081 A CN 202010605081A CN 111784797 A CN111784797 A CN 111784797A
- Authority
- CN
- China
- Prior art keywords
- iot
- task
- robot
- terminal equipment
- networking interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000003993 interaction Effects 0.000 title claims abstract description 51
- 230000006855 networking Effects 0.000 title claims abstract description 47
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Manipulator (AREA)
- Navigation (AREA)
Abstract
本申请公开了一种基于AR的机器人物联网交互方法、装置及介质，其中，该方法包括，获取导航路径，由于获取到的导航路径是由终端设备根据场景地图绘制得到的，而场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置，所以机器人可以在获取到IOT任务后按照预先规划好的导航路径完成，无需在机器人端配置激光雷达或者摄像头等装置，利用终端设备中内置的摄像头和IMU传感器即可实现硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。此外，也无需在机器人端配置ROS操作系统，将路径规划转移至终端设备来完成，因为用户日常使用终端设备所以操作起来更加熟练方便快捷，提高了用户的使用体验。
Description
技术领域
本申请涉及信息技术领域，特别是涉及一种基于AR的机器人物联网交互方法、装置及介质。
背景技术
增强现实(Augmented Reality，AR)，也被称为扩增现实，AR技术是一种实时计算摄像头位置和角度并在真实环境上叠加文字、图像、视频、3D模型的技术，该技术可以通过感知周围环境和预测光线方向，将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。
物联网(Internet of Things，IOT)技术是指通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能。IOT设备，即万物互联网络设备。IOT设备具有低功耗、广覆盖、多连接、成本低等特点，广泛应用于智能交通、智能家居、公共安全等多种领域。
机器人是一种能够半自主或全自主工作的智能机器，具有感知、决策、执行等基本特征。
随着物联网技术和机器人技术的发展，机器人物联网的概念被提出，通过机器人和IOT设备连接，扩展机器人的智能，达到智能化决策和操控实际物体的目的。但是现阶段机器人与IOT设备独立运行，两者之间缺少交互，且在交互过程中需要在机器人端配置ROS操作系统和用以采集数据的激光雷达或者摄像头等装置，进行可用于导航的场景地图的绘制，使得机器人的硬件构成非常复杂，硬件成本很高。
鉴于上述现有技术，寻求一种能够简化机器人硬件构成同时实现无障碍人机交互的方法是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种基于AR的机器人物联网交互方法、装置及介质。
为解决上述技术问题，本申请提供一种基于AR的机器人物联网交互方法，包括：
获取导航路径和IOT任务，其中，所述导航路径由终端设备根据场景地图绘制得到，所述场景地图根据终端设备中摄像头采集到的场景画面和所述终端设备中IMU传感器的数据设置；
接收由所述摄像头确定的当前所在位置；
从所述当前所在位置开始依据所述导航路径行进以完成所述IOT任务。
优选地，所述IOT设备的设备信息以二维码形式存储以便所述终端设备扫描所述二维码后将所述IOT设备注册到所述终端设备绘制的所述场景地图中。
优选地，所述设备信息具体包括所述IOT设备的功能信息和位置信息。
优选地，还包括：
获取充电路径；
检测当前电量；
判断所述当前电量是否小于设定值，若是，则中断所述IOT任务并依据所述充电路径到充电地点进行充电；
充电完成后继续执行所述IOT任务。
优选地，还包括：
将执行所述IOT任务的过程写入任务记录中。
优选地，还包括：
通过所述终端设备显示所述IOT任务执行进度和将要访问的IOT设备。
优选地，还包括：
当接收到任务重复性信号时，存储所述IOT任务。
为解决上述技术问题，本申请还提供一种基于AR的机器人物联网交互装置，包括：
获取模块，用于获取导航路径和IOT任务，其中，所述导航路径由终端设备根据场景地图绘制得到，所述场景地图根据终端设备中摄像头采集到的场景画面和所述终端设备中IMU传感器的数据设置；
接收模块，用于接收由所述摄像头确定的当前所在位置；
行进模块，用于从所述当前所在位置开始依据所述导航路径行进以完成所述IOT任务。
为解决上述技术问题，本申请还提供一种基于AR的机器人物联网交互装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如所述的基于AR的机器人物联网交互方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的基于AR的机器人物联网交互方法的步骤。
本申请所提供的基于AR的机器人物联网交互方法，由于获取到的导航路径是由终端设备根据场景地图绘制得到的，而场景地图根据终端设备中摄像头采集到的场景画面和终端设备中惯性测量单元(Inertial measurement unit，IMU)传感器的数据设置，所以机器人可以在获取到IOT任务后按照预先规划好的导航路径完成IOT任务，无需在机器人端配置激光雷达或者摄像头等装置，利用终端设备中内置的摄像头和IMU传感器即可实现硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。此外，也无需在机器人端配置ROS操作系统，将路径规划转移至终端设备来完成，因为用户日常使用终端设备所以操作起来更加熟练方便快捷，提高了用户的使用体验。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于AR的机器人物联网交互方法的流程图；
图2为本申请实施例提供的另一种基于AR的机器人物联网交互方法的流程图；
图3为本申请实施例提供的一种机器人任务线示意图；
图4为本申请实施例提供的一种基于AR的机器人物联网交互装置的结构示意图；
图5为本申请实施例提供的另一种基于AR的机器人物联网交互装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种基于AR的机器人物联网交互方法、装置及介质，其中，基于AR的机器人物联网交互方法利用终端设备中内置的摄像头和IMU传感器实现了硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
需要说明的是，本发明所提到的终端设备为移动或固定联网的计算设备，包括智能手机、平板电脑等产品，则对应的上述产品中包含有摄像头和IMU传感器。此外，终端设备中安装有AR应用程序，该AR应用程序可以基于Google的移动端ARCore SDK进行开发，也可以基于Apple的ARKit SDK或者Unity的ARFundation SDK等软件开发包进行开发，均不影响本技术方案的实现。终端设备可以采用普通的Android系统或者iOS系统，机器人采用可编程控制的机器人，周围环境的IOT设备包括3D打印机、湿度传感器等。终端设备、机器人与IOT设备在同一局域网中通信连接。可以理解地是，本申请中提到的基于AR的机器人物联网交互方法可以由机器人中的微控制单元(MCU)或者其它类型的控制器件来实现，均不影响技术方案的实现。
图1为本申请实施例提供的一种基于AR的机器人物联网交互方法的流程图。如图1所示，该方法包括：
S10：获取导航路径和IOT任务。
其中，导航路径由终端设备根据场景地图绘制得到，场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置。
在具体实施中，终端设备在移动过程中，其内置摄像头采集周围的场景画面，AR应用程序对场景画面中的特征点进行标记，并跟踪这些点随着时间变化的移动过程。将这些点的移动与终端设备中的IMU传感器的数据结合，估计出在终端设备移动时摄像头的位置和屏幕方向，检测出地板平面，从而可以从正确的透视角度渲染虚拟内容，并叠加到摄像头获取的场景画面上，从而还原出真实环境中的坐标系。
根据周围环境绘制出场景地图后，用户可以在AR应用程序的路径规划界面中进行导航路径的规划。需要说明的是，可以通过手绘和手持移动两种方式规划路径。手绘方式是在屏幕上手绘曲线添加机器人的导航路径。内部实现是以终端设备平面为起点，根据用户绘制过程中手指划过的点，从终端设备平面开始计算出射线，投影到目标平面上，通过连点成线，完成路径绘制。手持移动方式是用户手持终端设备，沿着期待的导航路径行走，终端设备记录下整个路径。两种方式各有优势，手绘方式适用于小范围区域，方便快捷；手持移动方式适用于较大的工作区域，更加直接。
在具体实施中，在导航路径设置完成后，用户将终端设备置于机器人上的指定位置，该位置可以是一个凹槽或者一个水平台面，本申请均不作限定。机器人通过局域网与终端设备进行通信连接，从终端设备中获取IOT任务。
S11：接收由摄像头确定的当前所在位置。
S12：从当前所在位置开始依据导航路径行进以完成IOT任务。
在具体实施中，机器人通过终端设备内置的摄像头获取当前所在位置以及当前姿势等信息，然后按照设定好的导航路径行进依次访问IOT设备并完成相应的IOT任务。
本申请实施例所提供的基于AR的机器人物联网交互方法，由于获取到的导航路径是由终端设备根据场景地图绘制得到的，而场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置，所以机器人可以在获取到IOT任务后按照预先规划好的导航路径完成IOT任务，无需在机器人端配置激光雷达或者摄像头等装置，利用终端设备中内置的摄像头和IMU传感器即可实现硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。此外，也无需在机器人端配置ROS操作系统，将路径规划转移至终端设备来完成，因为用户日常使用终端设备所以操作起来更加熟练方便快捷，提高了用户的使用体验。
在上述实施例的基础上，IOT设备的设备信息以二维码形式存储以便终端设备扫描二维码后将IOT设备注册到终端设备绘制的场景地图中。
设备信息具体包括IOT设备的功能信息和位置信息。
在具体实施中，IOT设备的设备信息具体包括其IP地址，交互协议和位置信息等，这些信息可以以二维码或条形码的形式存储，并制作成贴纸贴在IOT设备上，终端设备扫描后即可获取到相应信息，并将IOT设备注册到已建立的场景地图上，并在该设备所在位置生成一个虚拟图标，用户点击虚拟图标即可弹出功能菜单，同时在设备前方会产生指向设备的虚拟引导路线，形成可视化指引。
本申请实施例所提供的基于AR的机器人物联网交互方法，将IOT设备的设备信息以二维码形式存储，使得用户可以通过扫描直接获取到相关信息，操作起来熟练方便快捷，提高了用户的使用体验。
图2为本申请实施例提供的另一种基于AR的机器人物联网交互方法的流程图。如图2所示，在上述实施例的基础上，该方法还包括：
S13：获取充电路径。
在具体实施中，充电路径的规划与上述实施例中导航路径的规划方式相一致，因此请参见导航路径部分的实施例的描述，这里暂不赘述。
S14：检测当前电量。
S15：判断当前电量是否小于设定值，若是，则进入S16，若否，则返回S14。
S16：中断IOT任务并依据充电路径到充电地点进行充电。
S17：充电完成后继续执行IOT任务。
在具体实施中，在完成任务时，机器人会随时检测自身的状态，当电量小于设定值时，机器人将请求暂时中断任务，去附近的充电点进行充电，在完成充电后继续执行未完成的任务。
需要说明的是，设定值的目的是在机器人的电量下降至该值时提醒机器人中断IOT任务，所以该设定值可以设置成一个固定的值。
本申请实施例所提供的基于AR的机器人物联网交互方法，由于在当前电量小于设定值时机器人会暂停任务根据充电路径去充电地点进行充电，保证了机器人和IOT设备的正常交互，不会丢失没有保存的IOT任务进度，提高了用户的使用体验。
在上述实施例的基础上，该方法还包括：
将执行IOT任务的过程写入任务记录中。
在具体实施中，机器人在IOT任务执行过程中的数据会自动上传至终端设备，将任务执行过程全称记录下来，方便用户后期进行分析和任务优化。
在上述实施例的基础上，该方法还包括：
通过终端设备显示IOT任务执行进度和将要访问的IOT设备。
图3为本申请实施例提供的一种机器人任务线示意图。如图3所示，为了可视化整个工作流程，本申请还提供一种任务管理方法，所有的任务被一条任务线串联起来，任务线表示一个任务流程，显示了当前机器人任务进度和添加的任务。该任务线可以实时显示当前的任务进度和将要访问的IOT设备，用户可以编辑其中的路径，添加或删除IOT任务，设置任务完成时间、重复次数等。在任务编辑完成后，用户可以在执行任务之前在终端设备的AR应用程序中模拟一遍任务流程，整个过程以增强现实的方式呈现在终端设备界面。
本申请实施例所提供的基于AR的机器人物联网交互方法，由于可以通过终端设备显示IOT任务执行进度，便于用户及时了解任务进度以及进行任务编辑，提高了用户的使用体验。
在上述实施例的基础上，该方法还包括：
当接收到任务重复性信号时，存储IOT任务。
在具体实施中，当遇到重复性的任务时，比如把流水线上的3D打印机的打印模型搬到分拣点，用户可以将该任务设置一个任务重复性信号，当机器人接收到该信号时，将会存储IOT任务，并根据该信号的提示执行指定运行次数或者反复循环执行。
本申请实施例所提供的基于AR的机器人物联网交互方法，由于机器人可以按照用户需求重复执行或者单一执行某项任务，增强了机器人和周围的IOT设备的交互能力，从而扩展了人与周围环境的交互能力。
在上述实施例中，对于基于AR的机器人物联网交互方法进行了详细描述，本申请还提供基于AR的机器人物联网交互装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图4为本申请实施例提供的一种基于AR的机器人物联网交互装置的结构示意图。如图4所示，基于功能模块的角度，该装置包括：
第一获取模块10，用于获取导航路径和IOT任务，其中，导航路径由终端设备根据场景地图绘制得到，场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置。
接收模块11，用于接收由摄像头确定的当前所在位置。
行进模块12，用于从当前所在位置开始依据导航路径行进以完成IOT任务。
作为优选地实施方式，还包括：
第二获取模块，用于获取充电路径。
检测模块，用于检测当前电量。
判断模块，用于判断当前电量是否小于设定值。
充电模块，用于中断IOT任务并依据充电路径到充电地点进行充电。
执行模块，用于充电完成后继续执行IOT任务。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请所提供的基于AR的机器人物联网交互装置，由于获取到的导航路径是由终端设备根据场景地图绘制得到的，而场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置，所以机器人可以在获取到IOT任务后按照预先规划好的导航路径完成IOT任务，无需在机器人端配置激光雷达或者摄像头等装置，利用终端设备中内置的摄像头和IMU传感器即可实现硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。此外，也无需在机器人端配置ROS操作系统，将路径规划转移至终端设备来完成，因为用户日常使用终端设备所以操作起来更加熟练方便快捷，提高了用户的使用体验。
图5为本申请另一实施例提供的基于AR的机器人物联网交互装置的结构图，如图5所示，基于硬件结构的角度，该装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例中基于AR的机器人物联网交互方法的步骤。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的基于AR的机器人物联网交互方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于IOT设备的位置信息等。
在一些实施例中，还可以包含有总线22可以是外设部件互连标准(peripheralcomponent interconnect，简称PCI)总线或扩展工业标准结构(extended industrystandard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图5中示出的结构并不构成对基于AR的机器人物联网交互装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的基于AR的机器人物联网交互装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：获取导航路径，导航路径是由终端设备根据场景地图绘制得到的，而场景地图根据终端设备中摄像头采集到的场景画面和终端设备中IMU传感器的数据设置，所以机器人可以在获取到IOT任务后按照预先规划好的导航路径完成IOT任务，无需在机器人端配置激光雷达或者摄像头等装置，利用终端设备中内置的摄像头和IMU传感器即可实现硬件装置的重复使用，简化了机器人的硬件构成，降低了硬件成本。此外，也无需在机器人端配置ROS操作系统，将路径规划转移至终端设备来完成，因为用户日常使用终端设备所以操作起来更加熟练方便快捷，提高了用户的使用体验。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的一种基于AR的机器人物联网交互方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于AR的机器人物联网交互方法，其特征在于，包括：
获取导航路径和IOT任务，其中，所述导航路径由终端设备根据场景地图绘制得到，所述场景地图根据终端设备中摄像头采集到的场景画面和所述终端设备中IMU传感器的数据设置；
接收由所述摄像头确定的当前所在位置；
从所述当前所在位置开始依据所述导航路径行进以完成所述IOT任务。
2.如权利要求1所述的基于AR的机器人物联网交互方法，其特征在于，所述IOT设备的设备信息以二维码形式存储以便所述终端设备扫描所述二维码后将所述IOT设备注册到所述终端设备绘制的所述场景地图中。
3.如权利要求2所述的基于AR的机器人物联网交互方法，所述设备信息具体包括所述IOT设备的功能信息和位置信息。
4.如权利要求1所述的基于AR的机器人物联网交互方法，其特征在于，还包括：
获取充电路径；
检测当前电量；
判断所述当前电量是否小于设定值，若是，则中断所述IOT任务并依据所述充电路径到充电地点进行充电；
充电完成后继续执行所述IOT任务。
5.如权利要求1所述的基于AR的机器人物联网交互方法，其特征在于，还包括：
将执行所述IOT任务的过程写入任务记录中。
6.如权利要求1所述的基于AR的机器人物联网交互方法，其特征在于，还包括：
通过所述终端设备显示所述IOT任务执行进度和将要访问的IOT设备。
7.如权利要求1至6任一项所述的基于AR的机器人物联网交互方法，其特征在于，还包括：
当接收到任务重复性信号时，存储所述IOT任务。
8.一种基于AR的机器人物联网交互装置，其特征在于，包括：
获取模块，用于获取导航路径和IOT任务，其中，所述导航路径由终端设备根据场景地图绘制得到，所述场景地图根据终端设备中摄像头采集到的场景画面和所述终端设备中IMU传感器的数据设置；
接收模块，用于接收由所述摄像头确定的当前所在位置；
行进模块，用于从所述当前所在位置开始依据所述导航路径行进以完成所述IOT任务。
9.一种基于AR的机器人物联网交互装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的基于AR的机器人物联网交互方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于AR的机器人物联网交互方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605081.3A CN111784797A (zh) | 2020-06-29 | 2020-06-29 | 一种基于ar的机器人物联网交互方法、装置及介质 |
| PCT/CN2020/112502 WO2022000757A1 (zh) | 2020-06-29 | 2020-08-31 | 一种基于ar的机器人物联网交互方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010605081.3A CN111784797A (zh) | 2020-06-29 | 2020-06-29 | 一种基于ar的机器人物联网交互方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784797A true CN111784797A (zh) | 2020-10-16 |
Family
ID=72760190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010605081.3A Pending CN111784797A (zh) | 2020-06-29 | 2020-06-29 | 一种基于ar的机器人物联网交互方法、装置及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111784797A (zh) |
| WO (1) | WO2022000757A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346459A (zh) * | 2020-11-04 | 2021-02-09 | 深圳优地科技有限公司 | 机器人运行方法、装置、机器人及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866706A (zh) * | 2012-09-13 | 2013-01-09 | 深圳市银星智能科技股份有限公司 | 一种采用智能手机导航的清扫机器人及其导航清扫方法 |
| CN107092264A (zh) * | 2017-06-21 | 2017-08-25 | 北京理工大学 | 面向银行厅堂环境的服务机器人自主导航与自动充电方法 |
| CN108594692A (zh) * | 2017-12-18 | 2018-09-28 | 深圳市奇虎智能科技有限公司 | 一种清洁设备控制方法、装置、计算机设备和存储介质 |
| WO2019209882A1 (en) * | 2018-04-23 | 2019-10-31 | Purdue Research Foundation | Augmented reality interface for authoring tasks for execution by a programmable robot |
| WO2019218880A1 (zh) * | 2018-05-16 | 2019-11-21 | Oppo广东移动通信有限公司 | 识别交互方法、装置、存储介质及终端设备 |
| CN110543170A (zh) * | 2019-08-21 | 2019-12-06 | 广东博智林机器人有限公司 | 机器人的充电控制方法、装置及具有其的机器人 |
| CN110554699A (zh) * | 2019-08-26 | 2019-12-10 | 广东博智林机器人有限公司 | 机器人的控制系统及控制方法 |
| CN110908380A (zh) * | 2019-11-29 | 2020-03-24 | 国网智能科技股份有限公司 | 一种电缆隧道机器人自主巡检方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459597B (zh) * | 2017-07-26 | 2024-02-23 | 炬大科技有限公司 | 一种用于处理任务区域的任务的移动电子设备以及方法 |
| CN108769113B (zh) * | 2018-04-18 | 2019-03-26 | 特斯联（北京）科技有限公司 | 一种用于物联网巡回维护的机器人设备及其管理系统 |
| CN109460040A (zh) * | 2018-12-28 | 2019-03-12 | 珠海凯浩电子有限公司 | 一种通过手机拍摄照片识别地板建立地图系统及方法 |
-
2020
- 2020-06-29 CN CN202010605081.3A patent/CN111784797A/zh active Pending
- 2020-08-31 WO PCT/CN2020/112502 patent/WO2022000757A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866706A (zh) * | 2012-09-13 | 2013-01-09 | 深圳市银星智能科技股份有限公司 | 一种采用智能手机导航的清扫机器人及其导航清扫方法 |
| CN107092264A (zh) * | 2017-06-21 | 2017-08-25 | 北京理工大学 | 面向银行厅堂环境的服务机器人自主导航与自动充电方法 |
| CN108594692A (zh) * | 2017-12-18 | 2018-09-28 | 深圳市奇虎智能科技有限公司 | 一种清洁设备控制方法、装置、计算机设备和存储介质 |
| WO2019209882A1 (en) * | 2018-04-23 | 2019-10-31 | Purdue Research Foundation | Augmented reality interface for authoring tasks for execution by a programmable robot |
| WO2019218880A1 (zh) * | 2018-05-16 | 2019-11-21 | Oppo广东移动通信有限公司 | 识别交互方法、装置、存储介质及终端设备 |
| CN110543170A (zh) * | 2019-08-21 | 2019-12-06 | 广东博智林机器人有限公司 | 机器人的充电控制方法、装置及具有其的机器人 |
| CN110554699A (zh) * | 2019-08-26 | 2019-12-10 | 广东博智林机器人有限公司 | 机器人的控制系统及控制方法 |
| CN110908380A (zh) * | 2019-11-29 | 2020-03-24 | 国网智能科技股份有限公司 | 一种电缆隧道机器人自主巡检方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346459A (zh) * | 2020-11-04 | 2021-02-09 | 深圳优地科技有限公司 | 机器人运行方法、装置、机器人及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022000757A1 (zh) | 2022-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4006847A1 (en) | Virtual object processing method and apparatus, and storage medium and electronic device | |
| CN110926334B (zh) | 测量方法、装置、电子设备及存储介质 | |
| US11769306B2 (en) | User-exhibit distance based collaborative interaction method and system for augmented reality museum | |
| KR20220028042A (ko) | 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN106325509A (zh) | 三维手势识别方法及系统 | |
| CN104781849A (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
| CN107885871A (zh) | 基于云计算的同步定位与地图构建方法、系统、交互系统 | |
| CN115578433B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN112965592A (zh) | 设备交互方法、装置及系统 | |
| WO2022088613A1 (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
| CN111784797A (zh) | 一种基于ar的机器人物联网交互方法、装置及介质 | |
| CN111872928B (zh) | 一种障碍物属性判别方法、系统及智能机器人 | |
| CN103903253A (zh) | 一种可移动终端定位方法及系统 | |
| CN110163580B (zh) | 多任务vr培训场景的创建方法、vr培训系统以及存储介质 | |
| CN112017202B (zh) | 点云标注方法、装置及系统 | |
| JP7375149B2 (ja) | 測位方法、測位装置、ビジュアルマップの生成方法およびその装置 | |
| CN116523738A (zh) | 一种任务触发方法、装置、存储介质以及电子设备 | |
| EP4394706A1 (en) | Spatial positioning method and apparatus | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN115082690B (zh) | 目标识别方法、目标识别模型训练方法及装置 | |
| CN115578432A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115657494A (zh) | 虚拟对象仿真方法、装置、设备及存储介质 | |
| CN114241046A (zh) | 数据标注方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201016 |