CN104360633B - 一种面向服务机器人的人机交互系统 - Google Patents

一种面向服务机器人的人机交互系统 Download PDF

Info

Publication number
CN104360633B
CN104360633B CN201410529521.6A CN201410529521A CN104360633B CN 104360633 B CN104360633 B CN 104360633B CN 201410529521 A CN201410529521 A CN 201410529521A CN 104360633 B CN104360633 B CN 104360633B
Authority
CN
China
Prior art keywords
robot
service
layer
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410529521.6A
Other languages
English (en)
Other versions
CN104360633A (zh
Inventor
刘景泰
李高峰
郝洁
英鑫
王鸿鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infinity intelligent control (Tianjin) Intelligent Technology Co., Ltd
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201410529521.6A priority Critical patent/CN104360633B/zh
Publication of CN104360633A publication Critical patent/CN104360633A/zh
Application granted granted Critical
Publication of CN104360633B publication Critical patent/CN104360633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G05B19/4186—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication by protocol, e.g. MAP, TOP

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种面向服务机器人人机交互系统。该系统能够安装于通用的移动平台，包括但并不限于如平板电脑等智能终端。其特征是将家庭服务机器人系统划分为“执行与感知层‑信息中心层‑应用资源层”三层云架构，并通过定义每个设备的“消息文件”、“话题类型”来将每个设备封装为服务供应商，并在信息中心层维护设备列表、话题队列、消息队列等资源列表，从而将机器人等设备作为云服务提供给用户。同时又可利用云端资源如语音云、图像云来实现语音识别等多种高友好度的人机交互方式。该系统还可提供给用户由真实数据驱动的三维可视化仿真环境，既允许用户进行仿真演示，也可连接真实系统对机器人和其他设备进行控制。

Description

一种面向服务机器人的人机交互系统
技术领域
本发明涉及一种面向服务机器人人机交互系统。尤其是在家庭服务领域应用的人机交互系统
背景技术
工业机器人技术已经日趋成熟并已大量应用到了制造业。随着机器人技术的发展，家庭服务机器人正在进入高速发展的起步期。在“机器人进入家庭”的进程中，如何改善工业机器人那种单一的机器臂、冰冷的金属材质带给人心理上的不适应性是机器人走进家庭的过程中必须解决的问题。除了从外形设计和性能改善两方面改善机器人给人的印象外，良好的人机交互系统也是家服机器人得到推广和应用的重要条件。
传统的人机交互设备都是通过按钮、开关等识别用户意图，人机交互不够友好，而如果要开发如语音识别、基于图像等的手势识别等高友好度的人机交互方式，开发者需要维护庞大的语音库、图像库，并进行识别算法等的开发工作，人机交互设备的软硬件成本和时间周期都将大大提高。同时，由于这些人机交互设备是都是针对特定机器人——如PUMA、新松机器人——专门设计，因此，一旦人机交互设备制作完成，就只能执行特定种类的人机交互任务，当需要扩展新的功能时往往需要重新设计人机交互设备，扩展性差。最后，由于传统的人机交互设备都是针对特定机器人设计，不同种类机器人往往需要不同的人机交互设备，通用性差。
而基于Android、iOS平台的通用移动设备为构建通用便携、高友好度的机器人人机交互系统提供了一个有效手段。首先，智能移动终端内置了各种光照、温度等各种传感器，为开发者提供了多种多样的人机交互接口。同时，智能移动终端的图形界面与Multi-Touch触屏等交互技术可实现灵活便捷、自然高效的机器人多模态人机交互。另一方面，智能移动终端通用便捷，携带方便，可方便地接入无线网络，完成与机器人本体的交互并从服务器端及传感器端下载信息。
发明内容
有鉴于此，本发明的目的是解决现有人机交互设备的软硬件成本高，通用性差等问题，开发出一套能够安装在通用平台上的，具备良好通用性和扩展性，人机交互手段友好度高的基于Android平台的面向服务机器人的人机交互系统。
本发明提供的面向服务机器人的人机交互系统，是基于云架构进行设计的，该系统能够安装于通用的移动平台和智能终端(包括但不限于如平板电脑、手机等智能终端)。如图1所示，该系统一方面“将家庭中传感器、机器人、智能终端等设备封装为服务的提供者和请求者”，将机器人自身资源配置为云服务提供给用户。另一方面又能够基于云架构来获取云端资源，利用语音云、图像云等云端资源方便地实现如语音识别、手势识别等高友好度的人机交互方式。
上述所述的云架构是基于RaaS(Robot as a Service)思想，将家庭服务机器人系统划分为“执行与感知层-信息中心层-应用资源层”的三层云架构，一方面能将自身资源配置成云服务供用户调用，另一方面也能利用云端资源为机器人服务。其中，“执行与感知层”通过为传感器、机器人等设备设计其“消息文件”，由该“消息文件”定义该设备提供的服务的数据结构。同时，定义该设备的“话题类型”，定义该设备所能提供的服务的类型、服务ID、对应的消息文件等并在信息中心层注册，从而将家服系统中的传感器或机器人等设备封装为统一的服务接口，作为云服务提供给用户。“信息中心层”向下管理“执行与感知层”的设备和服务资源，为其提供云存储与云计算支持。向上为“应用资源层”提供服务接口，提供机器人和其他设备的各项服务，包括但并不限于如资源管理与调度、存储、计算等功能服务。在“信息中心层”维护着“执行与感知层”所能提供的“设备队列”、“话题队列”、“消息队列”等多张资源链表，管理家庭中的设备和服务等资源。人机交互设备的终端位于“应用资源层”，如图2所示，“应用资源层”主要具有三个功能：一是向“信息中心层”发起服务请求调用服务。用户通过该层接入家服系统，享受“执行与感知层”提供的各项云服务。服务的请求者可以是处于家庭中的智能终端，也可以是远程浏览器终端用户等。二是构建云端社区，形成资源共享平台。如在家庭A中的机器人设计了自动巡航的服务，而原先未开发该功能的家庭B的机器人可通过云端社区获得该项能力。三是获取大云端如语音云、图像云等资源，为机器人服务，能够利用云端资源来实现多种高友好度的人机交互方式。包括但不限于如利用语音云进行语音识别、利用图像云进行物体识别及人脸识别等。家服系统不仅可以将自身功能配置为云服务供云端用户使用，更可以利用云端丰富资源，扩展机器人能力，为机器人服务。
在上述所示的三层云架构的支持下，该系统提供给用户由真实数据驱动的三维仿真环境。该三维仿真环境的建模采用分层思想，如图3所示，首先由OpenGL ES绘制出基本形状类包，可绘制包括圆、求、矩形、立方体、圆锥等基本形状。在该类包的支持绘制第二层，即家庭环境和机器人模型的基本构成要素，如桌子、角柱、装饰体、机器人关节、转动轴等。接下来绘制第三层，由第二层的类包支持，可绘制家庭环境和机器人的基本组成单元，如里墙、外墙、地板、天花板、机器人本体、机器人左右手臂、机器人头部等，最后由第四层完成家庭环境和机器人模型的搭建，其最终显示效果如图4所示。
在上述所示的三维仿真环境，机器人位姿、手臂各关节值、摄像头位置等信息由上述所示的三层云架构的“信息中心层”提供。在“信息中心层”的真实数据驱动下，既允许用户对虚拟机器人和其他设备进行仿真演示，也可实际连接系统对机器人和其他设备进行实际控制。包括但并不限于如机器人手臂、移动底盘、家中摄像头等设备。同时，该系统既提供给用户导航盘式的控制，又允许用户直接输入对机器人各关节值、云台相机PTZ值、机器人位姿等设定值，同时可根据需要选择显示或隐藏该功能。
在上述的三维仿真环境下，本发明还提供一种由屏幕坐标系到三维世界坐标系转化的算法。其特征是建立固结于智能终端的屏幕坐标系，通过摄像机的位置和投影矩阵求解该坐标系在世界坐标系中的变换矩阵。从而根据用户点击位置在屏幕坐标系中的值反解出该点在世界坐标中的位置。进而由视点坐标和该点坐标可得一条射线方程。通过求解该射线与三维环境中物体的交点而确定用户点击的位置或坐标。
根据上述所声明的坐标转化算法，可通过求解用户点击屏幕位置与视点形成的射线方程与三维世界坐标系物体的交点，从而提供一种用户体验度很高的触控点击的交互方式，允许用户直接控制家中设备。如，通过求取该射线与地板的交点，确定用户点击的位置坐标，从而允许用户通过触控点击的方式对移动机器人设定巡视路径，并以直线及如图4中圆锥与圆球的组合体形状实时表示出巡视路线和中间路径点，允许用户对路径点进行增加、删除、更改坐标值等动态管理。
本发明的优点和有益效果：
第一，本发明中采用三层云架构体系，将家庭中的设备封装为服务的提供者和请求者，从而屏蔽掉了设备底层的差异，使得不同的设备可由统一的方式进行调用，从而提高了人机交互系统的通用性。
第二，由于本发明的人机交互系统能够安装在通用的智能移动终端，不需要专门针对某一类型机器人设计硬件，从而降低了人机交互设备的开发成本和开发周期。
第三，当家庭添加新的设备或机器人增加新的功能时，只需按照标准协议将新增加的设备或功能封装为相应的服务，而人机交互终端只需添加响应的功能模块即可，从而使得该人机交互设备具备良好的扩展性。
第四，由于本发明所声明的人机交互系统是基于云架构而设计，因此本系统能够利用云端丰富的资源，如语音云、图像云等，方便快速地开发出如语音识别、收拾识别等高友好度的人机交互方式。而不用像传统的人机交互设备一样开发类似的功能需要维护庞大的语音库，从而减少了开发成本和开发的时间周期。
第五，本发明提供的人机交互系统在云架构的支持下，能够提供三维仿真环境，既允许用户对虚拟机器人和其他设备进行仿真演示，也可实际连接系统对机器人和其他设备进行实际控制。同时，本发明还提供一种由屏幕坐标系到三维世界坐标系转化的算法以及根据算法所声明的三维物体间的碰撞检测算法允许用户通过触控点击方式对设备进行控制，提高了用户体验度。
附图说明
图1是本发明提出的基于RaaS的家庭服务机器人系统三层云架构体系。
图2是本发明提供的给予三层云架构体系的人机交互系统的架构。
图3是三维仿真环境和机器人模型的分层建模思想。
图4是三维仿真环境的界面效果图。
图5是服务的请求与响应的过程。
图6是屏幕视口平面坐标系A在世界坐标系O中的位置示意图。
图4中展示了用户可以进行巡航路径点设定和管理的界面。巡航路径表示方法如图中箭头1和箭头2所示表示。而用户可通过箭头3所示区域管理巡航路径点。
具体实施方式
实施例
基于前述云架构，本文基于RaaS模式，将机器人、传感器、智能终端等设备看做服务的请求者和提供者，并将家服机器人系统划分为“应用资源层/信息中心层/执行与感知层”三层：“执行与感知层”为服务的提供者，该层将机器人移动平台、机器人手臂及各传感器封装为各项服务，响应用户请求；“信息中心层”为系统核心，在该层构建云服务器，实现对系统各项服务和资源的管理与调度，为“执行与感知层”提供云计算和云存储支持，并将“执行与感知层”设备作为云服务提供给用户；“应用资源层”为服务的请求者，家服中任务由该层发起，通过“信息中心层”请求“执行与感知层”的各项服务。同时，在该层建立更大范围的云端社区，将大云端与小云端相结合，由小云端将机器人等设备配置为云服务供用户使用，而大云端可获取更大范围的云社区支持来为机器人服务，从而优化系统结构，实现资源的按需请求、按需分配。
本例中，“执行与感知层”的机器人及其他传感设备，均抽象为服务的提供者，称之为“服务供应商”。服务供应商提供的服务可分为两种类型：“读”服务与“写”服务。“读”服务是指服务的请求者——称之为“服务消费者”——只请求设备数据，而不对设备发出控制指令，即不修改设备数据；“写”服务是指允许服务消费者对设备发出控制指令，修改设备数据。
服务供应商以“话题(Topic)”的形式发布自己的服务，表明自己的服务类型。每个话题有其对应的“消息(Message)”。话题的本质是服务ID(参见表3的话题队列)，而消息的本质是数据结构。以机器人移动平台为例，机器人移动平台的消息定义如表1所示。
表1机器人移动平台的消息定义
Tab.1 The drfine of Robot-Mobile-Platform’s Message
“信息中心层”负责管理“执行与感知层”的设备和服务资源。本文在“信息中心层”构建了资源管理服务器，维护包括设备列表、话题队列、消息队列等多张资源链表，管理家庭中的设备、服务等资源。
设备列表如表2所示，当设备添加到系统中时，会在设备列表中为设备分配设备编号和设备ID。同时，依据该设备所能提供的服务类型，在话题队列和消息队列中添加相应话题及消息。话题队列如表3所示，消息队列如表4所示。
如图5所示，当设备激活时，会在“信息中心层”的家庭信息中心进行“话题”注册，告知信息中心该设备可提供服务，同时会定义设备的“消息”。当服务消费者请求“读”服务时，消费者会订阅该话题的消息，获取其数据。当服务消费者请求“写”服务——即向设备发出控制指令时，消费者会向该设备的话题发布一个新的消息，由该设备完成相应动作。
表2设备编号表
Tab.2 Device Number
表3话题队列
Tab.3 The queue of Topics
表4消息队列
Tab.4 The queue of Messages
如图2所示，当用户希望发起人机交互请求时，人机交互设备终端通过科大讯飞公司提供的语音云服务识别用户的语音输入或通过触控点击的方式获取用户意图，然后将用户意图解析为若干个带有先后顺序的服务请求，该服务请求发送到信息中心，由信息中心层调度执行与感知层的设备响应该用户请求，完成人机交互的过程。
本例中，由屏幕坐标系到三维世界坐标系转化的方法的一个推导实例如下：
设三维仿真环境中视点坐标为O′:(x0,y0,z0)，摄像机的朝向可由摄像机的方位角yAngle和俯仰角xAngle来表征。由此，摄像机的朝向可由视点坐标为O′:(x0,y0,z0)和如下图所示的单位圆上的点A:(cx,cy,cz)构成的射线表示。则可知屏幕所显示的视口平面为经过A:(cx,cy,cz)与单位圆相切的平面。如图6建立屏幕坐标系AxAyAzA。下面推导坐标系A相对于世界坐标系O的变换矩阵。
步骤一：首先求解坐标系A在坐标系O′(坐标系O′为三个坐标轴均与世界坐标系相平行，而原点位于视点坐标O′的坐标系)中的变换矩阵
由图中可得，坐标轴xA在坐标系O′中的投影向量为
坐标轴yA在坐标系O′中的投影向量为
坐标轴zA在坐标系O′中的投影向量为
而A点在坐标系O′中的坐标可表示为：
故，可求得坐标系A在坐标系O′中的变换矩阵
步骤二：求取坐标系O′在世界坐标系O中的变换矩阵
由于坐标系O′相对世界坐标系O只有平移变换，故：
步骤三：求取坐标系A在世界坐标系O中的变换矩阵
步骤四：求取用户点击点对应的屏幕坐标在坐标系A中的表示。
由图6所示视口平面与世界坐标系的关系，可得到由Android系统得到的屏幕坐标(xRatio,yRatio)在坐标系A中的坐标为：
故该点对应视口平面的点在世界坐标系O中的坐标为：
步骤五：因此，由该点和视点坐标O′:(x0,y0,z0)可得到直线方程：
步骤六：通过求解该直线方程与三维物体的交点，可获取用户点击的是哪个物体。从而完成对相应物体的操作。如设定巡航路径点中，求取该直线方程与地板方程x＝0的交点可获得用户希望设定的路径点的坐标，从而生成巡航路径。

Claims (2)

1.一种面向家庭服务机器人的人机交互系统，该系统能够安装于通用的移动平台和智能终端，其特征在于该系统基于Robot as a Service思想，将大云端与小云端相结合，划分家庭服务机器人系统为“执行与感知层-信息中心层-应用资源层”三层云架构；其中执行与感知层为机器人或其他非机载传感器服务的提供者和消费者；信息中心层是家庭中的小云端；信息中心层将家庭中机器人或其他非机载传感器可提供的服务提供给云端用户，同时也可根据执行与感知层需要，利用云端资源为机器人服务；应用资源层为大云端，该应用资源层构建家庭服务机器人的云端社区，形成资源共享平台；除各家庭自身可提供的云服务外，还可使用包括但不限于语音云、图像云第三方云服务；从而使家庭服务机器人既能将自身资源配置成云服务提供给用户，同时也能利用云端资源为机器人服务；
通用的移动平台和智能终端通过分层思想构建家庭环境的三维环境模型，而仿真计算或机器人及非机载传感器的真实数据在信息中心层完成，并实时驱动三维仿真环境；该三维环境模型的特点是分为三个逻辑层的面向对象的类包：基本形状类包、模型要素包、家庭环境与机器人基本单元包；由简单的类包的对象可充分完成家庭中三维环境模型的绘制，具有存储和计算量小的优点；
所述的三维仿真环境还包括一种由屏幕坐标系到三维世界坐标系转化的方法；具体是建立固结于智能终端的屏幕坐标系，通过摄像机的位置和投影矩阵求解该坐标系在世界坐标系中的变换矩阵，从而根据用户点击位置在屏幕坐标系中的值反解出该用户点击位置在世界坐标中的位置，进而由视点坐标和该点坐标得到一条射线方程，通过求解该射线与三维环境中物体的交点而确定用户点击的位置或坐标；
所述的由屏幕坐标系到三维世界坐标系转化的方法，能够通过求解用户点击屏幕位置对应的在三维世界坐标系中xOy平面对应的坐标，从而允许用户通过触控点击的方式对移动机器人设定巡视路径，并以直线及圆锥与圆球的组合体形状实时表示出巡视路线和中间路径点，允许用户对路径点进行增加、删除、更改坐标值动态管理。
2.根据权利要求1所述的面向家庭服务机器人的人机交互系统，为执行与感知层的机器人或其他非机载传感器设备设计“消息文件”，该“消息文件”本质上定义了该设备提供的服务的数据结构；为机器人或其他非机载传感器设备设计“话题类型”，该“话题类型”本质上定义了该设备所能提供的服务类型、服务ID、对应的消息文件；为信息中心层设计用于维护执行与感知层所能提供的“设备队列”、“话题队列”、“消息队列”多张资源链表，从而将家庭服务机器人系统中的机器人及其他非机载传感器设备封装为统一的服务接口。
CN201410529521.6A 2014-10-10 2014-10-10 一种面向服务机器人的人机交互系统 Active CN104360633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410529521.6A CN104360633B (zh) 2014-10-10 2014-10-10 一种面向服务机器人的人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410529521.6A CN104360633B (zh) 2014-10-10 2014-10-10 一种面向服务机器人的人机交互系统

Publications (2)

Publication Number Publication Date
CN104360633A CN104360633A (zh) 2015-02-18
CN104360633B true CN104360633B (zh) 2017-11-03

Family

ID=52527901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410529521.6A Active CN104360633B (zh) 2014-10-10 2014-10-10 一种面向服务机器人的人机交互系统

Country Status (1)

Country Link
CN (1) CN104360633B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109605373A (zh) * 2018-12-21 2019-04-12 重庆大学 基于机器人的语音交互方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10011013B2 (en) * 2015-03-30 2018-07-03 X Development Llc Cloud-based analysis of robotic system component usage
CN105034009A (zh) * 2015-09-22 2015-11-11 邱炳辉 机器人及控制方法
CN105897509B (zh) * 2016-04-08 2020-04-07 上海工程技术大学 一种基于云计算的机器人软件运行及仿真系统
CN106182027B (zh) * 2016-08-02 2019-03-12 西南科技大学 一种开放式服务机器人系统
CN106597881A (zh) * 2016-11-03 2017-04-26 深圳量旌科技有限公司 基于分布式决策算法的云服务机器人
CN106730234A (zh) * 2017-01-11 2017-05-31 上海北辰软件股份有限公司 一种智能情绪疏导系统
CN107671857B (zh) * 2017-10-11 2021-04-02 上海交通大学 用于服务机器人操作演示与算法验证的三维仿真平台
CN108345251B (zh) * 2018-03-23 2020-10-13 苏州狗尾草智能科技有限公司 机器人感知数据的处理方法、系统、设备及介质
CN109324909A (zh) * 2018-08-01 2019-02-12 武汉普利商用机器有限公司 一种基于云服务的人脸比对服务系统及方法
CN110865608A (zh) * 2019-11-21 2020-03-06 武夷学院 一种可重构制造系统
CN112099461A (zh) * 2020-11-06 2020-12-18 基点生物科技(成都)有限公司 一种基于样本库系统的自动化设备远程控制方法
CN114896654A (zh) * 2022-04-02 2022-08-12 中国石油化工股份有限公司 油气田地面工程数字化设计系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2330471A2 (de) * 2009-11-10 2011-06-08 Vorwerk & Co. Interholding GmbH Verfahren zur Steuerung eines Roboters

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100573592C (zh) * 2008-03-31 2009-12-23 北京大学 一种在图形处理器上拾取三维几何图元的方法
CN101977240A (zh) * 2010-11-15 2011-02-16 南开大学 基于iPhone智能手机的机器人人机交互系统
TW201227190A (en) * 2010-12-28 2012-07-01 Hon Hai Prec Ind Co Ltd System and method for controlling robots via cloud computing
CN102624762B (zh) * 2011-01-30 2016-01-20 深圳市腾讯计算机系统有限公司 基于云计算提升机器人软件功能的方法和云计算服务器
US8374421B1 (en) * 2011-10-18 2013-02-12 Google Inc. Methods and systems for extracting still frames from a compressed video
CN102662410B (zh) * 2012-05-24 2014-04-02 南开大学 一种面向运动目标追踪的视觉系统及其控制方法
CN103747024A (zh) * 2013-07-11 2014-04-23 弗徕威智能机器人科技（上海）有限公司 一种基于云计算的智能交互机器人系统及交互方法
CN203673356U (zh) * 2014-01-03 2014-06-25 科沃斯机器人科技(苏州)有限公司 光点指示机器人
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
CN104057458B (zh) * 2014-06-16 2015-12-02 浙江大学 一种基于体感和触摸的多轴机械臂直观控制系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2330471A2 (de) * 2009-11-10 2011-06-08 Vorwerk & Co. Interholding GmbH Verfahren zur Steuerung eines Roboters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云机器人的研究进展;张恒 等;《计算机应用研究》;20140930;第31卷(第9期);全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109605373A (zh) * 2018-12-21 2019-04-12 重庆大学 基于机器人的语音交互方法

Also Published As

Publication number Publication date
CN104360633A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104360633B (zh) 一种面向服务机器人的人机交互系统
Fonnet et al. Survey of immersive analytics
Ma et al. Digital twin enhanced human-machine interaction in product lifecycle
Chi et al. Research trends and opportunities of augmented reality applications in architecture, engineering, and construction
CN105069219A (zh) 一种基于云设计的家居设计系统
CN103544724A (zh) 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
CN104571823A (zh) 一种基于智能电视的非接触式虚拟人机交互方法
Campbell et al. Why, when and how to use augmented reality agents (AuRAs)
WO2017092430A1 (zh) 基于虚拟现实应用的用户界面控件实现方法和装置
CN104460950A (zh) 利用虚拟现实技术实现用户与虚拟对象模拟交互
CN103793219A (zh) 一种移动终端应用程序开发系统及方法
CN115063552A (zh) 智能家居布局方法、装置、智能家居布局设备及存储介质
WO2017006223A1 (en) Graphic engine for creating and executing applications with multisensory interfaces
Chen et al. Multi-touch: the future of design interaction
Zidianakis et al. A technological framework for rapid prototyping of X-reality applications for interactive 3D spaces
CN111047716B (zh) 三维场景的态势标绘方法、计算机存储介质及电子设备
CN109933195B (zh) 基于mr混合现实技术的界面立体式展示方法及交互系统
KR20230075050A (ko) Vr 전시 공간 제작을 위한 장치
Sakai et al. Interactive four-dimensional space visualization using five-dimensional homogeneous processing for intuitive understanding
Quesada-Díaz et al. Product disassembly and inspection supported by augmented reality and product lifecycle management integration
Salvador-Herranz et al. Accessibility and tangible interaction in distributed workspaces based on multi-touch surfaces
Markusiewicz ’From AR to Architecture: Searching for New Ways of Grasping the Digital’
Han Research on multi-mode human-computer interaction design evaluation system based on virtual reality technology
Lee et al. A Responsive Multimedia System (RMS): VR Platform for Immersive Multimedia with Stories

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201021

Address after: No.6, Haitai development road 6, Huayuan Industrial Zone, hi tech Zone, Binhai New Area, Tianjin

Patentee after: Infinity intelligent control (Tianjin) Intelligent Technology Co., Ltd

Address before: 300071 Tianjin City, Nankai District Wei Jin Road No. 94

Patentee before: NANKAI University