CN109032343A - 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 - Google Patents

基于视觉和力觉触觉增强现实的工业人机交互系统及方法 Download PDF

Info

Publication number
CN109032343A
CN109032343A CN201810721556.8A CN201810721556A CN109032343A CN 109032343 A CN109032343 A CN 109032343A CN 201810721556 A CN201810721556 A CN 201810721556A CN 109032343 A CN109032343 A CN 109032343A
Authority
CN
China
Prior art keywords
controlled device
app
augmented reality
collision
power feel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810721556.8A
Other languages
English (en)
Other versions
CN109032343B (zh
Inventor
陈成军
李东年
于浩
洪军
井陆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201810721556.8A priority Critical patent/CN109032343B/zh
Publication of CN109032343A publication Critical patent/CN109032343A/zh
Application granted granted Critical
Publication of CN109032343B publication Critical patent/CN109032343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行鼠标指令生成对应的设备操作指令，将设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。

Description

基于视觉和力觉触觉增强现实的工业人机交互系统及方法
技术领域
本发明涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统及方法，属于人机交互和工业测量控制领域。
背景技术
当前工业现场有很多人机界面，包括工业触摸屏、仪表等，这些人机界面通常与设备直接连接，每台设备都需要一个人机交互界面，系统集成时间长、成本高、灵活性低。
公开号为CN 107506037 A的发明专利《一种基于增强现实的控制设备的方法和装置》，该技术方案检测用户眼球聚焦一设备时，确定该设备为待识别的设备，进而用户通过智能交互方式对目标设备信息中的控制菜单进行操作。该方案必须使用户与设备位于相同的位置空间内，才能使眼球注视到被控制设备，人机交互过程依然受到空间限制，无法使人机交互摆脱空间限制随人走动，且识别图像处理过程复杂。除此之外，该技术方案的智能交互方式无法将交互有效性及时反馈给用户，即无法及时获知用户的操作是否已被系统识别。
本发明旨在发明一种基于视觉和力觉/触觉增强现实的工业人机交互系统及方法，以克服上述缺点。
发明内容
为了解决上述技术问题，本发明提供一种基于视觉和力觉触觉增强现实的工业人机交互系统，其替代传统工业的触摸屏，提高人机交互的便利性，且能够及时反馈交互的有效性。
本发明的技术方案如下：
基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；
所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
更优地，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；
被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。
更优地，所述工业人机交互系统还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；
所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；
所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；
所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；
所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。
更优地，被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。
更优地，所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
更优地，被控设备App接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。
本发明还一种基于视觉和力觉触觉增强现实的工业人机交互方法，技术方案如下：
步骤10、在增强现实智能设备上运行被控设备App，建立被控设备App与被控设备间的连接，并将被控设备App软件界面叠加在物理环境上显示；
步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；
步骤30、被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
更优地，所述步骤20中，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；
所述步骤30之后还包括步骤40：
步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。
更优地，在步骤10之前，还包括如下步骤：
步骤00、在所述增强现实智能设备上运行App管理软件，建立App管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将App管理软件界面叠加在物理环境上显示；
步骤01、App管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；
步骤02、查询该被控设备App，如存在，执行步骤10；如果不存在，执行步骤03；
步骤03、根据被控设备代号从云服务器下载并安装该被控设备App，并将被控设备代号和对应的被控设备App 名称添加到App管理软件中；
然后执行步骤10至步骤30：
所述步骤10包括：
步骤11、启动运行该被控设备App，隐藏App管理软件界面，后台运行；
步骤12、利用增强现实技术将被控设备App软件界面显叠加在物理环境上显示；
所述步骤20包括：
步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；
步骤22、根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，由所述App管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备App；
所述步骤30：被控设备App执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
更优地，鼠标指令生成过程为：将当前发生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
本发明具有如下有益效果：
1、本发明能够替代传统的工业触摸屏，节省成本，使人机交互界面随人走，提高人机交互的便利性；
2、本发明通过指尖力觉/触觉反馈设备进行人机交互，能够及时获知交互的有效性，进一步提高了人机交互的逼真度；
3、本发明通过App管理软件管理并控制被控设备App，且由App管理软件生成鼠标指令，无需再次开发被控设备App，提高人机交互系统与现有被控App的兼容性；
4、本发明实现了工业设备App的云管理，提高了便利性。
附图说明
图1为本发明实施例一和实施例三的流程示意图；
图2为本发明实施例二和实施四的流程示意图；
图3为本发明实施例二和四的人-被控设备App-被控设备交互流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，一种基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；
所述增强现实智能设备运行被控设备App，利用增强现实技术将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点；被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
更优地，在检测到碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作，进一步提高了人机交互的逼真度。
被控设备App还能接收并解析被控设备发送的信息，然后显示在其软件界面上。
所述鼠标指令的生成过程为：被控设备App将当前产生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
所述传感器可选用CCD传感器或深度传感器，但不限于这两种传感器
所述增强显示智能设备包括但不限于例如增强现实智能眼镜。增强现实智能设备包含CCD传感器、CPU、深度传感器、显示部件等，增强现实智能设备上还存储有部分被控设备APP。
本实施例的交互过程如下：
请参阅图1，步骤10、所述增强现实智能设备运行被控设备App，建立被控设备App与被控设备间的连接，利用增强现实技术将被控设备App软件界面叠加在物理环境上显示；
然后执行步骤20-步骤30，进行人-被控设备App-被控设备间的交互：
步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；
步骤30、被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
本发明中，用于控制被控设备的APP软件界面在空间上不再与被控设备绑定，摆脱了人机交互界面的空间限制，可替代传统工业的触摸屏，节省成本，是人机交互界面随人走，提高人机交互的便利性。
实施例二
本实施例解决了增强现实智能设备未能提供被控设备App这一问题，且提出利用App管理软件管理并控制被控设备APP以及指尖力觉/触觉反馈设备实现碰撞检测、人机交互。
请参阅图2和图3，本实施例中，所述工业人机交互系统，包括被控设备、增强现实智能设备、指尖力觉/触觉反馈设备以及用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；
所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；
所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；
所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；若当前显示界面为被控设备App软件界面，则所述增强现实注册模块将被控设备App软件界面叠加在物理环境中显示，若当前显示界面为App管理软件界面，则所述增强现实注册模块将App管理软件界面叠加在物理环境中显示；
所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。为了实时检测、响应指尖力觉/触觉反馈设备与被控设备App软件界面的碰撞，还可为交互模块单独开辟一个线程，若存在碰撞，以中断或消息的形式向被控设备App发送界面碰撞指令和鼠标指令。
较优地，所述交互模块周期性检测是否发生碰撞，若未检测到碰撞，则向被控设备App和指尖力觉/触觉反馈设备发送未碰撞指令；所述交互模块还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令，例如点击界面按钮、选择文本等；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
更优地，在被控设备App接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。例如，被选定的目标图片的底色为设定的颜色，或被选定的目标图片动态显示。
本实施例的交互过程如下：
请参阅图2，步骤00、在所述增强现实智能设备上运行App管理软件，建立App管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将App管理软件界面叠加在物理环境上显示；
步骤01、App管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；
步骤02、查询该被控设备App，如存在，执行步骤10；如果不存在，执行步骤03；
步骤03、根据被控设备代号从云服务器下载并安装该被控设备App，并将被控设备代号和对应的被控设备App 名称添加到App管理软件中；
所述步骤10包括：
步骤11、启动运行该被控设备App，隐藏App管理软件界面，后台运行；
步骤12、利用增强现实技术将被控设备App软件界面显叠加在物理环境上显示；
请参阅图3，所述步骤20包括：
步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；
步骤22、根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，由所述App管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备App；
所述步骤30：被控设备App执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互；
步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上；
本实施例中实现工业设备App的云管理，进一步提高了人机交互的便利性，且通过检测代理点与被控设备APP软件界面间的距离，判断是否接触以及穿透。
实施例三
请参阅图1，基于视觉和力觉触觉增强现实的工业人机交互方法，包括如下步骤：
步骤10、所述增强现实智能设备运行被控设备App，建立被控设备App与被控设备间的连接，并将被控设备App软件界面叠加在物理环境上显示；
然后执行步骤20-步骤30，进行人-被控设备App-被控设备间的交互：
步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App和指尖力觉/触觉反馈设备发送未碰撞指令，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，同时还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；
步骤30、被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互；被控设备App接收到碰撞指令后，还可以在碰撞点显示设定的图形或动画，从视觉上提示操作者；
所述鼠标指令生成过程为：将当前发生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点；
步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。
实施例四
本实施例提出利用App管理软件管理并控制被控设备APP以及指尖力觉/触觉反馈设备实现碰撞检测、人机交互，同时，降低被控设备APP软件研发难度，统一由APP管理软件生成鼠标指令。
请参阅图2，基于视觉和力觉触觉增强现实的工业人机交互方法，包括如下步骤：
步骤00、在所述增强现实智能设备上运行App管理软件，建立App管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将App管理软件界面叠加在物理环境上显示；
步骤01、App管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；
步骤02、查询该被控设备App，如存在，执行步骤10；如果不存在，执行步骤03；
步骤03、根据被控设备代号从云服务器下载并安装该被控设备App，并将被控设备代号和对应的被控设备App 名称添加到App管理软件中；
所述步骤10包括：
步骤11、启动运行该被控设备App，隐藏App管理软件界面，后台运行；
步骤12、利用增强现实技术将被控设备App软件界面显叠加在物理环境上显示；
请参阅图3，所述步骤20包括：
步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；
步骤22、根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，由所述App管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备App；
所述步骤30：被控设备App执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互；
步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上；
当需要退出被控设备App时，关闭被控设备App软件界面，显示App管理软件的界面。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；
所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
2.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；
被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。
3.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；
所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；
所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；
所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；
所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。
4.根据权利要求3所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。
5.根据权利要求1或3所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
6.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备App接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。
7.基于视觉和力觉触觉增强现实的工业人机交互方法，其特征在于，包括如下步骤：
步骤10、在增强现实智能设备上运行被控设备App，建立被控设备App与被控设备间的连接，并将被控设备App软件界面叠加在物理环境上显示；
然后执行步骤20-步骤30，进行人-被控设备App-被控设备间的交互：
步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；
步骤30、被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
8.根据权利要求7所述的基于视觉和力觉触觉增强现实的工业人机交互方法，其特征在于：所述步骤20中，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；
所述步骤30之后还包括步骤40：
步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。
9.根据权利要求7所述的基于视觉和力觉触觉增强现实的工业人机交互方法，其特征在于，在步骤10之前，还包括如下步骤：
步骤00、在所述增强现实智能设备上运行App管理软件，建立App管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将App管理软件界面叠加在物理环境上显示；
步骤01、App管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；
步骤02、查询该被控设备App，如存在，执行步骤10；如果不存在，执行步骤03；
步骤03、根据被控设备代号从云服务器下载并安装该被控设备App，并将被控设备代号和对应的被控设备App 名称添加到App管理软件中；
然后执行步骤10至步骤30：
所述步骤10包括：
步骤11、启动运行该被控设备App，隐藏App管理软件界面，后台运行；
步骤12、利用增强现实技术将被控设备App软件界面显叠加在物理环境上显示；
所述步骤20包括：
步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；
步骤22、根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，由所述App管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备App；
所述步骤30：被控设备App执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。
10.根据权利要求7或9所述的基于视觉和力觉触觉增强现实的工业人机交互方法，其特征在于，所述鼠标指令生成过程为：将当前发生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。
CN201810721556.8A 2018-07-04 2018-07-04 基于视觉和力觉触觉增强现实的工业人机交互系统及方法 Active CN109032343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810721556.8A CN109032343B (zh) 2018-07-04 2018-07-04 基于视觉和力觉触觉增强现实的工业人机交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810721556.8A CN109032343B (zh) 2018-07-04 2018-07-04 基于视觉和力觉触觉增强现实的工业人机交互系统及方法

Publications (2)

Publication Number Publication Date
CN109032343A true CN109032343A (zh) 2018-12-18
CN109032343B CN109032343B (zh) 2022-02-11

Family

ID=65522198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810721556.8A Active CN109032343B (zh) 2018-07-04 2018-07-04 基于视觉和力觉触觉增强现实的工业人机交互系统及方法

Country Status (1)

Country Link
CN (1) CN109032343B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917911A (zh) * 2019-02-20 2019-06-21 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN110134230A (zh) * 2019-04-04 2019-08-16 北京理工大学 一种虚拟现实场景中的基于手部指尖力反馈的输入系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868770A (zh) * 2007-11-19 2010-10-20 诺基亚公司 输入设备
US20150346892A1 (en) * 2010-02-23 2015-12-03 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真系统
CN105739683A (zh) * 2014-12-31 2016-07-06 意美森公司 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
CN106371573A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN106502407A (zh) * 2016-10-25 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种数据处理方法及其相关设备
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN108196686A (zh) * 2018-03-13 2018-06-22 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868770A (zh) * 2007-11-19 2010-10-20 诺基亚公司 输入设备
US20150346892A1 (en) * 2010-02-23 2015-12-03 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN105739683A (zh) * 2014-12-31 2016-07-06 意美森公司 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
CN107896508A (zh) * 2015-04-25 2018-04-10 肖泉 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN106371573A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真系统
CN106502407A (zh) * 2016-10-25 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种数据处理方法及其相关设备
CN108196686A (zh) * 2018-03-13 2018-06-22 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917911A (zh) * 2019-02-20 2019-06-21 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN109917911B (zh) * 2019-02-20 2021-12-28 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
CN110134230A (zh) * 2019-04-04 2019-08-16 北京理工大学 一种虚拟现实场景中的基于手部指尖力反馈的输入系统

Also Published As

Publication number Publication date
CN109032343B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10511778B2 (en) Method and apparatus for push interaction
CN104520849B (zh) 使用外在物理表达的搜索用户界面
KR102110811B1 (ko) Hci 시스템 및 방법
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
CN106843498B (zh) 基于虚拟现实的动态界面交互方法及装置
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
CN110517685A (zh) 语音识别方法、装置、电子设备及存储介质
CN102221881A (zh) 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
US11188145B2 (en) Gesture control systems
CN110399081A (zh) 监护设备及其显示界面布局调整方法、装置
WO2017084253A1 (zh) 一种应用于头戴设备的控制方法及头戴设备
CN103064514A (zh) 沉浸式虚拟现实系统中的空间菜单的实现方法
CN103336581A (zh) 基于人体眼动特征设计的人机交互方法及系统
CN109656359A (zh) 3d体感交互适配方法、系统、终端设备和可读存储介质
CN106843669A (zh) 应用界面操作方法和装置
CN110534109A (zh) 语音识别方法、装置、电子设备及存储介质
CN104991734B (zh) 一种对基于触屏方式的游戏实现操控的方法及装置
CN109032343A (zh) 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN108170338A (zh) 信息处理方法、装置、电子设备及存储介质
KR20210024174A (ko) 머신 인터랙션
CN113952709A (zh) 游戏交互的方法及装置、存储介质、电子设备
CN111901518A (zh) 显示方法、装置和电子设备
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
CN104484117B (zh) 人机交互方法及装置
Fuyun et al. A Natural Human-Computer Interaction Method in Virtual Roaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant