CN113849066A - 一种信息无障碍交互装置、系统、方法及存储介质 - Google Patents

一种信息无障碍交互装置、系统、方法及存储介质 Download PDF

Info

Publication number
CN113849066A
CN113849066A CN202111098672.7A CN202111098672A CN113849066A CN 113849066 A CN113849066 A CN 113849066A CN 202111098672 A CN202111098672 A CN 202111098672A CN 113849066 A CN113849066 A CN 113849066A
Authority
CN
China
Prior art keywords
interaction
information
information barrier
free
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111098672.7A
Other languages
English (en)
Inventor
姚登峰
邱肖天
邱云峰
王忠泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuhui Technology Nanjing Co ltd
Original Assignee
Yuhui Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuhui Technology Nanjing Co ltd filed Critical Yuhui Technology Nanjing Co ltd
Priority to CN202111098672.7A priority Critical patent/CN113849066A/zh
Publication of CN113849066A publication Critical patent/CN113849066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种信息无障碍交互装置、系统、方法及存储介质,所述交互装置载体为智能戒指,所述智能戒指主要由处理器、存储器、触摸区、蓝牙芯片、惯性测量单元、NFC模块、电池组成。所述交互方法利用可穿戴设备,无需用户手持外设或佩戴复杂设置即可进行交互,并且使得交互不再受限于设备的体积、尺寸等。利用交互装置自带传感器,可以达到丰富的交互形式,扩大交互信道。该方法可以提供给用户直观的交互感受,有利于其在基于AR技术实现的信息无障碍终端或设备上使用。利用本发明的信息无障碍终端或设备的人机交互方法,用户在交互装置上进行触碰式手势,易于准确地找到要触摸的位置,用户能够轻松地记住特定操作对应的手势。

Description

一种信息无障碍交互装置、系统、方法及存储介质
技术领域
本发明涉及可穿戴设备技术领域,总体地涉及使用AR眼镜和智能戒指的人机交互装置及方法,特别涉及一种与信息无障碍终端或设备的交互方法、交互装置、系统及一种存储介质。
背景技术
目前,越来越多的信息无障碍终端或设备逐渐从概念化走向商用化,其中大部分基于AR(Augmented Reality,增强现实)技术来实现,AR是一种将真实世界信息和虚拟世界信息无缝集成的技术,AR技术可以在在屏幕上把虚拟世界套在现实世界并进行互动。
目前要选择信息无障碍终端或设备显示的信息一般有两种方法:
1、信息无障碍终端或设备在向小型、轻便、无线方向发展,对于一部分现有信息无障碍终端或设备,没有或只有简单的交互功能(如调节音量),信息无障碍终端或设备需要与计算处理终端进行连接通讯,通讯方式可以为WIFI通信、蓝牙通信或者USB通信。计算处理终端包括但不局限于智能手机、平板、笔记本电脑、台式计算机等,用户使用计算处理终端来操作信息无障碍终端或设备,来完成选择和显示信息。
但这些计算处理终端存在着交互体验性差等缺点:
A、用户需要一边低头看手机、笔记本电脑、平板、嵌入式终端等计算处理终端,一边抬头看周围环境,对颈椎压迫生产生了极大影响,直接对身体健康产生巨大威胁,如果长时间保持低头的姿势,颈椎就会承受额外的压力,造成颈椎劳损,累积到一定程度会引发颈椎变形、神经压迫、胸闷和头晕等颈椎病症状,病情严重的会引发瘫痪而不得不进行手术治疗进行脊髓减压。因此这种传统的方法造成体验性较差,对人体健康有较大的影响。
B、计算处理终端一般尺寸较大,如台式机无法便携移动,无法随时在户外进行操作,即使便携,如平板、手机,频繁取出平板或手机并进行操作不够方便和安全(如骑车、开车环境)。即使像嵌入式终端这样的计算处理终端能解决以上问题,但它直接限制了信息无障碍终端或设备成为一种独立于计算处理终端的可穿戴设备的可能性。
2、直接在信息无障碍终端或设备上设计触摸区,借此实现高灵敏触控交互(支持手套模式),或者设计物理按钮,通过硬按键来实现功能选择,从而完成交互。但是基于AR(Augmented Reality,增强现实)技术来实现的信息无障碍终端或设备一般体积小,表面积小,点击或触摸信息无障碍终端或设备本身需要用户在操作时准确地找到信息无障碍终端或设备上要点击的表面,根据用户反馈,该过程需要集中注意并显著降低了用户操作的准确性(有可能触碰到其他位置)。 信息无障碍终端或设备较轻,固定不牢固,点击和触摸操作会影响信息无障碍终端或设备在头部的位置,使得信息无障碍终端或设备松动甚至容易脱落。信息无障碍终端或设备的小型化本身限制了交互操作的面积和可扩展性,根据费兹定律,还会延长用户做操作的时间或降低操作准确度。
此外,也有直接在信息无障碍终端或设备上使用智能语音识别或者手势识别来实现交互,但该技术要求信息无障碍终端或设备内置麦克风或者摄像头,增加了成本,而且麦克风或者摄像头能检测的语音或手势只限于简单和离散的语音或手势,考虑到语音/手势识别和人工智能目前的发展水平,该类方案还不能稳定可靠地完成交互任务,无法完全实现基于语音对信息无障碍终端或设备的完全控制和手对脸手势的人机交互,从而导致人机交互效率不高,使用场景偏少。
因此,如何实现高效地与信息无障碍终端或设备进行交互,便捷地实现对信息无障碍终端或设备进行控制,提高信息无障碍终端或设备交互的灵活性是本领域技术人员目前需要解决的技术问题。
发明内容
针对现有技术中存在的问题,本发明的主要目的在于提供一种信息无障碍终端或设备的装置及交互方法,提高人机交互效率和便捷性,解决用户体验性差的问题,尤其针对特殊人群,例如老年人群和听障人群,本发明能比较完美地解决其信息无障碍选择和接收问题,使用户能及时跟周围人与环境进行交流沟通,使用户在任何情况下都能平等地、方便地、无障碍地获取信息、利用信息,从而填平数字鸿沟,帮助包括特殊群体在内的用户融入信息社会。本发明可实现用户根据自身需要和环境交流需要,自主选择和沉浸式接收信息,使用户不用低头就能看到相关信息,提高用户自身的安全系数。
为了实现上述目的,本发明实施例提供一种基于智能戒指的信息无障碍交互装置,其特征在于所述交互装置载体为智能戒指,所述智能戒指主要由处理器、存储器、触摸区、无线通讯模块、惯性测量单元、NFC模块、电池组成;
所述处理器用于判断采集到的物理信号能否换算成交互操作命令,及换算后的交互操作命令是否在预定类型范围内,当确定所述物理信号能换算成交互操作命令,以及确定所述交互操作命令在预定类型范围内,按照预设的换算算法将所述物理信号换算成交互操作命令,否则忽略所述物理信号,并重新采集物理信号;
所述存储器用于存储程序,所述程序被所述处理器执行时,实现所述交互装置与所述信息无障碍终端或设备的交互;
所述触摸区用于支持触控交互,收集用户触碰式手势产生的物理信号;
所述无线通讯模块用于与信息无障碍终端或设备进行全双工无线双向通讯;
所述惯性测量单元用于检测智能戒指的旋转方向;
所述NFC模块用于支持NFC通信,向信息无障碍终端或设备发送关于用户的识别信息;
所述电池为交互装置提供电源。
可选地,所述智能戒指上还集成了除所述触摸区和惯性测量单元以外的其他输入元件,所述其他输入元件包括但不限于旋钮。
优选地,所述触摸区包括触觉感应器、力传感器。
优选地,所述惯性测量单元包括三轴加速度计、陀螺仪。
为了实现上述发明目的,本发明实施例还提供一种信息无障碍交互方法,其特征在于包括如下步骤:
建立信息无障碍终端或设备与交互装置之间的通讯连接;
所述交互装置利用自带传感器检测人手在交互装置区域做出的触碰式手势,并换算成交互操作命令传送到所述信息无障碍终端或设备;
当所述信息无障碍终端或设备接收所述交互操作命令,根据预设的操作指令集,确定与所述交互操作命令对应的业务操作,执行预定的控制。
优选地,所述触碰式手势包括但不限于单击触摸区、双击触摸区、三连击触摸区、左右旋转智能戒指、上划动触摸区、下划动触摸区、摁住然后上下滑动、长按触摸区2秒以上,所述触碰式手势可通过单指操作、双指操作或三指操作实现。
优选地,所述交互操作命令包括但不限于:单击、双击、三连击、向左滑动、向右滑动、向上滑动、向下滑动、长按2秒。
优选地,所述预设的操作指令集包括但不限于如下操作指令:信息上下翻页、功能左右选择、摄像头拍照、摄像头录像、显示语音识别及机器翻译后的信息、显示地图导航信息、查看通知消息。
为实现上述发明目的,本发明实施例还提供了一种交互装置可读存储介质,其特征在于所述可读存储介质存储有至少一个程序,所述至少一个程序可被所述交互装置的处理器执行,以实现所述信息无障碍交互方法的步骤。
为实现上述发明目的,本发明实施例还提供了一种信息无障碍交互系统,其特征在于包括信息无障碍终端或设备及所述的交互装置,所述信息无障碍终端或设备与所述交互装置通信连接,以所述交互装置作为交互输入设备,所述交互设备通过识别用户的触碰式手势以进行对信息无障碍终端或设备的输入和控制。
本发明的交互装置能够准确地检测到手势动作的有无并准确地对手势动作进行识别;在诸如功能选择、摄像头拍照、查看信息等场景中,本发明的交互装置的响应速度平均上显著快于直接在信息无障碍终端或设备进行操作的情况、传统的手机等计算处理终端从兜里掏出和从桌上拿起的两种情况。
本发明提供的基于智能戒指的信息无障碍交互方法利用可穿戴设备,无需用户手持外设或佩戴复杂设置即可进行交互,并且使得交互不再受限于设备的体积、尺寸等。利用交互装置自带传感器,可以达到丰富的交互形式,扩大交互信道。该方法可以提供给用户直观的交互感受,有利于其在基于AR技术实现的信息无障碍终端或设备上使用。利用本发明的信息无障碍终端或设备的人机交互方法,用户在交互装置上进行触碰式手势,易于准确地找到要触摸的位置,用户能够轻松地记住特定操作对应的手势。
与现有技术相比,本发明具有如下有益效果:
1、保护用户隐私
目前基于AR技术实现的信息无障碍终端或设备,其操作方式不够人性化,交互不自然,在公共场合使用时容易给用户造成心理压力,尤其是对于听障等特殊群体。本发明不需要对信息无障碍终端或设备做外观和操作方式改造,从外观上看没有特殊性,但用户操作时,不需要频繁在信息无障碍终端或设备上做操作,更不需要在计算处理终端完成操作,只需操作交互装置即可,极具隐蔽性,避免了用户需要频繁操作信息无障碍终端或设备的尴尬,更能保护用户隐私,特别是残疾人、老年人隐私,从而起到尊重残疾人、保护残疾人的作用,使残疾人、老年人等特殊群体更有尊严的体验现代科技,更加体面地生活。因此与以往信息无障碍终端或设备相比,本发明更具优势。
2、用户体验性好
以往在信息无障碍终端或设备上进行操作时,用户需要集中注意力寻找触摸区或者物理按钮,用户需要精神高度紧张,且很容易误碰其他位置,再加上信息无障碍终端或设备空间受限,其触摸区或者物理按钮没办法做大,造成用户体验感差。根据本发明示例性实施例,本发明了采用了与空间最自然的交互方式——手指操作,使用手指完成物理动作,实现人机交互功能,在此基础上设计了基于智能戒指的信息无障碍交互方法,它使用成熟的触摸交互方式,交互效率高,有效降低了用户操作的难度,便于用户自由选择信息,提高了用户的使用体验。同时交互反馈及时,有效降低了操作的难度,便于改善用户出差、出国旅游等众多场景的体验,同时本发明基于通用设计和普适设计,针对其他人群做了扩展和优化,使本发明的用户体验性较好,对听障人群和健听人群等所有群体都达到了人机交互友好性。
3、增加用户效率
由于本发明的交互方式自然,用户只需在交互装置上轻轻完成触碰式手势,就能准确地完成信息无障碍终端或设备的操作,且反馈及时,避免了操作不确定性,减轻了用户的记忆负担,使得用户对信息无障碍终端或设备的操作和管理更为方便迅捷,进而使得用户能够很好地进入沉浸式学习或工作过程,摒弃外界环境的影响,便于用户全身心地投入接收信息工作,集中注意力关注接收到的信息内容,极大地提高学习或工作的质量和效果。
附图说明
图1是本发明的交互系统示意图;
图2是本发明实施例的利用触碰方式进行信息无障碍交互的单手操作使用场景示意图;
图3是本发明实施例的利用触碰方式进行信息无障碍交互的双手操作使用场景示意图;
图4是本发明实施例的使用交互装置与信息无障碍终端或设备进行交互的人机交互方法的总体流程图。
具体实施方式
以下结合附图和具体实施例对本发明技术方案作进一步详细说明。
除非特别说明,本文中的“交互方式”指用户佩戴信息无障碍终端或设备和交互装置的场景下,通过用手部(包括手的任何部分,如手指、手掌和手背)在交互装置上触碰交互(包括但不限于滑动、点击、拍击、敲击、抓挠、旋转等)来输入和控制信息无障碍终端或设备的交互方式。
本发明使用交互装置内自带的传感器(如交互装置内的触摸区、惯性测量单元等)采集交互手势的物理信号并最终通过相关处理模块实现交互操作的基本原理。
针对背景技术中提出的问题,发明人原创性地提出了利用对交互装置上的触摸区域的触碰式操作、藉由交互装置进行人机交互操作的设计方案。该设计方案包括:用户在交互装置上做特定手势;使用交互装置本身的传感器(如触摸区、惯性测量单元)接受物理信号(滑动、振动、旋转等);简单信号处理后,使用分类装置的存储介质自带的分类算法对物理信号进行分类和换算;将换算结果发送给信息无障碍终端或设备以执行交互操作命令。
实施例一
本实施例提供一种基于智能戒指的信息无障碍交互装置,如图1所示,所述交互装置载体为智能戒指,智能戒指主要由处理器、存储器、触摸区(触觉感应器、力传感器)、蓝牙芯片、惯性测量单元(三轴加速度计、陀螺仪)、NFC模块、电池等组成。
其中,处理器用于按照预设的分类和换算算法,判断采集到的物理信号能否换算成交互操作命令,及换算后的交互操作命令是否预定类型,在确定所述物理信号可换算成交互操作命令时,以及确定所述交互操作命令在预定类型范围内,按照预设的换算算法将所述物理信号换算成交互操作命令,否则忽略所述物理信号,并重新采集物理信号。
所谓的分类和换算算法,是一种多传感器采集信号的融合算法。各种传感器性能各有优劣,在不同的应用场景里都可以发挥独特的优势,仅依靠单一或少数传感器难以完成无障碍交互的使命。
例如,触摸区传感器包括触觉感应器、力传感器,可以收集用户触碰式手势产生的物理信号;惯性测量单元包括三轴加速度计、陀螺仪,可以收集智能戒指的旋转信号。触觉感应器检测到人手接触时,激发力传感器、三轴加速度计、陀螺仪三个等待手部下一步输入,与设定的触摸有效阈值进行比较,力传感器则判断手部是否发生碰击操作,以此来判断是否有单击、双击、三击、长按2秒等操作。否则就判断手指移动情况,借此获取手指轨迹,可以判断向左滑动、向右滑动等操作。若检测到三轴加速度计、陀螺仪的信号有变化,则可以判断是向左旋转或者向右旋转等手势。根据设计要求,还可赋予向左滑动是切换眼镜的功能,向左旋转是激发照相的快捷方式等。本领域技术人员有能力根据不同传感器组合和具体交互需求来实现多传感器融合,具体融合算法不在本发明讨论范围。
存储器用于存储程序,该程序被所述处理器执行时,实现所述交互装置与所述信息无障碍终端或设备的交互。
触摸区包括触觉感应器和力传感器,用于支持触控交互,收集用户的触碰式手势的物理信号。触摸区工作原理是利用人体接近触摸板时,感应电路板和地之间的电容值发生改变,传感器芯片检测到电容值的改变,通过软件算法滤除干扰信号,计算出有效的信号强度,与设定的触摸有效阈值进行比较,从而判断出是否有触摸发生以及动作类型,系统根据检测结果执行对应的功能,比如单击、滑动。 触摸板的控制IC检测出电容改变量,转换成坐标,借由电容感应来获知手指移动情况,对手指热量并不敏感。当手指接触到板面时,板面上的静电场会发生改变。触摸板传感器只是一个印在板表面上的手指轨迹传导线路,触摸板会不停地测量和报告出此轨迹,从而探知手指的动作和位置。
本实施例中智能戒指通过蓝牙方式与信息无障碍终端或设备连接,采用蓝牙芯片与信息无障碍终端或设备进行全双工无线双向通讯。智能戒指还可以采用wifi、红外等无线通讯方式与信息无障碍终端或设备进行通讯,本发明并不以此为限。
惯性测量单元(包括三轴加速度计、陀螺仪)用于检测戒指旋转方向。
NFC模块用于支持NFC通信,向信息无障碍终端或设备发送关于用户的识别信息。
可选地,在这种智能戒指上添加旋钮和其他输入元件,来增强它的控制功能。
图2和图3示出了根据本发明实施例的利用手指触碰方式进行信息无障碍终端或设备交互的使用场景示意图。图中用户头部佩戴信息无障碍终端或设备,手部佩戴交互装置,以手指触碰交互装置的触摸区区域,藉此控制信息无障碍终端或设备等。
如图2所示,若用户为右利手用户,用户可将智能戒指戴在右手食指上,右手大拇指在戒指上进行触摸和碰击等操作,也可用右手大拇指旋转戒指,进行旋转和碰击等操作,以完成单手操作,实现智能戒指的交互功能,反之亦然。
如图3所示,若用户为右利手用户,用户可将将智能戒指戴在右手食指上,左手大拇指和食指来操纵戒指,进行触摸、旋转、碰击等操作,实现双手操作,完成智能戒指的交互功能。
实施例二
本实施例基于上述交互装置提供一种信息无障碍交互系统,如图1所示,包括信息无障碍终端或设备及所述以智能戒指为载体的交互装置,所述信息无障碍终端或设备与所述交互装置通信连接,以所述交互装置作为交互输入设备,所述交互设备通过识别用户的触碰式手势以进行对信息无障碍终端或设备的输入和控制。
所述信息无障碍终端或设备基于增强现实技术将计算处理信息与用户所处真实环境进行叠加显示,所述计算处理信息包括运动健康管理、语音识别及机器翻译、地图导航等功能的数据处理结果。
其中,所述运动健康管理、语音识别及机器翻译、地图导航等功能均可基于信息无障碍终端或设备实现。所述运动健康管理、语音识别及机器翻译、地图导航等功能也可基于计算处理终端实现,计算处理终端包括但不局限于智能手机、平板、笔记本电脑、台式计算机等。
实施例三
本实施例提供一种信息无障碍交互方法,所述方法包括如下步骤:
建立信息无障碍终端或设备与交互装置之间的无线连接;
在用户佩戴上信息无障碍终端或设备和交互装置的情况下,交互装置利用自带传感器检测人手在交互装置区域做出的触碰式手势,经过换算后变成交互操作命令,并传送到信息无障碍终端或设备;
信息无障碍终端或设备接收到用户输入的交互操作命令,并根据预设的操作指令集,确定与所述交互操作命令对应的业务操作,执行预定的控制。
其中,所述触碰式手势包括但不限于:单击触摸区、双击触摸区、三连击触摸区、左右旋转戒指、上划动触摸区、下划动触摸区、摁住然后上下滑动、长按2秒以上,且以上手势均可基于单指、双指或三指操作来完成;所述交互操作命令包括但不局限于:单击、双击、三连击、向左滑动、向右滑动、向上滑动、向下滑动、长按2秒;所述预设的操作指令集包括但不局限于:信息上下翻页、功能左右选择、摄像头拍照、摄像头录像、显示语音识别及机器翻译后的信息、显示地图导航信息、查看通知消息等。
图4示出了一具体实施例的使用交互装置与信息无障碍终端或设备进行交互的人机交互方法的总体流程图。 如图4所示,包括如下步骤:
首先,建立交互装置与信息无障碍终端或设备之间的无线连接。
用户佩戴信息无障碍终端或设备和交互装置,信息无障碍终端或设备检测是否与交互装置之间建立了正常通讯连接,若信息无障碍终端或设备未检测到交互装置,则提示未连接交互装置的信息,用户收到此信息后,则去检查交互装置是否连接正常,直至信息无障碍终端或设备与交互装置之间连接正常。
根据用户习惯区分单手和双手操作,例如右利手用户可以将交互装置佩戴在右手食指上,用大拇指来完成操作,达到单手操作的效果,而左利手用户则正好相反。本发明并不限定使用双手操作,可以将交互装置固定在食指上,通过左手和/或右手的手势运动、左手和/或右手各部位的位置等,或身体的任意部位例如脚掌、肘部、膝盖等的运动进行输入操作。
然后,用户在交互装置上完成触碰式操作,交互装置利用自带传感器检测人手在交互装置上做出的触碰式手势的物理信号,对触碰式手势物理信号进行分类和换算,判断所述物理信号能否换算成交互操作命令,及换算后的交互操作命令是否在预定类型范围内,以此判断用户是否做出了预定的手势类型。
在实际操作中,可以通过大拇指将交互操作面定位在交互装置上触摸区的表面,也可以通过大拇指来上下滚动交互装置,或大腿、腹部等身体表面来触碰交互装置上触摸区,以进行公开的或隐秘的交互操作,这些触碰式操作手势包括但不限于单击触摸区、双击触摸区、三连击触摸区、左右旋转戒指、上划动触摸区、下划动触摸区、摁住然后上下滑动、长时间按住不放;本发明并不限定使用单指操作,可以单指操作、双指操作或三指操作进行输入和控制。
所述换算的交互操作命令包括但不限于:单击、双击、三连击、向左滑动、向右滑动、向上滑动、向下滑动、长按2秒;
其中交互装置的传感器类型包括:触觉感应器、力传感器、三轴加速度计、陀螺仪等;交互装置也可采用例如超声波、雷达等传感器获取触碰式操作手势的信息,本发明并不以此为限。经换算后将换算结果传送到信息无障碍终端或设备
最后,响应于判定所述物理信号表示用户做出了预定的手势类型,交互装置将物理信号进行换算,得到相应的交互操作命令,并通过无线通讯方式发送到信息无障碍终端或设备。信息无障碍终端或设备接收到交互操作命令后,根据预设的操作指令集,确定与所述操作指令对应的业务操作,执行预定的控制,所述预设的业务操作指令集包括但不局限于:信息上下翻页、功能左右选择、摄像头拍照、摄像头录像、显示语音识别及机器翻译后的信息、显示地图导航信息、查看通知消息等。
本发明的基于智能戒指的信息无障碍交互方法,用户在一只手(惯用手)上佩戴智能戒指,在智能戒指中集成必需的传感器(包括但不限于触觉感应器、力传感器、三轴加速度计、陀螺仪等),以采集单手或双手上单指、双指或三指的触碰式操作手势信息。本方法通过传感器信息对当前手势、指尖位置等本方法将输入界面从信息无障碍终端或设备转移到可穿戴设备端,不受信息无障碍终端或设备尺寸、成本等条件限制;支持多种交互方式,大大提升了输入效率;还可实现即时、直观的信息选择、功能选择等操控,满足信息无障碍终端或设备的交互需求。
本发明的基于智能戒指的信息无障碍交互方法,能够与不同信息无障碍终端或设备配对,并且对这些信息无障碍终端或设备进行控制。在复杂的智能环境中,用一种和谐统一的输入方式,降低用户交互学习的成本,提高用户体验。本方法要求用户在惯用手上佩戴智能戒指,在智能戒指中集成传感器,以采集触碰式操作手势信息以获得交互信息。信息无障碍终端或设备可以是智能终端或设备,如此一来,智能戒指可以只采集触碰式操作手势的物理信号,并将物理信号传输给智能终端或设备,由智能终端或设备对物理信号进行分析,获取交互操作信息,这样的好处是可以不在智能戒指上做大量的处理工作,降低了对智能戒指的性能要求,也可以由智能戒指进行触碰式操作手势信息的采集、交互操作命令信息的生成,而将交互操作命令信息直接发送给智能终端或设备,这样是降低了对信息无障碍终端或设备的性能要求,提高了智能戒指的适配性;信息无障碍终端或设备还可以是非智能移动设备,这就要求必须由智能戒指独立进行采集触碰式操作手势的物理信号、生成交互操作命令的操作,本发明并不以此为限。
本发明的基于智能戒指的信息无障碍交互方法,以交互装置为指定交互区域。用户可在交互装置上通过点击、移动手指、旋转或其他手势进行交互。本方法通过传感器信息对当前手势、指尖位置等本方法将输入界面从信息无障碍终端或设备转移到穿戴设备端,不受信息无障碍终端或设备尺寸、成本等条件限制。
本方法的基于智能戒指的信息无障碍交互方法支持多种交互方式,大大提升了输入效率,还可实现即时、直观的交互操控,满足信息无障碍终端或设备的交互需求。
综上,本发明的交互方法包括如下优点:
1,基于智能戒指的交互方法,利用可穿戴戒指进行交互;
2,以可穿戴戒指为交互装置载体,单手或双手进行触碰式操作的交互方式,不受信息无障碍终端或设备尺寸、大小的限制;
3,支持多种交互方式,通过点击、手指移动、旋转手势等形式,进行丰富的交互;
4,提供即时直观的交互操控,有利于操作和控制信息无障碍终端或设备。
实施例四
本实施例提供一种交互装置可读存储介质,所述可读存储介质存储有至少一个程序,所述至少一个程序可被所述交互装置的处理器执行,以实现如下信息无障碍终端或设备的交互方法的步骤,包括:
建立信息无障碍终端或设备与交互装置之间的无线连接;
在用户佩戴上信息无障碍终端或设备和交互装置的情况下,交互装置利用自带传感器检测人手在交互装置区域做出的触碰式手势,经过换算后变成交互操作命令,并传送到信息无障碍终端或设备;
信息无障碍终端或设备接收到用户输入的交互操作命令,并根据预设的操作指令集,确定与所述交互操作命令对应的业务操作,执行预定的控制。
其中,所述触碰式手势包括但不局限于:单击触摸区、双击触摸区、三连击触摸区、左右旋转戒指、上划动触摸区、下划动触摸区、摁住然后上下滑动、长按2秒以上,以上手势还可细分为单指操作、双指操作、三指操作等类型;所述交互操作命令包括但不局限于:单击、双击、三连击、向左滑动、向右滑动、向上滑动、向下滑动、长按2秒;所述预设的操作指令集包括但不局限于:信息上下翻页、功能左右选择、摄像头拍照、摄像头录像、显示语音识别及机器翻译后的信息、显示地图导航信息、查看通知消息等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内
本发明克服了现有信息无障碍终端或设备的交互方式不统一、学习成本高、交互效率低、缺少即使直观的输入方法等问题,是一种高效的信息无障碍交互方法。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成,所述程序可以存储于可读存储介质中,如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变形,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (12)

1.一种基于智能戒指的信息无障碍交互装置,其特征在于所述交互装置载体为智能戒指,所述智能戒指主要由处理器、存储器、触摸区、无线通讯模块、惯性测量单元、NFC模块、电池组成;
所述处理器用于判断采集到的物理信号能否换算成交互操作命令,及换算后的交互操作命令是否在预定类型范围内,当确定所述物理信号能换算成交互操作命令,以及确定所述交互操作命令在预定类型范围内,按照预设的换算算法将所述物理信号换算成交互操作命令,否则忽略所述物理信号,并重新采集物理信号;
所述存储器用于存储程序,所述程序被所述处理器执行时,实现所述交互装置与所述信息无障碍终端或设备的交互;
所述触摸区用于支持触控交互,收集用户触碰式手势产生的物理信号;
所述无线通讯模块用于与信息无障碍终端或设备进行全双工无线双向通讯;
所述惯性测量单元用于检测智能戒指的旋转方向;
所述NFC模块用于支持NFC通信,向信息无障碍终端或设备发送关于用户的识别信息;
所述电池为交互装置提供电源。
2.如权利要求1所述的基于智能戒指的信息无障碍交互装置,其特征在于所述智能戒指上还集成了除所述触摸区和惯性测量单元以外的其他输入元件,所述其他输入元件包括但不限于旋钮。
3.如权利要求1所述的基于智能戒指的信息无障碍交互装置,其特征在于所述触摸区包括触觉感应器、力传感器。
4.如权利要求1所述的基于智能戒指的信息无障碍交互装置,其特征在于所述惯性测量单元包括三轴加速度计、陀螺仪。
5.一种信息无障碍交互方法,其特征在于包括如下步骤:
建立信息无障碍终端或设备与交互装置之间的通讯连接;
所述交互装置利用自带传感器检测人手在交互装置区域做出的触碰式手势,并换算成交互操作命令传送到所述信息无障碍终端或设备;
当所述信息无障碍终端或设备接收所述交互操作命令,根据预设的操作指令集,确定与所述交互操作命令对应的业务操作,执行预定的控制。
6.如权利要求5所述的信息无障碍交互方法,其特征在于所述触碰式手势包括但不限于单击触摸区、双击触摸区、三连击触摸区、左右旋转智能戒指、上划动触摸区、下划动触摸区、摁住然后上下滑动、长按触摸区2秒以上,所述触碰式手势可通过单指操作、双指操作或三指操作实现。
7.如权利要求5所述的信息无障碍交互方法,其特征在于所述交互操作命令包括但不限于:单击、双击、三连击、向左滑动、向右滑动、向上滑动、向下滑动、长按2秒。
8.如权利要求5所述的信息无障碍交互方法,其特征在于所述预设的操作指令集包括但不限于如下操作指令:信息上下翻页、功能左右选择、摄像头拍照、摄像头录像、显示语音识别及机器翻译后的信息、显示地图导航信息、查看通知消息。
9.一种交互装置可读存储介质,其特征在于所述可读存储介质存储有至少一个程序,所述至少一个程序可被所述交互装置的处理器执行,以实现权利要求5-8任一所述信息无障碍交互方法的步骤。
10.一种信息无障碍交互系统,其特征在于包括信息无障碍终端或设备及权利要求1-4任一所述的交互装置,所述信息无障碍终端或设备与所述交互装置通信连接,以所述交互装置作为交互输入设备,所述交互设备通过识别用户的触碰式手势以进行对信息无障碍终端或设备的输入和控制。
11.如权利要求10所述的信息无障碍交互系统,其特征在于所述信息无障碍终端或设备基于增强现实技术将计算处理信息与用户所处真实环境进行叠加显示,所述计算处理信息包括但不限于运动健康管理、语音识别及机器翻译、地图导航功能的数据处理结果。
12.如权利要求11所述的信息无障碍交互系统,其特征在于所述运动健康管理、语音识别及机器翻译、地图导航功能均基于所述信息无障碍终端或设备或者计算处理终端实现。
CN202111098672.7A 2021-09-18 2021-09-18 一种信息无障碍交互装置、系统、方法及存储介质 Pending CN113849066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111098672.7A CN113849066A (zh) 2021-09-18 2021-09-18 一种信息无障碍交互装置、系统、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111098672.7A CN113849066A (zh) 2021-09-18 2021-09-18 一种信息无障碍交互装置、系统、方法及存储介质

Publications (1)

Publication Number Publication Date
CN113849066A true CN113849066A (zh) 2021-12-28

Family

ID=78974682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111098672.7A Pending CN113849066A (zh) 2021-09-18 2021-09-18 一种信息无障碍交互装置、系统、方法及存储介质

Country Status (1)

Country Link
CN (1) CN113849066A (zh)

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
TWI528227B (zh) 一種指環式無線指感控制器、控制方法及控制系統
KR102407071B1 (ko) 펜과 컴퓨팅 디바이스 상호작용을 위한 다중 디바이스 다중 사용자 센서 상관
CN107678542B (zh) 一种指环类可穿戴设备及人机交互方法
EP2733574B1 (en) Controlling a graphical user interface
CN202584010U (zh) 一种腕上手势操控系统
CN102779000B (zh) 一种用户交互系统和方法
EP2717123A2 (en) Input method and apparatus of portable device
US20110102570A1 (en) Vision based pointing device emulation
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
CN102915111A (zh) 一种腕上手势操控系统和方法
WO2006036069A1 (en) Information processing system and method
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
US10274991B2 (en) Apparatus and method for providing touch inputs by using human body
CN103995623A (zh) 一种非接触式触屏控制装置
WO2016049842A1 (zh) 一种便携或可穿戴智能设备的混合交互方法
US20200168121A1 (en) Device for Interpretation of Digital Content for the Visually Impaired
WO2003003185A1 (en) System for establishing a user interface
US20130128118A1 (en) Smart TV with Multiple Sub-Display Windows and the Method of the Same
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US9940900B2 (en) Peripheral electronic device and method for using same
CN113849066A (zh) 一种信息无障碍交互装置、系统、方法及存储介质
CN104484073A (zh) 手部触摸交互系统
Lik-Hang et al. Interaction methods for smart glasses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination