CN109298787B - 柔性人机交互装置和终端设备 - Google Patents

柔性人机交互装置和终端设备 Download PDF

Info

Publication number
CN109298787B
CN109298787B CN201811072631.9A CN201811072631A CN109298787B CN 109298787 B CN109298787 B CN 109298787B CN 201811072631 A CN201811072631 A CN 201811072631A CN 109298787 B CN109298787 B CN 109298787B
Authority
CN
China
Prior art keywords
module
eye movement
eye
electric signal
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811072631.9A
Other languages
English (en)
Other versions
CN109298787A (zh
Inventor
冯雪
金鹏
王峰乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201811072631.9A priority Critical patent/CN109298787B/zh
Publication of CN109298787A publication Critical patent/CN109298787A/zh
Application granted granted Critical
Publication of CN109298787B publication Critical patent/CN109298787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6832Means for maintaining contact with the body using adhesives

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种柔性人机交互装置和终端设备,被公开的柔性人机交互装置包括:传感器模块根据目标时段被测对象的眼部活动,产生被测对象的眼部活动对应的应变信号;传感器模块包括第一传感器阵列和第二传感器阵列;第一、第二传感器阵列根据被测对象的左、右眼的眼部活动,产生第一、第二电信号;控制模块将第一、第二电信号发送至无线传输模块;无线传输模块将第一、第二电信号发送至终端设备,以使终端设备根据第一、第二电信号确定被测对象的眼部活动,并执行与眼部活动对应的交互动作;柔性基底由柔性材料制成,能承载传感器模块、控制模块以及无线传输模块,且贴合于被测对象眼周皮肤表面。无需复杂的光学器件即可实现快捷的人机交互。

Description

柔性人机交互装置和终端设备
技术领域
本公开涉及医疗设备技术领域,尤其涉及一种柔性人机交互装置和终端设备。
背景技术
残疾人士尤其是患有重症肌肉萎缩症的患者,在生活中会面临着很多的困难,其中,无法和正常人高效、简便的沟通是患者最大的生活障碍之一。相关技术中,一些患者可以借助一种辅助设备实现与正常人的沟通。这种辅助设备能够安装在人眼上方,并通过辅助设备上的红外线发放及侦测器,捕捉患者眼球的活动信息,再通过无线技术手段,将眼球的活动信息传递到计算机,计算机执行并显示眼球的活动信息对应的动作,例如,移动光标来选择字母。但是,这种辅助设备光学原理复杂,开发和维护成本高,不利于在社会普及,且设备较为笨重,长时间使用容易造成患者疲劳。因此,需要结构简单,且携带方便的辅助设备。
发明内容
有鉴于此,本公开提出了一种柔性人机交互装置和终端设备,结构简单,成本低且携带方便。
根据本公开的一方面,提供了一种柔性人机交互装置,包括:
传感器模块,用于根据目标时段被测对象的眼部活动,产生所述被测对象的眼部活动对应的应变信号;
所述传感器模块包括第一传感器阵列和第二传感器阵列,所述应变信号包括,第一电信号和第二电信号;
所述第一传感器阵列,用于根据所述被测对象的左眼的眼部活动,产生第一电信号;
所述第二传感器阵列,用于根据所述被测对象的右眼的眼部活动,产生第二电信号;
控制模块,电连接所述传感器模块,用于将所述第一电信号和第二电信号发送至无线传输模块;
所述无线传输模块,电连接所述控制模块,用于将所述第一电信号和第二电信号发送至终端设备,以使终端设备根据第一电信号和第二电信号确定所述被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
柔性基底,由柔性材料制成,用于承载所述传感器模块、控制模块以及无线传输模块,且贴合于所述被测对象的眼周的皮肤表面。
在一种可能的实现方式中,所述第一传感器阵列和所述第二传感器阵列分别包括:多个应变传感器;
所述多个应变传感器排布呈阵列形式,且所述多个应变传感器的一端围绕同一点均匀排布。
在一种可能的实现方式中,相邻的应变传感器之间夹角为60度或者90度。
在一种可能的实现方式中,所述柔性基底的正面用于承载所述控制模块和所述无线传输模块,所述柔性基底的反面用于承载所述传感器模块,
所述柔性基底的反面能与所述被测对象的皮肤表面贴合,以使所述控制模块和所述无线传输模块通过所述柔性基底贴合在所述皮肤表面的第一区域上,使得所述传感器模块被限制在所述柔性基底与所述皮肤表面的第二区域之间。
在一种可能的实现方式中,所述装置还包括信号处理模块,所述信号处理模块的一端连接所述传感器模块、另一端连接所述控制模块,用于对第一电信号和第二电信号进行滤波、放大处理,并在处理后发送给所述控制模块。
根据本公开的另一方面,提供了一种终端设备,包括处理器和显示模块,其特征在于,所述处理器被配置为执行以下操作:
接收上述柔性人机交互装置发送的第一电信号和第二电信号;
根据所述第一电信号和所述第二电信号确定被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
所述显示模块被配置为显示所述交互动作。
在一种可能的实现方式中,所述眼部活动类型为仅眨动左眼,则所述眼部活动对应的交互动作为光标向左移动一个字符;或者
所述眼部活动类型为仅眨动右眼,则所述眼部活动对应的交互动作为光标向右移动一个字符。
在一种可能的实现方式中,所述眼部活动类型为眨动双眼,则所述眼部活动对应的交互动作为选择操作。
在一种可能的实现方式中,所述眼部活动类型为双眼皮向上翻动,则所述眼部活动对应的交互动作为光标向上移动一行。
本公开中,柔性人机交互装置中的器件都集成在柔性基底上,使用的时候可以像贴敷创可贴一样将柔性人机交互装置贴在被测对象的眼周的皮肤上,轻巧方便,不会对被检测对象造成过多负担且携带方便。
此外,由于柔性基底可以较好的贴合被测对象的皮肤,使传感器模块紧密的贴合在被测对象的眼周,进而可以较准确的采集被测对象眼周的应变信号,这样,被测对象只需活动眼睛就可以快速的向终端设备传递控制指令,而终端设备还可以通过显示屏上的视觉画面给被测对象以实时的结果反馈,简单易行,无需复杂的光学器件即可实现快捷的人机交互,成本低。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1是根据一示例性实施例示出的一种柔性人机交互装置的框图。
图2是根据一示例性实施例示出的一种柔性人机交互装置的的立体图。
图3是根据一示例性实施例示出的第一传感器阵列和第二传感器阵列中应变传感器的排布形式的示意图。
图4是根据一示例性实施例示出的第一传感器阵列和第二传感器阵列中应变传感器的排布形式的示意图。
图5是根据一示例性实施例示出的一种终端设备的框图。
图6是一应用示例示出的一种柔性人机交互装置和终端设备使用状态的示意图。
图7是一应用示例示出的中端设备显示所执行的交互动作的示意图。
图8是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1是根据一示例性实施例示出的一种柔性人机交互装置的框图。如图1所述,该柔性人机交互装置可以包括:
传感器模块10,用于根据目标时段被测对象的眼部活动,产生所述被测对象的眼部活动对应的应变信号;所述传感器模块10可以包括第一传感器阵列101和第二传感器阵列102,所述应变信号可以包括,第一电信号和第二电信号;
所述第一传感器阵列101,用于根据所述被测对象的左眼的眼部活动,产生第一电信号;
所述第二传感器阵列102,用于根据所述被测对象的右眼的眼部活动,产生第二电信号;
控制模块11,电连接所述传感器模块10,用于将所述第一电信号和第二电信号发送至无线传输模块12;
所述无线传输模块12,电连接所述控制模块11,用于将所述第一电信号和第二电信号发送至终端设备,以使终端设备根据第一电信号和第二电信号确定所述被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
柔性基底13,由柔性材料制成,用于承载所述传感器模块10、控制模块11以及无线传输模块12,且贴合于所述被测对象的眼周的皮肤表面。
在本示例中,控制模块11可以为单片机、CPU、MPU、FPGA等任何能进行通信、控制的部件,控制模块11可以通过专用硬件电路实现,也可以通过通用部件结合可执行逻辑指令实现,以执行组件的通信、控制过程。
无线传输模块12可以例如包括Wi-Fi(无线保真,WIreless-FIdelity)模块、移动通信模块、蓝牙(Bluetooth)模块、ZigBee(紫蜂协议)模块中的任意一种,在此不做限定。
第一传感器阵列101和第二传感器阵列102可以分别包括一个或多个应变传感器,通常来讲,应变传感器可以为根据被测对象的形变得到电信号的装置,例如,应变传感器可以为电阻应变式传感器(straingauge type transducer),电阻应变式传感器在产生形变后,其电阻值发生变化,进而能够产生电压值的变化。在本示例中,第一电线信号和第二电信号分别可以包括一个或多个电压值。
终端设备可以例如为台式电脑、笔记本电脑、平板电脑、智能手机、智能手表中的任意一种,在此不做限定。
作为本实施例的一个示例,如图1所示,柔性基底13可由聚亚酰胺(PI,polyimide)等柔性电路材料制成,第一传感器阵列101、第二传感器阵列102和无线传输模块12可以分别与控制模块11电性连接。柔性基底13的厚度可以小于2毫米,其最小弯曲半径可达2毫米,其弯曲刚度与人皮肤的弯曲刚度相近。这样,柔性基底13可以较紧密的贴合在被测对象眼周的皮肤上,并很好将被测对象的眼周的形变传递至第一传感器阵列101和第二传感器阵列102,使得第一传感器阵列101和第二传感器阵列102可以较准确检测被测对象的眼周的形变。
接着,控制模块11可以获取在目标时段内(例如可以为2秒)第一传感器阵列101和第二传感器阵列102产生的第一电信号和第二电信号(例如,第一电信号和第二电信号可以分别包括多个电压值),控制模块11可以分别将第一电信号和第二电信号发送至无线传输模块12。无线传输模块12分别可以将第一电信号和第二电信号以无线形式发送至终端设备,该终端设备可以根据该处理后的第一电信号和第二电信号确定第一电信号和第二电信号对应的被测对象的眼部活动,并执行与所述眼部活动对应的交互动作。
本公开中,柔性人机交互装置中的器件都集成在柔性基底上,使用的时候可以像贴敷创可贴一样将柔性人机交互装置贴在被测对象的眼周的皮肤上,轻巧方便,不会对被检测对象造成过多负担。且携带方便。此外,由于柔性基底可以较好的贴合被测对象的皮肤,使传感器模块紧密的贴合在被测对象的眼周,进而可以较准确的采集被测对象眼周的应变信号,这样,被测对象只需活动眼睛就可以快速的向终端设备传递控制指令,而终端设备还可以通过显示屏上的视觉画面给被测对象以实时的结果反馈,简单易行,无需复杂的光学器件即可实现快捷的人机交互,成本低。
图2是根据一示例性实施例示出的一种柔性人机交互装置的的立体图。如图2所示,该柔性人机交互装置还可以包括电源模块15和信号处理模块14。其中,信号处理模块14可以包括第一信号处理模块141和第二信号处理模块142。
电源模块15、第一信号处理模块141和第二信号处理模块142可以设置在柔性基底13上,电源模块15可以与控制模块11电性连接(或者,电源模块15可以分别与控制模块11、信号处理模块14和传感器模块10电性连接),用于为柔性人机交互装置供电。第一信号处理模块141可以分别与第一传感器阵列101和控制模块11连接,用于对第一电信号进行滤波、放大等处理,并将处理后的第一电信号发送给控制模块11。第二信号处理模块142可以分别与第二传感器阵列102和控制模块11连接,用于对第二电信号进行滤波、放大等处理,并将处理后的第二电信号发送给控制模块11。
作为本实施例的一个示例,所述柔性基底13的正面可以用于承载控制模块11、无线传输模块12、电源模块15和信号处理模块14,所述柔性基底13的反面可以用于承载所述传感器模块10。
所述柔性基底13的反面能与所述被测对象的皮肤表面贴合,以使所述控制模块11、所述无线传输模块12、所述信号处理模块14和所述电源模块15通过所述柔性基底13贴合在所述皮肤表面的第一区域上,并使得所述传感器模块10被限制在所述柔性基底13与所述皮肤表面的第二区域之间。
举例来讲,柔性基底13的反面可以涂有粘合剂(例如生物胶),这样,柔性基底13能够贴合在被测对象的皮肤表面。如图2所示,柔性基底13的中间区域的形状可以例如为带有圆角的矩形区域(中间区域的形状也可以为其他形状,例如椭圆形,圆形等,在此不做限定)。可以将控制模块11、无线传输模块12、电源模块15、第一信号处理模块141和第二信号处理模块142设置在柔性基底13的中间区域的正面。柔性基底13的左端区域和右端区域的形状可以例如为带状,这样可以较少阻碍被测对象眼部的活动以及较少遮挡被测对象的视线。可以将第一传感器阵列101设置在左端区域的最左端的反面,将第二传感器阵列102设置在右端区域的最右端的反面。
在需要使用柔性人机交互装置时,例如,可以将柔性基底13的中间区域贴在被测对象的额头中部区域,被中间区域覆盖的皮肤可以为第一区域,可以将柔性基底13的左端区域贴在被测对象的左眼的上眼睑区域,被左端区域覆盖的皮肤可以为第二区域中的第一子区域,可以将柔性基底13的右端区域贴在被测对象的右眼的上眼睑区域,被右端区域覆盖的皮肤可以为第二区域中的第二子区域。
这样,控制模块11、无线传输模块12、第一信号处理模块141和第二信号处理模块142可以通过柔性基底13贴合在被测对象眼周的皮肤表面的第一区域上,第一传感器阵列101可以被限制在柔性基底13与皮肤表面的第一子区域之间,第二传感器阵列102可以被限制在柔性基底13与所述皮肤表面的第二子区域之间。
由于柔性基底13的弯曲刚度与人皮肤的弯曲刚度相近,柔性基底13可以较紧密的直接贴合在被测对象眼周的皮肤上,通过这样的设置,传感器模块10能够与被测对象眼周皮肤表面形成较为紧密的接触,有利于传感器模块10更加准确的检测被测对象眼周的形变。
图3和图4分别是根据一示例性实施例示出的第一传感器阵列和第二传感器阵列中应变传感器的排布形式的示意图。如图3和图4所示,第一传感器阵列和第二传感器阵列可以分别包括:多个应变传感器16;所述多个应变传感器16排布呈阵列形式,且所述多个应变传感器16的一端围绕同一点均匀排布。
作为本实施例的一个示例,如图3所示,第一传感器阵列和第二传感器阵列可以分别包括:4个应变传感器16,且相邻的应变传感器16之间夹角可以为90度。这样,第一传感器阵列和第二传感器阵列可以分别检测得到4个方向的应变信号,有利于更加准确的检测被测对象的眼周的形变。
作为本实施例的一个示例,如图4所示,第一传感器阵列和第二传感器阵列可以分别包括:6个应变传感器16,且相邻的应变传感器16之间夹角可以为60度。这样,第一传感器阵列和第二传感器阵列可以分别检测得到6个方向的应变信息,有利于更加准确的检测被测对象的眼周的形变。
需要说明的是,可以根据检测的需要设置不同个数的应变传感器,以及将应变传感器按照不同的方式排布(例如,矩形、多边形等),第一传感器阵列包括的应变传感器的数量和/或应变传感器的排布方式可以与第二传感器阵列不同,在此不做限定。
图5是根据一示例性实施例示出的一种终端设备的框图。如图5所示,该终端设备50可以包括处理器51和显示模块52,所述处理器51被配置为执行以下操作:
接收如上文所述的柔性人机交互装置发送的第一电信号和第二电信号;
根据所述第一电信号和所述第二电信号确定被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
所述显示模块52被配置为显示所述交互动作。
在本示例中,终端设备50可以包括诸如台式电脑、笔记本电脑、平板电脑等具有计算控制功能和显示功能的设备,在此不做限定。
在一种可能的实现方式中,终端设备50还可以通过数据线与柔性人机交互设备进行通信。
举例来讲,第一电信号和第二电信号可以分别包括多个电压值,终端设备50可以存储眼部活动与电压值集合之间的第一对应关系,不同的眼部活动可以对应不同的电压值集合,每个电压值集合可以包括多个电压值。终端设备50还可以存储眼部活动与交互动作之间的第二对应关系,不同的眼部活动可以对应不同的交互动作。处理器51在接收到第一电信号和第二电信号之后,可以将第一电信号与第二电信号与各个电压值集合进行相似度对比,确定与第一电信号和第二电信号相似度大于相似度阈值(例如可以为90%)的电压值集合(也可以确定与第一电信号和第二电信号相似度最大的电压值集合),并根据第一对应关系,将该电压值集合对应的眼部活动作为第一信号和第二信号对应的眼部活动。
然后,终端设备50可以根据第二对应关系,确定第一信号和第二信号对应的眼部活动所对应的交互动作,执行并显示该交互动作。
在一种可能的实现方式中,第二对应关系可以包括一下任意一种或多种对应关系:
所述眼部活动类型为仅眨动左眼,则所述眼部活动对应的交互动作为光标向左移动一个字符;或者
所述眼部活动类型为仅眨动右眼,则所述眼部活动对应的交互动作为光标向右移动一个字符;或者
所述眼部活动类型为眨动双眼,则所述眼部活动对应的交互动作为选择操作。或者
所述眼部活动类型为双眼皮向上翻动,则所述眼部活动对应的交互动作为光标向上移动一行。
需要说明的是,可以根据实际应用需要,设定不同的眼部活动与交互动作的对应关系,例如,眼部活动类型为仅眨动右眼,则所述眼部活动对应的交互动作为在光标处调用菜单。本公开对此不做限定。
图6是一应用示例示出的一种柔性人机交互装置和终端设备使用状态的示意图。如图6所示,柔性人机交互装置60的中间区域的形状可以例如为近似矩形的区域,柔性人机交互装置60的左端区域和右端区域的形状可以例如为狭长的矩形,这样可以较少遮挡被测对象62的视线。
可以将柔性人机交互装置60的中间区域贴在被测对象62的额头中间,可以分别将柔性人机交互装置60的左端和右端贴在被测对象62的左眼上眼睑和右眼上眼睑的位置。柔性人机交互装置60的左端和右端的反面可以设置第一传感器阵列和第二传感器阵列(图中未示出)。
开启柔性人机交互装置60和终端设备61,并使柔性人机交互装置60与终端设备61建立无线通信连接(例如蓝牙通信连接)。柔性人机交互装置60可以在目标时段内(例如可以为2秒)采集被测对象62双眼的眼部活动,形成第一电信号和第二电信号(例如可以为由多个电压值),并将第一电信号和第二电信号通过无线通信的方式发送至终端设备61。终端设备61可以存储有眼部活动与电压值集合的第一对应关系,以及交互动作与眼部活动的第二对应关系。终端设备61可以将接收到的第一电信号和第二电信号与各个电压值集合进行相似度对比,确定与第一电信号和第二电信号相似度大于相似度阈值(例如可以为90%)的电压值集合(或者可以确定与第一电信号和第二电信号相似度最大的电压值集合),并根据第一对应关系,将该电压值集合对应的眼部活动作为第一信号和第二信号对应的眼部活动。
终端设备61还可以根据第二对应关系,确定第一信号和第二信号对应的眼部活动所对应的交互动作,执行并显示该交互动作。进而实现在终端设备61屏幕上反映出控制结果。
图7是一应用示例示出的中端设备显示所执行的交互动作的示意图。如图7所示,被测对象62可以利用眼部活动通过柔性人机交互装置60控制终端设备61的显示屏611上打出字符串,终端设备61会在显示屏611上显示选择区域614,该选择区域614可以包括26个英文字母以一些常规字符如空格、逗号,句号等,以三行形式显示,并显示一个选择光标613,以及一个输出窗口612。例如,当被测对象62左眼闪动(眨动)一次,则显示屏611可以显示选择光标613向左移动一个字符;当被测对象62右眼闪动一次,则显示屏611可以显示选择光标613向右移动一个字符;当双眼同时闪动一次,则显示屏611可以在输出窗口612输出光标所在位置的字符;当双眼皮同时朝上翻滚一次,且光标不在第一行,则显示屏611可以显示选择光标613向上移动一个字符;当双眼皮同时朝上翻滚一次,且光标在第一行,则显示屏611可以显示选择光标613移动第三行中当前列所在的位置。
本公开中,柔性人机交互装置中的器件都集成在柔性基底上,使用的时候可以像贴敷创可贴一样将柔性人机交互装置贴在被测对象的眼周的皮肤上,轻巧方便,不会对被检测对象造成过多负担且携带方便。此外,由于柔性基底可以较好的贴合被测对象的皮肤,使传感器模块紧密的贴合在被测对象的眼周,进而可以较准确的采集被测对象眼周的应变信号,这样,被测对象只需活动眼睛就可以快速的向终端设备传递控制指令,而终端设备还可以通过显示屏上的视觉画面给被测对象以实时的结果反馈,简单易行,无需复杂的光学器件即可实现快捷的人机交互,成本低。
图8是根据一示例性实施例示出的一种终端设备的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种柔性人机交互装置,其特征在于,包括:
传感器模块,用于根据目标时段被测对象的眼部活动,产生所述被测对象的眼部活动对应的应变信号;
所述传感器模块包括第一传感器阵列和第二传感器阵列,所述应变信号包括,第一电信号和第二电信号;
所述第一传感器阵列,用于根据所述被测对象的左眼的眼部活动,产生第一电信号;
所述第二传感器阵列,用于根据所述被测对象的右眼的眼部活动,产生第二电信号;
控制模块,电连接所述传感器模块,用于将所述第一电信号和第二电信号发送至无线传输模块;
所述无线传输模块,电连接所述控制模块,用于将所述第一电信号和第二电信号发送至终端设备,以使终端设备根据第一电信号和第二电信号确定所述被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
柔性基底,由柔性材料制成,用于承载所述传感器模块、控制模块以及无线传输模块,且贴合于所述被测对象的眼周的皮肤表面;
其中,所述第一传感器阵列和所述第二传感器阵列分别包括:多个应变传感器;
所述多个应变传感器排布呈阵列形式,且所述多个应变传感器的一端围绕同一点均匀排布。
2.根据权利要求1所述的装置,其特征在于,
相邻的应变传感器之间夹角为60度或者90度。
3.根据权利要求1所述的装置,其特征在于,
所述柔性基底的正面用于承载所述控制模块和所述无线传输模块,所述柔性基底的反面用于承载所述传感器模块,
所述柔性基底的反面能与所述被测对象的皮肤表面贴合,以使所述控制模块和所述无线传输模块通过所述柔性基底贴合在所述皮肤表面的第一区域上,使得所述传感器模块被限制在所述柔性基底与所述皮肤表面的第二区域之间。
4.根据权利要求1所述的装置,其特征在于,所述装置还包括信号处理模块,所述信号处理模块的一端连接所述传感器模块、另一端连接所述控制模块,用于对第一电信号和第二电信号进行滤波、放大处理,并在处理后发送给所述控制模块。
5.一种终端设备,包括处理器和显示模块,其特征在于,所述处理器被配置为执行以下操作:
接收如权利要求1-4任意一项所述的柔性人机交互装置发送的第一电信号和第二电信号;
根据所述第一电信号和所述第二电信号确定被测对象的眼部活动,并执行与所述眼部活动对应的交互动作;
所述显示模块被配置为显示所述交互动作。
6.根据权利要求5所述的终端设备,其特征在于,
所述眼部活动为仅眨动左眼,则所述眼部活动对应的交互动作为光标向左移动一个字符;或者
所述眼部活动为仅眨动右眼,则所述眼部活动对应的交互动作为光标向右移动一个字符。
7.根据权利要求5所述的终端设备,其特征在于,
所述眼部活动为眨动双眼,则所述眼部活动对应的交互动作为选择操作。
8.根据权利要求5所述的终端设备,其特征在于,
所述眼部活动为双眼皮向上翻动,则所述眼部活动对应的交互动作为光标向上移动一行。
CN201811072631.9A 2018-09-14 2018-09-14 柔性人机交互装置和终端设备 Active CN109298787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811072631.9A CN109298787B (zh) 2018-09-14 2018-09-14 柔性人机交互装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811072631.9A CN109298787B (zh) 2018-09-14 2018-09-14 柔性人机交互装置和终端设备

Publications (2)

Publication Number Publication Date
CN109298787A CN109298787A (zh) 2019-02-01
CN109298787B true CN109298787B (zh) 2020-01-17

Family

ID=65166926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811072631.9A Active CN109298787B (zh) 2018-09-14 2018-09-14 柔性人机交互装置和终端设备

Country Status (1)

Country Link
CN (1) CN109298787B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112304476B (zh) * 2020-11-03 2022-02-25 兰州大学 一种用于测量人体压力性损伤的压力传感装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108299728A (zh) * 2017-01-13 2018-07-20 中国人民大学 一种柔性压电传感器及其专用压电复合材料
CN108415560A (zh) * 2018-02-11 2018-08-17 广东欧珀移动通信有限公司 电子装置、操作控制方法及相关产品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0468340A3 (en) * 1990-07-24 1992-12-16 Biocontrol Systems, Inc. Eye directed controller
US20160088352A1 (en) * 2014-09-24 2016-03-24 Rovi Guides, Inc. Methods and systems for updating user profiles
CN105353883A (zh) * 2015-12-08 2016-02-24 清华大学 人机交互方法、人机交互系统和计算装置
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技(天津)有限公司 一种眼控方法及装置
US10025548B2 (en) * 2016-08-09 2018-07-17 International Business Machines Corporation Automated display configuration
CN106377266A (zh) * 2016-10-21 2017-02-08 浙江大学 一种基于眼部识别的疲劳监测装置
CN107260420B (zh) * 2017-07-03 2018-11-23 南京邮电大学 基于眼部动作识别的智能轮椅人机交互控制系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108299728A (zh) * 2017-01-13 2018-07-20 中国人民大学 一种柔性压电传感器及其专用压电复合材料
CN108415560A (zh) * 2018-02-11 2018-08-17 广东欧珀移动通信有限公司 电子装置、操作控制方法及相关产品

Also Published As

Publication number Publication date
CN109298787A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN108369438B (zh) 柔性电子设备及其操作方法
CN107692997B (zh) 心率检测方法及装置
CN105574484B (zh) 电子装置及用于在电子装置中分析脸部信息的方法
EP3143477B1 (en) System and method for providing haptic feedback to assist in capturing images
US10924147B2 (en) Wearable device for transmitting a message comprising strings associated with a state of a user
US20160100106A1 (en) System for camera switching on a mobile device
EP3163404A1 (en) Method and device for preventing accidental touch of terminal with touch screen
CN107102772B (zh) 触控方法及装置
US11314965B2 (en) Method and apparatus for positioning face feature points
CN106598322A (zh) 装置及通过该装置的触摸面板获得坐标的方法
CN107798309B (zh) 指纹录入方法、装置及计算机可读存储介质
CN106896915B (zh) 基于虚拟现实的输入控制方法及装置
US10061497B2 (en) Method, device and storage medium for interchanging icon positions
EP3182256B1 (en) Touch control button, touch control panel and touch control terminal
US10423195B2 (en) Verification method, device and computer-readable storage medium based on a flexible display screen
EP3035172A1 (en) Method and device for activating operation state of mobile terminal
CN109298787B (zh) 柔性人机交互装置和终端设备
CN112633232A (zh) 基于坐姿检测的交互方法及装置、设备、介质及家居设备
CN109144317B (zh) 屏幕的手势检测方法及装置
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN107145441B (zh) 页面的显示方法及装置
KR102575910B1 (ko) 가이드를 출력하는 전자 장치 및 방법
CN112987958B (zh) 触控信号处理方法和装置
CN112134975B (zh) 终端及柔性显示屏
CN111913618B (zh) 检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant