CN115942904A - 信息输入设备 - Google Patents

信息输入设备 Download PDF

Info

Publication number
CN115942904A
CN115942904A CN202080102213.9A CN202080102213A CN115942904A CN 115942904 A CN115942904 A CN 115942904A CN 202080102213 A CN202080102213 A CN 202080102213A CN 115942904 A CN115942904 A CN 115942904A
Authority
CN
China
Prior art keywords
wearer
determination unit
moved
spectacle frame
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080102213.9A
Other languages
English (en)
Inventor
小野一善
丰田新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN115942904A publication Critical patent/CN115942904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第一确定单元(121)在变形检测单元(102)检测到眼镜架(101)的变形时，确定佩戴者的面部已经发生了移动。第二确定单元(122)基于以公共电极(104)作为地电位由第一镜腿电极(103a)和第二镜腿电极(103b)测量的电信号，确定佩戴者的下巴是否已经发生了移动。当第一确定单元(121)确定佩戴者的面部已经发生了移动并且同时第二确定单元(122)确定佩戴者的下巴已经发生了移动时，输出单元(123)输出由于佩戴者对眼镜架(101)的操作而产生的命令。

Description

信息输入设备
技术领域
本发明涉及一种被配置为输入信息的信息输入设备。
背景技术
眼睛注视接口已经作为被配置用于具有严重的先天性肢体缺陷的个体将信息输入到诸如计算机之类的信息处理设备中的设备被实际使用(NPL 1)。需要由健康人通常使用的用户界面中包括的指点设备(例如，鼠标)的功能来访问健康人通常使用的信息。即，为了访问信息，需要包括移动指针的操作和类似于点击(点击、按下、拖拽或放下)的动作作为操作指针或显示在计算机屏幕上的图标的功能(NPL 2)。
引用列表
非专利文献
NPL 1：Naoko Sagarifuji，“What is the Future of Eye ControlledCommunication Devices for Individuals with Special Needs(用于有特殊需要个体的眼控通信设备的未来是什么)”，第二章，特殊特征B：Disabil ity Aid and Visuals,Journal of the Institute of Image Information and Television Engineers(残疾援助和视觉效果，图像信息与电视工程师学会学报)，2015年第69卷，第6期，第530至534页。
NPL 2：Hidetoshi Konno等人，"Method for Multi-dimensional OperationInterface Using Eye Location Detection(使用眼睛位置检测的多维操作界面的方法)"，Journal of the Institute of Image Information and Television Engineers(图像信息与电视工程师学会学报)，2007年第61卷，第4期，第518至525页。
发明内容
技术问题
在已知技术中，例如，使用眼动仪来实现通过眼睛注视来移动指针的操作以及通过眨眼来实现类似于点击的动作。然而，在已知技术中，由于与用户意图不同的无意识动作，指向功能可能发生故障。例如，当用户不顾用户的意图而眨眼时，设备会将其识别为类似于点击的动作。因此，用户需要谨慎使用设备以避免无意识的动作。在已知技术中，用户在使用设备期间会陷入这样一种情形，即用户被迫限制违背用户意图的眨眼，而用户负担(诸如疲劳之类)已经很大。
本发明正是为了解决上述问题而设计的，并且本发明的目的在于以自然的方式为用户输入信息，从而减轻用户的负担。
解决问题的手段
根据本发明一方面的信息输入设备包括：眼镜架；变形检测单元，设置在眼镜架内并且被配置为检测眼镜架的变形；测量电极，设置在眼镜架的镜腿中并且被配置为测量由佩戴者的下巴移动而产生的电信号；第一确定单元，被配置为当变形检测单元检测到眼镜架的变形时，确定佩戴者的面部已经发生了移动；第二确定单元，被配置为基于由测量电极测量的电信号来确定佩戴者的下巴是否已经发生了移动；输出单元，被配置为当第一确定单元确定佩戴者的面部已经发生了移动并且同时第二确定单元确定佩戴者的下巴已经发生了移动时，输出由于佩戴者对眼镜架的操作而产生的命令。
根据本发明一方面的信息输入设备包括：眼镜架；变形检测单元，设置在眼镜架内并且被配置为检测眼镜架的变形；加速度传感器，设置在眼镜架内并且被配置为测量眼镜架上发生的振动；第一确定单元，被配置为当变形检测单元检测到眼镜架的变形时，确定佩戴者的面部已经发生了移动；第三确定单元，被配置为基于由加速度传感器测量的振动，确定佩戴者的下巴是否已经发生了移动；以及输出单元，被配置为当第一确定单元确定佩戴者的面部已经发生了移动并且同时第三确定单元确定佩戴者的下巴已经发生了移动时，输出由于佩戴者对眼镜架的操作而产生的命令。
本发明的效果
如上所述，根据本发明的多个方面，第一确定单元确定佩戴者的面部是否已经发生了移动，并且第二确定单元确定眼镜架的佩戴者的下巴是否已经发生了移动，因此可以以自然的方式为用户输入信息，从而减轻用户的负担。
附图说明
图1是示出了根据本发明第一实施例的信息输入设备的配置的配置图。
图2是示出了根据本发明第二实施例的信息输入设备的配置的配置图。
具体实施方式
在下文中，将描述根据本发明实施例的信息输入设备。
第一实施例
首先，将参考图1描述根据本发明第一实施例的信息输入设备。信息输入设备包括眼镜架101、变形检测单元102、第一镜腿电极103a、第二镜腿电极103b、第一确定单元121、第二确定单元122和输出单元123。信息输入设备还包括公共电极104，该公共电极104设置在眼镜架101的鼻托中并且在鼻托的一部分处接触眼镜架101的佩戴者的皮肤。公共电极104也可以设置在两个鼻托中的至少一个鼻托中。上述每个电极可以采用有源电极(参考文献1)。
变形检测单元102设置在眼镜架101中并检测眼镜架101的变形。变形检测单元102可以设置在例如眼镜架101的梁中。众所周知，人类可以通过注意额肌、耳肌、颞肌和枕肌来有意识地移动他/她的面部(例如，他/她的耳朵)。当这些肌肉运动时，在颞区与眉间之间发生位移。眼镜架101响应于该位移而挠曲，从而变形检测单元102检测到该变形。例如，变形检测单元102可以根据可从光谱符号公司(Spectra Symbol Corp)获得的薄膜位移传感器(弯曲传感器)进行配置。
通过主要注意额肌、耳肌、颞肌和枕肌，耳朵可以有意识地前后移动。例如，当佩戴者前后移动耳朵时，由于耳朵前后的位移，在眼镜架101中产生应力。该应力被变形检测单元102检测到，从而可以检测到佩戴者的耳朵的前后移动。
通过主要注意皱眉肌、额肌、降眉肌、眼轮匝肌、颞肌和鼻肌，可以有意识地上下移动眉毛。例如，由于佩戴者有意识地移动他/她的眉毛引起的位移，在眼镜架101中产生应力。该应力被变形检测单元102检测到，从而可以检测到佩戴者的眉毛的上下移动。
第一镜腿电极103a和第二镜腿电极103b各自设置在眼镜架101的两个镜腿中的对应镜腿中，并且各自在对应镜腿的一部分处接触佩戴者的皮肤。第一镜腿电极103a和第二镜腿电极103b构成测量电极。
第一确定单元121在变形检测单元102检测到眼镜架101的变形时，确定佩戴者的面部已经发生了移动。第一确定单元121放大从变形检测单元102获得的电位信号，从所放大的信号中去除噪声等，并将在去除了噪声等之后的信号与存储的参考信号进行比较以确定是否已经在眼镜架101中发生变形。
第二确定单元122基于由第一镜腿电极103a和第二镜腿电极103b测量的电信号，确定佩戴者的下巴是否已经发生了移动。第二确定单元122基于以公共电极104作为地电位由第一镜腿电极103a和第二镜腿电极103b测量的电信号，确定佩戴者的下巴是否已经发生了移动。第二确定单元122放大从第一镜腿电极103a和第二镜腿电极103b获得的电位信号，从所放大的信号中去除噪声等，提取例如肌电位信号，并将所提取的肌电位信号与存储的参考信号进行比较以确定佩戴者的下巴是否已经发生了移动。
在此，即使对于相同的测试肌肉，模拟肌肉的肌电信号在不同移动的幅度上也有所不同，因此对每个测试肌肉的特征提取是重要的(参见参考文献2)。在特征提取中，例如，整流且平滑的信号是从所测量并处理的信号波形获得的，时间的变化是从所获得的整流且平滑的信号的波形获得的，以及执行上述特征提取。
注意，可以在每个确定单元中对所测量的信号执行数字化处理。此外，还可以在每个确定单元中对所获得的信号进行加或减处理。另外，每个确定单元也可以根据需要执行对佩戴者身份的管理。
当第一确定单元121确定佩戴者的面部已经发生了移动并且同时第二确定单元122确定佩戴者的下巴已经发生了移动时，输出单元123输出由于佩戴者对眼镜架101的操作而产生的命令。输出单元123还具有如下功能：通过语音、振动等向佩戴者反馈正在测量的信号或由外部设备输出并处理的信号的存在。
输出单元123还可以向外部设备(例如，智能电话或平板计算机终端或个人计算机)发送由每个确定单元处理的信号。例如，输出单元123通过无线通信(例如，蓝牙(商标名))或无线LAN、或有线通信向外部设备发送每个信号。输出单元123还可以包括接收由外部设备处理并发送的信号的功能。
确定单元和输出单元123可以包括计算机设备，计算机设备包括例如中央处理单元(CPU)、主存储设备、外部存储设备和网络连接设备。CPU通过部署在主存储设备中的程序运行(执行程序)，从而可以实现上述每个功能。
根据上述第一实施例，测量了佩戴者面部的移动和佩戴者下巴的移动这两个独立且不同的有意识移动，并且当这些有意识移动同时被测量(检测)到时，输出诸如激活指向功能的命令。以这种方式，在用户的姿势之一变成无意识移动的情况下，可以防止设备做出反应而不会引起故障。面部的肌肉将骨骼与皮肤相连，并且可以产生复杂的面部表情。另一方面，面部的多块肌肉通过两个移动彼此相关联。佩戴者可以对这种面部肌肉和骨骼结构在功能解剖学意义上独立且自发地产生两种不同类型的有意识移动。
第二实施例
接下来，将参考图2描述根据本发明第二实施例的信息输入设备。该信息输入设备包括眼镜架101、变形检测单元102、加速度传感器105、第一确定单元121、第三确定单元124和输出单元123a。信息输入设备还包括公共电极104，该公共电极104设置在眼镜架101的鼻托中并且在鼻托的一部分处接触眼镜架101的佩戴者的皮肤。眼镜架101、变形检测单元102、第一确定单元121和公共电极104与上述第一实施例中的眼镜架、变形检测单元、第一确定单元和公共电极类似，因此省略对其的详细描述。
加速度传感器105设置在眼镜架101中，并测量眼镜架101中发生的振动。加速度传感器105例如可以设置在眼镜架101的靠近梁的边框中。第三确定单元124基于由加速度传感器105测量的振动来确定佩戴者的下巴是否已经发生了移动。例如，当牙齿碰撞时，第三确定单元124通过对加速度传感器105测量的信号进行频率分析并提取高频分量来检测在咬合时对牙齿的冲击(参考文献3)。
注意，可以在第三确定单元124中对所测量的信号执行数字化处理。此外，还可以在第三确定单元124中对所获得的信号进行加或减处理。此外，第三确定单元124可以根据需要执行对佩戴者身份的管理。
当第一确定单元121确定佩戴者的面部已经发生了移动并且同时第三确定单元124确定佩戴者的下巴已经发生了移动时，输出单元123a输出由于佩戴者对眼镜架101的操作而产生的命令。输出单元123a还具有如下功能：通过语音、振动等向佩戴者反馈正在测量的信号或由外部设备输出并处理的信号的存在。
根据上述第三实施例，测量了佩戴者面部的移动和佩戴者下巴的移动这两个独立且不同的有意识移动，并且当这些有意识移动同时被测量(检测)到时，输出诸如激活指向功能的命令。以这种方式，在用户的姿势之一变成无意识移动的情况下，可以防止设备做出反应而不会引起故障。
如上所述，根据本发明的多个方面，第一确定单元确定佩戴者的面部是否已经发生了移动，并且第二确定单元确定眼镜架的佩戴者的下巴是否已经发生了移动，因此可以以自然的方式为用户输入信息，从而减轻用户的负担。
同时，本发明不限于上述实施例，并且对于本领域技术人员显而易见的是，在本发明的技术构思内可以进行各种修改和组合。
参考文献1：BIOPAC SYSTEMS,Inc.,"Active Electrode:TSD150 Series",[Searched on May 22,2020],(http://biopac-sys.jp/products/tsd150a/).
参考文献2：Kaoru Ichikawa and Junichi Hori,"Development of InterfaceSystem using Electromyograms of Face Movements"10th Forum on InformationTechnology,Vol.2,G-018,pp.559-560,2011.
参考文献3：Rika Yamashita,et al.,"Propagation of the High FrequencyComponent Caused by the Impact on the Tooth",Journal of ProsthodonticResearch,Vol.43,pp.489-494,1999.
附图标记列表
101 眼镜架
102 变形检测单元
103a 第一镜腿电极
103b 第二镜腿电极
104 公共电极
105 加速度传感器
121 第一确定单元
122 第二确定单元
123 输出单元
123a 输出单元
124 第三确定单元。

Claims (4)

1.一种信息输入设备，包括：
眼镜架；
变形检测单元，设置在所述眼镜架中并且被配置为检测所述眼镜架的变形；
测量电极，设置在所述眼镜架的镜腿中并且被配置为测量由佩戴者的下巴移动而产生的电信号；
第一确定单元，被配置为当所述变形检测单元检测到所述眼镜架的变形时，确定所述佩戴者的面部已经发生了移动；
第二确定单元，被配置为基于由所述测量电极测量的电信号，确定所述佩戴者的下巴是否已经发生了移动；以及
输出单元，被配置为当所述第一确定单元确定所述佩戴者的面部已经发生了移动并且同时所述第二确定单元确定所述佩戴者的下巴已经发生了移动时，输出由于所述佩戴者对所述眼镜架的操作而产生的命令。
2.根据权利要求1所述的信息输入设备，其中，
所述测量电极包括：
第一镜腿电极和第二镜腿电极，各自设置在所述眼镜架的两个镜腿的对应镜腿中，并且被配置为在所述对应镜腿的一部分处接触所述佩戴者的皮肤。
3.根据权利要求2所述的信息输入设备，还包括：
公共电极，设置在所述眼镜架的鼻托中并且被配置为在所述鼻托的一部分处接触所述佩戴者的皮肤。
4.一种信息输入设备，包括：
眼镜架；
变形检测单元，设置在所述眼镜架中并且被配置为检测所述眼镜架的变形；
加速度传感器，设置在所述眼镜架的梁中并且被配置为测量所述眼镜架上发生的振动；
第一确定单元，被配置为当所述变形检测单元检测到所述眼镜架的变形时，确定佩戴者的面部已经发生了移动；
第三确定单元，被配置为基于由所述加速度传感器测量的所述振动，确定所述佩戴者的下巴是否已经发生了移动；以及
输出单元，被配置为当所述第一确定单元确定所述佩戴者的面部已经发生了移动并且同时所述第三确定单元确定所述佩戴者的下巴已经发生了移动时，输出由于所述佩戴者对所述眼镜架的操作而产生的命令。
CN202080102213.9A 2020-06-24 2020-06-24 信息输入设备 Pending CN115942904A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024780 WO2021260830A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Publications (1)

Publication Number Publication Date
CN115942904A true CN115942904A (zh) 2023-04-07

Family

ID=79282597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102213.9A Pending CN115942904A (zh) 2020-06-24 2020-06-24 信息输入设备

Country Status (4)

Country Link
US (1) US20230244298A1 (zh)
JP (1) JPWO2021260830A1 (zh)
CN (1) CN115942904A (zh)
WO (1) WO2021260830A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115917406A (zh) * 2020-06-24 2023-04-04 日本电信电话株式会社 信息输入设备
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4486630A (en) * 1983-03-11 1984-12-04 Fetchko John E Device for use by quadri-plegics to operate a computer, video game or the like by the use of movements of the jaw and eyebrows
JP4206053B2 (ja) * 2004-03-31 2009-01-07 株式会社国際電気通信基礎技術研究所 ユーザインタフェース装置およびユーザインタフェースプログラム
JP4730621B2 (ja) * 2007-05-07 2011-07-20 敦 西川 入力装置
WO2011074186A1 (ja) * 2009-12-15 2011-06-23 パナソニック株式会社 電極装着状態判定システム、電極装着状態判定方法及びそのプログラム
US8721070B2 (en) * 2010-12-08 2014-05-13 Refine Focus, Llc Translating multifocal eyeglass lenses
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US9986086B2 (en) * 2014-07-31 2018-05-29 Samsung Electronics Co., Ltd. Mobile terminal and method of operating the same
US10635179B2 (en) * 2018-05-09 2020-04-28 Facebook Technologies, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices
KR102125055B1 (ko) * 2019-03-26 2020-06-19 박태수 사용자의 측두근을 모니터링하는 안경 및 컴퓨터 프로그램
US11846782B1 (en) * 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors

Also Published As

Publication number Publication date
WO2021260830A1 (ja) 2021-12-30
JPWO2021260830A1 (zh) 2021-12-30
US20230244298A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
JP4399515B1 (ja) 脳波信号の識別方法を調整する装置、方法およびプログラム
US20150126845A1 (en) Wearable head-mounted, glass-style computing devices with eog acquisition and analysis for human-computer interfaces
CN115942904A (zh) 信息输入设备
Barbara et al. EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard
US11556809B2 (en) Brain activity prediction
EP3586733B1 (en) Information processing method, information processing device, and program
Matthies et al. Capglasses: Untethered capacitive sensing with smart glasses
WO2024012330A1 (zh) 一种用于评估帕金森病情的电子设备
Clements et al. Applying dynamic data collection to improve dry electrode system performance for a P300-based brain–computer interface
US11175736B2 (en) Apparatus, systems and methods for using pupillometry parameters for assisted communication
US11874962B2 (en) Information input device
Li et al. Kissglass: Greeting gesture recognition using smart glasses
KR102337217B1 (ko) 전자 장치 및 그 동작 방법
CN115720641A (zh) 信息输入设备
US20230026513A1 (en) Human interface device
CN114847949A (zh) 一种基于脑电特征及放松度指标的认知疲劳康复方法
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
WO2021161387A1 (ja) 処理装置、処理方法及び記憶媒体
Gherman et al. VErGE: A system for collecting voice, eye gaze, gesture, and EEG data for experimental studies
CN112515687A (zh) 测量精神疾病指标的方法及相关产品
Cheng et al. Displacement-pressure biparametrically regulated softness sensory system for intraocular pressure monitoring
Brahmaiah et al. Accurate and Efficient Differentiation Between Normal and Epileptic Seizure of Eyes Using 13 Layer Convolution Neural Network.
CN113729733B (zh) 基于行为测试的运动想象神经响应能力检测装置
Salvaro A fully-wearable non-invasive SSVEP-based BCI system enabled by AR techniques for daily use in real environment.
JP2018116500A (ja) 情報処理システム、情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination