CN113874814A - 可穿戴的人机联接装置及可利用此联接装置执行的方法 - Google Patents

可穿戴的人机联接装置及可利用此联接装置执行的方法 Download PDF

Info

Publication number
CN113874814A
CN113874814A CN201980096812.1A CN201980096812A CN113874814A CN 113874814 A CN113874814 A CN 113874814A CN 201980096812 A CN201980096812 A CN 201980096812A CN 113874814 A CN113874814 A CN 113874814A
Authority
CN
China
Prior art keywords
magnetic
human
measured
deformation
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096812.1A
Other languages
English (en)
Inventor
A·盖尔
P·P·萨特
R·C·Y·塔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deshang Human Solution Interface Co ltd
Original Assignee
Deshang Human Solution Interface Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deshang Human Solution Interface Co ltd filed Critical Deshang Human Solution Interface Co ltd
Publication of CN113874814A publication Critical patent/CN113874814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/08Touch switches specially adapted for time-pieces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Measuring Magnetic Variables (AREA)
  • Position Input By Displaying (AREA)
  • Electrotherapy Devices (AREA)

Abstract

本发明涉及一种可穿戴的人机联接装置(10),其包括:穿戴元件(12),所述穿戴元件被构造用于附接在人类或动物身体的皮肤区域上;挠性层(26),所述挠性层具有磁性且附接在所述穿戴元件(12)上、在朝着所述人类或动物身体的皮肤区域的一侧上,以与所述皮肤区域的表面接触,其中,具有磁性的层(26)的挠性使得所述层(26)能够至少基本上依循所述皮肤区域的所述表面的变形,并且其中,所述层(26)的磁性以这样的方式构造,使得所述皮肤区域的所述表面的变形导致所述磁性的可测量变化;检测单元,所述检测单元测量所述挠性层(26)的磁性的变化;以及处理单元,所述处理单元是集成或分离的且设置成执行将所述磁性的所测量变化分配给形态和/或运动和/或其强度的算法。本发明也涉及一种可利用所述人机联接装置执行的方法。

Description

可穿戴的人机联接装置及可利用此联接装置执行的方法
技术领域
本发明是关于新颖人机联接装置及可以此人机联接装置实行的方法。
背景技术
由于在目前人类与动物所处环境中的互连性及数字化增加,故在人类(或动物)和各种电子装置间的通信需求日增。此处可言及的关键词是术语物联网(IoT),泛知其是指与多个装置的链接通过因特网是可行的或将来是可行的,该链接允许使用者操作或控制这些装置。略举此类装置实例包含所有种类车辆、家电、建物用加热系统、健身训练机、游戏设备、无人机、机器人及诸多其他装置。为了操作或控制这些及其他装置,需要智能型人机联接装置而尽可能便于人类(或动物)以直觉使用此类装置。
发明内容
本发明的主要目的在于提供此一特别是可穿戴的的人机联接装置。
为了达成前述目的,提出一优选的可穿戴的人机联接装置,其具有一穿戴元件,其构造用于附接于人类或动物身体皮肤区域。任何适于紧固人机联接装置(优选地可分离)至人类或动物身体的所期望的皮肤区域的元件均可作为穿戴元件。依本发明的人机联接装置还包括具有磁性的挠性层,其是于朝着该人类或动物身体的该皮肤区域的一侧上附接于该穿戴元件,以接触该皮肤区域表面。在此,具磁性的该层的挠性能够使得该层至少能基本上依循该皮肤区域表面的变形。在本发明的范围中,“磁性”是指该层的磁性以这样的方式构造,使得具有磁性的挠性层所依循的该皮肤区域表面的变形导致可测量的磁性变化。依本发明的人机联接装置还包括检测单元,其测量该挠性层的磁性变化。换言之,该检测单元构造成测量该挠性层的磁性的因皮肤区域表面变形而导致的相对于初始状态的至少该种变化。最终,依本发明的人机联接装置还包括处理单元,其被设置为执行一算法,该算法将该可测量的磁性变化分配给形态及/或运动及/或运动强度。
皮肤区域表面变形的原因可为有意识或无意识。例如一人可随意运动其肢体至不同位置,造成特定皮肤区域的对应变形。另言之,例如因人类的疾病(例如通过无意识肌肉收缩或器官运动)会发生特定皮肤区域的无意识变形,其检测与分配使得医生得以进行良好的诊断。
在本发明的范围中,术语“形态”是指为描述每个肢体的自由度所需的整体关节角度。换言之,“形态”是人类或动物肢体的特定状态(此处可述及的实例包含:腿伸展、腿弯曲、手张开、手握实、手臂伸直、手臂弯曲、手相对于手肘扭曲与不扭曲等)。形态当然亦可指两最终形态之间的状态,例如手臂部分伸展、手部分握实等。
在本发明的范围中,术语“运动”是指形态的时间上的变化(尤其是就幅度与速度而言)。
在本发明的范围中,术语“运动强度”尤其是指进行运动所用的力。
概言之,在人类或动物体内的有意识或无意识的肌肉、肌腱、韧带、骨骼及/或器官运动造成皮肤区域表面变形。本发明的目的在于检测此变形且可靠地将之分配给特定状态(形态)及/或运动及(若需要)其运动强度。
属于人机联接装置的前述处理单元可是集成的或分离的。“集成的”在此是指处理单元直接位于可穿戴的人机联接装置上。但处理单元亦可远离可穿戴的人机联接装置布置并例如通过有线或无线连接与可穿戴的人机联接装置通信。
具有磁性的挠性层可具不同形式。但重要的是足以适应所关注的皮肤区域表面,使得发生皮肤表面变形及因此挠性层的相关变形时,导致可测量的磁性变化。详言之,优选地测量磁场强度变化及/或磁通密度变化。换言之,测量在各案例中产生的磁场,在此存在的磁场本身无须改变,而仅须建构皮肤变形后检测单元所见的磁场变化。就此而言的优点在于挠性层包含具有许多南北极对的极构造时。按此方式,具有磁性的挠性层的位移或扭曲允许自外部可通过测量磁场而测量磁化。此处的重要因素是具有所论磁化强度的极构造,使得磁通密度及/或磁场强度变化是磁力计可测量的。
依据依本发明的人机联接装置的优选示例性实施例,挠性层包含优选地以阵列形式布置的多个磁体,其中如前述,已知该挠性层的可测量的磁性变化是可测量的磁场强度变化及/或可测量的磁通密度变化。此处的术语“磁体”是指单一永久磁体,但亦指有电流流过的导体或一可磁化粒子或一组可磁化粒子(可配置为例如磁带或磁条)。重要处在于仅有各“磁体”导致有效向外且可被检测单元检测的磁化。具磁性的挠性层及具优点的极构造可例如通过设置具有简单南北极构造的市售永久磁体于带状弹性硅树脂层中而达成。当然亦可设想且同样地适用于许多其他配置。
具有磁性的挠性层确实无法与穿戴元件分离。更确切地说,在依本发明的人机联接装置的有利的示例性实施例中,实际上适于组合穿戴元件与具有磁性的挠性层在一组件中。组合两元件的此组件可呈例如腕表中所采用的带状形式。
依本发明的人机联接装置的检测单元优选地包含多个磁力计,用于测量挠性层的磁性变化。多个磁力计的优点同样地在于类似地以阵列形式布置,其中此阵列无须对应于其中布置的多个磁体的阵列。磁力计数量亦无需对应于挠性层所具有的磁体数。
除了测量挠性层的磁性变化外,优点还在于可检测在所关注皮肤区域表面变形期间给出的其他信息。因此,在依本发明的人机联接装置的优选实施例中还呈现一个或以上加速度传感器及/或转速传感器,其输出信号亦可馈送至处理单元。
根据所检测的因所关注皮肤区域表面变形导致的挠性层磁性变化,处理单元实行分配算法,其将所测量的磁性变化(或多个所测量变化)分配给形态及/或运动及/或运动强度。根据经分配的形态及/或运动及/或运动强度,处理单元或下游控制单元可接着例如产生控制指令并馈送至装置,该装置后续实行对应于控制指令的动作。因此,由装置实行的动作对应于由处理单元或分配算法所分配的至少一个形态及/或运动及/或运动强度。经分配的形态及/或运动及/或运动强度可为例如一个姿势。
分配由检测单元(例如借由磁力计测量结果)检测的挠性层磁性变化至例如人类肢体的形态可有利地由人工智能辅助达成。依本发明的人机联接装置的处理单元因而优选地适用于在贝斯分类器、人工神经网络、支持向量机、有限状态机、隐马尔可夫模型、相关向量机、动态时间规整法、条件随机场法、决定树、随机森林法、K最近邻算法、判别分析、线性回归、逻辑回归、高斯处理、感知器及/或集成法(贝斯最佳分类器、装袋、增强)的辅助下,同样地在另纳入转速及/或加速度传感器供应的数据的情况下,将挠性层磁性的所测量变化分配给形态及/或运动及/或运动强度。概言之,先记录由特定磁性及相关的任意形态及/或运动组成的数据集,并接着在所谓的训练中确定该数值之间的关系。因而造成学习或训练模式间差异,其中须获得充分的测量数据并将其进行分配,以允许在预测模式中正确分配单一磁力计测量结果或多个磁力计测量结果至形态及/或运动及/或运动强度。
依本发明的人机联接装置的有利的实施例还设置有与可根据与人机联接装置交换的数据实行动作的至少一个外部装置交换数据的通信单元,该动作对应于经分配的至少一个形态及/或运动及/或运动强度。例如,依本发明的人机联接装置可集成于智能型手表中,使得可在依本发明的人机联接装置辅助下实行智能型手表功能。可设想例如特定手指及/或手运动被分配至智能型手表的特定功能及/或控制指令,使得可借由实行该等运动而简单且直觉性地操作智能型手表。
本发明亦是关于一种用于检测人类或动物身体的皮肤区域表面变形且将该所检测的变形分配给形态及/或运动及/或其强度的方法,该方法包括以下步骤:
将磁体的阵列以这样的方式布置在皮肤区域上或接近该皮肤区域,使得该阵列依循皮肤变形;
通过测量该磁体的阵列的已因皮肤变形而发生的可测量的磁性变化而确定该磁体的阵列的至少一个磁性特征;及
执行用于将所确定的至少一个磁性特征分配给形态及/或运动及/或其强度的算法。
如前述,皮肤区域表面的变形可与无意识或有意识的肌肉、肌腱、韧带、骨骼及/或器官运动有关的。
如前与依本发明的人机联接装置有关的描述,分配算法优选地是经训练的人工智能,其已根据由至少一个磁性特征及相关的形态及/或运动及/或其强度组成的数据集,确定或学习磁性特征与相关的形态及/或运动及/或其强度间的关系。优选地可采用已如前与人机联接装置有关描述的那种算法为分配算法。
术语“磁体的阵列的磁性特征”是指磁体的阵列的待测量或已测量的整体磁性变化,此变化是因所关注的皮肤区域表面发生变形所致。在发生皮肤变形前描述初始状态的另一磁性特征可供参考。尤其是在开始检测磁性特征变化前,可根据预定参考形态实行信号调节或初始化。例如,对于此参考形态,可将所有测量信号归零并自此参考形态开始测量磁性特征变化。依据实例性实施例,各磁性特征是由磁体的阵列的所测量磁场强度及/或所测量磁通密度组成。
因此,在本发明中,磁性层或磁体的阵列的因皮肤的变形或多个变形所致的测量到的磁性变化构成使用信号。因例如扰动变量如地磁或磁性物导致的其他变化须视需要从测量信号中滤除。例如若具有在人机联接装置中的磁分量,则可借由所谓的硬软铁校准做永久补偿,亦即针对给定人机联接装置仅须实行此校准一次。在使用人机联接装置的使用位置处的地磁亦可借由此硬软铁校准做永久补偿。为了补偿其他外部干扰源,可布置人机联接装置的一个或多个磁力计使得该磁力计仅测量一个或多个干扰源的磁场。按此方式,可接着在使用该种磁力计确定磁性层或磁体的阵列因皮肤变形导致磁性变化的情况下补偿干扰源。
如前与依本发明的人机联接装置有关的描述,待测量的磁场强度及/或待测量的磁通密度有利地借由多个磁力计检测,其优选地以阵列形式布置(但无需与其中布置的磁体的阵列对应)。在此优选地在x及/或y及/或z方向上检测待测量的磁场强度及/或待测量的磁通密度。在依本发明的方法及依本发明的人机联接装置的优选示例性实施例中,所述数值的检测是在x、y及z方向上发生的。
除了确定磁性特征外,依本发明的方法的实施例可包括确定加速度及/或转速的步骤。
如前述,依本发明的方法可选择性包括指定控制指令至经分配的形态及/或运动及/或其强度的步骤、以及发送控制指令至装置的步骤。此装置可形成具有依本发明的人机联接装置的单元或可远离人机联接装置。可以有线或无线方式发送控制指令至装置,并可涉及例如因特网的使用。
附图说明
以下将参考随附简图详述依本发明的人机联接装置及依本发明的方法的实例性实施例,其中:
图1是自斜上方所见人机联接装置的实例性实施例的空间图;及
图2是图1的人机界面的侧视图。
具体实施方式
图1及2概略显示一般以10标注的人机联接装置,用以实行以下详述的依本发明的方法的示例性实施例。在所示的示例性实施例中,人机联接装置10类似于智能型手表且顶部具有成框架形式的封围凹部12的盖11,该凹部12在此是矩形且空的,其用以接收智能型手表模块(未显示)或一般用以接收微控制器及/或微处理器(未显示)。借由带状的穿戴元件13,人机联接装置10可被紧固至使用者手腕。穿戴元件13可以腕表带方式调整,以便能适用于不同腕径。
在下部区域中,穿戴元件13具有三个区段14、16及18,它们以铰接方式连接在一起且用以各自接收3×3的磁力计20阵列。在该示例性实施例中,各磁力计20包含三个非共线霍尔(Hall)效应传感器且可依此测量在x、y及z方向上的磁通密度。各3×3磁力计阵列在此构造成各自具有3×3传感器芯片20a的印刷电路板21,在该3×3传感器芯片中布置有磁力计20。各传感器芯片20a除磁力计20的外尚包含加速度传感器及转速传感器,且依此允许9轴测量。但在此情况下,仅使用各传感器芯片20a的磁力计功能。市售有所述类型的传感器芯片及构造。取代此处采用的市售传感器芯片,亦可采用纯磁力计,借此磁力计阵列可被构造成小些或可在相同尺寸下获得更多磁力计测量结果。
磁力计20布置于穿戴元件13内侧且依此朝着人机联接装置10紧固于其上的手腕皮肤表面。
在图中,借由两个铰接连接元件22、24,硅树脂橡胶制的带状挠性层26附接至承载磁力计20的三个区段14、16及18上方的穿戴元件13上,在该挠性层中嵌有4×12磁体28的阵列。此处所述的示例性实施例中采用的硅树脂橡胶是透光的。其中嵌有磁体28的挠性层26以适应皮肤的方式抵于使用者手腕下侧。磁力计20及磁体28并非由实体媒介耦合,而这在例如力或压力传感器的情况下是必要的。由硅树脂橡胶制成的挠性层26具高度弹性,以将磁滞现象降至最低,但同时具足够挠性以能够依循皮肤的小变形。
此处采用的磁体28是呈盘形的由NdFeB制成的钕永久磁体,直径1.5mm且高0.5mm。磁化是N50,磁化方向呈轴向,亦即与高度方向平行。各磁体28的北极布置于皮肤侧,各磁体28的南极因此朝着磁力计20。磁体28之间的间距各自为5mm。
具有布置于其上的磁力计20的以铰接方式布置的三个区段14、16及18(在此各自具有约22mm(宽度)×29mm(长度)的大小)并同在此未显示的多任务器(多任务器的使用是可选的且仅用以允许经由少量数据线与大量传感器通信)及前已描述但在此未显示的微控制器形成人机联接装置10的检测单元。作为微控制器,可使用例如已存在于智能型手表或其他电子装置中的微控制器,或微处理器。
经检测的磁力计测量结果由微控制器馈送至处理单元(此处未显示),该处理单元可借由在其中实施的CNN实行分配经测量磁性特征至形态及/或运动及/或运动强度。此处理单元可例如集成于智能型手表中,并且例如接着是人机联接装置10的一体部分;但其亦可远离人机联接装置并以无线方式与例如图中所示配置通信。
现将描述的依本发明的方法的示例性实施例允许分配磁力计测量结果例如至借由前述人机联接装置10认知的姿势范围内的可自由定义的多个手/手指形态。人机联接装置10如腕表一样紧固至使用者左腕上,且接着以此人机联接装置10测量关联于特定手/手指形态的磁性特征。使用者的平坦外伸展的手作为参考形态。
采用的人机联接装置10包含硅树脂层作为具磁性的挠性层26,其中嵌有4×12磁体的阵列。磁体28之间的相对距离是5mm。
为了测量此磁体的阵列的磁性特征,采用具有9×3磁力计20且分为具有3×3磁力计的三个子阵列的磁力计阵列。
为了将由人机联接装置10供应的磁力计测量结果分配给左手的各手指的形态,在此采用所谓的卷积神经网络(CNN),其是人工神经网络的示例性实施例。各磁力计20检测作用于其上的在x、y及z方向上的磁场。因此,每一测量步骤须处理81个测量值,换言之,各磁性特征是由81个各别值组成。根据大量的此测量结果,在预测模式中的CNN可自磁力计测量结果预测特定类别。此类别在此对应于个别姿势,在这种情况下,各姿势应具不同磁性特征。在此处所述情况中,分配问题因而被表述为多类别分类问题。
采用CNN并非用于依本发明的方法的条件。亦可例如另采用支持向量机、随机森林法或前述的其他方法或算法。但采用CNN具其优点,因为其使用造成极佳结果且CNN亦可非常良好地按比例缩放至较大的数据量。此外,采用CNN允许待学习的参数的特定压缩代表,优点在于分类精确性及资源技术效率方面,尤其是在运动应用及IoT(物联网)应用的所欲使用情况中。此外,CNN在转换、转动、缩放及强度变量上具有鲁棒性,使得一方面可产生用于优化自由参数的大数据池以增加CNN有效性,并且另一方面可更易于将皮肤变形与相关形态之间的学习到的关系的成果转移给多个使用者及转移成其个别特性。
CNN一般是属于人工智能的算法之一,并且详言之是由人工神经网络监测学习。磁力计测量结果作为CNN的输入,而相关的任意姿势记录或定义为CNN的输出。记录或准备由磁力计测量结果(CNN的输入)及相关的任意姿势(CNN的输出)组成的数据集,且接着借由优化CNN的自由参数在所谓的训练中确定这些数值的关系。
在所述示例性实施例中,由手的量化形态、亦即编码为所谓的一热向量的定义类别、及在x、y及z方向上在维持手的量化形态时检测的整体磁力计测量结果组成个别训练实例。
由于所采用的人机联接装置10中的磁力计20布置为3×9阵列,故在测量的情况下均存在用于在x、y及z方向上测量磁性特征的27个支持点。自个别磁力计测量结果获得且归因于皮肤变形的挠性层26的磁性特征因而汇集为皮肤变形的拓朴测量,其中27个支持点作为用于在CNN中处理的矩阵。如前述,训练实例是由指示相关类别(亦即相关形态)的个别标签来完成。
因此,在所述示例性实施例中,训练数据集是由维度的矩阵X组成
(m,nC,nH,nW),其中m是训练实例数,nH是在y方向(磁力计阵列高度)上的磁力计数量,nW是在x方向(磁力计阵列宽度)上的磁力计数量,nC是通道数(x、y、z方向),
及维度的矩阵Y
(m,nG),其中m是训练实例数及nG是姿势数。
磁性特征的81个测量值的每一者均是借助于其由矩阵X算出的算数平均值及标准偏差在各情况中标准化(所谓的Z范畴标准化或Z转换)。这些在训练模式中由测量值算出的算数平均值及标准偏差也可在之后、亦即当完成训练后在用于标准化磁性特征的新测量的信号调节用的预测模式中使用。
在实验性试验的情境中,m=18,000个训练实例(形成训练数据集)、3,375个测试实例(形成测试数据集)、1,125个验证实例(形成验证数据集)及nG=6个姿势首先被研究来训练CNN。仅以训练数据集训练CNN。测试数据集的估计是用以估计及微调CNN,以就预测精确性及CNN的可普及性而言达成最佳性能。验证数据集是在最终估计的末时使用,以借此确保CNN可实际可靠地分类、亦即分配此后对其是未知的数据集。
CNN的训练是由所谓的前向传播及后向传播组成。前向传播描述计算的前向分支、亦即根据磁力计测量结果及CNN的瞬时参数的类别预测。借由成本函数,接着在后向传播中(亦即在后向分支中)改变CNN的自由参数,使得成本函数值变小且尤其是最小化。在此处所述的示例性实施例中,成本函数被表述为所谓的分类交叉熵损失(Categorical Cross-Entropy loss)。后向传播因此是用于确定CNN的自由参数的优化方法。所采用的CNN在50个时期(其中,批量大小为16)中训练,这表示整个训练数据集被送至CNN优化50次,其中,因子值稳定性之故,总是同时将16个训练数据集馈送至CNN中。Adadelta优化方法采用下列参数:初始适用性训练率IR=1.0、Adadelta延迟因子rho=0.95、模糊因子epsilon=1e-07、初始学习率延迟因子decay=0.0。
所采CNN架构示如下表1。
表1
Figure BDA0003374116470000081
Figure BDA0003374116470000091
卷积及全连接层的滤波核在此由Glorot均匀(Xavier)法初始化。此外,卷积层的滤波核用0.001L2-范数加权因子常规化。最终,卷积层的滤波核包含初始设定为0的偏差。
总而言之,磁力计测量被分类为正确类别,其精确性如下:训练99.34%、测试99.53%、验证99.29%。
按所述示例性实施例,在依此方式训练的CNN的预测模式中,人机联接装置的所有磁力计的单一测量步骤接着足以识别静态姿势。但可不只测量静态,亦可测量磁性特征的暂时变化,为达此目的,接着需要多个测量步骤。对此估计,可采用所谓的递归神经网络(LSTM[long-short-term memory;长短期记忆]或GNN[gated neural network;闸控神经网络]),以分类姿势或识别连续手指运动。
可穿戴的人机联接装置10如腕表一样佩戴,使得检测单元的传感器模块借由磁通密度变化记录腕部皮肤变形。详言之,借由实行手与手指运动,皮肤因肌肉、肌腱、韧带及骨骼运动而变形。具有嵌入式磁体28的挠性层26依循此变形,使得发生磁体28相对于磁力计20的相对位移及转动。这些因手与手指运动所致的磁通密度的相对变化可因而自磁力计测量结果重建。训练阶段常需更密集计算的且优点在于是在高功能计算机或针对人工神经网络优化的处理单元上实行。
但经训练的CNN可以以极具计算效率方式实行预测。考虑因训练阶段所致的许多数据集,不仅达成预测的高精确性,并且达成高鲁棒性。由于预测模式异于用于信号调节的方法,仅包含所谓的前向传播,故相较于训练,预测极具计算效率且因而也可例如于智能型手机及类似的行动装置上实行。在详实的实例中,可视取样频率借由81个磁力计测量结果极快速识别姿势,其中,该测量结果通过借由训练而优化的CNN于单一步骤中传送。分配给经识别姿势的控制信号可接着由处理单元或下游控制单元直接传送至待控制的装置。

Claims (20)

1.一种可穿戴的人机联接装置(10),包括:
穿戴元件(12),所述穿戴元件被构造用于附接在人类或动物身体的皮肤区域上;
挠性层(26),所述挠性层具有磁性,并且附接在所述穿戴元件(12)上、在朝着所述人类或动物身体的所述皮肤区域的一侧上,以与所述皮肤区域的表面接触,其中,具有磁性的所述层(26)的挠性以这样的方式,使得所述层(26)能够至少基本上依循所述皮肤区域的所述表面的变形,并且其中,所述层(26)的磁性以这样的方式构造,使得所述皮肤区域的所述表面的变形导致可测量的磁性变化;
检测单元,所述检测单元测量所述挠性层(26)的磁性变化;以及
集成或分离的处理单元,所述处理单元设置成执行将所测量的磁性变化分配给形态和/或运动和/或运动强度的算法。
2.根据权利要求1所述的人机联接装置,
其特征在于,所述挠性层(26)包含优选地以阵列形式布置的多个磁体(28),并且所述挠性层(26)的可测量的磁性变化是可测量的磁场强度变化和/或可测量的磁通密度变化。
3.根据权利要求1或2所述的人机联接装置,
其特征在于,所述穿戴元件(12)和具有磁性的所述挠性层(26)组合在一个组件中。
4.根据权利要求1至3中任一项所述的人机联接装置,
其特征在于,所述检测单元包含多个磁力计(20)。
5.根据前述权利要求中任一项所述的人机联接装置,
其特征在于,所述皮肤区域的所述表面的变形是基于无意识或有意识的肌肉、肌腱、韧带、骨骼和/或器官运动的。
6.根据前述权利要求中任一项所述的人机联接装置,
其特征在于,在所述人机联接装置(10)处还存在有一个或多个加速度传感器和/或转速传感器,所述一个或多个加速度传感器和/或转速传感器的输出信号被馈送至所述处理单元。
7.根据前述权利要求中任一项所述的人机联接装置,
其特征在于,在贝斯分类器、人工神经网络、支持向量机、有限状态机、隐马尔可夫模型、相关向量机、动态时间规整法、条件随机场法、决定树、随机森林法、K最近邻算法、判别分析、线性回归、逻辑回归、高斯处理、感知器和/或集成法(贝斯最佳分类器、装袋、增强)的辅助下,所述处理单元设置成将所述挠性层(26)的所测量的磁性变化分配给形态和/或运动和/或运动强度。
8.根据前述权利要求中任一项所述的人机联接装置,
还包括通信单元,用于与至少一个外部装置进行数据交换,所述至少一个外部装置能够基于与所述人机联接装置(10)交换的数据执行与经分配的至少一个形态和/或运动和/或运动强度相对应的动作。
9.根据前述权利要求中任一项所述的人机联接装置,
其特征在于,所述人机联接装置集成于智能型手表中。
10.一种用于检测人类或动物身体的皮肤区域的表面的变形且将所检测的变形分配给形态和/或运动和/或运动强度的方法,包括以下步骤:
-将磁体的阵列以这样的方式布置在皮肤区域上或接近所述皮肤区域,使得所述阵列依循皮肤变形;
-通过测量所述磁体的阵列的因皮肤变形而已发生的、可测量的磁性变化,确定所述磁体的阵列的至少一个磁性特征;以及
-执行用于将所确定的至少一个磁性特征分配给形态和/或运动和/或运动强度的算法。
11.根据权利要求10所述的方法,
其特征在于,所述算法是经训练的人工智能,所述经训练的人工智能已根据由至少一个磁性特征和相关的形态和/或运动和/或运动强度组成的数据集确定或学习磁性特征与相关的形态和/或运动和/或运动强度之间的关系。
12.根据权利要求11所述的方法,
其特征在于,在贝斯分类器、人工神经网络、支持向量机、有限状态机、隐马尔可夫模型、相关向量机、动态时间规整法、条件随机场法、决定树、随机森林法、K最近邻算法、判别分析、线性回归、逻辑回归、高斯处理、感知器和/或集成法(贝斯最佳分类器、装袋、增强)的辅助下,将磁性特征分配给形态和/或运动和/或运动强度。
13.根据权利要求10至12中任一项所述的方法,
其特征在于,每个磁性特征是由测量的磁场强度和/或测量的磁通密度组成。
14.根据权利要求10至13中任一项所述的方法,
其特征在于,在测量所述磁体的阵列的因皮肤变形而发生的、可测量的磁性变化前,基于预定参考形态进行信号初始化。
15.根据权利要求13或14所述的方法,
其特征在于,借由优选地以阵列形式布置的多个磁力计检测待测量的磁场强度和/或待测量的磁通密度。
16.根据权利要求15所述的方法,
其特征在于,在x和/或y和/或z方向上检测所述待测量的磁场强度和/或所述待测量的磁通密度。
17.根据权利要求14结合权利要求16所述的方法,
其特征在于,为了所述信号初始化,基于所述预定参考形态、在每个检测方向上将所述磁力计归零。
18.根据权利要求10至17中任一项所述的方法,
其特征在于,所述皮肤区域的所述表面的变形是基于无意识或有意识的肌肉、肌腱、韧带、骨骼和/或器官运动的。
19.根据权利要求10至18中任一项所述的方法,
其特征在于,除了确定磁性特征外,还包括确定加速度和/或转速的步骤。
20.根据权利要求10至19中任一项所述的方法,
其特征在于,还包括以下步骤:
-指定控制指令至经分配的形态和/或运动和/或运动强度;以及
-发送所述控制指令至装置。
CN201980096812.1A 2019-05-28 2019-05-28 可穿戴的人机联接装置及可利用此联接装置执行的方法 Pending CN113874814A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/063795 WO2020239202A1 (de) 2019-05-28 2019-05-28 Tragbare mensch-maschine schnittstelle und mit dieser ausführbares verfahren

Publications (1)

Publication Number Publication Date
CN113874814A true CN113874814A (zh) 2021-12-31

Family

ID=66752075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096812.1A Pending CN113874814A (zh) 2019-05-28 2019-05-28 可穿戴的人机联接装置及可利用此联接装置执行的方法

Country Status (13)

Country Link
US (1) US12001601B2 (zh)
EP (1) EP3977238B1 (zh)
JP (1) JP2022536264A (zh)
KR (1) KR20220010564A (zh)
CN (1) CN113874814A (zh)
AU (1) AU2019448100A1 (zh)
BR (1) BR112021023351A2 (zh)
CA (1) CA3141192A1 (zh)
IL (1) IL288334A (zh)
SG (1) SG11202112942XA (zh)
TW (1) TW202113554A (zh)
WO (1) WO2020239202A1 (zh)
ZA (1) ZA202109423B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027252A (ja) * 2006-07-21 2008-02-07 Brother Ind Ltd 操作信号出力装置及び操作システム
US20100179440A1 (en) * 2006-09-01 2010-07-15 Unimatec Co. Ltd. Pulsimeter sensor using hall device
US20120154288A1 (en) * 2010-12-17 2012-06-21 Research In Motion Limited Portable electronic device having a sensor arrangement for gesture recognition
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105814511A (zh) * 2013-10-14 2016-07-27 诺基亚技术有限公司 偏差平面手腕输入
US20170311849A1 (en) * 2014-11-11 2017-11-02 Innovaura Corporation Heart rate monitor
KR20180028861A (ko) * 2016-09-09 2018-03-19 엘지전자 주식회사 맥진 센서 및 그 제어 방법
US20180078183A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
CN107850935A (zh) * 2015-07-17 2018-03-27 电子部品研究院 可穿戴设备及利用该设备输入数据的方法
US10146323B1 (en) * 2012-01-04 2018-12-04 Google Llc Magnetometer-based gesture sensing with a wearable device
US20190029584A1 (en) * 2015-11-15 2019-01-31 Erin Marie Carr-Jordan Wearable Mood and Activity Monitoring System
WO2019074950A1 (en) * 2017-10-10 2019-04-18 Massachusetts Institute Of Technology NEUROMECHANICAL AND NEUROELECTROMAGNETIC MITIGATION METHOD OF MEMBER PATHOLOGY
CN109765996A (zh) * 2018-11-23 2019-05-17 华东师范大学 基于fmg臂带的对穿戴位置偏移不敏感的手势检测系统和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112725A (ja) 1999-10-15 2001-04-24 Dia Syst Kk 生体情報計測装置
WO2008010581A1 (fr) 2006-07-21 2008-01-24 Brother Kogyo Kabushiki Kaisha Dispositif opérationnel et système opérationnel
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US10921886B2 (en) * 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US10042422B2 (en) * 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
JP6255963B2 (ja) * 2013-12-11 2018-01-10 富士通株式会社 バンド型デバイスおよびその検出制御方法
US20150269825A1 (en) 2014-03-20 2015-09-24 Bao Tran Patient monitoring appliance
CN106535750A (zh) 2014-07-14 2017-03-22 森斯弗里有限公司 用于非接触式动脉压力估计器的系统及方法
US9410979B2 (en) 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
AU2015362045C1 (en) 2014-12-08 2020-10-15 Rohit Seth Wearable wireless HMI device
CN104757728B (zh) 2015-04-26 2016-07-06 周盈裕 一种新型防水服装防水加工设备
US10635457B2 (en) * 2015-06-12 2020-04-28 Tyrenn Co., Ltd. Input device and UI configuration and execution method thereof
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US11331045B1 (en) * 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3667564A4 (en) * 2017-08-08 2021-04-07 Fang, Chao GESTURE ACQUISITION SYSTEM
WO2019074978A1 (en) * 2017-10-09 2019-04-18 TacSense, Inc. DETECTION, RECOGNITION AND ANALYSIS OF BODY MOVEMENT AND POSITION FROM A PRESSURE SENSOR ARRAY THAT CAN BE USED
EP3731922B1 (en) * 2017-10-23 2024-02-21 DataFeel Inc. Communication devices, methods, and systems
US10678335B2 (en) * 2018-01-08 2020-06-09 Facebook Technologies, Llc Methods, devices, and systems for creating haptic stimulations and tracking motion of a user
US10845212B1 (en) * 2018-01-11 2020-11-24 Facebook Technologies, Llc Giant magnetoresistance strain gauge sensor
US11493993B2 (en) * 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027252A (ja) * 2006-07-21 2008-02-07 Brother Ind Ltd 操作信号出力装置及び操作システム
US20100179440A1 (en) * 2006-09-01 2010-07-15 Unimatec Co. Ltd. Pulsimeter sensor using hall device
US20120154288A1 (en) * 2010-12-17 2012-06-21 Research In Motion Limited Portable electronic device having a sensor arrangement for gesture recognition
US10146323B1 (en) * 2012-01-04 2018-12-04 Google Llc Magnetometer-based gesture sensing with a wearable device
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105814511A (zh) * 2013-10-14 2016-07-27 诺基亚技术有限公司 偏差平面手腕输入
US20170311849A1 (en) * 2014-11-11 2017-11-02 Innovaura Corporation Heart rate monitor
CN107850935A (zh) * 2015-07-17 2018-03-27 电子部品研究院 可穿戴设备及利用该设备输入数据的方法
US20190029584A1 (en) * 2015-11-15 2019-01-31 Erin Marie Carr-Jordan Wearable Mood and Activity Monitoring System
KR20180028861A (ko) * 2016-09-09 2018-03-19 엘지전자 주식회사 맥진 센서 및 그 제어 방법
US20180078183A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
WO2019074950A1 (en) * 2017-10-10 2019-04-18 Massachusetts Institute Of Technology NEUROMECHANICAL AND NEUROELECTROMAGNETIC MITIGATION METHOD OF MEMBER PATHOLOGY
CN109765996A (zh) * 2018-11-23 2019-05-17 华东师范大学 基于fmg臂带的对穿戴位置偏移不敏感的手势检测系统和方法

Also Published As

Publication number Publication date
CA3141192A1 (en) 2020-12-03
AU2019448100A1 (en) 2021-12-16
EP3977238A1 (de) 2022-04-06
JP2022536264A (ja) 2022-08-15
KR20220010564A (ko) 2022-01-25
EP3977238B1 (de) 2023-12-06
ZA202109423B (en) 2023-04-26
SG11202112942XA (en) 2021-12-30
US20220236789A1 (en) 2022-07-28
WO2020239202A1 (de) 2020-12-03
US12001601B2 (en) 2024-06-04
BR112021023351A2 (pt) 2022-01-04
TW202113554A (zh) 2021-04-01
IL288334A (en) 2022-07-01

Similar Documents

Publication Publication Date Title
US20210181855A1 (en) Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
Truong et al. Capband: Battery-free successive capacitance sensing wristband for hand gesture recognition
Fang et al. 3D human gesture capturing and recognition by the IMMU-based data glove
Ortiz Smartphone-based human activity recognition
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
Liu et al. NeuroPose: 3D hand pose tracking using EMG wearables
Bellitti et al. A wearable and wirelessly powered system for multiple finger tracking
US10830615B2 (en) Bend angle sensing systems and related methods
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
US20210389829A1 (en) Device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
US11899845B2 (en) Electronic device for recognizing gesture and method for operating the same
Pan et al. State-of-the-art in data gloves: A review of hardware, algorithms, and applications
Yadav et al. tinyradar for fitness: A contactless framework for edge computing
Fang et al. Wearable technology for robotic manipulation and learning
Colella et al. Semi-passive RFID electronic devices with on-chip sensor fusion capabilities for motion capture and biomechanical analysis
Bello et al. Move with the theremin: Body posture and gesture recognition using the theremin in loose-garment with embedded textile cables as antennas
CN113874814A (zh) 可穿戴的人机联接装置及可利用此联接装置执行的方法
Wang Data feature extraction method of wearable sensor based on convolutional neural network
Zhao et al. Wear‐free indoor fall detection based on RFID and deep residual networks
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
Chen et al. Analyzing human muscle state with flexible sensors
Parizi et al. AuraRing: Precise electromagnetic finger tracking
Mousavi et al. Wearable smart rings for multi-finger gesture recognition using supervised learning
Bleser et al. Human motion capturing and activity recognition using wearable sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40061068

Country of ref document: HK