CN113111156A - 一种智能听障人士与健全人进行人机交互的系统及其工作方法 - Google Patents

一种智能听障人士与健全人进行人机交互的系统及其工作方法 Download PDF

Info

Publication number
CN113111156A
CN113111156A CN202110276536.6A CN202110276536A CN113111156A CN 113111156 A CN113111156 A CN 113111156A CN 202110276536 A CN202110276536 A CN 202110276536A CN 113111156 A CN113111156 A CN 113111156A
Authority
CN
China
Prior art keywords
hearing
person
sound
gesture
impaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110276536.6A
Other languages
English (en)
Other versions
CN113111156B (zh
Inventor
付强
傅佳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202110276536.6A priority Critical patent/CN113111156B/zh
Publication of CN113111156A publication Critical patent/CN113111156A/zh
Application granted granted Critical
Publication of CN113111156B publication Critical patent/CN113111156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种智能听障人士与健全人进行人机交互的系统及其工作方法，包括数据采集设备单元、人机交互终端和人机交互网络单元，通过弯曲传感器与姿态传感器组成的数据采集设备对手部的数据用Arduino控制器进行数据的实时采集，并在云端进行BP神经网络算法学习及手势识别，再通过手机将手势对应的语音进行播报，完成听障人士与健全人的交互，还可通过手机对语音进行识别，将识别的结果无线传输到云端，当云端接收到识别的结果时，对结果进行处理在unity中控制unity中人物模型完成相对应的动画。此系统完成了听障人士与健全人的正常沟通交流，对于人机交互领域，具有非常强的实用性与可研究性。

Description

一种智能听障人士与健全人进行人机交互的系统及其工作 方法
(一)技术领域：
本发明属于人机交互技术领域，具体涉及一种智能听障人士与健全人进行人机交互的系统及其工作方法，特别适合用在听障人士与健全人之间进行正常沟通交流的应用场景。
(二)背景技术：
由于无法与健全人进行有效的沟通交流，听障人士在日常生活中会面临不同程度的歧视。听障人士作为社会的一份子，其他健全人员需要切实解决好听障人士与健全人的沟通问题，帮助听障人士能够积极乐观地融入社会。
目前听障人士用以与健全人交流的辅助设备效果均不甚理想：如电子人工喉，缺乏对发声时间与音调的精准控制；而基于视觉的手语翻译设备的使用效果受环境影响。因此研究一种轻便同时兼顾高效准确识别的人机交互设备有着广泛的实用价值。
随着物联网和移动互联网的发展，可穿戴设备完成了大型化到小型化的过渡，受到了社会的广泛关注。目前我国拥有庞大的听障人士群体，随着我国残疾人事业的发展，聋人参与社会的需求也在不断增强，但相应的手语翻译人才却十分稀少，这给聋人在学习、生活及工作等各个领域的沟通都造成了很多困难。据统计，目前我国听障人士至少有2057万。而我国手语行业发展缓慢，除少数师范类高等院校在特殊教育专业中开设手语课外，手语教育特别是社会培训力量薄弱。在文化、医疗、社会保障、体育、商业、社会服务等各个行业，手语翻译人员的缺乏，使得听障人士难以实现与外界的有效沟通。譬如，因为与医生沟通不畅，聋哑人时常不愿去医院看病；由于向民警问路很费力，聋哑人的出行困难也不少。所以研制一种智能听障人士与健全人进行人机交互的系统对于听障人士与正常人的正常沟通对听障人士群的影响不言而喻。
(三)发明内容：
本发明的目的在于提供一种智能听障人士与健全人进行人机交互的系统及其工作方法，它可以克服现有技术的不足，是一种结构简单且容易实现的人机交互系统及方法，解决听障人士与健全人之间的沟通交流问题。
本发明的技术方案：一种智能听障人士与健全人进行人机交互的系统，其特征在于它包括数据采集设备单元、人机交互终端和人机交互网络单元；其中，所述数据采集设备佩戴于听障人士的手上，用于采集听障人士的手势数据，并将手势数据上传到云端服务器；所述人机交互网络单元的输入端接收云端服务器中的手势数据，对其进行识别，其输出端与人机交互终端呈数据连接；所述人机交互终端接收人机交互网络单元的识别结果，并将该结果传递给健全人或听障人士；所述人机交互网络单元的输入端还能接受人机交互终端的数据，将健全人的交互信号上传到云端服务器，由人机交互网络单元生成可以使听障人士能够理解的信号，并再次传送给人机交互终端，使听障人士看到。
所述人机交互网络单元与人机交互终端之间依无线网络连接，常采用蜂窝移动通信(Cellular Mobile Communication)，蜂窝移动通信是采用蜂窝无线组网方式，在终端和网络设备之间通过无线通道连接起来，进而实现用户在活动中可相互通信，其主要特征是终端的移动性，并具有越区切换和跨本地网自动漫游功能，蜂窝移动通信业务是指经过由基站子系统和移动交换子系统等设备组成蜂窝移动通信网提供的话音、数据、视频图像等业务。
所述人机交互终端是手机，包括听障人士的手机和健全人的手机；所述健全人的手机与人机交互网络单元之间呈双向数据连接，用于接收人机交互网络单元识别出的听障人士的手势数据信号，同时，所述健全人的手机采集健全人的声音信号并进行识别，将声音信号的识别结果传输到人机交互网络单元中；所述听障人士的手机与人机交互网络单元的输出端连接，用于接收人机交互网络单元生成的与健全人发出的语音信号相对应的人体动画信号。
所述人机交互网络单元是由云端BP神经网络模块和云端unity模块构成；所述云端BP神经网络模块的输入端连接数据采集设备，用于处理听障人士手部的手势数据信号，手部数据作为神经网络的输入，并对输入进行分类得到结果，其输出端连接健全人的手机，将云端BP神经网络模块对手势数据信号的识别结果以语音信号的形式发送到健全人的手机上，让健全人能够理解；所述云端unity模块的输入端连接健全人的手机，用于接收由健全人的手机识别出的健全人的声音信号，其输出端输出与该声音信号相对应的人体动画信号，将其发送到听障人士的手机上，让听障人士能够理解。
所述数据采集设备单元是由弯曲传感器、控制器模块和姿态传感器构成；所述弯曲传感器安装于听障人士的手指处，用于检测手指的弯曲程度，并将弯曲程度信号发送给控制器模块；所述姿态传感器用于检测肢体的运动状态，并将运动状态信号发送给控制器模块。
所述弯曲传感器有5个，设在数据采集设备的5个指头处；所述弯曲传感器是基于电阻碳元素的传感器结构，它是由弯曲传感器R1、电阻R2及运算放大器A1构成；其中，所述弯曲传感器R1的一端与控制器模块的5V电压端子VIN连接，另一端与电阻R2及运算放大器A1的正向输入端连接；所述电阻R2的另一端接控制器模块的GND接地端；所述运算放大器A1用于将5V的电压分成1023份，更易于看出电压的变化，其负向输入端与输出端短接，输出端与控制器模块连接。
所述弯曲度传感器R1是Flex4.5传感器；所述弯曲传感器R1作为一种可变的印刷电阻，弯曲传感器R1在薄的柔性基板上实现了很大的形状因子；当基板弯曲时，传感器产生与弯曲半径相关的电阻输出半径越小，电阻值越高；所述电阻R2的阻值是4.7kΩ。
所述姿态传感器有2个，分别安装于听障人士的手背和前臂，分别用于检测手掌和前臂的姿态信号；所述姿态信号是通过姿态传感器获得的3轴欧拉角信号，即：x轴倾角、y轴倾角及z轴倾角，分别代表手臂的空间位姿的俯仰角、偏航角及滚转角。
所述姿态传感器是维特智能的jy61p姿态传感器。
所述控制器模块是单片机电路结构；与姿态传感器之间通过UART进行串口通讯；在电路连接上，所述姿态传感器的5V电源接口与控制器模块的 5V电源接口连接；所述姿态传感器的GND接口与控制器模块的GND接口连接；所述姿态传感器的TX接口与控制器模块的RX接口连接；所述姿态传感器的RX接口与控制器模块的TX接口连接。
所述控制器模块的单片机电路结构中的单片机是Arduino mega2560芯片。
一种智能听障人士与健全人进行人机交互的系统的工作方法，其特征在于它包括两种模式，即听障人士与健全人进行交流时的模式A和健全人与听障人士进行交流时的模式B；其中，所述模式A作为听障人士与健全人交流方式，听障人士为表述者，健全人为倾听者；所述模式B作为健全人与听障人士交流方式，健全人为表述者，听障人士为倾听者；
所述模式A包括以下步骤：
(A-1)听障人士穿戴数据采集设备比划手势，将该手势数据作为神经网络的训练集以构建BP神经网络分类模型；由安装在听障人士手指的弯曲传感器采集听障人士手指的弯曲程度信号，即模拟电压量，发送给控制器模块，与手背和前臂的姿态传感器通过UART进行串口通讯得到的3轴欧拉角数据一起传输给云端即手势数据信号，分别如式1-1和式1-2所示：
Figure RE-RE-GDA0003084229600000051
Figure RE-RE-GDA0003084229600000052
其中，Vour是弯曲传感器分到的电压量，Vin是控制器模块的5v输出电压， R1是弯曲传感器的阻值，R2是与R1并联的电阻；a0为弯曲传感器在控制器模块的模拟口输出的模拟电压量，当弯曲传感器的弯曲角度变大，弯曲传感器的阻值将变小，弯曲传感器所分到的模拟电压量则减小，而a0也会变小；
(A-2)将(A-1)获取到的能够描述听障人士手语动作的手势数据信号通过无线网络传输到云端服务器；
(A-3)云端服务器利用步骤(A-1)获得的手势数据信号以及该信号所对应的手势含义作为训练集数据并进行训练，从而得到BP神经网络分类模型；以手势数据信号作为BP神经网络分类模型的输入，输出该手势数据信号所对应的手势含义，不断重复该步骤，完成对BP神经网络分类模型的训练；神经网络的训练目标是使网络的输出值能够尽可能接近真实值，所以就可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差值来对每一层的权重矩阵进行调整更新：假如网络的预测值偏高，就调整权重让它预测低一些，假如网络的预测值偏低，就调整权重让它预测高一些，通过不断的调整，直至能够预测出目标值。
(A-4)听障人士戴上数据采集设备比划手势，实时采集手势数据信号；将得到的手势数据信号输入至步骤(A-3)训练好的BP神经网络分类模型，作为其输入信号，由此得到的识别结果即为手势数据信号所对应的手势含义；
(A-6)由云端BP神经网络模块将手势数据信号所对应的手势含义通过无线网络传输到健全人的手机上，此时，健全人的手机会发出与听障人士的手势相对应的语音，完成听障人士与健全人的沟通；
所述模式B包括以下步骤：
(B-1)由手机对健全人发出的语音进行识别，并将识别结果对应的听障人士双手的手势数据信号通过无线网络上传到云端服务器；
所述步骤(B-1)中的语音识别功能是直接调用百度语音翻译平台开放的 SDK来实现。
所述步骤(B-1)中对应的听障人士双手的手势数据信号是一个与语音相符合的人体22个数据，其中，前11位数据的前5位代表人体模型右手手指的弯曲角度，后6位分别是人体模型右手腕关节骨骼和右手肘关节骨骼的x、 y、z轴空间角度，分别代表unity中人体模型腕关节骨骼和肘关节骨骼空间角度，它们的角度不同会导致unity中人体模型的手指手掌和前臂的位置发生变化，后11位数据的前5位代表人体模型左手手指的弯曲角度，后6位分别是人体模型左手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度；这22个数据在云端unity接收到以后，可以控制unity中的人体模型做出对应动作；
(B-2)在云端服务器中，根据步骤(B-1)得到的手势数据信号，由云端unity模块接收到此信号，在unity中添加C#脚本来控制unity中的人体模型做出与语音相对应的手势动画，即手势数据信号传到unity中，C#脚本直接将手势数据信号控制人体模型动作；
所述步骤(B-2)中unity中的人体模型是在3D建模软件中实现的并且绑有骨骼，具体包括以下步骤：
(B-2-1)在3D MAX(3D Studio Max，常简称为3D MAX，是基于PC 系统的三维动画渲染和制作软件，可用于3D建模的一款软件)中先建立人体的骨骼模型，并将骨骼连接起来，再将建好的骨骼进行蒙皮制作出人体模型，完成人体模型的三维重建，然后将人体模型导出为fbx格式的图片，fbx格式是unity软件所要求的格式；
(B-2-2)将步骤(B-2-1)导出的fbx格式图片拖入asset场景中，并将人体模型拖入到scene场景中，所述的asset与scene场景均为unity软件中的场景；
(B-2-3)对人体模型添加C#脚本，即：右键点击asset场景选择C#script，并对建立的脚本用C#语言编程对人体的骨骼的前进、后退、旋转进行控制和界面显示并保存，将建好的C#脚本拖入人体模型中，完成C#脚本的添加，从而实现对人体模型的各个骨骼的前进、后退、旋转和界面显示的功能，即实现了人体动画效果。
(B-3)将步骤(B-2)中的到的手势动画通过无线网络由云端服务器传送到听障人士的手机上，使听障人士能够根据看到的手势动画实现与健全人的交流。
本发明的工作原理：BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播。在前向传播的过程中，输入信号从输入层经隐含层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。BP神经网络进行分类识别，BP神经元与其他的神经元相类似，但与之不同的是BP神经元的传递函数是非线性的函数，一般来说最常用的函数是logsig和tansig。 BP网络大部分为多层的，BP网络的信息从输入层流向输出层，所以它是一种多层的前馈神经网络。
而且，深度学习算法BP神经网络是通过对实时采集到的手势进行分类处理得出对应的特征向量来实现的；利用了深度学习BP神经网络算法对实时采集的手部数据进行分类，提高了识别率，并将分类的结果以语音的形式表达出来，方便健全人的理解。并且利用了手机与unity，用手机对语音进行识别并用unity中的人物表达语音所代表的手势，采取的云端服务器和无线传输的方式，方便了听障人士的携带与理解。完成了听障人士与健全人的双向交互。
云端unity6(unity是构建虚拟环境的软件，别名为Unity 3D，并在虚拟环境中添加C#脚本实现对其中的人体模型的手部的运动进行控制的功能)和 3D人物模型单元如图6-a、图6-b和图6-c所示。手机能对健全人的声音进行识别，将识别的结果无线传输到所述的云端unity中，unity接收到识别的结果控制unity中人体模型做出与健全人的语音相对应的手势动画，并将动画无线传输到所述的手机中，使得听障人士能够理解。
本发明的优越性：数据采集系统的结构简单，连接方便，且容易携带；针对人机交互技术的应用，实现了听障人士与健全人的正常沟通交流，通过深度学习算法BP神经网络对手语进行识别，通过手机发声。并且增加了健全人与听障人士交流，在手机中显示健全人所发出语音对应的手语动画，尤其是人机交互领域，具有非常强的实用性与可研究性。
(四)附图说明：
图1为本发明所涉一种智能听障人士与健全人进行人机交互的系统的整体结构示意图(其中，图1-a为听障人士与健全人交互部分的系统结构，图 1-b为健全人与听障人士交互部分的系统结构)。
图2为本发明所涉一种智能听障人士与健全人进行人机交互的系统的工作方法的整体流程示意图。
图3为本发明所涉一种智能听障人士与健全人进行人机交互的系统中数据采集设备单元的数据传输流程示意图。
图4为本发明所涉一种智能听障人士与健全人进行人机交互的系统中弯曲传感器的电路原理示意图。
图5为本发明所涉一种智能听障人士与健全人进行人机交互的系统的工作方法中BP神经网络算法的流程示意图。
图6为本发明所涉一种实施例中得到的手机画面示意图(其中，6-a为当识别结果为手语“你”时unity传输到手机的画面；6-b为当识别结果为手语“一”时unity传输到手机的画面；6-c为识别结果为手语“学”时unity传输到手机的画面)。
其中，1为弯曲传感器，2为控制器模块，3为姿态传感器，4-1为听障人士的手机，4-2健全人的手机，5为云端BP神经网络模块，6为云端unity模块。
(五)具体实施方式：
一种智能听障人士与健全人进行人机交互的系统，如图1-a、图1-b、图2 所示，其特征在于它包括数据采集设备单元、人机交互终端和人机交互网络单元；其中，所述数据采集设备佩戴于听障人士的手上，用于采集听障人士的手势数据，并将手势数据上传到云端服务器；所述人机交互网络单元的输入端接收云端服务器中的手势数据，对其进行识别，其输出端与人机交互终端呈数据连接；所述人机交互终端4接收人机交互网络单元的识别结果，并将该结果传递给健全人或听障人士；所述人机交互网络单元的输入端还能接受人机交互终端的数据，将健全人的交互信号上传到云端服务器，由人机交互网络单元生成可以使听障人士能够理解的信号，并再次传送给人机交互终端，使听障人士看到。
所述人机交互网络单元与人机交互终端之间依无线网络连接，常采用蜂窝移动通信，蜂窝移动通信是采用蜂窝无线组网方式，在终端和网络设备之间通过无线通道连接起来，进而实现用户在活动中可相互通信，其主要特征是终端的移动性，并具有越区切换和跨本地网自动漫游功能，蜂窝移动通信业务是指经过由基站子系统和移动交换子系统等设备组成蜂窝移动通信网提供的话音、数据、视频图像等业务。
所述人机交互终端是手机，包括听障人士的手机4-1和健全人的手机4-2，如图1和图2所示；所述健全人的手机4-2与人机交互网络单元之间呈双向数据连接，用于接收人机交互网络单元识别出的听障人士的手势数据信号，同时，所述健全人的手机4-2采集健全人的声音信号并进行识别，将声音信号的识别结果传输到人机交互网络单元中；所述听障人士的手机4-1与人机交互网络单元的输出端连接，用于接收人机交互网络单元生成的与健全人发出的语音信号相对应的人体动画信号。
所述人机交互网络单元是由云端BP神经网络模块5和云端unity模块6 构成，如图1-a、图1-b和图2所示；所述云端BP神经网络模块5的输入端连接数据采集设备，用于处理听障人士手部的手势数据信号，手部数据作为神经网络的输入，并对输入进行分类得到结果，其输出端连接健全人的手机 4-2，将云端BP神经网络模块5对手势数据信号的识别结果以语音信号的形式发送到健全人的手机4-2上，让健全人能够理解；所述云端unity模块6的输入端连接健全人的手机4-2，用于接收由健全人的手机4-2识别出的健全人的声音信号，其输出端输出与该声音信号相对应的人体动画信号，将其发送到听障人士的手机4-1上，让听障人士能够理解。
所述数据采集设备单元是由弯曲传感器1、控制器模块2和姿态传感器3 构成，如图1-a、图1-b所示；所述弯曲传感器1安装于听障人士的手指处，用于检测手指的弯曲程度，并将弯曲程度信号(即模拟电压量)发送给控制器模块2；所述姿态传感器3用于检测肢体的运动状态，并将运动状态信号发送给控制器模块2。
所述弯曲传感器1有5个，设在数据采集设备的5个指头处，如图1-a、图1-b所示；所述弯曲传感器1是基于电阻碳元素的传感器结构，它是由弯曲传感器R1、电阻R2及运算放大器A1构成，如图4所示；其中，所述弯曲传感器R1的一端与控制器模块2的5V电压端子VIN连接，另一端与电阻R2 及运算放大器A1的正向输入端连接；所述电阻R2的另一端接控制器模块2 的GND接地端；所述运算放大器A1用于将5V的电压分成1023份，更易于看出电压的变化，其负向输入端与输出端短接，输出端与控制器模块2连接。
所述弯曲度传感器R1是Flex4.5传感器；所述弯曲传感器R1作为一种可变的印刷电阻，弯曲传感器R1在薄的柔性基板上实现了很大的形状因子；当基板弯曲时，传感器产生与弯曲半径相关的电阻输出半径越小，电阻值越高；所述电阻R2的阻值是4.7kΩ。
所述姿态传感器3有2个，分别安装于听障人士的手背和前臂，分别用于检测手掌和前臂的姿态信号，如图1-a、图1-b所示；所述姿态信号是通过姿态传感器3获得的3轴欧拉角信号，即：x轴倾角、y轴倾角及z轴倾角，分别代表手臂的空间位姿的俯仰角、偏航角及滚转角。
所述姿态传感器3是维特智能的jy61p姿态传感器。
所述控制器模块2是Arduino mega2560芯片电路结构；与姿态传感器3 之间通过UART进行串口通讯，如图3所示；在电路连接上，所述姿态传感器3的5V电源接口与Arduinomega2560芯片的5V电源接口连接；所述姿态传感器3的GND接口与Arduino mega2560芯片的GND接口连接；所述姿态传感器3的TX接口与Arduino mega2560芯片的RX接口连接；所述姿态传感器3的RX接口与Arduino mega2560芯片的TX接口连接。
一种智能听障人士与健全人进行人机交互的系统的工作方法，其特征在于它包括两种模式，即听障人士与健全人进行交流时的模式A和健全人与听障人士进行交流时的模式B，如图2所示；其中，所述模式A作为听障人士与健全人交流方式，听障人士为表述者，健全人为倾听者；所述模式B作为健全人与听障人士交流方式，健全人为表述者，听障人士为倾听者；
所述模式A包括以下步骤：
(A-1)听障人士穿戴数据采集设备比划手势，将该手势数据作为神经网络的训练集以构建BP神经网络分类模型；由安装在听障人士手指的弯曲传感器采集听障人士手指的弯曲程度信号，即模拟电压量，发送给控制器模块，与手背和前臂的姿态传感器通过UART进行串口通讯得到的3轴欧拉角数据一起传输给云端即手势数据信号。如图3所示；分别如式1-1和式1-2所示：
Figure RE-RE-GDA0003084229600000131
Figure RE-RE-GDA0003084229600000132
其中，Vour是弯曲传感器分到的电压量(弯曲传感器与4.7KΩ电阻分5V 的电压，电路图见图4)，Vin是控制器模块的5v输出电压，R1是弯曲传感器的阻值，R2是与R1并联的电阻；a0为弯曲传感器在控制器模块的模拟口输出的模拟电压量，当弯曲传感器的弯曲角度变大，弯曲传感器的阻值将变小，弯曲传感器所分到的模拟电压量则减小，而a0也会变小，弯曲传感器电路如图4所示；
(A-2)将(A-1)获取到的能够描述听障人士手语动作的手势数据信号通过无线网络传输到云端服务器；
(A-3)云端服务器利用步骤(A-1)获得的手势数据信号以及该信号所对应的手势含义作为训练集数据并进行训练，从而得到BP神经网络分类模型；以手势数据信号作为BP神经网络分类模型的输入，输出该手势数据信号所对应的手势含义，不断重复该步骤，完成对BP神经网络分类模型的训练；神经网络的训练目标是使网络的输出值能够尽可能接近真实值，所以就可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差值来对每一层的权重矩阵进行调整更新：假如网络的预测值偏高，就调整权重让它预测低一些，假如网络的预测值偏低，就调整权重让它预测高一些，通过不断的调整，直至能够预测出目标值。
(A-4)听障人士戴上数据采集设备比划手势，实时采集手势数据信号；将得到的手势数据信号输入至步骤(A-3)训练好的BP神经网络分类模型，作为其输入信号，由此得到的识别结果即为手势数据信号所对应的手势含义，其流程图如图5所示，部分手势数据信号如表1所示：
表1部分手势数据信号
Figure RE-RE-GDA0003084229600000141
(A-6)由云端BP神经网络模块5将手势数据信号所对应的手势含义通过无线网络传输到健全人的手机4-2上，此时，健全人的手机4-2会发出与听障人士的手势相对应的语音，完成听障人士与健全人的沟通；
所述模式B包括以下步骤：
(B-1)由手机4-2对健全人发出的语音进行识别，并将识别结果对应的听障人士双手的手势数据信号通过无线网络上传到云端服务器；
所述步骤(B-1)中的语音识别功能是直接调用百度语音翻译平台开放的 SDK来实现。
所述步骤(B-1)中对应的听障人士双手的手势数据信号是一个与语音相符合的人体22个数据，其中，前11位数据的前5位代表人体模型右手手指的弯曲角度，后6位分别是人体模型右手腕关节骨骼和右手肘关节骨骼的x、 y、z轴空间角度，此x、y、z轴空间角度代表的是unity中人体模型腕关节骨骼和肘关节骨骼空间角度，它们的角度不同会导致unity中人体模型的手指手掌和前臂的位置发生变化，后11位数据的前5位代表人体模型左手手指的弯曲角度，后6位分别是人体模型左手腕关节骨骼和右手肘关节骨骼的x、y、z 轴空间角度；这22个数据在云端unity接收到以后，可以控制unity中的人体模型做出对应动作；
(B-2)在云端服务器中，根据步骤(B-1)得到的手势数据信号，由云端unity模块6接收到此信号，在unity中添加C#脚本来控制unity中的人体模型做出与语音相对应的手势动画，即手势数据信号传到unity中，C#脚本直接将手势数据信号控制人体模型动作；
所述步骤(B-2)中unity中的人体模型是在3D建模软件中实现的并且绑有骨骼，具体包括以下步骤：
(B-2-1)在3D MAX中先建立人体的骨骼模型，并将骨骼连接起来，再将建好的骨骼进行蒙皮制作出人体模型，完成人体模型的三维重建，然后将人体模型导出为fbx格式的图片，fbx格式是unity软件所要求的格式；
(B-2-2)将步骤(B-2-1)导出的fbx格式图片拖入asset场景中，并将人体模型拖入到scene场景中，所述的asset与scene场景均为unity软件中的场景；
(B-2-3)对人体模型添加C#脚本，即：右键点击asset场景选择C#script，并对建立的脚本用C#语言编程对人体的骨骼的前进、后退、旋转进行控制和界面显示并保存，将建好的C#脚本拖入人体模型中，完成C#脚本的添加，从而实现对人体模型的各个骨骼的前进、后退、旋转和界面显示的功能，即实现了人体动画效果。
(B-3)将步骤(B-2)中的到的手势动画通过无线网络由云端服务器传送到听障人士的手机4-1上，使听障人士能够根据看到的手势动画实现与健全人的交流。
例如，对数字“一”进行正确识别时，由健全人的手机4-2通过无线网络将与语音相符合的人体22位数据传送到云端服务器，这前11位数据的前5 位是右手手指的弯曲程度，后6位分别是右手腕关节和右手肘关节的x、y、z 轴空间角度，后11位数据的前5位是左手手指的弯曲程度，后6位分别是左手腕关节和左手肘关节的x、y、z轴空间角度；由云端unity模块6接收到此数据，并由此控制unity中的人物模型做出与语音相对应的手势动画，并且在云端将这个动作画面无线传输给听障人士的手机4-1，从而把健全人的语音信息变成听障人士可理解的手势动画，如图6-a、图6-b和图6-c所示，分别完成了语音“你”、“一”、“学”变成手势“你”、“一”、“学”，完成健全人与听障人士交流。
下面通过附图结合具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种智能听障人士与健全人进行人机交互的系统如附图1-a、图1-b中所示，该系统主要由数据采集部分、unity中人物模型部分、云端部分、深度学习算法bp神经网络部分和手机组成，所述的数据采集设备上设有arduino控制板、弯曲传感器和姿态传感器，本发明使用的Arduino控制板的芯片选择的 mega2560芯片，Arduino控制板是非常方便的一款开源控制器，具有4个UART 串口通信接口，该控制板功能强大而且具有简便的编程环境，自由度与灵活性较高。所述的姿态传感器的型号为维特智能的jy61p姿态传感器，所述数据采集设备上设有多个弯曲度传感器，所述的弯曲度传感器的型号Flex4.5，所述arduino控制板分别与弯曲度传感器和姿态传感器连接。其连接的方法为，姿态传感器与arduino控制器的两个UART串口相连，5个弯曲传感器分别串联电阻接地。本发明通过数据采集设备采集手势信息，通过将手势数据无线传输给云端BP神经网络进行手势识别，在通过手机将手势翻译成语音进行播报。
所述模式A的步骤如下时(即听障人士与健全人进行交流时)
(1)听障人士比划手势利用弯曲传感器采集听障人士手指的弯曲信号即电压信号，发送给控制器模块，与手背和前臂的姿态传感器通过TTL进行串口通讯得到的3轴欧拉角数据一起传输给云端。
(2)在将数据传到云端神经网络之前要先建立BP神经网络并完成神经网络的训练步骤根据手势识别预测要求确定BP神经网络的输入层数量、隐含层数量以及输出层数量。根据所有手势数据的数量确定输入层的输入神经元数量，根据所有预设识别手势的数量确定输出层的输出神经元数量，根据输入神经元数量以及输出神经元数量确定隐含层的隐含层神经元数量，根据输入神经元数量、输出神经元数量、隐含层数量以及隐含层神经元数量，建立神经网络模型。
(3)具体地，如上所述的处理方法，根据手势数据对神经网络模型进行训练，得到训练好的目标神经网络的步骤包括：初始化神经网络模型的权值、阈值和修正次数；根据预设的激励函数，得到神经网络模型的输出值；根据预设的误差函数，得到神经网络模型的误差；当根据误差或修正次数不满足迭代要求时，根据梯度下降法对神经网络模型进行误差修正，并更新权值和阈值，且修正次数加1；当根据误差或修正次数满足迭代要求时，确定当前神经网络模型为目标神经网络。优选地，如上所述的处理方法，根据梯度下降法对神经网络模型进行误差修正，如上所述的处理方法，迭代要求为误差小于预设误差或者修正次数达到预设迭代次数。
(4)进一步的，再将归一化预处理好的数据放入已经上诉训练好的云端BP神经网络中，并输入至目标神经网络中，得到手势识别的预测的结果。
(5)云端将识别的手势结果无线传输给手机，手机发出与手势对应的语音，将听障人士的手势信息转变成健全人可理解的手势信息，完成听障人士与健全人的沟通。
所述模式B的步骤如下时(即健全人与听障人士进行交流时)
(6)通过手机对语音进行识别，语音识别的功能可通过直接调用百度语音翻译平台开放的SDK来实现。当手机对语音进行识别时，手机将识别的结果对应双手的22个数据将它无线传输给云端，例如对数字一进行正确识别时，手机通过无线传输向云端的unity发送与语音相符合的人体22位数据，这前 11位数据的前5位是右手手指的弯曲程度，后6位分别是右手腕关节和右手肘关节的x、y、z轴空间角度，后11位数据的前5位是左手手指的弯曲程度，后6位分别是左手腕关节和左手肘关节的x、y、z轴空间角度。用来控制unity 中人物做出与语音相对应的手势动画，并且在云端将这个动作画面无线传输给手机，把健全人的语音信息变成听障人士可理解的手势动画，完成健全人与听障人士交流。
尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (9)

1.一种智能听障人士与健全人进行人机交互的系统，其特征在于它包括数据采集设备单元、人机交互终端和人机交互网络单元；其中，所述数据采集设备佩戴于听障人士的手上，用于采集听障人士的手势数据，并将手势数据上传到云端服务器；所述人机交互网络单元的输入端接收云端服务器中的手势数据，对其进行识别，其输出端与人机交互终端呈数据连接；所述人机交互终端接收人机交互网络单元的识别结果，并将该结果传递给健全人或听障人士；所述人机交互网络单元的输入端还能接受人机交互终端的数据，将健全人的交互信号上传到云端服务器，由人机交互网络单元生成可以使听障人士能够理解的信号，并再次传送给人机交互终端，使听障人士看到。
2.根据权利要求1所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述人机交互网络单元与人机交互终端之间依无线网络连接；
所述人机交互终端是手机，包括听障人士的手机和健全人的手机；所述健全人的手机与人机交互网络单元之间呈双向数据连接，用于接收人机交互网络单元识别出的听障人士的手势数据信号，同时，所述健全人的手机采集健全人的声音信号并进行识别，将声音信号的识别结果传输到人机交互网络单元中；所述听障人士的手机与人机交互网络单元的输出端连接，用于接收人机交互网络单元生成的与健全人发出的语音信号相对应的人体动画信号；
所述人机交互网络单元是由云端BP神经网络模块和云端unity模块构成；所述云端BP神经网络模块的输入端连接数据采集设备单元，用于处理听障人士手部的手势数据信号，手部数据作为神经网络的输入，并对输入进行分类得到结果，其输出端连接健全人的手机，将云端BP神经网络模块对手势数据信号的识别结果以语音信号的形式发送到健全人的手机上；所述云端unity模块的输入端连接健全人的手机，其输出端输出与该声音信号相对应的人体动画信号，将其发送到听障人士的手机上。
3.根据权利要求1所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述数据采集设备单元是由弯曲传感器、控制器模块和姿态传感器构成；所述弯曲传感器安装于听障人士的手指处，用于检测手指的弯曲程度，并将弯曲程度信号发送给控制器模块；所述姿态传感器用于检测肢体的运动状态，并将运动状态信号发送给控制器模块。
4.根据权利要求3所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述弯曲传感器有5个，设在数据采集设备的5个指头处；所述弯曲传感器是基于电阻碳元素的传感器结构，它是由弯曲传感器R1、电阻R2及运算放大器A1构成；其中，所述弯曲传感器R1的一端与控制器模块的5V电压端子VIN连接，另一端与电阻R2及运算放大器A1的正向输入端连接；所述电阻R2的另一端接控制器模块的GND接地端；所述运算放大器A1的负向输入端与输出端短接，输出端与控制器模块连接；
所述姿态传感器有2个，分别安装于听障人士的手背和前臂，分别用于检测手掌和前臂的姿态信号；所述姿态信号是通过姿态传感器获得的3轴欧拉角信号，即：x轴倾角、y轴倾角及z轴倾角，分别代表手臂的空间位姿的俯仰角、偏航角及滚转角。
5.根据权利要求4所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述弯曲度传感器R1是Flex4.5传感器；所述弯曲传感器R1作为一种可变的印刷电阻，弯曲传感器R1在薄的柔性基板上实现了很大的形状因子；当基板弯曲时，传感器产生与弯曲半径相关的电阻输出半径越小，电阻值越高；所述电阻R2的阻值是4.7kΩ；
所述姿态传感器是维特智能的jy61p姿态传感器。
6.根据权利要求1所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述控制器模块是单片机电路结构；与姿态传感器之间通过UART进行串口通讯；在电路连接上，所述姿态传感器的5V电源接口与控制器模块的5V电源接口连接；所述姿态传感器的GND接口与控制器模块的GND接口连接；所述姿态传感器的TX接口与控制器模块的RX接口连接；所述姿态传感器的RX接口与控制器模块的TX接口连接。
7.根据权利要求6所述一种智能听障人士与健全人进行人机交互的系统，其特征在于所述控制器模块的单片机电路结构中的单片机是Arduino mega2560芯片。
8.一种智能听障人士与健全人进行人机交互的系统的工作方法，其特征在于它包括两种模式，即听障人士与健全人进行交流时的模式A和健全人与听障人士进行交流时的模式B；其中，所述模式A作为听障人士与健全人交流方式，听障人士为表述者，健全人为倾听者；所述模式B作为健全人与听障人士交流方式，健全人为表述者，听障人士为倾听者；
所述模式A包括以下步骤：
(A-1)听障人士穿戴数据采集设备比划手势，将该手势数据作为神经网络的训练集以构建BP神经网络分类模型；由安装在听障人士手指的弯曲传感器采集听障人士手指的弯曲程度信号，即模拟电压量，发送给控制器模块，与手背和前臂的姿态传感器通过UART进行串口通讯得到的3轴欧拉角数据一起传输给云端即手势数据信号，分别如式1-1和式1-2所示：
Figure FDA0002976862950000041
Figure FDA0002976862950000042
其中，Vour是弯曲传感器分到的电压量，Vin是控制器模块的5v输出电压，R1是弯曲传感器的阻值，R2是与R1并联的电阻；a0为弯曲传感器在控制器模块的模拟口输出的模拟电压量，当弯曲传感器的弯曲角度变大，弯曲传感器的阻值将变小，弯曲传感器所分到的模拟电压量则减小，而a0也会变小；
(A-2)将(A-1)获取到的能够描述听障人士手语动作的手势数据信号通过无线网络传输到云端服务器；
(A-3)云端服务器利用步骤(A-1)获得的手势数据信号以及该信号所对应的手势含义作为训练集数据并进行训练，从而得到BP神经网络分类模型；以手势数据信号作为BP神经网络分类模型的输入，输出该手势数据信号所对应的手势含义，不断重复该步骤，完成对BP神经网络分类模型的训练；神经网络的训练目标是使网络的输出值能够尽可能接近真实值，所以就可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差值来对每一层的权重矩阵进行调整更新：假如网络的预测值偏高，就调整权重让它预测低一些，假如网络的预测值偏低，就调整权重让它预测高一些，通过不断的调整，直至能够预测出目标值。
(A-4)听障人士戴上数据采集设备比划手势，实时采集手势数据信号；将得到的手势数据信号输入至步骤(A-3)训练好的BP神经网络分类模型，作为其输入信号，由此得到的识别结果即为手势数据信号所对应的手势含义；
(A-6)由云端BP神经网络模块将手势数据信号所对应的手势含义通过无线网络传输到健全人的手机上，此时，健全人的手机会发出与听障人士的手势相对应的语音，完成听障人士与健全人的沟通；
所述模式B包括以下步骤：
(B-1)由手机对健全人发出的语音进行识别，并将识别结果对应的听障人士双手的手势数据信号通过无线网络上传到云端服务器；
所述步骤(B-1)中的语音识别功能是直接调用百度语音翻译平台开放的SDK来实现。
所述步骤(B-1)中对应的听障人士双手的手势数据信号是一个与语音相符合的人体22个数据，其中，前11位数据的前5位代表人体模型右手手指的弯曲角度，后6位分别是人体模型右手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度，分别代表unity中人体模型腕关节骨骼和肘关节骨骼空间角度，它们的角度不同会导致unity中人体模型的手指手掌和前臂的位置发生变化，后11位数据的前5位代表人体模型左手手指的弯曲角度，后6位分别是人体模型左手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度；这22个数据在云端unity接收到以后，可以控制unity中的人体模型做出对应动作；
(B-2)在云端服务器中，根据步骤(B-1)得到的手势数据信号，由云端unity模块接收到此信号，在unity中添加C#脚本来控制unity中的人体模型做出与语音相对应的手势动画，即手势数据信号传到unity中，C#脚本直接将手势数据信号控制人体模型动作；
(B-3)将步骤(B-2)中的到的手势动画通过无线网络由云端服务器传送到听障人士的手机上，使听障人士能够根据看到的手势动画实现与健全人的交流。
9.根据权利要求8所述一种智能听障人士与健全人进行人机交互的系统的工作方法，其特征在于所述步骤(B-2)中unity中的人体模型是在3D建模软件中实现的并且绑有骨骼，具体包括以下步骤：
(B-2-1)在3D MAX(3D Studio Max，常简称为3D MAX，是基于PC系统的三维动画渲染和制作软件，可用于3D建模的一款软件)中先建立人体的骨骼模型，并将骨骼连接起来，再将建好的骨骼进行蒙皮制作出人体模型，完成人体模型的三维重建，然后将人体模型导出为fbx格式的图片，fbx格式是unity软件所要求的格式；
(B-2-2)将步骤(B-2-1)导出的fbx格式图片拖入asset场景中，并将人体模型拖入到scene场景中，所述的asset与scene场景均为unity软件中的场景；
(B-2-3)对人体模型添加C#脚本，即：右键点击asset场景选择C#script，并对建立的脚本用C#语言编程对人体的骨骼的前进、后退、旋转进行控制和界面显示并保存，将建好的C#脚本拖入人体模型中，完成C#脚本的添加，从而实现对人体模型的各个骨骼的前进、后退、旋转和界面显示的功能，即实现了人体动画效果。
CN202110276536.6A 2021-03-15 2021-03-15 一种智能听障人士与健全人进行人机交互的系统及其工作方法 Active CN113111156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276536.6A CN113111156B (zh) 2021-03-15 2021-03-15 一种智能听障人士与健全人进行人机交互的系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276536.6A CN113111156B (zh) 2021-03-15 2021-03-15 一种智能听障人士与健全人进行人机交互的系统及其工作方法

Publications (2)

Publication Number Publication Date
CN113111156A true CN113111156A (zh) 2021-07-13
CN113111156B CN113111156B (zh) 2022-05-13

Family

ID=76711334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276536.6A Active CN113111156B (zh) 2021-03-15 2021-03-15 一种智能听障人士与健全人进行人机交互的系统及其工作方法

Country Status (1)

Country Link
CN (1) CN113111156B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116576A (zh) * 2013-01-29 2013-05-22 安徽安泰新型包装材料有限公司 一种语音手势交互翻译装置及其控制方法
CN103279734A (zh) * 2013-03-26 2013-09-04 上海交通大学 新型的智能手语翻译与人机交互系统及其使用方法
US20170024380A1 (en) * 2015-07-23 2017-01-26 Map Cardoso System and method for the translation of sign languages into synthetic voices
CN110717344A (zh) * 2019-10-12 2020-01-21 深圳市热丽泰和生命科技有限公司 基于智能可穿戴设备的辅助交流系统
CN111428871A (zh) * 2020-03-31 2020-07-17 上海市计量测试技术研究院 一种基于bp神经网络的手语翻译方法
CN111708433A (zh) * 2020-05-22 2020-09-25 重庆大学 手势数据采集手套及基于手势数据采集手套的手语手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116576A (zh) * 2013-01-29 2013-05-22 安徽安泰新型包装材料有限公司 一种语音手势交互翻译装置及其控制方法
CN103279734A (zh) * 2013-03-26 2013-09-04 上海交通大学 新型的智能手语翻译与人机交互系统及其使用方法
US20170024380A1 (en) * 2015-07-23 2017-01-26 Map Cardoso System and method for the translation of sign languages into synthetic voices
CN110717344A (zh) * 2019-10-12 2020-01-21 深圳市热丽泰和生命科技有限公司 基于智能可穿戴设备的辅助交流系统
CN111428871A (zh) * 2020-03-31 2020-07-17 上海市计量测试技术研究院 一种基于bp神经网络的手语翻译方法
CN111708433A (zh) * 2020-05-22 2020-09-25 重庆大学 手势数据采集手套及基于手势数据采集手套的手语手势识别方法

Also Published As

Publication number Publication date
CN113111156B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Ahmed et al. A review on systems-based sensory gloves for sign language recognition state of the art between 2007 and 2017
US20220245961A1 (en) Training method for expression transfer model, expression transfer method and apparatus
Zhang et al. Cooperative sensing and wearable computing for sequential hand gesture recognition
CN108983636B (zh) 人机智能共生平台系统
Das et al. Smart glove for sign language communications
Ahmed et al. Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition
US11327566B2 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
Shin et al. Korean sign language recognition using EMG and IMU sensors based on group-dependent NN models
US11281293B1 (en) Systems and methods for improving handstate representation model estimates
CN110688910A (zh) 一种可穿戴人体基本姿态识别的实现方法
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
Fu et al. Gesture recognition based on BP neural network and data glove
Ji et al. Flexible strain sensor-based data glove for gesture interaction in the Metaverse: A review
Corradini et al. A map-based system using speech and 3D gestures for pervasive computing
Fu et al. Design of intelligent human-computer interaction system for hard of hearing and non-disabled people
CN111291804A (zh) 基于注意力机制的多传感器时间序列分析模型
CN113111156B (zh) 一种智能听障人士与健全人进行人机交互的系统及其工作方法
CN110413106B (zh) 一种基于语音和手势的增强现实输入方法及系统
CN108664129A (zh) 一种基于手势识别手套的可学习数据采集系统及实现方法
CN111310655A (zh) 基于关键帧和组合注意力模型的人体动作识别方法和系统
CN115909839B (zh) 一种基于vr技术的医学教育培训考核系统及方法
CN111539364A (zh) 基于特征融合和多分类器投票的多体感人体行为识别算法
CN108255303B (zh) 一种基于自制数据手套的手势识别方法
CN208569551U (zh) 一种基于手势识别手套的可学习数据采集系统
CN111459276A (zh) 一种虚拟人手现实系统的动作捕捉手套及虚拟现实系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant