CN110262664B - 一种具有认知能力的智能交互手套 - Google Patents
一种具有认知能力的智能交互手套 Download PDFInfo
- Publication number
- CN110262664B CN110262664B CN201910543154.8A CN201910543154A CN110262664B CN 110262664 B CN110262664 B CN 110262664B CN 201910543154 A CN201910543154 A CN 201910543154A CN 110262664 B CN110262664 B CN 110262664B
- Authority
- CN
- China
- Prior art keywords
- user
- sensor
- glove
- voice
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 50
- 230000003930 cognitive ability Effects 0.000 title claims abstract description 27
- 238000002474 experimental method Methods 0.000 claims abstract description 38
- 230000008447 perception Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000001149 cognitive effect Effects 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 26
- 230000003993 interaction Effects 0.000 claims description 23
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000005452 bending Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- QAOWNCQODCNURD-UHFFFAOYSA-N sulfuric acid Substances OS(O)(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035943 smell Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
Description
技术领域
本发明属于智能手套的技术领域，特别涉及一种具有认知能力的智能交互手套。
背景技术
化学作为一门重要的学科，在中学教学中一直被老师重视。目前，中学实验教学中存在以下问题：(1)在观察实验现象时往往以看录像为主，一些重要的实验现象往往演示不清晰；(2)在国内经济不发达地区，中学实验室的实验器材缺乏，无法支撑学生进行实验；(3)有些实验反应剧烈，具有一定的危险性，在反应过程中容易伤害学生；(4)目前市场上有许多智能教学软件，学生可以通过键盘鼠标的输入进行实验，但是这种实验方式没有真实的操作感，实验现象以动画呈现为主，学生在使用时将更多的注意力放到如何使用软件上，很少关注如何正确地进行实验。由于上述问题的存在，学生对于一些实验现象的记忆，大部分通过死记硬背的方式，很少能通过亲身操作进行理解性的记忆。
在人机交互领域中，传统的键盘与鼠标输入越来越不适用于自然交互场景，智能数据手套的出现为人机交互提供了一种更加自然的交互工具。与基于视觉的交互方法相比，使用智能手套的人机交互不受摄像头视野区域约束，不被空间所限制且具有反应灵敏，实时性好，精度高，用户沉浸感强的优点。国内许多学者都进行了数据手套方向的研究。
Priyanka Lokhande等人针对聋哑手语识别设计了一款数据手套，该手套使用柔性传感器和3轴加速度计将手势转换为合成的文本和声音格式，而无需任何特殊的手语翻译；Bin Fang等人使用18个惯性和磁性测量单元设计了一款用于机器人操纵的新型数据手套，该手套可以同时从手臂和手部获取人体运动并且映射到机器人手臂系统中，使用户能够使用自然和直观的方式远程操作机器人；Zhou M等人设计了一种基于触觉机构的数据手套，该手套主要应用于残疾人康复场景，该手套的系统能够收集健康双手的运动的力量信息，并以回放动作的方式帮助手部残疾用户完成这些动作；Quan Liu等人针对手部残疾人群设计了一款用于手部康复的数据手套，该手套使用了惯性和磁测量单元的传感器布局策略，并且提出了一种多传感器卡尔曼数据融合算法进行手部运动的精确重建，使用开发的数据手套对健康受试者进行手部运动捕获实验，可以完全恢复使用者的手部动作，并且可以以85％的准确度识别手势；Pei-Chi Hsiao等人为了评估患者受伤手的恢复状态，设计了一种嵌入9轴惯性传感器和力敏电阻的数据手套，能够输出精准可靠的角度和力数据，可以实时跟踪手部运动，为医生提供评估用户康复程度有用的参数；Yunhao Ge等人设计了一种新型的嵌入式数据手套，采用多模态融合的方法和CNN预测模型去判断手部运动的意图并且能够在手势运动结束前预测手势最终的准确动作；RyosukeTakad等人设计了一种使用导电纤维编织手套作为传感器的数据手套，该数据手套无需额外的传感器，解决了传统数据手套重量较大，不可拉伸，昂贵且不可清洗的问题，并且使用该手套能够通过导电纤维的电特性估计用户手型，并且能够通过获取手套所抓起标签不同频率信号并进行信号分析以检测不同标签的差异。
发明内容
本发明提出了一种具有认知能力的智能交互手套，智能交互手套适用于中学实验场景，用户佩戴智能手套后，能够与手套进行对话，手套可以从用户的语音信息中推断出用户的真正意图，并对用户的错误动作进行提示，使用户在探索中独立完成化学实验，通过虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
为了实现上述目的，本发明提出一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；
所述多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；
所述多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；
所述多模态交互模块用于检测用户操作动作的正误以及抓起的目标物体的正误，同时通过所述语音信息推断用户的意图以及对用户的操作做出相应提示。
进一步的，所述传感器模块包括姿态传感器、弯曲度传感器和压力传感器；所述姿态传感器设置在手套本体手背上；所述弯曲度传感器设置在所述手套本体手指的背面，且所述弯曲度传感器贴合在所述手套本体手指的背面；所述压力传感器设置在所述手套本体的指尖；所述手套本体的手心处还设置红外线测距仪、RFID读写器、振动马达模块摄像头和声音传感器；所述手套本体设置语音输入输出模块；
所述姿态传感器用于获取手的三维数据，配合unity在场景中显示手掌的姿态；所述弯曲度传感器用于获取手指的弯曲状态；所述压力传感器用于感知手指压力，感知用户是否成功抓取物体；所述红外线测距仪用于测量距离目标物体的长度；所述RFID读写器用于识别用户所抓取的物体的信息；所述振动马达模块用于当用户抓取物体时给予用户振动反馈；所述摄像头用于读取目标物体上的条形码；所述语音传感器用于对用户语音进行设备；所述语音输入输出设备用于手套与用户进行语音交互。
进一步的，对传感器数据和语音信息进行双通道的多模态融合的方法为：
S1：将用户行为库实验步骤表中信息提出，形成实验操作集合D；
S2：在多模态感知模块获取传感器数据和语音信息后，对所述传感器数据和语音信息进行信息预处理，提取用户的行为特征action；并且设置意图专家知识库；所述语音信息进行预处理后得到语音分析后的动作集合X与操作物体集合G，N＝X×G＝{(x,y)|x∈X∧y∈G}，所述N为用于意图集合；所述意图专家知识库中设置多模态意图与多模态行为之间的充分必要条件；
S3：对D与N取交集进行用户意图与行为匹配，即C＝D∩N，若||C||为0，则用户意图与当前实验步骤不匹配；若||C||为1，则用户意图与当前实验步骤匹配，得到用户准确意图。
进一步的，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知的方法为：姿态传感器通过串口与PC端相连，通过姿态传感器输出的四元数数据进行实时姿态计算配合弯曲度传感器将用户手部姿态信息呈现到unity场景中；其中姿态传感器四元数数据为q＝[q0,q1,q2,q3]，设定
θ，α分别为虚拟手绕z轴，y轴，x轴的旋转角度；其中计算
θ，α的公式为：
将计算出的
θ，α赋值给虚拟手绕三轴的旋转角度。
当手部翻转时，需要在计算手部分别在x轴、y轴和z轴上的位移前，滤除重力加速度在x轴、y轴和z轴上的分量；其中ax1，ay1，az1分别为重力加速度在x轴、y轴和z轴上的分量；获取四元数数据为q＝[q0,q1,q2,q3]；
将ax1，ay1，az1分别减去gx，gy，gz，得到实际加速度ax，ay，az；
对实际加速度进行微积分计算Si＝∫(∫(ai)dt)dt,所述Si用户手部轨迹；
对Si进行按比例缩小，得到用户虚拟手在x轴、y轴和z轴上的位移。
进一步的，采用压力传感器对用户抓取物体的压力感知的方法为，所述压力传感器分别位于所述手套本体的5个指尖，所述压力传感器的数值为pi(i＝0,1,2,3,4)，当用户手部姿态正确，且Pi处于抓取物体阈值范围内，则用户抓起了物体。
进一步的，采用红外测距模块测量距离目标物体的长度的距离感知的方法为：用户虚拟手实时三维坐标值handPosition(x1,y1,z1)，虚拟烧杯三维坐标值capPosition(x2,y2,z2)；
实时计算虚拟手与虚拟烧杯之间的距离D，其中
判断D是否位于距离阈值区间内，并给出相应的语音提示。
进一步的，采用RFID读写器识别出用户所抓握的物体的具体信息的方法为：将实验用品与用户信息写入RFID卡，分别存入用户行为特征库中的barcode表与user表中，识别RFID读写器从user表中读取用户信息；当抓取物体时，位于手套本体的手心的RFID读写器识别试验用品上的RFID卡，并根据RFID卡号从用户行为特征库barcode表中读取到目前手中所抓取实验用品的信息。
进一步的，RFID读写器和语音输入输出设备相结合，所述手套对抓取的物体进行判断，判断抓起物体与目标物体是否相符，并发出相应的语音提示；
弯曲度传感器与语音输入输出设备相结合，所述手套基于弯度传感器对用户动作判断，判断用户动作与指令动作是否相符，并发出相应的语音提示。
进一步的，所述智能交互手套基于自动判断的智能容错处理算法，利用巡检函数checkAnagle()，巡检弯曲度传感器，若发现1个或者若干个弯曲度传感器存在故障，则自动弃用，并对未出现故障的弯曲度传感器取均值，使所述智能交互手套继续获取正确的弯曲度数据。
进一步的，当用户抓取虚拟物体时，采用collisionDetection()函数检测所述智能交互手套是否与虚拟物体接触，并通过振动马达模块给予用户振动反馈。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例提出了一种具有认知能力的智能交互手套，该智能交互手套硬件上包括手套本体，在手套本体手背上设置姿态传感器，手套本体5个手指的背面设置柔性弯曲度传感器，在手套本体的指尖设置压力传感器，手套本体的手心处还设置红外线测距仪、RFID读写器、摄像头、语音识别模块和振动马达模块，该智能交互手套还包括语音输入输出模块。姿态传感器可以获得手的三维数据，配合unity可以在场景中显示手掌的姿态、柔性弯曲度传感器贴合在手套本体5个手指上，从而获取到手指的弯曲状态、RFID读写器功能是进行IC卡的读取，从而识别出用户所抓握的物体的具体信息，并显示在unity场景中；压力传感器功能是感知手指压力，用于精确感知用户是否成功抓握物体；红外测距仪功能是感知现实环境中距离目标物体的距离；振动马达模块功能是当用户抓取真实物体或者是虚拟物体给予用户振动反馈；摄像头用于读取目标物体上的条形码；语音传感器用于对用户语音进行设备；语音输入输出设备负责手套与用户进行对话，使手套更好的与用户进行交互。
本发明提出的一种智能交互手套，采用多模态融合系统，包括多模态感知模块、多模态认知模块和多模态交互模块，多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；多模态交互模块用于检测用户动作的正误以及抓起的目标物体的正误，同时通过语音信息推断用户的意图以及对用户的操作做出相应提示。通过本发明提出的一种智能交互手套，用户佩戴智能手套后，能够与系统进行对话，系统可以从用户的语音信息中推断出用户的真正意图，并对用户的错误动作进行提示，使用户在探索中独立完成化学实验，通过虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
附图说明
附图1是本发明实施例1提出的一种具有认知能力的智能交互手套硬件结构示意图；
附图2是基于本发明实施例1提出的一种具有认知能力的智能交互手套多模态融合模型图；
附图3是基于本发明实施例1提出的一种具有认知能力的智能交互手套多模态认知层示意图；
其中，1-手套本体手背；2-手套本体手心；3-姿态传感器；4-弯曲度传感器；5-压力传感器；6-红外线测距仪；7-振动马达模块；8-RFID读写器；9-语音输入输出设备；10-摄像头；11-语音传感器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
本发明实施例1提出了一种具有认知能力的智能交互手套，如图1给出了本发明实施例1提出的一种具有认知能力的智能交互手套硬件结构示意图。包括手套本体，其中在手套本体手背1上设置有姿态传感器3，在手套本体5个手指的背面设置弯曲度传感器4，手套本体手心2设置红外线测距仪6、RFID读写器8、振动马达模块7、摄像头10和语音传感器11；手套本体的5个手指的指尖设置压力传感器5。
姿态传感器3用于获取手的三维数据，配合unity在场景中显示手掌的姿态；弯曲度传感器4用于获取手指的弯曲状态；压力传感器5用于感知手指压力，感知用户是否成功抓取物体；红外线测距6仪用于测量距离目标物体的长度；RFID读写器8用于识别用户所抓取的物体的信息；振动马达模块7用于当用户抓取物体时给予用户振动反馈；摄像头10用于读取目标物体上的条形码；语音传感器11用于对用户语音进行设备语音；输入输出设备9用于手套与用户进行语音交互。
本发明提出的一种具有认知能力的智能交互手套是基于传感器数据和语音信息的两个通道的多模态融合模型，包括多模态感知模块、多模态认知模块和多模态交互模块；
多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；
多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；
多模态交互模块用于检测用户动作的正误以及抓起的目标物体的正误，同时通过语音信息推断用户的意图以及对用户的操作做出相应提示。
如图2是基于本发明实施例1提出的一种具有认知能力的智能交互手套多模态融合模型图；多模态自然人机交互是人机交互的发展趋势。融合视觉、听觉、触觉、嗅觉甚至味觉的多模态交互方式，其表达效率和表达的信息都优于单一的视觉或者听觉模式。为了使人机交互更加自然，在交互过程中避免用户在键盘与鼠标的频繁切换，增加实验过程中的沉浸感，本发明提出了基于传感器数据和语音信息的两个通道的多模态融合模型。
在多模态感知模块中，对传感器数据和语音信息进行双通道的多模态融合的方法为：
S1：将用户行为库实验步骤表中信息提出，形成实验操作集合D；
S2：在多模态感知模块获取传感器数据和语音信息后，对传感器数据和语音信息进行信息预处理，处理过后的传感器数据与语音信息传入多模态认知层进行处理，提取用户的行为特征action；并且设置意图专家知识库，语音信息进行预处理后得到语音分析后的动作集合X与操作物体集合G，N＝X×G＝{(x,y)|x∈X∧y∈G}，其中N为用于意图集合；其中意图专家知识库中设置多模态意图与多模态行为之间的充分必要条件；例如，当用户进入实验平台并进行了身份确认，则将其作为用户已经做好实验准备意图的必要条件。
S3：对D与N取交集进行用户意图与行为匹配，即C＝D∩N，若||C||为0，则用户意图与当前实验步骤不匹配；智能交互手套将使用语音对用户进行错误提示，请用户重新输入语音指令若||C||为1，则用户意图与当前实验步骤匹配，得到用户准确意图，之后对用户真实意图与action取交集进行行为匹配，并将结果传入多模态交互模块，制定对应的操作，并在虚拟场景中进行响应，通过虚实融合的方式引导用户在探索中独立进行实验，使用户具有真实的实验操作感。
如附图3所示给出了本发明实施例1提出的一种具有认知能力的智能交互手套多模态认知层示意图；本发明提出的一种具有认知能力的智能交互手套主要针对于中学实验场景，使用户能够通过语音输入以及手部动作独立完成实验。例如浓硫酸稀释。为了达到这个目标，我们通过对用户输入的语音指令与手部传来的传感器数据进行多模态融合，从而使智能手套具有认知能力。认知能力主要包括智能手套能够感知用户行为等信息，并且能够对用户错误动作以及抓起的目标物体的正误进行检测，同时通过语音交互，智能手套可以推断出用户的真实意图，从而对用户操作做出对应提示。
本发明实时例提出的一种具有认知能力的智能交互手套，可以对压力，距离，用户错误行为进行智能感知。压力感知主要应用于对用户抓取物体进行更加精准的判断，增加智能手套抓取物体的准确性；距离感知包括在现实环境中手套对于物体的距离感应与在虚拟环境中用户“手”对虚拟实验物体如“烧杯”的距离感应两部分，将现实中手移动的距离映射到虚拟环境中，增加用户的实验真实感；用户错误行为感知主要包括用户抓错物体感知、用户手势动作感知，系统将对用户的行为进行检测，并给予语音提示，使用户能够更自然的进行人机交互。
采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知的方法为，智能手套采用MPU9250九轴姿态传感器配合柔性弯曲度传感器获取用户手部姿态。姿态传感器通过串口与PC端相连，之后通过实时姿态计算将用户手部姿态信息呈现到unity场景中；柔性弯曲度传感器连接了Arduino开发板进行运算处理后通过串口发送到PC端，将用户手指的弯曲度通过unity场景中的人手模型进行实时显示。用户三维手姿态还原的方法为：
获取姿态传感器四元数数据为q＝[q0,q1,q2,q3]，设定
θ，α分别为虚拟手绕z轴，y轴，x轴的旋转角度；其中计算
θ，α的公式为：
将计算出的
θ，α赋值给虚拟手绕三轴的旋转角度。
对于手部姿态例如翻转，上抬，本发明使用姿态传感器输出的欧拉角数据配合弯曲度传感器可进行实时获取并呈现。但是，当手部进行翻转时，加速度坐标系不再与手运动的绝对坐标系相重合，重力加速度会在x，y，z三轴上产生偏移分量，z轴上的加速度不再是重力加速度g，因此在计算手部在三个轴上的位移前，需要先滤除重力加速度在x，y，z三个轴上的分量。
重力加速度在加速度传感器各轴的分量可以通过姿态矩阵算出，常用的姿态矩阵求解算法有欧拉法、方向余弦法、四元参数法。但是欧拉角法中设计到了三角运算，运算量较大。而且当俯仰角为90度时方程式会出现神奇的“GimbalLock”，所以欧拉角方法只适用于水平姿态变化不大的情况。方向余弦法的姿态微分方程包含九个未知量的线性微分方程，机上运算不易实现。与欧拉法相比，四元数法只求解四个未知量的线性微分方程组，计算量小，易于操作，综上，我们使用四元参数法计算姿态矩阵。
计算出重力加速度的分量后，需要减去重力加速度在各轴上的分量，从而得到手部在各个方向的实际加速度ax，ay，az。之后对各个轴上的加速度进行二次积分，即可以求出手部在相对空间中的位移，进而使用姿态矩阵求出手部在绝对空间的位移，通过迭代的方式映射到unity 3D场景中。
当手部翻转时，需要在计算手部分别在x轴、y轴和z轴上的位移前，滤除重力加速度在x轴、y轴和z轴上的分量；其中ax1，ay1，az1分别为重力加速度在x轴、y轴和z轴上的分量；获取四元数数据为q＝[q0,q1,q2,q3]；
将ax1，ay1，az1分别减去gx，gy，gz，得到实际加速度ax，ay，az；
对实际加速度进行微积分计算Si＝∫(∫(ai)dt)dt,其中Si用户手部轨迹；
对Si进行按比例缩小，得到用户虚拟手在x轴、y轴和z轴上的位移。
采用压力传感器对用户抓取物体的压力感知的方法为，压力传感器分别位于手套本体的5个指尖，压力传感器的数值为pi(i＝0,1,2,3,4)，当用户手部姿态正确，且Pi处于抓取物体阈值范围内，则用户抓起了物体。
本发明提出的一种智能交互手套，在手套本体手心处设置有红外线测距仪，在现实环境中用户靠近物体时，当用户手与要操作物体之间的距离处于一定范围，系统将会对用户进行语音提示，例如“当前距离XX还有5厘米”。在虚拟环境中，例如用户处于浓硫酸稀释的实验场景下，用户虚拟手抓起浓硫酸烧杯在场景中向盛有水溶液的烧杯进行移动，当到达一定距离对用户进行语音提示。对距离感知的具体算法，以虚拟烧杯为例说明，本发明保护的范围不局限于虚拟烧杯，还可以其他的实验物体。
首先，输入：用户虚拟手实时三维坐标值handPosition(x1,y1,z1)，虚拟烧杯三维坐标值capPosition(x2,y2,z2)。
输出：对距离的语音提示。
实现的步骤为：实时计算虚拟手与虚拟烧杯之间的距离D；其中计算D的公式为
判断D所处于距离阈值区间；若D到达准备倾倒溶液阈值区间，输出语音提示“距离烧杯还有XXcm,请做好倾倒准备”；若D到达开始倾倒阈值范围，输出语音提示“到达倾倒范围，请开始倾倒”。
采用RFID读写器识别出用户所抓握的物体的具体信息的方法为：将实验用品与用户信息写入RFID卡，分别存入用户行为特征库中的barcode表与user表中，识别RFID读写器从user表中读取用户信息；在实验开始前，用户佩戴手套抓取胸前佩戴的信息卡，系统将识别RFID卡片并从数据库中的user表中读取当前做实验的用户的姓名，年级等信息，并进行语音提示。当抓取物体时，位于手套本体的手心的RFID读写器识别试验用品上的RFID卡，并根据RFID卡号从用户行为特征库barcode表中读取到目前手中所抓取实验用品的信息。
多模态交互模块用于检测用户动作的正误以及抓起的目标物体的正误，同时通过语音信息推断用户的意图以及对用户的操作做出相应提示。
RFID读写器和语音输入输出设备相结合，智能交互手套对抓取的物体进行判断，判断抓起物体与目标物体是否相符，并发出相应的语音提示。
弯曲度传感器与语音输入输出设备相结合，智能交互手套基于弯度传感器对用户动作判断，判断用户动作与指令动作是否相符，并发出相应的语音提示。
为了更好地进行人机交互，提升手套的认知，智能手套集成了语音识别的功能。在进行语音识别时使用了语音识别功能，使用云因识别功能，对用户的指令进行分析并建立用户意图集合。用户在进行语音交互时，允许一种行为匹配多种语音指令。例如，用户希望抓起浓硫酸，可发出语音指令“抓起浓硫酸烧杯”或者是“拿起浓硫酸烧杯”。
智能交互手套基于自动判断的智能容错处理算法，利用巡检函数checkAnagle()，巡检弯曲度传感器，若发现1个或者若干个弯曲度传感器存在故障，则自动弃用，并对未出现故障的弯曲度传感器取均值，使智能交互手套继续获取正确的弯曲度数据。
当用户抓取虚拟物体时，采用collisionDetection()函数检测智能交互手套是否与虚拟物体接触，并通过振动马达模块给予用户振动反馈。
以上内容仅仅是对本发明的结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种具有认知能力的智能交互手套，其特征在于，包括多模态感知模块、多模态认知模块和多模态交互模块；
所述多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；
所述多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；
所述多模态交互模块用于检测用户操作动作的正误以及抓起的目标物体的正误，同时通过所述语音信息推断用户的意图以及对用户的操作做出相应提示；
所述传感器模块包括姿态传感器、弯曲度传感器和压力传感器；所述姿态传感器设置在手套本体手背上；所述弯曲度传感器设置在所述手套本体手指的背面，且所述弯曲度传感器贴合在所述手套本体手指的背面；所述压力传感器设置在所述手套本体的指尖；所述手套本体的手心处还设置红外线测距仪、RFID读写器、振动马达模块、摄像头和声音传感器；所述手套本体设置语音输入输出设备 ；
所述姿态传感器用于获取手的三维数据，配合unity在场景中显示手掌的姿态；所述弯曲度传感器用于获取手指的弯曲状态；所述压力传感器用于感知手指压力，感知用户是否成功抓取物体；所述红外线测距仪用于测量距离目标物体的长度；所述RFID读写器用于识别用户所抓取的物体的信息；所述振动马达模块用于当用户抓取物体时给予用户振动反馈；所述摄像头用于读取目标物体上的条形码；所述语音传感器用于对用户语音进行设备；所述语音输入输出设备用于手套与用户进行语音交互；
对传感器数据和语音信息进行双通道的多模态融合的方法为：
S1：将用户行为库实验步骤表中信息提出，形成实验操作集合D；
S2：在多模态感知模块获取传感器数据和语音信息后，对所述传感器数据和语音信息进行信息预处理，提取用户的行为特征action；并且设置意图专家知识库；所述语音信息进行预处理后得到语音分析后的动作集合X与操作物体集合G，N＝X×G＝{(x,y)|x∈X∧y∈G}，所述N为用于意图集合；所述意图专家知识库中设置多模态意图与多模态行为之间的充分必要条件；
S3：对D与N取交集进行用户意图与行为匹配，即C＝D∩N，若||C||为0，则用户意图与当前实验步骤不匹配；若||C||为1，则用户意图与当前实验步骤匹配，得到用户准确意图。
2.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知的方法为：姿态传感器通过串口与PC端相连，通过姿态传感器输出的四元数数据进行实时姿态计算配合弯曲度传感器将用户手部姿态信息呈现到unity场景中；其中姿态传感器四元数数据为q＝[q0,q1,q2,q3]，设定
θ，α分别为虚拟手绕z轴，y轴，x轴的旋转角度；其中计算
θ，α的公式为：
将计算出的
θ，α赋值给虚拟手绕三轴的旋转角度；
当手部翻转时，需要在计算手部分别在x轴、y轴和z轴上的位移前，滤除重力加速度在x轴、y轴和z轴上的分量；其中ax1，ay1，az1分别为重力加速度在x轴、y轴和z轴上的分量；获取四元数数据为q＝[q0,q1,q2,q3]；
将ax1，ay1，az1分别减去gx，gy，gz，得到实际加速度ax，ay，az；
对实际加速度进行微积分计算Si＝∫(∫(ai)dt)dt,所述Si为用户手部轨迹；
对Si进行按比例缩小，得到用户虚拟手在x轴、y轴和z轴上的位移。
3.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，采用压力传感器对用户抓取物体的压力感知的方法为，所述压力传感器分别位于所述手套本体的5个指尖，所述压力传感器的数值为pi(i＝0,1,2,3,4)，当用户手部姿态正确，且Pi处于抓取物体阈值范围内，则用户抓起了物体。
4.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，采用红外测距模块测量距离目标物体的长度的距离感知的方法为：用户虚拟手实时三维坐标值handPosition(x1,y1,z1)，虚拟烧杯三维坐标值capPosition(x2,y2,z2)；
实时计算虚拟手与虚拟烧杯之间的距离D，其中
判断D是否位于距离阈值区间内，并给出相应的语音提示。
5.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，采用RFID读写器识别出用户所抓握的物体的具体信息的方法为：将实验用品与用户信息写入RFID卡，分别存入用户行为特征库中的barcode表与user表中，识别RFID读写器从user表中读取用户信息；当抓取物体时，位于手套本体的手心的RFID读写器识别试验用品上的RFID卡，并根据RFID卡号从用户行为特征库barcode表中读取到目前手中所抓取实验用品的信息。
6.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，
RFID读写器和语音输入输出设备相结合，所述手套对抓取的物体进行判断，判断抓起物体与目标物体是否相符，并发出相应的语音提示；
弯曲度传感器与语音输入输出设备相结合，所述手套基于弯度传感器对用户动作判断，判断用户动作与指令动作是否相符，并发出相应的语音提示。
7.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，所述智能交互手套基于自动判断的智能容错处理算法，利用巡检函数checkAnagle()，巡检弯曲度传感器，若发现1个或者若干个弯曲度传感器存在故障，则自动弃用，并对未出现故障的弯曲度传感器取均值，使所述智能交互手套继续获取正确的弯曲度数据。
8.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，当用户抓取虚拟物体时，采用collisionDetection()函数检测所述智能交互手套是否与虚拟物体接触，并通过振动马达模块给予用户振动反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543154.8A CN110262664B (zh) | 2019-06-21 | 2019-06-21 | 一种具有认知能力的智能交互手套 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543154.8A CN110262664B (zh) | 2019-06-21 | 2019-06-21 | 一种具有认知能力的智能交互手套 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110262664A CN110262664A (zh) | 2019-09-20 |
| CN110262664B true CN110262664B (zh) | 2022-05-17 |
Family
ID=67920343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910543154.8A Active CN110262664B (zh) | 2019-06-21 | 2019-06-21 | 一种具有认知能力的智能交互手套 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110262664B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910712B (zh) * | 2019-12-06 | 2021-06-04 | 中国美术学院 | 一种基于ar的古筝辅助教学系统及方法 |
| CN111158472B (zh) * | 2019-12-18 | 2024-04-30 | 佛山科学技术学院 | 一种虚拟实验的仿真情境构建方法及系统 |
| CN112748800B (zh) * | 2020-09-16 | 2022-11-04 | 济南大学 | 一种基于智能手套的实验场景感知交互方法 |
| CN112631428A (zh) * | 2020-12-25 | 2021-04-09 | 睿爱智能科技(上海)有限责任公司 | 一种智能感应的手套 |
| CN112971772B (zh) * | 2021-03-12 | 2024-08-16 | 哈尔滨工业大学 | 基于手掌部多模态信息的人手多运动模式识别系统 |
| CN113261726A (zh) * | 2021-03-24 | 2021-08-17 | 烟台南山学院 | 一种基于多传感器数据融合的手势翻译智能手套 |
| JP7237266B1 (ja) * | 2021-04-13 | 2023-03-10 | 三菱電機株式会社 | 接触情報取得装置、接触情報取得システム、接触情報取得方法、及び、接触情報取得プログラム |
| CN114063788A (zh) * | 2021-11-24 | 2022-02-18 | 宁波高新区阶梯科技有限公司 | 混合现实操作手套 |
| CN114510149B (zh) * | 2022-02-15 | 2022-09-09 | 深圳市恒必达电子科技有限公司 | 一种带力量感应的vr及ar体感装置 |
| CN116893743A (zh) * | 2023-09-07 | 2023-10-17 | 武汉市聚芯微电子有限责任公司 | 设备控制方法及装置、计算机设备、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645064A (zh) * | 2008-12-16 | 2010-02-10 | 中国科学院声学研究所 | 一种浅层自然口语理解系统及方法 |
| CA2752194A1 (en) * | 2010-09-12 | 2012-03-12 | Var Systems Ltd. | A wireless voice recognition control system for controlling a welder power supply by voice commands |
| CN106599933A (zh) * | 2016-12-26 | 2017-04-26 | 哈尔滨工业大学 | 一种基于联合深度学习模型的文本情感分类方法 |
| CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2994401B1 (fr) * | 2012-08-10 | 2014-08-08 | Commissariat Energie Atomique | Procede et systeme d'assistance au pilotage d'un robot a fonction de detection d'intention d'un operateur |
-
2019
- 2019-06-21 CN CN201910543154.8A patent/CN110262664B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645064A (zh) * | 2008-12-16 | 2010-02-10 | 中国科学院声学研究所 | 一种浅层自然口语理解系统及方法 |
| CA2752194A1 (en) * | 2010-09-12 | 2012-03-12 | Var Systems Ltd. | A wireless voice recognition control system for controlling a welder power supply by voice commands |
| CN106599933A (zh) * | 2016-12-26 | 2017-04-26 | 哈尔滨工业大学 | 一种基于联合深度学习模型的文本情感分类方法 |
| CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110262664A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110262664B (zh) | 一种具有认知能力的智能交互手套 | |
| Wang et al. | Controlling object hand-over in human–robot collaboration via natural wearable sensing | |
| CN105868715B (zh) | 一种手势识别方法、装置及手势学习系统 | |
| Luzhnica et al. | A sliding window approach to natural hand gesture recognition using a custom data glove | |
| CN210402266U (zh) | 一种手语翻译系统和手语翻译手套 | |
| CN106313049A (zh) | 一种仿人机械臂体感控制系统及控制方法 | |
| Staretu et al. | Leap motion device used to control a real anthropomorphic gripper | |
| CN111552383A (zh) | 虚拟增强现实交互设备的手指识别方法、系统及交互设备 | |
| Dzikri et al. | Hand gesture recognition for game 3D object using the leap motion controller with backpropagation method | |
| CN117523659A (zh) | 基于骨架的多特征多流实时动作识别方法、装置和介质 | |
| Prasad et al. | A wireless dynamic gesture user interface for HCI using hand data glove | |
| CN115170773A (zh) | 一种基于元宇宙的虚拟课堂动作交互系统和方法 | |
| Zhu et al. | Machine-learning-assisted soft fiber optic glove system for sign language recognition | |
| Amatya et al. | Real time kinect based robotic arm manipulation with five degree of freedom | |
| Ángel-López et al. | Kinematic hand analysis using motion capture technology | |
| Noh et al. | A Decade of Progress in Human Motion Recognition: A Comprehensive Survey From 2010 to 2020 | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| Pradeep et al. | Advancement of sign language recognition through technology using python and OpenCV | |
| CN111230872B (zh) | 一种基于多传感器的物体递交意图识别系统及方法 | |
| Fresnillo et al. | A method for understanding and digitizing manipulation activities using programming by demonstration in robotic applications | |
| Huu et al. | Proposing hand gesture recognition system using MediaPipe Holistic and LSTM | |
| CN202230440U (zh) | 操控计算机空间绘图类软件的控制系统 | |
| Giin et al. | Smart hand device gesture recognition with dynamic time-warping method | |
| Feng et al. | Design and implementation of gesture recognition system based on flex sensors | |
| Kadam et al. | Gesture control of robotic arm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |