CN114816077A - 一种多模态融合的智能手套系统 - Google Patents

一种多模态融合的智能手套系统 Download PDF

Info

Publication number
CN114816077A
CN114816077A CN202210754057.5A CN202210754057A CN114816077A CN 114816077 A CN114816077 A CN 114816077A CN 202210754057 A CN202210754057 A CN 202210754057A CN 114816077 A CN114816077 A CN 114816077A
Authority
CN
China
Prior art keywords
channel
intention
experimental
probability
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210754057.5A
Other languages
English (en)
Inventor
冯志全
王鸿岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202210754057.5A priority Critical patent/CN114816077A/zh
Publication of CN114816077A publication Critical patent/CN114816077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种多模态融合的智能手套系统，涉及人工智能技术领域，包括输入层、识别层、融合层和交互层，所述输入层包括视觉通道、传感器通道和语音通道，所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图，所述的融合层采用多模态融合算法来融合用户多通道意图信息。本发明能够更好识别用户意图并进行交互，利用智能手套手腕处的视觉通道对场景信息进行了无遮挡的实时感知，改进了传统TMFA算法串行处理模态信息的不足的问题。

Description

一种多模态融合的智能手套系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能手套，具体是指一种多模态融合的智能手套系统。
背景技术
本发明基于认知行为理论对用户实验操作进行指导和纠正，该理论指的是通过改变思维和行为的方法来改变不良认知。理想状况下，用户的思考与行动应是紧密结合的。但是在现实条件下，用户认知的形成过程会受到其自动化思考的影响，即用户的某些行为会不通过大脑的思考而执行一些错误的操作。因此，认知行为理论的出现可以帮助用户在理性层面纠正其不假思索的行为。
在智能手套系统整体框架一般包括输入层、识别层、融合层和交互层，在输入层中，智能手套可以获取用户语音、视觉、传感器等多模态信息，并将数据传入识别层；在识别层中，智能手套系统将输入层的数据转化为意图概率集合；在融合层，智能手套系统利用信息量权数法对来自各个通道的意图信息并行融合，从而获取到用户当前真正的实验意图；当获取到用户实验意图后，系统就可以在交互层建立多种用户与智能手套系统的交互功能。
在智能手套的整体框架中，识别层和融合层发挥着重要的作用。在智能实验的背景下，传统多模态融合算法虽然使用了多个通道的信息，但是只能实现一个通道的信息输入与一个实验步骤的单独对应。为了解决这个问题，本发明在识别层分别建立了语音、视觉和传感器通道的意图概率模型，它们用于实时更新其对应通道的意图概率，这些意图概率模型通过对用户行为的分析，将每个通道下用户行为的抽象意图转换成可以计算的意图概率集合，并且在融合层提出一种新的算法，该算法可根据识别层获取的意图概率集合来动态更新每个意图对应的权值，最终对用户行为的意图进行并行融合。
发明内容
本发明针对现有技术的不足，提供了一种能够更好识别用户意图并进行交互的多模态融合的智能手套系统。
本发明是通过如下技术方案实现的，提供一种多模态融合的智能手套系统，包括输入层、识别层、融合层和交互层，所述输入层包括视觉通道、传感器通道和语音通道，其特征在于，所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图，所述的融合层采用多模态融合算法来融合用户多通道意图信息。
在视觉通道下，智能手套上的单目摄像头可以对整个实验场景进行感知，为了获取用户在视觉通道下的实验意图，本优选方案利用YOLOv5中的实验物品的Bounding Box面积变化增量来推断用户的实验意图概率，众所周知，Bounding Box是目标检测中一个重要概念，其常见的输出坐标是边界框的左上角坐标、右下角坐标，即
Figure 409504DEST_PATH_IMAGE001
，用户每次进行实验操作时，其所操作的目标物体
Figure 268875DEST_PATH_IMAGE002
将会进行动态更新，所述的基于YOLOv5的视觉通道意图概率获取算法包括以下步骤：
输入：智能手套的单目摄像头在当前场景下捕获的物体集合
Figure 690761DEST_PATH_IMAGE003
，获取坐标函数
Figure 660991DEST_PATH_IMAGE004
，计算识别物体包围盒的面积函数
Figure 484721DEST_PATH_IMAGE005
；
输出：视觉通道下实验意图集合
Figure 514994DEST_PATH_IMAGE006
；
（1）智能手套进行场景识别，获取当前场景下存在的实验物体集合
Figure 686825DEST_PATH_IMAGE007
（2）利用YOLOv5获取智能手套在第
Figure 601691DEST_PATH_IMAGE008
帧下物体集合
Figure 529196DEST_PATH_IMAGE009
中所有实验物体的包围盒的输出坐标
Figure 481103DEST_PATH_IMAGE010
，
Figure 126848DEST_PATH_IMAGE011
（3）当智能手套移动时，YOLOv5获取第
Figure 455192DEST_PATH_IMAGE012
帧下物体集合
Figure 502783DEST_PATH_IMAGE009
中所有实验物体的包围盒的输出坐标
Figure 891170DEST_PATH_IMAGE013
，
Figure 24211DEST_PATH_IMAGE014
（4）计算第t帧下物体
Figure 159176DEST_PATH_IMAGE015
的面积,
Figure 61273DEST_PATH_IMAGE016
（5）计算两帧之间物体集合
Figure 354982DEST_PATH_IMAGE009
中物体
Figure 709740DEST_PATH_IMAGE015
的面积增量,
Figure 770100DEST_PATH_IMAGE017
（6）通过计算物体集合
Figure 543015DEST_PATH_IMAGE009
中物体
Figure 991314DEST_PATH_IMAGE015
的面积增量与当前场景下所有物体的面积增量的和之比，就可以获得用户在当前实验过程中想要操作的实验物品：
Figure 115259DEST_PATH_IMAGE018
（7）在视觉通道下，不同的实验物品对应有不同的实验意图，将步骤6中求得的概率映射到相应的实验意图中，获得视觉通道下实验步骤概率集合
Figure 572785DEST_PATH_IMAGE019
：
Figure 931697DEST_PATH_IMAGE020
在传感器通道下，不同的实验操作对应有不同的实验意图，在实验操作过程中，用户产生的传感器数据会进行动态更新，由于用户操作产生的传感器数据复杂，所以本发明设置一个七维向量
Figure 347635DEST_PATH_IMAGE021
建立起弯曲度传感器、压力传感器和姿态传感器三者之间的映射关系，在本优选方案中，所述的基于欧氏距离传感器通道意图概率获取算法包括以下步骤：
输入：指尖压力阈值
Figure 693297DEST_PATH_IMAGE023
，弯曲度值
Figure 954514DEST_PATH_IMAGE024
，压力值向量组
Figure 561076DEST_PATH_IMAGE025
，弯曲度值向量组
Figure 633068DEST_PATH_IMAGE026
，姿态传感器产生的旋转角度
Figure 449714DEST_PATH_IMAGE027
和移动速度
Figure 265355DEST_PATH_IMAGE028
，动作库
Figure 851057DEST_PATH_IMAGE029
，向量化函数
Figure 843020DEST_PATH_IMAGE030
，映射函数
Figure 881383DEST_PATH_IMAGE031
，距离计算函数
Figure 235135DEST_PATH_IMAGE032
；
输出：传感器通道下实验意图概率集合
Figure 206502DEST_PATH_IMAGE033
；
（1）对于压力传感器，我们对每一根手指的压力值信息进行向量化，当手指
Figure 354718DEST_PATH_IMAGE034
的压力值大于我们设定好的阈值
Figure 145956DEST_PATH_IMAGE023
的时候，将五维向量的元素全部置1，反之则全部置0，
Figure 303399DEST_PATH_IMAGE035
Figure 129273DEST_PATH_IMAGE036
（2）对于弯曲度传感器，我们对每一根手指的弯曲度值信息进行向量化，首先将五维向量
Figure 445460DEST_PATH_IMAGE037
的弯曲度维度划分为[
Figure 864940DEST_PATH_IMAGE038
,
Figure 809762DEST_PATH_IMAGE039
)，[
Figure 834350DEST_PATH_IMAGE039
,
Figure 980161DEST_PATH_IMAGE040
)，[
Figure 496724DEST_PATH_IMAGE040
,3
Figure 979658DEST_PATH_IMAGE041
)，[
Figure 530856DEST_PATH_IMAGE042
,
Figure 441043DEST_PATH_IMAGE043
)，[9
Figure 182253DEST_PATH_IMAGE044
180
Figure 468878DEST_PATH_IMAGE045
)，当获得手指
Figure 609003DEST_PATH_IMAGE034
的弯曲度值
Figure 955671DEST_PATH_IMAGE046
时，即可将
Figure 446826DEST_PATH_IMAGE046
放置在向量
Figure 412508DEST_PATH_IMAGE047
相应的维度下，
Figure 656408DEST_PATH_IMAGE048
（4）建立
Figure 924709DEST_PATH_IMAGE026
和
Figure 886849DEST_PATH_IMAGE025
的映射关系，
Figure 528658DEST_PATH_IMAGE049
（5）建立
Figure 892644DEST_PATH_IMAGE026
、
Figure 331846DEST_PATH_IMAGE025
、
Figure 781282DEST_PATH_IMAGE027
和
Figure 964133DEST_PATH_IMAGE050
的映射关系，
Figure 182625DEST_PATH_IMAGE051
（6）利用多维空间下欧氏距离公式求得
Figure 792729DEST_PATH_IMAGE021
向量与动作库
Figure 604827DEST_PATH_IMAGE052
中动作向量
Figure 106215DEST_PATH_IMAGE053
的距离，
Figure 655578DEST_PATH_IMAGE054
（7）计算用户进行动作库
Figure 951430DEST_PATH_IMAGE055
中动作
Figure 860611DEST_PATH_IMAGE034
的概率，
Figure 634532DEST_PATH_IMAGE056
（8）在传感器通道下，不同的动作对应有不同的实验意图，将步骤7中求得的概率映射到相应的实验意图中，获得传感器通道下实验步骤概率集合
Figure 843928DEST_PATH_IMAGE033
：
Figure 45102DEST_PATH_IMAGE057
余弦相似度指的是利用两个向量的夹角余弦值判断两个向量的相似程度，余弦值取值为[-1,1]，越接近1，两向量的夹角越小，则越相似，在语音通道下，本发明固定用户的语音输入语句，并设计了基于余弦相似度匹配的语音通道意图概率获取算法（Voicechannel intention probability acquisition algorithm based on cosinesimilarity，以下简称VCIPAA），所述的基于余弦相似度匹配的语音通道意图概率获取算法包括以下步骤：
输入：用户输入的语音
Figure 441579DEST_PATH_IMAGE059
，系统语音库
Figure 894557DEST_PATH_IMAGE060
，分词函数
Figure 942148DEST_PATH_IMAGE061
，并集函数
Figure 62026DEST_PATH_IMAGE062
，编号函数
Figure 460646DEST_PATH_IMAGE063
，编码函数
Figure 327102DEST_PATH_IMAGE064
，匹配函数
Figure 229199DEST_PATH_IMAGE065
；
输出：语音通道下实验意图集合
Figure 788488DEST_PATH_IMAGE066
；
（1）对
Figure 143246DEST_PATH_IMAGE067
中的语音
Figure 78972DEST_PATH_IMAGE068
进行分词操作得到词语集合
Figure 976521DEST_PATH_IMAGE069
，
Figure 690399DEST_PATH_IMAGE070
（2）对
Figure 410749DEST_PATH_IMAGE069
进行并集操作，得到系统语音字典库
Figure 9220DEST_PATH_IMAGE071
，
Figure 230117DEST_PATH_IMAGE072
（3）对
Figure 521421DEST_PATH_IMAGE071
从0到n进行编号，
Figure 601504DEST_PATH_IMAGE073
（4）根据
Figure 597142DEST_PATH_IMAGE074
中的编号顺序对
Figure 79070DEST_PATH_IMAGE069
进行词语向量化操作，最终得到
Figure 400330DEST_PATH_IMAGE069
的n维的独热编码向量
Figure 699199DEST_PATH_IMAGE075
。
Figure 29687DEST_PATH_IMAGE076
（5）当用户输入语音
Figure 100542DEST_PATH_IMAGE059
之后，将
Figure 592703DEST_PATH_IMAGE059
与系统语音库
Figure 647378DEST_PATH_IMAGE067
进行匹配，得到
Figure 250398DEST_PATH_IMAGE059
的独热编码
Figure 706918DEST_PATH_IMAGE077
：
Figure 635560DEST_PATH_IMAGE078
（6）利用下式计算
Figure 926600DEST_PATH_IMAGE077
与
Figure 474256DEST_PATH_IMAGE075
的余弦相似度，
Figure 300129DEST_PATH_IMAGE079
（7）利用下式对余弦值进行归一化操作，得到语音通道下的意图概率集合
Figure 619246DEST_PATH_IMAGE066
，
Figure 897781DEST_PATH_IMAGE080
在虚实融合实验的背景下，多模态融合指的在系统真正确认用户意图之前对所有输入信息的整体融合，而传统的多模态融合算法（Traditional multimodal fusionalgorithm，以下简称TMFA）是利用一种通道的输入信息对应一种实验意图的规则来完成实验，其本质是串行融合了模态信息的多样性，而不是在意图层上对所有模态意图的并行融合，而本发明独创性的提出了基于智能手套系统的多模态融合算法（Multimodal fusionalgorithm based on smart glove system，以下简称MFA），该算法实现了在意图层上并行融合用户多通道意图信息的功能，所述的多模态融合算法包括以下步骤：
输入：视觉通道下的意图概率集合
Figure 858915DEST_PATH_IMAGE006
，传感器通道下的意图概率集合
Figure 539295DEST_PATH_IMAGE033
，语音通道下的意图概率集合
Figure 29313DEST_PATH_IMAGE081
，均值计算函数
Figure 670510DEST_PATH_IMAGE082
，方差计算函数
Figure 419023DEST_PATH_IMAGE083
，归一化函数
Figure 436133DEST_PATH_IMAGE084
输出：用户当前的意图
Figure 877479DEST_PATH_IMAGE085
（1）将意图概率集
Figure 615759DEST_PATH_IMAGE086
、
Figure 902384DEST_PATH_IMAGE087
、
Figure 308088DEST_PATH_IMAGE088
传入智能手套系统中。
（2）计算意图概率集的概率均值，
Figure 920335DEST_PATH_IMAGE089
（3）计算意图概率集的概率方差，
Figure 880332DEST_PATH_IMAGE090
（4）利用下式求取各个通道的变异系数
Figure 111593DEST_PATH_IMAGE091
，
Figure 621072DEST_PATH_IMAGE092
（5）对变异系数进行归一化处理，得到每个通道的权值，
Figure 157883DEST_PATH_IMAGE093
（6）计算三个通道实时意图的联合概率，获得联合概率最大的意图，即为最终意图
Figure 385602DEST_PATH_IMAGE094
，如下式所示；
Figure 764761DEST_PATH_IMAGE095
算法有效性是指当输入值满足条件时，此算法要保证正常工作且输出相应的结果，即不论将断点设置在语音通道、视觉通道还是传感器通道都会输出相应的意图。在真实实验过程中，用户不一定会同时输入三个通道的信息，比如用户在操作时可能没有进行语音的输入，则该算法会会实时的弹性的更新视觉通道和传感器通道的变异系数来进行最终意图概率的计算。
当用户利用智能手套手腕部的摄像头感知实验场景信息时，多模态融合算法使用YOLOv5对场景中的实验物体进行识别，该算法将识别物体boundingbox的面积变化值输入进VSIPAA算法中，获取了视觉通道下的实验意图的概率集合
Figure 863167DEST_PATH_IMAGE096
。当用户使用智能手套操作真实或者虚拟实验物品时，MFA算法调用SRIPAA算法对实时获取的传感器数据建立映射关系，并利用高维空间下的欧式距离公式计算传感器通道下的实验意图概率集合
Figure 692583DEST_PATH_IMAGE097
。当用户输入语音数据时，MFA算法调用VCIPAA算法对输入语音数据的独热编码与系统语音库中语句的独热编码进行余弦相似度匹配，最后输出语音通道下的意图概率集合
Figure DEST_PATH_IMAGE098
。
在实验过程中，MFA算法会实时更新每个通道的意图概率集合的值，并根据概率值变化来更新每个通道对应的权值，即变异系数。最终，MFA算法根据归一化后的变异系数对三个通道的概率集合进行意图层融合，即可得到用户的最终意图。
MFA算法在理论上有效的解决了本发明提出的两个关键问题：（1）MFA算法与应用在室内交互输入装置的TMFA算法相比，该算法利用智能手套手腕处的视觉通道对场景信息进行了无遮挡的实时感知；（2）MFA算法可以在意图层上并行融合用户的多模态意图，改进了TMFA算法串行处理模态信息的不足。
附图说明
图1为本发明中用户操作木炭还原氧化铁实验示意图。
图2为本发明中多模态融合的智能手套系统的总体框架结构示意图，图中，（a）是用户佩戴智能手套倾倒蒸馏水溶液的示意图；（b）是用户拿起热毛巾进行气密性检验的示意图；（c）是用户取出铁粉后药粒跟随药匙尖端移动的示意图；（d）是用户点燃酒精喷灯后的实验现象示意图。
具体实施方式
为能清楚说明本发明方案的技术特点，下面结合附图，并通过具体实施方式，对本方案进一步阐述。
如图1中所示，提供一种多模态融合的智能手套系统，包括输入层、识别层、融合层和交互层，所述输入层包括视觉通道、传感器通道和语音通道，所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图，所述的融合层采用多模态融合算法来融合用户多通道意图信息。
在本实施例中，所述的基于YOLOv5的视觉通道意图概率获取算法包括以下步骤：
输入：智能手套的单目摄像头在当前场景下捕获的物体集合
Figure 955068DEST_PATH_IMAGE003
，获取坐标函数
Figure 137919DEST_PATH_IMAGE004
，计算识别物体包围盒的面积函数
Figure 356411DEST_PATH_IMAGE005
；
输出：视觉通道下实验意图集合
Figure 698006DEST_PATH_IMAGE006
；
（1）智能手套进行场景识别，获取当前场景下存在的实验物体集合
Figure 369159DEST_PATH_IMAGE007
（2）利用YOLOv5获取智能手套在第
Figure 90121DEST_PATH_IMAGE008
帧下物体集合
Figure 163119DEST_PATH_IMAGE009
中所有实验物体的包围盒的输出坐标
Figure 209704DEST_PATH_IMAGE010
，
Figure 102574DEST_PATH_IMAGE011
（3）当智能手套移动时，YOLOv5获取第
Figure 627227DEST_PATH_IMAGE012
帧下物体集合
Figure 85890DEST_PATH_IMAGE009
中所有实验物体的包围盒的输出坐标
Figure 29008DEST_PATH_IMAGE013
，
Figure 409174DEST_PATH_IMAGE014
（4）计算第t帧下物体
Figure 737518DEST_PATH_IMAGE015
的面积,
Figure 785108DEST_PATH_IMAGE016
（5）计算两帧之间物体集合
Figure 907916DEST_PATH_IMAGE009
中物体
Figure 775378DEST_PATH_IMAGE015
的面积增量,
Figure 907413DEST_PATH_IMAGE017
（6）通过计算物体集合
Figure 809510DEST_PATH_IMAGE009
中物体
Figure 834710DEST_PATH_IMAGE015
的面积增量与当前场景下所有物体的面积增量的和之比，就可以获得用户在当前实验过程中想要操作的实验物品。
Figure 720627DEST_PATH_IMAGE018
（7）在视觉通道下，不同的实验物品对应有不同的实验意图，将步骤6中求得的概率映射到相应的实验意图中，获得视觉通道下实验步骤概率集合
Figure 390774DEST_PATH_IMAGE019
。
Figure 412956DEST_PATH_IMAGE020
所述的基于欧氏距离传感器通道意图概率获取算法包括以下步骤：
输入：指尖压力阈值
Figure 267780DEST_PATH_IMAGE023
，弯曲度值
Figure 126146DEST_PATH_IMAGE024
，压力值向量组
Figure 849251DEST_PATH_IMAGE025
，弯曲度值向量组
Figure 476673DEST_PATH_IMAGE026
，姿态传感器产生的旋转角度
Figure 627031DEST_PATH_IMAGE027
和移动速度
Figure 97327DEST_PATH_IMAGE028
，动作库
Figure 112206DEST_PATH_IMAGE029
，向量化函数
Figure 108981DEST_PATH_IMAGE030
，映射函数
Figure 915394DEST_PATH_IMAGE031
，距离计算函数
Figure 997619DEST_PATH_IMAGE032
；
输出：传感器通道下实验意图概率集合
Figure 78839DEST_PATH_IMAGE033
；
（1）对于压力传感器，我们对每一根手指的压力值信息进行向量化，当手指
Figure 664541DEST_PATH_IMAGE034
的压力值大于我们设定好的阈值
Figure 32069DEST_PATH_IMAGE023
的时候，将五维向量的元素全部置1，反之则全部置0，
Figure 86743DEST_PATH_IMAGE035
Figure 955342DEST_PATH_IMAGE036
（2）对于弯曲度传感器，我们对每一根手指的弯曲度值信息进行向量化，首先将五维向量
Figure 143354DEST_PATH_IMAGE037
的弯曲度维度划分为[
Figure 71995DEST_PATH_IMAGE038
,
Figure 613966DEST_PATH_IMAGE039
)，[
Figure 161622DEST_PATH_IMAGE039
,
Figure 456337DEST_PATH_IMAGE040
)，[
Figure 306613DEST_PATH_IMAGE040
,3
Figure 585147DEST_PATH_IMAGE041
)，[
Figure 280702DEST_PATH_IMAGE042
,
Figure 961082DEST_PATH_IMAGE043
)，[9
Figure 106893DEST_PATH_IMAGE044
180
Figure 372525DEST_PATH_IMAGE045
)，当获得手指
Figure 386617DEST_PATH_IMAGE034
的弯曲度值
Figure 672236DEST_PATH_IMAGE046
时，即可将
Figure 848003DEST_PATH_IMAGE046
放置在向量
Figure 851862DEST_PATH_IMAGE047
相应的维度下，
Figure 279432DEST_PATH_IMAGE048
（4）建立
Figure 934405DEST_PATH_IMAGE026
和
Figure 31805DEST_PATH_IMAGE025
的映射关系，
Figure 241069DEST_PATH_IMAGE049
（5）建立
Figure 344767DEST_PATH_IMAGE026
、
Figure 854246DEST_PATH_IMAGE025
、
Figure 122547DEST_PATH_IMAGE027
和
Figure 819108DEST_PATH_IMAGE050
的映射关系，
Figure 198267DEST_PATH_IMAGE051
（6）利用多维空间下欧氏距离公式求得
Figure 562253DEST_PATH_IMAGE021
向量与动作库
Figure 1455DEST_PATH_IMAGE052
中动作向量
Figure 185312DEST_PATH_IMAGE053
的距离，
Figure 758376DEST_PATH_IMAGE054
（7）计算用户进行动作库
Figure 730530DEST_PATH_IMAGE055
中动作
Figure 589901DEST_PATH_IMAGE034
的概率，
Figure 277366DEST_PATH_IMAGE056
（8）在传感器通道下，不同的动作对应有不同的实验意图，将步骤7中求得的概率映射到相应的实验意图中，获得传感器通道下实验步骤概率集合
Figure 982017DEST_PATH_IMAGE033
。
Figure DEST_PATH_IMAGE099
所述的基于余弦相似度匹配的语音通道意图概率获取算法包括以下步骤：
输入：用户输入的语音
Figure 133643DEST_PATH_IMAGE059
，系统语音库
Figure 914649DEST_PATH_IMAGE060
，分词函数
Figure 338677DEST_PATH_IMAGE061
，并集函数
Figure 860400DEST_PATH_IMAGE062
，编号函数
Figure 53484DEST_PATH_IMAGE063
，编码函数
Figure 395604DEST_PATH_IMAGE064
，匹配函数
Figure 57661DEST_PATH_IMAGE065
；
输出：语音通道下实验意图集合
Figure 900852DEST_PATH_IMAGE066
；
（1）对
Figure 699175DEST_PATH_IMAGE067
中的语音
Figure 212196DEST_PATH_IMAGE068
进行分词操作得到词语集合
Figure 345237DEST_PATH_IMAGE069
，
Figure 211693DEST_PATH_IMAGE070
（2）对
Figure 379369DEST_PATH_IMAGE069
进行并集操作，得到系统语音字典库
Figure 929868DEST_PATH_IMAGE071
，
Figure 284626DEST_PATH_IMAGE072
（3）对
Figure 95718DEST_PATH_IMAGE071
从0到n进行编号，
Figure 852322DEST_PATH_IMAGE073
（4）根据
Figure 582512DEST_PATH_IMAGE074
中的编号顺序对
Figure 565511DEST_PATH_IMAGE069
进行词语向量化操作，最终得到
Figure 23037DEST_PATH_IMAGE069
的n维的独热编码向量
Figure 647529DEST_PATH_IMAGE075
。
Figure 532308DEST_PATH_IMAGE076
（5）当用户输入语音
Figure 877970DEST_PATH_IMAGE059
之后，将
Figure 873608DEST_PATH_IMAGE059
与系统语音库
Figure 355536DEST_PATH_IMAGE067
进行匹配，得到
Figure 411217DEST_PATH_IMAGE059
的独热编码
Figure 244175DEST_PATH_IMAGE077
：
Figure 309083DEST_PATH_IMAGE078
（6）利用下式计算
Figure 914026DEST_PATH_IMAGE077
与
Figure 406187DEST_PATH_IMAGE075
的余弦相似度，
Figure 851075DEST_PATH_IMAGE079
（7）利用下式对余弦值进行归一化操作，得到语音通道下的意图概率集合
Figure 204827DEST_PATH_IMAGE066
，
Figure 176194DEST_PATH_IMAGE080
所述的多模态融合算法包括以下步骤：
输入：视觉通道下的意图概率集合
Figure 324410DEST_PATH_IMAGE006
，传感器通道下的意图概率集合
Figure 381228DEST_PATH_IMAGE033
，语音通道下的意图概率集合
Figure 663305DEST_PATH_IMAGE081
，均值计算函数
Figure 974331DEST_PATH_IMAGE082
，方差计算函数
Figure 339454DEST_PATH_IMAGE083
，归一化函数
Figure 100212DEST_PATH_IMAGE084
输出：用户当前的意图
Figure 45034DEST_PATH_IMAGE085
（1）将意图概率集
Figure 476146DEST_PATH_IMAGE086
、
Figure 621957DEST_PATH_IMAGE087
、
Figure 387788DEST_PATH_IMAGE088
传入智能手套系统中；
（2）计算意图概率集的概率均值，
Figure 887033DEST_PATH_IMAGE089
（3）计算意图概率集的概率方差，
Figure 421920DEST_PATH_IMAGE090
（4）利用下式求取各个通道的变异系数
Figure 613998DEST_PATH_IMAGE091
，
Figure 601545DEST_PATH_IMAGE092
（5）对变异系数进行归一化处理，得到每个通道的权值，
Figure 29116DEST_PATH_IMAGE093
（6）计算三个通道实时意图的联合概率，获得联合概率最大的意图，即为最终意图
Figure 183890DEST_PATH_IMAGE094
，如下式所示；
Figure 796136DEST_PATH_IMAGE095
。
实施案例和仿真结果
本发明利用了多模态融合的智能手套进行木炭还原氧化铁实验。
在本实验当中，第二步是倾倒蒸馏水，佩戴智能手套的用户的拿着盛有液体的真实烧杯向虚拟烧杯做倾倒动作，并输入语音“倾倒蒸馏水”。此时，系统通过多模态融合算法推断出用户当前的行为意图为“倾倒蒸馏水溶液”。如图2中的（a）所示，MR实验系统通过实验场景动画实时反馈用户当前的行为，并语音输出对用户操作的提醒。接下来，当智能手套检测到用户拿起热毛巾，并对虚拟烧杯做出捂住杯壁的动作时，即使不用语音输入“气密性检验”，系统仍可以利用多模态融合算法推断出用户当前的行为是“气密性检验”，如图2中的（b）所示，该实验利用信息增强技术在虚拟烧杯中显示产生的气泡，证明装置气密性良好。随着操作的进行，当智能手套检测到用户拿起药匙向盛有铁粉的小细口瓶做取药动作，并输入语音“取出铁粉”时，智能手套系统获取用户当前的操作行为是“取出铁粉”，如图2中的（c）所示，实验系统中虚拟的铁粉药粒跟随药匙尖端移动。在最后一步，当用户将铁粉和木炭粉装入试管后，用户佩戴智能手套操作虚拟的酒精喷灯，与此同时输入语音“点燃酒精喷灯”，系统就会获取到用户当前的行为是“点燃酒精喷灯”，如图2中的（d）所示，MR实验系统中酒精喷灯燃烧起虚拟火焰，并且澄清石灰水变浑浊。
最后，还应说明，上述举例和说明也并不仅限于上述实施例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围。

Claims (5)

1.一种多模态融合的智能手套系统，包括输入层、识别层、融合层和交互层，所述输入层包括视觉通道、传感器通道和语音通道，其特征在于，所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图，所述的融合层采用多模态融合算法来融合用户多通道意图信息。
2.根据权利要求1所述的一种多模态融合的智能手套系统，其特征在于，所述的基于YOLOv5的视觉通道意图概率获取算法包括以下步骤：
输入：智能手套的单目摄像头在当前场景下捕获的物体集合
Figure 992309DEST_PATH_IMAGE001
，获取坐标函数
Figure 957991DEST_PATH_IMAGE002
，计算识别物体包围盒的面积函数
Figure 280519DEST_PATH_IMAGE003
；
输出：视觉通道下实验意图集合
Figure 407875DEST_PATH_IMAGE004
；
（1）智能手套进行场景识别，获取当前场景下存在的实验物体集合
Figure 245381DEST_PATH_IMAGE005
（2）利用YOLOv5获取智能手套在第
Figure 749175DEST_PATH_IMAGE006
帧下物体集合
Figure 254105DEST_PATH_IMAGE007
中所有实验物体的包围盒的输出坐标
Figure 552363DEST_PATH_IMAGE008
，
Figure 205061DEST_PATH_IMAGE009
（3）当智能手套移动时，YOLOv5获取第
Figure 187579DEST_PATH_IMAGE010
帧下物体集合
Figure 15858DEST_PATH_IMAGE007
中所有实验物体的包围盒的输出坐标
Figure 78492DEST_PATH_IMAGE011
，
Figure 890590DEST_PATH_IMAGE012
（4）计算第t帧下物体
Figure 1765DEST_PATH_IMAGE013
的面积,
Figure 950130DEST_PATH_IMAGE014
（5）计算两帧之间物体集合
Figure 855769DEST_PATH_IMAGE007
中物体
Figure 889584DEST_PATH_IMAGE013
的面积增量,
Figure 739204DEST_PATH_IMAGE015
（6）通过计算物体集合
Figure 807654DEST_PATH_IMAGE007
中物体
Figure 884194DEST_PATH_IMAGE013
的面积增量与当前场景下所有物体的面积增量的和之比，就可以获得用户在当前实验过程中想要操作的实验物品：
Figure 405305DEST_PATH_IMAGE016
（7）在视觉通道下，不同的实验物品对应有不同的实验意图，将步骤6中求得的概率映射到相应的实验意图中，获得视觉通道下实验步骤概率集合
Figure 592704DEST_PATH_IMAGE017
：
Figure 843557DEST_PATH_IMAGE018
。
3.根据权利要求1所述的一种多模态融合的智能手套系统，其特征在于，所述的基于欧氏距离传感器通道意图概率获取算法包括以下步骤：
输入：指尖压力阈值
Figure 90999DEST_PATH_IMAGE019
，弯曲度值
Figure 99406DEST_PATH_IMAGE020
，压力值向量组
Figure 90496DEST_PATH_IMAGE021
，弯曲度值向量组
Figure 859170DEST_PATH_IMAGE022
，姿态传感器产生的旋转角度
Figure 543092DEST_PATH_IMAGE023
和移动速度
Figure 773216DEST_PATH_IMAGE024
，动作库
Figure 567997DEST_PATH_IMAGE025
，向量化函数
Figure 403229DEST_PATH_IMAGE026
，映射函数
Figure 992473DEST_PATH_IMAGE027
，距离计算函数
Figure 975473DEST_PATH_IMAGE028
；
输出：传感器通道下实验意图概率集合
Figure 308365DEST_PATH_IMAGE029
；
（1）对于压力传感器，我们对每一根手指的压力值信息进行向量化，当手指
Figure 57491DEST_PATH_IMAGE030
的压力值大于我们设定好的阈值
Figure 411112DEST_PATH_IMAGE019
的时候，将五维向量的元素全部置1，反之则全部置0，
Figure 881407DEST_PATH_IMAGE031
Figure 221253DEST_PATH_IMAGE032
（2）对于弯曲度传感器，我们对每一根手指的弯曲度值信息进行向量化，首先将五维向量
Figure 827815DEST_PATH_IMAGE033
的弯曲度维度划分为[
Figure 352337DEST_PATH_IMAGE034
,
Figure 309929DEST_PATH_IMAGE035
)，[
Figure 984624DEST_PATH_IMAGE035
,
Figure 648954DEST_PATH_IMAGE036
)，[
Figure 282061DEST_PATH_IMAGE036
,3
Figure 523686DEST_PATH_IMAGE037
)，[
Figure 270581DEST_PATH_IMAGE038
,
Figure 54998DEST_PATH_IMAGE039
)，[9
Figure 593426DEST_PATH_IMAGE040
180
Figure 260031DEST_PATH_IMAGE041
)，当获得手指
Figure 870004DEST_PATH_IMAGE030
的弯曲度值
Figure 305664DEST_PATH_IMAGE042
时，即可将
Figure 952678DEST_PATH_IMAGE042
放置在向量
Figure 372158DEST_PATH_IMAGE043
相应的维度下，
Figure 520242DEST_PATH_IMAGE044
（4）建立
Figure 75988DEST_PATH_IMAGE022
和
Figure 156552DEST_PATH_IMAGE021
的映射关系，
Figure 532170DEST_PATH_IMAGE045
（5）建立
Figure 156049DEST_PATH_IMAGE022
、
Figure 894198DEST_PATH_IMAGE021
、
Figure 945331DEST_PATH_IMAGE023
和
Figure 11507DEST_PATH_IMAGE046
的映射关系，
Figure 173498DEST_PATH_IMAGE047
（6）利用多维空间下欧氏距离公式求得
Figure 703837DEST_PATH_IMAGE048
向量与动作库
Figure 253767DEST_PATH_IMAGE049
中动作向量
Figure 869556DEST_PATH_IMAGE050
的距离，
Figure 787569DEST_PATH_IMAGE051
（7）计算用户进行动作库
Figure 906835DEST_PATH_IMAGE052
中动作
Figure 565349DEST_PATH_IMAGE030
的概率，
Figure 996331DEST_PATH_IMAGE053
（8）在传感器通道下，不同的动作对应有不同的实验意图，将步骤7中求得的概率映射到相应的实验意图中，获得传感器通道下实验步骤概率集合
Figure 500124DEST_PATH_IMAGE029
；
Figure 677159DEST_PATH_IMAGE054
。
4.根据权利要求1所述的一种多模态融合的智能手套系统，其特征在于，所述的基于余弦相似度匹配的语音通道意图概率获取算法包括以下步骤：
输入：用户输入的语音
Figure 506575DEST_PATH_IMAGE055
，系统语音库
Figure 159273DEST_PATH_IMAGE056
，分词函数
Figure 466758DEST_PATH_IMAGE057
，并集函数
Figure 763878DEST_PATH_IMAGE058
，编号函数
Figure 495686DEST_PATH_IMAGE059
，编码函数
Figure 307784DEST_PATH_IMAGE060
，匹配函数
Figure 153380DEST_PATH_IMAGE061
；
输出：语音通道下实验意图集合
Figure 367324DEST_PATH_IMAGE062
；
（1）对
Figure 272963DEST_PATH_IMAGE063
中的语音
Figure 634674DEST_PATH_IMAGE064
进行分词操作得到词语集合
Figure 18382DEST_PATH_IMAGE065
，
Figure 86832DEST_PATH_IMAGE066
（2）对
Figure 163373DEST_PATH_IMAGE065
进行并集操作，得到系统语音字典库
Figure 952993DEST_PATH_IMAGE067
，
Figure 140392DEST_PATH_IMAGE068
（3）对
Figure 63348DEST_PATH_IMAGE067
从0到n进行编号，
Figure 310790DEST_PATH_IMAGE069
（4）根据
Figure 522460DEST_PATH_IMAGE070
中的编号顺序对
Figure 513550DEST_PATH_IMAGE065
进行词语向量化操作，最终得到
Figure 556592DEST_PATH_IMAGE065
的n维的独热编码向量
Figure 302831DEST_PATH_IMAGE071
：
Figure 798534DEST_PATH_IMAGE072
（5）当用户输入语音
Figure 793648DEST_PATH_IMAGE055
之后，将
Figure 691197DEST_PATH_IMAGE055
与系统语音库
Figure 608337DEST_PATH_IMAGE063
进行匹配，得到
Figure 591337DEST_PATH_IMAGE055
的独热编码
Figure 189808DEST_PATH_IMAGE073
：
Figure 879547DEST_PATH_IMAGE074
（6）利用下式计算
Figure 170851DEST_PATH_IMAGE073
与
Figure 703463DEST_PATH_IMAGE071
的余弦相似度：
Figure 574467DEST_PATH_IMAGE075
（7）利用下式对余弦值进行归一化操作，得到语音通道下的意图概率集合
Figure 446608DEST_PATH_IMAGE062
，
Figure 837708DEST_PATH_IMAGE076
。
5.根据权利要求1所述的一种多模态融合的智能手套系统，其特征在于，所述的多模态融合算法包括以下步骤：
输入：视觉通道下的意图概率集合
Figure 529720DEST_PATH_IMAGE004
，传感器通道下的意图概率集合
Figure 797890DEST_PATH_IMAGE029
，语音通道下的意图概率集合
Figure 524538DEST_PATH_IMAGE077
，均值计算函数
Figure 626486DEST_PATH_IMAGE078
，方差计算函数
Figure 274636DEST_PATH_IMAGE079
，归一化函数
Figure 753022DEST_PATH_IMAGE080
输出：用户当前的意图
Figure 68597DEST_PATH_IMAGE081
（1）将意图概率集
Figure 607026DEST_PATH_IMAGE082
、
Figure 5122DEST_PATH_IMAGE083
、
Figure 287198DEST_PATH_IMAGE084
传入智能手套系统中；
（2）计算意图概率集的概率均值，
Figure 50755DEST_PATH_IMAGE085
（3）计算意图概率集的概率方差，
Figure 166610DEST_PATH_IMAGE086
（4）利用下式求取各个通道的变异系数D：
Figure 648407DEST_PATH_IMAGE087
（5）对变异系数进行归一化处理，得到每个通道的权值，
Figure 468595DEST_PATH_IMAGE088
（6）计算三个通道实时意图的联合概率，获得联合概率最大的意图，即为最终意图
Figure 758762DEST_PATH_IMAGE089
，如下式所示；
Figure 373414DEST_PATH_IMAGE090
。
CN202210754057.5A 2022-06-30 2022-06-30 一种多模态融合的智能手套系统 Pending CN114816077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210754057.5A CN114816077A (zh) 2022-06-30 2022-06-30 一种多模态融合的智能手套系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210754057.5A CN114816077A (zh) 2022-06-30 2022-06-30 一种多模态融合的智能手套系统

Publications (1)

Publication Number Publication Date
CN114816077A true CN114816077A (zh) 2022-07-29

Family

ID=82523075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754057.5A Pending CN114816077A (zh) 2022-06-30 2022-06-30 一种多模态融合的智能手套系统

Country Status (1)

Country Link
CN (1) CN114816077A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286763A (zh) * 2019-06-21 2019-09-27 济南大学 一种具有认知功能的导航式实验交互装置
CN111651035A (zh) * 2020-04-13 2020-09-11 济南大学 一种基于多模态交互的虚拟实验系统及方法
CN112099633A (zh) * 2020-09-16 2020-12-18 济南大学 一种多模态感知的智能实验方法及装置
CN112748800A (zh) * 2020-09-16 2021-05-04 济南大学 一种基于智能手套的实验场景感知交互方法
CN113569656A (zh) * 2021-07-02 2021-10-29 广州大学 一种基于深度学习的考场监控方法
CN114093028A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于意图分析的人机协同方法、系统及机器人
US20220171465A1 (en) * 2020-12-02 2022-06-02 Wenshu LUO Methods and devices for hand-on-wheel gesture interaction for controls
EP4012653A1 (en) * 2020-12-09 2022-06-15 Toyota Jidosha Kabushiki Kaisha Depth-map prediction method; computer program, readable medium, system and mobile machine for implementing the method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286763A (zh) * 2019-06-21 2019-09-27 济南大学 一种具有认知功能的导航式实验交互装置
CN111651035A (zh) * 2020-04-13 2020-09-11 济南大学 一种基于多模态交互的虚拟实验系统及方法
CN112099633A (zh) * 2020-09-16 2020-12-18 济南大学 一种多模态感知的智能实验方法及装置
CN112748800A (zh) * 2020-09-16 2021-05-04 济南大学 一种基于智能手套的实验场景感知交互方法
US20220171465A1 (en) * 2020-12-02 2022-06-02 Wenshu LUO Methods and devices for hand-on-wheel gesture interaction for controls
EP4012653A1 (en) * 2020-12-09 2022-06-15 Toyota Jidosha Kabushiki Kaisha Depth-map prediction method; computer program, readable medium, system and mobile machine for implementing the method
CN113569656A (zh) * 2021-07-02 2021-10-29 广州大学 一种基于深度学习的考场监控方法
CN114093028A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于意图分析的人机协同方法、系统及机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOTAO ZENG 等: "Research on Intelligent Experimental Equipment and Key Algorithms Based on Multimodal Fusion Perception", 《IEEE》 *
XIN ZHANG 等: "Multimodal data fusion algorithm applied to robots", 《CISAI 2019》 *
刘如松: "基于样本间最小欧氏距离的多特征融合识别算法研究", 《计算机与数字工程》 *

Similar Documents

Publication Publication Date Title
WO2021103648A1 (zh) 手部关键点检测方法、手势识别方法及相关装置
CN109657631B (zh) 人体姿态识别方法及装置
CN109325398B (zh) 一种基于迁移学习的人脸属性分析方法
CN105868715B (zh) 一种手势识别方法、装置及手势学习系统
CN103955267B (zh) 光透视增强现实系统中双手人机交互方法
CN112131985B (zh) 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
Tang et al. Facial landmark detection by semi-supervised deep learning
CN114663915B (zh) 基于Transformer模型的图像人-物交互定位方法及系统
CN111414837A (zh) 手势识别方法、装置、计算机设备及存储介质
CN108073851B (zh) 一种抓取手势识别的方法、装置及电子设备
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN112989947A (zh) 一种人体关键点的三维坐标的估计方法及装置
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN112949569B (zh) 一种面向跌倒分析的人体姿态点有效提取方法
CN104423566A (zh) 手势辨识方法及穿戴式装置
CN116091551A (zh) 一种基于多模态融合的目标检索跟踪方法及系统
CN103426000B (zh) 一种静态手势指尖检测方法
Mi et al. Intention-related natural language grounding via object affordance detection and intention semantic extraction
CN106512391B (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
CN116206328A (zh) 一种基于多视点几何的三维人体姿态估计方法
CN114816077A (zh) 一种多模态融合的智能手套系统
CN108564063B (zh) 基于深度信息的掌心定位方法及系统
CN104964684B (zh) 一种高动态下快速星跟踪方法
Wang et al. MFA: a smart glove with multimodal intent sensing capability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220729