CN109993131B - 一种基于多模态信号融合的设计意图判别系统及方法 - Google Patents
一种基于多模态信号融合的设计意图判别系统及方法 Download PDFInfo
- Publication number
- CN109993131B CN109993131B CN201910269580.7A CN201910269580A CN109993131B CN 109993131 B CN109993131 B CN 109993131B CN 201910269580 A CN201910269580 A CN 201910269580A CN 109993131 B CN109993131 B CN 109993131B
- Authority
- CN
- China
- Prior art keywords
- signal
- design
- signals
- modal
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013461 design Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000012938 design process Methods 0.000 claims abstract description 10
- 230000004424 eye movement Effects 0.000 claims description 51
- 230000002452 interceptive effect Effects 0.000 claims description 45
- 230000003993 interaction Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012880 independent component analysis Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- -1 controller Chemical compound 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于多模态信号融合的设计意图判别系统及方法，该系统通过多模态信号采集模块采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；多模态信号分层整合模块，对预处理后的多模态信号进行特征提取，构建基于三层反向传播神经网络的信号识别分类模型，将提取的特征信息输入信号识别分类模型，将输出的识别结果进行统一表达和融合分析，确定用户的设计意图；产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。本发明降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。
Description
技术领域
本发明涉及人机交互技术领域，特别是涉及一种基于多模态信号融合的设计意图判别系统及方法。
背景技术
近年来，CAD技术向标准化、集成化、智能化方向发展；随着人工智能和专家系统的引入，智能设计概念应运而生。智能设计过程强调以人工智能技术为实现手段，并为用户提供强大的智能人机交互功能。然而，现有的鼠标、键盘等传统交互模式主要依赖双手的高频反复操作，是一种非自然的设计意图表达方式，在使用的自然性和友好性等方面存在很大局限性，难以满足智能设计中对智能交互过程的发展需求。
发明内容
本发明的目的是提供一种基于多模态信号融合的设计意图判别系统及方法，通过对用户多模态信号的融合分析，降低了用户设计意图的表达的局限性。
为实现上述目的，本发明提供了如下方案：
一种基于多模态信号融合的设计意图判别系统，该系统包括多模态信号采集模块、多模态信号预处理模块、多模态信号分层整合模块和产品设计指令生成模块；
多模态信号采集模块，用于采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；
多模态信号预处理模块，接收多模态信号，对多模态信号进行预处理，去除多模态信号中的无效数据，并将预处理后的多模态信号发送到多模态信号分层整合模块；
多模态信号分层整合模块包括特征层、原语层、指令层和意图层；
特征层，对预处理后的多模态信号进行特征提取；
原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；
指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；
意图层将各交互原语进行融合分析确定用户的设计意图；
产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。
可选的，多模态信号包括脑电信号、手势信号和眼动信号；多模态信号采集模块包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。
可选的，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。
可选的，系统还包括图形可视化模块，用于将用户的设计意图输入到相应的设计软件并进行可视化显示。
本发明还公开了一种基于多模态信号融合的设计意图判别方法，该方法包括：
采集用户在产品设计过程中的多模态信号；
对多模态信号进行预处理，去除多模态信号中的无效数据；
对预处理后的多模态信号进行特征提取；
构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；
利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；
将各交互原语进行融合分析确定用户的设计意图；
根据用户的设计意图，生成与用户的设计意图对应的产品设计指令。
可选的，多模态信号包括脑电信号、手势信号和眼动信号；
多模态信号采集装置包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。
可选的，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。
可选的，方法还包括，将用户的设计意图输入到相应的设计软件进行可视化显示。
根据本发明提供的发明内容，本发明公开了以下技术效果：本发明采集用户在产品设计过程中的多模态信号，并对多模态信号进行预处理和特征提取，将预处理后获得的特征信息利用三层反向传播神经网络的信号识别分类模型进行识别分类，并采用交互原语的形式表达，通过各交互原语的融合分析确定用户的设计意图，降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于多模态信号融合的设计意图判别系统结构示意图；
图2为本发明实施例一种基于多模态信号融合的设计意图判别方法流程示意图；
图3为本发明实施例各模态信号所识别的三个交互原语之间的时序关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于多模态信号融合的设计意图判别系统及方法，通过对用户多模态信号的融合分析，降低了用户设计意图的表达的局限性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为一种基于多模态信号融合的设计意图判别系统结构示意图，如图1所示：系统包括多模态信号采集模块101，多模态信号预处理模块102、多模态信号分层整合模块103和产品设计指令生成模块104；
多模态信号采集模块101，采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块102；
多模态信号包括脑电信号、手势信号和眼动信号；多模态信号采集模块101包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号，其中脑电信息采集装置为Emotive EPOC意念控制器，手势信号采集装置为Leap Motion 3D手势采集仪，眼动信号采集装置为Tobii Pro X2-30眼动仪。
多模态信号预处理模块102，接收多模态信号，对多模态信号进行预处理，去除多模态信号中的无效数据，并将预处理后的多模态信号发送到多模态信号分层整合模块103；
预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。
多模态信号分层整合模块103，对预处理后的多模态信号进行特征提取，构建基于三层反向传播神经网络的信号识别分类模型，将提取的特征信息输入信号识别分类模型，将获得的识别结果进行统一表达和融合分析，确定用户的设计意图；
多模态信号分层整合模块103包括特征层、原语层、指令层和意图层；
特征层，对预处理后的多模态信号进行特征提取；特征包括脑电信号特征，手势信号特征和眼动信号特征；脑电信号特征，具体指脑电信号的时频特征
其中，
为均值，
为能量均值，S为均方差；手势信号特征Fgesture＝(C,V)，其中，C＝(c1,c2,...,c6)，V＝(v1,v2,...,v6)，具体指手心所在空间坐标c1及手心内法向量v1，拇指尖到小指尖的坐标c2-c6，及各手指指尖的空间法向量v2-v6；眼动信号特征Feye＝(gp,timestamp)，具体包括：人眼在显示屏上的注视点位置坐标gp(gp也可以理解为坐标(x,y))以及坐标gp对应的时间戳timestamp；
采用小波变换对脑电信号进行时频特征的提取操作具体包括：
首先，采用Daubechies类db5小波对已采集的脑电信号进行三层小波分解；信号分解后获得的高频细节分量为D1-D3；然后以分量D1-D3的均值
能量均值
及均方差S作为脑电信号的时频特征
令
表示Cq导联脑电信号的第p层分量系数Dp(p＝1,2,3，q＝1,2,3,...,s)，w＝1,2,...,t，其中，s为14；
第Cq导联脑电信号的第p层分量的均值定义为：
第Cq导联脑电信号的第p层分量的能量均值计算式为：
第Cq导联脑电信号的第p层分量的均方差计算值式为：
其中，
眼动信号特征向量和手势信号特征向量可根据采集设备预处理后的原始信号直接获取。
原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；
其中，基于三层BP(back propagation反向传播)神经网络的信号识别分类模型的具体构建训练过程如下：
对模型的参数进行初始化设定，具体包括：确定输入层节点数n、隐含层节点数l和输出层节点m；n的取值分别根据特征向量Feeg、Fgesture、Feye的维数进行确定，m的取值为信号所表示的操作信息的类别数，l的取值满足l＝log2n；选取隐含层和输入层的传递函数；初始化设定输入层和隐含层的连接权值ωij以及隐含层的阈值a；隐含层与输出层的连接权值ωjk以及输出层的阈值b。
根据输入变量F＝[x1,x2,...,xn](信号特征向量)，输入层和隐含层连接权值ωij以及隐含层的阈值a，计算隐含层输出H；
隐含层第j个节点数的输出为：
Hj∈H；
式中，l为隐含层节点个数，f为隐含层激励函数，这里为：
根据隐含层输出H，输出权值ωjk和阈值b，计算BP神经网络的判别输出V；
第k个输出节点的判别输出为：
Vk∈V；
根据网络判别输出V和期望输出Y，计算网络判别误差e；
输出层第k个输出节点的网络判别误差：ek＝Yk-Vk，k＝1,2,...,m，ej∈e。
更新网络连接权值ωij，ωjk：
ωjk＝ωjk+ηHjek，j＝1,2,...,l，k＝1,2,...,m；
式中，η为学习速率。
更新网络节点阈值a和b：
隐含层第j个节点的阈值：
aj∈a；
输出层第k个输出节点的阈值：bk＝bk+ek，k＝1,2,...,m，bj∈b；
根据网络判别误差e，判断是否满足e＜ε'；若满足上式，则模型训练学习过程结束；若不满足，则返回步骤(1)，继续训练。
判别分类模型训练完成后，可将测试样本提取到的脑电信号特征、手势信号特征和眼动信号特征分别输入模型进行前向计算，得到相应的是识别分类结果，分别实现对特征层提取的脑电信号特征、手势信号特征和眼动信号特征进行分类识别。
可识别的类别及对应的CAD指令如表1所示。
表1信号识别分类模型输出的分类结果与对应的CAD指令
根据对多模态信号(脑电信号、眼动信号、手势信号)操作信息的判别结果，采用交互原语的形式进行统一表达，交互原语可采用三元组进行表示：IP＝(Operation,Channel,TimeStamp)；其中，Operation，表示从信号特征中识别的有效操作信息；Channel，表示当前信号采集的信号类别(脑电信号、眼动信号、手势信号)；TimeStamp，表示信号采集的时间标签。
指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象，使交互原语满足基本的人机交互语法规范，如“何时何地对何对象执行何操作”，此时交互原语的信息在原有基础上得到进一步扩展，表示为：IPE＝(Operation,Channel,TimeStamp,Object)，其中Object表示原语操作动作所承受的对象信息；
意图层将各交互原语进行融合分析确定用户的设计意图；
具体融合过程如下：
针对各模态信号所识别的三个交互原语之间的语义关系(包括语义相同和语义不同)，对三个交互原语进行整合；当三个交互原语中存在在两个或三个原语的设计意图(设计意图，可以理解为，用户准备采取的设计行为，这里划分为：模式选择意图、图形生成意图、图形操作意图；这些意图是提前划分好的，如前面的列表所示)为同一设计意图中的的不同操作(Operation)时，可将这两个或三个原语统一表示为一个设计意图进行输出；以用户画圆这一设计意图为例进行说明，由手势信号的交互原语可以确定设计意图为画圆，由眼动信号的交互原语可以确定设计意图中画圆的坐标位置，最后完整表达为在某一特定坐标下进行画圆操作，这一设计意图。
各模态信号所识别的三个交互原语之间的时序关系图，如图3所示，针对各模态信号所识别的三个交互原语之间的时序关系，对多模态信号识别的交互原语进行整合；由于脑电、眼动、手势信号是并行输入的，且输入的时间间隔较短，为了避免识别信息混乱，需要对作用于同一设计意图的交互原语的时间间隔进行一定的约束。设定时间阈值T作为判断交互原语是否作用于同一设计意图的标准，若交互原语时间标签的差值小于T，则作用于同一设计意图，反之，则作用于不同设计意图。
采用如下三元组定义用户的设计意图(Design Intention):DI＝(DA,DO,BA)，其中，DA＝<da1,…,dai>(0≤i≤3)表示用户的设计行为集合；DO表示每个用户行为所对应的承载对象集合；BA＝<direction,data,time>表示用户每个设计行为的属性信息，具体包括方位属性(direction)、数据属性(data)、时间属性(time)。用户设计意图，具体划分为：模式选择意图、图形生成意图、图形操作意图三类。
产品设计指令生成模块104，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。
依据多模信号分层整合模块输出的用户设计意图，调用生成相对应的CAD产品设计指令；产品设计指令包括：模式选择指令、图形生成指令和图形操作指令。模式选择指令，具体模式包括：二维草图模式、三维建模模式、特征编辑模式、对象激活模式、全局浏览模式；图形生成指令，具体包括：直线、圆、方形、三角形；图形操作指令，具体包括：平移、拉伸、旋转、删除；
系统还包括图形可视化模块105，用于将用户的设计意图输入到相应的设计软件并进行可视化显示。
图2为一种基于多模态信号融合的设计意图判别方法，如图2所示：方法包括：
步骤201：采集用户在产品设计过程中的多模态信号；
步骤202：对多模态信号进行预处理，去除多模态信号中的无效数据；
步骤203：对预处理后的多模态信号进行特征提取；
步骤204：构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入所述信号识别分类模型，得到与用户的操作意图对应的操作信息，各所述操作信息采用交互原语的形式表达；
步骤205：利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；
步骤206：将各交互原语进行融合分析确定用户的设计意图；
步骤207：根据所述用户的设计意图，生成与所述用户的设计意图对应的产品设计指令。
其中，步骤201中，多模态信号包括脑电信号、手势信号和眼动信号；
多模态信号采集装置包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。
其中，步骤202中，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。
其中，步骤206中，将各交互原语进行融合分析确定用户的设计意图，具体包括，针对各个模态信号之间的语义和时序关系，抽取可表征用户设计意图的信息，并采用三元组进行表示。
方法还包括，查找与用户的设计意图对应的产品设计指令输入到开源CAD模块(如FreeCAD)进行可视化显示。
本发明采集用户在产品设计过程中的多模态信号，并对多模态信号进行预处理和特征提取，将预处理后获得的特征信息利用三层反向传播神经网络的信号识别分类模型进行识别分类，并采用交互原语的形式表达，通过各交互原语的融合分析确定用户的设计意图，降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于多模态信号融合的设计意图判别系统，其特征在于，所述系统包括多模态信号采集模块、多模态信号预处理模块、多模态信号分层整合模块和产品设计指令生成模块；
所述多模态信号采集模块，用于采集用户在产品设计过程中的多模态信号，并将所述多模态信号发送到所述多模态信号预处理模块；所述多模态信号包括脑电信号、手势信号和眼动信号；
所述多模态信号预处理模块，接收所述多模态信号，对所述多模态信号进行预处理，去除所述多模态信号中的无效数据，并将预处理后的所述多模态信号发送到所述多模态信号分层整合模块；
所述多模态信号分层整合模块包括特征层、原语层、指令层和意图层；
所述特征层，对预处理后的多模态信号进行特征提取；
所述原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入所述信号识别分类模型，得到与用户的操作意图对应的操作信息，各所述操作信息采用交互原语的形式表达；具体为，将脑电信号特征、手势信号特征和眼动信号特征分别输入信号识别分类模型进行前向计算，得到相应的识别分类结果，分别对脑电信号特征、手势信号特征和眼动信号特征进行分类识别；
所述指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；
所述意图层将各交互原语进行融合分析确定用户的设计意图；设定时间阈值T作为判断交互原语是否作用于同一设计意图的标准，若交互原语时间标签的差值小于T，则作用于同一设计意图；当三个交互原语中存在两个或三个原语的设计意图为同一设计意图中的不同操作时，将这两个或三个原语统一表示为一个设计意图进行输出；
所述产品设计指令生成模块，根据所述多模态信号分层整合模块输出的所述用户的设计意图，生成与所述用户的设计意图对应的产品设计指令。
2.根据权利要求1所述的基于多模态信号融合的设计意图判别系统，其特征在于，所述多模态信号采集模块包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；所述脑电信号采集装置用于采集所述脑电信号，所述手势信号采集装置用于采集所述手势信号，所述眼动信号采集装置用于采集所述眼动信号。
3.根据权利要求2所述的基于多模态信号融合的设计意图判别系统，其特征在于，所述预处理包括采用独立分量分析方法去除所述脑电信号中的眼动伪迹和采用卡尔曼滤波法去除所述眼动信号中的无效眼跳信号。
4.根据权利要求1所述的基于多模态信号融合的设计意图判别系统，其特征在于，所述系统还包括图形可视化模块，用于将所述用户的设计意图输入到相应的设计软件并进行可视化显示。
5.一种基于多模态信号融合的设计意图判别方法，其特征在于，所述方法包括：
采集用户在产品设计过程中的多模态信号；所述多模态信号包括脑电信号、手势信号和眼动信号；
对所述多模态信号进行预处理，去除所述多模态信号中的无效数据；
对预处理后的多模态信号进行特征提取；
构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入所述信号识别分类模型，得到与用户的操作意图对应的操作信息，各所述操作信息采用交互原语的形式表达；具体为，将脑电信号特征、手势信号特征和眼动信号特征分别输入信号识别分类模型进行前向计算，得到相应的识别分类结果，分别对脑电信号特征、手势信号特征和眼动信号特征进行分类识别；
利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；
将各交互原语进行融合分析确定用户的设计意图；设定时间阈值T作为判断交互原语是否作用于同一设计意图的标准，若交互原语时间标签的差值小于T，则作用于同一设计意图；当三个交互原语中存在两个或三个原语的设计意图为同一设计意图中的不同操作时，将这两个或三个原语统一表示为一个设计意图进行输出；
根据所述用户的设计意图，生成与所述用户的设计意图对应的产品设计指令。
6.根据权利要求5所述的基于多模态信号融合的设计意图判别方法，其特征在于，所述多模态信号采集装置包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；所述脑电信号采集装置用于采集所述脑电信号，所述手势信号采集装置用于采集所述手势信号，所述眼动信号采集装置用于采集所述眼动信号。
7.根据权利要求6所述的基于多模态信号融合的设计意图判别方法，其特征在于，所述预处理包括采用独立分量分析方法去除所述脑电信号中的眼动伪迹和采用卡尔曼滤波法去除所述眼动信号中的无效眼跳信号。
8.根据权利要求5所述的基于多模态信号融合的设计意图判别方法，其特征在于，所述方法还包括，将所述用户的设计意图输入到相应的设计软件进行可视化显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269580.7A CN109993131B (zh) | 2019-04-04 | 2019-04-04 | 一种基于多模态信号融合的设计意图判别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269580.7A CN109993131B (zh) | 2019-04-04 | 2019-04-04 | 一种基于多模态信号融合的设计意图判别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993131A CN109993131A (zh) | 2019-07-09 |
| CN109993131B true CN109993131B (zh) | 2021-03-16 |
Family
ID=67131469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910269580.7A Expired - Fee Related CN109993131B (zh) | 2019-04-04 | 2019-04-04 | 一种基于多模态信号融合的设计意图判别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993131B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311070B (zh) * | 2020-01-20 | 2020-12-25 | 南京航空航天大学 | 联合脑电和眼动并结合用户相似度的产品设计方案决策方法 |
| CN111709706B (zh) * | 2020-06-09 | 2023-08-04 | 国网安徽省电力有限公司安庆供电公司 | 基于自适应模式识别的新设备启动方案自动生成方法 |
| CN112506125B (zh) * | 2020-11-19 | 2024-07-09 | 北京海云捷迅科技股份有限公司 | 一种多模态控制方法、装置和系统 |
| CN112990074B (zh) * | 2021-03-31 | 2023-04-07 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN115329578A (zh) * | 2022-08-19 | 2022-11-11 | 南京邮电大学 | 基于多模态融合的三维建模系统及建模方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739444A (zh) * | 2016-04-06 | 2016-07-06 | 济南大学 | 机械手多参数控制脑机接口 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104360730B (zh) * | 2014-08-19 | 2017-04-26 | 西安交通大学 | 一种多模态非植入式脑机接口技术支撑下的人机交互方法 |
| CN107301675A (zh) * | 2017-06-16 | 2017-10-27 | 华南理工大学 | 一种基于脑机接口的三维建模方法 |
| CN108983636B (zh) * | 2018-06-20 | 2020-07-17 | 浙江大学 | 人机智能共生平台系统 |
| CN108904163A (zh) * | 2018-06-22 | 2018-11-30 | 北京信息科技大学 | 轮椅控制方法及系统 |
-
2019
- 2019-04-04 CN CN201910269580.7A patent/CN109993131B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739444A (zh) * | 2016-04-06 | 2016-07-06 | 济南大学 | 机械手多参数控制脑机接口 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993131A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993131B (zh) | 一种基于多模态信号融合的设计意图判别系统及方法 | |
| CN106985137B (zh) | 用于智能机器人的多模态交互方法及系统 | |
| CN108182728A (zh) | 一种基于Leap Motion的在线体感三维建模方法及系统 | |
| CN105739688A (zh) | 一种基于情感体系的人机交互方法、装置和交互系统 | |
| CN108073851B (zh) | 一种抓取手势识别的方法、装置及电子设备 | |
| KR20120052610A (ko) | 신경망 학습을 통한 동작 인식 방법 및 장치 | |
| CN111967334B (zh) | 一种人体意图识别方法、系统以及存储介质 | |
| Bautista Garcia et al. | Hand Alphabet Recognition for Dactylology Conversion to English Print Using Streaming Video Segmentation | |
| Devi et al. | Dance gesture recognition: a survey | |
| CN117032453A (zh) | 一种实现互识功能的虚拟现实交互系统 | |
| Karthick et al. | Transforming Indian sign language into text using leap motion | |
| Rwelli et al. | Gesture based Arabic sign language recognition for impaired people based on convolution neural network | |
| Soodtoetong et al. | The efficiency of sign language recognition using 3D convolutional neural networks | |
| Singh et al. | A Review For Different Sign Language Recognition Systems | |
| CN116883608B (zh) | 一种多模态数字人社交属性控制方法及相关装置 | |
| Jindal et al. | A comparative analysis of established techniques and their applications in the field of gesture detection | |
| WO2020195017A1 (ja) | 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体 | |
| CN112860907A (zh) | 一种情感分类方法及设备 | |
| Suganya et al. | Design Of a Communication aid for physically challenged | |
| Fu et al. | Research on application of cognitive-driven human-computer interaction | |
| Khoshhal et al. | Probabilistic lma-based human motion analysis by conjugating frequency and spatial based features | |
| Usman et al. | Skeleton-based motion prediction: A survey | |
| CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 | |
| Gaffary et al. | Clustering approach to characterize haptic expressions of emotions | |
| Sevilla et al. | Tools for the Use of SignWriting as a Language Resource |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210316 |