CN115756161B - 多模态交互结构力学分析方法、系统、计算机设备及介质 - Google Patents

Abstract

本发明公开了一种多模态交互结构力学分析方法、系统、计算机设备及介质，所述方法包括：获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；根据所述交互操作信息，实时获取相应的音频数据和手势数据；对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。本发明创建引导式建模体系，跳过多层级操作步骤直达目标指令，拓宽了结构力学分析的应用场景，突破性地为用户提供更加自然高效的人机交互体验。

Description

多模态交互结构力学分析方法、系统、计算机设备及介质

技术领域

本发明涉及一种多模态交互结构力学分析方法、系统、计算机设备及存储介质，属于人机交互技术领域。

背景技术

多模态交互技术是近年来兴起的一项交互技术，这种新型、自然的人机交互模式更为符合人类的行为方式，从机器人类产品的形态特点和用户期待出发，打破了传统PC式的鼠标键盘输入和智能手机的点触式交互模式，可以让使用者通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式，从而极大的提高模型开发的速度和效率，满足和契合当前专业领域对于高效结构分析的需求。

传统交互方式下的结构力学分析软件基于键盘和鼠标结合的操作逻辑，软件功能及界面布局繁琐，操作步骤、建模分析流程复杂，学习成本高，使用体验差。由于配套硬件存在携带不便、使用环境要求高等局限性，使得该类软件的应用场景及适用人群较为单一。而语音和手势结合的多模态交互方式基于更符合用户认知和操作习惯的新型多模态人机交互规则，有利于跳过多层级操作步骤，直达目标指令，能够突破性地提供更加自然高效的人机交互体验。多模态交互拓宽了结构力学分析软件的应用场景，譬如可以进行沉浸式课堂建模分析教学，更快捷地交流结构设计方案，还可以解决在空间站、月球基地、火星基地等微重力环境下的在地结构分析中传统硬件使用困难的问题等。

当前多模态交互的相关设计和实现技术等研究成果较为零散，关键部分也存在较大空缺。探索多模态交互方式下更自然的交互规则设计和更适应未来工业建模软件的界面视觉设计规范，简化传统软件在多模态交互方式下的操作流程，是未来多模态交互技术发展的一项关键内容。

发明内容

有鉴于此，本发明提供了一种多模态交互结构力学分析方法、系统、计算机设备及存储介质，其相对于传统PC式的鼠标键盘输入模式，基于一套更符合用户认知和操作习惯的新型多模态人机交互规则，创建引导式建模体系，跳过多层级操作步骤直达目标指令，拓宽了结构力学分析的应用场景，突破性地为用户提供更加自然高效的人机交互体验。

本发明的第一个目的在于提供一种多模态交互结构力学分析方法。

本发明的第二个目的在于提供一种多模态交互结构力学分析系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种多模态交互结构力学分析方法，其特征在于，所述方法包括：

获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

根据所述交互操作信息，实时获取相应的音频数据和手势数据；

对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

进一步的，所述对音频数据和手势数据进行处理，将处理结果上传至云数据库，具体包括：

对音频数据进行识别，得到相应语音文本，从语音文本中提取建模信息，转化成标准格式上传至云数据库；

根据手势数据的变化趋势，判断得到手势识别结果，计算手势对图像的操作数据，转化成标准格式上传至云数据库。

进一步的，所述从语音文本中提取建模信息，具体包括：

完成大写数字到阿拉伯数字的转换，通过预设的一系列关键词，对语音文本表达的操作与数据进行判断、甄别，实现从自然语言中提取出结构化的建模命令。

进一步的，所述根据手势数据的变化趋势，判断得到手势识别结果，计算手势对图像的操作数据，具体包括：

捕捉手部关键节点的空间坐标，计算指尖空间位置、两指指尖距离、手掌掌心在当前帧与之前帧的相对位移，判断手部动作的变化趋势，以实现手势识别，得到手势识别结果，计算手势对图像的操作数据。

进一步的，所述监听数据库日志，实时获取语音数据和手势数据，具体包括：

设立渲染主线程，以及为监听数据库日志单独开一线程，并在该线程内设立多个语音建模信号，当监测到相应的数据库表单发生变化时，触发相应的语音建模信号，同时在渲染主线程中，将这些语音建模信号绑定相应的槽函数，使页面做出相应响应，所述语音建模信号包括建立节点、修改节点、查看节点荷载表；

通过监听数据库日志，在数据库的leap_gesture表发生变化时，获取手势对图像相机操作的数据，并触发相应的leap_gesture信号，所述leap_gesture表为预先为手势定义leap_gesture信号的表单。

进一步的，所述对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理，具体包括：

将语音数据中的语音建模信息转化为节点信息、结构构件信息、边界条件信息和荷载信息四个矩阵，其中，所述节点矩阵包括节点号和节点坐标，所述结构构件矩阵包括构件类型号、构件号、构件端点节点号和构件材料号，所述边界条件矩阵包括节点号、自由度号及其强制位移值，所述节点荷载矩阵包括节点号、自由度号和力的大小；

将节点信息、结构构件信息、边界条件信息和荷载信息导入有限元程序进行分析，将得到的数值结果转换为第一vtk可读信息，所述vtk可读信息包括节点位移信息、单元内力信息、单元应力与应变信息和结构振型信息；

将手势数据中的模型变化参数转换为第二vtk可读信息；

将第一vtk可读信息和第二vtk可读信息导出至vtk程序进行数字图像化处理。

进一步的，所述语音操作信息为按照语音建模模板输出相应指令的信息，所述手势操作信息为遵循手势交互规则做出相应动作的信息。

本发明的第二个目的可以通过采取如下技术方案达到：

一种多模态交互结构力学分析系统，所述系统包括：

第一获取单元，用于获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

第二获取单元，用于根据所述交互操作信息，实时获取相应的音频数据和手势数据；

分析单元，用于对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

动态显示单元，用于对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的多模态交互结构力学分析方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的多模态交互结构力学分析方法。

本发明相对于现有技术具有如下的有益效果：

本发明的语音和手势结合的交互方式更符合用户认知和操作习惯的新型多模态人机交互规则，可以跳过多层级操作步骤直达目标指令，突破性地提供更加自然高效的人机交互体验。该系统拓宽了结构力学分析软件的应用场景，譬如可以在课堂进行沉浸式建模分析教学，让工程师们更快捷地交流结构设计方案，还可以解决在空间站、月球基地、火星基地等微重力环境下在地结构分析中传统硬件使用困难的问题等，具有广阔的市场前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的多模态交互结构力学分析方法的流程图。

图2为本发明实施例1的多模态交互界面总体布局示意图。

图3为本发明实施例2的多模态交互结构力学分析装置的结构框图。

图4为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

当前结构力学分析软件基于图形用户界面的操作逻辑，以传统“鼠标+键盘”结合的交互方式为主，由于软件功能及界面布局繁琐、操作流程复杂、配套硬件携带不便，存在学习成本高、应用场景及适用人群单一、缺乏用户交互体验感等局限性。随着智能终端多元化的发展，用户对传统输入设备的改进提出了更高的要求。

因此本实施例提供了一种多模态交互结构力学分析方法，该方法引入语音和手势识别技术获取用户的语音指令和姿态信息等多模态输入数据，以云数据库作为数据存储平台和传输媒介，辅以一套自然高效的多模态人机交互规则和更具科技感的界面视觉设计规范，打破传统“鼠标+键盘”输入模式，通过语音输入和手势控制简化建模流程，并增加引导式建模和增强现实等交互功能，给予用户人机一体化的沉浸式体验。

本实施例的多模态交互结构力学分析方法将传统的工程结构分析软件与人工智能相结合。在语音交互开发中结合讯飞云平台实现实时语音转写与自然语义识别，提高信息输入的效率与规范性；在手势交互开发中利用Leap Motion体感控制器精准获取手部运动数据编写手势识别算法，实现结果图形的三维动态可视化；通过基于MySQL云数据库的多模态交互机制，实现数据有序管理和远程交互；并对软件的交互规则和功能界面进行创新性设计，包括手势及语音两种交互方式的独立操作和相互自然切换，综合提升用户体验，使软件具有更强的交互性和适用性。

如图1所示，本实施例的多模态交互结构力学分析方法包括以下步骤：

S101、获取用户的交互操作信息。

本实施例中，交互操作包括语音操作信息和手势操作信息，语音操作信息为按照语音建模模板输出相应指令的信息，手势操作信息为遵循手势交互规则做出相应动作的信息。

本实施例设计了一套符合用户认知和操作习惯的新型多模态人机交互规则，通过文本及图标的显示实时指引用户操作，并编写了详细的语音和手势规范辅助使用，降低用户的试错成本，增强交互体验。

界面总体布局包括功能栏、语音交互模块、模型处理功能弹窗、模型查看及交互区、信息动态显示区五个区域，如图2所示。

功能栏位于界面左端，主要包含帮助文档、模型信息、模型分析三大功能类型模块，依据不同的功能类型划分小的功能项，每一类型区域由功能类型标题、语音指令输入提示模板、功能项图标及功能项名称组成；每个功能项分为开启和关闭两种状态，通过语音交互，根据语音输入规范模板，输入语音指令开启对应功能；功能项开启时图标透明度为100％，且图标及文字位于圆角矩形框内，关闭时图标透明度为30％,图标及文字外围无圆角矩形边框。

语音交互模块中位于软件界面顶部中央，嵌入顶部信息栏，包含文本输入框及语音状态提示区，用于显示语音信息和查看语音状态。语音状态共有六种情况。当语音交互未唤醒时或语音指令完成正误识别后，文本框文字提示用户用伸开手掌的手势开启语音指令的录入，状态提示区为灰色声波图标，示意语音待开启状态；当语音指令正在录入时，文本框提示用户用握拳的手势结束语音指令的录入，状态提示区为绿色声波动图，示意正在录入语音文本；当语音指令成功录入时，文本框显示录入成功的指令文本，状态提示区为绿色声波图标，示意指令录入成功；当语音指令成功执行时，文本框显示录入成功的指令文本，状态提示区显示绿色对勾动画，示意文本框里的语音指令执行成功；当语音指令执行失败时，文本框显示不符合语音规范，执行失败的指令文本，状态提示区显示红色交叉动画，示意文本框里的语音指令执行失败；当语音指令执行失败后、回到未唤醒状态前，文本框内显示文字提示“请按语音规范正确输入”，提示用户查看语音规范，输入可识别的语音指令，状态提示区显示红色交叉图标。

建模处理功能弹窗位于模型查看及交互区顶部，由对应功能的图标、标题、需要输入的数据的语音模板、数据填写区、确认及取消的语音模板组成。用户根据对应语音模板说出对应语音指令即完成功能的调用或信息的输入，共包含了节点、材料、截面、单元、节点约束、节点荷载、单元分布荷载和单元集中荷载等功能弹窗，分别对应建模的各个流程。

模型查看及交互区位于界面居中位置，约占整体界面三分之二的大小，用于模型实时显示和手势交互，对其进行旋转、缩放等查看操作。无弹窗时该区域全部用于模型渲染，弹窗交互时该区域缩小，部分用于模型渲染。

信息动态显示区占据了界面右端约四分之一的位置，根据需要由两到三个动态变化的信息显示区组成。用户通过说出对应语音模板完成对应表单或文档信息的显示，如查看节点表、查看模型处理语音规范等功能。

具体地，用户根据界面提示执行交互操作，按照语音建模模板输出相应指令，遵循手势交互规则做出相应动作，使用麦克风和Leap Motion对语音和手势交互动作进行采集，从而获取用户的交互操作信息。

S102、根据所述交互操作信息，实时获取相应的音频数据和手势数据。

S103、对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理。

本实施例的对音频数据和手势数据进行处理，将处理结果上传至云数据库，具体包括：

1)对音频数据进行识别，得到相应语音文本，从语音文本中提取建模信息，转化成标准格式上传至云数据库。

本实施例通过麦克风获取用户的语音指令存储为录音，将录音提交到讯飞在线语音识别服务进行即时识别，返回识别结果，获得相应语音文本；接着是对识别后文本的处理与分析：1)完成大写数字到阿拉伯数字的转换；2)通过预设的一系列关键词如“新建”、“单元”等对文本表达的操作与数据进行判断、甄别，实现从自然语言中提取出结构化的建模命令，如“新建节点一，x坐标为0，y坐标为100，z坐标为-100”将转换为“[‘N1’,0,100,-100]”；3)借助pymysql将提取出的有效建模命令上传至MySQL云数据库，供图像方读取并执行相关操作。

如果用户未按照规范进行语音输入或者吐字不清导致信息提取失败，同样会上传相应的信号到云数据库，图像方会在软件界面中提示用户按照更规范的方式再次输入，保证人性化的交互。

2)根据手势数据的变化趋势，判断得到手势识别结果，计算手势对图像的操作数据，转化成标准格式上传至云数据库。

本实施例共设计了五个交互手势，包括张开、握拳、沿水平方向旋转、沿竖直方向旋转和缩放。手势识别的方法为通过Leap Motion体感控制器捕捉手部关键节点的空间坐标等数据，计算指尖空间位置、两指指尖距离、掌心在当前帧与之前帧的相对位移等信息判断手部动作的变化趋势，以此实现手势识别。首先将Leap Motion获取的空间坐标转换为屏幕坐标系中的平面坐标，利用InteractionBox方法得到归一化坐标，再分别乘以屏幕分辨率大小完成三维坐标至二维坐标的转换。为了避免张开握拳与旋转缩放的识别混乱设计了食指拇指捏合的切换手势，只有当手移动到模型交互区并捏合时才能对模型进行旋转缩放的操作。在保持捏合动作的状态下手掌带动手指分别向上、向下平移为绕X轴(向上或向下)旋转，向左、向右平移为绕Y轴(向左或向右)旋转；控制模型缩放时，手沿Z轴正方向(远离屏幕)移动为放大操作，沿反方向(靠近屏幕)移动为缩小操作。

通过Leap Motion的InteractionBox方法实现手势三维空间信息到二维坐标系统的映射，并计算手掌掌心等节点在当前帧与之前帧的相对位移判断手部动作的变化趋势，将计算之后的手势数据转化为标准格式存储于云数据库。用户根据操作需要做出设定的手部动作，由Leap Motion获取手势信息并通过算法进行手势识别，将数据和指令上传至云数据库并在vtk和Qt实时响应，完成手势控制图像旋转缩放的交互操作。

本实施例的监听数据库日志，实时获取语音数据和手势数据，具体包括：

1)设立渲染主线程，以及为监听数据库日志单独开一线程，并在该线程内设立多个语音建模信号，当监测到相应的数据库表单发生变化时，触发相应的语音建模信号，同时在渲染主线程中，将这些语音建模信号绑定相应的槽函数，使页面做出相应响应。

本实施例中，图像方通过Qt的多线程和信号槽机制，除设立Qt渲染主线程外，还使用QThread为监听数据库日志单独开一线程，并且在该线程内设立建立节点、修改节点、查看节点荷载表等多个语音建模信号，当监测到相应的数据库表单发生变化时，会触发相应的信号。同时，在渲染主线程中，会将这些信号绑定相应的槽函数，使页面做出相应响应。例如，当数据库的节点表新增一个节点号时，会触发新建节点一的信号，然后页面会弹出输入节点信息的弹窗，并将节点号填入其中，接下来语音按照弹窗提示，继续输入X、Y、Z等坐标信息，建立完成后，会把本信息存入vtk模型信息中，并在页面中对该节点进行实时渲染。其它模型建立模块操作同上，通过建立节点、节点约束、节点荷载、材料、截面、单元、单元分布荷载、单元集中荷载等，就可以在vtk上对模型信息和分析结果进行显示。除了输入建立模型有关的信息外，语音还可以调用左侧一栏的功能键，如，通过“查看节点约束表”，在数据库中记录要查看的模型信息表，图像方通过监听日志，实时获取要查看的信息表，触发该功能键的点击信号，并在页面右侧显示该信息表。

2)通过监听数据库日志，在数据库的leap_gesture表发生变化时，获取手势对图像相机操作的数据，并触发相应的leap_gesture信号。

本实施例中，leap_gesture表为预先为手势定义leap_gesture信号的表单，图像方通过监听leap_gesture表，获取手势对图像相机操作的azimuth，elevation，zoom数据，并触发相应的leap_gesture信号；通过实时操作vtk的camera的Azimuth，Elevation，Zoom函数，将手势信息对应到vtk图像上，进而实现旋转、缩放等对模型的查看操作。

本实施例的对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理，具体包括：

1)将语音数据中的语音建模信息转化为节点信息、结构构件信息、边界条件信息和荷载信息四个矩阵；

其中，节点矩阵包括节点号和节点坐标，结构构件矩阵包括构件类型号、构件号、构件端点节点号和构件材料号，边界条件矩阵包括节点号、自由度号及其强制位移值，所述节点荷载矩阵包括节点号、自由度号和力的大小；

2)将节点信息、结构构件信息、边界条件信息和荷载信息导入有限元程序进行分析，将得到的数值结果转换为第一vtk可读信息，所述vtk可读信息包括节点位移信息、单元内力信息、单元应力与应变信息和结构振型信息。

3)将手势数据中的模型变化参数转换为第二vtk可读信息。

4)将第一vtk可读信息和第二vtk可读信息导出至vtk程序进行数字图像化处理，以对语音建模信息、计算结果和模型变化参数进行可视化。

S104、对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

本实施例使用Qt和vtk进行图形界面渲染对数字图像化处理后的分析结果进行图形界面渲染；具体地，使用Qt进行图形交互界面实现，除了设置vtk部分进行模型的可视化，Qt界面其它部分还设置了功能栏、语音交互模块、模型处理功能弹窗、信息动态显示区，让用户除对自己要建的模型本身有直观的感知外，对于自己如何操作、操作效果等都有直观的提示，其中包括文本、图标、表格等方式使信息呈现更加多元化，为用户提供更加自然的交互体验。

本实施例的多模态交互结构力学分析方法可以获得如下技术效果：

(1)使用语音和手势的多模态交互方法，可以大幅度提高有限元分析的易用性和使用效率，满足用户对更高层次交互方式和提升体验感的需求；

(2)将人工智能技术与传统结构力学分析软件相结合，使语音输入更加高效规范，并且提升了手势识别的准确性和容错率；

(3)基于MySQL云数据库的多模态交互机制有利于高效数据存储，降低各模态开发耦合度，可以实现远程交互；

(4)多模态交互背景下的应用软件具有更为简洁、更具科技感和未来感的界面设计，实时反馈的交互规则更符合用户认知和操作习惯，简化了工业建模软件的操作流程，实现功能的快捷操作。

本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图3所示，本实施例提供了一种多模态交互结构力学分析系统，该系统包括第一获取单元301、第二获取单元302、分析单元303和动态显示单元304，各个单元的具体说明如下：

第一获取单元301，用于获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息。

第二获取单元302，用于根据所述交互操作信息，实时获取相应的音频数据和手势数据。

分析单元303，用于对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理。

动态显示单元304，用于对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，如图4所示，其包括通过系统总线401连接的处理器402、存储器、输入装置403、显示器404和网络接口405，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质406和内存储器407，该非易失性存储介质406存储有操作系统、计算机程序和数据库，该内存储器407为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器402执行存储器存储的计算机程序时，实现上述实施例1的多模态交互结构力学分析方法，如下：

获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

根据所述交互操作信息，实时获取相应的音频数据和手势数据；

对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的多模态交互结构力学分析方法，如下：

获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

根据所述交互操作信息，实时获取相应的音频数据和手势数据；

对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示。

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

综上所述，本发明的语音和手势结合的交互方式更符合用户认知和操作习惯的新型多模态人机交互规则，可以跳过多层级操作步骤直达目标指令，突破性地提供更加自然高效的人机交互体验。该系统拓宽了结构力学分析软件的应用场景，譬如可以在课堂进行沉浸式建模分析教学，让工程师们更快捷地交流结构设计方案，还可以解决在空间站、月球基地、火星基地等微重力环境下在地结构分析中传统硬件使用困难的问题等，具有广阔的市场前景。

以上所述，仅为本发明专利较佳的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种多模态交互结构力学分析方法，其特征在于，所述方法包括：

获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

根据所述交互操作信息，实时获取相应的音频数据和手势数据；

对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示；

所述监听数据库日志，实时获取语音数据和手势数据，具体包括：

设立渲染主线程，以及为监听数据库日志单独开一线程，并在该线程内设立多个语音建模信号，当监测到相应的数据库表单发生变化时，触发相应的语音建模信号，同时在渲染主线程中，将这些语音建模信号绑定相应的槽函数，使页面做出相应响应，所述语音建模信号包括建立节点、修改节点、查看节点荷载表；

通过监听数据库日志，在数据库的leap_gesture表发生变化时，获取手势对图像相机操作的数据，并触发相应的leap_gesture信号，所述leap_gesture表为预先为手势定义leap_gesture信号的表单；

所述对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理，具体包括：

将语音数据中的语音建模信息转化为节点信息、结构构件信息、边界条件信息和荷载信息四个矩阵，其中，所述节点信息包括节点号和节点坐标，所述结构构件信息包括构件类型号、构件号、构件端点节点号和构件材料号，所述边界条件信息包括节点号、自由度号及其强制位移值，所述节点荷载信息包括节点号、自由度号和力的大小；

将节点信息、结构构件信息、边界条件信息和荷载信息导入有限元程序进行分析，将得到的数值结果转换为第一vtk可读信息，所述第一vtk可读信息包括节点位移信息、单元内力信息、单元应力与应变信息和结构振型信息；

将手势数据中的模型变化参数转换为第二vtk可读信息；

将第一vtk可读信息和第二vtk可读信息导出至vtk程序进行数字图像化处理。

2.根据权利要求1所述的多模态交互结构力学分析方法，其特征在于，所述对音频数据和手势数据进行处理，将处理结果上传至云数据库，具体包括：

对音频数据进行识别，得到相应语音文本，从语音文本中提取建模信息，转化成标准格式上传至云数据库；

根据手势数据的变化趋势，判断得到手势识别结果，计算手势对图像的操作数据，转化成标准格式上传至云数据库。

3.根据权利要求2所述的多模态交互结构力学分析方法，其特征在于，所述从语音文本中提取建模信息，具体包括：

完成大写数字到阿拉伯数字的转换，通过预设的一系列关键词，对语音文本表达的操作与数据进行判断、甄别，实现从自然语言中提取出结构化的建模命令。

4.根据权利要求2所述的多模态交互结构力学分析方法，其特征在于，所述根据手势数据的变化趋势，判断得到手势识别结果，计算手势对图像的操作数据，具体包括：

捕捉手部关键节点的空间坐标，计算指尖空间位置、两指指尖距离、手掌掌心在当前帧与之前帧的相对位移，判断手部动作的变化趋势，以实现手势识别，得到手势识别结果，计算手势对图像的操作数据。

5.根据权利要求1-4任一项所述的多模态交互结构力学分析方法，其特征在于，所述语音操作信息为按照语音建模模板输出相应指令的信息，所述手势操作信息为遵循手势交互规则做出相应动作的信息。

6.一种多模态交互结构力学分析系统，其特征在于，所述系统包括：

第一获取单元，用于获取用户的交互操作信息，所述交互操作包括语音操作信息和手势操作信息；

第二获取单元，用于根据所述交互操作信息，实时获取相应的音频数据和手势数据；

分析单元，用于对音频数据和手势数据进行处理，将处理结果上传至云数据库，以使图像方监听数据库日志，实时获取语音数据和手势数据，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理；

动态显示单元，用于对数字图像化处理后的分析结果进行图形界面渲染，实现分析结果的动态显示；

所述分析单元中，监听数据库日志，实时获取语音数据和手势数据，具体包括：设立渲染主线程，以及为监听数据库日志单独开一线程，并在该线程内设立多个语音建模信号，当监测到相应的数据库表单发生变化时，触发相应的语音建模信号，同时在渲染主线程中，将这些语音建模信号绑定相应的槽函数，使页面做出相应响应，所述语音建模信号包括建立节点、修改节点、查看节点荷载表；通过监听数据库日志，在数据库的leap_gesture表发生变化时，获取手势对图像相机操作的数据，并触发相应的leap_gesture信号，所述leap_gesture表为预先为手势定义leap_gesture信号的表单；

所述分析单元中，对语音数据和手势数据进行分析，并对分析结果进行数字图像化处理，具体包括：将语音数据中的语音建模信息转化为节点信息、结构构件信息、边界条件信息和荷载信息四个矩阵，其中，所述节点信息包括节点号和节点坐标，所述结构构件信息包括构件类型号、构件号、构件端点节点号和构件材料号，所述边界条件信息包括节点号、自由度号及其强制位移值，所述节点荷载信息包括节点号、自由度号和力的大小；将节点信息、结构构件信息、边界条件信息和荷载信息导入有限元程序进行分析，将得到的数值结果转换为第一vtk可读信息，所述第一vtk可读信息包括节点位移信息、单元内力信息、单元应力与应变信息和结构振型信息；将手势数据中的模型变化参数转换为第二vtk可读信息；将第一vtk可读信息和第二vtk可读信息导出至vtk程序进行数字图像化处理。

7.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的多模态交互结构力学分析方法。

8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的多模态交互结构力学分析方法。