CN115329578A - 基于多模态融合的三维建模系统及建模方法 - Google Patents

基于多模态融合的三维建模系统及建模方法 Download PDF

Info

Publication number
CN115329578A
CN115329578A CN202210996062.7A CN202210996062A CN115329578A CN 115329578 A CN115329578 A CN 115329578A CN 202210996062 A CN202210996062 A CN 202210996062A CN 115329578 A CN115329578 A CN 115329578A
Authority
CN
China
Prior art keywords
modeling
data
sensor
model
instruction set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210996062.7A
Other languages
English (en)
Inventor
杨海根
耿竞赛
祝林群
陈延庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210996062.7A priority Critical patent/CN115329578A/zh
Publication of CN115329578A publication Critical patent/CN115329578A/zh
Priority to PCT/CN2023/086093 priority patent/WO2024036982A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Analysis (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多模态融合的三维建模系统及建模方法，方法为：分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据，对反馈数据进行多模态融合，获得多模态融合的模型数据，将模型数据与数据库指令进行匹配，获得指令集并进行解析，获得出相关建模参数并进行识别，获取建模方法，根据建模方法进行自动建模，获得可视化实体模型；通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，提高建模效率和减少操作人员操控精力的浪费，进而提升操作者建模体验。

Description

基于多模态融合的三维建模系统及建模方法
技术领域
本发明属于三维建模技术领域，具体涉及一种基于多模态融合的三维建模系统及建模方法。
背景技术
传统几何建模方法依靠操作者采用鼠标、键盘与可视化的建模界面进行交互，并在面临复杂模型建模时需要操作者进行编辑或查找复杂的建模命令，进行这种方式延长了建模的时间，其次在建模占据操作系统内存较大的情况下，极易造成建模系统的卡顿或以及其它系统不稳定的情况，长期以往使得建模操作过程繁琐、枯燥，因此无法给予建模操作者较好的建模体验。
发明内容
发明目的：为了克服现有技术中的不足，本发明提供一种基于多模态融合的三维建模系统及建模方法，通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和减少操作人员操控精力的浪费，进而提升操作者建模体验。
技术方案：第一方面本发明提供一种基于多模态融合的三维建模方法，包括：
分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；
对反馈数据进行多模态融合，获得多模态融合的模型数据；
将模型数据与数据库指令进行匹配，获得指令集；
对指令集的属性进行解析，获得出相关建模参数；
对相关建模参数进行识别，获取建模方法；
基于建模方法进行自动建模，获得可视化实体模型；
其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
在进一步的实施例中，分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器反馈数据的方法包括：
将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；
通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。
在进一步的实施例中，对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：
将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。
在进一步的实施例中，将模型数据与数据库指令进行匹配，获得指令集的方法包括：
模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。
在进一步的实施例中，所述相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。
在进一步的实施例中，对指令集的属性进行解析，获得出相关建模参数的方法为：
将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。
在进一步的实施例中，所述建模方法包括：
基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；
所述基本体建模包括：长方体、球体、圆柱体、圆锥体、楔形体和圆环体、几何球体、茶壶、四棱锥、管状体以及若干不规则形体的几何体建模命令；
所述扩展体建模包括：对基本体建模中的几何体建模命令参数的扩展；
所述布尔运算建模为对扩展体建模和基本体建模的基础上通过各实体元素间的布尔运算来构造更为复杂的三维实体模型；
所述拉伸建模为二维图形基面，构造三维实体模型；
所述旋转建模为选择任一基线旋转生成三维实体模型；
所述复杂建模为导入数学函数进行三维实体模型的曲面构建。
第二方面，本发明提供一种基于多模态融合的三维建模系统，包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；
所述体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；
所述通信模块用于将模型数据上传；
所述数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；
所述模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。
在进一步的实施例中，所述通信模块包括发送端和接收端，所述发送端和接收端建立通讯关系后，以报文格式进行通信。
第三方面，本发明提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
有益效果：本发明与现有技术相比具有以下优点：
通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和节省操作人员操控次数；
采用体感设备进行人机交互弥补传统建模时人机交互方式的不足，选择操作者的身体变化信号作为编辑命令的输入目标对象，从而进行根据体感的人机交互，将体感的变化的全部信息都能在计算机建模系统中得到呈现，在建模时提供更为人性化的人机交互方式，给操作者带来沉浸式的建模体验。
附图说明
图1是本发明多模态融合三维CAD建模系统的系统框架示意图；
图2是本发明多模态融合三维CAD建模方法的流程图；
图3是本发明三维CAD建模系统的主界面。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
实施例1：
结合图1进一步说明本实施例中的基于多模态融合的三维建模系统，建模系统包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；
体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；
通信模块用于将模型数据上传；
数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；
模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。
通信模块包括发送端和接收端，发送端和接收端建立通讯关系后，以报文格式进行通信：以UDP通信为例：
以报文格式进行通信方法为：用户使用服务器命令格式登录，用户登陆成功，服务器返回指令，用户向服务器发送控制和数据信息格式，包括源地址和目的地址。 发送端、接收端流程包括：初始化套接字、绑定IP地址和端口号、调用发送数据函数、接收端通过检测信号触发接受槽函数完成数据通信。
实施例2：
结合图2至图3所示进一步说明本实施例中的基于多模态融合的三维建模方法，包括如下工作步骤：
分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；
对反馈数据进行多模态融合，获得多模态融合的模型数据；
将模型数据与数据库指令进行匹配，获得指令集；
对指令集的属性进行解析，获得出相关建模参数；
对相关建模参数进行识别，获取建模方法；
基于建模方法进行自动建模，获得可视化实体模型；
其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据的方法包括：
将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；
通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。
对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：
将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。
将模型数据与数据库指令进行匹配，获得指令集的方法包括：
模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。
相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。
对指令集的属性进行解析，获得出相关建模参数的方法为：
将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。
建模方法包括：基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；
其中建模方法的具体如下：基本体建模在本系统中，给绘制者提供一定的简单三维体的命令和方法。提供了长方体、球体、圆柱体、圆锥体、楔形体和圆环体等命令。除此之外还提供了几何球体、茶壶、四棱锥、管状体等命令。
扩展体建模如基本体建模相同，制作者可以直接利用软件中提供的各种参数化扩展几何体建模方法。绘制倒角立方体；倒角圆柱体；油桶；倒角棱柱；纺锤体等三维模型。
布尔运算这种方法基于实体模型可以用体素构造法表达的思想，通过各实体元素间的布尔运算来构造更为复杂的三维实体模型。
拉伸建模这种方法与旋转建模和放样建模的思想是一致的，但不再是基于以上实体模型的表示方法。而是从二维图形出发，从而构造三维实体模型。拉伸建模的思想原理是通过为二维截面增加厚度，从而生成三维模型。
旋转建模的基本原理是选一条曲线作为母线，绕确定轴旋转而形成一个三维模型。凡是具有旋转对称轴的三维物体，都可以用旋转方法生成。如酒杯、车轮、轴等。
复杂建模是创建复杂的造型，特别是一些不规则造型方法。例如构成汽车车体和电话机等的曲面用数学解析式来表达很困难。一般称这种曲面为自由曲面。将曲面分割成曲面元，用曲面元进行连接的方法。一般地，表示曲面元的方法分为内插法和近似法两种。内插法用简单的多项式来表示曲面元，多项式的系数由分割点的连续条件来确定。例：双三次曲面元。近似法在分割点之外指定若干个控制点，用由这些点确定的函数来表示曲面元。例：贝塞尔曲面元。
实施例3：
本实施例进一步说明一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；
对反馈数据进行多模态融合，获得多模态融合的模型数据；
将模型数据与数据库指令进行匹配，获得指令集；
对指令集的属性进行解析，获得出相关建模参数；
对相关建模参数进行识别，获取建模方法；
基于建模方法进行自动建模，获得可视化实体模型；
其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
实施例4：
本实施例在CAD建模软件中的构建实体模型的操作流程：
启动通信终端和CAD建模软件，在通信终端启动之后，再启动CAD建模软件，通信终端其实页面右边会出现CAD建模软件对象，届时将收到的多源传感器的信号解析成CAD建模软件的指令，再选择建模软件对象发送即可：
通信终端接收到多源传感器的信号输出，并解析信号，转化成相应的建模操作指令，以打孔为例，首先脑电波传感器释放信号建立一个某个特定的立方体，在通信终端接收到如下命令，将指令发送给CAD建模软件，届时CAD建模软件界面生成一个立方体。
接着脑电波传感器释放信号建立一个某个特定的圆柱体，在通信终端接收到如下命令，将指令发送给CAD建模软件，届时CAD建模软件界面生成一个圆柱体。
最后肌电传感器释放信号进行打孔，在通信终端接收到如下命令，将指令发送给CAD建模软件，届时CAD建模软件界面生成打好孔的立方体。
拉伸操作中肌电传感器释放信号进行拉伸，在通信终端接收到命令，将指令发送给CAD建模软件，届时CAD建模软件界面生成打好孔的立方体。
综上所述，通过本发明的方法将多元体感人机交互与传统几何建模相结合，无需操控键盘、鼠标等交互设备进行复杂的建模命令输入操作，和传动建模方式相比提高建模效率和节省操作人员操控次数；
采用体感设备进行人机交互弥补传统建模时人机交互方式的不足，选择操作者的身体变化信号作为编辑命令的输入目标对象，从而进行根据体感的人机交互，将体感的变化的全部信息都能在计算机建模系统中得到呈现，在建模时提供更为人性化的人机交互方式，给操作者带来沉浸式的建模体验。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于多模态融合的三维建模方法，其特征在于，包括：
分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器的反馈数据；
对反馈数据进行多模态融合，获得多模态融合的模型数据；
将模型数据与数据库指令进行匹配，获得指令集；
对指令集的属性进行解析，获得出相关建模参数；
对相关建模参数进行识别，获取建模方法；
基于建模方法进行自动建模，获得可视化实体模型；
其中，将可视化实体模型的模型数据与指令集进行映射测试，获得指令集与模型数据的对应关系，并将指令集与模型数据的对应关系存储到后端数据库用于后期加载。
2.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，分别采集脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器反馈数据的方法包括：
将脑电传感器、肌电传感器、眼动传感器、手势传感器以及语音传感器分别设置在操作员身体的不同位置；
通过脑电传感器采集操作员大脑命令数据，通过肌电传感器采集操作员面部肌肉变化数据，通过眼动传感器采集操作员眼动变化数据，通过手势传感器采集操作员手势变化数据，通过语音传感器采集操作员发出的语音数据。
3.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，对反馈数据进行多模态融合，获得多模态融合的模型数据的方法包括：
将大脑命令数据、面部肌肉变化数据、眼动变化数据、手势变化数据以及语音数据进行数据融合，获得模型数据。
4.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，将模型数据与数据库指令进行匹配，获得指令集的方法包括：
模型数据根据数据库中不同类别数据与不同指令的对应关系，获得生成不同指令汇总的指令集；其中，大脑命令数据用于生成模型指令，面部肌肉变化数据用于生成几何模型指令，眼动变化数据用于生成确定建模位置指令，手势变化数据用于生成旋转、收缩指令，语音数据用于生成撤销或删除指令。
5.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，所述相关建模参数包括：名称、分类、型号、几何特征以及数学表达式。
6.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，对指令集的属性进行解析，获得出相关建模参数的方法为：
将指令集发送到建模系统，获得相关建模参数，其中，建模系统根据指令集的属性分析建模物体的数学特性和物理特性。
7.根据权利要求1所述的一种基于多模态融合的三维建模方法，其特征在于，所述建模方法包括：基本体建模、扩展体建模、布尔运算建模、拉伸建模、旋转建模、复杂建模；
所述基本体建模包括：长方体、球体、圆柱体、圆锥体、楔形体和圆环体、几何球体、茶壶、四棱锥、管状体以及若干不规则形体的几何体建模命令；
所述扩展体建模包括：对基本体建模中的几何体建模命令参数的扩展；
所述布尔运算建模为对扩展体建模和基本体建模的基础上通过各实体元素间的布尔运算来构造更为复杂的三维实体模型；
所述拉伸建模为二维图形基面，构造三维实体模型；
所述旋转建模为选择任一基线旋转生成三维实体模型；
所述复杂建模为导入数学函数进行三维实体模型的曲面构建。
8.一种基于多模态融合的三维建模系统，其特征在于，包括：体感传感器模块、通信模块、模型建立模块以及数据库模块；
所述体感传感器模块用于将采集的多种反馈数据进行多模融合，获得多模融合的模型数据；
所述通信模块用于将模型数据上传；
所述数据库模块用于将模型数据与数据库指令进行匹配，获得指令集；以及存储指令集与模型数据的对应关系；
所述模型建立模块用于对指令集的属性进行解析，获得出相关建模参数，对相关建模参数进行识别，获取建模方法，并基于建模方法进行自动建模，输出可视化实体模型。
9.根据权利要求8所述的一种基于多模态融合的三维建模系统，其特征在于，
所述通信模块包括发送端和接收端，所述发送端和接收端建立通讯关系后以报文格式进行通信。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
CN202210996062.7A 2022-08-19 2022-08-19 基于多模态融合的三维建模系统及建模方法 Pending CN115329578A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210996062.7A CN115329578A (zh) 2022-08-19 2022-08-19 基于多模态融合的三维建模系统及建模方法
PCT/CN2023/086093 WO2024036982A1 (zh) 2022-08-19 2023-04-04 基于多模态融合的三维建模系统及建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210996062.7A CN115329578A (zh) 2022-08-19 2022-08-19 基于多模态融合的三维建模系统及建模方法

Publications (1)

Publication Number Publication Date
CN115329578A true CN115329578A (zh) 2022-11-11

Family

ID=83925602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210996062.7A Pending CN115329578A (zh) 2022-08-19 2022-08-19 基于多模态融合的三维建模系统及建模方法

Country Status (2)

Country Link
CN (1) CN115329578A (zh)
WO (1) WO2024036982A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272877A (zh) * 2023-11-21 2023-12-22 芯和半导体科技（上海）股份有限公司 一种eda模型建模的关联更新方法、系统及介质
WO2024036982A1 (zh) * 2022-08-19 2024-02-22 南京邮电大学 基于多模态融合的三维建模系统及建模方法
CN117831532A (zh) * 2024-03-05 2024-04-05 大方智造(天津)科技有限公司 一种基于ai语音命令的cax系统交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144629A1 (en) * 2011-12-01 2013-06-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN106023308A (zh) * 2016-05-31 2016-10-12 东南大学 一种体感交互快速三维建模辅助系统及其方法
CN109993131A (zh) * 2019-04-04 2019-07-09 北京理工大学 一种基于多模态信号融合的设计意图判别系统及方法
US20210124422A1 (en) * 2017-04-26 2021-04-29 Cognixion Nonverbal Multi-Input and Feedback Devices for User Intended Computer Control and Communication of Text, Graphics and Audio
WO2022110564A1 (zh) * 2020-11-25 2022-06-02 苏州科技大学 智能家居多模态人机自然交互系统及其方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077534A1 (en) * 2000-12-18 2002-06-20 Human Bionics Llc Method and system for initiating activity based on sensed electrophysiological data
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
CN106569607A (zh) * 2016-11-08 2017-04-19 上海交通大学 一种基于肌电及运动传感器的头部动作识别系统
CN107301675A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于脑机接口的三维建模方法
EP3797345A4 (en) * 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
CN115329578A (zh) * 2022-08-19 2022-11-11 南京邮电大学 基于多模态融合的三维建模系统及建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144629A1 (en) * 2011-12-01 2013-06-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN106023308A (zh) * 2016-05-31 2016-10-12 东南大学 一种体感交互快速三维建模辅助系统及其方法
US20210124422A1 (en) * 2017-04-26 2021-04-29 Cognixion Nonverbal Multi-Input and Feedback Devices for User Intended Computer Control and Communication of Text, Graphics and Audio
CN109993131A (zh) * 2019-04-04 2019-07-09 北京理工大学 一种基于多模态信号融合的设计意图判别系统及方法
WO2022110564A1 (zh) * 2020-11-25 2022-06-02 苏州科技大学 智能家居多模态人机自然交互系统及其方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036982A1 (zh) * 2022-08-19 2024-02-22 南京邮电大学 基于多模态融合的三维建模系统及建模方法
CN117272877A (zh) * 2023-11-21 2023-12-22 芯和半导体科技（上海）股份有限公司 一种eda模型建模的关联更新方法、系统及介质
CN117272877B (zh) * 2023-11-21 2024-01-30 芯和半导体科技（上海）股份有限公司 一种eda模型建模的关联更新方法、系统及介质
CN117831532A (zh) * 2024-03-05 2024-04-05 大方智造(天津)科技有限公司 一种基于ai语音命令的cax系统交互方法

Also Published As

Publication number Publication date
WO2024036982A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
CN115329578A (zh) 基于多模态融合的三维建模系统及建模方法
JP7553266B2 (ja) 仮想世界での体験学習
JP2020205032A (ja) 仮想世界での体験学習
CN106200983A (zh) 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的系统
WO2019041900A1 (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
JP2018106714A (ja) レプリカ選択
CN101853157B (zh) 一种应用软件gui对象自动识别方法
CN109710357B (zh) 一种基于Unity3D引擎实现服务器操作的方法及系统
CN115509178B (zh) 数字孪生驱动的刀具磨损监测方法及数控机床设备
US20180314234A1 (en) Systems and methods for receiving sensor data for an operating additive manufacturing machine and mapping the sensor data with process data which controls the operation of the machine
CN109993131B (zh) 一种基于多模态信号融合的设计意图判别系统及方法
CN114756944A (zh) 用于bim模型的轻量化系统、方法、计算机设备及存储介质
CN105500370A (zh) 一种基于体感技术的机器人离线示教编程系统及方法
CN118250288B (zh) 基于场景组件化的AIoT中台数据处理方法、装置及系统
CN112489513A (zh) 一种用于变电行业设备虚拟培训的系统及方法
Steinfeld GAN loci
CN112820408A (zh) 手术操作风险确定方法、相关装置及计算机程序产品
CN116954585A (zh) 一种工业数字孪生三维可视化场景编辑方法、设备及介质
US20220180011A1 (en) Systems and methods for modifying cad files
US20240193822A1 (en) Local attribute image editing using an image generation model and a feature image generation model
CN111651826A (zh) 一种基于建筑信息模型技术的建筑工业化系统
EP4250164A1 (en) Sketch-processing
CN114004908B (zh) 一种简化dwg二维工程图纸实现方法
KR101911483B1 (ko) 조립형 브릭의 곡면 처리를 통해 3차원 모델링을 수행하는 방법 및 이를 사용한 단말
CN107403467A (zh) 一种数据建模系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221111

RJ01 Rejection of invention patent application after publication