CN114548237A - 一种人机交互的多模态数据融合方法、装置及设备 - Google Patents

一种人机交互的多模态数据融合方法、装置及设备 Download PDF

Info

Publication number
CN114548237A
CN114548237A CN202210105552.3A CN202210105552A CN114548237A CN 114548237 A CN114548237 A CN 114548237A CN 202210105552 A CN202210105552 A CN 202210105552A CN 114548237 A CN114548237 A CN 114548237A
Authority
CN
China
Prior art keywords
human
data
interaction
machine
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210105552.3A
Other languages
English (en)
Inventor
杜翠凤
杜广龙
滕少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangdong University of Technology
GCI Science and Technology Co Ltd
Original Assignee
South China University of Technology SCUT
Guangdong University of Technology
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangdong University of Technology, GCI Science and Technology Co Ltd filed Critical South China University of Technology SCUT
Priority to CN202210105552.3A priority Critical patent/CN114548237A/zh
Publication of CN114548237A publication Critical patent/CN114548237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种人机交互的多模态数据融合方法，该方法包括：获取智能生产线的人机物要素信息和多种输入模态数据；基于人机物要素信息，从交互层次、空间跨度和业务类型三个维度构建建模表征空间；基于人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建建模基准；定义各类要素的交互规则，构建人机交互行为抽象模型；根据人、机、物各类要素的时间特性构建决策信息系统；通过人机交互行为抽象模型提取多种输入模态数据的数据特征；通过决策信息系统生成多种输入模态数据对应的决策；通过混合融合的方法将传感数据、数据特征和决策进行融合。本发明能够对人机交互的多层次交互进行抽象和结构化描述，以实现多模态数据的有效融合。

Description

一种人机交互的多模态数据融合方法、装置及设备
技术领域
本发明涉及智能制造技术领域，尤其涉及一种人机交互的多模态数据融合方法、装置及设备。
背景技术
随着人工智能技术迅猛发展，传统制造正逐渐向智能制造转型。传统的“刺激—反应”的人机关系模式正在被改变，人机交互的时代正在向“人-机-物”融合的时代发展，因此必须整体考虑人机物融合泛在计算环境。多模态融合是人机物智能协同的重要手段，多模态数据融合，主要是指利用计算机进行多模态数据的综合处理，负责融合各个模态的信息来执行目标预测。如：Xiao等人在“Multimodal end-to-end autonomous driving”中把驾驶任务划分为感知、机动规划和控制等子任务结合RGB图像和深度模式，防止司机分心；Dennis等人在“Comparison of Multimodal Heading and Pointing Gestures for Co-Located Mixed Reality Human-Robot Interaction”中研发一套基于混合现实人机交互系统，应用该系统在操作机器人手臂时叠加额外的虚拟信息，以提高安全性、可接受性和可预测性。从传统的“刺激—反应”的人机关系模式向“人-机-物”融合的人机关系探索，国内外的科研工作者在应用于泛在计算环境的人机交互方法做了大量的研究工作。但是，现有的人机交互局限于单一层次交互难以对智能生产线多层次交互进行抽象和结构化描述，人机交互数据模态关联性耦合度不足。
发明内容
本发明实施例提供一种人机交互的多模态数据融合方法、装置及设备，能够对人机交互的多层次交互进行抽象和结构化描述，提高人机交互数据模态关联性的耦合度，以实现智能生产线多模态数据的有效融合。
本发明实施例提供了一种人机交互的多模态数据融合方法，包括：
获取智能生产线的人机物要素信息和多种输入模态数据；
基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
作为上述方案的改进，所述基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间，具体为：
基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。
作为上述方案的改进，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；
所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；
所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。
作为上述方案的改进，所述基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型，包括：
基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；
根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。
作为上述方案的改进，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。
作为上述方案的改进，所述决策信息系统S表示为：
S＝(U,C∪D,V,f)；
其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的集合，f为属性依赖度函数。
作为上述方案的改进，所述决策信息系统的多粒度空间GS表示为：
GS＝(GL1,GL2,…,GLn)；
其中，GLi＝(U,Ai∪D,Vi,fi)为多粒度空间GS在第i层的粒度结构，U为非空有限论域，Ai为各类要素在第i层的条件属性集，D为各类要素的决策属性集，Vi为各类要素在第i层属性值的集合，fi为第i层属性之间的属性依赖度函数。
作为上述方案的改进，所述根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统，包括：
根据所述人、机、物各类要素的时间特性，构造不同粒度的交互行为结构化描述方法，得到初始决策信息系统；
通过卡方检验剔除所述初始决策信息系统的条件属性集中的冗余属性；
通过信息增益衡量所述初始决策信息系统的条件属性集中每一条件属性的划分能力，以对所述初始决策信息系统的非空有限论域进行划分；
通过惩罚规则调整所述初始决策信息系统的多粒度空间的决策阈值，以提高所述初始决策信息系统的决策精度，得到决策信息系统。
相应地，本发明另一实施例提供一种人机交互的多模态数据融合装置，包括：
数据获取模块，用于获取智能生产线的人机物要素信息和多种输入模态数据；
表征空间构建模块，用于基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
建模基准构建模块，用于基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
交互模型构建模块，用于基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
决策系统构建模块，用于根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
特征提取模块，用于通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
决策生成模块，用于通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
数据融合模块，用于通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
本发明另一实施例提供一种人机交互的多模态数据融合设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的人机交互的多模态数据融合方法。
与现有技术相比，本发明实施例公开的人机交互的多模态数据融合方法、装置及设备，首先，通过获取智能生产线的人机物要素信息和多种输入模态数据；基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；其次，根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统，从而能够对人机交互的多层次交互进行抽象和结构化描述，提高人机交互数据模态关联性的耦合度；最后，通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；通过所述决策信息系统，生成所述多种输入模态数据对应的决策；通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合，以实现多种输入模态数据的有效融合。
附图说明
图1是本发明实施例提供的一种人机交互的多模态数据融合方法的流程示意图；
图2是本发明实施例提供的一种面向泛在计算的多模态融合人机交互方法的技术路线图；
图3是本发明实施例提供的一种人、机、物各类要素的建模表征空间技术路线图；
图4是本发明实施例提供的一种不同粒度的交互行为结构化描述方法的流程图；
图5是本发明实施例提供的一种基于知识图谱信息融合的多模态感知与理解架构图；
图6是本发明实施例提供的一种人机交互的多模态数据融合装置的结构框图；
图7是本发明实施例提供的一种人机交互的多模态数据融合设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明一实施例提供的一种人机交互的多模态数据融合方法的流程示意图。
本发明实施例提供的人机交互的多模态数据融合方法，包括步骤：
S11、获取智能生产线的人机物要素信息和多种输入模态数据；
S12、基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
S13、基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
S14、基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
S15、根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
S16、通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
S17、通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
S18、通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
可选地，在步骤S11中，所述多种输入模态数据包括：基于事件的输入模态数据和基于数据流的输入模态数据。
进一步地，所述基于事件的输入模态数据包括以下中的至少一种：键盘输入数据、鼠标点击数据、基于手势的输入数据、基于触觉的输入数据。
优选地，所述基于数据流的输入模态数据包括以下中的至少一种：语音式输入数据、视频式输入数据、虚拟现实输入数据、增强现实输入数据。
需要说明，所述多种输入模态数据除基于事件的输入模态数据和基于数据流的输入模态数据这两种模态数据以外，还可以包含其他模态的输入数据。不仅如此，基于事件的输入模态数据和基于数据流的输入模态数据除上述提到的输入数据以外，还可以包含其他模态的输入数据，在此不做具体限定。
需要说明，泛在计算是一种嵌入了多种感知的计算设备，能够根据情景来识别人的身体姿态、生理状态、手势、语言等，进而判断人的意图，并作出相应反应的具有适应性的数字环境。泛在计算强调计算机将融于网络、融于环境、融于生活。人、机、物融合泛在计算环境拓展了人机交互空间和交互模式，人机物三者的深度融合将会使人的智慧与机器的智能相互启发性地增长，使人工智能成为人类智能的自然延伸和拓展，从而更加高效地解决复杂的制造问题，具有深刻的科学意义和巨大的产业化前景。本发明的目的是利用人工智能与多模态感知技术让信息物理系统可以主动感知人类的交互意图，实现泛在计算环境下人机交互具有多层次、多粒度、多模态的特性。
参见图2，图2是本发明实施例提供的一种面向泛在计算的多模态融合人机交互方法的技术路线图。智能生产线涵盖信息管理系统、传感与执行单元、制造单元、工位和生产线等不同层级的空间尺度，针对这种高度异构的空间复杂度信息物理融合系统，设计一种人机交互行为抽象模型，一方面，在与信息系统进行交互式可将人体行为抽象为决策意图，优化资源调度；另一方面，在与物理系统进行交互时可将人体行为抽象为经验性控制命令，完善工艺规划。可以理解，面向信息物理融合的智能生产线，其物理空间的生产运行过程与信息空间的优化决策过程深度融合。一方面，要求物理空间与信息空间“人、机、物”等各类组成要素，能够进行动态组合和交互，使得智能生产线具备足够的灵活性；另一方面，要求物理空间与信息空间双向映射，即物理状态的变化要在信息空间精确反映，同时，信息空间的决策结果要能够实时反馈到物理过程中，保证智能生产线高效率运行。然而，智能生产线具有交互层次多、空间跨度大等特点，使得智能生产线各类要素难以量化表征，信息物理交互行为难以精准预测，因此，需要建立智能生产线参考架构，规范各类要素表征方式及关联关系，为生产线提供设计依据；提供信息物理融合的自主交互规则，为生产优化运行提供指导。
需要说明的是，人、机、物既可以表示物理空间中的人、机器、物料，又可以表示整个智慧制造系统(智能生产线)的社会系统、信息系统、物理系统，需要根据其具体场景来确定其含义，例如：“机”在物理空间是指机器，如机床、机器人等，在整个系统空间又指信息系统；“物”在物理空间是指物料或机器，在整个系统中又指物理系统；而“人”实际上可以同时位于智能制造空间的装备执行层(物理层)、制造执行层和决策层，即位于智能生产线中对应的物理空间、信息空间和社会空间。在本发明中，“人、机、物”是指一个过程，人操作机器作用于物的过程，而在这个过程中，融合多个层次，即对物理空间和数学空间的数据进行特征提取，而这个将多种空间的数据进行特征提取的模型就是人机交互行为抽象模型。
参见图3，图3是本发明实施例提供的一种人、机、物各类要素的建模表征空间技术路线图。
具体地，所述步骤S12，具体为：
基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。
优选地，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；
所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；
所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。
可以理解，构建智能生产线“人、机、物”要素的建模表征空间，为制定参考架构奠定基础。定义空间的表征维度和各类要素的分类原则，明确各类表征要素在建模空间中的坐标位置，建立各类要素间的时间、空间和逻辑结构关系，用于支撑各类要素组合。参见图3，“人、机、物”要素建模表征空间从交互层次、空间跨度和业务类型三个维度建立，交互层次从信息空间维度刻画智能生产线，包括物理感知控制、信息通信计算、服务与决策；空间跨度从物理制造资源维度刻画智能生产线，包括产品、传感与执行单元、制造单元、工位、产线；业务类型表征了智能生产线的全生命周期业务，包括订单分析、工艺规划、资源配置、装备控制、状态感知等，从而使得各类要素的时间先后关系、空间相对位置和逻辑关联关系等得以明确。
需要说明，在步骤S13中，各类要素的建模基准一般是根据智能生产线或者所执行的任务需要的数据进行选择，在此不做具体限定。
作为其中一个可选的实施例，所述步骤S14，包括：
基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；
根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。
优选地，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。
换言之，所述步骤S14具体为：对“人、机、物”等各类组成要素的物理空间和数学空间多个层次的数据信息进行表征学习特征提取，通过组合低层特征形成更加抽象的高层表示属性特征，以发现数据的分布式特征表示；定义各类要素的交互规则，建立各类要素之间的物质、能量、信息交互行为模型，即人机交互行为抽象模型，以支撑各类要素的动态交互。可以理解，所述人机交互行为抽象模型可以表示为针对智能生产线的信息物理系统的各类要素交互过程中多时间尺度跨越、连续时间与离散时间并存的特点，采用形式化方法研究得到面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型等。需要说明，面向不确定性干扰与驱动的离散事件模型为紧急插单、突发故障等不确定性干扰与异步突发事件等驱动的离散事件模型。此外，通过研究面向不同尺度的异构计算模型的组合方法与形式化验证理论，能够构建各类要素动态交互抽象行为的统一刻画理论体系。
本发明通过人机交互行为抽象模型的构建，能够充分考虑信息物理系统内各组成要素时间和空间尺度的多层次跨越，建立物理信息融合机制的时空精确表达，实现生产功能及性能预测评估，提高了人机交互的自适应性和可拓展性，并有效突破了在智能生产线各环节呈现出多层次、多工序、多时空尺度、事件驱动与时间驱动、数据驱动与模型驱动混合并存的技术难点。
值得说明的是，在步骤S15中，根据所述人、机、物各类构成要素的时间特性构造不同粒度的交互行为结构化描述方法，即定义信息系统与人体行为的统一语义描述方法，以及定义物理系统与人体行为的统一驱动指令集合。通过构造不同粒度的交互行为结构化描述方法，能够有效对不同粒度的交互行为进行结构化描述，实现泛在环境构成要素的统一描述。
具体地，在步骤S15中，所述决策信息系统S表示为：
S＝(U,C∪D,V,f)；
其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的集合，f为属性依赖度函数。
具体地，所述决策信息系统的多粒度空间GS表示为：
GS＝(GL1,GL2,…,GLn)；
其中，GLi＝(U,Ai∪D,Vi,fi)为多粒度空间GS在第i层的粒度结构，U为非空有限论域，Ai为各类要素在第i层的条件属性集，D为各类要素的决策属性集，Vi为各类要素在第i层属性值的集合，fi为第i层属性之间的属性依赖度函数。
示例性地，给定一组条件属性集为A1,A2,A3,…,An，且该组条件属性集满足
Figure BDA0003493384710000111
在这种条件属性集的序贯情形下，所述决策信息系统的多粒度空间记为GS，在第i(i＝1,2,3,…,n)层，多粒度空间GS的粒度结构记为GLi。
参见图4，具体地，所述多粒度空间GS第i层的接受域
Figure BDA0003493384710000112
表示为：
Figure BDA0003493384710000113
所述多粒度空间GS第i层的延迟域
Figure BDA0003493384710000114
表示为：
Figure BDA0003493384710000115
所述多粒度空间GS第i层的延迟域
Figure BDA0003493384710000116
表示为
Figure BDA0003493384710000117
其中，(αi,βi)为第i层给定的决策阈值，αi为第i层给定的第一决策阈值，βi为第i层给定的第二决策阈值，Ui为第i层的非空有限论域，x为第i层的非空有限论域的元素，Xi为第i层的目标概念，
Figure BDA0003493384710000118
Pr为第i层的概率。
进一步地，所述步骤S15，包括：
根据所述人、机、物各类要素的时间特性，构造不同粒度的交互行为结构化描述方法，得到初始决策信息系统；
通过卡方检验剔除所述初始决策信息系统的条件属性集中的冗余属性；
通过信息增益衡量所述初始决策信息系统的条件属性集中每一条件属性的划分能力，以对所述初始决策信息系统的非空有限论域进行划分；
通过惩罚规则调整所述初始决策信息系统的多粒度空间的决策阈值，以提高所述初始决策信息系统的决策精度，得到决策信息系统。
需要说明的是，多粒度空间的构建与属性重要度的选择是紧密相连的，如果充分考虑条件属性内在的关系和条件属性与决策属性之间的关系来进行属性重要度选择，所得到的多粒度空间往往会更优。而且，由于数据集中有些条件属性是冗余甚至是不相关的，冗余属性的存在会增加额外的测试代价，不相关的属性会有损模型的性能，所以需要对条件属性进行相关性分析，从而使模型泛化能力更强。
进一步地，所述卡方检验的公式为：
Figure BDA0003493384710000121
其中，χ为卡方值，A为条件属性的数据实际值，T为条件属性的数据理论值。
值得说明的是，理论上，如果卡方值越大，二者偏差程度越大；反之，二者偏差越小；若两个值完全相等时，卡方值为0，表明数据的理论值与实际值完全符合。因此，通过卡方检验可以更好地剔除条件属性集中的冗余属性，减小测试代价。同时，多粒度空间的构建与条件属性的划分能力是紧密相连的，如果充分考虑条件属性的划分能力来进行论域的划分，所得到的多粒度空间往往会更优。目前，属性重要度选择的方法大多基于熵，熵是用来描述论域中不确定性的一种度量方法；熵越大，则论域的不确定性就越大。因此也可以使用信息增益，即论域集合划分前后熵的差值来衡量使用当前属性对于论域划分效果的好坏。
在决策中，随着属性的增加，等价类被进一步细分，信息粒度逐步变细，对象之间的区分也越明显，边界域中的对象可能会被重新分类，分类精度会进一步的提升。所以，针对错误分类和不确定性分类应该给予更高的代价惩罚，在考虑损失函数随着粒度变化的情况下，利用惩罚函数对其进行相应的修改，通过加大惩罚力度的方式来获取优秀的目标对象。同时，由于惩罚力度会随着惩罚次数的增加而增加，因此惩罚函数必定是一个单调递增函数，通过惩罚规则对代价参数进行修改，进而调整决策阈值，即αi值的增大或βi值的减小，这样可以使等价类得到更准确的分类。不仅如此，由于代价参数的值增大，错分代价和延迟代价也会增高，因此本发明通过引入惩罚规则，利用代价参数值的增大能够进一步提高决策信息系统的决策精度。
作为其中一个可选的实施方式，所述步骤S18，具体为：
通过混合融合的方法分别对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合，获取不同输入模态数据在统一维度空间上的共性，得到融合后的传感数据、融合后的数据特征和融合后的决策，并对所述融合后的传感数据、所述融合后的数据特征和所述融合后的决策进行数据融合。
参见图5，在步骤S18中，采取混合融合的方法，分别进行传感数据融合、提取特征融合和生成决策融合，通过将各种模态行为的信息统一相同层次的表征上，然后获取不同模态数据在同一维度空间上的共性，再进行模型融合，可以克服了多模态数据的前端融合往往无法充分利用多个模态数据间的互补性问题。同时，基于知识图谱信息融合的统一数据架构，能够实现生产过程数据的统一集成，通过建立多模态融合数据集、知识图谱以及垂直搜索引擎，构建异构统一语义数据架构，从而实现智能生产线多源、跨领域数据的统一标识、组织、查询与检索。在本发明中，通过人机交互行为抽象模型和采用不同粒度的交互行为结构化描述方法的决策信息系统，充分考虑了不同的输入模态在数据格式、输入频率等方面的不同特点，从而实现对多种输入模态数据的有效融合。
参见图6，是本发明实施例提供的一种人机交互的多模态数据融合装置的结构框图。
本发明实施例提供的人机交互的多模态数据融合装置，包括：
数据获取模块21，用于获取智能生产线的人机物要素信息和多种输入模态数据；
表征空间构建模块22，用于基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
建模基准构建模块23，用于基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
交互模型构建模块24，用于基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
决策系统构建模块25，用于根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
特征提取模块26，用于通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
决策生成模块27，用于通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
数据融合模块28，用于通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
作为上述方案的改进，所述表征空间构建模块22，具体用于：
基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。
优选地，在所述表征空间构建模块22中，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；
所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；
所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。
作为其中一个可选的实施方式，所述交互模型构建模块24，具体用于：
基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；
根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。
作为其中一个可选的实施方式，在所述交互模型构建模块24中，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。
具体地，通过所述决策系统构建模块25得到的所述决策信息系统S表示为：
S＝(U,C∪D,V,f)；
其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的集合，f为属性依赖度函数。
具体地，在所述决策系统构建模块25中，所述决策信息系统的多粒度空间GS表示为：
GS＝(GL1,GL2,…,GLn)；
其中，GLi＝(U,Ai∪D,Vi,fi)为多粒度空间GS在第i层的粒度结构，U为非空有限论域，Ai为各类要素在第i层的条件属性集，D为各类要素的决策属性集，Vi为各类要素在第i层属性值的集合，fi为第i层属性之间的属性依赖度函数。
进一步地，所述决策系统构建模块25，包括：
初始决策模型构建单元，用于根据所述人、机、物各类要素的时间特性，构造不同粒度的交互行为结构化描述方法，得到初始决策信息系统；
冗余属性剔除单元，用于通过卡方检验剔除所述初始决策信息系统的条件属性集中的冗余属性；
论域划分单元，用于通过信息增益衡量所述初始决策信息系统的条件属性集中每一条件属性的划分能力，以对所述初始决策信息系统的非空有限论域进行划分；
决策阈值调整单元，用于通过惩罚规则调整所述初始决策信息系统的多粒度空间的决策阈值，以提高所述初始决策信息系统的决策精度，得到决策信息系统。
需要说明的是，本实施例的人机交互的多模态数据融合装置的各实施例的相关具体描述和有益效果可以参考上述的人机交互的多模态数据融合方法的各实施例的相关具体描述和有益效果，在此不再赘述。
参见图7，是本发明一实施例提供的一种人机交互的多模态数据融合设备的结构示意图。
本发明实施例提供的一种人机交互的多模态数据融合设备，包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现如上述任一实施例所述的人机交互的多模态数据融合方法。
所述处理器10执行所述计算机程序时实现上述人机交互的多模态数据融合方法实施例中的步骤，例如图1所示的人机交互的多模态数据融合方法的所有步骤。或者，所述处理器10执行所述计算机程序时实现上述人机交互的多模态数据融合装置实施例中各模块/单元的功能，例如图6所示的人机交互的多模态数据融合装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述人机交互的多模态数据融合设备中的执行过程。例如，所述计算机程序可以被分割成数据获取模块、表征空间构建模块、建模基准构建模块、交互模型构建模块、决策系统构建模块、特征提取模块、决策生成模块和数据融合模块，各模块具体功能如下：数据获取模块，用于获取智能生产线的人机物要素信息和多种输入模态数据；表征空间构建模块，用于基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；建模基准构建模块，用于基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；交互模型构建模块，用于基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；决策系统构建模块，用于根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；特征提取模块，用于通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；决策生成模块，用于通过所述决策信息系统，生成所述多种输入模态数据对应的决策；数据融合模块，用于通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
所述人机交互的多模态数据融合设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人机交互的多模态数据融合设备可包括，但不仅限于，处理器10、存储器20。本领域技术人员可以理解，所述示意图仅仅是人机交互的多模态数据融合设备的示例，并不构成对人机交互的多模态数据融合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人机交互的多模态数据融合设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器10是所述人机交互的多模态数据融合设备的控制中心，利用各种接口和线路连接整个人机交互的多模态数据融合设备的各个部分。
所述存储器20可用于存储所述计算机程序和/或模块，所述处理器10通过运行或执行存储在所述存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述人机交互的多模态数据融合设备的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据人机交互的多模态数据融合设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人机交互的多模态数据融合设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
综上，本发明实施例所提供的一种人机交互的多模态数据融合方法、装置及设备，首先，通过获取智能生产线的人机物要素信息和多种输入模态数据；基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；其次，根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统，从而能够对人机交互的多层次交互进行抽象和结构化描述，提高人机交互数据模态关联性的耦合度；最后，通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；通过所述决策信息系统，生成所述多种输入模态数据对应的决策；通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合，以实现多种输入模态数据的有效融合。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人机交互的多模态数据融合方法，其特征在于，包括：
获取智能生产线的人机物要素信息和多种输入模态数据；
基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
2.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间，具体为：
基于所述人机物要素信息，从智能生产线的信息空间维度刻画建模表征空间的交互层次，从所述智能生产线的物理制造资源维度刻画所述建模表征空间的空间跨度，从所述智能生产线的全生命周期业务刻画所述建模表征空间的业务类型，以构建人、机、物各类要素的建模表征空间。
3.如权利要求2所述的人机交互的多模态数据融合方法，其特征在于，所述交互层次包括：物理感知控制、信息通信计算、服务与决策；
所述空间跨度包括：产品、传感与执行单元、制造单元、工位、产线；
所述业务类型包括：订单分析、工艺规划、资源配置、装备控制和状态感知。
4.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型，包括：
基于所述建模基准对所述建模表征空间的多个层次的数据信息进行表征学习特征提取，得到所述数据信息的分布式特征表示；
根据所述数据信息的分布式特征表示，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型。
5.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述人机交互行为抽象模型包括：面向不同时间尺度和不同行为模式的计算模型、涵盖智能生产线动态并发计算过程的时间多任务模型、面向不确定性干扰与驱动的离散事件模型、面向加工过程中物理演化过程的连续时间模型。
6.如权利要求1所述的人机交互的多模态数据融合方法，其特征在于，所述决策信息系统S表示为：
S＝(U,C∪D,V,f)；
其中，U为非空有限论域，C为各类要素的条件属性集，D为各类要素的决策属性集，C∩D＝φ，V为各类要素属性值的集合，f为属性依赖度函数。
7.如权利要求6所述的人机交互的多模态数据融合方法，其特征在于，所述决策信息系统的多粒度空间GS表示为：
GS＝(GL1,GL2,…,GLn)；
其中，GLi＝(U,Ai∪D,Vi,fi)为多粒度空间GS在第i层的粒度结构，U为非空有限论域，Ai为各类要素在第i层的条件属性集，D为各类要素的决策属性集，Vi为各类要素在第i层属性值的集合，fi为第i层属性之间的属性依赖度函数。
8.如权利要求7所述的人机交互的多模态数据融合方法，其特征在于，所述根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统，包括：
根据所述人、机、物各类要素的时间特性，构造不同粒度的交互行为结构化描述方法，得到初始决策信息系统；
通过卡方检验剔除所述初始决策信息系统的条件属性集中的冗余属性；
通过信息增益衡量所述初始决策信息系统的条件属性集中每一条件属性的划分能力，以对所述初始决策信息系统的非空有限论域进行划分；
通过惩罚规则调整所述初始决策信息系统的多粒度空间的决策阈值，以提高所述初始决策信息系统的决策精度，得到决策信息系统。
9.一种人机交互的多模态数据融合装置，其特征在于，包括：
数据获取模块，用于获取智能生产线的人机物要素信息和多种输入模态数据；
表征空间构建模块，用于基于所述人机物要素信息，从交互层次、空间跨度和业务类型三个维度，构建人、机、物各类要素的建模表征空间；
建模基准构建模块，用于基于所述人、机、物各类要素的时空逻辑关系和各类要素的组合关系，构建人、机、物各类要素的建模基准；
交互模型构建模块，用于基于所述建模表征空间和所述建模基准，定义各类要素的交互规则，构建支撑所述人、机、物各类要素之间动态交互的人机交互行为抽象模型；
决策系统构建模块，用于根据所述人、机、物各类要素的时间特性构造不同粒度的交互行为结构化描述方法，得到决策信息系统；
特征提取模块，用于通过所述人机交互行为抽象模型，提取所述多种输入模态数据的数据特征；
决策生成模块，用于通过所述决策信息系统，生成所述多种输入模态数据对应的决策；
数据融合模块，用于通过混合融合的方法对所述智能生产线的传感数据、所述人机交互行为抽象模型提取的数据特征和所述决策信息系统生成的决策进行数据融合。
10.一种人机交互的多模态数据融合设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的人机交互的多模态数据融合方法。
CN202210105552.3A 2022-01-28 2022-01-28 一种人机交互的多模态数据融合方法、装置及设备 Pending CN114548237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210105552.3A CN114548237A (zh) 2022-01-28 2022-01-28 一种人机交互的多模态数据融合方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210105552.3A CN114548237A (zh) 2022-01-28 2022-01-28 一种人机交互的多模态数据融合方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114548237A true CN114548237A (zh) 2022-05-27

Family

ID=81672787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210105552.3A Pending CN114548237A (zh) 2022-01-28 2022-01-28 一种人机交互的多模态数据融合方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114548237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863572A (zh) * 2022-07-07 2022-08-05 四川大学 一种多通道异构传感器的肌电手势识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863572A (zh) * 2022-07-07 2022-08-05 四川大学 一种多通道异构传感器的肌电手势识别方法

Similar Documents

Publication Publication Date Title
CN113449857B (zh) 一种数据处理方法和数据处理设备
JP2020507157A (ja) システムの自動化および制御に対するコグニティブエンジニアリング技術のためのシステムおよび方法
Kim et al. Machine learning and manycore systems design: A serendipitous symbiosis
EP4290824A1 (en) Task allocation method and apparatus based on internet-of-things device, and network training method and apparatus
CN109919077A (zh) 姿态识别方法、装置、介质和计算设备
CN105745618A (zh) 在无超高多项式成本的情况下求解np完全问题
Freitas et al. Applying ontologies to the development and execution of multi-agent systems
CN111966361A (zh) 用于确定待部署模型的方法、装置、设备及其存储介质
Herrmann The arcanum of artificial intelligence in enterprise applications: Toward a unified framework
CN112394982B (zh) 生成语音识别系统的方法、装置、介质及电子设备
CN114548237A (zh) 一种人机交互的多模态数据融合方法、装置及设备
Plappert et al. Multi-agent systems in mechanical engineering: a review
CN111667060B (zh) 深度学习算法的编译方法、装置及相关产品
Nam et al. On the computational complexity of behavioral description-based web service composition
Wu et al. Computer Architecture and Chip Design for DIKWP Artificial Consciousness
Stojanovski et al. Rethinking Computer-Aided Architectural Design (CAAD)–From Generative Algorithms and Architectural Intelligence to Environmental Design and Ambient Intelligence
US9032405B2 (en) Systems and method for assigning executable functions to available processors in a multiprocessing environment
Kimour et al. Deriving objects from use cases in real-time embedded systems
Hulme The design of a simulation-based framework for the development of solution approaches in multidisciplinary design optimization
Karataiev et al. Formal model of multi-agent architecture of a software system based on knowledge interpretation
CN113486183B (zh) 基于支持向量机的文本分类方法、装置、电子设备及介质
Sommer et al. Automatic synthesis of fpga-based accelerators for the sum-product network inference problem
Li et al. Selection of sources as a prerequesite for information fusion with application to slam
Fávero et al. Analogy-based effort estimation: A systematic mapping of literature
Cabitza et al. Back to the Future of EUD: The Logic of Bricolage for the Paving of EUD Roadmaps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination