CN114880142A - 一种灵活细粒度数据集成处理方法、系统和电子设备 - Google Patents

Abstract

本申请提供了一种灵活细粒度数据集成处理方法、系统和电子设备，包括：每个数据处理单元向消息服务单元发送订阅信息和第一消息信息；消息服务单元接收订阅信息后生成订阅列表，在接收第一消息信息后，根据第一消息信息中的消息主题，将第一消息信息加入目标消息队列；消息服务单元基于处理优先级和订阅列表将目标消息队列中的第一消息信息发送给目标数据处理单元；若数据处理单元接收到第一消息信息，调用对应的处理功能进行处理，并将其封装为包含消息主题的第二消息信息，将第二消息信息作为新的第一消息信息发送给消息服务单元。通过上述方法，能够根据主题订阅关系实现细粒度、异步的数据集成处理，有助于提高数据处理效率。

Description

一种灵活细粒度数据集成处理方法、系统和电子设备

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种灵活细粒度数据集成处理方法、系统和电子设备。

背景技术

计算流体动力学仿真试验系统可以通过模拟仿真试验分析工业设计方案的流体动力学特性，进而改进优化设计方案。计算流体动力学仿真试验系统在汽车、船舶、航空航天等工业设计领域取得了广泛应用。

发明人在研究中发现，现有技术中计算流体动力学仿真试验系统中各子系统集成数据处理一般通过本地过程调用或远程过程调用等方式来实现子系统之间的接口调用与信息交互，数据交互以文件方式实现，难以实现子系统之间灵活的细粒度、异步的数据处理交互流程，数据处理效率低。

发明内容

有鉴于此，本申请实施例提供了一种灵活细粒度数据集成处理方法、系统和电子设备，可以实现计算流体动力学仿真试验系统子系统间灵活的细粒度、异步的数据集成处理流程，以解决数据集成处理效率低的问题。

第一方面，本申请实施例提供了一种灵活细粒度数据集成处理方法，所述方法应用于计算流体动力学仿真试验系统，所述系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，所述方法包括：

针对每个数据处理单元，所述数据处理单元向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；

所述消息服务单元在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；

所述消息服务单元在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；

所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；

针对每个数据处理单元，当所述数据处理单元接收到所述消息服务单元发送的所述第一消息信息时，所述数据处理单元调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

在一个可行的实施方案中，在所述数据处理单元向所述消息服务单元发送目标信息之前，所述方法还包括：

针对每个数据处理单元，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；

基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

在一个可行的实施方案中，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中，包括：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

在一个可行的实施方案中，为所述控制消息队列和所述数据消息队列分别设置不同的处理线程和处理优先级，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元，包括：

判断所述控制消息队列中是否存在所述第一消息信息；

若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；

若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

第二方面，本申请实施例还提供了一种灵活细粒度数据集成处理系统，所述灵活细粒度数据集成处理系统应用于计算流体动力学仿真试验系统中，灵活细粒度数据集成处理系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，灵活细粒度数据集成处理系统包括：

每个所述数据处理单元，用于向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；

所述消息服务单元，用于在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；

所述消息服务单元，用于在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；

所述消息服务单元，用于基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；

每个所述数据处理单元，用于当接收到所述消息服务单元发送的所述第一消息信息时，调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

在一个可行的实施方案中，每个所述数据处理单元还用于：

在所述数据处理单元向所述消息服务单元发送目标信息之前，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；

基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

在一个可行的实施方案中，所述消息服务单元用于：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

在一个可行的实施方案中，所述消息服务单元在用于为所述控制消息队列和所述数据消息队列分别设置不同的处理线程，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元时，具体用于：

判断所述控制消息队列中是否存在所述第一消息信息；

若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；

若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的方法的步骤。

本申请实施例提供的一种灵活细粒度数据集成处理方法、系统和电子设备，通过数据处理单元向消息服务单元发送订阅信息，使得消息服务单元中保存有数据处理单元与消息主题的订阅关系，当消息服务单元接收到数据处理单元发送的第一消息信息之后，根据第一消息信息中的消息主题以及保存的订阅关系，将每个第一消息信息发送给特定的数据处理单元，使得数据处理单元接收第一消息信息并对其进行处理，与现有技术中静态接口调用方式集成处理方案相比，本申请实施例提供的方法能够根据订阅信息确定每个数据处理单元与消息主题的对应关系，实现灵活的、细粒度的异步数据交互集成处理，提高数据处理效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种灵活细粒度数据集成处理方法的流程图。

图2示出了本申请实施例所提供的一种处理订阅信息的方法的流程图。

图3示出了本申请实施例所提供的灵活细粒度数据集成处理系统的结构示意图。

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要提前说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

需要提前说明的是，本申请实施例涉及到的系统或电子设备等可以执行在单个服务器上，也可以执行在服务器组。服务器组可以是集中式的，也可以是分布式的。在一些实施例中，服务器相对于终端，可以是本地的，也可以是远程的。例如，服务器可以经由网络访问存储在服务请求方终端、服务提供方终端、或数据库、或其任意组合中的信息和/或数据。作为另一示例，服务器可以直接连接到服务请求方终端、服务提供方终端和数据库中至少一个，以访问存储的信息和/或数据。在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。

本申请实施例提供的一种灵活细粒度数据集成处理方法应用于计算流体动力学仿真试验系统，所述系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，图1示出了本申请实施例所提供的一种灵活细粒度数据集成处理方法的流程图，如图1所示，所述方法包括以下步骤：

步骤101，针对每个数据处理单元，所述数据处理单元向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元。

具体的，CFD(Computational fluid dynamic，计算流体动力学)仿真试验系统可以通过模拟仿真试验分析工业设计方案的流体动力学特性，进而改进优化设计方案。CFD仿真试验系统中包括消息服务单元、项目管理单元、网格生成单元、求解器单元、后处理分析单元和图形用户界面单元。

消息服务单元中存储有每个数据处理单元的调用关系；项目管理单元中存储有每个仿真试验项目的元数据信息，元数据信息包括但不限于：项目名称、项目工作路径、项目网格文件、求解方案设置、计算结果数据等信息；网格生成单元用于根据仿真试验项目中的元数据，按照网格生成方法对连续计算域流场进行离散化，把一个连续的计算域分割成许多很小的单元，以便在离散的单元上进行流场代数方程的数值求解计算；求解器单元用于在网格生成单元将连续计算域流场进行离散化之后，求解离散化的每个小单元上的流场数据；后处理分析单元用于对求解器单元求解得到的数据进行分析，并生成可视化分析图像，生成的可视化图像包括但不限于：等值线图、云图、流线图；图形用户界面单元用于显示数据可视化分析图像。

每个数据处理单元向消息服务单元发送订阅信息，订阅信息中包括预先定义的自身能够处理的消息主题，将订阅信息中包括的能够处理的消息主题，消息主题与数据处理单元的订阅关系发送到消息服务单元。

第一消息信息是每个数据处理单元通过自身处理算法或处理功能对数据进行处理之后得到的，并对处理之后的第一消息标记消息主题。

步骤102，所述消息服务单元在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系。

具体的，消息服务单元根据接收到的订阅信息，对每个数据处理单元订阅的消息主题进行存储，并将所述数据处理单元与所述消息主题的订阅关系整理到订阅列表中。

步骤103，所述消息服务单元在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级。

具体的，根据消息主题中的前缀，确定消息主题的类型，控制类型和数据类型的前缀是不同的，在本申请实施例中，控制类型对应的消息主题的前缀为ct，数据类型对应的消息主题的前缀是dt。当第一消息信息的消息主题为控制类型的时候，将第一消息信息加入到控制消息队列中，当第一消息信息的消息主题为数据类型的时候，将第一消息信息加入到数据消息队列中。第一消息信息在队列中的先后顺序按照第一消息信息的发送时间的先后顺序进行排列。从而通过设置不同的队列，为控制消息队列和数据消息队列分别设置不同的处理优先级，为控制消息队列设置高处理优先级，为数据消息队列设置低处理优先级，保证控制指令迅速得到处理和响应。

步骤104，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个。

具体的，消息服务单元对控制消息队列和数据消息队列中的每个第一消息信息分别进行处理，分析每个第一消息信息的消息主题，并根据订阅列表中存储的每个数据处理单元和消息主题的订阅关系，确定每个第一消息信息对应的目标数据处理单元；目标数据处理单元是根据订阅列表中每个数据处理单元与所述消息主题的订阅关系，从若干数据处理单元中确定的，目标数据处理单元可以是一个数据处理单元，也可以是多个数据处理单元。

假设，与项目管理单元存在订阅关系的分别为消息主题A和消息主题B，与求解器单元存在订阅关系的为消息主题C和消息主题D，则消息服务单元在接收到第一消息信息时，若该第一消息信息的消息主题为消息主题A或者消息主题B，则目标数据处理单元为项目管理单元；若该第一消息信息的消息主题为消息主题C或者消息主题D，则目标数据处理单元为求解器单元。同理可得，当项目管理单元、求解器单元均订阅了消息主题E时，若该第一消息信息的消息主题为消息主题E，则目标数据处理单元为项目管理单元和求解器单元。

步骤105，针对每个数据处理单元，当所述数据处理单元接收到所述消息服务单元发送的所述第一消息信息时，所述数据处理单元调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

具体的，针对每个数据处理单元，当数据处理单元在步骤104中被确定为目标数据单元时，会接收到消息服务单元发送的第一消息信息，因此，针对每个数据处理单元，当数据处理单元接收到消息服务单元发送的第一消息信息时，根据第一消息信息中的消息主题，调用与该消息主题对应的处理功能对第一消息信息中的第一消息进行处理，处理功能与消息主题的对应关系是预存的，数据处理单元在对第一消息进行处理之后，自动为处理之后的第一消息标记消息主题，并将其封装为第二消息信息。第一消息信息(处理之前的消息信息)的消息主题与第二消息信息(处理之后的消息信息)是不同的，因此将处理之后得到的第二消息信息作为新的第一消息信息发送给消息服务单元之后，消息服务单元会通过步骤103和步骤104，根据其具备的新的消息主题，将其分配给新的目标数据处理单元。

举例说明，当数据处理单元为项目管理单元时，项目管理单元订阅的消息主题为：项目管理控制类主题，当项目管理单元接收到项目管理类主题的时候，根据项目管理类主题对应的具体的第一消息信息中包含的内容，执行以下任意一种操作：打开项目、设置项目、保存项目、关闭项目等具体的控制操作。(同理，以数据处理单元为项目管理单元为例，当消息服务单元接收到的目标消息为第一消息信息时，若该第一消息信息中的消息主题为项目管理控制类主题，则消息服务单元根据预先确定的订阅关系，将该第一消息信息发送给项目管理单元)。

当数据处理单元为网格生成单元时，网格生成单元订阅的消息主题为：网格生成控制主题，当网格生成单元接收到消息主题为网格生成控制主题的第一消息信息的时候，根据第一消息信息中包括的具体内容，执行以下操作中的任一种操作：生成网格、质量检查、网格设置。

当数据处理单元为求解器单元时，求解器单元订阅的消息主题为：求解器控制类主题、项目数据主题；当求解器单元接收到消息主题为求解器控制类主题的第一消息信息的时候，根据第一消息信息中包括的具体内容，执行以下任一种操作：求解器设置、运行求解器、停止求解器；在求解器执行运行求解器操作中，会持续生成残差数据、壁面数据、流场数据，每生成相应数据时，封装对应的消息主题生成第二消息信息，并将第二消息信息作为新的第一消息信息发送给消息服务单元。

当数据处理单元为后处理分析单元时，后处理分析单元订阅的消息主题为：网格数据主题、残差数据主题、壁面数据主题、流场数据主题；当后处理分析单元接收到上述任一种消息主题的第一消息信息时，对第一消息信息中的数据进行保存，根据消息主题调用对应的处理功能，生成网格图像、残差曲线、云图等信息，进而封装相应的网格图像主题、残差曲线主题和云图主题，生成第二消息信息，并将第二消息信息作为新的第一消息信息发送给消息服务单元。

当数据处理单元为图形用户界面单元时，图形用户界面单元订阅的消息主题为：项目数据主题、网格生成过程数据主题、求解过程数据主题、网格图像主题、残差曲线主题、云图主题、控制类消息执行反馈主题。当图形用户界面接收到携带有上述消息主题的第一消息信息之后，对第一消息信息中的内容按相应内容显示方式进行显示。

本申请实施例提供的一种灵活细粒度数据集成处理方法，通过数据处理单元向消息服务单元发送订阅信息，使得消息服务单元中保存有数据处理单元与消息主题的订阅关系，当消息服务单元接收到数据处理单元发送的第一消息信息之后，根据第一消息信息中的消息主题以及保存的订阅关系，将每个第一消息信息发送给特定的数据处理单元，使得数据处理单元接收第一消息信息并对其进行处理，与现有技术中静态接口调用方式的集成处理方案相比，本申请实施例提供的方法能够根据订阅信息确定每个数据处理单元与消息主题的对应关系，实现灵活的、细粒度的异步数据交互集成处理，提高数据处理效率。

在一个可行的实施方案中，在执行步骤101之前，图2示出了本申请实施例所提供的一种处理订阅信息的方法的流程图，如图2所示，所述方法还包括：

步骤201，针对每个数据处理单元，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个。

具体的，每个数据处理单元中包括预设的至少一个处理功能，每个处理功能用于处理对应的目标消息主题。

步骤202，基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

具体的，根据每个功能能够处理的目标消息主题，确定该数据处理单元能够处理的所有的目标消息主题，并生成数据处理单元与所有目标消息主题的订阅关系。

在一个可行的实施方案中，在执行步骤103时，包括以下步骤：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

具体的，控制类型的第一消息的一般格式为(ctTopic，method,args,kwargs)其中：ctTopic为消息主题名称，method为消息方法，args为可变列表类参数，kwargs为可变关键字类参数。消息主题名称中的前缀ct表明当前消息主题的类型为控制类型，根据该第一消息信息的发送时间，按照时间顺序将第一消息信息加入到控制消息队列中。

数据类型的第一消息的一般格式为("dtTopic",{"type":"处理类型","data":“具体数据内容”})，其中dtTopic为消息主题名称，type为处理类型，data后面为具体的数据内容；消息主题名称中的前缀dt表明当前消息主题的类型为数据类型，根据该第一消息信息的发送时间，按照时间顺序将第一消息信息加入到数据消息队列中。

在一个可行的实施方案中，为所述控制消息队列和所述数据消息队列分别设置不同的处理线程和处理优先级，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元，包括：

判断所述控制消息队列中是否存在所述第一消息信息；若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

具体的，通过不同的处理线程，将高优先级的处理线程用于处理控制消息队列中的任务，优先处理控制消息队列中的第一消息信息，当控制消息队列中存在第一消息信息的时候，根据每个第一消息信息的消息主题，订阅关系中每个数据处理单元订阅的消息主题，将第一消息信息发送给订阅了该消息主题的数据处理单元；将低优先级的处理线程用于处理数据消息队列中的任务。保证控制数据得以优先执行。

通过上述方法，当两个线程并行时，为控制线程设置更高的优先级，当两个处理线程串行时，处理完控制消息队列中的信息之后，再处理数据消息队列中的信息。

图3示出了本申请实施例所提供的灵活细粒度数据集成处理系统的结构示意图，如图3所示，所述本申请实施例还提供了一种灵活细粒度数据集成处理系统，所述灵活细粒度数据集成处理系统应用于计算流体动力学仿真试验系统中，灵活细粒度数据集成处理系统包括一个消息服务单元301和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，所述若干数据处理单元包括：项目管理单元302、网格生成单元303、求解器单元304、后处理分析单元305、图形用户界面单元306，灵活细粒度数据集成处理系统包括：

每个所述数据处理单元(图3中的项目管理单元302、网格生成单元303、求解器单元304、后处理分析单元305、图形用户界面单元306)，用于向所述消息服务单元301发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题。

所述消息服务单元301，用于在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系。

所述消息服务单元301，用于在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级。

所述消息服务单元301，用于基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个。

每个所述数据处理单元(图3中的项目管理单元302、网格生成单元303、求解器单元304、后处理分析单元305、图形用户界面单元306)，用于当接收到所述消息服务单元301发送的所述第一消息信息时，调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

在一个可行的实施方案中，每个所述数据处理单元还用于：

在所述数据处理单元向所述消息服务单元发送目标信息之前，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个。

基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

在一个可行的实施方案中，所述消息服务单元用于：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

在一个可行的实施方案中，所述消息服务单元在用于为所述控制消息队列和所述数据消息队列分别设置不同的处理线程，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元时，具体用于：

判断所述控制消息队列中是否存在所述第一消息信息。

若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元。

若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

本申请实施例提供的一种灵活细粒度数据集成处理系统，通过数据处理单元向消息服务单元发送订阅信息，使得消息服务单元中保存有数据处理单元与消息主题的订阅关系，当消息服务单元接收到数据处理单元发送的第一消息信息之后，根据第一消息信息中的消息主题以及保存的订阅关系，将每个第一消息信息发送给特定的数据处理单元，使得数据处理单元接收第一消息信息并对其进行处理，与现有技术中静态接口调用方式的集成处理方案相比，本申请实施例提供的系统能够根据订阅信息确定每个数据处理单元与消息主题的对应关系，实现灵活的、细粒度的异步数据交互集成处理，提高数据处理效率。

图4示出了本申请实施例所提供的一种电子设备的结构示意图，包括：处理器401、存储介质402和总线403，所述存储介质402存储有所述处理器401可执行的机器可读指令，当电子设备运行如实施例中的数据集成方法时，所述处理器401与所述存储介质402之间通过总线403通信，所述处理器401执行所述机器可读指令，以执行如实施例中的步骤。

在实施例中，所述存储介质402还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。

在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种灵活细粒度数据集成处理方法，其特征在于，所述方法应用于计算流体动力学仿真试验系统，所述系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，所述方法包括：

针对每个数据处理单元，所述数据处理单元向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；

所述消息服务单元在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；

所述消息服务单元在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；

所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；

针对每个数据处理单元，当所述数据处理单元接收到所述消息服务单元发送的所述第一消息信息时，所述数据处理单元调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

2.根据权利要求1所述的方法，其特征在于，在所述数据处理单元向所述消息服务单元发送目标信息之前，所述方法还包括：

针对每个数据处理单元，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；

基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

3.根据权利要求1所述的方法，其特征在于，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中，包括：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，

当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

4.根据权利要求3所述的方法，其特征在于，为所述控制消息队列和所述数据消息队列分别设置不同的处理线程，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元，包括：

判断所述控制消息队列中是否存在所述第一消息信息；

若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；

若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

5.一种灵活细粒度数据集成处理系统，其特征在于，所述灵活细粒度数据集成处理系统应用于计算流体动力学仿真试验系统中，灵活细粒度数据集成处理系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，灵活细粒度数据集成处理系统包括：

每个所述数据处理单元，用于向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；

所述消息服务单元，用于在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；

所述消息服务单元，用于在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；

所述消息服务单元，用于基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；

每个所述数据处理单元，用于当接收到所述消息服务单元发送的所述第一消息信息时，调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。

6.根据权利要求5所述的灵活细粒度数据集成处理系统，其特征在于，每个所述数据处理单元还用于：

在所述数据处理单元向所述消息服务单元发送目标信息之前，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；

基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。

7.根据权利要求5所述的灵活细粒度数据集成处理系统，其特征在于，所述消息服务单元用于：

针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，

当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。

8.根据权利要求7所述的灵活细粒度数据集成处理系统，其特征在于，所述消息服务单元在用于为所述控制消息队列和所述数据消息队列分别设置不同的处理线程，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元时，具体用于：

判断所述控制消息队列中是否存在所述第一消息信息；

若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；

若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4中任一项所述灵活细粒度数据集成处理方法的步骤。

Images