CN112817571B - 一种基于场景故事板的人机物融合应用建模方法 - Google Patents

Abstract

本发明涉及一种基于场景故事板的人机物融合应用建模方法，包括以下步骤：获取人机物融合应用的场景，以场景故事板的形式对场景进行描述，得到场景描述；对场景描述进行一致性检查，所述一致性检查包括分支条件检查、情景连接关系检查、服务输入检查和资源绑定约束检查；将场景描述转换为符合人机物融合应用元模型的应用模型。与现有技术相比，本发明基于人机交互的手段，能够以更自然、更易接受的场景故事板的描述方式，构建应用中分情景的资源协作与约束，最后生成人机物融合应用模型；可提高人机物融合应用建模的表达能力，并降低建模的难度。

Description

一种基于场景故事板的人机物融合应用建模方法

技术领域

本发明涉及人机物融合与软件工程技术领域，尤其是涉及一种基于场景故事板的人机物融合应用建模方法。

背景技术

人们在现实生活中的各种需求通常需要融合来自于社会、信息、物理三方面的资源来满足。随着计算机技术的不断发展与普及，人机物融合应用开始出现，人机物融合应用在“软件定义一切”的基础上将虚拟世界中的软件行为和现实世界中的人和物理设备的行为，连同时间、空间等自然、物理特征融合在一起。人机物融合应用需要按照需求将相关资源进行编排，在运行阶段绑定符合条件的资源实例并驱动资源服务的执行。

与传统的软件模型不同，人机物融合应用的建模应满足最终用户需求，其建模过程应该面向最终用户而非专业的软件开发者。因此，相应的应用建模应当以一种直观的方式支持用户刻画应用场景需求及人机物资源的融合方式。目前，尚未出现满足用户刻画应用场景需求的人机物融合应用建模方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于场景故事板的人机物融合应用建模方法，基于人机交互的手段，能够以更自然、更易接受的场景故事板的描述方式，构建应用中分情景的资源协作与约束，最后生成人机物融合应用模型；可提高人机物融合应用建模的表达能力，并降低建模的难度。

本发明的目的可以通过以下技术方案来实现：

一种基于场景故事板的人机物融合应用建模方法，包括以下步骤：

S1：获取人机物融合应用的场景，以场景故事板的形式对场景进行描述，得到场景描述，具体为：将场景分解为多个情景，对多个情景之间的关系进行建模，针对各个情景中的资源间基于时序的协作关系进行建模，对资源在运行时被绑定的约束条件进行指定；

S2：对场景描述进行一致性检查，所述一致性检查包括分支条件检查、情景连接关系检查、服务输入检查和资源绑定约束检查，若一致性检查通过，则执行步骤S3，否则，重复步骤S1；

S3：将场景描述转换为符合人机物融合应用元模型的应用模型，所述人机物融合应用元模型是根据人机物融合应用中各类资源间的编排与协作的统一表示规范定义的。定义的人机物融合应用元模型能够为人机物融合应用中各类资源间的编排与协作提供统一表示规范。

进一步的，所述人机物融合应用元模型包括实体、服务、事件、位置、时间和顺序流；

所述实体为人机物环境中资源的抽象，包括信息实体、物理实体、社会化实体与空间实体；

所述服务为实体提供的功能，由实体执行，包括信息服务、物理服务和社会化服务；服务与实体间存在“由…执行”关系。

所述事件为资源在特定情况下发出的信号，由实体发布，通常指示资源的服务已完成，包括信息事件，物理事件和社会化事件；事件与实体间存在“由…发布”关系。

所述位置为资源所处的空间位置，以及资源提供服务、发布事件时所关联的空间位置；

所述时间为资源可用的时间点或时间区间，以及资源提供服务、发布事件的具体时间；

所述顺序流为资源的服务与事件间的编排关系，从一个资源的事件开始到另一个资源的服务结束。顺序流可附加条件。

进一步的，所述步骤S1中，情景表示在同一空间中发生的一组连续的资源交互，将人机物融合应用的场景分解为多个情景，并建立情景之间的关系。将场景分解为多个情景时，无论资源交互是否发生在同一空间中，发生在不同阶段内的资源交互将被划分为不同情景，同时发生或根据条件发生的两组资源交互或交互序列将被划分为不同情景。

进一步的，所述步骤S1中，针对各个情景中的资源间基于时序的协作关系进行建模包括：资源实体的选择、实体服务或事件的指定、实体之间的连接以及资源协作中数据关联的指定。

更进一步的，所述实体间的连接具有以下模式：

模式一：从用户或定时器到一个实体的连接，表示一个资源服务是由一个用户触发或在一个特定时刻被触发；

模式二：从一个实体的事件到另一个实体的连接，表示后一个资源服务的执行由前一个资源的事件驱动；

模式三：从一个信息实体到另一个实体的连接，表示后续的资源实体在前一个信息资源服务完成后被执行，无论信息资源服务采用同步调用还是异步调用；

模式四：从资源的事件到社会化实体的连接，表示由社会化实体承担后续的递送等社会化服务，社会化实体提供的服务与特定的物理实体相关。

更进一步的，资源协作中数据关联表示后一资源的服务会消费前序资源产生的数据，当需要指定服务的输入时，需要从前序情景中积累的变量集中选择数据变量。

进一步的，所述步骤S1中对资源在运行时被绑定的约束条件进行指定，约束条件包括：空间约束、时间约束、属性约束和包含约束；

所述空间约束表示对资源所处空间位置的要求；

所述时间约束表示对资源可用时间的要求；

所述属性约束，表示对资源除空间、时间外的其他资源属性的要求；

所述包含约束为空间实体定义的基于其他类型资源空间约束生成的约束条件，即表示空间实体需要包含指定的其他类型资源。

进一步的，所述步骤S2中，对场景描述进行一致性检查包括以下步骤：

a1)检查多情景关联中同一分支节点的多个条件是否互斥且完备，以保证应用执行的正确性。

a2)当情景非场景中的第一个情景时，检查情景的入口节点是否与资源关联，以保证该情景内的资源能够被前序情景资源所驱动执行。

a3)当情景非场景中的最后一个情景时，检查情景的出口节点是否与资源关联，以保证该情景内的资源能够驱动后续情景资源的执行。

a4)检查资源服务的输入是否已与前序情景中积累的数据变量关联；

a5)检查资源的绑定约束是否存在矛盾，即对场景中的同一个资源是否指定了具有冲突的空间、时间、属性等约束条件。

进一步的，所述步骤S3中，场景描述转换为符合人机物融合应用元模型的应用模型包括以下步骤：

b1)从场景描述的第一个情景开始遍历，逐步增加应用模型中的元素；

b2)遍历至一个情景时，当一个资源在场景中第一次出现，建立资源实体，以及该资源指定的服务或事件，并建立服务至实体的“由…执行”关系、事件至实体的“由…发布”关系；建立前一资源事件与后一资源服务之间的顺序流；若存在资源相关的绑定约束，将约束转换为该资源的绑定条件属性；

b3)将多情景之间的关联转换为与前一情景出口节点关联的资源事件和与后一情景入口节点关联的资源服务间的顺序流；若存在多情景间的分支，将分支条件转换为顺序流的条件。

与现有技术相比，本发明具有以下有益效果：

(1)基于人机交互的手段，能够以更自然、更易接受的场景故事板的描述方式，构建应用中分情景的资源协作与约束，最后生成人机物融合应用模型；可提高人机物融合应用建模的表达能力，并降低建模的难度。

(2)根据人机物融合应用中各类资源间的编排与协作统一表示规范定义元模型，通过一致性检查的场景描述直接转换为符合元模型的应用模型，保证了人机物融合应用的正确执行。

(3)将场景分解为多个情景，再以场景故事板的形式对场景进行描述，包括多个情景间的关系、单情景中的资源协作，以及资源的绑定约束，能够更加自然的描述场景中资源间的编排与协作。

附图说明

图1为基于场景故事板的人机物融合应用建模方法的流程图；

图2为本发明的人机物融合应用元模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1：

本实施例以建模工具为例，说明基于场景故事板的人机物融合应用建模在建模工具设计与开发中的具体实施方法。

如图1所示，一种基于场景故事板的人机物融合应用建模，包括以下步骤：

S1：获取人机物融合应用的场景，以场景故事板的形式对场景进行描述，得到场景描述，具体为：将场景分解为多个情景，对多个情景之间的关系进行建模，针对各个情景中的资源间基于时序的协作关系进行建模，对资源在运行时被绑定的约束条件进行指定。

情景表示在同一空间中发生的一组连续的资源交互，步骤S1中将人机物融合应用的场景分解为多个情景，并建立情景之间的关系。将场景分解为多个情景时，无论资源交互是否发生在同一空间中，发生在不同阶段内的资源交互将被划分为不同情景，同时发生或根据条件发生的两组资源交互或交互序列将被划分为不同情景。

步骤S1中，针对各个情景中的资源间基于时序的协作关系进行建模包括：资源实体的选择、实体服务或事件的指定、实体之间的连接以及资源协作中数据关联的指定。

其中，实体间的连接具有以下模式：

模式一：从用户或定时器到一个实体的连接，表示一个资源服务是由一个用户触发或在一个特定时刻被触发；

模式二：从一个实体的事件到另一个实体的连接，表示后一个资源服务的执行由前一个资源的事件驱动；

模式三：从一个信息实体到另一个实体的连接，表示后续的资源实体在前一个信息资源服务完成后被执行，无论信息资源服务采用同步调用还是异步调用；

模式四：从资源的事件到社会化实体的连接，表示由社会化实体承担后续的递送等社会化服务，社会化实体提供的服务与特定的物理实体相关。

模式四中的社会化实体可以为工人(即一种特殊的社会化实体)，表示从资源的事件到工人的连接，表示由工人承担后续的递送等社会化服务，工人提供的服务与特定的物理实体相关。

资源协作中数据关联表示后一资源的服务会消费前序资源产生的数据，当需要指定服务的输入时，需要从前序情景中积累的变量集中选择数据变量。

步骤S1中，对资源在运行时被绑定的约束条件进行指定，约束条件包括：空间约束、时间约束、属性约束和包含约束；

空间约束表示对资源所处空间位置的要求；

时间约束表示对资源可用时间的要求；

属性约束，表示对资源除空间、时间外的其他资源属性的要求；

包含约束为空间实体定义的基于其他类型资源空间约束生成的约束条件，即表示空间实体需要包含指定的其他类型资源。

S2：对场景描述进行一致性检查，所述一致性检查包括分支条件检查、情景连接关系检查、服务输入检查和资源绑定约束检查，若一致性检查通过，则执行步骤S3，否则，重复步骤S1。

对场景描述进行一致性检查包括以下步骤：

a1)检查多情景关联中同一分支节点的多个条件是否互斥且完备，以保证应用执行的正确性。

a2)当情景非场景中的第一个情景时，检查情景的入口节点是否与资源关联，以保证该情景内的资源能够被前序情景资源所驱动执行。

a3)当情景非场景中的最后一个情景时，检查情景的出口节点是否与资源关联，以保证该情景内的资源能够驱动后续情景资源的执行。

a4)检查资源服务的输入是否已与前序情景中积累的数据变量关联；

a5)检查资源的绑定约束是否存在矛盾，即对场景中的同一个资源是否指定了具有冲突的空间、时间、属性等约束条件。

如果场景描述的一致性检查通过，则执行步骤S3，将场景描述转换为应用模型，如果一致性检查没有通过，则返回步骤S1，反馈一致性检查的错误信息，在场景故事板中修正。

S3：将场景描述转换为符合人机物融合应用元模型的应用模型，所述人机物融合应用元模型是根据人机物融合应用中各类资源间的编排与协作的统一表示规范定义的。

场景描述转换为符合人机物融合应用元模型的应用模型包括以下步骤：

b1)从场景描述的第一个情景开始遍历，逐步增加应用模型中的元素；

b2)遍历至一个情景时，当一个资源在场景中第一次出现，建立资源实体，以及该资源指定的服务或事件，并建立服务至实体的“由…执行”关系、事件至实体的“由…发布”关系；建立前一资源事件与后一资源服务之间的顺序流；若存在资源相关的绑定约束，将约束转换为该资源的绑定条件属性；

b3)将多情景之间的关联转换为与前一情景出口节点关联的资源事件和与后一情景入口节点关联的资源服务间的顺序流；若存在多情景间的分支，将分支条件转换为顺序流的条件。

定义的人机物融合应用元模型能够为具有控制结构和数据依赖的异构资源间的编排提供规范。元模型示意图如图2所示，元模型内主要的概念与关联包括：

实体：人机物环境中的资源被抽象为实体。实体分为四类，分别是信息实体、物理实体、社会化实体与空间实体。

服务：服务是实体提供的功能。服务分为信息服务、物理服务和社会化服务。服务与实体间存在“由…执行”关系。

事件：事件是资源在特定情况下发出的信号，通常指示资源的服务已完成。事件分为信息事件，物理事件和社会化事件。事件与实体间存在“由…发布”关系。

位置：表示资源所处于的空间位置，以及资源提供服务、发布事件时所关联的空间位置。

时间：表示资源可用的时间点或时间区间，以及资源提供服务、发布事件的具体时间。

顺序流：表示资源的服务与事件间的编排关系，从一个资源事件开始到另一个资源服务结束。顺序流可附加条件。

S1：场景故事板建模。在建模工具中，首先开发场景故事板建模工具，工具由三个视图构成：

1)情景关联视图。在该视图中建模者可以创建表示情景的节点，并通过连接节点建立情景之间的结构关系。本实施例中直接采用BPMN图元表示分支结构和并行结构，中心带有加号的菱形(即BPMN中的并行网关)表示并行结构的开始和结束，中心带有乘号的菱形(即BPMN中的独占网关)表示分支结构的开始和结束，建模者可以在“菱形”网关后定义连接的分支条件。

2)单情景视图。在该视图中建模者可描述资源编排过程。该视图右侧包含一个实体面板，其中列出不同类型的资源，建模者可将所需实体从面板拖拽到视图中央的画布上。建模者可指定新添加的实体是否是对在之前情景中创建的实体的引用。此外，在实体的属性对话框中配置数据关联和约束。

画布由两个区域组成。上部区域用于放置信息空间实体，下层区域用来放置物理空间和社会空间实体。工具将按步骤构建情景中的资源交互过程，即画布一次只显示编排过程中资源交互的一个步骤，资源编排的步骤在画布下方的交互序列区域中展现。当在画布上建立新的交互时，交互序列同步扩展新的交互节点。建模者可单击交互序列上的节点返回到特定的交互步骤。

3)绑定约束视图。该视图以可视化方式展现场景中各实体的约束，即视图中的中心节点表示待查看的实体，链接到该中心节点的外围节点表示各类约束，链接线上的标记表示约束类型。

S2：一致性检查。场景故事板建模工具采用全场景与单情景相结合的一致性检查方式，如下：

1)在情景关联视图中进行建模并保存时，检查多情景关联中同一分支节点的多个条件是否互斥且完备。若存在未互斥或不完备情况，则在工具中给出提示。

2)在单情景视图中进行资源协作建模并保存时，当情景非场景中的第一个情景时，检查情景的入口节点是否已与资源关联；当情景非场景中的最后一个情景时，检查情景的出口节点是否已与资源关联。另外，检查资源服务的输入是否已与相应的数据变量关联。若存在未连接或未关联的情况，则在工具中给出提示。

3)在完成应用建模并进行转换时，检查资源的绑定约束是否存在矛盾。若存在矛盾，则在工具中给出提示。

S3：应用模型转换。场景故事板建模工具依照应用元模型将场景描述转换为应用模型。在此过程中，根据多情景之间的连接关系，将分隔开的情景合并成一个单一的应用模型，应用模型是以符合元模型规范的JSON格式进行组织。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于场景故事板的人机物融合应用建模方法，其特征在于，包括以下步骤：

S1：获取人机物融合应用的场景，以场景故事板的形式对场景进行描述，得到场景描述，具体为：将场景分解为多个情景，对多个情景之间的关系进行建模，针对各个情景中的资源间基于时序的协作关系进行建模，对资源在运行时被绑定的约束条件进行指定；

S2：对场景描述进行一致性检查，所述一致性检查包括分支条件检查、情景连接关系检查、服务输入检查和资源绑定约束检查，若一致性检查通过，则执行步骤S3，否则，重复步骤S1；

S3：将场景描述转换为符合人机物融合应用元模型的应用模型，所述人机物融合应用元模型是根据人机物融合应用中各类资源间的编排与协作的统一表示规范定义的；

所述人机物融合应用元模型包括实体、服务、事件、位置、时间和顺序流；

所述实体为人机物环境中资源的抽象，包括信息实体、物理实体、社会化实体与空间实体；

所述服务为实体提供的功能，由实体执行，包括信息服务、物理服务和社会化服务；

所述事件为资源在特定情况下发出的信号，由实体发布，包括信息事件，物理事件和社会化事件；

所述位置为资源所处的空间位置，以及资源提供服务、发布事件时所关联的空间位置；

所述时间为资源可用的时间点或时间区间，以及资源提供服务、发布事件的具体时间；

所述顺序流为资源的服务与事件间的编排关系，从一个资源的事件开始到另一个资源的服务结束；

所述步骤S1中，针对各个情景中的资源间基于时序的协作关系进行建模包括：资源实体的选择、实体服务或事件的指定、实体之间的连接以及资源协作中数据关联的指定。

2.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，所述步骤S1中，情景表示在同一空间中发生的一组连续的资源交互，将场景分解为多个情景时，发生在不同阶段内的资源交互将被划分为不同情景，同时发生的两组资源交互或交互序列将被划分为不同情景，根据条件发生的两组资源交互或交互序列将被划分为不同情景。

3.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，所述实体之间的连接具有以下模式：

模式一：从用户或定时器到一个实体的连接，表示一个资源服务是由一个用户触发或在一个特定时刻被触发；

模式二：从一个实体的事件到另一个实体的连接，表示后一个资源服务的执行由前一个资源的事件驱动；

模式三：从一个信息实体到另一个实体的连接，表示后续的资源实体在前一个信息资源服务完成后被执行，无论信息资源服务采用同步调用还是异步调用；

模式四：从资源的事件到社会化实体的连接，表示由社会化实体承担后续的递送社会化服务，社会化实体提供的服务与特定的物理实体相关。

4.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，资源协作中数据关联表示后一资源的服务会消费前序资源产生的数据，当需要指定服务的输入时，需要从前序情景中积累的变量集中选择数据变量。

5.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，所述步骤S1中对资源在运行时被绑定的约束条件进行指定，约束条件包括：空间约束、时间约束、属性约束和包含约束；

所述空间约束表示对资源所处空间位置的要求；所述时间约束表示对资源可用时间的要求；所述属性约束，表示对资源除空间、时间外的其他资源属性的要求；所述包含约束为空间实体定义的基于其他类型资源空间约束生成的约束条件，即表示空间实体需要包含指定的其他类型资源。

6.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，所述步骤S2中，对场景描述进行一致性检查包括以下步骤：

a1)检查多情景关联中同一分支节点的多个条件是否互斥且完备；

a2)当情景非场景中的第一个情景时，检查情景的入口节点是否与资源关联；

a3)当情景非场景中的最后一个情景时，检查情景的出口节点是否与资源关联；

a4)检查资源服务的输入是否已与前序情景中积累的数据变量关联；

a5)检查资源的绑定约束是否存在矛盾，即对场景中的同一个资源是否指定了具有冲突的空间、时间、属性约束条件。

7.根据权利要求1所述的一种基于场景故事板的人机物融合应用建模方法，其特征在于，所述步骤S3中，场景描述转换为符合人机物融合应用元模型的应用模型包括以下步骤：

b1)从场景描述的第一个情景开始遍历，逐步增加应用模型中的元素；

b2)遍历至一个情景时，当一个资源在场景中第一次出现，建立资源实体，以及该资源指定的服务或事件，并建立服务至实体的“由…执行”关系、事件至实体的“由…发布”关系；建立前一资源事件与后一资源服务之间的顺序流；若存在资源相关的绑定约束，将约束转换为该资源的绑定条件属性；

b3)将多情景之间的关联转换为与前一情景出口节点关联的资源事件和与后一情景入口节点关联的资源服务间的顺序流；若存在多情景间的分支，将分支条件转换为顺序流的条件。

Images