CN112818385B

CN112818385B - 基于常识推理的多模态资源的本质内容处理方法及系统

Info

Publication number: CN112818385B
Application number: CN202110074301.9A
Authority: CN
Inventors: 段玉聪
Original assignee: Hainan University
Current assignee: Hainan University
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2022-04-01
Anticipated expiration: 2041-01-20
Also published as: CN112818385A

Abstract

本发明提供一种基于常识推理的多模态资源的本质内容处理方法及系统。通过获取资源，并基于智慧图体系结构将资源映射为类型化资源，资源来自多个来源，类型化资源包括数据资源、信息资源和知识资源至少三种模态；根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源并确定模态；采用随机化对新资源进行隐私保护。在本方案中，通过同模态关联融合和/或跨模态关联融合互相补充完善、形成新的资源，并采用随机化的方式对融合后的新资源进行隐私保护，实现获取完整、确定资源，并对完整确定资源处理后的资源进行全面隐私保护的目的。

Description

基于常识推理的多模态资源的本质内容处理方法及系统

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于常识推理的多模态资源的本质内容处理方法及系统。

背景技术

随着互联网的广泛普及和大数据时代的来临，产生了具有巨大商业价值和社会价值的各种资源，人们可以从这些资源中获得巨大好处，但随着累积内容量的增加，人们越来越需要努力处理相应的内容，以达到各种目的，包括共享内容资源和相应的隐私保护。从多个来源积累内容资源，不仅仅意味着单独处理内容所需的投资或成本增加，内容来源越多，内容来源的类型就越可能多样化。由于通常对于每种类型的内容，都需要为其指定使用解决方案，因此更多类型的内容将需要更多的解决方案，更不必说混合资源混合解决方案的组成复杂性，因此处理、使用多个来源的内容资源十分困难。

与此同时，这些资源中可能存在大量敏感内容，包括重要的个人隐私数据和信息。例如，各大医院收集的患者身体健康情况数据、使用全球定位系统协议应用程序收集的用户位置信息等，这些敏感资源本身以及利用相关资源进行关联融合后形成的新敏感资源可能会随着更加隐蔽、多样的数据收集存储以及数据挖掘，导致更加频繁的隐私泄露和隐私窃取，从而产生更加巨大的危害和影响，引发了人们对隐私的广泛关注和担忧。

现有的隐私保护方法主要是针对数据集上可直接观察到的数值型、字符型等类型数据进行各种处理，使得处理后的数据不能直接显示原数据的具体内容，以此达到保护隐私的目的。常用的隐私保护方法包括采用匿名模糊或数据失真处理(如添加随机噪声)等技术隐藏真实数据，并运用回归分析、数据失真调整、噪声尺度参数调整等方法减少噪声带来的误差，提高数据的可用性。但是这些方案也存在很多不足，包括这些方案只对显式资源进行处理，未对隐式的，即不能直接观察到的资源进行保护，存在隐私泄露风险等问题。

除此之外，人们进行分析时所获取的各种资源可能并非完整，且并非完全正确，人们可对这些不完整、不确定的资源进行相关逻辑处理，完成诸如推理等特定目标，也是一大挑战。

综上所述，目前亟需一种能够对跨多模态资源的本质内容进行处理和保护的方法。

发明内容

有鉴于此，本发明实施例提供一种基于常识推理的跨数据、信息、知识模态的本质内容挖掘与保护方法及系统，以解决现有的数据挖掘方法存在对资源尤其是敏感资源的隐私保护不够全面，以及基于获取到的不完整、不确定的资源进行处理时，很难得到准确结果的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种基于常识推理的多模态资源的本质内容处理方法，所述方法包括：

获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源DataDIK、信息资源InformationDIK和知识资源Knowledge_DIK至少三种模态；

根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态；

采用随机化对所述新资源进行隐私保护；

其中，所述同模态关联融合包括：针对每一种资源进行进行同模态关联融合，得到对应的第一新资源；

所述跨模态关联融合包括：针对多种资源进行跨模态关联融合，得到对应的第二新资源。

可选的，所述针对每一种资源进行进行同模态关联融合，得到对应的第一新资源包括：

针对每一种资源，判断两个同模态资源是否同时出现；

若未同时出现，进行标记并退出；

若同时出现，判断两个同模态资源是否具有关联；

若不具有关联，进行标记并退出；

若具有关联，分别对两个同模态资源进行初级、中级和/或高级关联融合，得到执行最高一级关联融合后获取的第一新资源和所述第一新资源的模态。

可选的，分别对两个同模态资源进行初级、中级和/或高级关联融合，得到对应的第一新资源得到执行最高一级关联融合后获取的第一新资源和所述第一新资源的模态，包括：

通过函数Splicing()对两个同模态资源进行初级关联融合，得到新初级资源，并根据所述新初级资源的不同用法确定所述新初级资源的模态；

根据所述初级关联融合的结果，判断是否可以继续执行中级关联融合；

若否，将所述新初级资源作为第一新资源，将所述新初级资源的模态作为所述第一新资源的模态；

若是，基于解析和逻辑推理对两个同模态资源进行中级关联融合，得到新中级资源，并确定所述新中级资源的模态；

根据所述中级关联融合的结果，判断是否可以继续执行高级关联融合；

若否，将所述新中级资源作为第一新资源，将所述新中级资源的模态作为所述第一新资源的模态；

若是，根据所述新中级资源进行融合计算，将得到的新高级资源作为第一新资源，将所述新高级资源的模态作为所述第一新资源的模态。

可选的，所述针对多种资源进行跨模态关联融合，得到对应的第二新资源，包括：

将多种资源两两或两两以上进行拼接，得到多个拼接资源；

将所述拼接资源两两进行关联融合，得到多个新资源；

将所述新资源两两进行关联融合，直至得到最终资源，将所述最终资源作为第二新资源。

可选的，若所述多种资源包括数据资源Data_DIK和信息资源Information_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

基于特定目的对所述数据资源Data_DIK和所述信息资源Information_DIK进行拼接，得到第二新资源，所述特定目的至少包括：形成对应关系、总结匹配、相关数值计算、补充细节、逻辑计算、构建复合语句或复合命题、逻辑推理、检测判断取值是否满足相关条件和预测推理。

可选的，若所述多种资源包括数据资源Data_DIK和知识资源Knowledge_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

若所述数据资源Data_DIK和所述知识资源Knowledge_DIK本身的含义和解释为非必要的，将所述知识资源Knowledge_DIK作为一个数据与所述数据资源Data_DIK进行拼接，得到第二新资源；

若所述数据资源Data_DIK和所述知识资源Knowledge_DIK本身的含义和解释为必要的，将所述知识资源Knowledge_DIK作为信息资源Information_DIK与所述数据资源Data_DIK进行拼接，得到第二新资源。

可选的，若所述多种资源包括信息资源Information_DIK和知识资源Knowledge_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

若所述信息资源Information_DIK和所述知识资源Knowledge_DIK本身的含义和解释为非必要的，将所述知识资源Knowledge_DIK作为信息与所述信息资源Information_DIK进行拼接，得到第二新资源；

若所述信息资源Information_DIK和所述知识资源Knowledge_DIK本身的含义和解释为必要的，基于特定目的将所述知识资源与所述信息资源Information_DIK进行拼接，得到第二新资源，所述特定目的至少包括：形成对应关系、总结匹配、相关数值计算、补充细节、逻辑计算、构建复合语句或复合命题、逻辑推理、检测判断取值是否满足相关条件和预测推理；

若所述信息资源Information_DIK和所述知识资源Knowledge_DIK本身的含义和解释为必要的，将所述信息资源Information_DIK作为所述知识资源Knowledge_DIK的内容补充或者证明材料与所述信息资源进行拼接，得到第二新资源。

可选的，若所述多种资源包括数据资源DataDIK、信息资源InformationDIK和知识资源KnowledgeDIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

若所述数据资源Data_DIK、所述信息资源Information_DIK和所述知识资源Knowledge_DIK本身的含义和解释为非必要的，将所述数据资源Data_DIK、所述信息资源Information_DIK和所述知识资源Knowledge_DIK直接进行拼接，得到第二新资源；

若所述数据资源Data_DIK、所述信息资源Information_DIK和所述知识资源Knowledge_DIK本身的含义和解释为必要的，且所述知识资源本身的含义和解释仅作为相关问题的解答或结论时，将所述知识资源Knowledge_DIK作为信息资源与所述信息资源Information_DIK、所述数据资源Data_DIK进行拼接，得到第二新资源；

若所述数据资源Data_DIK、所述信息资源Information_DIK和所述知识资源本身的含义和解释为必要的，且所述知识资源Knowledge_DIK本身的含义和解释作为相关问题的解答或结论有新的知识补充时，将补充之后的新的知识资源NewKnowledge_DIK与所述信息资源Information_DIK、所述数据资源Data_DIK进行拼接，得到第二新资源。

可选的，所述采用随机化对所述新资源进行隐私保护，包括：

基于差分方式将所述新资源映射至类型化资源上，并采用对应的隐私保护方式对所述新资源进行隐私保护。

本发明第二方面公开了一种基于常识推理的多模态资源的本质内容处理系统，所述系统包括：

获取单元，用于获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源Knowledge_DIK至少三种模态；

融合单元，用于根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态；其中，所述同模态关联融合包括：针对每一种资源进行进行同模态关联融合，得到对应的第一新资源；所述跨模态关联融合包括：针对多种资源进行跨模态关联融合，得到对应的第二新资源；

差分单元，用于采用随机化对所述新资源进行隐私保护。

基于上述本发明实施例提供的基于常识推理的跨数据、信息、知识模态的本质内容挖掘与保护方法及系统。通过获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源Knowledge_DIK至少三种模态；根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态；采用随机化对所述新资源进行隐私保护；其中，所述同模态关联融合包括：针对每一种资源进行进行同模态关联融合，得到对应的第一新资源；所述跨模态关联融合包括：针对多种资源进行跨模态关联融合，得到对应的第二新资源。在本方案中，通过同模态关联融合和/或跨模态关联融合互相补充完善、形成新的资源，并采用随机化的方式对融合后的新资源进行隐私保护，实现获取完整、确定资源，并对完整确定资源处理后的资源进行全面隐私保护的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种基于常识推理的多模态资源的本质内容处理方法的流程示意图；

图2为本发明实施例公开的一种基于常识推理的多模态资源的本质内容处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，对于资源的处理，已有的研究大多关注可直接观察到的、具有相同或相似结构、同种模态的数据、信息、知识资源进行处理，例如数据库资源等，期望通过数据挖掘等手段提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识。

传统的数据挖掘方法能成功应用于确定性资源，即完整的、不缺少内容的资源。随着技术的进步和人们对数据采集和处理技术理解的深入，人们将目光转向了在实际中广泛存在、且可对分析结果产生极大影响的、不完整、不保证正确的数据、信息、知识等资源，即不完全资源，不完全资源给具体应用包括查询、挖掘、分析等带来了困难。

导致资源出现不完全性的原因主要是：(1)绝对意义上的不完全，完整性、正确性遭到破坏：采集数据、信息等资源时出现缺省值、干扰值等；受周围环境的影响、传输过程中的失真导致获取的资源不正确。(2)相对意义上的不完全，客观上存在，但由于认识能力的限制，无法得知所有资源。

面对海量的、复杂的不完全性资源，人们的主要处理方式有：(1)将原有传统数据挖掘算法的经典模型加以改进，加入不确定性数据分析，例如在支持向量机中使用超球凸集数学模型来表示不确定性，在决策树算法中使用分类模型中的置信度和似然函数来表达不确定性数据等；(2)选择核心数据或近似数据填补原数据资源中的空值，并将核心数据集合作为衡量数据质量的一个指标，提高计算、查询等功能的效率，缩减参与计算的数据量；(3)基于统计学理论的随机数据挖掘，缺点是需要经过大量样本训练，在实际中很难完成；(4)基于模糊集理论的数据挖掘，用隶属度函数来描述不确定数据属于模糊集的程度，具有强大的描述不确定问题的能力和较为完善的数学理论基础；(5)基于粗糙集理论的随机数据挖掘，适用于同时存在非确定的随机过程和某些具有未知统计特性数的场合，可广泛运用于数据清洗、决策分类、规则获取理解等方面。不完全性资源的运用十分广泛，包括不完全信息的动静态博弈选择、偏好分析、决策方法制定、故障诊断等。

通过以上工作，发现在不完全资源进行相关处理时的对象常常只针对特定形态、结构的资源，例如数值型资源，对其他类型的资源处理较少，且处理方法无法运用到所有类型的资源上，可用范围窄，迁移难度高。

关于隐私保护，现有研究已经做了大量相关工作。大多数关于隐私安全保护的工作都假设数据是一个表，其中包含每个条目的属性信息。然而，现实世界中的数据往往更为复杂，具有多种表现形式。即使在单表数据中，删除诸如社会保险号码之类的识别信息也不足以保护数据中所代表的个人的安全。Krumm等人从时间、方式和程度等方面对隐私进行了探讨。Jordi等人解决了关联暴露导致比例隐私暴露的问题。社交网络中的隐私保护已经达到了通过概率和间接联系来识别揭示目标内容的效果。更为严峻的是，作为隐私保护目标的可组合复杂性可能表现出丰富的元素依赖性。而使用匿名化数据进行隐私保护的挑战在于定位数据元素或目标的依赖关系，并对甚至可以间接推断的内容进行操作。隐私目标保护不能简单地通过直接删除标识内容来实现，因为内容可能以其他形式存在，而这些形式仍然承载着隐私内容。Danezis等人介绍可以通过精心设计的政策和法律实施数据隐私保护。

知识图谱是一种建模、组织和提供语义知识(以嵌入语义信息的有向图的形式)的强大工具，可以作为表达和利用与人类知识相关的文本语义意义的解决方案。Duan等人阐明了知识图的体系结构，并将其扩展到包括数据图、信息图和智慧图(DIKW)，并构建了一个界面来回答五个问题(谁、什么、何时、何地以及为什么)。基于这种DIKW架构，段等人提出了一种价值驱动的事务处理机制，通过协作存储、传输和计算优化来优化时间和空间复杂性。此外，还将DIKW架构用于隐私保护，提出了隐私内容建模和频率定义的类型化数据保护解决方案框架。

本申请将多个来源的资源映射为DIKW体系结构中的数据模态Data_DIK、信息模态Information_DIK和知识模态Knowledge_DIK的类型化资源，并对它们的定义和联系进行详细的解释说明。并且由于不同模态的资源可能并非完整，且并非完全正确，可通过某些关联进行融合转换互相补充完善、形成新的资源，若不对未经转换的资源进行处理，就会存在很高的隐私泄露风险，鉴于Data_DIK、Information_DIK、Knowledge_DIK的具体内容和形式多变，为达到更加直观、具体的目的，本申请从实例出发介绍同模态资源和跨模态资源关联融合的过程和可能结果，并确定生成新资源的模态。同模态资源关联融合的分析介绍以Data_DIK和Data_DIK为主，将Data_DIK按照特定分类规则进行分类，关联融合的主要方法是不同类型的Data_DIK之间产生联系，并对其进行逻辑推理得到新资源。模态资源关联融合的分析解释以不同模态资源关联融合产生不同模态的新资源为主线，辅以具体应用实例进行详细介绍，跨模态资源关联融合主要介绍Data_DIK和Information_DIK关联融合的相关内容。最后将差分概念映射到Data_DIK上，采用全类型化维度表达法表达某个特定目标，将Data_DIK按规定分为内涵资源Data_Con和外延资源DataEx，从内涵、外延角度阐释隐私，并提供量化提供支持程度、隐私暴露程度的方法，采用随机化对Data_DIK进行隐私保护。

以下对本申请实施例中涉及到的类型化资源、数据资源、信息资源和知识资源的基础概念进行解释说明。

1.1、类型化资源

为了达到诸如预测推理、完整描述特定目标等目的，需要将一些已经存在的、但可能并不完整的数据、信息、知识等资源作为预测推理、关联判定追溯的重要基础和依据，这些资源被统称为类型化资源，用TR_DIK表示。

TR_DIK：＝＜Data_DIK，Information_DIK，Knowledge_DIK＞ (1)

其中，Data_DIK表示数据资源，Information_DIK表示信息资源，Knowledge_DIK表示知识资源，分别表示资源的三种模态。

在日常中分析处理的类型化资源通常拥有同一个来源，表明这些资源是紧密关联的，并且这些资源往往不是以单一模态存在，而是以混合形态存在的，混合形态是指数据资源、信息资源、知识资源均同时存在，或某些资源根据不同的用法可被划分为不同模态的资源。同时出现的三种模态资源也许并非完整，可能每种资源都缺少一些内容，并且这三种资源拥有和缺少的内容也不尽相同，可能数据资源拥有的一些相关内容，却无法在信息和知识资源层次找到，而数据资源缺少的内容却可以在信息和知识资源中被找到。

此外，Data_DIK，Information_DIK和Knowledge_DIK这三种模态的资源可以通过互相融合、转化的方法互相进行补充和支撑，为特定预测推理或其他目的提供有效价值支撑。

不同资源之间可用ExistenceConfirmed判断、确认关联与否。

存在关联Existence又可分为客观存在ExistenceObjective和概念存在ExistenceConceptual，客观存在可用逻辑语言“True/False”回答，概念存在则与人的主观评价“Yes/No”相关。

若不存在关联，则用NoneExistence表示，作为Existence的否定项：

Existence_Confirmed：＝<(Existence)_positive，(NoneExistence_Confirmed)_negative> (2)

其中，ExistenceObjective和ExistenceConceptual属于肯定项语义，NoneExistenceConfirmed属于否定项语义。

NoneExistenceConfirmed中存在几种不同的情况：

NoneExistence_Confirmed：＝<Null，Inconsist_Objective> (3)

其中，“Null”表示资源间无关联，无关联的情况包括主客观均不存在关联即实际上不存在关联，用ExistenceObjective(False)表示，以及主观上不知道存在关联但在客观即实际上存在关联，用FALSE(ExistenceObjective(True))表示：

Null：＝<Existence_Objective(False)，FALSE(Existence_Objective(True))> (4)

InconsistObjective表示关联客观上前后不一致的情况，因为随着时间流逝，在一段时间内，事物或关联可能消失或改变，即相关数据过去拥有关联，但现在却不存在关联，导致出现前后不一致的情况。

1.2、数据资源

数据资源用Data_DIK表示，由无数数据组成，是对客观存在进行记录并可以被鉴别的符号，也是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。Data_DIK包括实体或概念的存在。Data_DIK可表示单独的一个个离散元素，也可表示同时出现的所有数据资源，可从源头资源中分离得到，也可通过同模态、跨模态资源关联融合处理得到新的Data_DIK。

Data_DIK虽然可被人或计算机等机器识别匹配，但在没有上下文的情况下不具有任何意义和语义，不与人类的特定目的相关联，不与自身存在之外的特定语义捆绑在一起，仅仅作为信息或知识的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等，数据结构和表现形式多样。

例如“0,1,2，...”、“学生学籍档案表”、“超市进货单”等都属于Data_DIK。Data_DIK无法保证正误，可能存在错误或不明确的Data_DIK。

Data_DIK可根据不同的分类标准进行分类，分类的一部分目的是探讨数据的相同性，相同性是一种无目的的语义，可以在数据字典的元素上进行评估，相同的程度可以被记录为结构或离散元素甚至特征的频率。一个Data_DIK的频数或价值标志着在某个观察维度上的相同存在，因此频数和对应频率也是Data_DIK的重要组成部分。

1.3、信息资源

信息资源用Information_DIK表示，由无数信息构成，被人理解、有上下文具体解释含义的内容可被称为信息资源Information_DIK。Information_DIK记录Data_DIK所代表的事物之间的互动，可用于挖掘、分析、表达不同Data_DIK之间的关联关系。

信息资源Information_DIK可从源头资源中分离得到，也可通过同模态、跨模态资源关联融合处理得到新的Information_DIK。例如不同Data_DIK之间产生关联，人类或计算机等对不同Data_DIK之间的关联情况进行分析，再经过人类或计算机的经验、知识、逻辑、训练等对关联进行理解，最后得到能够为特定目的提供有价值的内容，即Information_DIK。

数据和信息的关系是：信息是数据的内涵，是加载于数据之上，对数据作有含义的解释。Data_DIK是离散元素，在无上下文的情况下不具有任何意义，不同Data_DIK之间产生关联便是对Data_DIK的上下文情况进行补充解释，使Data_DIK变得可解释和有意义，此时有意义的Data_DIK便转化为新的Information_DIK。Data_DIK是符号，是物理性的，Information_DIK是对Data_DIK进行加工处理、关联表达之后所得到的能够对某些特定目的产生影响的内容，是逻辑性和观念性的。数据是信息的表现形式，信息是数据有意义的表示，若Information_DIK被记录，以某种载体表达，例如文字、图片等，仅仅关注载体本身或不联系上下文，则可将该Information_DIK视为Data_DIK，Data_DIK本身没有意义，只有产生关联、对实体行为产生影响时才成为Information_DIK。

1.4、知识资源

知识资源用Knowledge_DIK表示，由知识构成，Knowledge_DIK由Data_DIK和Information_DIK经过结构化、形式化的推导演绎得到，是基于概率计算或归纳、演绎或溯因推理构建的，它依赖于类型或类的完整性假设。

Knowledge_DIK在Information_DIK的基础上有了进一步的完善，Information_DIK主要表示的是个体层面，通常是单个实体与单个实体之间的关系，没有上升到群体或是相同类别。Knowledge_DIK在Information_DIK的基础上进行了归纳总结，表示了同一类型事物总体之间，或单个实体与某一类型事物群体之间的语义关系，是基于类型/类级别的完整性抽象关系。Knowledge_DIK可用于对未知或不存在的事物进行归纳或演绎。Knowledge_DIK包括人类对物质世界以及精神世界探索的结果总和，是一切人类总结归纳，并认为正确真实，可以指导解决实践问题的观点、经验、程序等内容，是从信息层面上总结凝练得到的。

Knowledge_DIK是理解、寻找挖掘、处理有意义的Data_DIK、Information_DIK的重要基础条件，Data_DIK、Information_DIK、Knowledge_DIK三种模态资源的互相转换离不开Knowledge_DIK的支撑和特定目标的驱动，结合Knowledge_DIK可以提高模态转换内容的正确率。

如果希望依靠Data_DIK、Information_DIK达成某些特定目的，例如完成一些合情推理和概率计算，大致步骤是对Data_DIK、Information_DIK的重复组合进行抽象，通过Knowledge_DIK的相关统计知识，可以建立概率假设的完备性语义，获得相关信息的概率，将概率作为预测推理的重要影响因素。除此外还可以假设重复模式中不完整或不存在部分的推理的完备性。由此获得的概率或逻辑知识，可被统一表示为关系，认为是Knowledge_DIK的重要组成部分。

在本申请实施例中公开了Data_DIK，Information_DIK和Knowledge_DIK三种模态的资源，但并不仅限于上述三种模态的资源。

基于此，本申请实施例公开了一种基于常识推理的跨数据、信息、知识模态的本质内容处理方法，具体流程图如图1所示，主要包括如下步骤：

S101：获取资源，并基于DIKW体系结构将所述资源映射为类型化资源。

在S101中，所述资源来自多个来源，所述类型化资源为资源基于DIKW模型进行映射得到的对应资源。该类型化资源包括数据模态、信息模态和知识模态至少三种资源模态。

S102：根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态。

在具体执行S103的过程中，结合上述本申请实施例公开的Data_DIK，Information_DIK和Knowledge_DIK三种模态的资源，该三种模态的资源可互相关联并进行融合转换。

所述跨模态关联融合包括：针对多种资源进行两两跨模态关联融合，得到对应的第二新资源。

S103：采用随机化对所述新资源进行隐私保护。

执行S101至S103，可完成对跨数据、信息、知识模态的本质内容的挖掘和保护。

在执行上述基于常识推理的跨数据、信息、知识模态的本质内容挖掘与保护方法的过程中，涉及同模态资源融合。

在具体执行S102的过程中，同模态关联，即为同模态资源融合转化。具体的融合转化过程包括如下步骤：

S201：判断两个同模态资源是否同时出现，若同时出现，则执行S202，若未同时出现，进行标记并退出。

S202：判断两个同模态资源是否具有关联，若具有关联，则执行S203，若不具有关联，进行标记并退出。

S203：对两个同模态资源进行初级关联融合，得到第一新资源，并根据所述第一新资源的不同用法确定所述第一新资源的模态。

在本申请实施例中Data_DIK，Information_DIK和Knowledge_DIK三种模态的资源可互相关联并进行融合转换。

鉴于Data_DIK，Information_DIK和Knowledge_DIK的具体内容和形式多变，为达到更加直观、具体的目的，以下对各种资源的关联融进行详细说明。

2.1、资源关联融合方法的介绍

2.1.1、两资源关联融合方法：

给定两个资源TR₁和TR₂，两资源关联融合形成新资源FinalTR的过程如下：

步骤一，用Appear(TR₁,TR₂)表示数据资源TR₁和TR₂同时出现，结果为TRUE时表示TR₁和TR₂在客观上同时出现，可能存在联系；结果为FALSE时表示TR₁和TR₂在客观上不同时出现，可能不存在联系。

步骤二，用ExistenceConfirmed(TR₁,TR₂)表示两资源存在关联，结果为TRUE时表示TR₁和TR₂存在关联联系；结果为FALSE时表示TR₁和TR₂不存在关联联系。

步骤三，在客观上同时出现且确认产生关联的两资源TR₁和TR2首先进行初级关联融合，即两资源直接通过函数Splicing()进行拼接，拼接方式为TR₁和TR2直接相连，得到新资源NewTRJunior，此时得到的NewTRJunior表示TR₁和TR2形成一一对应的映射关系，除此外无具体解释含义，只作为关联记录存在。可用Type()确定新资源的模态，若该资源根据不同的用法可被划分为不同模态，则在结果中用“+”连接不同模态，表示该资源根据不同的用法可被划分为哪几种模态。通常情况下：

Type(NewTR_Junior)＝Data_DIK+Information_DIK (5)

步骤四，对TR₁和TR₂进行中级关联融合，即根据人脑的知识经验、特定目的等对新资源进行理解和逻辑推理Handle()，确定处理方向，得到新资源NewTRMiddle。通常情况下：

Type(NewTR_Middle)＝Data_DIK+Information_DIK (6)

步骤五，对TR₁和TR₂进行高级关联融合，即在NewTRMiddle的基础上进行联想、扩展、具体计算等，最终得到新资源NewTRSenior。通常情况下:

Type(NewTR_Senior)＝Data_DIK+Information_DIK (7)

步骤六，不是所有资源关联融合都可到达高级关联融合阶段，具体关联融合阶段可根据特定目标、融合结果等决定，最终将资源所能进行的最高级关联融合得到的新资源看作最终结果FinalTR。

以下用一个简单的例子描述两资源关联融合过程。最简单的关联融合是两个Data_DIK进行关联融合。

例如Data1＝“李明”，Data2＝“24岁”，现已知Data1和Data2同时出现且产生关联，两数据直接进行拼接Splicing()，得到新资源NewTRJunior＝{“李明24岁”；“24岁李明”}，拼接过程可以省略，根据人脑的知识经验、特定目的等对新资源进行理解和逻辑推理Handle()，“李明”通常是一个名字，“24岁”通常指年龄，两者结合得到新资源NewTRMiddle＝“李明的年龄是24岁”，此时根据融合结果决定不再继续进一步融合，最终资源的模态是Data_DIK、Information_DIK，表示两个数据资源关联融合得到了数据、信息模态的新资源。整个过程可表示为：

2.1.2、多资源关联融合方法

若有n(n≥3)个资源同时出现且产生关联，即：

且这些资源均两两关联，要想从关联融合中获取或分析得到新资源，需要将已有资源两两配对后按上文提到的两资源关联融合方法进行融合，最终得到多资源融合结果，资源配对的方法如下：

方法一，将资源两两配对，配对方式不定，随机匹配，若一个资源A已与资源B配对，则不可再与其他资源配对，配对成功即认为两资源产生关联，对关联进行分析形成融合资源FinalTR，FinalTR本身可以作为新的资源进行下一轮匹配，若在一轮配对过程中有资源无配对，则在此轮配对中不进行配对，顺延到下一轮配对中和新资源进行新一轮配对。

例如：

现在要对资源进行匹配，关联融合得到新资源，步骤为：

(1)第一轮匹配：随机匹配结果为：

Match₁＝(Data₁,Data₃),

Match₂＝(Data₂,Data₄) (10)

关联分析过程省略，对应得到的新资源为：

(2)第二轮匹配：

关联分析过程省略，对应得到的新资源为：

即以上不同的四个数据资源最终关联得出的新资源为“李明喜欢的运动是打篮球，喜欢的水果是苹果”，新资源可被认为是数据模态和信息模态。

方法二，将资源进行编号，编号方式可自行规定，第一个资源和第二个资源进行匹配，关联融合得到的新资源作为新的资源和第三个数据进行匹配，以此类推得到最终资源，用上个例子中的数据资源进行模拟：

第一轮：

第二轮

(3)第三轮：

以上两种方法阐述匹配关联融合的原理，在实际运用中可灵活使用，并且对于同时出现且互相关联的资源个数n较少时，关联融合可不进行拆分匹配关联，可直接对离散资源同时进行理解和逻辑推理，如上例就可直接理解成“李明喜欢篮球和苹果”，再细化一点就是“李明喜欢的运动是打篮球，喜欢的水果是苹果”，即可得到新资源。

2.2、Data_DIK与Data_DIK融合

同模态资源融合以两个Data_DIK关联融合为例进行详细介绍。

将不同的数据模态资源Data_DIK按某种划分标准进行分类，分类后的Data_DIK关联融合过程中可采取不同操作，获得不同的资源以达到某种目标。为清晰准确地描述出不同种类的Data_DIK关联融合的可进行的处理操作和可能取得的结果，以具体实例进行介绍。

2.2.1、Data_DIK划分标准举例：

最基础的数据表现形式有数值型和字符型，字符型在这里是指除了数值以外的所有字符，部分分类要求如下：

标量数据Data_Scalar，指一个单独的字符串Data_ScalarString、数字Data_ScalarNumber或两者的混合形态Data_ScalarMix，比如“北京”这个单独的词，284这个单独的数字，“国道285”这个混合形态的标量数据。

Data_Scalar:＝<Data_ScalarString,

Data_ScalarNumber,Data_ScalarMix> (17)

标量数据中的数字可不具有明确的数值含义，仅仅表示一个数值，用Data_ScalarNumber表示，也可表示只考虑大小而无需考虑方向的一些物理量的数值大小，例如路程长短、做功的大小、质量的大小，这些数值具有明确的含义，不仅能分类而且能测量出具体大小和差异，其表现形式可以只是数值，其含义是作为标签或类别来解释划分的，例如做功大小数据集合Data_EnergyMagnitude:＝<20>，20是个数字，但它存在于Data_{Energy Magnitude}集合中，便拥有了明确的含义。也可以通过一个同时含有字符串和数字的混合形态Data_ScalarMix来表现，例如Data＝“做功大小20N”，两种表现方法解释的含义等价，但通常会把标签或类别形式的表现方法转化为字符串和数字的混合形态的表现方法，更易于人们理解和处理，用Data_ScalarMix表示。Data_ScalarMix在做只考虑大小而无需考虑方向的一些物理量理解时，也可将其看作为Information_DIK，是字符串和数字关联得到的新的NewTR。

矢量数据Data_Vector指：

①在直角坐标中用x、y、z坐标或经纬度表示地理实体的位置，一般用一个坐标对(x,y)或(x,y,z)来表示，尽可能地将地理实体的空间位置表现得准确无误，用Data_VectorSite表示；

②表示地图图形或地理实体的形状，形状包括线或多边形等，用Data_VectorShape表示。Data_VectorShape是由i(i≥2)个坐标点(x,y)或(x,y,z)组成的集合，集合可看作是多个Data_VectorSite进行关联融合、不断补充得到的。线作为点之间的连线，用一系列坐标对来表达线的转折位置，在程序中依据点连接成线；多边形与线的区别是多边形是首尾相连的线，因此与线的表达方式相同，也用一系列转折位置的坐标表示，其最后一个坐标与首点坐标相同。

③表示特定用户的地理行动轨迹，即特定用户去过的具体地理位置坐标点集合；规定矢量数据集合中的坐标顺序严格按照特定用户行动轨迹记录，不可随意修改转换坐标的顺序，第一个坐标表示特定用户的出发点，最后一个坐标表示特定用户的目的地，用Data_VectorTrace表示，可由表示特定用户的Data_ScalarString和Data_VectorShape关联得到。

④表示既有大小又有方向的物理量，用Data_{VectorDirection}表示。在选定测量单位后，除用数字表示其大小外，还需用一定的方向才能说明性质，例如力和位移都是矢量，方向对于它们而言非常重要，数字表示它们的大小，方向进一步说明了它们的性质。方向是用含有两个坐标点的坐标集合表示，方向是从第一个坐标点是指向第二个坐标点。可由Data_ScalarMix和Data_VectorSite关联得到。

范围数据Data_Range，通常是一个区间，区间内的值可以是连续的也可以是离散的，取值只能是已定义区间中的值。

连续范围数据Data_{RangeContinuous}是指在一定区间内可以任意取值的Data_Range，通常是数值型，其取值是可以连续不断的，相邻两个数值可作无限分割，即可取无限个数值；例如：生产零件的规格尺寸，人体测量的身高、体重、胸围等为连续范围数据，其数值只能用测量或计量的方法取得。

离散范围数据Data_{RangeDiscrete}是指在一定区间内可以取的值是有限的、受到某种限制的Data_Range，可以是数值型，也可以是字符串型；数值型离散范围数据Data_{RangeDiscreteNum}是指那些只能用自然数或整数单位计算的区间取值，例如：企业个数、职工人数、设备台数等，只能按计量单位数计数，这种变量的数值一般用计数方法取得，以及也包括那些在区间内已经设定好可以取的数值数据，例如布尔值只能取0和1；字符串型离散范围数据Data_{RangeDiscreteStr}是指取值区间内的值均是字符串型，例如数据集{“高”，“中”，“低”}；Data_{RangeDiscreteStr}也可看做顺序数据，说明事物的有序类别，顺序数据之间虽然可以比较程度大小，却无法计算相互之间的大小、高低或优劣的距离，除非将其转化为数值形式的标量数据Data_ScalarNumber，按照标量数据处理的方式进行大小、高低或优劣的比较。

以上分类只能处理部分数据资源，并且某些Data_DIK可被分类到不止一个类中，若同一个Data_DIK被分到不同类中，则它和其他Data_DIK、Information_DIK、Knowledge_DIK融合的方式和结果也会产生差异。

2.2.2、不同Data_DIK关联融合

为达到更加直观、具体的目的，在这里用标量数据Data_Scalar和包括其本身类型的三种类型数据进行关联融合，作为实例进行演示，用符号∪表示融合，融合过程参考上述1.1中所述的内容，在这里不再赘述。

1.Data_Scalar∪Data_Scalar

(1)Data_ScalarString∪Data_ScalarNumber

①形成一一对应关系，用数字来指代字符串内容，或是用字符串表示数字，例如：Data_ScalarNumber＝110000，Data_ScalarString＝“北京”，融合后可以得到新资源NewTR＝“用110000来指代‘北京’”，此时NewTR中既有数字又有字符串，属于Data_ScalarMix。此种情形还包括对变量的赋值，例如为逻辑变量赋值，Data_ScalarNumber＝1，Data_ScalarString＝“A是逻辑变量”,融合后NewTR＝“逻辑变量A＝1”，表示逻辑变量A被赋值1。

Type(NewTR)＝Data_DIK+Information_DIK (18)

②Data_ScalarString是用来解释Data_ScalarNumber是指哪一方面的数字，表示其大小，可以使数值具有明确的数值含义，例如Data_ScalarNumber＝220，Data_ScalarString＝“做功大小”，两者融合关联得到NewTR＝“做功大小为220N”，此时NewTR中既有数字又有字符串，可划分为Data_ScalarMix。

Type(NewTR)＝Data_DIK+Information_DIK (19)

(2)Data_ScalarString∪Data_ScalarString

①形成一一对应关系，用一个字符串来指代另一个字符串的内容，例如Data_{ScalarString1}＝“p”,Data_{ScalarString2}＝“正在下雨”，融合得到NewTR＝“p：正在下雨”。

Type(NewTR)＝Data_DIK+Information_DIK (20)

②对Data_DIK进行初、中、高级关联融合得到不同的新资源。初级关联融合的结果是拼接形成一个作为关联记录存在，没有明确意义或解释的资源NewTRJunior，例如

Data_{ScalarString1}＝“一棵树”

Data_{ScalarString2}＝“白云山”

NewTR_Junior＝{“一棵树白云山”，

“白云山一棵树”} (21)

进行中级关联融合，即根据人脑的知识经验、特定目的等对新数据进行理解和逻辑推理Handle()，确定处理方向，得到新资源NewTR_Middle，例如对NewTR_Junior进行逻辑思考，与已有的逻辑推理判断“山上有树”结合可形成新的NewTR_Middle1＝“白云山上有一棵树”，或与已有的逻辑推理判断“山上的树”结合形成NewTR_Middle1＝“白云山上的一棵树”。

进行高级关联融合，在NewTR_Middle的基础上进行联想，可得到NewTR_Senior＝“白云山有很多树”。逻辑思考、处理的方式不同，得到的新资源也不同，因此数据融合得到的资源数量不固定。

Type(NewTR)＝Data_DIK+Information_DIK (22)

(3)Data_ScalarNumber∪Data_ScalarNumber

Data_ScalarNumber都是无明确数值含义的数字，仅仅作为数字被考虑，关联融合可以正常进行数学运算(加减乘除、交换律、结合律、分配律等)，计算出相应运算结果作为NewTR。

Type(NewTR)＝Data_DIK+Information_DIK (23)

(4)Data_ScalarNumber∪Data_ScalarMix

Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑，Data_ScalarMix是只考虑大小而无需考虑方向的一些物理量，里面的数字有明确的数值含义，可以在经过人脑思考和计算机处理等操作的处理后将其看作是Information_DIK，因此此种融合情况也可看作是Data_DIK和Information_DIK跨模态融合的情形。

Data_ScalarNumber∪Data_ScalarMix

＝Data_ScalarNumber∪Information_DIK (24)

在此种情形下，融合无法进行加减运算，但可进行乘除运算，即将Data_ScalarNumber作为乘数和除数，再与Data_ScalarMix中的数字相乘除，运算后的数据意为几倍的Data_ScalarMix。例如

其中，TakingNumber()是从资源中取出数值的函数，结合逻辑推理判断，运算结果意为“3袋大米重30kg”。

Type(NewTR)＝Data_DIK+Information_DIK (26)

(5)Data_ScalarMix∪Data_ScalarMix

Data_ScalarMix和Data_ScalarMix都是数值和字符串的混合形态，指有明确的数值含义，只考虑大小而无需考虑方向的物理量时，在经过人脑思考和计算机处理等操作的处理后可以将Data_ScalarMix1和Data_ScalarMix2看作是Information_DIK。此种融合情况可看作是Data_DIK和Data_DIK、Information_DIK和Information_DIK同模态融合、Data_DIK和Informatiion_DIK跨模态融合的情形。

Data_ScalarMix∪Data_ScalarMix

＝Data_ScalarMix∪Information_DIK

＝Information_DIK∪Information_DIK (27)

①当Data_ScalarMix1和Data_ScalarMix2的数值含义相同时，即两者表达同一种属性或性质时，可进行加减计算，表示事物加减，例如Data_ScalarMix1＝“大米重10kg”，Data_ScalarMix2＝“大米重20kg”，混合类型数据的数值含义均是指大米的重量，可以进行加减计算，即

TakingNumber(Data_ScalarMix1)+TakingNumber(Data_ScalarMix2)＝10+20＝30，意为“大米重30kg”；数值含义相同时，无法进行乘法运算，但可以进行除法运算，表达出数据的差异倍数，例如Data_ScalarMix1＝“大米重10kg”，

Data_ScalarMix2＝“大米重20kg”，

TakingNumber(Data_ScalarMix1)/TakingNumber(Data_ScalarMix2)＝10/20＝0.5，表示Data_ScalarMix1表示的大小是Data_ScalarMix2的0.5倍。

Type(NewTR)＝Data_DIK+Information_DIK (28)

②若Data_ScalarMix的数值含义不同，数据含义表达为完全不同的种类，例如Data_ScalarMix1＝“大米重10kg”，Data_ScalarMix2＝“面重20kg”，则关联融合可通过加减乘除表示两数据数值上的差异，例如对Data_ScalarMix1和Data_ScalarMix2做减运算，可得到NewTR＝“大米比面轻10kg”。

若数据含义不同，但可以为同一个目的做出价值贡献且本质分类相同，则可以结合逻辑常识或知识进行加减乘除等数学计算，例如Data_ScalarMix1＝“长方形区域A的长为10米”，Data_ScalarMix2＝“长方形区域A的宽为6米”，这两个Data_ScalarMix可为测量一块长方形区域的面积大小做出价值贡献且本质分类均为长度数值，结合逻辑常识或知识“长方形的面积＝长*宽”进行运算，可得出新的资源，NewTR＝“长方形区域A的面积为60m2”，此时计算得出的新标量数据含义本质性质已发生改变。

Type(NewTR)＝Data_DIK+Information_DIK (29)

(6)Data_ScalarString∪Data_ScalarMix

Data_ScalarString是一个单独的字符串，Data_ScalarMix里面的数值是指只考虑大小而无需考虑方向的，有明确的数值含义，此种融合情况也可看作是Data_DIK和Information_DIK跨模态融合的情形。

Data_ScalarString∪Data_ScalarMix

＝Information_DIK∪Information_DIK (30)

两者进行关联融合的可能情形是Data_ScalarString对Data_ScalarMix里面的描述对象进行完善补充，例如Data_ScalarString＝“重力”，Data_ScalarMix＝“做功大小200N”，关联形成的NewTR＝“重力做功大小为200N”。

Type(NewTR)＝Data_DIK+Information_DIK (31)

2.Data_Scalar∪Data_Vector

(1)Data_Scalar∪Data_VectorSite

①Data_ScalarNumber∪Data_VectorSite、Data_ScalarString∪Data_VectorSite

Data_ScalarNumber是无明确数值含义的数字，Data_ScalarNumber和Data_VectorSite的关联融合可以将Data_ScalarNumber作为Data_VectorSite所代表的的地理位置的代码或代号，例如Data_ScalarNumber＝01，Data_VectorSite＝(116°E，40°N)，NewTR＝“用01代表地理位置(116°E，40°N)”，此时Data_ScalarNumber和Data_VectorSite形成一一对应映射关系。Data_ScalarString∪Data_VectorSite同理。

Type(NewTR)＝Data_DIK+Information_DIK (32)

②Data_ScalarMix∪Data_VectorSite

当Data_ScalarMix里面的数字和字符串两者无具体解释和关联，即不表示只考虑大小而无需考虑方向的物理量时，Data_ScalarMix和Data_VectorSite的融合关联可以认为是为Data_VectorSite添加混合形态的代码或代号，例如DataScalar-Mix“A01”,DataVector。

＝(116°E，40°N),两数据融合就是可用“A01”表示坐标(116°E，40°N)，形成一一对应的关系。

Type(NewTR)＝Data_DIK+Information_DIK (33)

Data_ScalarMix里面的数字有明确的数值含义，Data_ScalarMix和Data_VectorSite的关联融合可以让Data_VectorSite作为一种地理位置方面的资源补充，使事件描述更加具体，例如Data_ScalarMix＝“做功20N”，Data_VectorSite＝(1,2)，得到NewTR＝“在坐标点(1,2)处做功20N”。

Type(NewTR)＝Data_DIK+Information_DIK (34)

(2)Data_Scalar∪Data_VectorShape

①Data_ScalarNumber∪Data_VectorShape、Data_ScalarString∪Data_VectorShape

将Data_ScalarNumber和Data_{Scalar-String}作为Data_VectorShape所代表的地图图形或地理实体形状的代码或代号，形成一一对应映射关系。

Type(NewTR)＝Data_DIK+Information_DIK (35)

②Data_ScalarMix∪Data_VectorShape

当Data_ScalarMix里面的数字和字符串两者无具体解释和关联，即不表示只考虑大小而无需考虑方向的物理量时，融合关联可以认为是为Data_Vector添加混合形态的代码或代号，形成一一对应的关系。

Type(NewTR)＝Data_DIK+Information_DIK (36)

Data_ScalarMix里面的数字有明确的数值含义时，融合关联可以让Data_VectorShape作为一种地图图形或地理实体的形状的资源补充，使事件描述更加具体，例如Data_Scalar-Mix＝“比例尺为1:100”，

DataVectorShape＝{(0,0),(0,200),(200,100),(0,100),(0,0)}，得到NewTR＝“区域地图{(0,0),(0,200),(200,100),(0,100),(0,0)}的比例尺为1:100”。

Type(NewTR)＝Data_DIK+Information_DIK (37)

(3)Data_Scalar∪Data_VectorTrace

①Data_{Scalar-Number}∪Data_VectorTrace

Data_ScalarNumber是无明确数值含义的数字，关联融合可以将Data_ScalarNumber作为Data_VectorTrace所代表的特定用户地理行动轨迹的代码或代号，形成一一对应映射关系。

Type(NewTR)＝Data_DIK+Information_DIK (38)

Data_ScalarNumber是无明确数值含义的数字，关联融合可以将Data_ScalarNumber作为Data_VectorTrace所代表的特定用户地理行动轨迹的出现数量，也就是频数。此种融合情况可看作是Data_DIK和Data_DIK同模态融合、Data_DIK和Information_DIK、Knowledge_DIK跨模态融合的情形。

Data_ScalarNumber∪Data_VectorTrace

＝Data_DIK∪Information_DIK∪Knowledge_DIK (39)

例如：Data_VectorTrace＝{(0,0),(0,200),(200,150)，(300,300),(0,0)}表示特定用户的地理行动轨迹，Data_ScalarNumber＝20，关联融合NewTR＝“该特定用户地理行动轨迹为(0,0)→(0,200)→(200,150)→(300,300)→(0,0)，且该轨迹出现次数为20”。

若已知特定用户的多个地理行动轨迹及其出现的次数，可在Knowledge_DIK统计知识的支持下计算出不同信息轨迹出现的概率，以此作为参考，可以预测出同一个主体的可能轨迹选择，即预测推理出特定用户的行动轨迹。

Type(NewTR)＝Data_DIK+Information_DIK (40)

②Data_ScalarString∪Data_VectorTrace

关联融合首先可以将Data_ScalarString作为Data_VectorTrace所代表的特定用户地理行动轨迹的代码或代号，形成一一对应映射关系。

当Data_ScalarString和Data_VectorTrace与已有的信息或逻辑推理判断结合，即对两数据进行进一步的理解和关联，使其具有具体解释和意义、有具体的指代时，关联融合结果可以是形成新的信息或对已有的资源进行补充解释，为特定目标提供更多有价值的信息，例如Data_ScalarString＝“购物商场A”，Data_VectorTrace＝{(0,0),(0,200),(200,100),(0,100),(0,0)}，NewTR＝“特定人员在购物商场A的地理行动轨迹为(0,0)→(0,200)→(200,100)→(0,100)→(0,0)”。

Type(NewTR)＝Data_DIK+Information_DIK (41)

③Data_ScalarMix∪Data_VectorTrace

当Data_ScalarMix里面的数字和字符串两者无具体解释和关联，即不表示只考虑大小而无需考虑方向的物理量时，关联融合可以认为是为Data_VectorTrace添加混合形态的代码或代号，形成一一对应的关系。

Type(NewTR)＝Data_DIK+Information_DIK (42)

Data_ScalarMix里面的数字有明确的数值含义，关联融合可以让Data_VectorTrace作为一种地理位置、行动轨迹方面的资源补充，使事件描述更加具体，例如Data_ScalarMix＝“做功200N”，Data_VectorTrace＝{(0,0),(0,2)}，NewTR＝“特定用户的行动轨迹为从坐标点(0,0)出发至(0,2)，并且做功200N”。

Type(NewTR)＝Data_DIK+Information_DIK (43)

(4)Data_Scalar∪Data_{VectorDirection}

①Data_ScalarNumber∪Data_{VectorDirection}

当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，关联融合无法进行加减运算，但可进行乘除运算，即将Data_ScalarNumber作为乘数和除数，再与有明确数值含义的Data_{VectorDirection}相乘除，两数据融合后的数据和信息意为几倍的Data_{VectorDirection}。此种融合情况也可看作是Data_DIK和Information_DIK跨模态融合的情形。

Data_ScalarNumber∪Data_{VectorDirection}

＝Data_DIK∪Information_DIK

Type(NewTR)＝Data_DIK+Information_DIK (44)

②Data_ScalarString∪Data_{VectorDirection}

Data_ScalarString和Data_{VectorDirection}的关联融合首先可以将Data_ScalarString作为Data_{VectorDirection}所代表的一种既有大小又有方向的物理量的代码或代号，形成一一对应映射关系。

Type(NewTR)＝Data_DIK+Information_DIK (45)

Data_ScalarString和Data_{VectorDirection}的关联融合也可以是对既有大小又有方向的物理量添加主体或客体，添加主体表示是该主体做的行为，添加客体表示是对该客体做的行为，例如Data_ScalarString＝“李明”，Data_{VectorDirection}＝{(0,0),(1,1),“力的大小为150N”}，关联融合理解为对物理量添加主体时，得到的NewTR＝“李明施加了一个大小为150N，方向为(0,0)指向(1,1)的力”，理解为对物理量添加客体时，NewTR＝“李明被施加了一个大小为150N，方向为(0,0)指向(1,1)的力”。

以上两种融合情况也可看作是Information_DIK和Information_DIK同模态融合、Data_DIK和Information_DIK跨模态融合的情形。

Data_ScalarString∪Data_{VectorDirection}

＝Data_DIK∪Information_DIK

＝Information_DIK∪Information_DIK

Type(NewTR)＝Data_DIK+Information_DIK (46)

③Data_ScalarMix∪DataVector_Direction

当Data_ScalarMix里面的数字和字符串两者无具体解释和关联，即不表示只考虑大小而无需考虑方向的物理量时，关联融合可以认为是为Data_{VectorDirection}添加混合形态的代码或代号，形成一一对应的关系。

Type(NewTR)＝Data_DIK+Information_DIK (47)

当Data_ScalarMix里面的数字和字符串关联有具体的解释，表示只考虑大小而无需考虑方向的物理量时，联系相关Knowledge_DIK，可进行相关计算得到NewTR，例如Data_ScalarMix＝“时间为1小时”，Data_{VectorDirection}＝{(0,0),(1,1),“速度的大小为150km/h”}，此时根据知识“路程＝速度*时间”可进行计算得到NewTR＝“计算得到的路程为150KM”。此融合情况也可看作是Data_DIK、Information_DIK和Knowledge_DIK跨模态融合的情形。

Data_ScalarMix∪Data_{VectorDirection}

＝Data_DIK∪Information_DIK∪Knowledge_DIK

Type(NewTR)＝Data_DIK+Information_DIK (48)

以上是对Data_DIK和Data_DIK关联融合的部分可能情形进行解释说明。

在具体执行S103的过程中，跨模态关联，即为跨模态资源融合转化。具体的融合转化过程包括如下步骤：

S301：将多个资源两两进行配对。

S302：将配对后的资源进行两资源关联融合，得到多个新资源。

S303：将新资源两两进行两资源关联融合，直至得到最终资源。

3.1、数据模态资源与信息模态资源融合转化

3.1.1、Data_DIK∪Information_DIK＝NewTR,Type(NewTR)＝Data_DIK

不考虑Data_DIK和Information_DIK本身的含义和具体解释，将Information_DIK整体看作一个数据，直接与Data_DIK进行拼接，拼接形成NewTR。

3.1.2、Data_DIK∪Information_DIK＝NewTR,Type(NewTR)＝Data_DIK+Information_DIK

为了更加准确、清晰地介绍此类融合情形，以特定目的为介绍方向进行举例分析。

(1)形成对应关系

不考虑Data_DIK和Information_DIK本身的含义和具体解释，则Data_DIK可与Information_DIK形成对应关系。例如Data_DIK＝“A01”，Information_DIK＝“特定人员做功20J”，Data_DIK和Information_DIK关联融合形成的NewTR＝“用A01表示特定人员做功20J”，此时Data_DIK和Information_DIK形成一一对应的映射关系。

若新Data_DIK和NewTR继续融合，例如Data_DIK＝013，NewTR＝“用A01表示特定人员做功20J”，两者关联融合的结果为：可以用013表示信息“用A01表示特定人员做功20J”，此时产生一条指代链，在某种程度上可以使表达更加简洁，甚至起到了一定的保密作用，若指代链中任一指代发生错误，就无法找到最初指代内容。

(2)总结匹配

若考虑Data_DIK和Information_DIK本身的含义和具体解释，且Data_DIK本身的含义经过逻辑判断等发现与Information_DIK的含义关联密切，密切关联包括：Data_DIK是Information_DIK中存在的内容或者是可以表现出Information_DIK的主要内容、或将主要内容按某些规则进行分类等，则此时Data_DIK可与Information_DIK进行关联融合，最终Data_DIK是Information_DIK的总结。例如Data_DIK＝“年龄”，Information_DIK＝“小明今年23岁”，在此例中Information_DIK的主要内容是“小明”、“今年”、“23岁”，Data_DIK＝“年龄”可以表现出Information_DIK的主要内容，此时两者可进行关联融合，Data_DIK是Information_DIK的总结，可以形成匹配。

Information_DIK的主要内容获取方法：利用分词算法将Information_DIK进行分解，分解成不同的Data_DIK，同时对Information_DIK和Data_DIK进行语义理解、逻辑推理或是根据某些规则进行总结和分类，最终得到Information_DIK的主要内容。

(3)相关数值计算

含有数值的Data_DIK包括Data_Scalar(Data_ScalarNumber、Data_SCalarMix)、Data_Vector(Data_VectorSite、Data_VectorShape、Data_VectorTrace、Data_{VectorDirection})、Data_Range(Data_{RangeContinuous}、Data_{RangeDiscreteNum})，含有数值的Information_DIK主要指其中存在数字，此时含有数字的Information_DIK经过人脑理解后，使数字也具有了解释含义，实际运用中也可将含有数值的Information_DIK看作较为复杂的Data_Mix，此时Data_DIK∪Information_DIK就转变成了Data_DIK∪Data_Mix。

Information_DIK按特定目的、功能等可被分类，特定目的或功能除可以被人脑、计算机等理解处理后得到外，也可参考Information_DIK中存在内容的所属功能、类型等得到。

Information_DIK中出现的数字常常有以下几种用途：①作为符号使用，此时Information_DIK用Information_Symbol表示，无明确数值含义，通常与Information_DIK中其他内容关系密切，表示对应关系，此时也可与字符串混合，一同表示某实体的代码或代号；②作为数值使用，有明确数值含义，表示只考虑大小而无需考虑方向的一些量，用Information_Scalar表示；若Information_DIK中数值和方向一同出现，可以表示一些既考虑大小又考虑方向的物理量和向量，用Information_Vector表示。③作为时间使用，有明确的数值含义，表示较为具体的时间时，用Information_TimeConcrete表示，指能够具体表示到某个时间点或某个具体日期的数字，表示较为模糊的时间时用Information_TimeFuzzy表示，通常与其他字符一起出现表达一段时间。④作为坐标出现，表示某个实体的具体位置，用Information_Coordinate表示，若出现一系列多个坐标，表达某种地理行动轨迹、某实体形状或其他时，用Information_Trace表示。⑤作为范围的一种表达，包括连续范围Information_Continuous和离散范围Information_Discrete。⑥作为具体函数的表达，用Information_Function表示。

数值计算主要针对含有数值的Data_DIK和Information_DIK:

①当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，与Information_Scalar进行融合，可与Information_Scalar中的数值进行加减乘除运算。当进行加减运算时，Data_ScalarNumber和Information_Scalar中的数值直接进行加减，得到的新数值其具体解释含义为Information_Scalar中数值的解释含义，例如：Data_ScalarNumber＝50，Information_Scalar＝“特定人员做功20J”，Data_ScalarNumber和Information_Scalar进行加运算，即Data_ScalarNumber+TakingNumber(Information_Scalar)＝50+20＝70，最终得到的NewTR＝“特定人员做功70J”，减运算同理。当进行乘除运算时，将Data_ScalarNumber作为乘数和除数，再与Information_Scalar中的数字相乘除，两数据融合后的数据意为几倍大小的Information_Scalar，例如Data_ScalarNumber＝5，Information_Scalar＝“特定人员做功20N”，DataScalar_Number和Information_Scalar进行乘运算，最终得到的收到NewTR＝“特定人员做功100J”，除运算同理，NewTR的模态是Data_DIK、Information_DIK。

当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，与Information_Vector进行融合，可与Information_Scalar中的数值进行加减乘除运算，相关方向不做改变。当进行加减运算时，Data_ScalarNumber和Information_Vector中的数值直接进行加减，得到的新数值其具体解释含义为Information_Vector中数值的解释含义，例如Data_ScalarNumber＝50，Information_Vector＝“存在一个大小为150N，方向为从(0,0)指向(1,1)的力”，Data_ScalarNumber和Information_Vector进行加运算，即Data_ScalarNumber+TakingNumber(Information_Vector)＝50+150＝200，最终得到的NewTR＝“存在一个大小为200N，方向为从(0,0)指向(1,1)的力”，减运算同理。当进行乘除运算时，将Data_ScalarNumber作为乘数和除数，再与Information_Vector中的数字相乘除，两数据融合后的数据意为几倍大小的Information_Vector，例如Data_ScalarNumber＝5，Information_Vector＝“存在一个大小为150N，方向为从(0,0)指向(1,1)的力”，DataScalar_Number和Information_Vector进行乘运算，即Data_ScalarNumber*TakingNumber(Information_Vector)＝5*150＝750，最终得到的NewTR意为5倍大小的Information_Vector，NewTR＝“存在一个大小为750N，方向为从(0,0)指向(1,1)的力”，除运算同理。NewTR的模态是Data_DIK、Information_DIK。

②当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，Information_TimeConcrete是某个可以具体到年月日时分秒的时间点，Data_ScalarNumber与Information_TimeConcrete进行融合，可进行时间相关的加减计算，其中还涉及一些关于时间的逻辑转换，由于Data_ScalarNumber只是个数字，没有具体解释，因此进行加减计算时无法确定Data_ScalarNumber是和Information_DIK中具体时间的哪个时间层级进行计算，真正进行融合计算时会给Data_ScalarNumber赋予具体解释含义，此处时间层级如年、月、日等，与Information_TimeConcrete中相应时间层级的数字进行计算得到的结果可以联系Information_TimeConcrete的具体解释，继续逻辑推理假设得到新的数据和信息，例如Data_ScalarNumber＝23，Information_TimeConcrete＝“小明在2020年8月21日过生日”，若Data_ScalarNumber和Information_TimeConcrete进行减运算，TakingNumber(Information_TimeConcrete)-Data_ScalarNumber有三种结果分别是：当Data_ScalarNumber表示年时，2020-23＝1997，与已有的Information_TimeConcrete联系，再经过一些联想，得到NewTR＝“小明的出生日期是1997年8月21日”。当Data_ScalarNumber表示月时，8-23＝-15＝-12-3，与已有的Information_TimeConcrete联系，经过一些联想和逻辑推理，得到NewTR＝“小明将在2018年5月21日的23个月后过生日”＝NewData。当Data_ScalarNumber表示日时，21-23＝-2，与已有的Information_TimeConcrete联系，经过一些联想和逻辑推理，得到NewTR＝“小明将在2020年7月29日的23天后过生日”。进行加运算同理。无法进行乘除运算。NewTR的模态是Data_DIK、Information_DIK。

当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，Information_TimeFuzzy是某个比较模糊的时间，通常指一段时间，Data_ScalarNumber与Information_TimeFuzzy进行融合，可进行时间相关的加减乘除计算，由于Data_ScalarNumber只是个数字，没有具体解释，因此真正进行融合计算时会给Data_ScalarNumber赋予具体解释含义，包括小时、分钟等，与Information_TimeFuzzy中相应时间层级的数字进行计算，得到的结果可以联系Information_TimeFuzzy的具体解释，继续逻辑推理假设得到新的数据和信息。Data_ScalarNumber与Information_TimeFuzzy进行加减运算时，例如：Data_ScalarNumber＝3，Information_TimeFuzzy＝“小明每天工作4小时”，Data_ScalarNumber+TakingNumber(Information_TimeFuzzy)＝3+4＝7，得到NewTR＝“小明每天工作7小时”，减运算同理。Data_ScalarNumber与Information_TimeFuzzy进行乘除运算时，Data_ScalarNumber表示Information_TimeFuzzy中所表达的一段时间的倍数和除数，例如：Data_ScalarNumber＝3，Information_TimeFuzzy＝“小明每天工作4小时”，Data_ScalarNumber*TakingNumber(Information_TimeFuzzy)＝3*4＝12，得到NewTR＝“小明每天工作12小时”，除运算同理。NewTR的模态是Data_DIK、Information_DIK。

③当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，Information_Function包括具体函数表达式，Data_ScalarNumber与Information_Function进行融合，可进行相关代值计算，若Information_Function中的函数表达式中只有一个未知数x，则Data_ScalarNumber可直接作为该未知数x的取值被代入函数表达式进行计算，若Information_Function中的函数表达式f(x,y,...)中未知数个数大于1,，则进行计算时就需要相同个数的Data_ScalarNumber与未知数一一对应，计算时按Data_ScalarNumber的出现次序对应于不同未知数，最终得到一个结果作为NewTR。举例1：Data_ScalarNumber＝30,Information_Function＝“绩点计算公式：f(x)＝0.8x+2.5”,Data_ScalarNumber与Information_Function进行融合结果为：f(30)＝0.8*30+2.5＝26.5，NewTR＝“当x＝30时，相应绩点f(x)为26.5”。举例2：Data_{ScalarNumber1}＝30，Data_{ScalarNumber2}＝2，Data_{ScalarNumber3}＝3，Information_Function＝“收益计算公式：f(x,y,z)＝0.8x+2.5y-0.5z2”，Data_ScalarNumber与Information_Function进行融合结果为：f(30,2,3)＝0.8*30+2.5*2-0.5*32＝24.5，NewTR＝“当x＝30，y＝2，z＝3时，相应收益f(x,y,z)为24.5”。NewTR的模态是Data_DIK、Information_DIK。

④当Data_ScalarMix是数值和字符串的混合形态，有明确的数值含义，在经过人脑思考和计算机处理等操作的处理后可以将Data_ScalarMix看作是Information_DIK，因此Data_ScalarMix和Information_DIK跨模态融合情形也可看作是Information_DIK和Information_DIK同模态融合情形。

Data_ScalarMix和Information_Scalar可进行加减运算，前提条件是Data_ScalarMix和Information_DIK两者表达同一种属性或性质，即表达主体是相同的，例如Data_ScalarMix＝“大米重10kg”，Information_Scalar＝“已有大米30kg”，两者进行关联融合，首先进行主体分析，两者表达主体均为大米重量，可进行加减计算，加减计算表示添加减少，

TakingNumber(Data_Scalar-Mix)+TakingNumber(Information_Scalar)＝10+30＝40，表示在已有大米的基础上添加10kg的大米，得到NewTR＝“现有大米40kg”，减计算同理。表达主体相同时，无法进行乘法运算，但可以进行除法运算，表达出两者的差异倍数，例如Data_ScalarMix＝“大米重10kg”，Information_Scalar＝“原有20kg的大米”，

TakingNumber(Data_Scalar-Mix)/TakingNumber(Information_Scalar)＝10/20＝0.5，Data_ScalarMix表示的大小是Information_Scalar的0.5倍，NewTR＝“大米重量为原有的0.5倍”。NewTR的模态是Data_DIK、Information_DIK。

若Data_ScalarMix和Information_Scalar的数值含义不同，数值含义表达为完全不同的种类，例如Data_ScalarMix＝“大米重10kg”，Information_Scalar＝“面重20kg”，则关联融合可通过加减乘除表示两数据数值上的差异，例如对Data_ScalarMix和Information_Scalar做减运算，可得到NewTR＝“大米比面轻10kg”；若数值含义不同，但可以为同一个目的做出价值贡献且本质分类相同，则可以结合逻辑常识或知识进行加减乘除等数学计算，例如DataScalar_Mix＝“长方形区域A的长为10米”，Information_Scalar＝“长方形区域A的宽为6米”，这两者可为测量一块长方形区域的面积大小做出价值贡献且本质分类均为长度数值，结合逻辑常识或知识“长方形的面积＝长*宽”，可得NewTR＝“长方形区域A的面积为60m2”，此时计算得出的新信息和数据含义本质性质已发生改变。

⑤当Data_Vector有明确的数值含义，表示既有大小又有方向的物理量，在经过人脑思考和计算机处理等操作的处理后可以将Data_Vector看作是Information_DIK，因此Data_Vector和Information_DIK跨模态融合情形也可看作是Information_DIK和Information_DIK同模态融合情形。

Information_Vector里面存在数值，数值的含义为既有大小又有方向的物理量或向量，则可以根据一些公式与Data_Vector进行某些运算，例如已知同方向做功公式为

公式也是Information_DIK，Data_Vector＝{(0,0),(1,1),“力的大小为150N”}，Information_Vector＝“在(0,0)指向(1,1)方向上前进5米”，此时Data_Vector和Information_DIK融合，首先进行方向分析匹配，发现方向一致可以根据公式进行计算，得到NewTR＝“在(0,0)指向(1,1)方向上力做功750J”。NewTR的模态是Data_DIK、Information_DIK。

(4)补充细节

当Data_DIK和Information_DIK都有明确的含义时，若Data_DIK和InformationDIK所表达的细节标签不一致，则两者进行关联融合可以补充相关细节，为特定目标或预测推理提供了有价值的资源，例如Data_Time＝“2020年8月27日”，Information_DIK＝“小明和家人出发去旅游”，两者关联融合得到的NewTR＝“小明和家人于2020年8月27日出发去旅游”，在此例中Data_DIK和Information_DIK所表达的细节内容不一致，Data_DIK给Information_DIK增添了时间标签，使得Information_DIK的描述更加具体。当Data_DIK内容较为复杂，被人脑等理解后，Data_DIK就转化成了Information_DIK，因此此种融合也可看作是Information_DIK和Information_DIK同模态融合情形。

(5)逻辑计算

逻辑表达式中含有的基本的操作符有：“非”

“与”(∧)、“或”(∨)、“条件”(→)以及“双条件”

“非”是一个一元操作符，它只操作一项

其余是二元操作符，操作两项来组成复杂语句(P∧Q,P∨Q,P→Q,

):

①当Data_ScalarMix表示逻辑变量的赋值，Information_Function是由逻辑量(包括变量与常量)和基本逻辑运算符所构成的逻辑表达式，Data_ScalarMix和Information_Function关联融合可进行相关逻辑计算，逻辑变量的赋值情形也可看作是Information_DIK，逻辑表达式被看作Data_DIK，两者关联融合仍为Data_DIK和Information_DIK跨模态情形。此种融合情形也可以看作是Information_DIK和Information_DIK同模态融合情形。

例如：Data_ScalarMix＝“A＝1，B＝0”，Information_Function＝“逻辑表达式

”，两者融合逻辑计算得到f＝1，即NewTR＝“当A＝1，B＝0，逻辑表达式

的结果为逻辑1”。

②当Data_ScalarString表示逻辑变量的赋值，Information_Function是逻辑表达式，Data_ScalarString和Information_Function关联融合可进行相关逻辑计算，Data_ScalarString也可被理解为Information_DIK，此种融合情形也可以看作是Information_DIK和Information_DIK同模态融合情形。例如：Data_ScalarString＝“P＝True，Q＝False”，Information_Function＝“逻辑表达式

”，两者融合逻辑计算得到f＝True，即NewTR＝“当P＝True，Q＝False时，逻辑表达式

的结果为True”。

(6)构建复合语句或复合命题

①当Data_{ScalarString1}和Data_{ScalarString2}形成一一对应关系，用一个字符串来指代另一个字符串的内容，形成的新资源按形式可分类到Data_{Scalar-String}，Information_Function是逻辑表达式，Data_ScalarString和Information_Function关联融合可进行相关一元操作符构建复合语句或复合命题，逻辑变量的赋值情形也可看作是Information_DIK，逻辑表达式被看作Data_DIK，两者关联融合仍为Data_DIK和Information_DIK跨模态情形。Data_ScalarString也可被理解为Information_DIK，此种融合情形也可以看作是Information_DIK和Information_DIK同模态融合情形。例如：Data_ScalarString＝“P：正在下雨”，Information_Function＝“逻辑表达式

”，两者融合逻辑计算得到NewTR＝“f：现在没有下雨”。

②当Data_{ScalarString1}和Data_{ScalarString2}形成一一对应关系，用一个字符串来指代另一个字符串的内容，形成的NewData按形式可分类到Data_ScalarString，Data_ScalarString和Information_Function关联融合可进行相关二元操作符构建复合语句或复合命题，Data_ScalarString中需要出现两个指代情形，Data_ScalarString也可被理解为Information_DIK，Information_Function也可被看作Data_DIK，此种融合情形可以看作是Information_DIK和Information_DIK同模态融合、Data_DIK和Information_DIK跨模态情形情形。例如：Data_ScalarString＝“P：正在下雨；Q：我在屋里”，Information_Function＝“逻辑表达式f:P∧Q”，两者融合逻辑计算得到NewTR＝“f：正在下雨，并且我在屋里”；若Information_Function＝“逻辑表达式f:P→Q”，得到NewTR＝“f：如果正在下雨，那么我在屋里”。

(7)逻辑推理

逻辑推理是指由一个或几个已知的判断推导出另外一个新的判断的思维形式，一切推理都必须由前提和结论两部分组成。作为推理依据的已知判断称为前提，所推导出的新的判断则称为结论。推理大体分为直接推理和间接推理。

①直接推理是指只有一个前提的推理，包括根据直言命题的对当关系进行的推理，如从“所有S是P”推出“并非有S不是P”，从“并非有S是P”推出“所有S不是P”等。

当Data_DIK是相关离散数据，无上下文，Information_DIK里包含直接推理的语句模板，模板内可以改变的内容用字符等代替，Data_DIK和Information_DIK关联融合可以进行直接推理，但Information_DIK中的模板表示前提的部分出现多少个可改变的内容就需要多少个离散的Data_DIK与之一一对应，例如：Information_DIK＝“所有S是P，则并非有S不是P”，模板前提部分中有两处可替换，所以需要两个离散Data_DIK与之对应，Data1＝“小学生”，Data2＝“未成年人”，Data_DIK和Information_DIK关联融合得到NewTR＝“所有小学生是未成年人，则并非有小学生不是未成年人”。

当Data_DIK是一个逻辑推理的前提，Information_DIK里包含各种直接推理的语句模板，模板中可替换内容用字符等表示，Data_DIK和Information_DIK关联融合，可以将Data_DIK和Information_DIK里包含的各种模板进行匹配对应，匹配对应成功后按模板产生推导结论，此种情形Data_DIK也可被看作Information_DIK，因此融合也可看作Information_DIK和Information_DIK同模态融合。例如：Data_DIK＝“并非有小学生是成年人”，Information_DIK＝“(1)所有S是P，则并非有S不是P；(2)并非有S是P，则所有S不是P”，Data_DIK和Information_DIK关联融合，首先进行Data_DIK和模板的匹配对应，对应成功后产生推导结论NewTR＝“所有小学生不是成年人”。

②间接推理是指一般有两个或两个以上前提的推理，又可以分为演绎推理、归纳推理和类比推理等三种形式。

演绎推理：是指从一般性的前提和特殊性前提得出了特殊性的结论的推理。当Data1和Data2是无上下文的数据，进行关联融合需要分析两数据是否存在关联联系，分析联系需从Data_DIK本身蕴含的解释入手，此时Data_DIK经过人脑等理解后可以看作Information_DIK，只有当两个Data_DIK的具体解释均围绕同一个内容时，才可同时作为此次逻辑推理的前提条件，并且关联融合时需分析出两个前提条件哪个是一般性的，哪个是特殊性的，通常情况下一般性前提所指代的情形范围比特殊性前提所指代的情形范围大，且特殊性前提通常会具体到某个实体或事件等。为了得到具体某个实体或事件等的推理结果，融合最初的Data_DIK和已经确定前提的Information_DIK，逻辑推理出相关特殊性结论。

例如：Data1＝“贪赃枉法的人必定会受到惩罚的”，Data2＝“李明一贯贪赃枉法”，经分析发现Data1和Data2存在关联，且Data1可作为一般性前提，Data2可作为特殊性前提，融合并且进行逻辑推理后得到NewTR＝“李明必然会受到惩罚”。

归纳推理：是指从个别到一般，即从特殊性的前提推出普遍的一般的结论的推理。一般情况下，归纳推理可分为完全归纳推理和简单枚举归纳推理。

完全归纳推理是指根据某一类事物中的每一个别事物都具有某种性质，推出该类事物普遍具有这种性质的结论。运用这种方法，要求所列举的前提必须完全，不然推导出的结论会产生错误。若多个Data_DIK均属于同一类，是该类的不同事物都具有某种性质，也可被看作Information_DIK，且另外存在Information_DIK将Data_DIK所述的类别及其所包含的不同事物做具体解释，则Data_DIK和Information_DIK可进行关联融合，归纳推理出结论，此种情形也可看作Information_DIK和Information_DIK同模态融合。另外存在的Information_DIK通常是对某种类别所属的事物做阐释，具有一定的科学性，可上升为Knowledge_DIK，因此此情形也可看作Data_DIK、Information_DIK、Knowledge_DIK跨模态融合。

例如：已知Data1＝“在奴隶社会里文学艺术有阶级性”，Data2＝“在封建社会里文学艺术有阶级性”，Data3＝“在资本主义社会里文学艺术有阶级性”，Data4＝“在社会主义社会里文学艺术有阶级性”，Information_DIK＝“奴隶社会、封建社会、资本主义社会、社会主义社会这四种社会形态构成了整个阶级社会”，分析Data_DIK的具体解释含义，发现四个数据的解释均属于同一类，且具有相同性质，Information_DIK详细阐述了此类别所属的事物，发现Data_DIK全部提及，因此Data_DIK可作为前提进行完全归纳推理，得到NewTR＝“在阶级社会里，文学艺术是有阶级性的”＝NewData。

简单枚举归纳推理是指根据同一类事物中部分事物都具有某种性质，从而推出该类事物普遍具有这种性质的结论。这是一种不完全归纳推理，通常只考察了某类事物中部分对象的性质就得出了结论，所以结论的可信性较低。一般为了提高简单枚举归纳推理所得出的结论的可信性，要列举前提的数量尽可能多，考察个别对象数量越多，结论的可信性、正确性越高。若存在多个离散Data_DIK，经观察发现这些Data_DIK均具有某种相同的性质，也可被看作Information_DIK，且另外存在Information_DIK说明Data_DIK均是同一类事物的部分事物，则Data_DIK和Information_DIK可进行关联融合，归纳推理出结论，结论通常说明该类事物具有特定性质，此种情形也可看作Information_DIK和Information_DIK同模态融合。说明一类事物包含哪些元素的Information_DIK也可被看作为Knowledge_DIK，因此该情形也可看作Data_DIK、Information_DIK、Knowledge_DIK跨模态融合。例如：Data1＝“金导电”，Data2＝“银导电”，Data3＝“铜导电”，Data4＝“铁导电”，Data5＝“铝导电”，Data6＝“锡导电”，经观察发现这些Data_DIK均可导电，存在Information_DIK＝“金属包括金、银、铜、铁、铝、锡等”，Data_DIK和Information_DIK关联融合，归纳推理出NewTR＝“一切金属都导电”。因为列举出的前提不完整，因此推理得到的结论并非完全正确。

类比推理：是指从特殊性的前提得出特殊性的结论的推理。一般情况下，类比推理根据两个事物的某些属性上的相同，推出这两个事物在其他属性上也相同的结论。类比推理可以提供假设，启发人们思考问题，找出规律或事物本质等。由于类比推理的结论是一种或然性的判断，它的可信性和可信程度一般决定于两个类比对象共有性质之间的联系程度，一般来说，若类比现象的相同性质越多，则结论的可信程度越大，并且以类比对象的本质属性而不是一些表面现象为根据进行类比，其结论的可信性越大。若存在不同Data_DIK，对其进行理解分析后发现不同的Data_DIK在某些属性上是相同的，此时Data_DIK可被看作Information_DIK，该情形也可以认为是Information_DIK和Information_DIK同模态融合。Data_DIK在描述某些事物具有某些本质属性时，可以被认为是Knowledge_DIK，因此该情形也可看作是Data_DIK、Information_DIK、Knowledge_DIK跨模态融合。例如：Data1＝“在动物和植物中发现细胞”，Data2＝“植物细胞中发现了细胞核”，推理结果NewTR＝“动物细胞中有细胞核”。后经实验发现动物细胞确实含有细胞核，说明逻辑推理结果正确，类比推理是产生新知识的重要方法之一。

(8)检测判断取值是否满足相关条件

若存在Data_DIK给定一个取值，Information_DIK说明相关取值要求，要求可能是一个取值空间、不等式等，Data_DIK和Information_DIK关联融合后可以按照相关要求对Data_DIK的取值进行判断，得到新的Information_DIK作为判断结果，判断结果只有两个可能，它们相互对立不兼容，例如满足和不满足。例如：当Data_ScalarNumber是无明确数值含义的数字，仅仅作为数字被考虑时，Information_{RangeContinuous}表示含有数值型连续范围区间的信息，Information_{RangeDiscreteNum}表示含有数值型离散范围区间的信息，Data_ScalarNumber与Information_{RangeContinuous}或Information_{RangeDiscreteNum}进行融合，除了进行加减乘除计算表示范围变化外，也可将Data_ScalarNumber与Information_{RangeContinuous}或Information_{RangeDiscreteNum}中的数值区间进行比较，判断Data_ScalarNumber是否在范围区间并且满足相关要求，例如Data_ScalarNumber＝156.3，Information_{RangeContinuous}＝“招聘要求身高范围为[155,190]”,Information_{RangeDiscreteNum}＝“招聘人数范围为[100,200]”,Data_ScalarNumber和两信息进行融合，结果NewTR1＝“156.3在招聘要求身高范围区间，满足相关要求”，NewTR2＝“156.3在区间内，但不符合相关要求”。

(9)预测推理

特定人员面对一特定问题或情形时，若已知所有解决方法或可能发生的情形以及每种方法、情形出现的概率大小，在特定人员再次面对相同的问题或情形时，可预测推理出该特定人员最有可能的选择。

采集总结：若达到预测推理的目的，首先需要针对该特定问题或情形采集总结所有解决方法或可能发生的情形，利用Knowledge_DIK统计知识统计出面对特定问题不同选择的出现次数，次数相加即为该特定问题出现的总数，以上结果都可以用Data_DIK表示；

频率计算：所有解决方法或可能相关情形的发生次数与该特定问题出现的总数相除，即可得到频率，表示人员面对该特定问题或情形，采取不同方法的可能性，同样属于Data_DIK；

预测推理：存在Information_DIK，理解分析得到该Information_DIK表示该特定人员再次面对特定问题或情形，则此时Data_DIK可与Information_DIK做关联融合，采用Knowledge_DIK相关统计知识进行计算或是通过Information_DIK中提到的判决计算公式进行计算，得到该特定人员最有可能的选择为最大出现频率所对应的解决方法或可能情形，完成预测推理过程。因为Data_DIK被人理解后也可作为Information_DIK，所以该情形也可认为是Information_DIK和Information_DIK同模态融合情形和Data_DIK、Information_DIK、Knowledge_DIK混模态融合情形。例如：Data1＝“小明午饭选择吃米饭或者面条，一周内选择吃米饭的次数为5次，选择吃面条的次数为2次”，Data2＝“小明午饭选择吃米饭的频率为5/7，吃面条的概率为2/7”，Information_DIK＝“小明午饭选择吃什么”，两者关联融合，比较所有可能选择的概率，发现吃米饭的概率大，因此最终得到NewTR＝“预测小明午饭选择吃米饭”，完成预测推理。

3.1.3、Data_DIK∪Information_DIK＝NewTR,Type(NewTR)＝Data_DIK+Information_DIK+Knowledge_DIK

Knowledge_DIK是由Data_DIK和Information_DIK经过结构化、形式化的推导演绎得到的，是基于概率计算或归纳、演绎或溯因推理构建的，它依赖于类型或类的完整性假设。若对Data_DIK、Information_DIK进行基于概率计算、归纳、演绎或溯因推理等操作进行归纳总结和抽象，将内容上升到群体层面，表示同一类型事物总体之间，或单个实体与某一类型事物群体之间的关系，构成基于类型/类级别的完整性抽象关系，此时Data_DIK、Information_DIK就成为了Knowledge_DIK，Knowledge_DIK由于载体、表现形式等不同也可被看作Data_DIK、Information_DIK。

3.2、数据模态资源与知识模态资源融合转化

3.2.1、Data_DIK∪Knowledge_DIK＝NewTR,Type(NewTR)＝Data_DIK

不考虑Data_DIK和Knowledge_DIK本身的含义和具体解释，将Knowledge_DIK的整体直接与Data_DIK进行拼接，拼接形成两个新数据。

3.2.2、Data_DIK∪Knowledge_DIK＝NewTR,Type(NewTR)＝Data_DIK+Information_DIK

Data_DIK∪Information_DIK∪Knowledge_DIK＝NewTR，Type(NewTR)＝Data_DIK+Information_DIK

考虑Data_DIK和Knowledge_DIK本身的含义和具体解释，Knowledge_DIK和Data_DIK的关联融合主要是用已有的Knowledge_DIK来对该Data_DIK进行理解，从而完成计算、对比匹配、逻辑推理等特定目的，具体融合过程可参考上文。由于三种模态的资源可互相转化，因此此种情形也可看作Information_DIK和Information_DIK同模态融合和Data_DIK、Information_DIK、Knowledge_DIK混模态融合情形。

3.3、信息模态资源与知识模态资源融合转化

3.3.1、Information_DIK∪Knowledge_DIK＝NewTR,Type(NewTR)＝Data_DIK

不考虑Information_DIK和Knowledge_DIK本身的含义和具体解释，将Knowledge_DIK的整体直接与Information_DIK进行拼接，拼接形成两个新数据。

3.3.2、Data_DIK∪Knowledge_DIK＝NewTR,Type(NewTR)＝Data_DIK+Information_DIK

考虑Information_DIK和Knowledge_DIK本身的含义和具体解释，Knowledge_DIK和Information_DIK的关联融合主要是用已有的Knowledge_DIK来对该Information_DIK进行理解，从而完成计算、对比匹配、逻辑推理等特定目的，具体融合过程可参考上文。由于三种模态的资源可互相转化，因此此种情形也可看作Information_DIK和Information_DIK同模态融合和Data_DIK、Information_DIK、Knowledge_DIK混模态融合情形。

3.3.3、Data_DIK∪Knowledge_DIK＝NewTR,Type(NewTR)＝Data_DIK+Information_DIK+Knowledge_DIK

若考虑Information_DIK和Knowledge_DIK本身的含义和具体解释，Information_DIK是对相关Knowledge_DIK的内容补充或经过严密推理证明被认为是正确可行的相关材料，则Information_DIK和Knowledge_DIK的关联融合可以产生新的Knowledge_DIK，此种情形也可看作Information_DIK和Information_DIK同模态融合和Data_DIK、Information_DIK、Knowledge_DIK混模态融合情形。

3.4、数据模态资源、信息模态资源与知识模态资源融合转化

3.4.1、Data_DIK∪Information_DIK∪Knowledge_DIK＝NewTR,

Type(NewTR)＝Data_DIK

不考虑Data_DIK、Information_DIK和Knowledge_DIK本身的含义和具体解释，将其均视为整体，三个整体直接互相进行拼接，形成的NewData_DIK只作为拼接记录，无具体含义和解释。

3.4.2、Data_DIK∪Information_DIK∪Knowledge_DIK＝NewTR,

Type(NewTR)＝Data_DIK+Information_DIK

此种融合情形通常表示采用Knowledge_DIK对相关问题进行解答、解决某些问题，没有对Knowledge_DIK进行扩充，或是未产生与被利用的Knowledge_DIK完全不同的新知识，或是未在不同领域使用该Knowledge_DIK并得到相关结论。

3.4.3、Data_DIK∪Information_DIK∪Knowledge_DIK＝NewTR,

Type(NewTR)＝Data_DIK+Information_DIK+NewKnowledge_DIK

此种融合情形通常表示采用Knowledge_DIK对相关问题进行解答、解决某些问题，并且对Knowledge_DIK进行扩充，或是产生了全新的、与被利用的Knowledge_DIK相比完全不同的新知识，或是将该Knowledge_DIK运用到了不同领域并且得到相关结论。

在具体执行S103的过程中，具体采用随机化对所述新资源进行隐私保护的过程为：基于差分方式将所述新资源映射至类型化资源上，并采用对应的隐私保护方式对所述新资源进行隐私保护。

在本申请实施例中，针对大数据环境下从多个来源积累的大量内容资源的处理和保护需求问题，将不完整、不完全正确的资源类型化处理为数据模态Data_DIK、信息模态Information_DIK和知识模态Knowledge_DIK的资源，并从同模态和跨模态资源关联融合角度解释说明不同资源之间可能存在的联系，以及能够达到诸如互相补充、预测推理、完整描述特定目标等目的，并用一些实例更加清晰地表达。最后将差分思想映射到Data_DIK上，采用全类型化维度表达法表达某个特定目标，将Data_DIK按规定分为内涵资源Data_Con和外延资源Data_Ex，从内涵、外延角度阐释隐私，提供量化隐私暴露程度的方法，并提出采用随机化对Data_DIK进行隐私保护。下一步将继续提升同模态、跨模态关联融合的抽象层次，并将差分思想映射到Information_DIK和Knowledge_DIK上，并提供对应隐私保护方法。

针对数据资源差分，基于差分概念将新资源映射至数据资源上，采用全类型化维度表达法表达某个特定目标，将Data_DIK按规定分为内涵资源Data_Con和外延资源DataEx，从内涵、外延角度阐释隐私，并提供量化提供支持程度、隐私暴露程度的方法，采用随机化对Data_DIK进行隐私保护。具体说明如下：

5.1、在全类型化维度上表达特定目标

若想清晰地表达一个目的或目标Data_DIK，例如表达一个观察到的事物Data_DIK，需要其他Data_DIK对其进行定义、补充、解释，从不同维度进行度量，并且在一定程度上，这些Data_DIK往往同时出现并互相关联融合，可以将它们视为一个整体的Data_DIK。全类型化维度表达方法希望从多个不重复、多角度的维度将特定目标清晰描述，尽量做到全面、全方位。将这些不重复、多角度的全类型化维度进行体系整理，即体系化，可增强描述维度的完整性，同时也可提高对应和整理Data_DIK的效率。

全类型化维度描述紧紧围绕特定目标，因此需要将关于特定目标的大量资源进行组织汇总，全类型化维度体系规定可将已有资源分为内涵角度描述和外延角度描述，得到的每一种不同的描述都可认为是一种维度，因此将此种描述方法称为全类型化维度描述法。对特定目标进行具体描述时，可从单内涵角度或单外延角度进行描述，以及从内涵和外延混合角度进行更加具体的阐述。从Data_DIK角度说明就是找到特定目标Data_Purpose的有关Data_DIK，将Data_DIK按规定分为内涵资源Data_Con和外延资源Data_Ex，用符号表示为：

Data_Purpose:<Data_Con,Data_Ex>. (49)

规定内涵资源Data_Con和外延资源Data_Ex均不重复，进行划分后每一个Data_DIK都可作为一个描述维度。对内涵资源Data_Con和外延资源Data_Ex进行关联融合，可唯一确定特定目标。

接下来介绍内涵资源Data_Con和外延资源Data_Ex划分依据和规定。

5.1.1、内涵资源Data_Con

可归属于内涵角度的Data_DIK即Data_Con应能反映Data_Purpose的特有属性及其对应属性值，属性包括特征和功能，特征是静态的属性，具体指那些稳定的、不容易改变的Data_DIK，可用TH_S表示；功能是动态的属性，属性值可能会随着时间等因素改变而发生改变，可用TH_D表示，

Data_Con:<TH_S,TH_D>. (50)

联系一个或多个特有属性可以对该Data_Purpose进行介绍说明，并将该Data_Purpose与其他Data_Purpose区分开来，若在不知Data_Purpose的前提下将一个或多个不同的特有属性关联起来，可对Data_Purpose进行大致的猜测和推理，若特有属性个数足量、描述也足够具体，有很大可能识别、确认出该Data_Purpose。例如Data_Purpose1＝“人”，则能反映Data_Purpose的特有属性有“能制造和使用工具”、“有语言和文字”、“有思维”等，均属于静态属性，将一个或多个特有属性关联起来，有很大可能推测出DataPurpose。

Data_Con:<TH_S:“能制造和使用工具”,

“有语言和文字”,“有思维”> (51)

确定Data_DIK属于Data_Con的具体方法如下：

对Data_DIK进行分析，发现其中含有直接提出某些Data_DIK作为属性的说明，例如Data_DIK＝“货币的属性是价值尺度和流通手段”，则Data_Purpose＝“货币”的内涵属性就应包括“价值尺度”和“流通手段”，将其作为Data_Con；

将介绍解释该Data_Purpose的Data_DIK中频繁出现的某些Data_DIK，即频繁项作为属性，例如在介绍Data_Purpose＝“李明”时，分析统计已有的Data_DIK，发现频繁出现Data_DIK＝“大学生”，将其作为属性，但若存在大量Data_DIK支撑说明或存在Information_DIK和Knowledge_DIK说明该属性存在继承关系，如“大学生”存在继承关系，是“学生”的子类，此时可灵活地将该由频繁项构成的属性的继承关系作为属性划分为Data_Con，例如Data_Con:<TH_S:“学生(大学生)”>，层次顺序由括号分级，括号内是括号外属性的子类，同级间用逗号隔开。

5.1.2、外延资源Data_EX

外延资源Data_Ex通常是指：①那些具有Data_Purpose所反映的特有属性的其他目标实体Entity_A；②能回答、解释Data_Purpose本身或其适用范围的相关Data_DIK；③与Data_Purpose本身有关的，或Data_Purpose所反映的特有属性的相关统计值Data_DIK。例如Data_Purpose＝“人”的外延，就包括：①具有能制造和使用生产工具、有语言、有思维这些特有属性的事物，如曹操、李白等具体的人，也可以是中国人、美国人等不具体、抽象的人；②含有人的各种图像、视频等，可以用来介绍“人”这个Data_Purpose；③全球人口总数等相关统计值。

若在不知Data_Purpose的前提下将已有的一个或多个Data_Ex关联起来进行比对，找出共同点，通过共同点可进行对Data_Purpose的大致猜测，若已有的Data_Ex个数足量、相同点也足够清晰具体，则有很大可能将该Data_Purpose和其他Data_Purpose区分开来，最终识别、确认出该Data_Purpose。

进一步地，区分内涵资源和外延资源的方法也可应用到上文提到的诸如“中国人”等具有Data_Purpose所反映的特有属性的新目标实体Entity_A1上，此时新目标实体的Data_Con表示其所拥有的属性，这些属性与前面提及的“人”的内涵资源所包含的属性相比，完全相同或在原有属性的基础上添加了其他不同的属性。此添加属性的过程与面向对象方法中的对象继承方法相似，是将原Data_Purpose与对象继承体系里面的“父类”对应，新实体与对象继承体系里面的“子类”对应，“子类”在继承“父类”属性的基础上进行增加和延展。新实体Entity_A1的外延可以是对新实体现拥有属性的具体介绍说明，也可以是拥有新实体所反映的特有属性的其他实体Entity_ABi，或能回答、解释新实体本身或其适用范围的相关Data_DIK。以此类推，可构建出一个网络，说明各个Data_Purpose的属性关联等联系。

若同时已知关于某个Data_Purpose的Data_Con和Data_Ex，则将两类资源关联融合起来，可以更加准确、快速地识别出Data_Purpose，比单单依靠Data_Con或Data_Ex进行识别的效率更高，因为Data_Ex本身就是在Data_Con的概括凝练上进行的一种延展，若仅仅依靠Data_Ex进行Data_Purpose的推理识别，则需要对Data_Ex进行对比进而找到某些相同点，所花费的时间、精力等代价很高，效率较低。

5.2、Data_DIK上的隐私

在具体生活实践中，隐私通常被理解为“单个用户的某一些属性”，也就是说，如果是一群用户的某一些属性，那么可以不看做隐私。因此，从隐私保护的角度来说，隐私的主体是单个用户，只有牵涉到某个特定用户的某一些属性才叫隐私泄露，发布群体用户的信息，例如均值等统计数据，则不算泄露隐私，所以很多数据拥有者会选择发布一些群体用户的统计信息，供数据请求者学习和使用。

对于用户来说，归属于隐私的属性因人而异，应具体分析。

若将此概念迁移到Data_DIK并从内涵、外延角度阐释隐私，则可分为两种情形：

(1)若已知目标Data_DIK(即Data_Purpose)代表某个具体用户。

此时将有关Data_Purpose的所有Data_DIK按照要求分为Data_Con和Data_Ex，Data_Con是能反映Data_Purpose的特有属性及其对应属性值，此时特定用户认为Data_Con的部分属性及其对应属性值是隐私，用Data_CP表示，另一部分属性及其属性值不属于隐私，用Data_CU表示，即：

Data_Con:<Data_CP,Data_CU> (52)

由于Data_Ex与Data_Purpose本身及其特有属性联系紧密，因此：

①当Data_Ex是具有Data_Purpose所反映的包含特有隐私属性Data_CP的其他目标实体时，Data_Ex可被认为是Data_Purpose的隐私；若Data_Ex是具有Data_Purpose所反映的特有非隐私属性Data_CU的其他目标实体时，Data_Ex可被他人得知，不属于Data_Purpose的隐私；

②当Data_Ex是能回答、解释Data_Purpose本身或其适用范围的相关Data_DIK时，对Data_Ex进行分析，若Data_Ex与特有隐私属性Data_CP有关，则认为该Data_Ex是Data_Purpose的隐私，不可直接公布；若Data_Ex与特有隐私属性Data_CP无关，则Data_Ex不是Data_Purpose的隐私，可进行公布；

③当Data_Ex是与Data_Purpose本身有关或是Data_Purpose所反映的特有属性的相关统计值Data_DIK时，对Data_Ex进行分析，若Data_Ex与Data_CP有关，则认为该Data_Ex是Data_Purpose的隐私，不可直接公布；若Data_Ex与无关，则Data_Ex不是Data_Purpose的隐私，可进行公布。

综上所述，当已知目标Data_DIK即Data_Purpose代表某个具体用户时，确定该用户的部分属性Data_CP属于隐私，则与Data_CP有关的所有Data_Ex均属于隐私，不可直接向外公布，需要通过某些操作进行隐私保护。

(2)若不知目标Data_DIK(即Data_Purpose)代表某个具体用户。

相关资源已分化为Data_Con和Data_Ex，但未将Data_Con和Data_Ex与Data_Purpose关联起来，此时将Data_Purpose设定为隐私，即不希望数据请求者通过将Data_Con和Data_Ex进行关联融合的方法准确、高效地推测出Data_Purpose。

5.3、量化提供支持度、隐私暴露程度

全类型化维度表达方法可将特定目标描述清晰，即将特定目标相关Data_DIK分化为Data_Con和Data_Ex，综合各个不同维度的描述，可以达到清晰地表达特定目标的目的，但不同的Data_Con和Data_Ex对描述特定目标所能提供的支持不同，提供支持的程度可用提供支持度Degree_Support进行度量，Degree_Support差异表现在：①同属于内涵资源的不同Data_Con之间；②同属于外延资源的不同Data_Ex之间；③内涵资源与外延资源之间，以上资源之间均存在提供支持度差异。

若某些Data_Con或Data_Ex能为识别出特定目标Data_Purpose提供大量支持，也就是说，若数据请求者已知这些Data_Con或Data_Ex，可以花费较少的代价，较为轻易地通过这些Data_Con或Data_Ex，迅速、准确地将Data_Purpose识别锁定，并且与那些提供支持度小的Data_Con或Data_Ex相比，进行关联推理识别锁定Data_Purpose的效率更快、准确度更高。理解“提供支持度大小”可参考信息论中的信息量定义，提供的支持度越大，所含的与特定Data_Purpose有关的消息就越多，识别锁定Data_Purpose的不确定性就越小。

同理进行逆向思考，每个Data_Con或Data_Ex都包含特定Data_Purpose的有关消息，有关消息的多少程度可用提供支持度Degree_Support进行度量，而在不知Data_Purpose的具体隐私条件下，特定Data_Purpose的有关消息可能包含Data_Purpose的隐私。那么，含有较多特定Data_Purpose有关消息的Data_Con或Data_Ex比那些含有较少特定Data_Purpose有关消息的Data_Con或Data_Ex有更高的可能含有Data_Purpose的隐私，即Degree_Support较大的Data_Con或Data_Ex更容易存在Data_Purpose的隐私内容，若数据拥有者将这些Data_Con或Data_Ex进行直接发布，则Data_Purpose的隐私暴露程度高，隐私暴露程度可用隐私暴露度Degree_exposure进行度量。

对提供支持程度和隐私暴露程度进行度量得到直观的数值结果能够更好地分析识别特定目标过程和隐私暴露过程，为更有效率、准确地识别特定目标，以及减少隐私暴露提供理论依据。

由于提供支持度Degree_Support计算和隐私暴露度Degree_exposure计算是方向相反、出发点和目标点互换的两个过程，计算Degree_Support的出发点是已知与特定目标Data_Purpose有关的不同Data_Con和Data_Ex，目标点是识别出特定目标Data_Purpose；计算Degree_exposure的出发点是已知特定目标Data_Purpose，目标点是得到有关Data_Purpose的相关可能隐私Data_Con和Data_Ex，因此计算得到的Degree_Support和Degree_exposure数值可认为相等，即：

Degree_Support＝Degree_Exposure. (53)

以下提供计算多个不同Data_DIK关联融合为识别出特定目标Data_Purpose，计算提供的总支持度AllDegree_Support的一种方法，作为一种参考。

输入：所有与特定目标DataPurpose有关的不同Data_Con和Data_Ex。

输出：同时出现用以关联推理的多个不同Data_DIK提供的总支持度AllDegree_Support。

步骤一，对归属于Data_Con中的不同属性Data_Coni(i＝1,...,n,n为不同属性总数)进行分配来源分析，来源有两种，分别为：

(1)Data_DIK中含有直接提出某些Data_DIK作为属性的说明，将此种属性记为Attr1；

(2)将频繁项作为属性，将此种属性记为Attr2。另将具有对应属性值的属性记为Attr3，是Attr1和Attr2的延伸。以上三种属性类型不互斥，可同时存在，即存在属性同时属于Attr1、Attr2、Attr3中的两种及以上类型，规定用逻辑1表示该Data_Coni属于此属性种类，用逻辑0表示该Data_DIK不属于此属性种类。

步骤二，面对归属于Data_Con中一个具体Data_Coni，结合Data_DIK的属性种类，确定提供支持度Degree_Support计算公式中的权重值，总公式为：

Degree_Support(Data_Coni)＝α·f(Data_Coni)+β·g(Data_Coni)+γ·h(Data_Coni) (54)

其中，α+β＝1，α、β、γ分别对应表示种类为Attr1、Attr2、Attr3的属性对描述特定目标所能提供的支持权重，当Attr1＝Attr3＝1时，γ＝α，当Attr2＝Attr3＝1时，γ＝β。默认通常情况下种类为Attr1的属性对描述特定目标所能提供的支持大于种类为Attr2的属性提供的支持，因此α>β，在此基础上根据实际设定权重。

步骤三，对所有的Data_Coni进行Degree_Support计算得到对应提供支持度，相关公式如下：

frequency(Data_Coni)表示Data_Coni作为频繁项出现的频数。

ratio(Data_Coni)表示与属性Data_Coni的具体属性值相同的Data_Purpose个数与Data_Purpose总数之比，若Data_Ex中不存在相关统计值或提供的统计值不完整，则该比率值为0。

步骤四，对归属于Data_Ex中的不同内容Data_Exj(j＝1,...,m,m为不同记录总数)进行提供支持度计算，有关公式如下：

Degree_Support(Data_Exj)＝β·frequency(Data_Exj) (58)

得到所有Data_Exj的对应提供支持度。

步骤五，在具体应用时计算同时出现用以关联推理的多个不同Data_DIK提供的总支持度AllDegree_Support，也就是将同时出现用以关联推理的Data_Coni和Data_Exj对应的支持度值相加，得到总支持度AllDegree_Support。

步骤六，对比不同关联方案的总支持度AllDegree_Support，进行排序，最小的AllDegree_Support对应关联方案最难推理得到特定目标，同时也意味着隐私暴露程度最小。

5.4、数据差分

存在一种情形是不同数据请求者对同一个Data_Purpose的相关Data_Con和Data_Ex掌握情况不同，并且只存在一条Data_DIK的差异，除了这条Data_DIK，数据请求者对其余所有Data_DIK的掌握情况都相同。通过掌握存在差异的Data_DIK，希望能够达成以下目标：(1)识别确认出该特定Data_Purpose；(2)猜测推理出该差异Data_DIK。

可通过分别计算在存在一条Data_DIK的差异情况下的两种关联方案对应的总支持度，将存在该差异Data_DIK关联方案对应的总支持度记为AllDegree_Support1，将不存在该差异Data_DIK的关联方案对应的总支持度记为AllDegree_Support2，两结果进行相差计算，得到的结果即为该差异Data_DIK为识别出特定目标Data_Purpose提供的支持度Degree_Support(Data_DIK)，即：

Degree_Support(Data_DIK)＝AllDegree_Support1-AllDegree_Support2 (59)

记Degree_Support(Data_DIK)与AllDegree_Support1之比为支持度占比Proportion(Data_DIK)，表示该差异Data_DIK所提供的的支持度占关联方案总支持度的多少，若关联方案中存在的不同Data_DIK个数为N，当Proportion(Data_DIK)>1/N时，说明该差异Data_DIK可以为识别特定目标提供较大的支撑，缺少这一条差异Data_DIK对识别特定目标Data_Purpose影响较大，同时推理出该差异Data_DIK的难度也增加，若该条Data_DIK被泄露，则隐私暴露程度严重；当Proportion(Data_DIK)≤1/N时，说明该差异Data_DIK可以为识别特定目标提供支撑较少，缺少这一条差异Data_DIK对识别特定目标Data_Purpose影响不是很大，同时推理出该差异Data_DIK的难度增加程度较小，若该条Data_DIK被泄露，则隐私暴露程度较不严重。

同理，若不同数据请求者对同一个Data_Purpose的相关Data_Con和Data_Ex掌握情况存在两条及其以上Data_DIK的差异，同样进行两种关联方案对应的总支持度AllDegree_Support，得到的结果进行差值计算，差值结果说明两条及其以上差异Data_DIK进行关联后一共可以为识别特定目标提供的支撑，此时差异Data_DIK是一个整体，无法将各条Data_DIK的提供支持度Degree_Support区分开来。

5.5、采用随机化进行隐私保护

在不考虑将数据Data_DIK公布后的有效再利用情况(即可用性)下，

(1)假设数据请求者拥有最大背景知识，即掌握除差异Data_DIK之外的所有Data_DIK，可通过不同查询方式(例如获取特定统计值)获取相关Data_DIK，数据拥有者的目标是让数据请求者无法通过差分等操作得到具体差异Data_DIK，进而关联其他Data_DIK推理出特定目标Data_Purpose。

当只存在一条差异Data_DIK时，可以采取的方法是随机化，也就是在查询结果上加入某种“噪声”使查询结果随机化。现数值型输出中常在在查询结果里加入Laplace分布的噪音，使有较大概率输出在差异Data_DIK具体数值附近的结果，若输出结果距离差异Data_DIK具体数值越远，被查询到的概率越小，以及在非数值型输出中运用指数机制，在查询结果里用指数分布来调整概率的方法保护具体Data_DIK不被数据请求者得知。

(2)假如数据请求者通过各种查询手段获取部分Data_DIK，发现在各种查询过程中，出现次数多的频繁项更易被获取，并且从提供支持度计算公式可看出，频繁项出现次数是影响Degree_Support大小的重要因素，出现次数越多，该Data_DIK的Degree_Support具体值相对而言会比较大，能为识别出特定目标Data_Purpose提供大量支持，也就是说，若数据请求者得到该Data_DIK，可以花费较少的代价，较为轻易地将Data_Purpose识别锁定。同样的，若数据请求者得到该Data_DIK，会暴露大量隐私。

因此若想减少隐私暴露的可能性，需要对Data_DIK进行出现次数随机化，即影响Data_DIK出现的概率，最简单的随机化就是人为设置Data_DIK的出现次数，使所有Data_DIK的出现次数相同，即平均Data_DIK出现的概率，提供支持度Degree_Support(Data_DIK)主要影响因素不包含出现频度，此时数据请求者获取任何DataDIK的概率均相等，降低了获得具有较大提供支持度的Data_DIK概率，在某种程度上保护了隐私，防止隐私暴露。

基于上述本申请实施例公开的一种基于常识推理的多模态资源的本质内容处理方法，本申请实施例还对应公开了一种基于常识推理的多模态资源的本质内容处理系统，如图2所示，主要包括获取单元201、融合单元202和差分单元203。

获取单元201，用于获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源Knowledge_DIK至少三种模态；

融合单元202，用于根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态。

其中，所述融合单元202包括同模态关联融合模块和跨模态关联融合模块。

所述同模态关联融合模块，用于针对每一种资源进行进行同模态关联融合，得到对应的第一新资源。

所述跨模态关联融合模块，用于针对多种资源进行跨模态关联融合，得到对应的第二新资源。

差分单元203，用于采用随机化对所述新资源进行隐私保护。

所述差分单元203，具体用于基于差分方式将所述新资源映射至类型化资源上，并采用对应的隐私保护方式对所述新资源进行隐私保护。

所述同模态关联融合模块，具体用于针对每一种资源，判断两个同模态资源是否同时出现；若未同时出现，进行标记并退出；若同时出现，判断两个同模态资源是否具有关联；若不具有关联，进行标记并退出；若具有关联，分别对两个同模态资源进行初级、中级和/或高级关联融合，得到执行最高一级关联融合后获取的第一新资源和所述第一新资源的模态。

其中，分别对两个同模态资源进行初级、中级和/或高级关联融合，得到对应的第一新资源得到执行最高一级关联融合后获取的第一新资源和所述第一新资源的模态，具体为：

所述跨模态关联融合模块，具体用于将多种资源两两或两两以上进行拼接，得到多个拼接资源；将所述拼接资源两两进行关联融合，得到多个新资源；将所述新资源两两进行关联融合，直至得到最终资源，将所述最终资源作为第二新资源。

若所述多种资源包括数据资源和信息资源，所述跨模态关联融合模块，具体用于基于特定目的对所述数据资源和所述信息资源进行拼接，得到第二新资源，所述特定目的至少包括：形成对应关系、总结匹配、相关数值计算、补充细节、逻辑计算、构建复合语句或复合命题、逻辑推理、检测判断取值是否满足相关条件和预测推理。

若所述多种资源包括数据资源和知识资源，所述跨模态关联融合模块，具体用于：

若所述数据资源和所述知识资源本身的含义和解释为非必要的，将所述知识资源作为一个数据与所述数据资源进行拼接，得到第二新资源；

若所述数据资源和所述知识资源本身的含义和解释为必要的，将所述知识资源作为信息资源与所述数据资源进行拼接，得到第二新资源。

若所述多种资源包括信息资源和知识资源，所述跨模态关联融合模块，具体用于：

若所述信息资源和所述知识资源本身的含义和解释为非必要的，将所述知识资源作为信息与所述信息资源进行拼接，得到第二新资源；

若所述信息资源和所述知识资源本身的含义和解释为必要的，基于特定目的将所述知识资源与所述信息资源进行拼接，得到第二新资源，所述特定目的至少包括：形成对应关系、总结匹配、相关数值计算、补充细节、逻辑计算、构建复合语句或复合命题、逻辑推理、检测判断取值是否满足相关条件和预测推理；

若所述信息资源和所述知识资源本身的含义和解释为必要的，将所述信息资源作为所述知识资源的内容补充或者证明材料与所述信息资源进行拼接，得到第二新资源。

若所述多种资源包括数据资源、信息资源和知识资源，所述跨模态关联融合模块，具体用于：

若所述数据资源、所述信息资源和所述知识资源本身的含义和解释为非必要的，将所述数据资源、所述信息资源和所述知识资源直接进行拼接，得到第二新资源；

若所述数据资源、所述信息资源和所述知识资源本身的含义和解释为必要的，且所述知识资源本身的含义和解释仅作为相关问题的解答或结论时，将所述知识资源作为信息资源与所述信息资源、所述数据资源进行拼接，得到第二新资源；

若所述数据资源、所述信息资源和所述知识资源本身的含义和解释为必要的，且所述知识资源本身的含义和解释作为相关问题的解答或结论有新的知识补充时，将补充之后的新的知识资源与所述信息资源、所述数据资源进行拼接，得到第二新资源。

本申请实施例中公开的系统中的各个单元和模块的执行原理，可参见上述方法对应的内容，这里不再进行赘述。

本申请将多个来源的资源映射为DIKW体系结构中的数据模态Data_DIK、信息模态Information_DIK和知识模态Knowledge_DIK的类型化资源，并对它们的定义和联系进行详细的解释说明。并且由于不同模态的资源可能并非完整，且并非完全正确，可通过某些关联进行融合转换互相补充完善、形成新的资源，若不对未经转换的资源进行处理，就会存在很高的隐私泄露风险，鉴于Data_DIK、Information_DIK、Knowledge_DIK的具体内容和形式多变，为达到更加直观、具体的目的，本申请从实例出发介绍同模态资源和跨模态资源关联融合的过程和可能结果，并确定生成新资源的模态。同模态资源关联融合的分析介绍以Data_DIK和Data_DIK为主，将Data_DIK按照特定分类规则进行分类，关联融合的主要方法是不同类型的Data_DIK之间产生联系，并对其进行逻辑推理得到新资源。模态资源关联融合的分析解释以不同模态资源关联融合产生不同模态的新资源为主线，辅以具体应用实例进行详细介绍，跨模态资源关联融合主要介绍Data_DIK和Information_DIK关联融合的相关内容。最后采用随机化的方式对融合后的内容进行保护。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于常识推理的多模态资源的本质内容处理方法，其特征在于，所述方法包括：

获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源Knowledge_DIK至少三种模态；

基于差分方式将所述新资源映射至类型化资源上，采用对应的隐私保护方式对所述新资源进行隐私保护；

其中，所述同模态关联融合包括：针对每一种资源进行同模态关联融合，得到对应的第一新资源；

2.根据权利要求1所述的方法，其特征在于，所述针对每一种资源进行同模态关联融合，得到对应的第一新资源包括：

针对每一种资源，判断两个同模态资源是否同时出现；

若未同时出现，进行标记并退出；

若同时出现，判断两个同模态资源是否具有关联；

若不具有关联，进行标记并退出；

3.根据权利要求2所述的方法，其特征在于，分别对两个同模态资源进行初级、中级和/或高级关联融合，得到执行最高一级关联融合后获取的第一新资源和所述第一新资源的模态，包括：

4.根据权利要求1所述的方法，其特征在于，所述针对多种资源进行跨模态关联融合，得到对应的第二新资源，包括：

将多种资源两两或两两以上进行拼接，得到多个拼接资源；

将所述拼接资源两两进行关联融合，得到多个新资源；

5.根据权利要求1所述的方法，其特征在于，若所述多种资源包括数据资源Data_DIK和信息资源Information_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

6.根据权利要求1所述的方法，其特征在于，若所述多种资源包括数据资源Data_DIK和知识资源Knowledge_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

7.根据权利要求1所述的方法，其特征在于，若所述多种资源包括信息资源Information_DIK和知识资源Knowledge_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

8.根据权利要求1所述的方法，其特征在于，若所述多种资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源Knowledge_DIK，针对多种资源进行跨模态关联融合，得到对应的第二新资源包括：

9.一种基于常识推理的多模态资源的本质内容处理系统，其特征在于，所述系统包括：

获取单元，用于获取资源，并基于智慧图DIKW体系结构将所述资源映射为类型化资源，所述资源来自多个来源，所述类型化资源包括数据资源Data_DIK、信息资源Information_DIK和知识资源 Knowledge_DIK至少三种模态；

融合单元，用于根据所得到的类型化资源进行同模态关联融合和/或跨模态关联融合，得到新资源，并确定所述新资源的模态；其中，所述同模态关联融合包括：针对每一种资源进行同模态关联融合，得到对应的第一新资源；所述跨模态关联融合包括：针对多种资源进行跨模态关联融合，得到对应的第二新资源；

差分单元，用于基于差分方式将所述新资源映射至类型化资源上，采用对应的隐私保护方式对所述新资源进行隐私保护。