CN111858953A - 用于智慧城市少样本数据建模的实体关系表示方法及系统 - Google Patents
用于智慧城市少样本数据建模的实体关系表示方法及系统 Download PDFInfo
- Publication number
- CN111858953A CN111858953A CN202010514456.5A CN202010514456A CN111858953A CN 111858953 A CN111858953 A CN 111858953A CN 202010514456 A CN202010514456 A CN 202010514456A CN 111858953 A CN111858953 A CN 111858953A
- Authority
- CN
- China
- Prior art keywords
- information
- support set
- query
- mapping
- support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000002452 interceptive effect Effects 0.000 claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000010606 normalization Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 abstract description 6
- 230000005012 migration Effects 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种用于智慧城市少样本数据建模的实体关系表示方法及系统，该方法包括：获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将支持集和查询集的语义表示映射到对应的通路中；通过类内信息通路，对支持集中每个类别映射后的实例信息进行交互处理；通过类间信息通路，对支持集中所有类别映射后的整体信息进行交互处理；通过支持集‑查询集信息通路，对支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。本发明实施例通过多通路并行处理的方式保留更全面的信息，丰富实体关系类别的文本表示，提高类别知识迁移的信息量，提取更多有价值的特征，更准确地表示实体关系类别的支持集与查询集。
Description
技术领域
本发明涉及实体关系表示技术领域，尤其涉及一种用于智慧城市少样本数据建模的实体关系表示方法及系统。
背景技术
在智慧城市建设过程中，智慧城市知识图谱作为提高智能化建设的技术体系尤为重要。在知识图谱的构建过程中，往往需要从海量的文本数据中抽取实体关系，在深度学习技术的加持下，对实体关系文本进行语义表示，成为影响实体关系抽取性能的关键。由于智慧城市数据体系的实体关系繁杂，如果不具备专业知识，难以准确标注实体之间的关系类别，特别是冷门与复杂的实体关系，类别往往是长尾的，这种数据的稀缺问题，严重影响了现有方法对实体关系的表示能力，从而阻碍了整个知识图谱构建的准确性。
针对目前智慧城市建设过程中，数据资源共享不足、数据样本较少等问题，通过远程监督机制，可以在一定程度上缓解有标注数据稀缺的问题，但是在技术的落地过程中，智慧城市数据模型的实体关系抽取问题仍然严峻。并且，在实际的生产场景中，随着知识库的更新，会面临新的实体关系的加入，而新的实体关系在知识库中没有足够数据支持，无法依靠远程监督机制生成有标注数据。在这种情况下，有标注的数据样本的数量级甚至是个位，这种场景被称为少样本学习(Few-shot Learning)任务。显然，常规的深度学习模型无法直接在如此小量级的数据样本中学习到准确的知识，无法拟合由文本表示到分类的多层非线性映射，即模型的训练不能收敛。
因此，现在亟需一种用于智慧城市少样本数据建模的实体关系表示方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种用于智慧城市少样本数据建模的实体关系表示方法及系统。
第一方面，本发明实施例提供了一种用于智慧城市少样本数据建模的实体关系表示方法，包括：
获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通路；
通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；
通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；
通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
进一步地，所述通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，包括：
通过类内通道映射公式，将支持集和查询集的语义表示映射到类内信息通路中，所述类内通道映射公式为：
其中，
表示每个类别映射后的实例信息，ReLU表示非线性映射；
表示经过CNN层的提取信息，得到支持集的高阶非线性；WIC表示类内信息通道中维度为dCNN×dA的权重矩阵，dA表示隐层维度；
通过类间通道映射公式，将支持集和查询集的语义表示映射到类间信息通道中，所述类间通道映射公式为：
其中，
表示映射后所有类别的整体信息，WEC表示类间信息通道中维度为dCNN×dA的权重矩阵；
通过支持集-查询集通道映射公式，将支持集和查询集的语音表示映射到支持集-查询集信息通道中，所述支持集-查询集通道映射公式为：
其中，WSQ表示支持集-查询集信息通道中维度为dCNN×dA的权重矩阵，
表示支持集映射后的所有实例，QSQ表示查询集映射后的所有实例；QCNN表示经过CNN层的提取信息，得到查询集的高阶非线性。
进一步地，所述通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理，包括：
对所述支持集中每个类别映射后的实例信息
在T-dimension进行max-pooling操作，得到每个关系类别的实例集合表示
对每个关系列表的实例集合中K个实例进行两两点乘，得到第一attention矩阵；
对所述第一attention矩阵进行softmax归一化处理，得到类内信息通路的标准信息流输出，公式为：
其中，softmaxK表示对第一attention矩阵在K-dimension执行softmax归一化操作，
表示每个关系类别的实体集合，
进一步地，所述通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理，包括：
对所述支持集中所有类别映射后的整体信息
进行max-pooling和ave-pooling操作，并将max-pooling和ave-pooling操作后的整体信息在dA-dimension进行结合，得到所述支持集中所有类别的整体信息实例集合，公式为：
其中，
表示支持集和查询集的语义表示映射到类间信息通路上在c＝1到c＝C的求和；maxpool和avepool分别表示max-pooling和ave-pooling操作；
对所述整体信息实例集合的各类低维表示进行点乘，得到第二attention矩阵；
对所述第二attention矩阵在C-dimension进行softmax归一化处理，得到类间信息通路的标准信息流输出，公式为：
其中，sEC表示支持集中所有类别的整体信息实例集合，
表示对第二attention矩阵的值进行映射，
进一步地，所述通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互，包括：
将支持集映射后的所有实例
进行拼接，并将拼接后的
与查询集映射后的所有实例QSQ，进行点乘操作，得到第三attention矩阵，公式为：
其中，
表示支持集和查询集的语义表示映射到支持集-查询集信息通路上在c＝1到c＝C的求和，
表示实例之间的关联性；
对所述第三attention矩阵在NT-dimension进行softmax归一化处理，并对查询集的实例信息进行加权求和，得到支持集-查询集信息通路的支持集实例的标准信息流输出；
对所述第三attention矩阵在CKT-dimension进行softmax归一化处理，并对支持集的实例信息进行加权求和，得到支持集-查询集信息通路的查询集实例的标准信息流输出。
进一步地，所述对所述第三attention矩阵在NT-dimension进行softmax归一化处理，并对查询集的实例信息进行加权求和，得到支持集-查询集信息通路的支持集实例的标准信息流输出，包括：
通过支持集实例标准信息公式，获取支持集-查询集信息通路的支持集实例的标准信息流输出，所述支持集实例标准信息公式为：
其中，
表示查询集实例信息，
表示支持集实例之间的关联性，i表示所有支持集的下标，n表示求和计数。
进一步地，所述对所述第三attention矩阵在CKT-dimension进行softmax归一化处理，并对支持集的实例信息进行加权求和，得到支持集-查询集信息通路的查询集实例的标准信息流输出，包括：
通过查询集实例标准信息公式，获取支持集-查询集信息通路的查询集实例的标准信息流输出，所述查询集实例标准信息公式为：
其中，
表示支持集实例信息，
表示查询集实例之间的关联性，j代表所有查询集的下标，c表示求和计数。
第二方面，本发明实施例提供了一种用于智慧城市少样本数据建模的实体关系表示系统，包括：
通道映射模块，用于获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通；
第一交互处理模块，用于通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；
第二交互处理模块，用于通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；
第三交互处理模块，用于通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法及系统，通过多通路并行处理的方式保留更全面的信息，丰富实体关系类别的文本表示，提高类别知识迁移的信息量，从有限的文本实例中提取更多有价值的特征，更准确地表示实体关系类别的支持集与查询集，具有更高的优越性能和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法的流程示意图；
图2为本发明实施例提供的数据集样本示意图；
图3为本发明实施例提供的支持集与查询集的语义表示映射到类内信息通路的样本示意图；
图4为本发明实施例提供的支持集与查询集的语义表示映射到类间信息通路的样本示意图；
图5为本发明实施例提供的支持集与查询集的语义表示映射到支持集-查询集信息通路的样本示意图；
图6为本发明实施例提供的每个关系类别的实例集合表示示意图；
图7为本发明实施例提供类内信息通道的标准信息流输出的示意图；
图8为本发明实施例提供的类间信息通道的标准信息流输出的示意图；
图9为本发明实施例提供的支持集-查询集信息通路中支持集实体的标准信息流输出的示意图；
图10为本发明实施例提供的支持集-查询集信息通路中查询集实体的标准信息流输出的示意图；
图11为本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示系统的结构示意图；
图12为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在少样本实体关系抽取场景(few-shot relationextraction)中，常规的深度学习模型无法直接拟合由文本表示到分类的多层非线性映射，即模型的训练不能收敛。针对上述问题，本发明实施例将少样本任务通过度量元学习方法建模，即维护一个度量空间，设计度量元任务从具有足量数据的类别中学习实例与关系类别在空间中的匹配关系，并将通用的类别知识迁移到少样本的类别中。基于度量元学习方法的少样本任务定义可知，度量元学习方法将模型参数知识的迁移拓展为类别知识的迁移，需要设计模型以学习这种类别匹配知识。因此，本发明实施例提出了多通路注意力网络框架(Multi-Channel AttentionNetwork，简称MCAN)，以建模度量元任务中支持集(supportset)与查询集(queryset)的匹配函数F(S,Q)。
针对少样本场景中文本实例稀缺，为了从有限的文本实例中提取更多有价值的特征，更准确地表示实体关系类别的支持集与查询集，在编码器模块后实现基于多通路注意力机制的实体关系表示。考虑到支持集中每个关系类别的实例之间，支持集的各个关系类别之间，以及支持集与query之间均存在的关联性，本发明实施例设置了三个通道分别命名为Intra-class Channel(IC)，Extra-class Channel(EC)和S-Q Channel(SQ)，且分别对上述三种关联信息流进行处理，使用序列信息关联性处理方式，即点乘自注意力机制。
同时，现有的模型对信息交互处理过于粗糙，信息利用率低，在度量空间的实体关系类别表示不够准确；并且，现有模型在对关系类别划分的评估中仍然只考虑分类交叉熵误差，没有考虑度量空间的划分特性，不利于模型快速收敛，亦不利于实体关系类别的区分。
图1为本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法的流程示意图，如图1所示，本发明实施例提供了一种用于智慧城市少样本数据建模的实体关系表示方法，包括：
步骤101，获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通路。
在本发明实施例中，针对智慧城市的文本数据，将已有足量正确标签的数据分配为支持集与查询集，其中，支持集表示类别信息的提供方，查询集表示待分类样本的模拟，从而建模支持集与查询集中每个实例的匹配关系，并将此匹配关系延伸至少样本数据中。
步骤102，通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；
步骤103，通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；
步骤104，通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法，通过多通路并行处理的方式保留更全面的信息，丰富实体关系类别的文本表示，提高类别知识迁移的信息量，从有限的文本实例中提取更多有价值的特征，更准确地表示实体关系类别的支持集与查询集，具有更高的优越性能和稳定性。
在上述实施例的基础上，所述通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，包括：
通过类内通道映射公式，将支持集和查询集的语义表示映射到类内信息通路中，所述类内通道映射公式为：
其中，
表示每个类别映射后的实例信息，ReLU表示非线性映射；
表示经过CNN层的提取信息，得到支持集的高阶非线性；WIC表示类内信息通道中维度为dCNN×dA的权重矩阵，dA表示隐层维度；
通过类间通道映射公式，将支持集和查询集的语义表示映射到类间信息通道中，所述类间通道映射公式为：
其中，
表示映射后所有类别的整体信息，WEC表示类间信息通道中维度为dCNN×dA的权重矩阵；
通过支持集-查询集通道映射公式，将支持集和查询集的语音表示映射到支持集-查询集信息通道中，所述支持集-查询集通道映射公式为：
其中，WSQ表示支持集-查询集信息通道中维度为dCNN×dA的权重矩阵，
表示支持集映射后的所有实例，QSQ表示查询集映射后的所有实例；QCNN表示经过CNN层的提取信息，得到查询集的高阶非线性。
在本发明实施例中，首先设置AttentionModule的隐层维度为dA，然后通过非线性映射RELU将智慧城市数据的支持集和查询集的语义表示分别映射到对应的通路，使得在少样本实体关系抽取任务中，解决了常规的深度学习模型无法直接对小量级的数据拟合由文本表示到分类的多层非线性映射。
在上述实施例的基础上，所述通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理，包括：
对所述支持集中每个类别映射后的实例信息
在T-dimension进行max-pooling操作，得到每个关系类别的实例集合表示
对每个关系列表的实例集合中K个实例进行两两点乘，得到第一attention矩阵。
在本发明实施例中，对于C-way-1-shot任务，类内不存在多个实例，此时通路就退化成信息直通处理。
对所述第一attention矩阵进行softmax归一化处理，得到类内信息通路的标准信息流输出，公式为：
其中，softmaxK表示对第一attention矩阵在K-dimension执行softmax归一化操作，
表示每个关系类别的实体集合，
在本发明实施例中，在得到各实例之间的相对权重之后，再对输入矩阵加权求和。通过上述公式得到的IC，作为类内信息通路的标准信息流输出，用于后续的数据建模过程。
在上述实施例的基础上，所述通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理，包括：
对所述支持集中所有类别映射后的整体信息
进行max-pooling和ave-pooling操作，并将max-pooling和ave-pooling操作后的整体信息在dA-dimension进行结合，得到所述支持集中所有类别的整体信息实例集合，从而减少数据维度，公式为：
其中，
表示支持集和查询集的语义表示映射到类间信息通路上在c＝1到c＝C的求和；maxpool和avepool分别表示max-pooling和ave-pooling操作；
对所述整体信息实例集合的各类低维表示进行点乘，得到第二attention矩阵；
对所述第二attention矩阵在C-dimension进行softmax归一化处理，得到类间信息通路的标准信息流输出，公式为：
其中，sEC表示支持集中所有类别的整体信息实例集合，
表示对第二attention矩阵的值进行映射，用于保持其隐层维度与其他通道一致；
在上述实施例的基础上，所述通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互，包括：
将支持集映射后的所有实例
进行拼接，并将拼接后的
与查询集映射后的所有实例QSQ，进行点乘操作，得到第三attention矩阵，公式为：
其中，
表示支持集和查询集的语义表示映射到支持集-查询集信息通路上在c＝1到c＝C的求和，
表示实例之间的关联性；
对所述第三attention矩阵在NT-dimension进行softmax归一化处理，并对查询集的实例信息进行加权求和，得到支持集-查询集信息通路的支持集实例的标准信息流输出，具体步骤为：
通过支持集实例标准信息公式，获取支持集-查询集信息通路的支持集实例的标准信息流输出，所述支持集实例标准信息公式为：
其中，
表示查询集实例信息，
表示支持集实例之间的关联性，i表示所有支持集的下标，n表示求和计数。
对所述第三attention矩阵在CKT-dimension进行softmax归一化处理，并对支持集的实例信息进行加权求和，得到支持集-查询集信息通路的查询集实例的标准信息流输出，具体步骤为：
通过查询集实例标准信息公式，获取支持集-查询集信息通路的查询集实例的标准信息流输出，所述查询集实例标准信息公式为：
其中，
表示支持集实例信息，
表示查询集实例之间的关联性，j表示所有查询集的下标，c表示求和计数。
本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法，在进行信息交互处理过程时更加精细，信息利用率更好，度量空间的实体关系类别表示更为准确；同时，还考虑了度量空间的划分特性，加快了模型的收敛，更加利于实例关系类别的区分。
在本发明一实施例中，图2为本发明实施例提供的数据集样本示意图，可参考图2所示，通过本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示方法，对该数据集样本进行处理，具体步骤为：
步骤S11，将支持集与查询集的语义表示映射到Intra-class Channel(IC)上，图3为本发明实施例提供的支持集与查询集的语义表示映射到类内信息通路的样本示意图，部分样本结果可参考图3所示。
步骤S12，将支持集与查询集的语义表示映射到Extra-class Channel(EC)上，图4为本发明实施例提供的支持集与查询集的语义表示映射到类间信息通路的样本示意图，部分样本结果可参考图4所示。
步骤S13，将支持集与查询集的语义表示映射到S-Q Channel(SQ)上，图5为本发明实施例提供的支持集与查询集的语义表示映射到支持集-查询集信息通路的样本示意图，部分样本结果可参考图5所示。
步骤S14，对类内各实例的输入
在T-dimension进行max-pooling操作，得到每个关系类别的实例集合表示，图6为本发明实施例提供的每个关系类别的实例集合表示示意图。
步骤S15，对类内K个实例两两点乘得到attention矩阵；需要说明的是，对于C-way-1-shot任务，类内不存在多个实例，此通路就退化成信息直通处理。进一步地，在得到各实例之间的相对权重之后，再对输入矩阵加权求和，图7为本发明实施例提供类内信息通道的标准信息流输出的示意图。
步骤S16，类间信息通路是对支持集中各类别的整体信息进行交互处理，对各类的低维表示点乘得到attention矩阵，并在C-dimension执行softmax归一化操作，最后得到Entra-class Channel的标准信息流输出，图8为本发明实施例提供的类间信息通道的标准信息流输出的示意图。
步骤S17，支持集-查询集信息通路是将支持集中所有的实例与查询集中所有的实例进行信息交互，在NT-dimension执行softmax归一化操作，并对query实例的信息
加权求和，得到一个支持集实例的标准输出
图9为本发明实施例提供的支持集-查询集信息通路中支持集实体的标准信息流输出的示意图。
步骤S18，在CKT-dimension执行softmax归一化操作，并对支持集实例信息
加权求和，得到一个查询实例的标准输出
图10为本发明实施例提供的支持集-查询集信息通路中查询集实体的标准信息流输出的示意图。
图11为本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示系统的结构示意图，如图11所示，本发明实施例提供了一种用于智慧城市少样本数据建模的实体关系表示系统，包括通道映射模块1101、第一交互处理模块1102、第二交互处理模块1103和第三交互处理模块1104，其中，通道映射模块1101用于获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通；第一交互处理模块1102用于通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；第二交互处理模块1103用于通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；第三交互处理模块1104用于通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
本发明实施例提供的用于智慧城市少样本数据建模的实体关系表示系统，通过多通路并行处理的方式保留更全面的信息，丰富实体关系类别的文本表示，提高类别知识迁移的信息量，从有限的文本实例中提取更多有价值的特征，更准确地表示实体关系类别的支持集与查询集，具有更高的优越性能和稳定性。
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图12为本发明实施例提供的电子设备结构示意图，参照图12，该电子设备可以包括：处理器(processor)1201、通信接口(Communications Interface)1202、存储器(memory)1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信。处理器1201可以调用存储器1203中的逻辑指令，以执行如下方法：获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通路；通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
此外，上述的存储器1203中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于智慧城市少样本数据建模的实体关系表示方法，例如包括：获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通路；通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，包括：
获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通路；
通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；
通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；
通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
2.根据权利要求1所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，包括：
通过类内通道映射公式，将支持集和查询集的语义表示映射到类内信息通路中，所述类内通道映射公式为：
其中，
表示每个类别映射后的实例信息，ReLU表示非线性映射；
表示经过CNN层的提取信息，得到支持集的高阶非线性；WIC表示类内信息通道中维度为dCNN×dA的权重矩阵，dA表示隐层维度；
通过类间通道映射公式，将支持集和查询集的语义表示映射到类间信息通道中，所述类间通道映射公式为：
其中，
表示映射后所有类别的整体信息，WEC表示类间信息通道中维度为dCNN×dA的权重矩阵；
通过支持集-查询集通道映射公式，将支持集和查询集的语音表示映射到支持集-查询集信息通道中，所述支持集-查询集通道映射公式为：
其中，WSQ表示支持集-查询集信息通道中维度为dCNN×dA的权重矩阵，
表示支持集映射后的所有实例，QSQ表示查询集映射后的所有实例；QCNN表示经过CNN层的提取信息，得到查询集的高阶非线性。
3.根据权利要求2所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理，包括：
对所述支持集中每个类别映射后的实例信息
在T-dimension进行max-pooling操作，得到每个关系类别的实例集合表示
c＝1,2,…,C；
对每个关系列表的实例集合中K个实例进行两两点乘，得到第一attention矩阵；
对所述第一attention矩阵进行softmax归一化处理，得到类内信息通路的标准信息流输出，公式为：
其中，softmaxK表示对第一attention矩阵在K-dimension执行softmax归一化操作，
表示每个关系类别的实体集合，
c＝1,2,…,C。
4.根据权利要求2所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理，包括：
对所述支持集中所有类别映射后的整体信息
进行max-pooling和ave-pooling操作，并将max-pooling和ave-pooling操作后的整体信息在dA-dimension进行结合，得到所述支持集中所有类别的整体信息实例集合，公式为：
其中，
表示支持集和查询集的语义表示映射到类间信息通路上在c＝1到c＝C的求和；maxpool和avepool分别表示max-pooling和ave-pooling操作；
对所述整体信息实例集合的各类低维表示进行点乘，得到第二attention矩阵；
对所述第二attention矩阵在C-dimension进行softmax归一化处理，得到类间信息通路的标准信息流输出，公式为：
其中，sEC表示支持集中所有类别的整体信息实例集合，
表示对第二attention矩阵的值进行映射，
5.根据权利要求2所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互，包括：
将支持集映射后的所有实例
进行拼接，并将拼接后的
与查询集映射后的所有实例QSQ，进行点乘操作，得到第三attention矩阵，公式为：
其中，
表示支持集和查询集的语义表示映射到支持集-查询集信息通路上在c＝1到c＝C的求和，
表示实例之间的关联性；
对所述第三attention矩阵在NT-dimension进行softmax归一化处理，并对查询集的实例信息进行加权求和，得到支持集-查询集信息通路的支持集实例的标准信息流输出；
对所述第三attention矩阵在CKT-dimension进行softmax归一化处理，并对支持集的实例信息进行加权求和，得到支持集-查询集信息通路的查询集实例的标准信息流输出。
6.根据权利要求5所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述对所述第三attention矩阵在NT-dimension进行softmax归一化处理，并对查询集的实例信息进行加权求和，得到支持集-查询集信息通路的支持集实例的标准信息流输出，包括：
通过支持集实例标准信息公式，获取支持集-查询集信息通路的支持集实例的标准信息流输出，所述支持集实例标准信息公式为：
其中，
表示查询集实例信息，
表示支持集实例之间的关联性，i表示所有支持集的下标，n表示求和计数。
7.根据权利要求5所述的用于智慧城市少样本数据建模的实体关系表示方法，其特征在于，所述对所述第三attention矩阵在CKT-dimension进行softmax归一化处理，并对支持集的实例信息进行加权求和，得到支持集-查询集信息通路的查询集实例的标准信息流输出，包括：
通过查询集实例标准信息公式，获取支持集-查询集信息通路的查询集实例的标准信息流输出，所述查询集实例标准信息公式为：
其中，
表示支持集实例信息，
表示查询集实例之间的关联性，j表示所有查询集的下标，c表示求和计数。
8.一种用于智慧城市少样本数据建模的实体关系表示系统，其特征在于，包括：
通道映射模块，用于获取智慧城市数据的支持集和查询集，并通过非线性映射ReLU，将所述支持集和所述查询集的语义表示映射到对应的通路中，所述通路包括类内信息通路、类间信息通路和支持集-查询集信息通；
第一交互处理模块，用于通过所述类内信息通路，对所述支持集中每个类别映射后的实例信息进行交互处理；
第二交互处理模块，用于通过所述类间信息通路，对所述支持集中所有类别映射后的整体信息进行交互处理；
第三交互处理模块，用于通过所述支持集-查询集信息通路，对所述支持集映射后的所有实例和所述查询集映射后的所有实例进行信息交互。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述用于智慧城市少样本数据建模的实体关系表示方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述用于智慧城市少样本数据建模的实体关系表示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514456.5A CN111858953B (zh) | 2020-06-08 | 2020-06-08 | 用于智慧城市少样本数据建模的实体关系表示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514456.5A CN111858953B (zh) | 2020-06-08 | 2020-06-08 | 用于智慧城市少样本数据建模的实体关系表示方法及系统 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| CN111858953A true CN111858953A (zh) | 2020-10-30 |
| CN111858953A8 CN111858953A8 (zh) | 2020-12-11 |
| CN111858953B CN111858953B (zh) | 2022-10-18 |
Family
ID=72987540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010514456.5A Active CN111858953B (zh) | 2020-06-08 | 2020-06-08 | 用于智慧城市少样本数据建模的实体关系表示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858953B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657429A (zh) * | 2021-06-30 | 2021-11-16 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008101236A1 (en) * | 2007-02-16 | 2008-08-21 | Microsoft Corporation | Rest for entities |
| US8510308B1 (en) * | 2009-06-16 | 2013-08-13 | Google Inc. | Extracting semantic classes and instances from text |
| CN107423820A (zh) * | 2016-05-24 | 2017-12-01 | 清华大学 | 结合实体层次类别的知识图谱表示学习方法 |
| CN110019822A (zh) * | 2019-04-16 | 2019-07-16 | 中国科学技术大学 | 一种少样本关系分类方法及系统 |
| CN110569886A (zh) * | 2019-08-20 | 2019-12-13 | 天津大学 | 一种双向通道注意力元学习的图像分类方法 |
-
2020
- 2020-06-08 CN CN202010514456.5A patent/CN111858953B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008101236A1 (en) * | 2007-02-16 | 2008-08-21 | Microsoft Corporation | Rest for entities |
| US8510308B1 (en) * | 2009-06-16 | 2013-08-13 | Google Inc. | Extracting semantic classes and instances from text |
| CN107423820A (zh) * | 2016-05-24 | 2017-12-01 | 清华大学 | 结合实体层次类别的知识图谱表示学习方法 |
| CN110019822A (zh) * | 2019-04-16 | 2019-07-16 | 中国科学技术大学 | 一种少样本关系分类方法及系统 |
| CN110569886A (zh) * | 2019-08-20 | 2019-12-13 | 天津大学 | 一种双向通道注意力元学习的图像分类方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657429A (zh) * | 2021-06-30 | 2021-11-16 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
| CN113657429B (zh) * | 2021-06-30 | 2023-07-07 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858953B (zh) | 2022-10-18 |
| CN111858953A8 (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111125331B (zh) | 语义识别方法、装置、电子设备及计算机可读存储介质 | |
| CN107766371B (zh) | 一种文本信息分类方法及其装置 | |
| CN110781663B (zh) | 文本分析模型的训练方法及装置、文本分析方法及装置 | |
| CN108287858A (zh) | 自然语言的语义提取方法及装置 | |
| CN109685056A (zh) | 获取文档信息的方法及装置 | |
| CN110489523B (zh) | 一种基于网购评价的细粒度情感分析方法 | |
| CN108073568A (zh) | 关键词提取方法和装置 | |
| WO2023124005A1 (zh) | 地图兴趣点查询方法、装置、设备、存储介质及程序产品 | |
| CN107341145A (zh) | 一种基于深度学习的用户情感分析方法 | |
| CN111177559B (zh) | 文旅服务推荐方法、装置、电子设备及存储介质 | |
| CN103870000A (zh) | 一种对输入法所产生的候选项进行排序的方法及装置 | |
| WO2021072863A1 (zh) | 文本相似度计算方法、装置、电子设备及计算机可读存储介质 | |
| CN111930792A (zh) | 数据资源的标注方法、装置、存储介质及电子设备 | |
| CN111859967A (zh) | 实体识别方法、装置，电子设备 | |
| CN110287341A (zh) | 一种数据处理方法、装置以及可读存储介质 | |
| CN112749283A (zh) | 一种面向法律领域的实体关系联合抽取方法 | |
| CN114443846B (zh) | 一种基于多层级文本异构图的分类方法、装置及电子设备 | |
| CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
| CN113505154B (zh) | 一种基于大数据的数字阅读统计分析方法及系统 | |
| CN111858953B (zh) | 用于智慧城市少样本数据建模的实体关系表示方法及系统 | |
| CN111339258B (zh) | 基于知识图谱的大学计算机基础习题推荐方法 | |
| CN117034948B (zh) | 基于多特征自适应融合的段落识别方法、系统及存储介质 | |
| CN112069390A (zh) | 一种基于时空维度用户图书借阅行为分析及兴趣预测方法 | |
| CN111651660A (zh) | 一种跨媒体检索困难样本的方法 | |
| CN111930944A (zh) | 文件标签分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CI02 | Correction of invention patent application |
Correction item: Applicant|Address|Applicant Correct: Beijing University of Posts and Telecommunications|100876 Beijing University of Posts and telecommunications, 10 Xitucheng Road, Haidian District, Beijing|CHINA XIONGAN GROUP DIGITAL URBAN TECHNOLOGY Co.,Ltd.;CHINA UNITED NETWORK COMMUNICATIONS GROUP Co.,Ltd. False: Beijing University of Posts and Telecommunications|100876 Beijing University of Posts and telecommunications, 10 Xitucheng Road, Haidian District, Beijing|CHINA XIONGAN GROUP DIGITAL URBAN TECHNOLOGY Co.,Ltd.;China United Network Communications Corp. Number: 44-02 Page: The title page Volume: 36 Correction item: Applicant|Address|Applicant Correct: Beijing University of Posts and telecommunications|100876 Beijing University of Posts and telecommunications, 10 Xitucheng Road, Haidian District, Beijing|CHINA XIONGAN GROUP DIGITAL URBAN TECHNOLOGY Co.,Ltd.;CHINA UNITED NETWORK COMMUNICATIONS GROUP Co.,Ltd. False: Beijing University of Posts and telecommunications|100876 Beijing University of Posts and telecommunications, 10 Xitucheng Road, Haidian District, Beijing|CHINA XIONGAN GROUP DIGITAL URBAN TECHNOLOGY Co.,Ltd.;China United Network Communications Corp. Number: 44-02 Volume: 36 |
|
| CI02 | Correction of invention patent application | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |