CN117033666A - 一种多模态知识图谱的构建方法、装置、存储介质及设备 - Google Patents
一种多模态知识图谱的构建方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN117033666A CN117033666A CN202311285974.4A CN202311285974A CN117033666A CN 117033666 A CN117033666 A CN 117033666A CN 202311285974 A CN202311285974 A CN 202311285974A CN 117033666 A CN117033666 A CN 117033666A
- Authority
- CN
- China
- Prior art keywords
- data
- entity
- text
- corresponding relation
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000000187 Abnormal Reflex Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010020745 hyperreflexia Diseases 0.000 description 1
- 230000035859 hyperreflexia Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种多模态知识图谱的构建方法、装置、存储介质及设备。所述方法包括：获取目标业务场景的业务数据，根据业务数据构建场景本体库，确定文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；确定与文本数据对应描述相匹配的目标视频数据；确定目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据各图像实体以及第二对应关系，对信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对各文本实体和第一对应关系、各图像实体和第二对应关系、各信号实体和第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种多模态知识图谱的构建方法、装置、存储介质及设备。
背景技术
随着道路交通系统、通信系统、环境卫生系统以及城市防灾系统等向“物联网+”的城市基础设施转变，人们在信息化城市中的日常生活、工作也随之变得更加智能化，例如：无纸化办公、线上生活缴费、线上法庭等。
然而，随着城市中各类基础设施的信息化，产生了大量多源异构的信息，虽然知识图谱在信息管理方面具有显著的优势，但现有的知识图谱主要面向文本和结构化数据，无法实现对多源异构信息的有效管理，难以满足用户日益增长的业务需求。
因此，如何将知识图谱应用到多源异构数据的管理上，全方面的满足用户的业务需求，提高用户体验，是一个亟待解决的问题。
发明内容
本说明书提供一种多模态知识图谱的构建方法、装置、存储介质及设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种多模态知识图谱的构建方法，包括：
获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；
针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；
在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；
确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；
根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；
根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
可选地，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系，具体包括：
对该文本数据进行关键词提取，根据提取到的关键词确定所述各文本实体以及所述第一对应关系，所述文本数据包括：表数据、文字数据、结构化或非结构化的机器语言数据中的至少一种。
可选地，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据，具体包括：
在所述各文本实体中确定该文本数据的头部实体以及尾部实体；
根据所述头部实体、所述尾部实体以及所述头部实体与所述尾部实体之间的第一对应关系，确定该文本数据对应的业务事件；
在所述场景本体库中确定出与所述业务事件相匹配的视频数据，作为所述目标视频数据。
可选地，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系，具体包括：
根据该文本数据对应的业务事件，确定所述目标视频数据中的各关键帧；
对所述各关键帧进行目标检测，得到目标检测结果；
根据所述目标检测结果确定所述各图像实体以及所述第二对应关系。
可选地，所述第二对应关系包括：各图像实体间的空间关系、注意关系以及动作关系中的至少一种。
可选地，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，具体包括：
根据所述目标视频数据，对所述信号数据进行时间同步，抽取各关键时间区间对应的信号，并根据所述各文本实体和所述第一对应关系，以及所述各图像实体和所述第二对应关系，对各关键时间区间对应的信号进行标注。
可选地，所述方法还包括：
接收用户的业务查询请求；
根据所述业务查询请求，在所述多模态知识图谱中确定出与所述业务查询请求相匹配的至少一种模态的各目标业务实体；
在所述场景本体库中调取与所述各目标业务实体相关的业务数据并返回所述用户。
本说明书提供了一种多模态知识图谱的构建装置，包括：
获取模块，获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；
第一确定模块，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；
匹配模块，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；
第二确定模块，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；
第三确定模块，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；
构建模块，根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多模态知识图谱的构建方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多模态知识图谱的构建方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的多模态知识图谱的构建方法中，获取目标业务场景的业务数据，并根据业务数据构建场景本体库，确定文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；确定与文本数据对应描述相匹配的目标视频数据；确定目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；根据各图像实体以及第二对应关系，对信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；根据每种模态的业务数据对应的信息贡献度，对各文本实体和第一对应关系、各图像实体和第二对应关系、各信号实体和第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
从上述方法可以看出，本方案可以分别提取文本数据、视频数据以及信号数据中的实体和实体间的对应关系，从而对多模态的实体及其对应关系进行对其对齐以及融合，生成多模态的知识图谱，这样一来，用户在后续的业务过程中可以根据该多模态知识图谱直接获取到所需的全部数据类型的信息，不需要在一一进行查询，实现了对多源异构数据的有效管理，全方面满足用户的业务需求，提高了用户体验。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种多模态知识图谱的构建方法的流程示意图；
图2为本说明书提供的一种多模态知识图谱的构建装置的示意图；
图3为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种多模态知识图谱的构建方法的流程示意图，包括以下步骤：
S101：获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据。
由于来自多源异构传感器的多模态数据的数据结构的差异化，信号类数据相比文本类数据在本体建立缺乏具体应用场景的常识知识，因此，如何面向多源异构的多模态传感器数据的实体提取，以及多模态数据之间感知环境的信息贡献度不同，如何量化多模态传感器数据的信息贡献度对构建物理知识图谱过程以及知识推理过程具有重要作用。
由此可见，现有的知识图谱实体提取方法无法解决多源异构传感器数据的知识管理以及跨模态-跨数据类型-跨语义的实体提取以及知识推理的问题。
基于此，本说明书提供了一种多模态知识图谱的构建方法，对多模态数据中的实体及其对应关系进行提取，进而根据不同模态的信息贡献度对从多模态数据中提取到的实体以及对应关系进行融合并构建知识图谱。
在本说明书中，用于实现一种多模态知识图谱的构建方法的执行主体可以是服务器等指定设备，为了便于描述，本说明书仅以服务器作为执行主体为例，对本说明书中提供的一种多模态知识图谱的构建方法进行说明。
其中，服务器需要获取目标业务场景的业务数据，并根据业务数据构建场景本体库，这些业务数据可以是由不同的传感器采集到的多模态数据，包括：文本数据、视频数据以及信号数据。
具体的，服务器可以根据物理世界中的实际业务场景，获取业务数据，以康复医疗场景为例，业务数据主要包括能够描述环境状态的文本数据，如患者神经诊断所需的量表数据、患者心理诊断所需的量表数据等；康复环境中的视频数据；采集到的信号数据，如神经系统检测的脑电和心电数据，康复环境中环境信号类数据（温湿度、蓝牙信号、光感信号、环境噪音信号、几何空间信息、空气流速、氧气浓度等）。
在医疗康复场景中，服务器可以根据《脑卒中康复评定指南》，采用中文分词和专家抽取来获得概念、类别、关联和属性约束，以及结合《国际功能、残疾和健康分类》和《国际疾病分类》构建场景本体库，包括患者病案、康复评定表、学术文献、康复器械、屈肌协同运动、伸肌协同运动、伴有协同运动的活动、脱离协同运动的活动、反射亢进、手指等，基于场景本体库的推理，利用领域知识相关的白皮书定义好的关系，包括part-of、property-of、instance-of、kind-of、up-15-degree、holding、catching等本体之间的概念层面的关系。
具体业务场景的领域知识白皮书主要作为包含行业机理信息的场景本体库，领域知识白皮书包括应用领域行业概念、类别、关联、属性约束等为构建基于多模态感知数据的物理知识图谱提供构建知识图谱所需的场景本体库。
当然，上述业务数据还可以来自于诸如电力系统、城市供给系统等其他业务场景，本说明书对此不做具体限定。
S102：针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系。
具体业务场景中的文本数据可以包括表数据、文字数据、结构化或非结构化的机器语言数据等，业务场景中的文本数据可以通过关键词提取获取实体和关系的提取。
服务器可以通过诸如中文分词（如PKUSEG等）工具，对文本数据进行关键词提取，根据提取到的关键词确定文本实体与文本实体间的第一对应关系，文本实体间的对应关系可以为两个实体间的动词或者方位词等，在医疗康复场景中，由于诊断评定量表主要是依照领域知识中的场景本体库建立的，因此，提取到的实体和关系主要是由本体以及本体间的概念层面的关系构成，如：＜腕、up-degree、15°＞、＜手、holding、杯子＞等。
服务器可以根据上述文本实体及其第一对应关系，确定构成的业务事件，在各文本实体中确定该文本数据的头部实体以及尾部实体/>，根据头部实体、尾部实体以及头部实体与尾部实体之间的第一对应关系/>，确定该文本数据对应的业务事件。
S103：在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据。
S104：确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系。
服务器可以在场景本体库中确定出与上述文本数据的描述相匹配的视频数据，作为目标视频数据，该视频数据中除了包含有对应的视频外，还可以包含有视频中事件描述、数据时长等。
具体的，服务器可以在场景本体库中确定出与文本数据对应的业务事件相匹配的视频数据，作为目标视频数据。
而后服务器可以根据文本数据对应的业务事件，确定目标视频数据中的各关键帧，而后对各关键帧的图像进行目标检测，得到目标检测结果，进而根据所述目标检测结果确定各图像实体以及图像实体间的第二对应关系并进行标注。
在本说明书中，图像实体间的第二对应关系可以包括空间关系（实体间的空间位置）、注意关系（实体的注意对象）以及动作关系（实体间的具体动作），从而构成图像实体以及对应关系构成的三元组，然后根据各关键帧之间的时空相关性推理各关键帧之间的关联关系。
服务器可以根据图像实体以及图像实体间的第二对应关系，确定该视频数据对应的业务事件。
需要说明的是，尽管视频数据是根据文本数据对应的业务事件确定出的，但是由于视频数据的实际内容与文本数据的实际能容并不一定完全相同，所以视频数据中的各视频实体及其第二对应关系与文本数据中的各文本实体及其第二对应关系也会有所不同。
S105：根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系。
具体地，服务器可以根据视频数据得到的图像实体和第二对应关系，对应到时间同步的信号类数据中关键时间区间的信号并进行抽取，根据各文本实体和第一对应关系，以及各图像实体和第二对应关系，对各关键时间区间对应的信号进行信号实体和对应关系的标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系。进而构成该信号实体对应的业务事件。
S106：根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
服务器可以对各文本实体和第一对应关系构成的业务事件、各图像实体和第二对应关系构成的业务事件/>、各信号实体和第三对应关系构成的业务事件/>进行对齐融合，从而根据每个融合后的事件构建多模态知识图谱。
具体的，对于每种模态，该模态的业务事件由的三元组构成，服务器可以量化多模态数据的信息贡献度，每个模态的三元组给出相应的置信度作为信息贡献度，用于表征该模态的数据对环境本体库中信息的贡献程度或者重要程度。
进而将业务事件三元组拓展为四元组成, 其中成/>表示头部实体和尾部实体，成/>表示头尾实体之间的对应关系，/>表示置信度，其中置信度量化使用如下方法：
其中，表示头尾实体和关系的特征向量表示，，表示综合三元组组内可信度、空间关系可信度/>以及序列关系可信度/>，/>表示聚合函数。
而后服务器可以通过各模态事件对应的置信度，通过距离得分（TransAE）的方法进行模态间实体\关系对齐和融合，即将不同模态的头尾实体与对应关系分别进行对其，并利用距离得分（贡献度）进行加权求和，构成可信多模态物理知识图谱。
当然，不同模态数据的置信度也可以根据实际情况预先进行设定，本说明书对此不做具体限定。
在实际应用中，当用户发送业务查询请求时，可以在上述多模态知识图谱中匹配该业务请求对应的多个模态的业务实体以及涉及的业务事件，进而在场景本题库中匹配到涉及上述不同模态实体以及业务事件的业务数据（包括视频数据、文本数据以及信号数据）并反馈给用户。
例如，在电力系统的业务场景下，当用户想要查询某设备的用电情况时，服务器可以根据多模态知识图谱，在场景本体库中匹配到该设备对应的数据表、在一段时间内的视频数据以及在该时间段内采集到的电流以及电压信号并返回给用户，使得用户只需要通过一次查询，就可以获取到所需的全部类型数据。
另外，本说明书还提供了一种基于可信多模态融合的物理知识图谱多模态实体提取的构建系统，主要包括：业务场景的场景本体构建模块、文本数据的实体和关系提取模块、视频数据的实体和关系提取模块、信号数据的实体和关系提取模块、可信多模态融合的实体\关系对齐与融合模块和基于多模态感知数据的物理知识图谱组成模块；多模态感知数据的实体和关系提取模块的输出通过可信多模态融合模块进行实体\关系对齐和融合，可信多模态融合模块的输出作为基于多模态感知数据的物理知识图谱组成模块的输入。
从上述方法可以看出，本发明基于具体应用场景中多模态感知数据：文本类数据、视频类数据、信号类数据（声音、温湿度、光感、WIFI信号等），多模态感知数据是对应用场景的多重知识表达和场景理解、描述。由此，对多模态感知数据进行实体提取和关系提取。由于场景中不同模态数据对场景理解的信息贡献度不同，由此，在基于多模态感知数据构建物理知识图谱时，需要挖掘不同模态数据的信息贡献度，本发明成为可信度。通过实体和关系的可信多模态融合和对齐，本发明实现了将知识图谱技术应用到物理世界中的应用场景的多模态数据的知识管理领域，实现了基于可信多模态融合的物理知识图谱的多模态实体和关系提取。
以上为本说明书的一个或多个实施多模态知识图谱的构建方法，基于同样的思路，本说明书还提供了相应的多模态知识图谱的构建装置，如图2所示。
图2为本说明书提供的一种多模态知识图谱的构建装置的示意图，包括：
获取模块201，用于获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；
第一确定模块202，用于针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；
匹配模块203，用于在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；
第二确定模块204，用于确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；
第三确定模块205，英语根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；
构建模块206，用于根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
可选地，所述第一确定模块202具体用于，对该文本数据进行关键词提取，根据提取到的关键词确定所述各文本实体以及所述第一对应关系，所述文本数据包括：表数据、文字数据、结构化或非结构化的机器语言数据中的至少一种。
可选地，所述匹配模块203具体用于，在所述各文本实体中确定该文本数据的头部实体以及尾部实体；根据所述头部实体、所述尾部实体以及所述头部实体与所述尾部实体之间的第一对应关系，确定该文本数据对应的业务事件；在所述场景本体库中确定出与所述业务事件相匹配的视频数据，作为所述目标视频数据。
可选地，所述第二确定模块204具体用于，根据该文本数据对应的业务事件，确定所述目标视频数据中的各关键帧；对所述各关键帧进行目标检测，得到目标检测结果；根据所述目标检测结果确定所述各图像实体以及所述第二对应关系。
可选地，所述第二对应关系包括：各图像实体间的空间关系、注意关系以及动作关系中的至少一种。
可选地，所述第三确定模块205具体用于，根据所述目标视频数据，对所述信号数据进行时间同步，抽取各关键时间区间对应的信号，并根据所述各文本实体和所述第一对应关系，以及所述各图像实体和所述第二对应关系，对各关键时间区间对应的信号进行标注。
可选地，所述装置还包括：
查询模块207，用于接收用户的业务查询请求；根据所述业务查询请求，在所述多模态知识图谱中确定出与所述业务查询请求相匹配的至少一种模态的各目标业务实体；在所述场景本体库中调取与所述各目标业务实体相关的业务数据并返回所述用户。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种多模态知识图谱的构建方法。
本说明书还提供了图3所示的一种对应于图1的电子设备的示意结构图。如图3所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的多模态知识图谱的构建方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种多模态知识图谱的构建方法，其特征在于，包括：
获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；
针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；
在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；
确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；
根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；
根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
2.如权利要求1所述的方法，其特征在于，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系，具体包括：
对该文本数据进行关键词提取，根据提取到的关键词确定所述各文本实体以及所述第一对应关系，所述文本数据包括：表数据、文字数据、结构化或非结构化的机器语言数据中的至少一种。
3.如权利要求1所述的方法，其特征在于，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据，具体包括：
在所述各文本实体中确定该文本数据的头部实体以及尾部实体；
根据所述头部实体、所述尾部实体以及所述头部实体与所述尾部实体之间的第一对应关系，确定该文本数据对应的业务事件；
在所述场景本体库中确定出与所述业务事件相匹配的视频数据，作为所述目标视频数据。
4.如权利要求3所述的方法，其特征在于，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系，具体包括：
根据该文本数据对应的业务事件，确定所述目标视频数据中的各关键帧；
对所述各关键帧进行目标检测，得到目标检测结果；
根据所述目标检测结果确定所述各图像实体以及所述第二对应关系。
5.如权利要求4所述的方法，其特征在于，所述第二对应关系包括：各图像实体间的空间关系、注意关系以及动作关系中的至少一种。
6.如权利要求1所述的方法，其特征在于，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，具体包括：
根据所述目标视频数据，对所述信号数据进行时间同步，抽取各关键时间区间对应的信号，并根据所述各文本实体和所述第一对应关系，以及所述各图像实体和所述第二对应关系，对各关键时间区间对应的信号进行标注。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户的业务查询请求；
根据所述业务查询请求，在所述多模态知识图谱中确定出与所述业务查询请求相匹配的至少一种模态的各目标业务实体；
在所述场景本体库中调取与所述各目标业务实体相关的业务数据并返回所述用户。
8.一种多模态知识图谱的构建装置，其特征在于，包括：
获取模块，获取目标业务场景的业务数据，并根据所述业务数据构建场景本体库，所述业务数据包括：文本数据、视频数据以及信号数据；
第一确定模块，针对每个文本数据，确定该文本数据中包含的各文本实体以及各文本实体之间的第一对应关系；
匹配模块，在所述场景本体库中确定出与所述文本数据对应描述相匹配的视频数据，作为目标视频数据；
第二确定模块，确定所述目标视频数据中包含的各图像实体以及各图像实体之间的第二对应关系；
第三确定模块，根据所述各图像实体以及所述第二对应关系，对所述信号数据进行标注，根据标注后的信号数据确定各信号实体以及各信号实体之间的第三对应关系；
构建模块，根据每种模态的业务数据对应的信息贡献度，对所述各文本实体和所述第一对应关系、所述各图像实体和所述第二对应关系、所述各信号实体和所述第三对应关系进行对齐融合，根据融合结果构建多模态知识图谱。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285974.4A CN117033666B (zh) | 2023-10-07 | 2023-10-07 | 一种多模态知识图谱的构建方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285974.4A CN117033666B (zh) | 2023-10-07 | 2023-10-07 | 一种多模态知识图谱的构建方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033666A true CN117033666A (zh) | 2023-11-10 |
| CN117033666B CN117033666B (zh) | 2024-01-26 |
Family
ID=88630280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311285974.4A Active CN117033666B (zh) | 2023-10-07 | 2023-10-07 | 一种多模态知识图谱的构建方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033666B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020228376A1 (zh) * | 2019-05-16 | 2020-11-19 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| KR20210092148A (ko) * | 2020-01-15 | 2021-07-23 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 시계열 지식그래프 생성 방법, 장치, 기기 및 매체 |
| CN114186069A (zh) * | 2021-11-29 | 2022-03-15 | 江苏大学 | 基于多模态异构图注意力网络的深度视频理解知识图谱构建方法 |
| WO2022237013A1 (zh) * | 2021-05-11 | 2022-11-17 | 西安交通大学 | 基于实体关系联合抽取的法律知识图谱构建方法及设备 |
| CN115687687A (zh) * | 2023-01-05 | 2023-02-03 | 山东建筑大学 | 一种面向开放域查询的视频片段搜索方法及系统 |
| CN115860152A (zh) * | 2023-02-20 | 2023-03-28 | 南京星耀智能科技有限公司 | 一种面向人物军事知识发现的跨模态联合学习方法 |
| CN116402062A (zh) * | 2023-06-08 | 2023-07-07 | 之江实验室 | 一种基于多模态感知数据的文本生成方法及装置 |
| CN116502633A (zh) * | 2023-03-03 | 2023-07-28 | 之江实验室 | 一种业务执行的方法、装置、存储介质及电子设备 |
-
2023
- 2023-10-07 CN CN202311285974.4A patent/CN117033666B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020228376A1 (zh) * | 2019-05-16 | 2020-11-19 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
| KR20210092148A (ko) * | 2020-01-15 | 2021-07-23 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 시계열 지식그래프 생성 방법, 장치, 기기 및 매체 |
| CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 多模态知识图谱构建方法 |
| WO2022237013A1 (zh) * | 2021-05-11 | 2022-11-17 | 西安交通大学 | 基于实体关系联合抽取的法律知识图谱构建方法及设备 |
| CN114186069A (zh) * | 2021-11-29 | 2022-03-15 | 江苏大学 | 基于多模态异构图注意力网络的深度视频理解知识图谱构建方法 |
| CN115687687A (zh) * | 2023-01-05 | 2023-02-03 | 山东建筑大学 | 一种面向开放域查询的视频片段搜索方法及系统 |
| CN115860152A (zh) * | 2023-02-20 | 2023-03-28 | 南京星耀智能科技有限公司 | 一种面向人物军事知识发现的跨模态联合学习方法 |
| CN116502633A (zh) * | 2023-03-03 | 2023-07-28 | 之江实验室 | 一种业务执行的方法、装置、存储介质及电子设备 |
| CN116402062A (zh) * | 2023-06-08 | 2023-07-07 | 之江实验室 | 一种基于多模态感知数据的文本生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 朱木易洁;鲍秉坤;徐常胜;: "知识图谱发展与构建的研究进展", 南京信息工程大学学报(自然科学版), no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033666B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sheth | Internet of things to smart iot through semantic, cognitive, and perceptual computing | |
| US10924564B2 (en) | Apparatus and methods for providing recommendations based on environmental data | |
| Budrionis et al. | Smartphone-based computer vision travelling aids for blind and visually impaired individuals: A systematic review | |
| Afyouni et al. | Multi-feature, multi-modal, and multi-source social event detection: A comprehensive survey | |
| Sheth | Computing for human experience: Semantics-empowered sensors, services, and social computing on the ubiquitous web | |
| Hjorth et al. | Being at home with privacy: Privacy and mundane intimacy through same-sex locative media practices | |
| WO2023065211A1 (zh) | 一种信息获取方法以及装置 | |
| US20210034386A1 (en) | Mixed-grained detection and analysis of user life events for context understanding | |
| US11126682B1 (en) | Hyperlink based multimedia processing | |
| Albanna et al. | Semantic trajectories: a survey from modeling to application | |
| Bertone et al. | A survey on visual analytics for the spatio-temporal exploration of microblogging content | |
| KR102080149B1 (ko) | 전자 장치에서 비정형 데이터에 기초한 에피소드 기억 식별 방법 | |
| US20160171101A1 (en) | High level of detail news maps and image overlays | |
| CN113779427B (zh) | 日程地址识别方法、设备、存储介质和软件程序产品 | |
| CN116186197A (zh) | 话题推荐方法、装置、电子设备及存储介质 | |
| Chetty et al. | A distributed smart fusion framework based on hard and soft sensors | |
| CN117033666B (zh) | 一种多模态知识图谱的构建方法、装置、存储介质及设备 | |
| Kwok et al. | Unobtrusive interaction: a systematic literature review and expert survey | |
| Schneider et al. | Voice-based conversational agents and knowledge graphs for improving news search in assisted living | |
| Rosales-Huamani et al. | A review of ontological models applied for the assistance of persons with disabilities | |
| Burns et al. | Mining usage data for adaptive personalisation of smartphone based help-on-demand services | |
| Saxena et al. | An intelligent recommendation-cum-reminder system | |
| Cui et al. | Event perception in mobile interaction: Toward better navigation history design on mobile devices | |
| Dobbins et al. | Monitoring and reducing sedentary behavior in the elderly with the aid of human digital memories | |
| Singla et al. | DisDSS: a novel Web-based smart disaster management system for determining the nature of a social media message for decision-making using deep learning–case study of COVID-19 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |