CN113849575A - 数据处理方法、装置和系统 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置和系统。其中，该方法包括：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。本申请解决了相关技术中用户从互联网上获取数据的方式往往是被动和碎片化的，导致用户获得的数据较为单薄的技术问题。

Description

数据处理方法、装置和系统

技术领域

本申请涉及多媒体领域，具体而言，涉及一种数据处理方法、装置和系统。

背景技术

在当下信息爆炸的新媒体时代，大量的视频内容被持续产出和分发，视频内容信息量也朝着碎片化的趋势发展，其表达方式同样愈发多样化，例如短视频行业。但是，在各种社交媒体的广泛传播下，用户获得信息的方式往往是被动和碎片化的，使得大部分获取的内容都较为单薄。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理方法、装置和系统，以至少解决相关技术中用户从互联网上获取数据的方式往往是被动和碎片化的，导致用户获得的数据较为单薄的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理方法，包括：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：接收模块，用于接收第一数据，其中，第一数据包括：第一实体；分析模块，用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块，用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块，用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出模块，用于输出第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取第一数据，其中，第一数据包括：第一实体；分析模块，用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块，用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块，用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：第一调用模块，用于通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体；分析模块，用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块，用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块，用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；第二调用模块，用于通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：在视频展示系统的交互界面中显示第一视频数据，其中，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到，知识图谱用于表征不同实体之间的关联关系。

根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：在视频展示系统的交互界面中显示第一视频数据，其中，视频展示系统安装在观光设备上，第一视频数据是基于观光设备的当前位置所获取的视频数据，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到，知识图谱用于表征不同实体之间的关联关系。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的数据处理方法。

根据本申请实施例的另一方面，还提供了一种计算机终端，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的数据处理方法。

根据本申请实施例的另一方面，还提供了一种数据处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

在本申请实施例中，在接收到第一数据之后，可以对第一数据进行语义识别，得到第一数据的第一结构化数据，然后利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，进一步基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，实现生成嵌入有知识的可视化解说视频的目的。容易注意到的是，第二数据中嵌入有利用知识图谱进行推理得到的知识信息，从而实现了为数据赋予知识，达到了充分实现知识的表示和扩展，方便用户主动获取大量知识的技术效果，进而解决了相关技术中用户从互联网上获取数据的方式往往是被动和碎片化的，导致用户获得的数据较为单薄的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例的一种计算机终端作为接收端的示意图；

图3是根据本申请实施例的第一种数据处理方法的流程图；

图4是根据本申请实施例的一种可选的交互界面的示意图；

图5是根据本申请实施例的一种可选的数据处理方法的流程图；

图6是根据本申请实施例的一种可选的可视化地点知识的示意图；

图7是根据本申请实施例的第二种数据处理方法的流程图；

图8是根据本申请实施例的第三种数据处理方法的流程图；

图9是根据本申请实施例的第一种数据处理装置的示意图；

图10是根据本申请实施例的第二种数据处理装置的示意图；

图11是根据本申请实施例的第三种数据处理装置的示意图；

图12是根据本申请实施例的第四种数据处理方法的流程图；

图13是根据本申请实施例的第五种数据处理方法的流程图；

图14是根据本申请实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

视频结构化：可以是指借助计算机视觉、自然语言分析和音频识别等人工智能技术的综合应用，对视频进行标签、字幕、语音等维度的理解，将非结构化的视频转换为结构化信息。

知识图谱(Knowledge Graph)：可以是由“实体”，以及实体与实体之间的“关系”构建出来的网状语义网络，通过将数据嵌入到图中进行数据的结构化，以表征实体之间的关联关系。

知识推理(Knowledge Inference)：可以是指借助知识图谱信息获取新的知识。

多模态(Multi-modal)：可以是指多媒体中对信息的各种表示方式，如图像、文本、语音等。

图卷积神经网络(Graph Convolution Networks)：简称为GCN，可以是指一种深度学习方法，主要用于非结构化数据上构建“边”和“节点”之间的关联关系和特征表示。

实体：可以是指视频中包含的时间、地点、任务、事件等关键信息。

解说视频：可以是指嵌入有知识的视频。

实施例1

根据本申请实施例，提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

图1示出的硬件结构框图，不仅可以作为上述计算机终端10(或移动设备)的示例性框图，还可以作为服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的计算机终端10(或移动设备)作为接收端的一种实施例。如图2所示，计算机终端10(或移动设备)可以经由数据网络连接或电子连接到一个或多个客户端20。一种可选实施例中，上述计算机终端10(或移动设备)可以是服务器，可以为客户端提供数据处理服务。数据网络连接可以是局域网连接、广域网连接、因特网连接，或其他类型的数据网络连接。

在上述运行环境下，本申请提供了如图3所示的数据处理方法。图3是根据本申请实施例的第一种数据处理方法的流程图。如图3所示，该方法可以包括如下步骤：

步骤S302，接收第一数据，其中，第一数据包括：第一实体。

上述步骤中的第一数据可以是指用户上传的需要赋予知识信息的数据，该数据可以是用户录下的音频数据，也可以是用户拍摄的视频数据，在本申请实施例中，以视频数据为例进行说明。

上述步骤中的第一实体可以是第一数据中包含的时间、地点、人物、事件等关键信息，例如，对于视频数据，第一实体可以是“杭州”、“钱塘江”等地理位置；例如，对于音频数据，第一实体可以是“主席”、“总统”等人物。

在一种可选的实施例中，可以给用户提供一个如图4所示的交互界面，用户在输入区域内上传第一数据，用户可以通过直接将第一数据拖至该区域，或者通过点击“上传数据”按钮的方式，完成第一数据的上传过程。如果第一数据的处理流程由移动终端(例如智能手机、平板电脑、掌上电脑、笔记本电脑等)执行，则在第一数据上传完成之后，移动终端可以直接对第一数据进行处理；如果第一数据的处理流程由服务器执行，则移动终端可以通过网络将第一数据发送给服务器，由服务器进行处理。

需要说明的是，为了给第一数据赋予知识信息，需要通过海量数据构建知识图谱，知识图谱的构建以及处理流程需要大量计算资源。为了大幅度减少用户设备的运算负担，可以由服务器对第一数据进行处理，移动终端可以通过特定接口连接服务器，并将第一数据发送给服务器，服务器在处理完成之后，可以将可视化解说视频反馈给移动终端。

步骤S304，对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息。

上述步骤中的结构化处理可以是指以结构化标签的形式对第一实体信息进行表征。

在一种可选的实施例中，可以对第一数据进行语义识别，对数据包含的内容进行全方面的理解，提炼出第一数据中包含的时间、地点、人物、事件等关键信息，并通过结构化标签的形式进行表征，从而得到上述的第一结构化数据。例如，人物A出现在时间段T1-T2的画面位置P1，事件B发生在时间段T3-T4的画面范围P2内。

步骤S306，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系。

上述步骤中的知识图谱可以是通过对海量的多元异构数据进行规整形成的图谱，该图谱中包含有实体、实体属性和实体关系等三元组信息。

上述步骤中的知识信息可以是基于知识图谱，从第一结构化数据出发，运用已有知识推理出的新的知识，该知识具体可以是针对第一实体的描述信息和图片信息，例如，当第一实体为地点时，上述的知识信息可以是该地点的内容描述信息和主图信息。

在一种可选的实施例中，知识图谱可以通过三元组的表达形式描述实体与实体之间的关联关系，从而在得到第一数据的第一结构化数据之后，可以基于构建好的知识图谱，运用已有知识对第一结构化数据进行知识推理，推理出第一结构化数据对应的新的知识。

步骤S308，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

上述步骤中的第二数据可以是指嵌入有知识的数据，例如，当第一数据为视频数据时，第二数据可以是可视化解说视频。

在一种可选的实施例中，在推理出知识信息之后，可以将知识信息嵌入到第一数据中，从而生成第二数据，例如，对于视频数据，在推理出知识信息之后，可以根据第一结构化信息定位出时间范围和空间位置关系，进而可以将知识信息以确定的时间范围和空间位置关系展示在画面中，形成该视频的可视化解说。例如，仍以第一实体为地点为例进行说明，可以将该地点的内容描述信息和主图信息展示在视频图像中，形成该视频的可视化解说视频。

步骤S310，输出第二数据。

在一种可选的实施例中，如果第一数据的处理流程由移动终端(例如智能手机、平板电脑、掌上电脑、笔记本电脑等)执行，则移动终端可以直接将第二数据显示在如图4所示的交互界面的显示区域中；如果第一数据的处理流程由服务器执行，则服务器可以通过网络将第二数据返回给移动终端，由移动终端显示在如图4所示的交互界面的显示区域中，从而用户可以查看到可视化解说视频。

通过本申请上述实施例提供的技术方案，在接收到第一数据之后，可以对第一数据进行语义识别，得到第一数据的第一结构化数据，然后利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，进一步基于第一结构化数据和知识信息，生成第二数据，实现生成嵌入有知识的可视化解说视频的目的。容易注意到的是，第二数据中嵌入有利用知识图谱进行推理得到的知识信息，从而实现了为数据赋予知识，达到了充分实现知识的表示和扩展，方便用户主动获取大量知识的技术效果，进而解决了相关技术中用户从互联网上获取数据的方式往往是被动和碎片化的，导致用户获得的数据较为单薄的技术问题。

在本申请上述实施例中，对第一数据进行语义识别，得到第一数据的第一结构化数据，包括：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

上述步骤中的第一实体信息可以是第一数据中包含的第一实体的信息，例如，当第一实体为人物时，第一实体信息可以是人物的名称；当第一实体为地点时，第一实体信息可以是地点名称；当第一实体为时间时，第一实体信息可以是具体时间点或时间范围；当第一实体为事件时，第一实体信息可以是事件名称，但不仅限于此。

在一种可选的实施例中，对于视频数据，其往往融合有图像、音频和文本等多种信息，因此，可以借助图像、音频和文本等多模态信息(即上述的第一多模态信息)对视频数据进行全方面的理解，通过语义识别提炼出视频数据中包含的时间、地点、任务、事件、物体等关键信息(即上述的第一实体信息)，并通过结构化标签的形式进行表示，从而得到第一结构化数据。

在本申请上述实施例中，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，包括：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

上述步骤中的特征向量可以包含有实体特征向量和近邻关系特征向量。

在一种可选的实施例中，可以利用图卷积网络对知识图谱中的实体和实体之间的关联关系进行计算，提取出实体特征向量和近邻关系特征向量，进而基于实体特征向量和近邻关系特征向量对第一结构化数据进行链接预测，从第一结构化数据出发，预测得到与第一结构化数据相关联的知识节点，也即得到与第一结构化数据相关联的知识信息。

在本申请上述实施例中，该方法还包括：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

上述步骤中的文本数据可以是从网络上收集或者其他用户上传的大量的文本数据，视频数据可以是从网络上收集或其他用户上传的大量的视频数据。该视频数据中包含的第二实体可以与第一实体相同，也可以不同，本申请对此不作具体限定。

在一种可选的实施例中，构建知识图谱的数据来源可以分为两部分，第一部分可以是文本数据，第二部分可以是视频数据。对于文本数据，可以利用知识抽取、语义分析等技术对文本数据进行处理，建立实体、实体属性和实体关系的三元组信息，得到第二结构化数据；对于视频数据，可以借助多模态信息对视频数据进行全方面的理解，提炼出视频数据中包含的时间、地点、人物、事件等关键信息，并以结构化标签的形式进行表征，得到第三结构化数据。通过第二结构化数据和第三结构化数据可以构建实体关系，实现对海量的多元异构数据进行规整形成知识图谱。例如，当视频数据中在同一时间段内出现了人物A和人物B，则两个人物之间可以构建实体关系。

在本申请上述实施例中，对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，包括：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在一种可选的实施例中，对于文本数据，可以利用知识抽取、语义分析等技术对文本数据进行分词，进一步对分词后的词序列进行语义分析，可以确定文本数据中包含的实体信息，并抽取出实体和实体之间的关系等结构化数据，进一步可以建立实体、实体属性和实体关系三元组信息。

在本申请上述实施例中，对视频数据进行语义识别，得到视频数据对应的第三结构化数据，包括：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

需要说明的是，视频数据的处理方法与第一数据的处理方法相同，在此不作赘述，该处理方法均为利用多模态视频理解技术对视频数据进行语义理解，充分挖掘视频内和视频间的隐式信息，构建结构化标签间的层次关系。

在本申请上述实施例中，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，包括：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

上述步骤中的输出效果可以是基于“包装模板和特效”设定的不同知识信息的包装特效。

在一种可选的实施例中，对于通过知识推理得到的知识节点，每个知识节点可以按照第一结构化数据自动对应到第一数据中，自动定位出起始时间点片段和画面出现位置，并结合“包装模板和特效”分层次地将知识点嵌入至第一数据中，从而得到第二数据。

下面结合图5和图6以可视化地点知识为例对本申请一种优选的实施例进行详细说明。本申请提供的数据处理方法可以由移动终端或者服务器进行执行，在本申请实施例中，以服务器执行为例进行详细说明。可以通过视频结构化信息的抽取和知识推理，得到与视频高度相关的衍生内容信息，并以可视化的形式将其显示展示在视频中。如图5所示，该方法可以由多模态视频理解、知识推理和可视化解说三个部分构成。

对于多模态视频理解，在视频输入之后，可以借助图像、音频、文本等多模态信息对视频进行全方面的理解，提炼出视频中包含的时间、地点、人物、事件等关键信息，以结构化标签的形式进行表征，得到结构化信息。

对于知识推理可以进一步划分为两个部分，分别为知识图谱构建和知识推理。构建知识图谱的数据来源分为大量的文本数据和视频数据，一方面，可以利用知识抽取、语义分析等技术对大量的文本数据进行分词、实体识别和关系抽取等处理，从而可以将文本数据规整为结构化数据，建立实体、实体属性和实体关系三元组信息；另一方面，可以利用多模态视频理解技术对大量的视频数据进行语义理解，在视频内和相关视频间通过结构化标签挖掘隐式的信息，构建标签间的层次关系；通过上述两种方法，可以对海量的多元异构数据进行规整形成知识图谱。在知识图谱构建完成之后，可以基于该知识图谱，从当前多元的结构化信息出发，运用已有知识推理出新的知识，具体实现方案可以是利用GCN对知识图谱中的实体和相关节点进行计算，得到实体表征和近邻关系表征进行链接预测，得到相关联的知识节点。

对于可视化解说，可以利用提取到的视频结构化信息和推理知识点进行可视化生成解说。每个视频解说点可以依据结构化信息自动对应到视频中确定的起始时间点片段，同时定位到该信息具体在画面中出现的位置，并结合“包装模板和特效”分层次地将知识点呈现在视频中。

例如，对于视频中出现的如图6所示的画面，通过多模态视频理解可以判别出“杭州”、“钱江新城”、“钱塘江”等地理位置相关信息，并映射到对应的时间范围和空间位置上。进一步地，结合知识图谱和知识推理，可以得到该地点的内容描述信息和主图信息。最后将得到的知识点按照上述时间范围和空间位置展示在画面中，形成对该视频画面的可视化解说。

需要说明的是，对于知识解说的范围不止于上述示例中的地点知识，还包括各种时间、人物、事件、物体等多样化的内容。

通过上述方案，在原始视频的基础上，可以对其进行自动化的视频语义理解和信息抽取，实现对视频内容的深层次挖掘，同时借助知识推理，提炼出体系化的知识信息，进一步地将知识嵌入到视频中，给视频赋予知识，让用户收获知识。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

实施例2

根据本申请实施例，还提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图7是根据本申请实施例的第二种数据处理方法的流程图。如图7所示，该方法可以包括如下步骤：

步骤S702，获取第一数据，其中，第一数据包括：第一实体。

上述步骤中的第一数据可以是指用户上传的需要赋予知识信息的数据，该数据可以是用户录下的音频数据，也可以是用户拍摄的视频数据，在本申请实施例中，以视频数据为例进行说明。

上述步骤中的第一实体可以是第一数据中包含的时间、地点、人物、事件等关键信息，例如，对于视频数据，第一实体可以是“杭州”、“钱塘江”等地理位置；例如，对于音频数据，第一实体可以是“主席”、“总统”等人物。

步骤S704，对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息。

上述步骤中的结构化处理可以是指以结构化标签的形式对第一实体信息进行表征。

步骤S706，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系。

上述步骤中的知识图谱可以是通过对海量的多元异构数据进行规整形成的图谱，该图谱中包含有实体、实体属性和实体关系等三元组信息。

上述步骤中的知识信息可以是基于知识图谱，从第一结构化数据出发，运用已有知识推理出的新的知识，该知识具体可以是针对第一实体的描述信息和图片信息，例如，当第一实体为地点时，上述的知识信息可以是该地点的内容描述信息和主图信息。

步骤S708，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

上述步骤中的第二数据可以是指嵌入有知识的数据，例如，当第一数据为视频数据时，第二数据可以是可视化解说视频。

在本申请上述实施例中，对第一数据进行语义识别，得到第一数据的第一结构化数据，包括：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

上述步骤中的第一实体信息可以是第一数据中包含的第一实体的信息，例如，当第一实体为人物时，第一实体信息可以是人物的名称；当第一实体为地点时，第一实体信息可以是地点名称；当第一实体为时间时，第一实体信息可以是具体时间点或时间范围；当第一实体为事件时，第一实体信息可以是事件名称，但不仅限于此。

在本申请上述实施例中，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，包括：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

上述步骤中的特征向量可以包含有实体特征向量和近邻关系特征向量。

在本申请上述实施例中，该方法还包括：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

上述步骤中的文本数据可以是从网络上收集或者其他用户上传的大量的文本数据，视频数据可以是从网络上收集或其他用户上传的大量的视频数据。该视频数据中包含的第二实体可以与第一实体相同，也可以不同，本申请对此不作具体限定。

在本申请上述实施例中，对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，包括：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，对视频数据进行语义识别，得到视频数据对应的第三结构化数据，包括：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，包括：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例3

根据本申请实施例，还提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图8是根据本申请实施例的第三种数据处理方法的流程图。如图8所示，该方法可以包括如下步骤：

步骤S802，通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体。

上述步骤中的第一接口可以是服务器与移动终端之间进行数据交互的接口，移动终端可以将第一数据传入接口函数，作为接口函数的一个参数，实现第一数据上传至服务器的目的。

上述步骤中的第一数据可以是指用户上传的需要赋予知识信息的数据，该数据可以是用户录下的音频数据，也可以是用户拍摄的视频数据，在本申请实施例中，以视频数据为例进行说明。

上述步骤中的第一实体可以是第一数据中包含的时间、地点、人物、事件等关键信息，例如，对于视频数据，第一实体可以是“杭州”、“钱塘江”等地理位置；例如，对于音频数据，第一实体可以是“主席”、“总统”等人物。

步骤S804，对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息。

上述步骤中的结构化处理可以是指以结构化标签的形式对第一实体信息进行表征。

步骤S806，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系。

上述步骤中的知识图谱可以是通过对海量的多元异构数据进行规整形成的图谱，该图谱中包含有实体、实体属性和实体关系等三元组信息。

上述步骤中的知识信息可以是基于知识图谱，从第一结构化数据出发，运用已有知识推理出的新的知识，该知识具体可以是针对第一实体的描述信息和图片信息，例如，当第一实体为地点时，上述的知识信息可以是该地点的内容描述信息和主图信息。

步骤S808，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

上述步骤中的第二数据可以是指嵌入有知识的数据，例如，当第一数据为视频数据时，第二数据可以是可视化解说视频。

步骤S810，通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

上述步骤中的第二接口可以是服务器与移动终端之间进行数据交互的接口，服务器可以将第二数据传入接口函数，作为接口函数的一个参数，实现第二数据下发至移动终端的目的。

在本申请上述实施例中，对第一数据进行语义识别，得到第一数据的第一结构化数据，包括：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

上述步骤中的第一实体信息可以是第一数据中包含的第一实体的信息，例如，当第一实体为人物时，第一实体信息可以是人物的名称；当第一实体为地点时，第一实体信息可以是地点名称；当第一实体为时间时，第一实体信息可以是具体时间点或时间范围；当第一实体为事件时，第一实体信息可以是事件名称，但不仅限于此。

在本申请上述实施例中，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，包括：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

上述步骤中的特征向量可以包含有实体特征向量和近邻关系特征向量。

在本申请上述实施例中，该方法还包括：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

上述步骤中的文本数据可以是从网络上收集或者其他用户上传的大量的文本数据，视频数据可以是从网络上收集或其他用户上传的大量的视频数据。该视频数据中包含的第二实体可以与第一实体相同，也可以不同，本申请对此不作具体限定。

在本申请上述实施例中，对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，包括：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，对视频数据进行语义识别，得到视频数据对应的第三结构化数据，包括：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，包括：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例4

根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图9所示，该装置900包括：接收模块902、分析模块904、预测模块906、生成模块908和输出模块910。

其中，接收模块902用于接收第一数据，其中，第一数据包括：第一实体；分析模块904用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块906用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块908用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出模块910用于输出第二数据。

此处需要说明的是，上述接收模块902、分析模块904、预测模块906、生成模块908和输出模块910对应于实施例1中的步骤S302至步骤S310，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

在本申请上述实施例中，分析模块包括：获取单元、第一识别单元和处理单元。

其中，获取单元用于获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；第一识别单元用于对第一多模态信息进行语义识别，得到第一实体信息；处理单元用于对第一实体信息进行结构化处理，得到第一结构化数据。

在本申请上述实施例中，预测模块包括：提取单元和预测单元。

其中，提取单元用于利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；预测单元用于基于特征向量对第一结构化数据进行链接预测，得到知识信息。

在本申请上述实施例中，该装置还包括：获取模块、处理模块和构建模块。

其中，获取模块用于获取文本数据和视频数据，其中，视频数据包括：第二实体；处理模块用于对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；分析模块还用于对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；构建模块用于基于第二结构化数据和第三结构化数据，构建知识图谱。

在本申请上述实施例中，处理模块包括：分词单元、第二识别单元、抽取单元和建立单元。

其中，分词单元用于对文本数据进行分词处理，得到文本数据对应的词序列；第二识别单元用于对词序列进行语义识别，确定文本数据包含的实体信息；抽取单元用于对词序列进行关系抽取，确定实体信息之间的关系信息；建立单元用于基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，获取单元还用于获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；第一识别单元还用于对第二多模态信息进行语义识别，得到第二实体信息；处理单元还用于对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，生成模块包括：确定单元和叠加单元。

其中，确定单元用于确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取单元还用于获取知识信息对应的输出效果；叠加单元用于基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例5

根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图10所示，该装置1000包括：获取模块1002、分析模块1004、预测模块1006、和生成模块1008。

其中，获取模块1002用于获取第一数据，其中，第一数据包括：第一实体；分析模块1004用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块1006用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块1008用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

此处需要说明的是，上述获取模块1002、分析模块1004、预测模块1006、和生成模块1008对应于实施例2中的步骤S702至步骤S308，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

在本申请上述实施例中，分析模块包括：获取单元、第一识别单元和处理单元。

其中，获取单元用于获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；第一识别单元用于对第一多模态信息进行语义识别，得到第一实体信息；处理单元用于对第一实体信息进行结构化处理，得到第一结构化数据。

在本申请上述实施例中，预测模块包括：提取单元和预测单元。

其中，提取单元用于利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；预测单元用于基于特征向量对第一结构化数据进行链接预测，得到知识信息。

在本申请上述实施例中，该装置还包括：处理模块和构建模块。

其中，获取模块海用于获取文本数据和视频数据，其中，视频数据包括：第二实体；处理模块用于对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；分析模块还用于对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；构建模块用于基于第二结构化数据和第三结构化数据，构建知识图谱。

在本申请上述实施例中，处理模块包括：分词单元、第二识别单元、抽取单元和建立单元。

其中，分词单元用于对文本数据进行分词处理，得到文本数据对应的词序列；第二识别单元用于对词序列进行语义识别，确定文本数据包含的实体信息；抽取单元用于对词序列进行关系抽取，确定实体信息之间的关系信息；建立单元用于基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，获取单元还用于获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；第一识别单元还用于对第二多模态信息进行语义识别，得到第二实体信息；处理单元还用于对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，生成模块包括：确定单元和叠加单元。

其中，确定单元用于确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取单元还用于获取知识信息对应的输出效果；叠加单元用于基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例6

根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图11所示，该装置1100包括：第一调用模块1102、分析模块1104、预测模块1106、生成模块1108和第二调用模块1110。

其中，第一调用模块1102用于通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体；分析模块1104用于对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；预测模块1106用于利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；生成模块1108用于基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；第二调用模块1110用于通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

此处需要说明的是，上述第一调用模块1102、分析模块1104、预测模块1106、生成模块1108和第二调用模块1110对应于实施例3中的步骤S802至步骤S810，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

在本申请上述实施例中，分析模块包括：获取单元、第一识别单元和处理单元。

其中，获取单元用于获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；第一识别单元用于对第一多模态信息进行语义识别，得到第一实体信息；处理单元用于对第一实体信息进行结构化处理，得到第一结构化数据。

在本申请上述实施例中，预测模块包括：提取单元和预测单元。

其中，提取单元用于利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；预测单元用于基于特征向量对第一结构化数据进行链接预测，得到知识信息。

在本申请上述实施例中，该装置还包括：获取模块、处理模块和构建模块。

其中，获取模块用于获取文本数据和视频数据，其中，视频数据包括：第二实体；处理模块用于对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；分析模块还用于对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；构建模块用于基于第二结构化数据和第三结构化数据，构建知识图谱。

在本申请上述实施例中，处理模块包括：分词单元、第二识别单元、抽取单元和建立单元。

其中，分词单元用于对文本数据进行分词处理，得到文本数据对应的词序列；第二识别单元用于对词序列进行语义识别，确定文本数据包含的实体信息；抽取单元用于对词序列进行关系抽取，确定实体信息之间的关系信息；建立单元用于基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，获取单元还用于获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；第一识别单元还用于对第二多模态信息进行语义识别，得到第二实体信息；处理单元还用于对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，生成模块包括：确定单元和叠加单元。

其中，确定单元用于确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取单元还用于获取知识信息对应的输出效果；叠加单元用于基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例7

根据本申请实施例，还提供了一种数据处理系统，包括：

处理器；以及

存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例8

根据本申请实施例，还提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图12是根据本申请实施例的第四种数据处理方法的流程图。如图12所示，该方法可以包括如下步骤：

步骤S1202，在视频展示系统的交互界面中显示第一视频数据，其中，第一视频数据包括：第一实体。

上述步骤中的视频展示系统可以是可视化视频解说系统，交互界面可以是视频展示系统中提供给用户查看可视化视频的界面。该系统可以应用于不同的应用场景，例如，在观光旅游的应用场景中，该系统可以安装在观光电梯、观光望远镜等观光设备中，也可以安装在观光景点的处设置的景点讲解设备，或用户手持景点讲解设备中。

上述步骤中的第一视频数据可以是通过拍摄设备实时拍摄到的视频展示系统所处位置的视频，也可以是存储在视频展示系统中预先拍摄好的视频。例如，对于观光电梯，由于其高度发生变化外部的景色也会发生变化，因此，可以实时拍摄外部景色得到第一视频数据，或者根据当前高度读取提前拍摄的相应高度的外部景色得到第一视频数据。

上述步骤中的第一实体可以是第一视频数据中包含的时间、地点、人物、事件等关键信息，例如，第一实体可以是“杭州”、“钱塘江”等地理位置，也可以是“主席”、“总统”等人物。

步骤S1204，在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到，知识图谱用于表征不同实体之间的关联关系。

上述步骤中的知识图谱可以是通过对海量的多元异构数据进行规整形成的图谱，该图谱中包含有实体、实体属性和实体关系等三元组信息。

上述步骤中的知识信息可以是基于知识图谱，从第一视频数据出发，运用已有知识推理出的新的知识，该知识具体可以是针对第一实体的描述信息和图片信息，例如，当第一实体为地点时，上述的知识信息可以是该地点的内容描述信息和主图信息。

可选的，可以基于第一结构化数据将知识信息嵌入到第一视频数据中，生成第二视频数据。

在一种可选的实施例中，知识图谱可以通过三元组的表达形式描述实体与实体之间的关联关系，从而可以基于构建好的知识图谱，运用已有知识对第一视频数据进行知识推理，推理出第一实体对应的新的知识。在推理出知识信息之后，可以将知识信息嵌入到第一视频数据中，从而生成第二视频数据，例如，在推理出知识信息之后，可以根据第一结构化信息定位出时间范围和空间位置关系，进而可以将知识信息以确定的时间范围和空间位置关系展示在画面中，形成该视频的可视化解说。例如，仍以第一实体为地点为例进行说明，可以将该地点的内容描述信息和主图信息展示在视频图像中，形成该视频的可视化解说视频。

在本申请上述实施例中，在交互界面中显示第二视频数据之前，该方法还包括：对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到知识信息。

上述步骤中的结构化处理可以是指以结构化标签的形式对第一实体信息进行表征。

在一种可选的实施例中，可以对第一视频数据进行语义识别，对视频包含的内容进行全方面的理解，提炼出第一视频数据中包含的时间、地点、人物、事件等关键信息，并通过结构化标签的形式进行表征，从而得到上述的第一结构化数据。例如，人物A出现在时间段T1-T2的画面位置P1，事件B发生在时间段T3-T4的画面范围P2内。在得到第一数据的第一结构化数据之后，可以基于构建好的知识图谱，运用已有知识对第一结构化数据进行知识推理，推理出第一结构化数据对应的新的知识。

在本申请上述实施例中，对第一数据进行语义识别，得到第一数据的第一结构化数据，包括：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

上述步骤中的第一实体信息可以是第一数据中包含的第一实体的信息，例如，当第一实体为人物时，第一实体信息可以是人物的名称；当第一实体为地点时，第一实体信息可以是地点名称；当第一实体为时间时，第一实体信息可以是具体时间点或时间范围；当第一实体为事件时，第一实体信息可以是事件名称，但不仅限于此。

在本申请上述实施例中，利用知识图谱对第一结构化数据进行预测，得到知识信息，包括：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

上述步骤中的特征向量可以包含有实体特征向量和近邻关系特征向量。

在本申请上述实施例中，该方法还包括：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

上述步骤中的文本数据可以是从网络上收集或者其他用户上传的大量的文本数据，视频数据可以是从网络上收集或其他用户上传的大量的视频数据。该视频数据中包含的第二实体可以与第一实体相同，也可以不同，本申请对此不作具体限定。

在本申请上述实施例中，对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，包括：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，对视频数据进行语义识别，得到视频数据对应的第三结构化数据，包括：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，包括：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例9

根据本申请实施例，还提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图13是根据本申请实施例的第五种数据处理方法的流程图。如图13所示，该方法可以包括如下步骤：

步骤S1302，在视频展示系统的交互界面中显示第一视频数据，其中，视频展示系统安装在观光设备上，第一视频数据是基于观光设备的当前位置所获取的视频数据，第一视频数据包括：第一实体。

上述步骤中的视频展示系统可以是可视化视频解说系统，交互界面可以是视频展示系统中提供给用户查看可视化视频的界面。观光设备可以是观光电梯、观光望远镜等设备，但不仅限于此，可视化视频解说系统可以安装在上述设备中，方便用户查看。

上述步骤中的第一视频数据可以是通过拍摄设备实时拍摄到的观光设备当前位置的视频，也可以是存储在视频展示系统中与观光设备当前位置相对应的视频，该视频通过拍摄设备预先拍摄得到。例如，对于观光电梯，由于其高度发生变化外部的景色也会发生变化，因此，可以实时拍摄外部景色得到第一视频数据，或者根据当前高度读取提前拍摄的相应高度的外部景色得到第一视频数据。

上述步骤中的第一实体可以是第一数据中包含的时间、地点、人物、事件等关键信息，例如，对于视频数据，第一实体可以是“杭州”、“钱塘江”等地理位置；例如，对于音频数据，第一实体可以是“主席”、“总统”等人物。

步骤S1304，在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到，知识图谱用于表征不同实体之间的关联关系。

上述步骤中的知识图谱可以是通过对海量的多元异构数据进行规整形成的图谱，该图谱中包含有实体、实体属性和实体关系等三元组信息。

上述步骤中的知识信息可以是基于知识图谱，从第一视频数据出发，运用已有知识推理出的新的知识，该知识具体可以是针对第一实体的描述信息和图片信息，例如，当第一实体为地点时，上述的知识信息可以是该地点的内容描述信息和主图信息。

可选的，可以基于第一结构化数据将知识信息嵌入到第一视频数据中，生成第二视频数据。

在一种可选的实施例中，知识图谱可以通过三元组的表达形式描述实体与实体之间的关联关系，从而可以基于构建好的知识图谱，运用已有知识对第一视频数据进行知识推理，推理出第一实体对应的新的知识。在推理出知识信息之后，可以将知识信息嵌入到第一视频数据中，从而生成第二视频数据，例如，在推理出知识信息之后，可以根据第一结构化信息定位出时间范围和空间位置关系，进而可以将知识信息以确定的时间范围和空间位置关系展示在画面中，形成该视频的可视化解说。例如，仍以第一实体为地点为例进行说明，可以将该地点的内容描述信息和主图信息展示在视频图像中，形成该视频的可视化解说视频。

在本申请上述实施例中，在交互界面中显示第二视频数据之前，该方法还包括：对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到知识信息。

上述步骤中的结构化处理可以是指以结构化标签的形式对第一实体信息进行表征。

在一种可选的实施例中，可以对第一视频数据进行语义识别，对视频包含的内容进行全方面的理解，提炼出第一视频数据中包含的时间、地点、人物、事件等关键信息，并通过结构化标签的形式进行表征，从而得到上述的第一结构化数据。例如，人物A出现在时间段T1-T2的画面位置P1，事件B发生在时间段T3-T4的画面范围P2内。在得到第一数据的第一结构化数据之后，可以基于构建好的知识图谱，运用已有知识对第一结构化数据进行知识推理，推理出第一结构化数据对应的新的知识。

在本申请上述实施例中，对第一数据进行语义识别，得到第一数据的第一结构化数据，包括：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

上述步骤中的第一实体信息可以是第一数据中包含的第一实体的信息，例如，当第一实体为人物时，第一实体信息可以是人物的名称；当第一实体为地点时，第一实体信息可以是地点名称；当第一实体为时间时，第一实体信息可以是具体时间点或时间范围；当第一实体为事件时，第一实体信息可以是事件名称，但不仅限于此。

在本申请上述实施例中，利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，包括：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

上述步骤中的特征向量可以包含有实体特征向量和近邻关系特征向量。

在本申请上述实施例中，该方法还包括：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

上述步骤中的文本数据可以是从网络上收集或者其他用户上传的大量的文本数据，视频数据可以是从网络上收集或其他用户上传的大量的视频数据。该视频数据中包含的第二实体可以与第一实体相同，也可以不同，本申请对此不作具体限定。

在本申请上述实施例中，对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，包括：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

在本申请上述实施例中，对视频数据进行语义识别，得到视频数据对应的第三结构化数据，包括：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

在本申请上述实施例中，基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据，包括：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例10

本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

可选地，图14是根据本申请实施例的一种计算机终端的结构框图。如图14所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器1402、以及存储器1404。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

可选的，上述处理器还可以执行如下步骤的程序代码：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

可选的，上述处理器还可以执行如下步骤的程序代码：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

可选的，上述处理器还可以执行如下步骤的程序代码：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

可选的，上述处理器还可以执行如下步骤的程序代码：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

可选的，上述处理器还可以执行如下步骤的程序代码：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

可选的，上述处理器还可以执行如下步骤的程序代码：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在视频展示系统的交互界面中显示第一视频数据，其中，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到。

可选的，上述处理器还可以执行如下步骤的程序代码：对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到知识信息。

可选的，上述处理器还可以执行如下步骤的程序代码：基于第一结构化数据将知识信息嵌入到第一视频数据中，生成第二视频数据。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在视频展示系统的交互界面中显示第一视频数据，其中，视频展示系统安装在观光设备上，第一视频数据是基于观光设备的当前位置所获取的视频数据，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到。

采用本申请实施例，提供了一种可视化解说视频的生成方案。通过在第二数据中嵌入有利用知识图谱进行推理得到的知识信息，从而实现了为数据赋予知识，达到了充分实现知识的表示和扩展，方便用户主动获取大量知识的技术效果，进而解决了相关技术中用户从互联网上获取数据的方式往往是被动和碎片化的，导致用户获得的数据较为单薄的技术问题。

本领域普通技术人员可以理解，图14所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图14其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例11

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的数据处理方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；输出第二数据。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取第一数据的第一多模态信息，其中，第一多模态信息包括如下两种类型的信息：图像、音频和文本；对第一多模态信息进行语义识别，得到第一实体信息；对第一实体信息进行结构化处理，得到第一结构化数据。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用图卷积网络对知识图谱进行特征提取，得到知识图谱的特征向量；基于特征向量对第一结构化数据进行链接预测，得到知识信息。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取文本数据和视频数据，其中，视频数据包括：第二实体；对文本数据进行结构化处理，得到文本数据对应的第二结构化数据，其中，第二结构化数据为结构化处理后的三元组信息，三元组信息包括：实体、实体属性和实体关系；对视频数据进行语义识别，得到视频数据对应的第三结构化数据，其中，第三结构化数据为结构化处理后的第二实体信息；基于第二结构化数据和第三结构化数据，构建知识图谱。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对文本数据进行分词处理，得到文本数据对应的词序列；对词序列进行语义识别，确定文本数据包含的实体信息；对词序列进行关系抽取，确定实体信息之间的关系信息；基于实体信息和实体信息之间的关系信息，建立第二结构化数据。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取视频数据的第二多模态信息，其中，第二多模态信息包括：图像信息、音频信息和文本信息；对第二多模态信息进行语义识别，得到第二实体信息；对第二实体信息进行结构化处理，得到第三结构化数据。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：确定第一结构化数据在第一数据中的目标位置，其中，目标位置包括：时间位置和空间位置；获取知识信息对应的输出效果；基于输出效果将知识信息叠加在目标位置上，得到第二数据。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一数据，其中，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口获取第一数据，其中，第一接口包含第一参数，第一参数的参数值为第一数据，第一数据包括：第一实体；对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到第一结构化数据对应的知识信息，其中，知识图谱用于表征不同实体之间的关联关系；基于第一结构化数据将知识信息嵌入至第一数据中，生成第二数据；通过调用第二接口输出第二数据，其中，第二接口包含第二参数，第二参数的参数值为第二数据。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在视频展示系统的交互界面中显示第一视频数据，其中，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在视频展示系统的交互界面中显示第一视频数据，其中，视频展示系统安装在观光设备上，第一视频数据是基于观光设备的当前位置所获取的视频数据，第一视频数据包括：第一实体；在交互界面中显示第二视频数据，其中，第二视频数据为在第一视频数据中嵌入第一实体对应的知识信息所生成的视频数据，知识信息利用知识图谱对第一视频数据进行预测得到。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对第一数据进行语义识别，得到第一数据的第一结构化数据，其中，第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对第一结构化数据进行预测，得到知识信息。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于第一结构化数据将知识信息嵌入到第一视频数据中，生成第二视频数据。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (21)

1.一种数据处理方法，包括：

接收第一数据，其中，所述第一数据包括：第一实体；

对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据；

输出所述第二数据。

2.根据权利要求1所述的方法，其中，对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，包括：

获取所述第一数据的第一多模态信息，其中，所述第一多模态信息包括如下两种类型的信息：图像、音频和文本；

对所述第一多模态信息进行语义识别，得到所述第一实体信息；

对所述第一实体信息进行结构化处理，得到所述第一结构化数据。

3.根据权利要求1所述的方法，其中，利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，包括：

利用图卷积网络对所述知识图谱进行特征提取，得到所述知识图谱的特征向量；

基于所述特征向量对所述第一结构化数据进行链接预测，得到所述知识信息。

4.根据权利要求3所述的方法，其中，所述方法还包括：

获取文本数据和视频数据，其中，所述视频数据包括：第二实体；

对所述文本数据进行结构化处理，得到所述文本数据对应的第二结构化数据，其中，所述第二结构化数据为结构化处理后的三元组信息，所述三元组信息包括：实体、实体属性和实体关系；

对所述视频数据进行语义识别，得到所述视频数据对应的第三结构化数据，其中，所述第三结构化数据为结构化处理后的第二实体信息；

基于所述第二结构化数据和所述第三结构化数据，构建所述知识图谱。

5.根据权利要求4所述的方法，其中，对所述文本数据进行结构化处理，得到所述文本数据对应的第二结构化数据，包括：

对所述文本数据进行分词处理，得到所述文本数据对应的词序列；

对所述词序列进行语义识别，确定所述文本数据包含的实体信息；

对所述词序列进行关系抽取，确定所述实体信息之间的关系信息；

基于所述实体信息和所述实体信息之间的关系信息，建立所述第二结构化数据。

6.根据权利要求4所述的方法，其中，对所述视频数据进行语义识别，得到所述视频数据对应的第三结构化数据，包括：

获取所述视频数据的第二多模态信息，其中，所述第二多模态信息包括：图像信息、音频信息和文本信息；

对所述第二多模态信息进行语义识别，得到所述第二实体信息；

对所述第二实体信息进行结构化处理，得到所述第三结构化数据。

7.根据权利要求1至6中任意一项所述的方法，其中，基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据，包括：

确定第一结构化数据在所述第一数据中的目标位置，其中，所述目标位置包括：时间位置和空间位置；

获取所述知识信息对应的输出效果；

基于所述输出效果将所述知识信息叠加在所述目标位置上，得到所述第二数据。

8.一种数据处理方法，包括：

获取第一数据，其中，所述第一数据包括：第一实体；

对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据。

9.根据权利要求8所述的方法，其中，对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，包括：

获取所述第一数据的第一多模态信息，其中，所述第一多模态信息包括如下两种类型的信息：图像、音频和文本；

对所述第一多模态信息进行语义识别，得到所述第一实体信息；

对所述第一实体信息进行结构化处理，得到所述第一结构化数据。

10.根据权利要求8所述的方法，其中，利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，包括：

利用图卷积网络对所述知识图谱进行特征提取，得到所述知识图谱的特征向量；

基于所述特征向量对所述第一结构化数据进行链接预测，得到所述知识信息。

11.一种数据处理方法，包括：

通过调用第一接口获取第一数据，其中，所述第一接口包含第一参数，所述第一参数的参数值为所述第一数据，所述第一数据包括：第一实体；

对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据；

通过调用第二接口输出所述第二数据，其中，所述第二接口包含第二参数，所述第二参数的参数值为所述第二数据。

12.根据权利要求11所述的方法，其中，对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，包括：

获取所述第一数据的第一多模态信息，其中，所述第一多模态信息包括如下两种类型的信息：图像、音频和文本；

对所述第一多模态信息进行语义识别，得到所述第一实体信息；

对所述第一实体信息进行结构化处理，得到所述第一结构化数据。

13.根据权利要求11所述的方法，其中，利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，包括：

利用图卷积网络对所述知识图谱进行特征提取，得到所述知识图谱的特征向量；

基于所述特征向量对所述第一结构化数据进行链接预测，得到所述知识信息。

14.一种数据处理装置，包括：

接收模块，用于接收第一数据，其中，所述第一数据包括：第一实体；

分析模块，用于对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

预测模块，用于利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

生成模块，用于基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据；

输出模块，用于输出所述第二数据。

15.一种数据处理装置，包括：

获取模块，用于获取第一数据，其中，所述第一数据包括：第一实体；

分析模块，用于对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

预测模块，用于利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

生成模块，用于基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据。

16.一种数据处理装置，包括：

第一调用模块，用于通过调用第一接口获取第一数据，其中，所述第一接口包含第一参数，所述第一参数的参数值为所述第一数据，所述第一数据包括：第一实体；

分析模块，用于对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；

预测模块，用于利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；

生成模块，用于基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据；

第二调用模块，用于通过调用第二接口输出所述第二数据，其中，所述第二接口包含第二参数，所述第二参数的参数值为所述第二数据。

17.一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至13中任意一项所述的数据处理方法。

18.一种计算机终端，包括：存储器和处理器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至13中任意一项所述的数据处理方法。

19.一种数据处理系统，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：接收第一数据，其中，所述第一数据包括：第一实体；对所述第一数据进行语义识别，得到所述第一数据的第一结构化数据，其中，所述第一结构化数据为结构化处理后的第一实体信息；利用知识图谱对所述第一结构化数据进行预测，得到所述第一结构化数据对应的知识信息，其中，所述知识图谱用于表征不同实体之间的关联关系；基于所述第一结构化数据将所述知识信息嵌入至所述第一数据中，生成第二数据；输出所述第二数据。

20.一种数据处理方法，包括：

在视频展示系统的交互界面中显示第一视频数据，其中，所述第一视频数据包括：第一实体；

在所述交互界面中显示第二视频数据，其中，所述第二视频数据为在所述第一视频数据中嵌入所述第一实体对应的知识信息所生成的视频数据，所述知识信息利用知识图谱对所述第一视频数据进行预测得到，所述知识图谱用于表征不同实体之间的关联关系。

21.一种数据处理方法，包括：

在视频展示系统的交互界面中显示第一视频数据，其中，所述视频展示系统安装在观光设备上，所述第一视频数据是基于所述观光设备的当前位置所获取的视频数据，所述第一视频数据包括：第一实体；

在所述交互界面中显示第二视频数据，其中，所述第二视频数据为在所述第一视频数据中嵌入所述第一实体对应的知识信息所生成的视频数据，所述知识信息利用知识图谱对所述第一视频数据进行预测得到，所述知识图谱用于表征不同实体之间的关联关系。

Images