CN110909171B - 一种数据调度方法、装置、终端及存储介质 - Google Patents

Abstract

本申请涉及一种数据调度方法、装置、终端及存储介质，所述方法包括：监测预设的可用数据对应的知识图谱中数据是否存在异常；若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

Description

一种数据调度方法、装置、终端及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据调度方法、装置、终端及存储介质。

背景技术

随着互联网和计算机的不断发展，以及用户要求的提高，对数据提出了更高的标准。但是不可避免的，在多资源情况下的各种各样的数据中总是存在一些异常数据。而对于异常数据，由于目前没有较优的办法进行处理，故为了保证系统可靠、稳定运行，在多资源的情况下，需要调用其它可用资源下的数据。为此，急需一种在多资源情况下数据存在异常时的数据调度解决方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据调度方法、装置、终端及存储介质。

第一方面，本申请提供了一种数据调度方法，所述方法包括：

监测预设的可用数据对应的知识图谱中数据是否存在异常；

若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

可选的，所述方法还包括：

在预设的可用数据对应的知识图谱中，确定所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接，并删除所述连接。

可选的，所述方法还包括：

在预设的异常数据对应的知识图谱中，建立所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接。

可选的，所述方法还包括：

根据预设的监测周期，监测预设的异常数据对应的知识图谱中所述异常数据是否恢复正常；

若监测到预设的异常数据对应的知识图谱中所述异常数据恢复正常，则在预设的异常数据对应的知识图谱中，删除所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接；

在预设的可用数据对应的知识图谱中，恢复所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接。

可选的，所述预设的可用数据对应的知识图谱通过以下方法得到：

按照预设的分类规则，对多个资源进行分类；

针对所有分类类别中的所有资源建立可用数据对应的知识图谱。

可选的，所述按照预设的分类规则，对多个资源进行分类，包括：

按照资源所属类型或者用途，对多个资源进行分类。

可选的，所述针对所有分类类别中的所有资源建立可用数据对应的知识图谱，包括：

确定每个分类类别所包含的资源，确定每个资源所包含的资源属性信息，确定每个资源属性信息所包含的数据；

根据分类类别、资源、资源属性信息以及数据之间的包含关系，建立所有资源对应的可用数据对应的知识图谱。

第二方面，本申请提供了一种数据调度装置，所述装置包括：

异常监测模块，用于监测预设的可用数据对应的知识图谱中数据是否存在异常；

确定模块，用于若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

资源确定模块，用于确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

数据调用模块，用于调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

第三方面，本申请提供了一种终端，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的数据调度方法。

第四方面，本申请提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述的数据调度方法。

本申请实施例提供的技术方案，预先建立可用数据对应的知识图谱，当可用数据对应的知识图谱中数据存在异常时，确定异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源，进一步确定除该资源之外且包含该资源属性信息的目标资源，调用目标资源中所包含的该资源属性信息对应的目标数据，可以实现在多资源情况下数据存在异常时调用其它可用资源下的数据，确保系统可靠、稳定运行，提升系统稳定性与可靠性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种可用数据对应的知识图谱建立过程中间示意图；

图2为本申请实施例提供的一种可用数据对应的知识图谱的示意图；

图3为本申请实施例提供的一种数据调度方法的实施流程示意图；

图4为本申请实施例提供的另一种数据调度方法的实施流程示意图；

图5为本申请实施例提供的一种数据调度装置的结构示意图；

图6为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，为了解决相关技术中存在的问题，预先建立可用数据对应的知识图谱以及异常数据对应的知识图谱，可用数据对应的知识图谱与异常数据对应的知识图谱一一对应。

其中，通过对各种资源进行分类，分类规则可以是资源所属类型或者资源用途，针对所有分类类别中的所有资源建立可用数据对应的知识图谱，其中，可用数据对应的知识图谱中数据初始均为可用数据。

例如，对于语音接口，进行可用数据对应的知识图谱的建立，按照资源所属类型，对各种资源进行分类，分为语音合成接口、语音识别接口、语义解析接口3种分类类别，对于语音合成接口所包含的资源可以是百度、阿里、腾讯，如图1所示。

对于针对所有分类类别中的所有资源建立可用数据对应的知识图谱的可选实施方式如下：

确定每个分类类别所包含的资源，确定每个资源所包含的资源属性信息，确定每个资源属性信息所包含的数据，根据分类类别、资源、资源属性信息以及数据之间的包含关系，建立所有资源对应的可用数据对应的知识图谱。

例如，语音合成接口所包含的资源可以是百度、阿里、腾讯，百度包含男声资源属性信息、女生资源属性信息，腾讯包含男声资源属性信息、童声资源属性信息，阿里包含男声资源属性信息、女声资源属性信息、童声资源属性信息，男声资源属性信息是百度、阿里、腾讯共有的，童声资源属性信息是腾讯、阿里共有的，不同的资源属性信息下包含不同的数据。

由上述可知，可以确定分类类别(即类型)、资源、资源属性信息以及数据之间的包含关系，进而可以根据分类类别、资源、资源属性信息以及数据之间的包含关系，建立所有资源对应的可用数据对应的知识图谱，如图2所示。

另外，针对各种资源，建立异常数据对应的知识图谱，其中，异常数据对应的知识图谱的建立过程与可用数据对应的知识图谱的建立过程类似。不同之处在于，异常数据对应的知识图谱初始时为空，异常数据对应的知识图谱的建立涉及到可用数据对应的知识图谱中资源、资源属性信息、数据之间连接的删除，异常数据对应的知识图谱中数据均为异常数据。

基于上述可用数据对应的知识图谱，本申请实施例提供一种数据调度方法，如图3所示，该方法可以包括以下步骤：

S301，监测预设的可用数据对应的知识图谱中数据是否存在异常；

对于用户而言，用户使用的数据均可以来源于可用数据对应的知识图谱。为此，为了用户可以正常使用数据，需要监测预设的可用数据对应的知识图谱中数据是否存在异常，以便于当监测到预设的可用数据对应的知识图谱中数据存在异常时，进行数据调度处理。

在本申请实施例中，可以根据预设的监测周期，监测预设的可用数据对应的知识图谱中数据是否存在异常。在本申请中，数据存在异常指代的可以是数据格式错乱，或者数据丢失，或者数据无法访问，或者数据与资源属性信息之间连接异常等，本申请实施例对此不作限定。

例如，每间隔1分钟，监测预设的可用数据对应的知识图谱中数据与资源属性信息之间连接是否存在异常。

S302，若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源；

对于预设的可用数据对应的知识图谱中数据，若监测到其异常，确定具体异常的数据(即异常数据)。另外，还需要确定异常数据对应的资源属性信息以及该异常数据隶属的资源，其中，该资源属性信息隶属于该资源。

例如，预设的可用数据对应的知识图谱中数据存在异常，确定异常数据31，确定异常数据31对应的资源属性信息3以及该异常数据31隶属的资源1，其中，该资源属性信息3隶属于资源1，如图2所示。

另外，一方面在预设的可用数据对应的知识图谱中，确定该异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源之间的连接，并删除该连接；另一方面在预设的异常数据对应的知识图谱中，建立该异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源之间的连接。

例如，预设的可用数据对应的知识图谱中数据31异常，那么需要删除数据31、资源属性信息3、资源1之间的连接，删除该连接后，后续无法找到资源1中所包含的资源属性信息3对应的数据31。

在预设的异常数据对应的知识图谱中，在该类型1下建立数据31、资源属性信息3、资源1之间的连接，如图2所示的资源1、资源属性信息3，以及资源属性信息3对应的数据31之间的连接。

S303，确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

对于预设的可用数据对应的知识图谱中数据，若监测到其异常，需要进行数据调度。为此，需要确定包含该资源属性信息的目标资源，其中，该目标资源未包括该异常数据隶属的资源。

例如，当监测到预设的可用数据对应的知识图谱中数据31异常时，数据31对应的资源属性信息为资源属性信息3，数据31隶属的资源为资源1，包含资源属性信息3的资源包括资源1以及资源2，如图2所示，剔除资源1，确定资源2为目标资源。

另外，如果除该异常数据隶属的资源之外，确定不存在包含该资源属性信息的目标资源，则可以提示用户数据存在异常。

S304，调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

在确定目标资源之后，可以调用目标资源中所包含的该资源属性信息对应的目标数据。其中，该目标数据与上述异常数据一致，目标数据隶属的目标资源与异常数据隶属的资源不同。

例如，确定资源2为目标资源，该目标资源未包括异常数据31隶属的资源1，则可以调用资源2中所包含的资源属性信息3对应的目标数据31，目标数据31隶属的目标资源2与异常数据31隶属的资源1不同。

通过上述对本申请实施例提供的技术方案的描述，预先建立可用数据对应的知识图谱，当可用数据对应的知识图谱中数据存在异常时，确定异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源，进一步确定除该资源之外且包含该资源属性信息的目标资源，调用目标资源中所包含的该资源属性信息对应的目标数据，可以实现在多资源情况下数据存在异常时调用其它可用资源下的数据，确保系统可靠、稳定运行，提升系统稳定性与可靠性。

如图4所示，为本申请实施例提供的另一种数据调度方法，该方法可以包括以下步骤：

S401，监测预设的可用数据对应的知识图谱中数据是否存在异常；

在本申请实施例中，本步骤与上述步骤S301类似，本申请实施例在此不再一一赘述。

S402，若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源；

在本申请实施例中，本步骤与上述步骤S302类似，本申请实施例在此不再一一赘述。

S403，确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

在本申请实施例中，本步骤与上述步骤S303类似，本申请实施例在此不再一一赘述。

S404，调用所述目标资源中所包含的所述资源属性信息对应的目标数据；

在本申请实施例中，本步骤与上述步骤S304类似，本申请实施例在此不再一一赘述。

S405，根据预设的监测周期，监测预设的异常数据对应的知识图谱中所述异常数据是否恢复正常；

对于异常数据对应的知识图谱，在本申请实施例中，根据预设的监测周期，监测其中异常数据是否恢复正常。如果异常数据对应的知识图谱中异常数据恢复正常，则表示该异常数据可以正常使用。

例如，每间隔1分钟，监测异常数据对应的知识图谱中资源1资源属性信息3下的异常数据是否恢复正常。

S406，若监测到预设的异常数据对应的知识图谱中所述异常数据恢复正常，则在预设的异常数据对应的知识图谱中，删除所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接；

对于预设的异常数据对应的知识图谱中异常数据，若监测到其恢复正常，则在预设的异常数据对应的知识图谱中，删除该异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源之间的连接。

例如，对于预设的异常数据对应的知识图谱中异常数据31，如果监测到其恢复正常，则在预设的异常数据对应的知识图谱中，删除该异常数据31、该异常数据31对应的资源属性信息3以及该异常数据31隶属的资源1之间的连接。

S407，在预设的可用数据对应的知识图谱中，恢复所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接。

对于预设的异常数据对应的知识图谱中异常数据，若监测到其恢复正常，则在预设的可用数据对应的知识图谱中，恢复异常数据、该异常数据对应的资源属性信息以及该异常数据隶属的资源之间的连接。

例如，对于预设的异常数据对应的知识图谱中异常数据31，如果监测到其恢复正常，则在预设的可用数据对应的知识图谱中，恢复该异常数据31、该异常数据31对应的资源属性信息3以及该异常数据31隶属的资源1之间的连接。

与上述方法实施例相对应，本申请实施例还提供一种数据调度装置，如图5所示，该装置可以包括：异常监测模块510、确定模块520、资源确定模块530、数据调用模块540。

异常监测模块510，用于监测预设的可用数据对应的知识图谱中数据是否存在异常；

确定模块520，用于若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

资源确定模块530，用于确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

数据调用模块540，用于调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

本申请实施例还提供了一种终端，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，

存储器63，用于存放计算机程序；

处理器61，用于执行存储器63上所存放的程序时，实现如下步骤：

监测预设的可用数据对应的知识图谱中数据是否存在异常；

若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

调用所述目标资源中所包含的所述资源属性信息对应的目标数据。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据调度方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据调度方法，其特征在于，所述方法包括：

监测预设的可用数据对应的知识图谱中数据是否存在异常；

若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

调用所述目标资源中所包含的所述资源属性信息对应的目标数据；

在预设的可用数据对应的知识图谱中，确定所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接，并删除所述连接。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在预设的异常数据对应的知识图谱中，建立所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据预设的监测周期，监测预设的异常数据对应的知识图谱中所述异常数据是否恢复正常；

若监测到预设的异常数据对应的知识图谱中所述异常数据恢复正常，则在预设的异常数据对应的知识图谱中，删除所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接；

在预设的可用数据对应的知识图谱中，恢复所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接。

4.根据权利要求1所述的方法，其特征在于，所述预设的可用数据对应的知识图谱通过以下方法得到：

按照预设的分类规则，对多个资源进行分类；

针对所有分类类别中的所有资源建立可用数据对应的知识图谱。

5.根据权利要求4所述的方法，其特征在于，所述按照预设的分类规则，对多个资源进行分类，包括：

按照资源所属类型或者用途，对多个资源进行分类。

6.根据权利要求4所述的方法，其特征在于，所述针对所有分类类别中的所有资源建立可用数据对应的知识图谱，包括：

确定每个分类类别所包含的资源，确定每个资源所包含的资源属性信息，确定每个资源属性信息所包含的数据；

根据分类类别、资源、资源属性信息以及数据之间的包含关系，建立所有资源对应的可用数据对应的知识图谱。

7.一种数据调度装置，其特征在于，所述装置包括：

异常监测模块，用于监测预设的可用数据对应的知识图谱中数据是否存在异常；

确定模块，用于若监测到预设的可用数据对应的知识图谱中数据存在异常，则确定异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源，其中，所述资源属性信息隶属于所述资源；

资源确定模块，用于确定包含所述资源属性信息的目标资源，其中，所述目标资源未包括所述异常数据隶属的资源；

数据调用模块，用于调用所述目标资源中所包含的所述资源属性信息对应的目标数据，在预设的可用数据对应的知识图谱中，确定所述异常数据、所述异常数据对应的资源属性信息以及所述异常数据隶属的资源之间的连接，并删除所述连接。

8.一种终端，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images