CN116028246A - 数据处理的调度方法、系统和计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理的调度方法、系统和计算机设备和存储介质。调度方法应用于数据处理系统，其中数据处理系统包括多个功能模型、多个数据源以及多个调度队列。各调度队列分别与一个功能模型和至少一个数据源联通，且一个数据源与多个调度队列联通。调度方法包括：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识；调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型；功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。采用本方法能够协调多功能模型对多数据源的数据进行处理，且有利于提高协调效率。

Description

数据处理的调度方法、系统和计算机设备和存储介质

技术领域

本申请涉及软件系统技术领域，特别是涉及一种数据处理的调度方法、数据处理系统、计算机设备以及计算机可读存储介质。

背景技术

当前数据存储技术相较于此前已然具有长足的进步，在数据存储设备的存储容量逐年增加的同时，单位存储容量的价格在逐步降低。伴随着诸如音频、视频等数据的采集装置的进步以及存储技术的升级，大量数据得以生成。并且，得益于单位存储容量的价格的降低，视频以及音频等数据更加易于被用户访问和获得。基于此，图像/音频等数据的智能识别技术、智能检测技术以及智能处理技术应运而生，同时在更多领域替代传统的人工检测。

但是，目前涉及多个数据源部署多个智能检测算法情况的技术仍有空缺，存在多个数据源的数据利用率较低或是多个智能检测算法的利用率较低的情况，进而导致对多数据源的数据利用多种智能检测算法进行检测的效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够协调多功能模型对多数据源的数据进行处理，且有利于提高协调效率的数据处理的调度方法、数据处理系统、计算机设备和计算机可读存储介质。

一方面，提供一种数据处理的调度方法，该数据处理的调度方法应用于数据处理系统，其中数据处理系统包括多个功能模型、多个数据源以及多个调度队列；各调度队列分别与一个功能模型和至少一个数据源联通，且一个数据源与至少一个调度队列联通；调度方法包括：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识；调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型；功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

在本申请的一实施例中，调度队列包括多个缓存单元；按照调度规则进行存储包括：调度队列按照接收数据组合的顺序，将各数据组合依次存储于各缓存单元；其中，各调度队列中缓存单元的数量和与其所联通的数据源的数量相匹配。

在本申请的一实施例中，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型包括：响应于功能模型可接收待处理数据进行处理，功能模型调用一缓存单元中的数据组合进行处理；基于数据源标识将处理结果反馈至数据源还包括：调度队列移除完成处理的数据组合，接收新的数据组合，新的数据组合与完成处理的数据组合源于同一数据源。

在本申请的一实施例中，数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识；数据处理的调度方法还包括：基于校验功能模型和数据源配置完成，数据源和功能模型利用调度模型成员标识和数据源成员标识通过调度队列联通。

在本申请的一实施例中，校验功能模型和数据源配置完成包括：获取数据源的配置信息以及功能模型的配置信息，配置信息包括所定义的调度模型成员标识/数据源成员标识；将配置信息与预设配置文件进行比对，判断是否如预设配置文件所要求，预设配置文件包括多个数据源信息、多个功能模型信息、数据源与功能模型的联通关系信息；响应于配置信息如预设配置文件所要求，判定校验功能模型和数据源配置完成。

在本申请的一实施例中，待处理数据为数据源对原始数据进行复制得到；和/或，处理结果为功能模型完成处理后的原始结果。

在本申请的一实施例中，各调度队列分别接收至少一个数据组合包括：调度队列针对每一个数据源的数据组合采用独立的线程进行解析读取。

另一方面，提供了一种数据处理系统，该数据处理系统包括：多个数据源、多个功能模型以及多个调度队列；各调度队列分别与一个功能模型和至少一个数据源联通，且一个数据源与至少一个调度队列联通；数据源用于分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识；调度队列用于分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型；功能模型用于接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识；调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型；功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识；调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型；功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

上述数据处理的调度方法、数据处理系统、计算机设备和计算机可读存储介质，一个调度队列与一个功能模型和至少一个数据源联通，数据源与至少一个调度队列联通，即与至少一个功能模型联通。数据源获取到需要进行处理的数据时生成数据组合，将数据组合发送到与其所联通的至少一个调度队列，以待与各调度队列联通的功能模型对数据组合进行处理。与此同时，数据组合中除包括需要功能模型进行处理的待处理数据外，还包括能够标识其所来源数据源的数据源标识。当功能模型完成对待处理数据的处理之后，能够基于数据源标识将处理结果反馈至当前数据组合所来源的数据源。如是，本申请能够协调多个功能模型对多个数据源的数据进行处理，并且由于各功能模型分别通过一个调度队列与至少一个数据源联通，能够减少数据源发送出数据组合后，需要通过额外的调度装置对数据组合进行识别以确认所需调用的至少一个功能模型，进而本申请还有利于提高协调效率。

附图说明

图1是本申请数据处理的调度方法一实施例的应用环境图；

图2是本申请数据处理的调度方法一实施例的流程示意图；

图3是本申请数据处理系统一实施例的结构框图；

图4是本申请数据处理系统一实施例的结构示意图；

图5是本申请数据处理的调度方法另一实施例的流程示意图；

图6是本申请调度队列一实施例的结构示意图；

图7是本申请功能模型和数据源配置的校验方法一实施例的流程示意图；

图8是本申请计算机设备一实施例的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据处理的调度方法，可以应用于如图1所示的应用环境中，图1是本申请数据处理的调度方法一实施例的应用环境图。

终端102通过网络与服务器104通过网络进行通信。终端102能够采集需要进行处理的数据，该数据可以是视频图像、音频、用户生理数据等。终端102将所采集的数据发送至服务器104，服务器104对数据进行处理。举例而言，服务器104分别可以对多个终端采集的视频图像进行行人检测、有害动物检测、路怒状态检测等；服务器104分别可以对多个终端采集的音频进行噪声监测、语音文字识别、降噪处理等，服务器104分别可以对多个终端采集的用户生理数据进行健康状态监测、摔倒监测、车祸监测等，在此就不再赘述。

其中，终端102可以但不限于是各种监控装置、录音设备、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

以终端102采集视频图像为例，对服务器104所能实现的功能进行举例。在生产领域，可以通过在多条生产线上部署多个摄像头(即终端102)，通过触发拍照的方式，利用卷积神经网络模型对产品进行诸如裂痕、尺寸及色偏之类的智能检测。在交通领域，通过在交通灯路口加挂摄像头的方式，对交通路口的视频图像数据进行诸如车流量统计、违规车辆号牌识别和行人统计等的检测和结构化信息提取。在安防领域，利用已经部署的摄像头获取现场的视频数据，借助智能算法检测视频数据中的异常安全行为等。

在一个实施例中，提供了一种数据处理的调度方法，如图2所示，图2是本申请数据处理的调度方法一实施例的流程示意图。数据处理的调度方法可以应用于如图1中所示的应用场景中，在图1所示的应用场景的基础上，可以形成一数据处理系统，即数据处理的调度方法可以具体应用于一数据处理系统。

请一并结合参阅图3和图4，图3是本申请数据处理系统一实施例的结构框图，图4是本申请数据处理系统一实施例的结构示意图。

其中，数据处理系统包括多个数据源301、多个功能模型302以及多个调度队列303。各调度队列303分别与一个功能模型302和至少一个数据源301联通，且一个数据源301与至少一个调度队列303联通。

其中，数据源301用于通过采集/收集等方式获取需要待处理数据的装置。功能模型302为对待处理数据进行处理的装置，例如神经网络模型等。

关于数据处理系统的具体结构将在后文进行详细阐述。

请继续参阅图2。以下以数据处理的调度方法应用于数据处理系统为例进行说明，包括以下步骤：

S201：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识。

在本实施例中，待处理数据为需要利用功能模型进行处理的数据，可以是图像、音频、生理数据等。由于存在多个数据源，利用数据源标识用于标识待处理数据所来源的数据源。

具体地，数据源获取待处理数据，在发送至功能模型进行处理前生成数据源标识，将待处理数据和数据源标识一同(即数据组合)发送至与其所联通的调度队列。若数据源所联通的调度队列为一个，则将数据组合发送至该调度队列；若数据源所联通的调度队列为多个，则可以同时将数据组合发送至该调度队列，或按照预设规则依次将数据组合发送至各调度队列，预设规则可以是等待功能模型通知或每间隔一段时间向一个调度队列发送数据组合，在此不做限定。

其中，待处理数据可以是所获取需要进行处理的原始数据，也可以对原始数据进行处理得到的复制数据/衍生数据，在此不做限定。

S202：调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型。

在本实施例中，各调度队列接收数据组合，数据组合来源于与其联通的数据源。响应于调度队列所联通的数据源为至少一个，调度队列所接收到的数据组合数量可能为一个或者多个。调度队列可以按照预设的调度规则对接收的数据组合进行存储，并适时调用数据组合发送至功能模型。

S203：功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

在本实施例中，功能模型接收数据组合，按照自身预设定的功能对数据组合中的待处理数据进行处理，得到处理结果。基于当前数据组合中的数据源标识确定该数据组合所来源的数据源，将处理结果反馈至数据组合所来源的数据源。

例如，若当前功能模块所设定的功能为检测图像中是否存在人，则对图像进行特征提取等检测是否存在人，若检测到图像中存在人，则输出人的位置的坐标点或基于坐标点所形成的行人框，将位置的坐标点或者行人框作为处理结果。

由此可见，上述数据处理的调度方法中，一个功能模型和至少一个数据源联通，一个数据源与至少一个功能模型联通，从而实现多个数据源与多个功能模型的联通，从而有利于调度多个功能模型对多个数据源的数据进行处理。与此同时，当功能模型完成对待处理数据的处理之后，能够基于数据源标识将处理结果反馈至当前数据组合所来源的数据源。如是，本实施例中数据处理的调度方法能够减少数据源发送出数据组合后，需要通过额外的调度装置对数据组合进行识别以调用所需的功能模型对数据进行处理，以及分别识别处理结果所需反馈的数据源的复杂手段，从而还有利于提高协调效率。

在一个实施例中，还提供了一种数据处理的调度方法，如图5所示，图5是本申请数据处理的调度方法另一实施例的流程示意图。请一并结合参阅图6，图6是本申请调度队列一实施例的结构示意图。

在本实施例中，数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识。基于校验功能模型和数据源配置完成，数据源和功能模型利用调度模型成员标识和数据源成员标识通过调度队列联通。关于功能模型和数据源配置的校验方法将在后文进行阐述。

S501：数据源分别生成数据组合。

在本实施例中，数据组合包括待处理数据和数据源标识。其中，待处理数据可以图像、音频等。

可选地，待处理数据为数据源对原始数据进行复制得到，从而在待处理数据发送至功能模型进行处理以及返回处理结果时，数据源仍存有原始数据，有利于实现原始数据与待处理数据和处理结果的隔离和解耦。亦或是，对原始数据或所得到的复制数据进行超分辨率重建/降噪等处理得到衍生数据。

进一步地，数据组合中还可以包括数据源的配置以及待处理数据的信息。以待处理数据为图像为例，数据组合中还可以包括图像尺寸、数据源获取图像的分辨率、帧率以及存储方式等。

S502：数据源发送数据组合。

在本实施例中，各数据源将数据组合发送至与其所联通的至少一个调度队列。

举例而言，一个数据源通过四个调度队列而联通四个功能模型，即该数据源的待处理数据可以进行四种处理，则对原始数据进行复制得到四份待处理数据。四份待处理数据分别发送至各调度队列。

S503：调度队列接收至少一个数据组合，按照调度规则进行存储。

在本实施例中，调度队列针对每一个数据源的数据组合采用独立的线程进行解析读取，从而有利于实现不同数据源的不同数据流之间解耦，实现对任一数据源流数据的控制和处理更加高效和便捷。

进一步地，调度队列包括多个缓存单元，缓存单元用于存储数据组合。

具体地，调度队列按照接收数据组合的顺序，将各数据组合依次存储于各缓存单元。以在后续推送数据组合至功能模型时，可以将在先获取的数据组合发送至功能模型，实现功能模型对于待处理数据先到先处理，摒弃现有技术中待处理数据在等待过程中可能丢失的固有缺陷，合理化数据处理系统的工作模式。

其中，各调度队列中缓存单元的数量和与其所联通的数据源的数量相匹配。例如，缓存单元的数量可以是所联通数据源数量的两倍、三倍等，或是，缓存单元的数据等同于所联通数据源的数量。

如是设计，各数据源可以在收到功能模型通知本路数据源正在处理本路的待处理数据或完成一次当前数据源的待处理数据的处理经，数据源才会将完成/正在处理的数据组合从调度队列内移除，并将新的数据组合推进消息队列内。并且，缓存单元的数据等同于所联通数据源的数量，能够在保证每路数据源的待处理数据能够得到及时处理的前提下，减小对数据处理系统内存的占用，也自然地能够起到限制消息队列的长度的作用。

S504：调度队列按照调度规则调用数据组合，将所调用的数据组合发送至功能模型。

在本实施例中，响应于功能模型可接收待处理数据进行处理，功能模型调用一缓存单元中的数据组合进行处理。

可选地，功能模型完成上一次对待处理数据的处理，或者数据处理系统初始开始工作，调度队列于所存储的数据组合中调用最先获取的数据组合，并将其推送至功能模型进行处理。

S505：功能模型接收数据组合对待处理数据进行处理，得到处理结果。

在本实施例中，功能模型对所接收的数据组合中的待处理数据进行处理，得到处理结果。

可选地，处理结果为功能模型完成处理后的原始结果。亦或是，处理结果为一提示信息，用于提示数据源获取处理完成结果。

举例而言，一功能模型的功能为对图像进行检测，识别图像中是否存在人。当功能模型接收数据组合后，对作为待处理数据的图像进行特征提取、检测等，检测到图像中存在人，将人轮廓外界矩形的四个定位点作为处理结果，以实现智能算法结果更加灵活的获取和展示，同时有利于后续与用户前端网页的连接。

S506：功能模型基于数据源标识将处理结果反馈至数据源。

在本实施例中，响应于数据组合中包括能够标识数据源的数据源标识，功能模型能够基于数据源标识确定数据组合所来源的数据源。功能模型能够将处理结果反馈至数据源。以处理结果为提示信息为例，数据源获取所返回的处理结果，取回处理完成结果并按照预设展示规则对其进行展示。

在本实施例中，若调度队列不为空，循环取出其中的每一数据组合进行处理，每当处理完一待处理数据后，通过定义的数据源成员标识将当前已经处理完的处理结果通知所属数据源。此外，在功能模型将处理结果反馈至数据源时，调度队列能够移除该完成处理的数据组合。接收新的数据组合，新的数据组合与完成处理的数据组合源于同一数据源。换言之，数据源在接收到功能模型处理完前次所发送数据组合的通知后，才会向调度队列发送新的数据组合，即执行步骤S502。步骤S501中生成数据组合，可以是数据源在接收到待处理数据后生成数据组合，也可以是数据源接收到功能模型通知完成数据组合处理后才生成数据组合，在此不做限定。

在一替代实施例中，功能模型也可以在接收到数据组合后，识别数据组合中的数据源标识以确定数据组合所来源的数据源。向相应的数据源推送通知，数据源响应于接收到数据组合正在由功能模型进行处理，则发送调度队列发送新的数据组合。

在上述实施例中，响应于接收到退出指令，则结束数据处理的调度方法。

在一个实施例中，还提供了一种数据处理的调度方法，数据处理的调度方法中包括功能模型和数据源配置的校验方法，如图7所示，图7是本申请功能模型和数据源配置的校验方法一实施例的流程示意图。

S701：获取数据源的配置信息以及功能模型的配置信息。

在本实施例中，数据源的配置信息包括所定义的调度模型成员标识，功能模型的配置信息包括所定义的数据源成员标识。

调度模型成员标识用于标识数据源所需联通的功能模型。同理，数据源成员标识用于标识调度模型所联通的数据源。如是，借助在数据源和功能模型内定义彼此的成员标识，实现对于对方的引用和访问，可以更加灵活地对算法检测的实时过程进行控制和数据访问。

S702：将配置信息与预设配置文件进行比对，判断是否如预设配置文件所要求。

在本实施例中，若配置信息与预设配置文件如预设配置文件所要求，认为数据源和功能模型可以联通，则执行步骤S703。若配置信息与预设配置文件未如预设配置文件所要求，认为数据源和功能模型尚未联通，则再次于数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识，重复执行步骤S701；或流程结束，向用户反馈信息。

预设配置文件包括多个数据源信息、多个功能模型信息、数据源与功能模型的联通关系信息。

S703：判定校验功能模型和数据源配置完成。

在本实施例中，响应于配置信息如预设配置文件所要求，判定校验功能模型和数据源配置完成，数据源与功能模型联通，功能模型能够接收待处理数据进行处理。

可选地，在初始化过程中，可以对数据源和功能模型进行定义。以数据源为视频源、功能模型为算法实体为例，定义视频源类，抽象视频硬件设备，并对采集的图像数据进行诸如分辨率、帧率、存储方式等图像自身数据进行初始化设置，并在视频源类内定义算法实体成员标识以引入算法实体。定义算法实体类，抽象智能检测算法，并对算法的调度队列进行初始化，还会初始化算法名称、引入视频源等信息，并在算法实体类内定义视频源成员变量以引入视频源。

应该理解的是，虽然图2、图5以及图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5以及图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种数据处理系统，如图8所示，图8是本申请数据处理系统一实施例的结构示意图。

数据处理系统包括多个数据源、多个功能模型以及多个调度队列。各调度队列分别与一个功能模型和至少一个数据源联通，且一个数据源与至少一个调度队列联通。

数据源用于分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识。

调度队列用于分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型。

功能模型用于接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

进一步地，调度队列包括多个缓存单元，调度队列按照接收数据组合的顺序，将各数据组合依次存储于各缓存单元。其中，各调度队列中缓存单元的数量和与其所联通的数据源的数量相匹配。

关于数据处理系统的具体限定可以参见上文中对于数据处理的调度方法的限定，在此不再赘述。上述数据处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示，图8是本申请计算机设备一实施例的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理的调度方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

S201：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识。

S202：调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型。

S203：功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

在一个实施例中，处理器执行计算机程序时还实现本申请数据处理系统所能实现数据处理的调度方法的另一种实施方式，具体如以下步骤：

在本实施例中，数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识。基于校验功能模型和数据源配置完成，数据源和功能模型利用调度模型成员标识和数据源成员标识通过调度队列联通。关于功能模型和数据源配置的校验方法将在后文进行阐述。

S501：数据源分别生成数据组合。

在本实施例中，数据组合包括待处理数据和数据源标识。待处理数据为数据源对原始数据进行复制得到。

S502：数据源发送数据组合。

在本实施例中，各数据源将数据组合发送至与其所联通的至少一个调度队列。

S503：调度队列接收至少一个数据组合，按照调度规则进行存储。

在本实施例中，调度队列针对每一个数据源的数据组合采用独立的线程进行解析读取。

调度队列包括多个缓存单元，调度队列按照接收数据组合的顺序，将各数据组合依次存储于各缓存单元。其中，各调度队列中缓存单元的数量和与其所联通的数据源的数量相匹配。

S504：调度队列按照调度规则调用数据组合，将所调用的数据组合发送至功能模型。

在本实施例中，响应于功能模型可接收待处理数据进行处理，功能模型调用一缓存单元中的数据组合进行处理。

S505：功能模型接收数据组合对待处理数据进行处理，得到处理结果。

S506：功能模型基于数据源标识将处理结果反馈至数据源。

在本实施例中，处理结果为功能模型完成处理后的原始结果。

此外，在功能模型将处理结果反馈至数据源时，调度队列能够移除该完成处理的数据组合。接收新的数据组合，新的数据组合与完成处理的数据组合源于同一数据源。换言之，数据源在接收到功能模型处理完前次所发送数据组合的通知后，才会向调度队列发送新的数据组合，即执行步骤S502。步骤S501中生成数据组合，可以是数据源在接收到待处理数据后生成数据组合，也可以是数据源接收到功能模型通知完成数据组合处理后才生成数据组合，在此不做限定。

在一替代实施例中，功能模型也可以在接收到数据组合后，识别数据组合中的数据源标识以确定数据组合所来源的数据源。向相应的数据源推送通知，数据源响应于接收到数据组合正在由功能模型进行处理，则发送调度队列发送新的数据组合。

在一个实施例中，还提供了一种数据处理的调度方法，数据处理的调度方法中包括功能模型和数据源配置的校验方法。处理器执行计算机程序时还实现以下步骤：

S701：获取数据源的配置信息以及功能模型的配置信息。

在本实施例中，数据源的配置信息包括所定义的调度模型成员标识，功能模型的配置信息包括所定义的数据源成员标识。

S702：将配置信息与预设配置文件进行比对，判断是否如预设配置文件所要求。

在本实施例中，若配置信息与预设配置文件如预设配置文件所要求，认为数据源和功能模型可以联通，则执行步骤S703。若配置信息与预设配置文件未如预设配置文件所要求，认为数据源和功能模型尚未联通，则再次于数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识，重复执行步骤S701；或流程结束，向用户反馈信息。

预设配置文件包括多个数据源信息、多个功能模型信息、数据源与功能模型的联通关系信息。

S703：判定校验功能模型和数据源配置完成。

在本实施例中，响应于配置信息如预设配置文件所要求，判定校验功能模型和数据源配置完成。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

S201：数据源分别生成数据组合并发送至与其所联通的调度队列，数据组合包括待处理数据和数据源标识。

S202：调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的数据组合发送至功能模型。

S203：功能模型接收数据组合对待处理数据进行处理，并基于数据源标识将处理结果反馈至数据源。

在一个实施例中，计算机程序被处理器执行时还实现本申请数据处理系统所能实现数据处理的调度方法的另一种实施方式，具体如以下步骤：

在本实施例中，数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识。基于校验功能模型和数据源配置完成，数据源和功能模型利用调度模型成员标识和数据源成员标识通过调度队列联通。关于功能模型和数据源配置的校验方法将在后文进行阐述。

S501：数据源分别生成数据组合。

在本实施例中，数据组合包括待处理数据和数据源标识。待处理数据为数据源对原始数据进行复制得到。

S502：数据源发送数据组合。

在本实施例中，各数据源将数据组合发送至与其所联通的至少一个调度队列。

S503：调度队列接收至少一个数据组合，按照调度规则进行存储。

在本实施例中，调度队列针对每一个数据源的数据组合采用独立的线程进行解析读取。

调度队列包括多个缓存单元，调度队列按照接收数据组合的顺序，将各数据组合依次存储于各缓存单元。其中，各调度队列中缓存单元的数量和与其所联通的数据源的数量相匹配。

S504：调度队列按照调度规则调用数据组合，将所调用的数据组合发送至功能模型。

在本实施例中，响应于功能模型可接收待处理数据进行处理，功能模型调用一缓存单元中的数据组合进行处理。

S505：功能模型接收数据组合对待处理数据进行处理，得到处理结果。

S506：功能模型基于数据源标识将处理结果反馈至数据源。

在本实施例中，处理结果为功能模型完成处理后的原始结果。

此外，在功能模型将处理结果反馈至数据源时，调度队列能够移除该完成处理的数据组合。接收新的数据组合，新的数据组合与完成处理的数据组合源于同一数据源。换言之，数据源在接收到功能模型处理完前次所发送数据组合的通知后，才会向调度队列发送新的数据组合，即执行步骤S502。步骤S501中生成数据组合，可以是数据源在接收到待处理数据后生成数据组合，也可以是数据源接收到功能模型通知完成数据组合处理后才生成数据组合，在此不做限定。

在一替代实施例中，功能模型也可以在接收到数据组合后，识别数据组合中的数据源标识以确定数据组合所来源的数据源。向相应的数据源推送通知，数据源响应于接收到数据组合正在由功能模型进行处理，则发送调度队列发送新的数据组合。

在一个实施例中，还提供了一种数据处理的调度方法，数据处理的调度方法中包括功能模型和数据源配置的校验方法，具体如以下步骤：

S701：获取数据源的配置信息以及功能模型的配置信息。

在本实施例中，数据源的配置信息包括所定义的调度模型成员标识，功能模型的配置信息包括所定义的数据源成员标识。

S702：将配置信息与预设配置文件进行比对，判断是否如预设配置文件所要求。

在本实施例中，若配置信息与预设配置文件如预设配置文件所要求，认为数据源和功能模型可以联通，则执行步骤S703。若配置信息与预设配置文件未如预设配置文件所要求，认为数据源和功能模型尚未联通，则再次于数据源内预先定义至少一个调度模型成员标识，功能模型内预先定义至少一个数据源成员标识，重复执行步骤S701；或流程结束，向用户反馈信息。

预设配置文件包括多个数据源信息、多个功能模型信息、数据源与功能模型的联通关系信息。

S703：判定校验功能模型和数据源配置完成。

在本实施例中，响应于配置信息如预设配置文件所要求，判定校验功能模型和数据源配置完成。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理的调度方法，应用于数据处理系统，其特征在于，其中所述数据处理系统包括多个功能模型、多个数据源以及多个调度队列；各所述调度队列分别与一个功能模型和至少一个数据源联通，且一个所述数据源与至少一个所述调度队列联通；

所述调度方法包括：

所述数据源分别生成数据组合并发送至与其所联通的调度队列，所述数据组合包括待处理数据和数据源标识；

所述调度队列分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的所述数据组合发送至所述功能模型；

所述功能模型接收所述数据组合对所述待处理数据进行处理，并基于所述数据源标识将处理结果反馈至所述数据源。

2.根据权利要求1中所述的调度方法，其特征在于，所述调度队列包括多个缓存单元；

所述按照调度规则进行存储包括：

所述调度队列按照接收所述数据组合的顺序，将各所述数据组合依次存储于各缓存单元；

其中，各所述调度队列中所述缓存单元的数量和与其所联通的所述数据源的数量相匹配。

3.根据权利要求2中所述的调度方法，其特征在于，所述按照调度规则进行存储以及调用，将所调用的所述数据组合发送至所述功能模型包括：

响应于所述功能模型可接收所述待处理数据进行处理，所述功能模型调用一所述缓存单元中的所述数据组合进行处理；

所述基于所述数据源标识将处理结果反馈至所述数据源还包括：

所述调度队列移除完成处理的所述数据组合，接收新的数据组合，所述新的数据组合与所述完成处理的所述数据组合源于同一所述数据源。

4.根据权利要求1中所述的调度方法，其特征在于，所述数据源内预先定义至少一个调度模型成员标识，所述功能模型内预先定义至少一个数据源成员标识；所述数据处理的调度方法还包括：

基于校验所述功能模型和所述数据源配置完成，所述数据源和所述功能模型利用所述调度模型成员标识和所述数据源成员标识通过所述调度队列联通。

5.根据权利要求4中所述的调度方法，其特征在于，所述校验所述功能模型和所述数据源配置完成包括：

获取所述数据源的配置信息以及所述功能模型的配置信息，所述配置信息包括所定义的所述调度模型成员标识/所述数据源成员标识；

将所述配置信息与预设配置文件进行比对，判断是否如所述预设配置文件所要求，所述预设配置文件包括多个数据源信息、多个功能模型信息、所述数据源与所述功能模型的联通关系信息；

响应于所述配置信息如所述预设配置文件所要求，判定校验所述功能模型和所述数据源配置完成。

6.根据权利要求1中所述的调度方法，其特征在于，所述待处理数据为所述数据源对原始数据进行复制得到；和/或，所述处理结果为所述功能模型完成处理后的原始结果。

7.根据权利要求1中所述的调度方法，其特征在于，所述各所述调度队列分别接收至少一个数据组合包括：

所述调度队列针对每一个所述数据源的所述数据组合采用独立的线程进行解析读取。

8.一种数据处理系统，其特征在于，所述数据处理系统包括：多个数据源、多个功能模型以及多个调度队列；各所述调度队列分别与一个功能模型和至少一个数据源联通，且一个所述数据源与至少一个所述调度队列联通；

所述数据源用于分别生成数据组合并发送至与其所联通的调度队列，所述数据组合包括待处理数据和数据源标识；

所述调度队列用于分别接收至少一个数据组合，按照调度规则进行存储以及调用，将所调用的所述数据组合发送至所述功能模型；

所述功能模型用于接收所述数据组合对所述待处理数据进行处理，并基于所述数据源标识将处理结果反馈至所述数据源。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述数据处理的调度方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述数据处理的调度方法的步骤。

Images