CN110109976A - 数据处理方法、装置、系统及存储介质 - Google Patents

数据处理方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110109976A
CN110109976A CN201910401159.7A CN201910401159A CN110109976A CN 110109976 A CN110109976 A CN 110109976A CN 201910401159 A CN201910401159 A CN 201910401159A CN 110109976 A CN110109976 A CN 110109976A
Authority
CN
China
Prior art keywords
algorithm model
order algorithm
processing result
same order
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910401159.7A
Other languages
English (en)
Other versions
CN110109976B (zh
Inventor
李骥东
张春生
王波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201910401159.7A priority Critical patent/CN110109976B/zh
Publication of CN110109976A publication Critical patent/CN110109976A/zh
Application granted granted Critical
Publication of CN110109976B publication Critical patent/CN110109976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、系统及存储介质。方法包括：在多个同一阶算法模型处理数据的过程中，获取每个同一阶算法模型的处理结果；从每个同一阶算法模型的处理结果中确定出每个同一阶算法模型的待输入处理结果；将每个同一阶算法模型的待输入处理结果输入下一阶算法模型，使得下一阶算法模型能够在多个同一阶算法模型处理数据的过程中输出处理结果。由于确定出的多个同一阶算法模型的待输入处理结果的数量比例满足预设处理比例，故实现了在多个同一阶算法模型处理数据的过程中，下一阶算法模型便能够正确处理待输入处理结果，提升了下一阶算法模型输出处理结果的时效性。

Description

数据处理方法、装置、系统及存储介质
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、系统及存储介质。
背景技术
在数据的阶梯式处理过程中，同一阶算法模型输出的处理结果可以与其它同一阶算法模型输出的处理结果或其它数据混合后，继续输入下一阶算法模型进行处理。但由于下一阶算法模型对数据的处理方式是整体性处理，故导致需要在同一阶算法模型将数据全部处理完成后，下一阶算法模型才能够正确的处理对同一阶算法模型输出的全部处理结果。
例如，在特征工程算法模型处理MySQL(My-Structured Query Language，My-构造化查询言语)数据库中需要处理的全部样本数据得到全部的样本处理结果后，再将全部的样本处理结果和大数据平台数据Hive中需要处理的全部样本数据一并输入到时间序列算法模型中进行处理。
这种处理方式虽然保证了下一阶算法模型能够正确的处理数据，却降低了下一阶算法模型输出处理结果的时效性。
发明内容
本申请在于提供一种数据处理方法、装置、系统及存储介质，以实现保证下一阶算法模型能够正确处理数据的同时，提高下一阶算法模型输出处理结果的时效性。
第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；
从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；
将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
在本申请实施例中，由于确定出的多个同一阶算法模型的待输入处理结果的数量比例满足预设处理比例，故实现了在多个同一阶算法模型处理数据的过程中，下一阶算法模型便能够正确处理待输入处理结果，使得下一阶算法模型在多个同一阶算法模型处理数据的过程中便有结果输出，提升了下一阶算法模型输出处理结果的时效性，即可以实现下一阶算法模型和上一阶算法模型在一定程度上的并行处理，所以可以提高处理效率以及时效性。
结合第一方面，在第一种可能的实现方式中，从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，包括：
从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
在本申请实施例中，由于每个同一阶算法模型确定出的是最少数量的待输入处理结果，故可以缩短下一阶算法模型的等待时长，使得下一阶算法模型的时效性得到进一步提高。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在多个同一阶算法模型处理数据的过程中的过程中，所述方法还包括：
获取所述处理结果的生成时刻；
对应的，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果，包括：
根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
在本申请实施例中，通过生成时刻的先后顺序来确定待输入处理结果，可以实现同一阶算法模型先输出的处理结果也可以先被下一阶算法模型处理，保证了处理逻辑的合理性。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在获取所述处理结果的生成时刻之后，以及在根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前，所述方法还包括：
确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。
在本申请实施例中，由于伪造处理结果通常需要耗费较长时间，通过检验生成时刻的早晚可以确定处理结果是否是伪造的，故可以提高数据处理的安全性，防止伪造的处理结果对数据处理产生不利影响。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在确定所述生成时刻位于对应的预设时刻前之后，所述方法还包括：
将所述处理结果同步到区块链上的其它节点。
在本申请实施例中，由于可信的处理结果还可以被同步到区块链上的其它节点，提高了处理结果不可篡改性。
结合第一方面的任一种可能的实现方式，在第五种可能的实现方式中，在从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果之前，所述方法还包括：
确定出满足所述下一阶算法模型的数据处理规则的所述预设处理比例。
在本申请实施例中，由于预设处理比例是根据下一阶算法模型的数据处理规则确定的，故保证后续确定出的待输入处理结果能够正确的被下一阶算法模型处理。
第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：
获取模块，用于在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；
处理模块，用于从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；
输出模块，用于将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
结合第二方面，在第一种可能的实现方式中，
所述处理模块，还用于从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，
所述获取模块，还用于在多个同一阶算法模型处理数据的过程中的过程中，获取所述处理结果的生成时刻；
对应的，所述处理模块，还用于根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述获取模块获取所述处理结果的生成时刻之后，以及在所述处理模块根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前；
所述处理模块，还用于确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，在所述处理模块确定所述生成时刻位于对应的预设时刻前之后；
所述输出模块，还用于将所述处理结果同步到区块链上的其它节点。
结合第二方面的任一种可能的实现方式，在第五种可能的实现方式中，在所述处理模块从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果之前；
所述处理模块，还用于确定出满足所述下一阶算法模型的数据处理规则的所述预设处理比例。
第三方面，本申请实施例提供了一种数据处理系统，包括：多个节点，每个所述节点与所述多个节点中的其它所述节点通信，不同阶的算法模型可以部署在不同的所述节点上；
每个所述节点，用于执行第一方面或第一方面的任一种可能实现方式所述的数据处理方法。
第四方面，本申请实施例提供了一种非易失计算机可读储存介质，存储有程序代码，当所述程序代码被计算机运行时执行第一方面或第一方面的任一种可能实现方式所述的数据处理方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种数据处理系统的结构框图；
图2A示出了本申请实施例提供的一种数据处理系统在第一种情况下的结构框图；
图2B示出了本申请实施例提供的一种数据处理系统在第二种情况下的结构框图；
图2C示出了本申请实施例提供的一种数据处理系统在第三种情况下的结构框图；
图3示出了本申请实施例提供的一种数据处理方法的第一流程图；
图4示出了本申请实施例提供的一种数据处理方法的第二流程图；
图5示出了本申请实施例提供的一种数据处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例提供了一种数据处理系统10，数据处理系统10的类型可以由实际应用场景决定，例如，数据处理系统10用于局域网内的数据处理，数据处理系统10可以是局域的二级通信网络系统；例如，数据处理系统10用于数据存储，数据处理系统10可以是Ceph分布式存储系统；又例如，数据处理系统10用于数据的不可篡改性存储时，数据处理系统10可以是区块链网络。
本实施例中，数据处理系统10可以包括：多个节点11，其中，多个节点11中的每个节点11均可以与多个节点11中的其它所述节点11通信连接。
例如，图1中示出了包含5个节点11的数据处理系统10，其中，5个节点11可以分别是节点A1、节点A2、节点A3、节点A4和节点A5。其中，节点A1和节点A2与节点A3通信连接，节点A3分别与节点A4和节点A5通信连接，而节点A4还与节点A5通信连接。
本实施例中，节点11可以是终端例如手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)。节点11也可以网络通信设备例如路由器、交换机和接入设备等。节点11还可以是服务器，服务器可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器可以是分布式系统)。在一些实施例中，服务器相对于其它与服务器交互设备，服务器可以是本地的，或也可以是远程的。在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。
本实施例中，为实现对数据的阶梯性处理，可以在多个节点11中设置多阶算法模型，多阶算法模型的类型可以根据实际需求进行选择。
例如，数据处理系统10应用到图像处理，多阶算法模型可以是用于对象识别匹配的神经网络算法模型，每个上一阶算法模型可以用于对图像的对象进行提取，节点11可以将每个上一阶算法模型提取出的仅包含对象的图像输入到下一阶算法模型，下一阶算法模型则可以进行对象相似度识别。
又例如，处理系统10应用到大数据处理，多阶算法模型可以是的数据提取模型，每个上一阶算法模型用于从各自对应的数据库中提取出特征数据，节点11可以将每个上一阶算法模型提取出的特征数据输入到下一阶算法模型，下一阶算法模型可以分门别类对特征数据进行汇总。
当然，数据处理系统10的应用场景也不仅限于上述例举的方式，例如数据处理系统10还可以应用到对通信数据的处理。
本实施例中，某一个节点11是否设置以及如何设置算法模型可以根据实际需求进行选择。
作为设置算法模型第一种可选方式，在数据处理量不太大或节点11本身的运算能力比较强的情况下，可以将至少一个同一阶算法模型设置在同一节点11上，以利用该同一节点11的运算能力运行至少一个同一阶算法模型。
例如图2A所示，多阶算法模型包括：第一阶算法模型a1、第一阶算法模型a2、第一阶算法模型a4、第二阶算法模型b1和第三阶算法模型c1。同一阶的第一阶算法模型a1和第一阶算法模型a2可以设置在节点A1上，第二阶算法模型b1可以设置在节点A4上，而第三阶算法模型c1则可以设置在节点A5上。
基于此，在第一阶算法模型a1和第一阶算法模型a2处理数据的过程中，第一阶算法模型a1和第一阶算法模型a2可以持续的输出处理结果至节点A3。节点A3可以执行本申请的数据处理方法，从第一阶算法模型a1的处理结果中确定出第一阶算法模型a1的待输入处理结果，以及从第一阶算法模型a2的处理结果中确定出第一阶算法模型a2的待输入处理结果。节点A3再将第一阶算法模型a1的待输入处理结果和第一阶算法模型a2的待输入处理结果输入到节点A4。节点A4便可以利用第二阶算法模型b2对第一阶算法模型a1的待输入处理结果和第一阶算法模型a2的待输入处理结果进行处理，以实现第二阶算法模型b1能够在第一阶算法模型a1和第一阶算法模型a2处理数据的过程中输出处理结果。最后，节点A4可以将第二阶算法模型b1输出的处理结果输出到节点A5中继续进行处理，使得节点A5可以利用第三阶算法模型c1输出最终结果。
需要说明的是，在数据的处理过程中，可以根据处理的数据量大小来确定是否需要一些节点11不参与利用算法模型处理数据。例如，在处理的数据量很大时，可以选择与设置上一阶算法模型的节点11和设置下一阶算法模型的节点11均连接的节点11(图2A中的节点A3)来执行本申请的数据处理方法，从而确定出待输入处理结果。采用这种方式可以使得数据处理系统10的运算负荷可以较为均匀的被各节点11承担。当然，在实际实施中，不限于仅根据处理的数据量大小来确定是否需要一些节点11不参与处理数据，还可以根据其它因素，例如成本的高低、系统规模的大小等。
作为设置算法模型第二种可选方式，在数据处理量比较大或节点11本身的运算能力比较一般的情况下，可以将每个同一阶算法模型对应设置在一个节点11上，以利用每个节点11的运算能力运行对应的一个算法模型。
例如图2B所示，多阶算法模型也包括：第一阶算法模型a1、第一阶算法模型a2、第一阶算法模型a3、第一阶算法模型a4、第二阶算法模型b1和第三阶算法模型c1。在同一阶的第一阶算法模型a1和第一阶算法模型a2中，第一阶算法模型a1可以设置在节点A1上，第一阶算法模型a2可以设置在节点A2上；第二阶算法模型b1可以设置在节点A3；而第三阶算法模型c1则可以设置在节点A4上。
该设置方式与第一种方式不同的是，节点A3从节点A1获得第一阶算法模型a1的处理结果，以及从节点A2获得第一阶算法模型a2的处理结果。且节点A3在执行数据处理方法，从第一阶算法模型a1的处理结果中确定出第一阶算法模型a1的待输入处理结果，以及从第一阶算法模型a2的处理结果中确定出第一阶算法模型a2的待输入处理结果后，节点A3还需要将第一阶算法模型a1的待输入处理结果和第一阶算法模型a2的待输入处理结果输入自身的第二阶算法模型b1进行运算。
作为设置算法模型第三种可选方式，在节点11的运算能力满足同时运行不同阶算法模型时，节点11在设置同一阶算法模型的基础上，节点11还可以设置其它阶算法模型。
例如图2C所示，多阶算法模型也包括：第一阶算法模型a1、第一阶算法模型a2、第一阶算法模型a3、第一阶算法模型a4、第二阶算法模型b1和第三阶算法模型c1。同一阶的第一阶算法模型a1和第一阶算法模型a2可以设置在节点A1上，第二阶算法模型b1和第三阶算法模型c1则可以设置在节点A3上。
该设置方式与第一种和第二种设置方式不同的是，节点A3可以几乎同步的运行第二阶算法模型b1和第三阶算法模型c1。这样，在第二阶算法模型b1处理数据的过程中，节点A3可以将第二阶算法模型b1的处理结果继续输入自身的第三阶算法模型c1，使得第三阶算法模型c1可以在第二阶算法模型b1处理数据的过程中便输出处理结果。
当然，关于算法模型的设置也不限于上述例举的方式，与上述设置方式等同的其它设置方式也应涵盖在本申请的保护范围以内。
下面将以某个节点11为例，对该节点11如何执行数据处理方法进行详细的说明。
请参阅图3，本申请实施例提供了一种数据处理方法，该数据处理方法可以由数据处理系统10中的任一节点11执行，数据处理方法可以包括：步骤S100、步骤S200和步骤S300。
步骤S100：在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果。
步骤S200：从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例。
步骤S300：将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
下面以图2A示出的应用场景为例，结合图3对本申请的数据处理方法的各流程依次进行说明。
作为本申请的数据处理方法的第一种实施方式
步骤S100：在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果。
若多个同一阶算法模型设置在其它节点11，在其它节点11运行同一阶算法模型以进行数据处理的过程中，其它节点11基于与该节点11建立的通信关系，其它节点11可以将每个同一阶算法模型输出的处理结果依次发送给执行本申请方法的节点11。相应的，该节点11可以获取每个所述同一阶算法模型依次输出的处理结果。而若多个同一阶算法模型设置在节点11自身，在自身控制同一阶算法模型运行以进行数据处理的过程中，自身可以直接获取每个所述同一阶算法模型依次输出的处理结果。
如图2A所示，假设：节点A3执行该数据处理方法。在节点A1运行第一阶算法模型a1和第二阶算法模型a1以进行数据处理的过程中，节点A3可以依次获取节点A1发送的第一阶算法模型a1的处理结果a11、处理结果a12、处理结果a13、处理结果a14，以及节点A3还可以依次获取节点A1发送的第一阶算法模型a2的处理结果a21、处理结果a22、处理结果a23。
步骤S200：从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例。
为保证下一阶算法模型能够尽快输出处理结果，下一阶算法模型不能等到多个同一阶算法模型将所有的数据处理完成后，再对多个同一阶算法模型处理获得的全部处理结果进行处理。故下一阶算法模型需要在多个同一阶算法模型处理数据的过程中，对多个同一阶算法模型持续输出的处理结果进行处理。
而为保证下一阶算法模型能够正确的处理多个同一阶算法模型持续输出的处理结果，需要确保输入的下一阶算法模型的处理结果满足下一阶算法模型的数据处理规则。由于下一阶算法模型的数据处理规则使得下一阶算法模型需要按比例处理多个同一阶算法模型输出的处理结果，故可以节点11可以预先根据下一阶算法模型的数据处理规则确定出满足该数据处理规则的预设处理比例。例如，节点11中预设了匹配每种数据处理规则的预设处理比例，节点11通过确定该下一阶算法模型的数据处理规则，可以对应的确定与之匹配的预设处理比例。若多个同一阶算法模型输出的处理结果的数量比例满足该预设处理比例，该多个同一阶算法模型输出的处理结果则可以在满足该数据处理规则的基础上正确的被下一阶算法模型处理。
可以理解到，针对不同下一阶算法模型的不同数据处理规则，节点11确定出的预设处理比例也不停。
基于该预设处理比例，节点11可以从每个同一阶算法模型输出的处理结果中确定出每个同一阶算法模型的待输入处理结果，使得确定出的多个同一阶算法模型的待输入处理结果的数量比例满足该预设处理比例。
示例性的，为进一步提高下一阶算法模型输出处理结果的时效性，每次输入下一阶算法模型的待输入处理结果可以尽量的少一些。故节点11可以从每个同一阶算法模型的处理结果中确定出每个同一阶算法模型的最少数量的待输入处理结果。
可以理解到的是，在实际实施中，也不限于仅确定出最少数量的待输入处理结果。确定出的待输入处理结果的数量可以根据实际需求进行选择，例如，在下一阶算法模型的处理能力比较强大的情况下，也可以确定出数量比较多的待输入处理结果。
请继续参阅图2A，并继续以前述假设为例。若预设处理比例为2：1，节点A3可以从第一阶算法模型a1的处理结果a11、处理结果a12、处理结果a13、处理结果a14中确定出处理结果a11和处理结果a12，该确定出的处理结果a11和处理结果a12则为第一阶算法模型a1的待输入处理结果。以及，节点A3还可以根据预设处理比例从第一阶算法模型a2的处理结果a21、处理结果a22、处理结果a23中确定出处理结果a21，该确定出的处理结果a21则为第一阶算法模型a2的待输入处理结果。显然，节点A3确定出的第一阶算法模型a1的待输入处理结果的数量是满足预设处理比例的最少数量，以及第一阶算法模型a2的待输入处理结果的数量也是满足预设处理比例的最少数量。
步骤S300：将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
在节点11确定出每个同一阶算法模型的待输入处理结果后，若下一阶算法模型设置在其它节点11，节点11可以将每个同一阶算法模型的待输入处理结果发送至其它节点11，每个同一阶算法模型的待输入处理结果能够被输入到下一阶算法模型，使得下一阶算法模型能够在多个同一阶算法模型处理数据的过程中输出处理结果。而若下一阶算法模型设置在自身，节点11可以直接将每个同一阶算法模型的待输入处理结果输入到下一阶算法模型，也使得下一阶算法模型能够在多个同一阶算法模型处理数据的过程中输出处理结果。
作为本申请的数据处理方法的第二种实施方式。
请参阅图4，在步骤S100和步骤S200之间，还包括：步骤S101和步骤S102。
步骤S101：获取所述处理结果的生成时刻。
步骤S102：确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。
下面将依次对步骤S101和步骤S102进行说明。
步骤S101：获取所述处理结果的生成时刻。
每个同一阶算法模型在生成每个处理结果时，每个同一阶算法模型可以记录每个处理结果生成时的时间点，即记录每个处理结果的生成时刻。在此基础上，设置每个同一阶算法模型的其它节点11不仅可以将每个同一阶算法模型的处理结果发送给执行本申请方法的节点11，该其它节点11还可以将记录的每个处理结果的生成时刻也发送给执行本申请方法的节点11。相应的，该节点11可以接收到每个处理结果的生成时刻。当然，若同一阶算法模型设置该节点11自身，该节点11可以直接获取每个处理结果的生成时刻。
请继续参阅图2A，并继续以前述假设为例。节点A3可以获取处理结果a11的生成时刻为t1、处理结果a12的生成时刻为t2、处理结果a13的生成时刻为t3、处理结果a14的生成时刻为t4，以及还获取处理结果a21的生成时刻为t2、处理结果a22的生成时刻为t3、处理结果a23的生成时刻为t4。
步骤S102：确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。
本实施例中，为准确的确定出处理结果是否可信，避免伪造的处理结果对数据的正常处理产生影响。节点11在获取每个处理结果的过程中，节点11还可以记录每个处理结果的生成顺序，其中，生成顺序用于表示对应的处理结果是算法模型生成的第几个处理结果。节点11中还预设了每个生成顺序对应的预设时刻，故节点11可以根据每个处理结果的生成顺序为每个处理结果确定出对应的预设时刻，其中，预设时刻为处理结果在正常情况下最晚生成的时刻。
进一步的，基于获取的生成时刻，节点11可以判断每个处理结果的生成时刻是否位于对应的预设时刻前，并确定出生成时刻位于对应的预设时刻前的可信的处理结果，从而节点11可以利用这些可信的处理结果继续执行步骤S200。反之，对于确定出生成时刻位于对应的预设时刻后的不可信的处理结果，节点11可以将这些不可信的处理结果丢弃。
示例性的，若数据处理系统10为区块链，节点11还可以将可信的处理结果同步到区块链上的其它节点11，以进一步提高处理结果不可被篡改性。
本实施例中，基于获取的生成时刻，节点11在执行步骤S200时，节点11便可以根据生成时刻的先后顺序，从每个同一阶算法模型的处理结果中确定出每个同一阶算法模型的最少数量的待输入处理结果。使得同一阶算法模型中优先生成的处理结果也能够在下一阶算法模型中优先被处理。
请继续参阅图2A，并继续以前述假设为例。从早到晚的时间顺序为生成时刻t1、生成时刻t2、生成时刻t3至生成时刻t4，故根据生成时刻的先后顺序，节点A3可以从处理结果a11、处理结果a12、处理结果a13和处理结果a14中确定出较早生成的处理结果a11、处理结果a12，以及从处理结果a21、处理结果a22、处理结果a23从确定出较早生成的处理结果a21。
请参阅图5，本申请实施例提供了一种数据处理装置100，该数据处理装置100可以应用于数据处理系统10中的任一节点11数据处理装置100可以包括：
获取模块110，用于在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果。
处理模块120，用于从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例。
输出模块130，用于将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
可选的，所述处理模块120，还用于从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施方式的数据处理方法的步骤。
详细地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的程序代码被运行时，以实现保证下一阶算法模型能够正确处理数据的同时，提高下一阶算法模型输出处理结果的时效性。
本申请实施例所提供的数据处理方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
综上所述，本申请实施例提供了一种数据处理方法、装置、系统及存储介质。由于确定出的多个同一阶算法模型的待输入处理结果的数量比例满足预设处理比例，故实现了在多个同一阶算法模型处理数据的过程中，下一阶算法模型便能够正确处理待输入处理结果，使得下一阶算法模型在多个同一阶算法模型处理数据的过程中便有结果输出，提升了下一阶算法模型输出处理结果的时效性。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；
从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；
将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
2.根据权利要求1所述的数据处理方法，其特征在于，从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，包括：
从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
3.根据权利要求2所述的数据处理方法，其特征在于，在多个同一阶算法模型处理数据的过程中，所述方法还包括：
获取所述处理结果的生成时刻；
对应的，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果，包括：
根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
4.根据权利要求3所述的数据处理方法，其特征在于，在获取所述处理结果的生成时刻之后，以及在根据所述生成时刻的先后顺序，从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果之前，所述方法还包括：
确定所述生成时刻位于对应的预设时刻前，其中，所述生成时刻位于所述预设时刻前表示对应的所述处理结果可信。
5.根据权利要求4所述的数据处理方法，其特征在于，在确定所述生成时刻位于对应的预设时刻前之后，所述方法还包括：
将所述处理结果同步到区块链上的其它节点。
6.根据权利要求1-5任一权项所述的数据处理方法，其特征在于，在从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果之前，所述方法还包括：
确定出满足所述下一阶算法模型的数据处理规则的所述预设处理比例。
7.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于在多个同一阶算法模型处理数据的过程中，获取每个所述同一阶算法模型的处理结果；
处理模块，用于从每个所述同一阶算法模型的处理结果中确定出每个所述同一阶算法模型的待输入处理结果，其中，多个所述同一阶算法模型的待输入处理结果的数量比例满足预设处理比例；
输出模块，用于将每个所述同一阶算法模型的待输入处理结果输入下一阶算法模型，使得所述下一阶算法模型能够在所述多个同一阶算法模型处理数据的过程中输出处理结果。
8.根据权利要求7所述的数据处理装置，其特征在于，
所述处理模块，还用于从每个所述同一阶算法模型的处理结果中，确定出每个所述同一阶算法模型的最少数量的待输入处理结果。
9.一种数据处理系统，其特征在于，包括：多个节点，每个所述节点与所述多个节点中的其它所述节点通信，不同阶的算法模型可以部署在不同的所述节点上；
每个所述节点，用于执行如权利要求1-7任一权项所述的数据处理方法。
10.一种非易失计算机可读储存介质，其特征在于，存储有程序代码，当所述程序代码被计算机运行时执行如权利要求1-7任一权项所述的数据处理方法。
CN201910401159.7A 2019-05-15 2019-05-15 数据处理方法、装置、系统及存储介质 Active CN110109976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910401159.7A CN110109976B (zh) 2019-05-15 2019-05-15 数据处理方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910401159.7A CN110109976B (zh) 2019-05-15 2019-05-15 数据处理方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110109976A true CN110109976A (zh) 2019-08-09
CN110109976B CN110109976B (zh) 2021-09-10

Family

ID=67490066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910401159.7A Active CN110109976B (zh) 2019-05-15 2019-05-15 数据处理方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110109976B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104268461A (zh) * 2014-09-16 2015-01-07 华为技术有限公司 一种可信度量方法及装置
CN107220261A (zh) * 2016-03-22 2017-09-29 中国移动通信集团山西有限公司 一种基于分布式数据的实时挖掘方法及装置
CN107968802A (zh) * 2016-10-19 2018-04-27 华为技术有限公司 一种资源调度的方法、装置和过滤式调度器
CN108241530A (zh) * 2016-12-23 2018-07-03 西北大学 一种基于Storm的流式计算二分图任务调度方法
CN108304918A (zh) * 2018-01-18 2018-07-20 中兴飞流信息科技有限公司 一种数据并行的深度学习的参数交换方法和系统
CN108549654A (zh) * 2018-03-09 2018-09-18 史玉成 一种基于图像处理的大数据分析方法
US20190128673A1 (en) * 2017-10-26 2019-05-02 Focal Point Positioning Limited Method and System for Combining Sensor Data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104268461A (zh) * 2014-09-16 2015-01-07 华为技术有限公司 一种可信度量方法及装置
CN107220261A (zh) * 2016-03-22 2017-09-29 中国移动通信集团山西有限公司 一种基于分布式数据的实时挖掘方法及装置
CN107968802A (zh) * 2016-10-19 2018-04-27 华为技术有限公司 一种资源调度的方法、装置和过滤式调度器
CN108241530A (zh) * 2016-12-23 2018-07-03 西北大学 一种基于Storm的流式计算二分图任务调度方法
US20190128673A1 (en) * 2017-10-26 2019-05-02 Focal Point Positioning Limited Method and System for Combining Sensor Data
CN108304918A (zh) * 2018-01-18 2018-07-20 中兴飞流信息科技有限公司 一种数据并行的深度学习的参数交换方法和系统
CN108549654A (zh) * 2018-03-09 2018-09-18 史玉成 一种基于图像处理的大数据分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢红卫等: "时变结构多阶段任务系统的可靠度研究", 《国防科技大学学报》 *

Also Published As

Publication number Publication date
CN110109976B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US20200293878A1 (en) Handling categorical field values in machine learning applications
CN110083334A (zh) 模型上线的方法及装置
CN110162780A (zh) 用户意图的识别方法和装置
CN110162387A (zh) 线程调度方法、装置、计算机设备及计算机可读存储介质
CN110781180A (zh) 一种数据筛选方法和数据筛选装置
CN115344805A (zh) 素材审核方法、计算设备及存储介质
CN107871055B (zh) 一种数据分析方法和装置
CN111651989B (zh) 命名实体识别方法和装置、存储介质及电子装置
CN114186024A (zh) 推荐方法及装置
CN117575008A (zh) 训练样本生成方法、模型训练方法、知识问答方法及设备
CN113221570A (zh) 基于线上问诊信息的处理方法、装置、设备及存储介质
CN113239698A (zh) 基于rpa及ai的信息提取方法、装置、设备及介质
CN115658875B (zh) 基于聊天服务的数据处理方法及相关产品
CN116757855A (zh) 一种智能保险服务方法、装置、设备及存储介质
CN110109976A (zh) 数据处理方法、装置、系统及存储介质
CN115147020B (zh) 装修数据处理方法、装置、设备及存储介质
CN112817560B (zh) 一种基于表函数的计算任务处理方法、系统及计算机可读存储介质
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
CN111401042B (zh) 一种训练文本关键内容提取模型的方法和系统
CN110458383B (zh) 需求处理服务化的实现方法、装置及计算机设备、存储介质
CN110210959A (zh) 财务数据的分析方法、装置及存储介质
CN111949776A (zh) 一种用户标签评估的方法、装置和电子设备
CN116757254B (zh) 任务处理方法、电子设备及存储介质
CN117453372B (zh) 一种任务规划方法、装置、电子设备及存储介质
CN109360561A (zh) 语音控制方法及系统、存储介质、语音模块、主控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant