CN111324523B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN111324523B
CN111324523B CN201811530518.0A CN201811530518A CN111324523B CN 111324523 B CN111324523 B CN 111324523B CN 201811530518 A CN201811530518 A CN 201811530518A CN 111324523 B CN111324523 B CN 111324523B
Authority
CN
China
Prior art keywords
processing
processed
data
module
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811530518.0A
Other languages
English (en)
Other versions
CN111324523A (zh
Inventor
张宾
吕旭涛
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201811530518.0A priority Critical patent/CN111324523B/zh
Publication of CN111324523A publication Critical patent/CN111324523A/zh
Application granted granted Critical
Publication of CN111324523B publication Critical patent/CN111324523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种数据处理方法及装置，该方法包括：获取待处理数据和待处理流程，待处理流程包括处理操作的第一标识和处理操作所用功能模块的第二标识；从第一标识对应的操作模块中获取第二标识对应的功能模块；根据获取的功能模块对待处理数据进行处理。实施本发明实施例，可以提高数据处理效率。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种数据处理方法及装置。
背景技术
随着计算机技术的不断发展，算法的运用范围越来越大，因此，使用算法处理数据已成为一种重要的数据处理方式。然而，在使用算法处理数据之前，需要软件开发人员编写大量的脚本和程序，并需要软件测试人员对编写的脚本和程序进行测试，只有测试成功之后才能使用，以致降低了数据处理效率。
发明内容
本发明实施例提供一种数据处理方法及装置，用于提高数据处理效率。
本发明实施例第一方面提供一种数据处理方法，包括：
获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识；
从所述第一标识对应的操作模块中获取所述第二标识对应的功能模块；
根据获取的功能模块对所述待处理数据进行处理。
在一个实施例中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；
所述根据获取的功能模块对所述待处理数据进行处理包括：
根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理。
在一个实施例中，在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
所述根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理包括：
根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
在一个实施例中，所述获取待处理数据和待处理流程之前，所述方法还包括：
获取第二操作需要的所有功能模块，所述第二操作为所有操作中的任一操作；
将所述所有功能模块封装为第二操作模块；
存储所述第二操作模块。
在一个实施例中，所述操作模块包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
本发明实施例第二方面提供一种数据处理装置，包括：
第一获取单元，用于获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识；
第二获取单元，用于从所述第一获取单元获取的第一标识对应的操作模块中获取所述第二标识对应的功能模块；
处理单元，用于根据所述第二获取单元获取的功能模块对所述第一获取单元获取的待处理数据进行处理。
在一个实施例中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；
所述处理单元，具体用于根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理。
在一个实施例中，在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
所述处理单元，具体用于根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
在一个实施例中，所述装置还包括：
第三获取单元，用于获取待处理数据和待处理流程之前，获取第二操作需要的所有功能模块，所述第二操作为所有操作中的任一操作；
封装单元，用于将所述第三获取单元获取的所有功能模块封装为第二操作模块；
存储单元，用于存储所述封装单元封装的第二操作模块。
在一个实施例中，所述操作模块包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
本发明实施例第三方面提供一种数据处理装置，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序代码，所述处理器用于调用所述程序代码执行以下操作：
获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识；
从所述第一标识对应的操作模块中获取所述第二标识对应的功能模块；
根据获取的功能模块对所述待处理数据进行处理。
在一个实施例中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；
所述处理器根据获取的功能模块对所述待处理数据进行处理包括：
根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理。
在一个实施例中，在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
所述处理器根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理包括：
根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
在一个实施例中，所述处理器还用于调用所述程序代码执行以下操作：
获取待处理数据和待处理流程之前，获取第二操作需要的所有功能模块，所述第二操作为所有操作中的任一操作；
将所述所有功能模块封装为第二操作模块；
存储所述第二操作模块。
在一个实施例中，所述操作模块包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
第四方面提供了一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序包括程序代码，所述程序代码当被处理器执行时使所述处理器执行第一方面或第一方面的任一实施例提供的数据处理方法。
第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面或第一方面的任一实施例提供的数据处理方法。
本发明实施例中，获取待处理数据和包括处理操作的第一标识和处理操作所用功能模块的第二标识的待处理流程，从第一标识对应的操作模块中获取第二标识对应的功能模块，根据获取的功能模块对待处理数据进行处理。可见，在需要对数据进行处理的情况下，只需要提供数据和处理流程，就可以调用操作模块中的功能模块对数据进行处理，不需要软件开发人员和软件测试人员的参与，因此，可以提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2是本发明实施例提供的另一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种数据处理装置的结构示意图；
图4是本发明实施例提供的另一种数据处理装置的结构示意图；
图5是本发明实施例提供的一种封装的操作模块的示意图；
图6是本发明实施例提供的一种待处理流程的示意图；
图7是本发明实施例提供的一种图像分类算法模型训练的待处理流程的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据处理方法及装置，用于提高数据处理效率。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种数据处理方法的流程示意图。根据不同的需求，图1所示的流程图中的某些步骤可以拆分为几个步骤，某些步骤可以省略。如图1所示，该数据处理方法可以包括以下步骤。
101、获取待处理数据和包括处理操作的第一标识和处理操作所用功能模块的第二标识的待处理流程。
本实施例中，可以预先获取算法中所有可能要用到的操作中每个操作可能会用到的所有功能模块，并将每个操作对应的所有功能模块封装为该操作模块并存储，或者将每个操作对应的所有功能模块存储到该操作模块并进行封装。封装的每个操作模块包括该操作模块对应的操作的标识以及该操作模块包括的所有功能模块的标识和数据。其中，算法可以包括人工智能(artificial intelligence，AI)算法等，每个功能模块都是预先编写并且测试好的代码，可以直接进行使用。
本实施例中，在用户需要对数据进行处理时，可以先确定处理该数据的处理流程，即确定处理该数据需要哪些操作、每个操作需要使用哪些功能模块、操作之间的处理顺序、操作对应的功能模块之间的处理顺序、操作的标识以及功能模块的标识。之后将需要处理的数据和对应的处理流程以指令或任务的方式部署在处理数据的设备上。
本实施例中，获取待处理数据和包括处理操作的第一标识和处理操作所用功能模块的第二标识的待处理流程，该待处理数据和待处理流程可以是从待处理任务中获取的一个任务中包括的，也可以是从接收的处理指令中包括的，还可以是用户输入的，本实施例不作限定。
102、从第一标识对应的操作模块中获取第二标识对应的功能模块。
本实施例中，获取到待处理数据和待处理流程之后，可以从第一标识对应的操作模块中获取第二标识对应的功能模块，即从需要的处理操作模块中获取该处理操作所用功能模块。
103、根据获取的功能模块对待处理数据进行处理。
本实施例中，从第一标识对应的操作模块中获取到第二标识对应的功能模块之后，根据获取的功能模块对待处理数据进行处理。
本实施例中，在处理操作的数量大于1的情况下，待处理流程还包括处理操作之间的第一处理顺序。在多个处理操作中每个处理操作只需要用到一个功能模块的情况下，可以根据获取的功能模块和第一处理顺序对待处理数据进行处理，以便按照第一处理顺序正确地执行处理操作。
本实施例中，在第一操作所用功能模块的数量大于1的情况下，待处理流程还包括第一操作所用功能模块之间的第二处理顺序，第一操作为处理操作中的任一处理操作。在只包括一个处理操作，但这个处理操作需要用到多个功能模块的情况下，可以根据获取的功能模块和第二处理顺序对待处理数据进行处理，以便按照第二处理顺序正确地执行功能模块。
本实施例中，在包括多个处理操作，且这多个处理操作中存在需要用到多个功能模块的处理操作的情况下，可以根据获取的功能模块、第一处理顺序和第二处理顺序对待处理数据进行处理，以便按照第一处理顺序正确地执行处理操作，以及按照第二处理顺序正确地执行处理操作中的功能模块。
在图1所描述的数据处理方法中，可见，在需要对数据进行处理的情况下，只需要提供数据和处理流程，就可以调用操作模块中的功能模块对数据进行处理，不需要软件开发人员和软件测试人员的参与，因此，可以提高数据处理效率。
请参阅图2，图2是本发明实施例提供的另一种数据处理方法的流程示意图。根据不同的需求，图2所示的流程图中的步骤的执行顺序可以改变，某些步骤可以拆分为几个步骤，某些步骤可以省略。如图2所示，该数据处理方法可以包括以下步骤。
201、获取第二操作需要的所有功能模块，将获取的所有功能模块封装为第二操作模块并存储。
本实施例中，可以预先确定算法可能包括的所有操作(或步骤)，以及确定所有操作中每个操作可能会用到的所有功能模块，并将每个操作对应的所有功能模块封装为该操作模块并存储，或者将每个操作对应的所有功能模块存储到该操作模块并进行封装。封装的每个操作模块包括该操作模块对应的操作的标识以及该操作模块包括的所有功能模块的标识和数据。其中，算法可以包括AI算法等，每个功能模块都是预先编写并且测试好的代码，可以直接进行使用。
举例说明，常见的图像AI算法包括图像预处理、图像模型训练、图像模型评估、图像模型推理和图像模型部署。可见，常见的图像AI算法包括预处理、训练、评估、推理和部署操作。请参阅图5，图5是本发明实施例提供的一种封装的操作模块的示意图。如图5所示，将预处理操作封装为预处理模块，将训练操作封装为训练模块，将评估操作封装为评估模块，将推理操作封装为推理模块，将部署操作封装为部署模块。
预处理模块封装有常见的图像预处理操作，如重新调整图像大小(rescale)、随机截取图像指定大小的部分(random crop)、图像不同通道互换(swapaxes)等。预处理模块的输入一般为一个图像数据集，输出为预处理后生成的新的数据集。
训练模块封装常见的图像算法以及不同机器学习框架的启动训练、训练过程监控和训练模型保存操作。封装的图像算法可以包括图像分类、目标检测、图像分割、回归测试等。机器学习框架可以包括Mxnet、Pytorch、TensorFlow等。训练模块的输入一般为一个训练用的数据集、一个验证用的数据集以及一个预训练的模型或者一个定义好的网络结构，输出为一个训练好的模型文件。
评估模块封装常见的图像算法评估指标的计算方式，评估指标可以包括准确率(precision)、召回率(recall)等。评估模块的输入一般为一个带有标签的图像数据集以及一个图像算法模型，输出为一个评估指标的值或者一条评估指标曲线。
推理模块封装常见的图像算法推理操作，输入一般为一个图像数据集以及一个图像算法模型，输出为一个带有新标签的图像数据集。
部署模块封装常见的算法模型部署到云端或者本地服务器的操作，输入一般为一个算法模型文件，输出为该算法模型作为一个服务被部署到了指定的服务器或者指定的云端平台。用户可以通过应用程序编程接口(Application Programming Interface，API)或者网页调用该算法模型进行预测操作。
202、获取待处理数据和包括处理操作的第一标识和处理操作所用功能模块的第二标识的待处理流程。
本实施例中，在用户需要对数据进行处理时，可以先确定处理该数据的处理流程，即确定处理该数据需要哪些操作、每个操作需要使用哪些功能模块、操作之间的处理顺序、操作对应的功能模块之间的处理顺序、操作的标识以及功能模块的标识。之后将需要处理的数据和对应的处理流程以指令或任务的方式部署在处理数据的设备上。
本实施例中，获取待处理数据和包括处理操作的第一标识和处理操作所用功能模块的第二标识的待处理流程，该待处理数据和待处理流程可以是从待处理任务中获取的一个任务中包括的，也可以是从接收的处理指令中包括的，还可以是用户输入的，本实施例不作限定。
请参阅图6，图6是本发明实施例提供的一种待处理流程的示意图。如图6所示，该待处理流程包括预处理、训练、评估、推理和部署操作，待处理数据包括数据集和测试集。该待处理流程也可以只包括图6中所示操作中的部分操作，例如，只包括预处理、训练和评估操作，只包括预处理、训练和部署操作，只包括推断操作。
203、从第一标识对应的操作模块中获取第二标识对应的功能模块。
本实施例中，获取到待处理数据和待处理流程之后，可以从第一标识对应的操作模块中获取第二标识对应的功能模块，即从需要的处理操作模块中获取该处理操作所用功能模块。
如图6所示的待处理流程，需要从图5所示的预处理模块中获取需要的功能模块，需要从图5所示的训练模块中获取需要的功能模块，需要从图5所示的评估模块中获取需要的功能模块，需要从图5所示的推理模块中获取需要的功能模块，需要从图5所示的部署模块中获取需要的功能模块。可以是获取到所有需要的功能模块之后，再执行步骤204。也可以是边获取需要的功能模块边执行步骤204，例如，获取到预处理模块需要的功能模块之后，可以先对待处理数据进行预处理，同时获取其它操作模块还需要的功能模块。
204、根据获取的功能模块对待处理数据进行处理。
本实施例中，从第一标识对应的操作模块中获取到第二标识对应的功能模块之后，根据获取的功能模块对待处理数据进行处理。
本实施例中，在处理操作的数量大于1的情况下，待处理流程还包括处理操作之间的第一处理顺序。在多个处理操作中每个处理操作只需要用到一个功能模块的情况下，可以根据获取的功能模块和第一处理顺序对待处理数据进行处理，以便按照第一处理顺序正确地执行处理操作。
本实施例中，在第一操作所用功能模块的数量大于1的情况下，待处理流程还包括第一操作所用功能模块之间的第二处理顺序，第一操作为处理操作中的任一处理操作。在只包括一个处理操作，但这个处理操作需要用到多个功能模块的情况下，可以根据获取的功能模块和第二处理顺序对待处理数据进行处理，以便按照第二处理顺序正确地执行功能模块。
本实施例中，在包括多个处理操作，且这多个处理操作中存在需要用到多个功能模块的处理操作的情况下，可以根据获取的功能模块、第一处理顺序和第二处理顺序对待处理数据进行处理，以便按照第一处理顺序正确地执行处理操作，以及按照第二处理顺序正确地执行处理操作中的功能模块。
如图6所示的待处理流程，可以先调用预处理模块中的相应功能模块对数据集完成预处理操作，输出一个训练过程需要的数据集。紧接着调用训练模块中相应的功能模块对预处理模块输出的数据集进行训练，训练之后输出一个模型。之后通过调用部署模块中的相应功能模块将该模型部署到云端。通过调用评估模块中相应的功能模块，可以得到该模型在一个数据集上的性能指标。通过调用推理模块中相应的功能模块，可以给一个新的数据集打上相应的标签。图6中预处理操作可以串行执行多个，即在进行训练之前可以对数据集进行多个预处理操作。推理操作可以并行执行多个，即训练得到一个模型之后，可以同时对多个不同的数据集进行推理操作。部署操作也可以并行执行多个，可以将模型部署到多个不同的云平台或者服务器。评估操作也可以并行执行多个，可以在多个不同的测试集上进行评估操作，得到评估结果。
请参阅图7，图7是本发明实施例提供的一种图像分类算法模型训练的待处理流程的示意图。如图7所示，待处理流程包括两个预处理操作、一个训练操作和一个评估操作，待处理流程还包括这四个操作的处理顺序。此外，待处理流程还包括这四个操作的标识，即DataProcess、DataProcess、ModelTraining、ModelEvaluation。待处理流程还包括功能模块的标识，Mxnet.toRecord(input_dataset)和Mxnet.SwapAxes(input_dataset)表示DataProcess对应的预处理模块中的Mxnet下的Record数据集生成函数和SwapAxes坐标转换函数，Mxnet.classification(train_dataset,val_dataset,input_model,**kwargs)表示ModelTraining对应的训练模块中的Mxnet下的图像分类模型训练函数，Mxnet.classification(test_dataset,input_model,eval_metrics＝”mAP”)表示ModelEvaluation对应的评估模块中的Mxnet下的图像分类模型评估函数。
在图2所描述的数据处理方法中，可见，在需要对数据进行处理的情况下，只需要提供数据和处理流程，就可以调用封装在操作模块中的功能模块对数据进行处理，不需要软件开发人员和软件测试人员的参与，因此，可以提高数据处理效率。
请参阅图3，图3是本发明实施例提供的一种数据处理装置的结构示意图。如图3所示，该数据处理装置可以包括：
第一获取单元301，用于获取待处理数据和待处理流程，待处理流程包括处理操作的第一标识和处理操作所用功能模块的第二标识；
第二获取单元302，用于从第一获取单元301获取的第一标识对应的操作模块中获取第二标识对应的功能模块；
处理单元303，用于根据第二获取单元302获取的功能模块对第一获取单元301获取的待处理数据进行处理。
作为一种可能的实施方式，在处理操作的数量大于1的情况下，待处理流程还包括处理操作之间的第一处理顺序；
处理单元303，具体用于根据获取的功能模块和第一处理顺序对待处理数据进行处理。
作为一种可能的实施方式，在第一操作所用功能模块的数量大于1的情况下，待处理流程还包括第一操作所用功能模块之间的第二处理顺序，第一操作为处理操作中的任一处理操作；
处理单元303，具体用于根据获取的功能模块、第一处理顺序和第二处理顺序对待处理数据进行处理。
作为一种可能的实施方式，该数据处理装置还可以包括：
第三获取单元304，用于获取待处理数据和待处理流程之前，获取第二操作需要的所有功能模块，第二操作为所有操作中的任一操作；
封装单元305，用于将第三获取单元304获取的所有功能模块封装为第二操作模块；
存储单元306，用于存储封装单元305封装的第二操作模块。
具体地，第二获取单元302从获取的第一标识对应的存储单元306存储的操作模块中获取第二标识对应的功能模块
作为一种可能的实施方式，操作模块可以包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
本实施例的装置可对应于本发明实施例中描述的方法，并且装置中的各个单元的上述和其它操作和/或功能分别为了实现图1-图2中的各个方法中的相应流程，为了简洁，在此不再赘述。
请参阅图4，图4是本发明实施例公开的另一种数据处理装置的结构示意图。如图4所示，该数据处理装置可以包括处理器401、存储器402和总线403。处理器401可以是一个通用中央处理器(CPU)，多个CPU，微处理器，特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。存储器402可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器402可以是独立存在，也可以和处理器401集成在一起。总线403与处理器401相连接。总线403在上述组件之间传送信息。其中：
存储器402中存储有一组程序代码，处理器401用于调用存储器402中存储的程序代码执行以下操作：
获取待处理数据和待处理流程，待处理流程包括处理操作的第一标识和处理操作所用功能模块的第二标识；
从第一标识对应的操作模块中获取第二标识对应的功能模块；
根据获取的功能模块对待处理数据进行处理。
作为一种可能的实施方式，在处理操作的数量大于1的情况下，待处理流程还包括处理操作之间的第一处理顺序；
处理器401根据获取的功能模块对待处理数据进行处理包括：
根据获取的功能模块和第一处理顺序对待处理数据进行处理。
作为一种可能的实施方式，在第一操作所用功能模块的数量大于1的情况下，待处理流程还包括第一操作所用功能模块之间的第二处理顺序，第一操作为处理操作中的任一处理操作；
处理器401根据获取的功能模块和第一处理顺序对待处理数据进行处理包括：
根据获取的功能模块、第一处理顺序和第二处理顺序对待处理数据进行处理。
作为一种可能的实施方式，处理器401还用于调用程序代码执行以下操作：
获取待处理数据和待处理流程之前，获取第二操作需要的所有功能模块，第二操作为所有操作中的任一操作；
将所有功能模块封装为第二操作模块；
存储第二操作模块。
作为一种可能的实施方式，操作模块可以包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
应理解，本实施例的数据处理装置可对应于图3所示的数据处理装置，并且数据处理装置中的上述和其它操作和/或功能分别为了实现图1-图2中的各个方法的相应流程，为了简洁，在此不再赘述。
在一个实施例中提供了一种存储介质，该存储介质用于存储应用程序，应用程序用于在运行时执行图1-图2的数据处理方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1-图2的数据处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识，其中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
从所述第一标识对应的操作模块中获取所述第二标识对应的功能模块；
根据获取的功能模块对所述待处理数据进行处理，包括：
在所述处理操作的数量大于1的情况下，根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理；
在所述处理操作的数量大于1且所述第一操作所用功能模块的数量大于1的情况下，根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理数据和待处理流程之前，所述方法还包括：
获取第二操作需要的所有功能模块，所述第二操作为所有操作中的任一操作；
将所述所有功能模块封装为第二操作模块；
存储所述第二操作模块。
3.根据权利要求2所述的方法，其特征在于，所述操作模块包括预处理模块、训练模块、评估模块、推理模块和部署模块中的一个或多个。
4.一种数据处理装置，其特征在于，包括：
第一获取单元，用于获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识，其中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
第二获取单元，用于从所述第一获取单元获取的第一标识对应的操作模块中获取所述第二标识对应的功能模块；
处理单元，用于根据所述第二获取单元获取的功能模块对所述第一获取单元获取的待处理数据进行处理；
所述处理单元，在根据所述第二获取单元获取的功能模块对所述第一获取单元获取的待处理数据进行处理时，具体用于在所述处理操作的数量大于1的情况下，根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理；以及用于在所述处理操作的数量大于1且所述第一操作所用功能模块的数量大于1的情况下，根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
5.根据权利要求4所述的装置，其特征在于，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；
所述处理单元，具体用于根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理。
6.根据权利要求5所述的装置，其特征在于，在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
所述处理单元，具体用于根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
7.一种数据处理装置，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序代码，所述处理器用于调用所述程序代码执行以下操作：
获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识，其中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
从所述第一标识对应的操作模块中获取所述第二标识对应的功能模块；
根据获取的功能模块对所述待处理数据进行处理，包括：
在所述处理操作的数量大于1的情况下，根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理；
在所述处理操作的数量大于1且所述第一操作所用功能模块的数量大于1的情况下，根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序代码，所述程序代码当被处理器执行时使所述处理器执行以下操作：
获取待处理数据和待处理流程，所述待处理流程包括处理操作的第一标识和所述处理操作所用功能模块的第二标识，其中，在所述处理操作的数量大于1的情况下，所述待处理流程还包括所述处理操作之间的第一处理顺序；在第一操作所用功能模块的数量大于1的情况下，所述待处理流程还包括所述第一操作所用功能模块之间的第二处理顺序，所述第一操作为所述处理操作中的任一处理操作；
从所述第一标识对应的操作模块中获取所述第二标识对应的功能模块；
根据获取的功能模块对所述待处理数据进行处理，包括：
在所述处理操作的数量大于1的情况下，根据获取的功能模块和所述第一处理顺序对所述待处理数据进行处理；
在所述处理操作的数量大于1且所述第一操作所用功能模块的数量大于1的情况下，根据获取的功能模块、所述第一处理顺序和所述第二处理顺序对所述待处理数据进行处理。
CN201811530518.0A 2018-12-14 2018-12-14 一种数据处理方法及装置 Active CN111324523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811530518.0A CN111324523B (zh) 2018-12-14 2018-12-14 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811530518.0A CN111324523B (zh) 2018-12-14 2018-12-14 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN111324523A CN111324523A (zh) 2020-06-23
CN111324523B true CN111324523B (zh) 2023-05-12

Family

ID=71170142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811530518.0A Active CN111324523B (zh) 2018-12-14 2018-12-14 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111324523B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677351A (zh) * 2004-04-02 2005-10-05 株式会社日立制作所 数据处理装置及其方法
CN104216715A (zh) * 2014-09-02 2014-12-17 深圳前海诺德咨询服务有限公司 一种Web App开发框架及方法
CN107534685A (zh) * 2016-03-15 2018-01-02 华为技术有限公司 一种业务处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677351A (zh) * 2004-04-02 2005-10-05 株式会社日立制作所 数据处理装置及其方法
CN104216715A (zh) * 2014-09-02 2014-12-17 深圳前海诺德咨询服务有限公司 一种Web App开发框架及方法
CN107534685A (zh) * 2016-03-15 2018-01-02 华为技术有限公司 一种业务处理方法及装置
EP3402160A1 (en) * 2016-03-15 2018-11-14 Huawei Technologies Co., Ltd. Service processing method and apparatus

Also Published As

Publication number Publication date
CN111324523A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US20170168885A1 (en) System and Method for Testing Internet of Things Network
CN110401634A (zh) 一种Web应用漏洞检测规则引擎实现方法及终端
CN110532185A (zh) 测试方法、装置、电子设备和计算机可读存储介质
CN110222936B (zh) 一种业务场景的根因定位方法、系统及电子设备
CN106980571A (zh) 一种测试用例集的构建方法和设备
CN111258913A (zh) 算法自动测试方法、装置、计算机系统及可读存储介质
CN110909826A (zh) 一种能源设备的诊断监测方法、装置及电子设备
CN113377667A (zh) 一种基于场景的测试方法、装置、计算机设备及存储介质
CN111522736A (zh) 一种软件缺陷预测方法、装置、电子设备及计算机存储介质
CN113505895B (zh) 一种机器学习引擎服务系统及模型训练方法和配置方法
CN111324523B (zh) 一种数据处理方法及装置
CN112052070A (zh) 应用容器化评估方法、装置、电子设备及存储介质
CN117370203A (zh) 自动化测试方法、系统、电子设备及存储介质
CN112559343A (zh) 测试路径生成方法及相关设备
CN112416301A (zh) 深度学习模型开发方法及装置、计算机可读存储介质
US20220206773A1 (en) Systems and methods for building and deploying machine learning applications
CN116599881A (zh) 云平台租户建模测试的方法、装置、设备及存储介质
CN112579426B (zh) 一种对待测试对象的测试方法及装置
CN116932360A (zh) 一种页面测试方法、装置、计算机设备和存储介质
CN109709418B (zh) 一种充电设施的检测方法及装置、存储介质和处理器
CN113672514A (zh) 测试方法、装置、服务器及存储介质
CN112015436A (zh) 短信平台部署方法及装置、计算设备、计算机存储介质
CN112667491A (zh) 虚拟机的功能测试方法及装置
US12001823B2 (en) Systems and methods for building and deploying machine learning applications
CN113704687B (zh) 一种张量计算运行方法、装置及运算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant