CN110609850A - 一种信息确定方法、电子设备及计算机存储介质 - Google Patents
一种信息确定方法、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN110609850A CN110609850A CN201910708993.0A CN201910708993A CN110609850A CN 110609850 A CN110609850 A CN 110609850A CN 201910708993 A CN201910708993 A CN 201910708993A CN 110609850 A CN110609850 A CN 110609850A
- Authority
- CN
- China
- Prior art keywords
- historical
- strategy
- parameter
- data set
- policy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24549—Run-time optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Abstract
本发明实施例公开了一种信息确定方法，该方法包括：获取待处理信息对应的历史策略和每一所述历史策略的执行效率；基于所述历史策略和每一所述历史策略的执行效率生成第一数据集；获取当前执行所述待处理信息时，所述待处理信息对应的第一参数；基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略。本发明实施例同时还公开了一种电子设备及计算机存储介质。
Description
技术领域
本发明涉及电子与信息技术领域，尤其是涉及一种信息确定方法、电子设备及计算机存储介质。
背景技术
现有技术中Spark都是通过使用有向无环图(Directed Acyclic Graph，DAG)来处理大数据技术中数据计算任务，在多次利用Spark进行同一数据计算任务时，每次需要基于Spark当前执行环境对应的参数或者数据状态，生成其对应的一种DAG来执行该数据的计算；而相关技术中Spark基于当前参数生成的DAG来执行数据的计算时，无法确定该DAG对应的计算效率为最优，这样容易降低利用Spark进行数据计算时整体的执行性能。
发明内容
为解决上述技术问题，本发明实施例期望提供一种信息确定方法、电子设备及计算机存储介质，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
为达到上述目的，本发明的技术方案是这样实现的：
一种信息确定方法，所述方法包括：
获取待处理信息对应的历史策略和每一所述历史策略的执行效率；
基于所述历史策略和每一所述历史策略的执行效率生成第一数据集；
获取当前执行所述待处理信息时，所述待处理信息对应的第一参数；
基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略。
可选地，所述基于所述历史策略和每一所述历史策略的执行效率生成第一数据集，包括：
基于每一所述历史策略的执行效率，设置所述历史策略的排列顺序；
按照所述排列顺序，基于所述历史策略和每一所述历史策略的执行效率，生成所述第一数据集。
可选地，所述基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略，包括：
确定所述历史策略的优先级；
获取与所述第一数据集对应的第二参数；
按照所述历史策略的优先级，基于所述第一数据集、所述第二参数和所述第一参数确定所述目标策略。
可选地，所述按照所述历史策略的优先级，基于所述第一数据集、所述第二参数和所述第一参数确定所述目标策略，包括：
若所述第二参数中存在与所述第一参数匹配的参数，按照所述历史策略的优先级，从所述第一数据集中确定所述目标策略。
可选地，所述方法还包括：
若所述第二参数中不存在与所述第一参数匹配的参数，基于所述第二参数确定基础策略；
按照所述历史策略的优先级，基于所述第一数据集和所述基础策略确定所述目标策略。
可选地，所述按照所述历史策略的优先级，基于所述第一数据集和所述基础策略确定所述目标策略，包括：
基于所述基础策略和所述历史策略，生成当前策略；
设置所述当前策略的优先级；
按照所述当前策略的优先级，从所述第一数据集和所述基础策略中确定所述目标策略。
可选地，所述按照所述当前策略的优先级，从所述第一数据集和所述基础策略中确定所述目标策略之后，所述方法还包括：
获取所述基础策略的执行效率；
基于所述基础策略的执行效率和每一所述历史策略的执行效率，设置所述当前策略的排列顺序；
按照所述当前策略的排列顺序，基于所述第一数据集、所述基础策略和所述基础策略的执行效率，生成第二数据集。
一种电子设备，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行存储器中的信息确定方法的程序，以实现以下步骤：
获取待处理信息对应的历史策略和每一所述历史策略的执行效率；
基于所述历史策略和每一所述历史策略的执行效率生成第一数据集；
获取当前执行所述待处理信息时，所述待处理信息对应的第一参数；
基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略。
可选地，所述处理器执行基于所述历史策略和每一所述历史策略的执行效率生成第一数据集的步骤时，还可以实现以下步骤：
基于每一所述历史策略的执行效率，设置所述历史策略的排列顺序；
按照所述排列顺序，基于所述历史策略和每一所述历史策略的执行效率，生成所述第一数据集。
一种计算机存储介质，该计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的信息确定方法的步骤。
本发明实施例所提供的信息确定方法、电子设备及计算机存储介质，获取待处理信息对应的历史策略和每一历史策略的执行效率；基于历史策略和每一历史策略的执行效率生成第一数据集；获取当前执行待处理信息时，待处理信息对应的第一参数；基于第一数据集和第一参数，确定用于执行待处理信息的目标策略。如此，通过从待处理信息的历史策略和当前对应的第一参数，选择一个最优的执行策略来执行当前待处理信息，而不是如相对技术中每次只是根据当前的参数生成一种策略来执行当前待处理信息，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
附图说明
图1为本发明实施例提供的一种信息确定方法的流程示意图；
图2为本发明实施例提供的另一种信息确定方法的流程示意图；
图3为本发明实施例提供的又一种信息确定方法的流程示意图；
图4为本发明实施例提供的利用Spark执行某一数据计算任务时的流程示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应理解，说明书通篇中提到的“本发明实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“本发明实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应。在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，电子设备执行本发明实施例中的任一步骤，可以是电子设备的处理器执行该步骤。还值得注意的是，本发明实施例并不限定电子设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。
应当理解，此处所述描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种信息确定方法，应用于电子设备，如图1所示，该方法包括以下步骤：
步骤101、获取待处理信息对应的历史策略和每一历史策略的执行效率。
在本发明实施例中，电子设备可以为任一具有数据处理能力的设备，例如服务器、数字TV或者台式计算机等。在一种可行的实现方式中，电子设备可以为移动终端或手持移动终端，移动终端或手持移动终端可以包括手机、笔记本电脑、平板电脑、掌上电脑、POS机、个人数字助理、便携式媒体播放器、智能音箱、导航装置、可穿戴设备、智能手环、计步器、车载电脑等，在其他实施例中，电子设备可以为电脑，本发明对电子设备的类型不作限定。
待处理信息可以是事件类型信息、社交类型信息、算法类型信息或者综合类型信息；其中，待处理信息是指事先配置好的需要进行处理的信息，比如可以是：地图地址算法任务的信息、执行数据计算任务的信息。
待处理信息对应的历史策略可以是以前执行过该待处理信息所生成的历史信息，更可以是历史算法；其中，效率指的是在单位时间内完成的工作量，即历史策略对应的执行效率可以是通过使用该算法执行该待处理信息所使用的时间信息。
当待处理信息是执行数据计算任务的信息时，如是对大规模的数据进行数据计算时，可以是利用Spark生成DAG来执行相应的数据运算任务；其中，Spark是专为大规模数据处理而设计的快速通用的计算引擎，可完成各种各样的运算，包括结构化查询语言(Structured Query Language，SQL)、文本处理、机器学习等，且Spark可以支持交互式计算和复杂算法，能够提供80多种高级运算符，支持多种资源管理器；Spark使用DAG对弹性分布式数据集(Resilient Distributed Datasets，RDD)的关系进行建模，来描述RDD的依赖关系，其中，RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD，然后通过RDD以及其对应的转换和动作两种操作来执行相应的分布式计算，并且基于RDD之间的关系组成的相应的依赖关系以及相应的检查点等机制来保证整个分布式计算任务的容错性。
在本发明实施例中，在Spark中确定待处理信息对应的历史信息即历史策略和历史策略的执行效率，可以通过现有规整化比对机制以及规整化的任务来进行比对策略，确定待处理信息是否执行过，如果该信息执行过，则存在历史策略和历史策略对应的执行效率；其中，Spark可以将用户提交的任务即待处理信息转换成Spark内部可用来执行的任务代码，这类代码是否一致决定了用户提交的任务是否一致；例如，用户提交的是一条SQL任务，Spark需要知道在不同时间内提交的SQL是同一条SQL，不能通过对比SQL文本，而是需要对比最终生成的执行计划；其中规整化指的是需要将执行计划中的非关键代码或者属性去除，只保留核心逻辑进行比对即可。
Spark中DAG的生成策略取决于Spark中的两类参数，一类是Spark自身参数，例如可以是其数据广播阈值参数、Join模式设置参数、自适应模式设置参数；一类是Spark对于参与计算的数据的统计结果，即数据状态参数，主要指数据的元数据信息，包括数据的大小、表行数、数据存储格式等，且这两类参数都是动态的且随着时间来发生相应的变化，这些都会影响到计算过程中对Spark内存以及网络资源的占用，进而影响Spark中DAG生成策略。
其中，当待处理信息是利用Spark生成DAG来执行相应的数据运算任务时，由于Spark的上述两类参数即自身参数和数据状态参数随时发生着变化，因此，在不同时间段执行同一任务时所产生的策略即DAG和其相对应的执行效率如执行该DAG所占用的时间尽不相同；进而言之，对应的历史策略可以是以前利用Spark来执行相应的数据运算任务时生成的DAG；其中，历史策略的执行效率可以是执行该DAG的执行效率度量，可以是执行该DAG所使用的时间等，也可以是对相应的资源的占用率，如中央处理器(Central ProcessingUnit，CPU)、内存、带宽等的占用率。
步骤102、基于历史策略和每一历史策略的执行效率生成第一数据集。
在本发明实施例中，可以是将历史策略和每一历史策略的执行效率按照其对应的关系进行存储，生成第一数据集；其中，当本发明应用于Spark时，可以是多个历史DAG与执行多个历史DAG所使用的时间或者对CPU内存、带宽等的占用率，按照一定的预设规则进行组合形成第一数据集；其中，历史策略即历史DAG是以前执行过待处理信息所产生的DAG；换而言之，当Spark的执行环境发生变化，例如Spark自身参数或者Spark的数据状态发生变化，在不同时间段执行同样的数据计算任务时在具有不同参数的Spark中会相应的产生多个不同的DAG，而执行这多个DAG所使用的时间或者对CPU内存、带宽等的占用率也不尽相同，将这个多个不同的DAG与其相对应的执行时间进行组合生成第一数据集。
第一数据集可以是按照表格形式进行存储，也可以是按照数据统计图的格式进行存储，其存储形式或者状态在本发明中不作任何限定；其中，第一数据集可以是按照所使用的时间长短依次进行排序并存储，也可以是按照DAG生成的时间进行排序并存储，更可以是按照对CPU内存、带宽等的占用率的大小来进行排序并存储。
步骤103、获取当前执行待处理信息时，待处理信息对应的第一参数。
在本发明实施例中，当前执行该待处理信息时所对应的第一参数，即当前使用Spark执行相应的数据计算任务时，获取当前Spark对应的Spark自身参数或者Spark的数据状态参数；其中，第一参数可以是Spark自身参数或者Spark的数据状态参数之一，也可以是Spark自身参数和Spark的数据状态参数的两者组合。
电子设备可以利用Spark当前第一参数即当前的自身参数或者当前的数据状态参数对RDD进行建模，生成相对应的当前DAG，从而计算出执行当前DAG使用的时间或者对CPU、内存、带宽的占用率。
步骤104、基于第一数据集和第一参数，确定用于执行待处理信息的目标策略。
在本发明实施例中，电子设备可以根据第一数据集和第一参数，即历史信息和当前信息，来选择一个最优的执行策略；应用于Spark中，也就是根据历史多次执行过同一数据计算任务所生成的历史DAG及执行该多个历史DAG所使用的时间或者对CPU、内存、带宽的占用率、再加上当前Spark的自身参数或者数据状态参数来选择一个执行该数据计算任务所使用时间最短或者对CPU、内存、带宽的占用率最少的DAG；进一步地，根据当前的Spark自身参数或者数据状态参数也可以生成一个当前DAG，以及获取执行该当前DAG所占用的时间或者对CPU、内存、带宽的占用率，然后根据历史DAG和执行该历史DAG所使用的时间或者对CPU、内存、带宽的占用率、当前DAG和执行该当前DAG所使用的时间或者对CPU、内存、带宽的占用率，根据一定的预设规则来选择一个最优的DAG；其中可以根据时间来选择，也可以是根据时间和/或DAG的优先级来进行选择，更可以根据对CPU、内存、带宽的占用率来进行选择；其中，历史DAG可以是一个、两个甚至多个，因此执行该历史DAG所占用的时间信息或者对CPU、内存、带宽的占用率信息相对应的可以是一个、两个甚至多个。
本发明实施例所提供的信息确定方法，获取待处理信息对应的历史策略和每一历史策略的执行效率；基于历史策略和每一历史策略的执行效率生成第一数据集；获取当前执行待处理信息时，待处理信息对应的第一参数；基于第一数据集和第一参数，确定用于执行待处理信息的目标策略。如此，通过从待处理信息的历史策略和当前对应的第一参数，选择一个最优的执行策略来执行当前待处理信息，而不是如相对技术中每次只是根据当前的参数生成一种策略来执行当前待处理信息，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
基于前述实施例，本发明实施例提供一种信息确定方法，如图2所示，该方法包括以下步骤：
步骤201、电子设备获取待处理信息对应的历史策略和每一历史策略的执行效率。
步骤202、电子设备基于每一历史策略的执行效率，设置历史策略的排列顺序。
在本发明实施例中，电子设备可以是根据执行Spark中生成的DAG执行所占用的时间来进行排序，也可以根据执行该DAG所占用相应的CPU、内存、带宽的占用率来进行排序，更可以根据执行DAG所占用的时间和执行该DAG所占用相应的CPU、内存、带宽的占用率两个参数通过一定算法进行融合后来进行排序，在本发明实施例中对此不作任何限定；排序可以是表格形式，也可以是数据统计图形式。
步骤203、电子设备按照排列顺序，基于历史策略和每一历史策略的执行效率，生成第一数据集。
在本发明实施例中，电子设备按照执行多个历史DAG所占用的时间或者占用的CPU、内存、带宽的占用率来进行排序，将多个历史DAG与其对应的时间或者CPU、内存、带宽的占用率进行组合，生成第一数据集；第一数据集中，多个历史DAG与执行多个历史DAG所占用时间或对CPU、内存、带宽的占用率具有一定的映射关系，在本发明实施例中对此不作任何限定；如果用户需要查询某一历史DAG的相应信息，可以直接点击该历史DAG，通过一定的映射关系便可直接查看到该历史DAG对应的占用时间或对CPU、内存、带宽的占用率，用户也可以点击某一时间信息或者对CPU、内存、带宽的占用率的信息相应的查询到其相对应的DAG。
步骤204、电子设备获取当前执行待处理信息时，待处理信息对应的第一参数。
步骤205、电子设备基于第一数据集和第一参数，确定用于执行待处理信息的目标策略。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本发明实施例所提供的信息确定方法，通过从待处理信息的历史策略和当前对应的第一参数，选择一个最优的执行策略来执行当前待处理信息，而不是如相对技术中每次只是根据当前的参数生成一种策略来执行当前待处理信息，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
基于前述实施例，本发明实施例提供一种信息确定方法，如图3所示，该方法包括以下步骤：
步骤301、电子设备获取待处理信息对应的历史策略和每一历史策略的执行效率。
步骤302、电子设备基于每一历史策略的执行效率，设置历史策略的排列顺序。
步骤303、电子设备按照排列顺序，基于历史策略和每一历史策略的执行效率，生成第一数据集。
步骤304、电子设备获取当前执行待处理信息时，待处理信息对应的第一参数。
步骤305、电子设备确定历史策略的优先级。
在本发明实施例中，应用于Spark中时，电子设备对执行某数据计算任务时所生成的DAG设置优先级，可以是根据该DAG的自身属性参数来确定其优先级，也可以是电子设备依据用户设置的相应规则或者策略来来确定该DAG的优先级，本发明实施例中对此不作任何限定；其中，设置多个DAG的优先级的基础是这多个DAG是Spark在不同时间里执行相同的数据计算时所产生的。
步骤306、电子设备获取与第一数据集对应的第二参数。
在本发明实施例中，电子设备获取的第二参数是与第一数据集对应的，该第二参数与第一数据集具有一定的映射关系；应用于Spark中，电子设备可以根据多个历史DAG与其对应的占用时间或者对CPU、内存、带宽的占用率所所生成的第一数据集，来获取其对应的多个历史参数，可以是Spark产生多个历史DAG时所对应的多个历史的自身参数或者数据状态参数，即第二参数可以是多个不同时间Spark对应的自身参数或者数据状态参数；其中，第二参数可以是Spark在不同时间段里执行同一数据计算任务时所对应的多个不同的自身参数或数据状态参数；第二参数可以是在不同时间段里执行同一数据计算任务时Spark自身参数或者Spark的数据状态参数之一，也可以是在不同时间段里执行同一数据计算任务时Spark自身参数和Spark的数据状态参数的两者组合。
步骤307、电子设备按照历史策略的优先级，基于第一数据集、第二参数和第一参数确定目标策略。
在一种实施方式中，步骤307可以通过以下步骤A的方式来实现：
步骤A、若第二参数中存在与第一参数匹配的参数，电子设备按照历史策略的优先级，从第一数据集中确定目标策略。
在本发明实施例中，电子设备将第一参数与第二参数中任一参数进行匹配，在Spark中，可以是当前的Spark自身参数或数据状态参数与历史的Spark自身参数或数据状态参数进行匹配，前提是Spark执行同一数据计算任务时所对应的参数信息即历史信息和当前信息进行对比，其中，历史的Spark自身参数或数据状态参数具有多组参数；若匹配成功，即历史的Spark自身参数或数据状态参数中存在于当前的Spark自身参数或数据状态参数一样的参数，进而言之，执行同一数据计算任务时根据当前的Spark自身参数或数据状态参数生成的DAG与根据历史的Spark自身参数或数据状态参数生成的多个DAG中的某一相同，即执行该DAG所使用的时间或者对CPU、内存、带宽的占用率也一样。
因此，电子设备直接按照历史策略的优先级，直接从历史的DAG以及其对应的使用的时间或者对CPU、内存、带宽的占用率所生成的第一数据集中选择一个最优的执行策略即DAG来执行待处理信息，也就是选择一个执行DAG所使用的时间最短或者执行DAG对CPU、内存、带宽的占用率最少的一个或者多个DAG作为最终的目标DAG。
在另一种实施方式中，步骤307还可以通过以下步骤B1至B2的方式实现：
步骤B1、若第二参数中不存在与第一参数匹配的参数，电子设备基于第二参数确定基础策略；
在本发明实施例中，电子设备将第一参数与第二参数中任一参数进行匹配，在Spark中，可以是当前的Spark自身参数或数据状态参数与历史的Spark自身参数或数据状态参数进行匹配，其中，历史的Spark自身参数或数据状态参数具有多组参数；若匹配不成功，即历史的Spark自身参数或数据状态参数中不存在于当前的Spark自身参数或数据状态参数一样的参数，电子设备将根据当前的Spark自身参数或数据状态参数执行同一数据计算任务来确定基础策略即生成一个当前的即新的DAG。
步骤B2、电子设备按照历史策略的优先级，基于第一数据集和基础策略确定目标策略。
在本发明实施例中，电子设备按照策略的优先级，即DAG的优先级，通过第一数据集即多个历史DAG和执行该多个历史DAG所使用的时间或者对CPU、内存、带宽的占用率，以及根据当前Spark自身参数或数据状态参数执行同一数据计算任务时确定基础策略即生成的当前的DAG，其中，执行当前DAG所占用的时间或者对CPU、内存、带宽的占用率可以通过执行该DAG来获得，然后根据上面几个参数来选择一个最优的DAG即目标策略
在一种实施方式中，步骤B2可以通过以下步骤b1至b3的方式实现：
步骤b1、电子设备基于基础策略和历史策略，生成当前策略。
在本发明实施例中，在Spark中，电子设备可以将在Spark中不同时间段里执行同一数据计算任务时所生成的DAG进行组合，即其包括有历史DAG和当前DAG进行组合生成当前策略，即当前策略中包括有执行同一数据计算任务时根据历史的Spark自身参数或数据状态参数生成的历史DAG、以及根据当前的Spark自身参数或数据状态参数生成的当前DAG。
步骤b2、电子设备设置当前策略的优先级。
在本发明实施例中，电子设备设置当前策略的优先级，即设置包括有历史DAG和当前DAG两者组合所形成的现有DAG的优先级，可以根据DAG的自身属性参数来确定该现有DAG优先级，也可以是电子设备依据用户设置的相应规则或者策略来来确定该现有DAG的优先级，本发明对此不作任何限定。
步骤b3、电子设备按照当前策略的优先级，从第一数据集和基础策略中确定目标策略。
在本发明实施例中，电子设备按照当前策略的优先级，从第一数据集和基础策略中选择一个最优策略，即从历史参数信息和当前参数信息中选择一个用时最短或者对CPU、内存、带宽的占用率最少的一个DAG。
基于前述实施例，在本发明的其他实施例中，步骤b3之后还可以执行以下步骤b4-b6：
步骤b4、电子设备获取基础策略的执行效率。
在本发明实施例中，电子设备可以通过执行当前DAG来获取的其相应的执行效率，即执行该DAG所占用的时间信息或者执行该DAG对CPU、内存、带宽的占用率信息。
步骤b5、电子设备基于基础策略的执行效率和每一历史策略的执行效率，设置当前策略的排列顺序。
在本发明实施例中，电子设备将多个参数信息进行组合并排序，通过以下参数执行当前DAG和多个历史DAG相对应所占用的时间或者执行当前DAG和多个历史DAG相对应的对CPU、内存、带宽的占用率，设置当前策略即多个历史DAG和当前DAG的排列顺序；其可以按照所占用时间信息的多少或者对CPU、内存、带宽的占用率的多少来进行排序。
步骤b6、电子设备按照当前策略的排列顺序，基于第一数据集、基础策略和基础策略的执行效率，生成第二数据集。
在本发明实施例中，电子设备按照当前的排列顺序，通过第一数据集和当前DAG以及执行当前DAG所占用的时间或者对执行当前DAG对CPU、内存、带宽的占用率，来生成一个新的数据即第二数据集；其中，第二数据集可以按照排列顺序来进行存储，也可以按照生成的DAG的时间顺序来进行排序并存储；其中，第二数据集要比第一数据集多的参数是当期DAG以及执行当前DAG所占用的时间或者对执行该DAG对CPU、内存、带宽的占用率。
如图4所示，给出了利用Spark执行某一数据计算任务时的流程示意图，首先第一步提交Spark任务即提交待处理信息；第二步根据当前Spark的环境参数生成相对应的DAG，即生成DAG；第三步确定是否执行过该DAG，即确定当前DAG是否与历史DAG相同；若与历史DAG中的任一DAG不同，则执行生成DAG，然后获取执行该DAG相对应的执行度量结果；若相同，则从历史中选择一个最优的DAG，应用到本发明即选择一个使用时间最短或者对CPU、内存、带宽的占用率最少的DAG；从历史中选择一个最优DAG直接获取执行度量结果；最终结合两种情况来更新执行某一数据计算任务时所生成的多个DAG及其相对应的执行度量历史列表即更新DAG及执行度量历史列表。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本发明实施例所提供的信息确定方法，通过从待处理信息的历史策略和当前对应的第一参数，选择一个最优的执行策略来执行当前待处理信息，而不是如相对技术中每次只是根据当前的参数生成一种策略来执行当前待处理信息，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
基于前述实施例，本发明的实施例提供一种电子设备5，该电子设备5可以应用于图1-3对应的实施例提供的信息确定方法中，参照图5所示，该电子设备5可以包括：处理器51、存储器52和通信总线53，其中：
通信总线53用于实现处理器51和存储器52之间的通信连接。
处理器51用于执行存储器52中存储的信息处理方法的程序，以实现以下步骤：
获取待处理信息对应的历史策略和每一历史策略的执行效率；
基于历史策略和每一历史策略的执行效率生成第一数据集；
获取当前执行待处理信息时，待处理信息对应的第一参数；
基于第一数据集和第一参数，确定用于执行待处理信息的目标策略。
在本发明的其他实施例中，处理器51用于执行存储器52中存储的基于历史策略和每一历史策略的执行效率生成第一数据集，以实现以下步骤：
基于每一历史策略的执行效率，设置历史策略的排列顺序；
按照排列顺序，基于历史策略和每一历史策略的执行效率，生成第一数据集。
在本发明的其他实施例中，处理器51用于执行存储器52中存储的基于第一数据集和第一参数，确定用于执行待处理信息的目标策略，以实现以下步骤：
确定历史策略的优先级；
获取与第一数据集对应的第二参数；
按照历史策略的优先级，基于第一数据集、第二参数和第一参数确定目标策略。
在本发明的其他实施例中，处理器51用于执行存储器52中存储的按照历史策略的优先级，基于第一数据集、第二参数和第一参数确定目标策略，以实现以下步骤：
若第二参数中存在与第一参数匹配的参数，按照历史策略的优先级，从第一数据集中确定目标策略。
本发明的其他实施例中，处理器51用于执行存储器52中存储的信息确定方法，以实现以下步骤：
若第二参数中不存在与第一参数匹配的参数，基于第二参数确定基础策略；
按照历史策略的优先级，基于第一数据集和基础策略确定目标策略。
在本发明的其他实施例中，处理器51用于执行存储器52中存储的按照历史策略的优先级，基于第一数据集和基础策略确定目标策略，以实现以下步骤：
基于基础策略和历史策略，生成当前策略；
设置当前策略的优先级；
按照当前策略的优先级，从第一数据集和基础策略中确定目标策略。
在本发明的其他实施例中，处理器51用于执行存储器52中存储的按照当前策略的优先级，从第一数据集和基础策略中确定目标策略之后，以实现以下步骤：
获取基础策略的执行效率；
基于基础策略的执行效率和每一历史策略的执行效率，设置当前策略的排列顺序；
按照当前策略的排列顺序，基于第一数据集、基础策略和基础策略的执行效率，生成第二数据集。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1-图3对应的实施例提供的信息确定方法中的实现过程，此处不再赘述。
本发明实施例所提供的电子设备，通过从待处理信息的历史策略和当前对应的第一参数，选择一个最优的执行策略来执行当前待处理信息，而不是如相对技术中每次只是根据当前的参数生成一种策略来执行当前待处理信息，从而使得当前Spark生成的DAG来执行数据计算时的计算效率是最优的，提高了利用Spark进行数据计算时整体的执行性能。
基于前述实施例，本发明的实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1-3对应的实施例提供的信息确定方法的步骤。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种信息确定方法，所述方法包括：
获取待处理信息对应的历史策略和每一所述历史策略的执行效率；
基于所述历史策略和每一所述历史策略的执行效率生成第一数据集；
获取当前执行所述待处理信息时，所述待处理信息对应的第一参数；
基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略。
2.根据权利要求1所述的方法，其特征在于，所述基于所述历史策略和每一所述历史策略的执行效率生成第一数据集，包括：
基于每一所述历史策略的执行效率，设置所述历史策略的排列顺序；
按照所述排列顺序，基于所述历史策略和每一所述历史策略的执行效率，生成所述第一数据集。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略，包括：
确定所述历史策略的优先级；
获取与所述第一数据集对应的第二参数；
按照所述历史策略的优先级，基于所述第一数据集、所述第二参数和所述第一参数确定所述目标策略。
4.根据权利要求3所述的方法，其特征在于，所述按照所述历史策略的优先级，基于所述第一数据集、所述第二参数和所述第一参数确定所述目标策略，包括：
若所述第二参数中存在与所述第一参数匹配的参数，按照所述历史策略的优先级，从所述第一数据集中确定所述目标策略。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述第二参数中不存在与所述第一参数匹配的参数，基于所述第二参数确定基础策略；
按照所述历史策略的优先级，基于所述第一数据集和所述基础策略确定所述目标策略。
6.根据权利要求5所述的方法，其特征在于，所述按照所述历史策略的优先级，基于所述第一数据集和所述基础策略确定所述目标策略，包括：
基于所述基础策略和所述历史策略，生成当前策略；
设置所述当前策略的优先级；
按照所述当前策略的优先级，从所述第一数据集和所述基础策略中确定所述目标策略。
7.根据权利要求6所述，其特征在于，所述按照所述当前策略的优先级，从所述第一数据集和所述基础策略中确定所述目标策略之后，所述方法还包括：
获取所述基础策略的执行效率；
基于所述基础策略的执行效率和每一所述历史策略的执行效率，设置所述当前策略的排列顺序；
按照所述当前策略的排列顺序，基于所述第一数据集、所述基础策略和所述基础策略的执行效率，生成第二数据集。
8.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行存储器中的信息确定方法的程序，以实现以下步骤：
获取待处理信息对应的历史策略和每一所述历史策略的执行效率；
基于所述历史策略和每一所述历史策略的执行效率生成第一数据集；
获取当前执行所述待处理信息时，所述待处理信息对应的第一参数；
基于所述第一数据集和所述第一参数，确定用于执行所述待处理信息的目标策略。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器执行基于所述历史策略和每一所述历史策略的执行效率生成第一数据集的步骤时，还可以实现以下步骤：
基于每一所述历史策略的执行效率，设置所述历史策略的排列顺序；
按照所述排列顺序，基于所述历史策略和每一所述历史策略的执行效率，生成所述第一数据集。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的信息确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910708993.0A CN110609850A (zh) | 2019-08-01 | 2019-08-01 | 一种信息确定方法、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910708993.0A CN110609850A (zh) | 2019-08-01 | 2019-08-01 | 一种信息确定方法、电子设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110609850A true CN110609850A (zh) | 2019-12-24 |
Family
ID=68889929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910708993.0A Pending CN110609850A (zh) | 2019-08-01 | 2019-08-01 | 一种信息确定方法、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110609850A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422508A (zh) * | 2022-02-25 | 2022-04-29 | 烽火通信科技股份有限公司 | 一种网络设备性能采集的方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605662A (zh) * | 2013-10-21 | 2014-02-26 | 华为技术有限公司 | 一种分布式计算框架参数优化方法、装置及系统 |
| WO2016069013A1 (en) * | 2014-10-31 | 2016-05-06 | Hewlett Packard Enterprise Development Lp | Projections determination for column-based databases |
| CN108491255A (zh) * | 2018-02-08 | 2018-09-04 | 昆仑智汇数据科技(北京)有限公司 | 自助式MapReduce数据优化分配方法及系统 |
| CN108846636A (zh) * | 2018-06-01 | 2018-11-20 | 北京字节跳动网络技术有限公司 | 数据调度方法、装置、计算机可读存储介质 |
| US20190102838A1 (en) * | 2017-10-02 | 2019-04-04 | Imperative Execution Inc | Systems and methods for optimizing trade execution |
| CN109974237A (zh) * | 2019-04-01 | 2019-07-05 | 珠海格力电器股份有限公司 | 空调器、空调器运行策略的调整方法及装置 |
-
2019
- 2019-08-01 CN CN201910708993.0A patent/CN110609850A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605662A (zh) * | 2013-10-21 | 2014-02-26 | 华为技术有限公司 | 一种分布式计算框架参数优化方法、装置及系统 |
| WO2016069013A1 (en) * | 2014-10-31 | 2016-05-06 | Hewlett Packard Enterprise Development Lp | Projections determination for column-based databases |
| US20190102838A1 (en) * | 2017-10-02 | 2019-04-04 | Imperative Execution Inc | Systems and methods for optimizing trade execution |
| CN108491255A (zh) * | 2018-02-08 | 2018-09-04 | 昆仑智汇数据科技(北京)有限公司 | 自助式MapReduce数据优化分配方法及系统 |
| CN108846636A (zh) * | 2018-06-01 | 2018-11-20 | 北京字节跳动网络技术有限公司 | 数据调度方法、装置、计算机可读存储介质 |
| CN109974237A (zh) * | 2019-04-01 | 2019-07-05 | 珠海格力电器股份有限公司 | 空调器、空调器运行策略的调整方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422508A (zh) * | 2022-02-25 | 2022-04-29 | 烽火通信科技股份有限公司 | 一种网络设备性能采集的方法和系统 |
| CN114422508B (zh) * | 2022-02-25 | 2023-06-09 | 烽火通信科技股份有限公司 | 一种网络设备性能采集的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112868004B (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
| WO2016110234A1 (zh) | 面向云平台应用的服务推荐方法、设备及系统 | |
| CN108292383B (zh) | 与通信相关联的任务的自动提取 | |
| US11442748B2 (en) | Application display and discovery by predicting behavior through machine-learning | |
| Doğan et al. | Genetic algorithm based scheduling of meta-tasks with stochastic execution times in heterogeneous computing systemst1 | |
| CN108345419B (zh) | 一种信息推荐列表的生成方法及装置 | |
| CN110851987A (zh) | 基于加速比预测计算时长的方法、装置和存储介质 | |
| US20210357553A1 (en) | Apparatus and method for option data object performance prediction and modeling | |
| CN117271101B (zh) | 一种算子融合方法、装置、电子设备及存储介质 | |
| CN110609850A (zh) | 一种信息确定方法、电子设备及计算机存储介质 | |
| CN116346863B (zh) | 基于联邦学习的车载网数据处理方法、装置、设备及介质 | |
| CN111008873B (zh) | 一种用户确定方法、装置、电子设备及存储介质 | |
| CN111324344A (zh) | 代码语句的生成方法、装置、设备及可读存储介质 | |
| US20160350763A1 (en) | Context-Aware Display Of Objects In Mixed Environments | |
| CN112860869B (zh) | 基于分层强化学习网络的对话方法、装置及存储介质 | |
| CN107222383B (zh) | 一种对话管理方法和系统 | |
| WO2021036190A1 (zh) | 节点布局确定方法以及装置 | |
| CN114266324A (zh) | 模型可视化建模方法、装置、计算机设备及存储介质 | |
| CN111897832A (zh) | 模型部署方法、设备及可读存储介质 | |
| CN105468603A (zh) | 数据选择方法及装置 | |
| CN109815123A (zh) | 接口测试用例脚本分类方法、装置、电子设备及介质 | |
| CN115129978B (zh) | 偏好查询方法、用户终端、服务器及存储介质 | |
| CN116611506B (zh) | 用户分析模型训练方法、用户标签确定方法和装置 | |
| CN116561735B (zh) | 一种基于多认证源的互信认证方法、系统及电子设备 | |
| CN115659443B (zh) | 几何形状流数据处理方法和装置、计算设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191224 |