CN112801406A - 数据处理方法及装置、计算设备 - Google Patents

数据处理方法及装置、计算设备 Download PDF

Info

Publication number
CN112801406A
CN112801406A CN202110199833.5A CN202110199833A CN112801406A CN 112801406 A CN112801406 A CN 112801406A CN 202110199833 A CN202110199833 A CN 202110199833A CN 112801406 A CN112801406 A CN 112801406A
Authority
CN
China
Prior art keywords
candidate solution
parameter
solution
target
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110199833.5A
Other languages
English (en)
Inventor
王孟昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110199833.5A priority Critical patent/CN112801406A/zh
Publication of CN112801406A publication Critical patent/CN112801406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06Asset management; Financial planning or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Technology Law (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种数据处理方法及装置、计算设备,该方法包括:确定待优化参数对应的第一候选解;根据第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。本申请实施例提高了待优化参数的优化效率。

Description

数据处理方法及装置、计算设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种数据处理方法及装置、计算设备。
背景技术
黑盒算法是一种只能观测到输入与输出,其内部计算结构或者计算过程较为复杂,难以解析的函数或者计算系统。在黑盒优化过程中,首先使用黑盒算法生成待优化参数的候选解,之后,通过目标函数对候选解进行参数试验,获得候选解的评价指数,以判断该候选解是否为符合预定参数使用条件的目标解。
现有技术中,黑盒优化过程中,为了获得提高目标解的获取效率,可以采用约束条件对候选解是否参与后续的参数试验进行判断,约束条件可以为一个或多个不等式,通过约束条件对候选解是否参与后续的参数试验进行判断具体是判断候选解是否可以满足约束条件对应的一个或多个不等式。当候选解不符合约束条件时,可以重新使用黑盒算法生成待优化参数的候选解,直到获得满足约束条件的候选解,参与目标函数的参数试验,以使得不满足约束条件的候选解进行无效的参数试验。当候选解符合约束条件时,可以通过目标函数对候选解进行参数试验。
但是,黑盒算法生成待优化参数的候选解时,是在待优化参数的定义域的基础上随机生成的,满足约束条件的概率较低,导致目标解的获取效率较低。
发明内容
有鉴于此,本申请实施例提供一种数据处理方法及装置、计算设备,用以解决现有技术中参数随机生成导致目标解获取效率较低的技术问题。
第一方面,本申请实施例提供一种数据处理方法,包括:
确定待优化参数对应的第一候选解;
根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
第二方面,本申请实施例提供一种数据处理方法,包括:
响应于调用数据处理接口的请求,确定所述数据处理接口对应的处理资源;
利用所述数据处理接口对应的处理资源执行如下步骤:
确定待优化参数对应的第一候选解;
根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
第三方面,本申请实施例提供一种数据处理装置,包括:
候选确定模块,用于确定待优化参数对应的第一候选解;
提示生成模块,用于根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
参数评价模块,用于如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
第四方面,本申请实施例提供一种计算设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述处理组件用于:
确定待优化参数对应的第一候选解;根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
本申请实施例,确定待优化参数对应的第一候选解时,可以根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。第二候选解是在第一候选解的基础上生成,参考了原有候选解与约束条件的差异,可以使得第二候选解向目标解接近。从而在第二候选解满足预设参数使用条件时,则确定第二候选解为目标解。在采样过程中,通过参考第一候选解与约束条件的差异,可以提高目标解的获取效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的一个实施例的流程图;
图2为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图3为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图4为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图5为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图6为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图7为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图8为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图9为本申请实施例提供的一种数据处理方法的又一个实施例的流程图;
图10为本申请实施例提供的一种数据处理方法的应用示例图;
图11为本申请实施例提供的一种数据处理装置的一个实施例的结构示意图;
图12为本申请实施例提供的一种计算设备的一个实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地,取决于语境,短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
本申请实施例的技术方案可以应用于参数优化场景中,在参数优化过程中,通过将前一次获得的候选解与约束条件的差异增加后续候选解的准确性,提高参数优化效率。
现有技术中,参数优化过程中,为了提高目标解的获取效率,可以采用约束条件对候选解是否参与后续参数使用进行判断,约束条件可以为一个或多个不等式或者公式,通过约束条件对候选解是否参与后续的参数试验进行判断具体是判断候选解是否满足约束条件的一个或多个不等式,如果不满足,则停止该候选解的参数试验,如果满足则继续候选解的参数试验。对候选解进行参数试验之后,获得候选解的评价指数,对评价指数是否符合预定的参数使用条件进行判断,通过不断对候选解进行更新以获得符合预定参数使用条件的目标解。
本申请实施例中,确定待优化参数的第一候选解时,可以根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解,如果第二候选解满足预设参数使用条件,则可以确定该第二候选解为目标解。在对待优化参数进行参数采样的过程中,采用第二候选解是在采样提示信息的基础上生成,参考了原有候选解与约束条件的差异,可以使得第二候选解相较于第一候选解的使用效果更好。提高提高目标解的获取效率。
下面将结合附图对本申请实施例进行详细描述。
如图1所示,为本申请实施例提供的一种图像处理方法的一个实施例的流程图,该方法可以包括以下几个步骤:
101:确定待优化参数的第一候选解。
本申请实施例提供的数据处理方法可以应用于计算设备中,该计算设备例如可以包括:计算机、服务器、云端服务器、超级个人计算机、笔记本电脑、平板电脑等,本申请实施例对计算设备的具体类型并不作出过多限定。
可选地,待优化参数可以为模型计算、数据处理过程中产生的需要获得取值选择的参数。模型可以为机器学习模型、三维数据模型、神经网络模型等。数据处理具体可以为社交网络平台的数据处理、电子商务平台的数据处理、联网电子产品或者终端产生的数据的处理,音视频数据的处理、各种传输信号的处理等,本申请实施例中对模型以及数据的具体类型并不作出过多限定。
可选地,在模型计算或者数据处理过程中,待优化参数的参数类型可以为直接设置的普通参数,也可以是对模型或者数据系统的构建产生作用的超参数。例如,机器学习模型中的深层网络层数、模型的学习率等可以为超参数。待优化参数可以包括多个子参数,每个子参数的取值确定时,获得一个候选解。
102:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
约束条件可以包括约束规则。约束条件可以对第一候选解进行约束限制。第一候选解与约束条件的差异具体可以通过对多个子参数分别对应的参数值与分别对应的子约束规则进行比较获得,具体可以包括第一候选解在约束规则对应的幅度差异数据。以子参数a为例,假设在约束条件中,子参数a的约束条件可以为a>3,而在第一候选解中,a=1.8,此时,第一候选解的子参数a与约束条件的幅度差异数据可以为1.8-3=-1.2。
第一候选解包括多个子参数,约束条件可以包括多个子参数分别对应的子约束规则,或者多个子参数中任意两个以上的子参数同时对应的子约束规则。第一候选解与约束条件的差异,可以确定第一候选解在多个子参数分别对应的参数值,在任一个子约束规则产生的幅度差异数据,以获得第一候选解的多个子参数的取值分别在对应的子约束规则产生的幅度差异数据。
103:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
本申请实施例,确定待优化参数对应的第一候选解时,可以根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。第二候选解是在第一候选解的基础上生成,参考了原有候选解与约束条件的差异,可以使得第二候选解向目标解接近。从而在第二候选解满足预设参数使用条件时,确定第二候选解为目标解。在采样过程中,通过参考第一候选解与约束条件的差异,可以提高目标解的获取效率。
作为一个实施例,如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解可以包括:
基于基于预设目标函数,对第二候选解的使用效果进行评价处理,获得第二候选解的第二评价指数;若第二评价指数满足预设参数使用条件,则确定第二候选解为目标解。
如图2所示,为本申请实施例提供的一种图像处理方法的一个实施例的流程图,该方法可以包括以下几个步骤:
201:确定待优化参数的第一候选解。
需要说明的是,本申请实施例中部分步骤与图1所示实施例中部分步骤相同,在此不再赘述。
202:根据第一候选解与约束条件的差异,生成采样提示信息。
根据第一候选解与约束条件的差异,生成采样提示信息可以包括根据第一候选解在约束规则产生的幅度差异数据,生成采样提示信息。
可选地,采样提示信息可以用于提示待优化参数的采样趋势,采样提示信息可以包括采样方向数据以及采样步长数据。通过采样方向数据可以对采样的具体采样方向进行提示,通过采样步长数据可以对采样的间隔进行提示,按照采样提示信息采样获得的第二候选参数更准确。
203:根据采样提示信息,对待优化参数进行采样,获得第二候选解。
第二候选解可以是在第一候选解的基础上,按照采样提示信息采样获得。
采样提示信息包括采样方向数据以及采样步长数据。根据采样提示信息对待优化参数进行采样,获得第二候选解具体可以包括:根据采样方向数据以及采样步长数据,对第一候选解进行采样,获得第二候选解。
204:基于预设目标函数,对第二候选解的使用效果进行评价处理,获得第二候选解的第二评价指数。
目标函数可以为预先设置的,用于对候选解进行参数试验,以获得候选解的评价指数的黑盒函数。目标函数的数学表达形式位置,具有较高的复杂性。将第二候选解输入到目标函数可以计算获得第二候选解的评价指数。评价指数越高,第二候选解的使用效果更高,评价指数越低,第二候选解的使用效果更低。通过对第二候选解的使用效果进行评价可以对此次采样的效果及时进行处理,以获得第二候选解的第二评价指数。
205:若第二评价指数满足预设参数使用条件,则确定第二候选解为目标解。
第二候选解的第二评价指数满足预设参数使用条件时,可以确定第二候选解为目标解。通过第二评价指数可以准确确定第二候选解的使用效果,若通过第二评价指数衡量第二候选解满足参数使用条件,可以获得目标解。
可选地,第二评价指数满足预设参数使用条件具体可以包括:获取第一候选解的第一评价指数,计算第二候选解的第二评级指数与第一评价指数的指数差值,指数差值为正且小于预设的差异阈值。当指数差值为正且小于预设的差异阈值,则可以确定当前采样效果已经不能产生评价指数更高的候选解,此时可以确定第二候选解的第二评价指数满足预设参数使用条件。
本申请实施例,确定待优化参数对应的第一候选解时,可以根据第一候选解与约束条件的差异,生成采样提示信息。通过第一候选解对采样提示信息进行生成,以根据采样提示信息,对待优化参数进行采样,获得第二候选解。第二候选解是在采样提示信息的基础上生成,参考了原有候选解与约束条件的差异,可以使得第二候选解向目标解接近。从而在基于目标函数,对第二候选解的使用效果进行评价处理处理,获得第二候选解的第二评价指数,通过第二评价指数判断第二候选解是否满足预设参数使用条件,如果是,则确定第二候选解为目标解。在采样过程中,通过参考第一候选解与约束条件的差异,可以提高目标解的获取效率。
为了使得候选解的时效性更高,在某些实施例中,第一候选解可以为第二候选解采样时前一次采样获得的候选解。
在一次新的采样过程中,可以获取该采样过程中前一次采样获得的候选解,作为第一候选解。相对于此次采样过程而言,第一候选解为前一次采样获得的候选解。第一候选解为已存在的候选解,第一候选解的采样过程与本申请实施例提供的技术方案相同,也即,待优化参数的采样是一个循环采样的过程。
第一候选解可以对应有第一评价指数。第一候选解的第一评价指数可以是将第一候选解输入到目标函数中计算获得。
如图3所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括以下几个步骤:
301:确定待优化参数对应的第一候选解。
本申请实施例中部分步骤与图1所示实施例部分步骤相同,为了描述的简洁性考虑,在此不再赘述。
302:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
303:判断第二候选解是否满足预设参数使用条件,如果是,则执行步骤304,如果否,则执行步骤305。
304:确定第二候选解为目标解。
305:确定第二候选解为第一候选解,返回至步骤301继续执行。
确定第二候选解为第一候选解即是将第二候选解作为第一候选解,重新开始参数采样。
本申请实施例中,确定待优化参数的第一候选解时,可以根据第一候选解与约束条件的差异,生成采样提示信息。采样提示信息通过第一候选解与约束条件的差异生成,在根据采样提示信息,对待优化参数进行采样,获得第二候选解,可以降低第二候选解与约束条件的差异。从而对第二候选解判断是否满足预设参数使用条件,如果是,则确定第二候选解为目标解,如果否,则确定第二候选解为第一候选解,并返回至确定待优化参数的第一候选解的步骤继续执行。在判断第二候选解不满足预设参数使用条件时,确定第二候选解为第一候选解,启动新一次的参数采样。通过不断对参数采样,以及对采样获得的第二候选解进行使用效果评价,以获得满足参数使用条件的目标解。通过不断迭代采样,以获得满足预设参数使用条件的目标解。
作为一个实施例,在确定待优化参数对应的第一候选解之前,该方法还可以包括:
检测目标用户发起的参数优化请求。
可选地,确定待优化参数的第一候选解可以包括:
响应于参数优化请求,确定待优化参数对应的第一候选解。
可选地,参数优化请求可以由目标用户发起。本申请提供的数据处理方案可以向目标用户展示,使得用户使用本申请实施例提供的数据处理方案,实现目标解的获取。参数优化请求可以由目标用户的用户端发送至配置有图1所示的计算设备。
在某些实施例中,若第二候选解满足预设参数使用条件,则确定第二候选解为目标解之后,该方法还可以包括:
为目标用户输出目标解,以供目标用户使用目标解设置待优化参数。目标解可以向目标用户输出。若目标用户的用户端与计算设备相同,为目标用户输出目标解可以包括在显示界面中为目标用户展示目标解。若目标用户的用户端与计算设备不同,为目标用户输出目标解可以包括:将目标解发送至目标用户的用户端,以供该用户端为目标用户输出目标解。
在某些实施例中,方法还包括:
若第二候选解不满足参数使用条件,则更新第二候选解为第一候选解,返回至响应参数优化请求,确定待优化参数对应的第一候选解的步骤继续执行。
当第二候选解不满足参数使用条件时,可以更新第二候选解为第一候选解,进入新的采样阶段。
如图4所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
401:检测目标用户发起的参数优化请求。
402:响应参数优化请求,确定待优化参数对应的第一候选解。
403:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
404:如果第二候选解满足预设参数使用条件,如果是,则执行步骤405,如果否,则执行步骤407。
405:确定第二候选解为目标解。
406:为目标用户输出目标解,以供目标用户使用目标解设置待优化参数。
407:更新第二候选解为第一候选解,返回至步骤402继续执行。
本申请实施例中,确定待优化参数的第一候选解时,可以根据第一候选解与约束条件的差异,生成采样提示信息。采样提示信息通过第一候选解与约束条件的差异生成,在根据采样提示信息,对待优化参数进行采样,获得第二候选解,可以降低第二候选解与约束条件的差异。从而判断第二候选解是否满足预设参数使用条件,如果是,则确定第二候选解为目标解,如果否,则确定第二候选解为第一候选解,并返回至确定待优化参数的第一候选解的步骤继续执行。在判断第二候选解不满足预设参数使用条件时,确定第二候选解为第一候选解,启动新一次的参数采样。通过不断对参数采样,以及对采样获得的第二候选解进行使用效果评价,以获得满足参数使用条件的目标解。当第二候选解不满足参数使用条件时,可以更新第二候选解为第一候选解,进入新的采样阶段,当第二候选解满足预设参数使用条件可以确定该第二候选解为目标解,进而为目标用户输出目标解,实现目标解的有效展示。通过不断迭代采样,以获得满足预设参数使用条件的目标解,通过与用户交互,在对待优化参数进行快速采样之后,可以对待优化参数的目标解进行有效提示。
在实际应用中,为了提供更具个性化的参数服务,可以为目标用户提供参数调整服务。作为一个实施例,为目标用户输出目标解,以供目标用户使用目标解设置待优化参数之后,该方法还包括:
检测目标用户针对目标解发起的参数调整请求;
响应参数调整请求,检测目标用户针对目标解输入的参数调整信息;
根据参数调整信息,调整目标解,获得调整解。
可选地,检测目标用户针对目标解发起的参数调整请求之前,还可以包括:向目标用户展示参数调整控件,以使得目标用户获知目标解处于可调整状态。检测目标用户针对目标解发起的参数调整请求可以包括:检测目标用户针对目标解的参数调整控件执行的触发操作,生成参数调整请求。
在一种可能的设计中,在获得调整解之后,该方法还可以包括:将调整解作为待优化参数的第一候选解,并返回至根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解的步骤继续执行。
在诸多应用领域中可能直接涉及到参数优化问题,为了提高参数优化效率,可以使用本申请实施例的技术方案。
在电力资源、水利资源的分配过程中,可以将电力资源或者水利资源在各个地区的分配结果作为一待处理参数发起参数优化请求,待处理参数具体可以为各个区域所对应的资源量,例如,电力场景中可以为区域的负载容量。
可选地,待优化参数包括:目标资源的资源参数。参数优化请求包括资源管理请求。
如图5所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
501:检测资源管理方针对目标资源触发的资源管理请求。
502:响应资源管理请求,确定目标资源的资源参数对应的第一候选解。
503:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
504:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
505:基于目标解,生成资源参数的资源设置信息。
506:向资源管理方反馈资源设置信息,以供资源管理方根据资源设置信息设置目标资源。
可选地,还包括:若第二候选解不满足参数使用条件,则确定第二候选解为第一候选解,并返回至响应资源管理请求,确定目标资源的资源参数对应的第一候选解的步骤继续执行。
待优化参数具体代表的资源元素可以根据目标资源的处理目标确定。例如,当目标资源的处理目标可以为不同地区设置的电力负载容量,以使得电网总耗能最小,此时,不同地区的电力负载容量即可以为待优化参数的各个子参数,处理目标即可以为电网总耗能的目标函数。待优化参数的目标解可以为获得的电网总耗能最小的情况下,各个地区的电力负载容量。按照待优化参数在目标解,可以生成目标资源的处理信息,也即,可以按照待优化参数在目标解,生成各个地区的电力负载容量的提示信息或者设置指令,通过设置指令可以按照各个地区的电力负载容量进行容量设置。提示信息可以为用户展示,以供用户按照提示信息中提示的各个地区的电力负载容量对各个地区进行容量设置。
在电子商务领域中,也会涉及到参数优化问题。以较为常见的产品推荐为例,由于用户的消费习惯、关注领域、历史浏览行为等浏览特征的不同,为用户推荐的内容或者产品也不同。在实际应用中,为了提高用户的点击率,可以将用户的消费习惯、关注领域等浏览特征进行参数化,生成不同的浏览参数,并通过对多个浏览参数的设置实现对用户的点击目标的特性进行准确分析,从而查找到与用户关注度更高的目标产品。将多个浏览参数作为待优化参数,并对待优化参数不断进行参数采样,并进行参数使用效果的计算,以评价指数最高的目标解。该方案可以适用于本申请实施例的技术方案,以提高待优化参数的参数优化效率。
可选地,待优化参数包括:数据处理系统的系统访问参数。参数优化请求包括系统访问请求。
如图6所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
601:检测访问用户针对数据处理系统触发的系统访问请求。
602:响应系统访问请求,确定数据处理系统的系统访问参数对应的第一候选解。
603:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
604:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
605:基于目标解,生成系统访问参数对应的目标访问信息。
606:向访问用户反馈目标访问信息,以供访问用户基于目标访问信息,操作数据处理系统。
可选地,还包括:若第二候选解不满足参数使用条件,则确定第二候选解为第一候选解,并返回至响应系统访问请求,确定目标资源的资源参数对应的第一候选解的步骤继续执行。
数据处理系统可以为网络交易系统。在网络交易系统中,通过对目标用户的浏览特征设置相应的浏览参数,以获得相应的浏览参数,从而对浏览参数进行参数试验,以获得评价指数最高的目标解。当然,在实际应用中,多个浏览参数可以构成待优化参数的多个子参数,多个子参数分别对应的参数值分别采样结束时可以获得一目标解。目标解确定之后,即确定了目标用户的访问推荐信息,从而可以查找与访问推荐信息相匹配的目标产品,并为目标用户输出。
在一些实施例中,浏览参数可以为不同浏览特征的比例,根据浏览参数对应的目标解,可以确定不同的浏览特征在产品查找过程中所占的比例,从而将多个浏览特征按照各自在目标解中的取值,进行加权求和,获得推荐特征,该推荐特征即可以为用户推荐产品的查找,以为目标用户展示查找到的目标产品。
在又一些实施例中,浏览参数可以为不同类型产品所占的比例,也即,可以从多个类型的产品中分别为用户推荐产品,但是各个类型的产品所占比例不同。以美妆以及服装产品为主要推荐类型的产品为例,对美妆产品以及服装产品各自的推荐比例进行参数优化,最终获得的目标解为3:7,美妆产品为3,服装产品为7,此时按照浏览参数在目标解的取值,从产品数据库中查找3份美妆产品以及7份服装产品,并为目标用户输出。
在某些实施例中,根据第一候选解与预设约束条件的差异,对待优化参数进行采样,获得第二候选解可以包括:
根据第一候选解与约束条件的差异,生成采样提示信息;
根据采样提示信息,对待优化参数进行采样,获得第二候选解。
本申请实施例中部分步骤与图1所示实施例中部分步骤相同,为了描述的简洁性考虑,在此不再赘述。
可选地,检测访问用户针对数据处理系统触发的系统访问请求可以包括:检测访问用户针对网络交易系统触发的滑动操作时,生成系统访问请求。此时,待优化参数可以包括:浏览参数,浏览参数可以包括多个产品类型分别对应的推荐比例,任一个产品类型的推荐比例对应一个子参数。
可选地,检测访问用户针对数据处理系统触发的系统访问请求还可以包括:检测访问用户针对网络交易系统触发的查询请求,生成系统访问请求。此时,待优化参数可以包括:访问用户在查询界面输入的搜索词数量。
需要说明的是,图4以及图5所示实施例的具体应用方案仅仅是示例性的,并不应构成对本申请实施例的应用限定,本申请实施例可以适用于各种数据模型、计算模型的参数优化场景中。
如图7所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括:
701:确定待优化参数对应的第一候选解。
本申请实施例中部分步骤与前述实施例中部分步骤相同,为了描述的简洁性考虑,在此不再赘述。
702:根据第一候选解与约束条件的差异,对采样方向进行估计处理,获得采样方向数据。
703:利用采样方向数据,对采样步长的取值进行测试,以获得采样步长数据。
704:基于采样方向数据以及采样步长数据,生成采样提示信息。
705:根据采样方向数据以及采样步长数据,对待优化参数进行采样,获得第二候选解。
706:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
本申请实施例中,确定待优化参数的第一候选解时,可以根据第一候选解与约束条件的差异,对采样方向仅预估处理,获得采样方向数据。之后,利用采样方向数据,对采样步长的取值进行测试,获得采样步长数据。通过该采样方向数据以及采样方向数据进行提示,可以实现采样的准确提示,提高提示效果,实现有效提示。
作为一个实施例,根据第一候选解与约束条件的差异,对采样方向进行估计处理,获得采样方向数据可以包括:
根据第一候选解与约束条件的差异,确定第一方向子数据;
根据第一候选解与历史候选解在目标函数的效果表现差异,确定第二方向子数据;
利用第一方向子数据以及第二方向子数据,进行方向融合处理,获得采样方向数据。
第一候选解与约束条件的差异可以包括第一候选解与约束规则之间的幅度差异数据。
利用第一方向子数据以及第二方向子数据进行方向融合处理,获得采样方向数据具体可以包括:利用第一方向子数据以及第二方向子数据进行线性规划计算,以获得采样方向数据。
采样方向数据由第一方向数据以及第二方向数据获得,兼顾了约束条件与目标函数两个方向上的数据,使得采样方向数据更全面,更准确。
在某些实施例中,约束条件包括待优化参数的候选解需要满足的约束规则;根据第一候选解与约束条件的差异,确定第一方向子数据包括:
确定第一候选解分别在约束规则对应的幅度差异数据;
根据约束规则分别对应的幅度差异数据,确定约束规则中被满足约束的第一约束子规则以及未被满足约束的第二约束子规则;
计算第一候选解在第二约束子规则对应的梯度数据,获得第一方向子数据。
待优化参数的候选解可以在一定的定义域内,约束规则可以为待优化参数的定义域。约束规则具体可以包括多个子约束规则,任一个子约束规则可以包括约束公式。待优化参数可以包括至少一个子参数,任一个约束公式可以是对待优化参数的一个子参数的约束,一个子参数可以满足至少一个约束公式,也即至少一个约束公式可以同时约束一个子参数的取值。第一候选解为待优化参数在多个子参数分别对应的参数值。第一候选解在任一个约束公式对应的幅度差异数据可以通过以下方式确定:确定任一个约束公式对应的子参数;获取第一候选解在该子参数的取值与约束公式的约束值的差值为幅度差异数据。任一个约束公式对应的子参数可以为待优化参数中该约束公式需要约束的子参数。
约束公式中被满足约束的第一约束公式可以为幅度差异数据大于或等于0的约束公式。约束公式中未被满足约束的第二约束公式可以为幅度差异数据小于0的约束公式。约束公式可以使用gk(x)标识,假设候选解使用xi表示,则被满足约束的第一约束公式可以为gk(xi)≥0的约束公式,未被满足的第二约束公式可以为gk(xi)<0的约束公式。采用未被满足约束的第二约束公式进行第一方向子数据的计算,可以使得采样方向不向未被满足约束的方向移动,实现约束公式的有效提示。
在一种可能的设计中,利用第一方向子数据以及第二方向子数据,进行方向融合处理,获得采样方向数据包括:
将第一方向子数据以及第二方向子数据输入到线性规划算法,计算获得采样方向数据。
线性规划算法可以是在线性约束条件下进行线性目标函数的极值计算的数学模型,例如可以包括最小二乘算法、正交回归算法、简单线性回归算法、梯度下降算法等。采用线性规划算法,对第一方向子数据以及第二方向子数据进行方向融合,以获得线性目标函数以及方向约束条件的模型下,在方向约束条件的可行域内求解线性目标函数的优化结果对应的采样方向数据,获得的方向参数数据更准确。线性目标函数可以为对第一方向子数据以及第二方向子数据需要满足的方向约束公式,方向约束条件可以为参数调整的角度范围。可选地,线性目标函数以及方向约束条件可以预先设置。将第一方向子数据以及第二方向子数据输入到线性规划算法中时,可以将第一方向子数据的约束可以取负值,第二方向子数据的约束可以取正值,进行线性规划,以使得第一方向子数据与第二方向子数据对采样方向进行相反的方向提示,利用第一方向子数据进行逆方向计算,实现第一方向子数据的有效应用,实现采样方向的准确计算。
在某些实施例中,根据第一候选解与历史候选解在目标函数的效果表现差异,确定第二方向子数据可以包括:
确定第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数;
根据第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数对应的梯度数据,获得第二方向子数据。
可选地,根据第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数对应的梯度数据,获得第二方向子数据可以包括:对第一评价指数以及历史评价指数进行梯度差值计算,以及对第一候选解与历史候选解进行梯度差值计算,并计算评价指数的梯度计算结果与候选解的梯度计算结果之间的梯度比值,获得第二方向子数据。
可选地,可以采用梯度算法,根据第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数对应的梯度数据,获得第二方向子数据。梯度算法例如可以为括有限差分法(finite difference)、无穷小摄动分析法(infinitesimal perturbation analysis)、梯度抽样法(gradient sampling)、同时摄动随机逼近法(simultaneous perturbation stochastic approximation)等算法中的任一种,本申请实施例中对梯度算法的具体类型并不作出过多限定。
作为又一个实施例,利用采样方向数据,对采样步长的取值进行测试,以获得采样步长数据包括:
基于线搜索算法以及采样方向数据,对采样步长的取值进行测试,以获得采样步长数据。
基于线搜索算法以及采样方向数据,对采样步长的取值进行测试,以获得采样步长数据具体可以包括:利用线搜索算法,在采样方向数据的采样方向上,对采样步长的取值进行测试,以获得采样步长数据。在采样方向数据的提示下,按照线搜索算法不断更新迭代采样步长的取值,以获得采样步长数据,实现对采样的准确提示。
对步长进行计算时,可以使用获得的采样方向数据,对采样步长的取值进行测试,以获得准确的采样步长数据。线搜索算法(line search)是一种迭代以求解某个函数的最值的方法,本申请实施例中,采样线搜索算法求解采样步长数据,可以获得准确的采样步长数据。
在某些实施例中,基于线搜索算法以及采样方向数据,对采样步长的取值进行测试,以获得采样步长数据可以包括:
随机生成测试步长数据;
在采样方向的基础上,利用测试步长数据,生成测试候选解;
根据测试候选解在约束条件以及目标函数的表现形式,确定初始步长数据的使用效果,获得测试步长数据的测试效果信息;
如果测试效果信息满足预设测试目标,确定测试步长数据为采样步长数据;
如果测试效果信息不满足预设测试目标,根据预设步长更新策略更新测试步长数据,并返回至在采样方向的基础上,利用测试步长数据,生成测试候选解的步骤继续执行。
如图8所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括以下几个步骤:
801:确定待优化参数对应的第一候选解。
802:确定第一候选解分别在多个约束公式对应的幅度差异数据;
703:根据多个约束公式分别对应的幅度差异数据,确定多个约束公式中被满足约束的第一约束公式以及未被满足约束的第二约束公式;
804:计算第一候选解在第二约束公式对应的梯度数据,获得第一方向子数据。
805:确定第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数。
806:根据第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数对应的梯度数据,获得第二方向子数据。
807:将第一方向子数据以及第二方向子数据输入到线性规划算法,计算获得采样方向数据。
808:基于线搜索算法以及采样方向数据,对采样步长的取值进行测试,以获得采样步长数据。
809:基于采样方向数据以及采样步长数据,生成采样提示信息。
810:根据采样提示信息,对待优化参数进行采样,获得第二候选解;
811:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
本申请实施例中,针对待优化参数,可以确定待优化参数的第一候选解,该第一候选解可以为已进行使用效果评价的候选解。在确定采样提示信息的过程中,先是通过第一候选解分别在多个约束公式对应的幅度差异数据,根据多个约束公式分别对应的幅度差异数据,确定多个约束公式中满足约束的第一约束公式,以及未被满足约束公式的第二约束公式,实现对约束的满足与否进行检测,从而计算第一候选解在第二约束公式对应的梯度数据,获得第一方向子数据。将未满足约束的公式作为采样方向的生成基础,可以避免无效采样。之后还利用第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数的梯度数据,获得第二方向子数据。通过使用线性规划算法,对第一方向子数据以及第二方向子数据进行方向融合规划,获得采样方向数据。采样方向数据可以对采样进行准确提示,以避免出现无效采样。之后,采用线搜索算法,在采样方向数据下,对采样步长进行测试,以获得采样步长数据。在采样方向数据以及采样步长数据的提示下,可以对待优化参数进行准确、有效的采样,获得第二候选解。在利用目标函数对第二候选解的使用效果信息进行计算之后若第二候选解满足预设参数使用条件,则确定第二候选解为目标解。通过对采样的方向以及步长进行准确提示,实现准确高效的参数采样,从而增加目标解的获取效率。
在一种可能的设计中,本申请实施例的技术方案可以配置于一服务器中,形成可对外提供数据处理服务。如图9所示,为本申请实施例提供的一种数据处理方法的又一个实施例的流程图,该方法可以包括以下几个步骤:
901:响应于调用数据处理接口的请求,确定数据处理接口对应的处理资源。
利用数据处理接口对应的处理资源执行如下步骤:
902:确定待优化参数对应的第一候选解。
903:根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
904:如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
本申请实施例中的数据处理接口对应的处理资源所执行的具体步骤与图1所示的数据处理方法所执行的处理步骤相同,各个技术特征的具体实现方式以及技术效果已在图1所示实施例中详细描述,在此不再赘述。
为了便于理解,图10示出了本申请提供的一种数据处理方法的应用示例图。参考图10,以目标用户U可以通过计算机M1与云服务器M2交互实现数据处理过程为例详细介绍本申请的技术方案。为了便于理解,图10中还示出了,与云服务器M1交互的用户端,该用户端可以为图10所示的计算机M1,目标用户U可以通过计算机M1与云服务器M2进行数据或者信息的传输。
计算机M1可以检测1001目标用户发起的参数优化请求,并将参数优化请求发送1002至云服务器M2。参数优化请求可以为目标用户需要获得最高使用效果的待优化参数,待优化参数的目标解可以通过由云服务器获取。
目标用户发起参数优化请求之后,云服务器M2可以接收参数优化请求,并响应1003于参数优化请求,确定待优化参数对应的第一候选解。该第一候选解可以用于生成采样提示信息。也即在1004中:根据第一候选解与约束条件的差异,生成采样提示信息。从而云服务器M2可以根据采样提示信息,对待优化参数进行采样,获得1005第二候选解。进而若第二候选解满足预设参数使用条件,则确定1006第二候选解为目标解。在获得目标解之后,可以将目标解发送1007至计算机M1。
计算机M1接收到目标解之后,可以为用户显示1008目标解,为目标用户获取评价指数最高的目标解并使用,可以实现待优化参数的快速采样,提高采样效率。计算机M1为目标用户输出目标解时,具体的输出方式可以包括多种形式,例如可以以数据、页面、信息或者消息等输出方式,本申请实施例对目标解的具体输出方式并不作出过多限定。
计算机M1为目标用户输出目标解之后,目标用户可以按照自身使用需求对目标解进行更改,此时计算机M1可以检测目标用户对目标解的参数调整信息,以更新目标解为相应的调整解。该目标解的更新过程可以由计算机M1执行,并将更新后的调整解发送至云服务器M2。或者,可以由云服务器M2执行目标解的更新,获得调整解。获得调整解之后,云服务器M2可以确认调整解作为待优化参数的目标解。或者,云服务器M2还可以将调整解作为第一候选解,继续执行根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
在实际应用中,本申请实施例提供的数据处理方法获得的目标解可以直接应用于机器学习模型的模型训练场景中。例如,当用户优化的参数为超参数时,获得的满足参数使用的目标解即为目标超参数。可以利用目标超参数构建机器学习模型,并利用训练数据对机器学习模型进行训练,获得使用目标超参数构建的机器学习模型的模型参数,获得机器学习模型的使用效果更佳,例如在人脸识别领域,使用目标超参数构成的人脸识别模型的识别准确率更高,提高识别效率。
本申请实施例的技术方案可以应用于人工智能交互、数据检索、内容推荐、点击率预测、智能工厂、工业控制等多种领域,特别是在内容推荐领域,例如电子商务领域、视频直播领域、社交领域、在线教育领域中的内容推荐,以及资源分配领域,例如金融产品配置、电力资源、水利资源、供应链分配等领域中的适用性更强。
为了便于理解,以如下几个实际领域场景中的问题案例为例对本申请实施例进行详细介绍。
(1)电商领域。在电商领域的特征搜索、直播场景下的产品推荐、内容推荐和计算广告点击率等应用场景最为常见,本实施例以内容推荐场景为例,进行了实例部署。推荐场景下的通用推荐过程可以为,对选定场景的要素进行参数化设置,获得对场景产生影响的多个子参数构成的待优化参数,利用多个参数标识场景的不同特征。将本申请实施例中的数据处理方案以服务的形式向目标用户提供,具体的服务形式包括网页服务、软件程序服务或者以SDK或者API形式存在的程序模块,目标用户通过浏览参数优化界面、服务软件或者服务模块等形式获取数据处理服务。
从而提供数据处理服务的服务器,可以检测目标用户发起的参数优化请求,响应于该参数优化请求,确定待优化参数对应的第一候选解。根据第一候选解与约束条件的差异,生成采样提示信息,根据采样提示信息,对待优化参数进行采样,获得第二候选解;若第二候选解满足预设参数使用条件,则确定第二候选解为目标解,从而为目标用户输出目标解。
以点击词推荐场景为例,用户点击APP(Application,应用程序)中的搜索框时,本系统会为该用户推荐部分搜索词(Query词)。为用户推荐搜索词的目的是挖掘用户潜在的购买需求,增加用户的使用粘性并且提高总的商品成交数量。搜索系统中利用如下的架构,结合了一种深度学习Encode-Decode(编码器—解码器)网络,也即目标网络,对搜索词的推荐进行预测。假设对搜索词的数量进行参数优化。现有技术中,搜索词数量所对应的目标解是按照人工经验手动设置的。利用本专利的数据处理方法,可以利用以上数据处理方法自动对搜索词数量进行参数优化,选择满足参数使用条件的目标解。在参数优化过程中,将此次采样之前的第一候选解与约束条件之间的差异,作为生成采样提示信息的基础,以在按照采样提示信息对待优化参数进行采样时,获得准确度更高的第二候选解。在第二候选解满足参数使用条件时,确定第二候选解为目标解,从而利用目标解确定搜索词数量。通过对搜索词数量进行设置,提高用户使用APP时的搜索效率。
(2)社交领域,在社交领域中,对社交用户进行内容推荐、对学生进行素材推荐也较为常见。社交领域的推荐通常是,社交用户浏览社交应用程序,应用程序的显示界面中输出用户感兴趣的社交内容。通常,社交领域的推荐通常是,以用户的历史浏览行为、关注领域、用户信息等选项构成子参数,多个子参数可以构成待优化参数。在确定各个子参数的特征值时,可以生成待优化参数最终对应的特征信息,并基于特征信息查找相关内容或产品。为了查找到对社交用户感兴趣的内容,可以对参数的数量以及种类进行优化,以获得准确的社交用户内容。
本申请实施例的技术方案可以配置于云服务器中,参数优化请求可以由运维人员发起,运维人员,也即目标用户可以向云服务器发起参数优化请求。云服务器接收到参数优化请求时,将此次采样之前的第一候选解与约束条件之间的差异,作为生成采样提示信息的基础,以在按照采样提示信息对待优化参数进行采样时,获得准确度更高的第二候选解。在第二候选解满足参数使用条件时,确定第二候选解为目标解。通过不断进行参数采样中考虑到前一次采样获得的候选解与约束条件的差异,以提高参数采样效率,促进访问信息的快速响应。
(3)金融领域。股票的指数模拟是非常重要的问题,基于线性回归,SVM(supportvector machines,支持向量积)和LSTM(Long Short-Term Memory,长短记忆网络)等模型对股票指数的模拟问题较为常见,在模型使用之前,需要先建立一个合适的模型。其中,模型训练过程中可以涉及众多超参数,例如LSTM中的time_step(时间步长),feature_dim(特征维度),hidden featrue(隐藏特征)等,而且在还涉及市场的宏观因素,微观因素,突发事件等上下文特征,这些上下文特征会影响超参数的选择。利用本专利技术,对数学模型的构建产生影响的超参数,以及对超参数选择产生影响的上下文特征等参数,均可以作为子参数以构成一需要优化的参数。为了获得准确的目标解,可以确定以上特征对应的子参数,并利用多个子参数构成待优化参数。
利用本申请实施例的技术方案,可以确定待优化参数对应的第一候选解。根据第一候选解与约束条件的差异,生成采样提示信息,根据采样提示信息,对待优化参数进行采样,获得第二候选解;若第二候选解满足预设参数使用条件,则确定第二候选解为目标解,从而为目标用户输出目标解。通过将前一次采样结果增加到最新一次的采样过程中,可以实现待优化参数的有效采样,提高采样效率。在获得目标解之后,可以利用获得的目标解中的超参数构建指数模拟问题对应的机器学习模型,进行模型训练,获得模型参数。然后利用训练获得的机器学习模型对指数模拟问题进行实际股指的RMSE(Root Mean SquaredError,均方根误差)差异值等数据进行模拟计算,获得的数据可以用于股市投资指导。
(4)资源分配领域,以电力资源分配为例。电力资源的分配通常会涉及很多区域,每个区域可以使用相应的参数代表,这些参数分别可以分配一定比例的资源,资源的分配会影响区域经济、人口、环境等信息。本申请实施例的技术方案可以应用于电力市场动态定价问题、电力经济负荷分配问题中。下面,主要对电力系统的具体应用领域作出详细描述。
在电力市场动态定价问题中,用户类型以及用电量的多少对电力市场的影响较为关键。可以将用户类型以及用电量等作为待优化的参数,对待优化参数进行采样,可以获得候选解。任一个候选解中各个子参数的取值对电力系统中收益/成本最高可以作为参数使用条件的判断结果。在参数优化过程中,电力资源管理方可以发起参数优化请求,后台服务器可以响应于参数优化请求,确定待优化参数对应的第一候选解。根据第一候选解与约束条件的差异,生成采样提示信息,根据采样提示信息,对待优化参数进行采样,获得第二候选解;若第二候选解满足预设参数使用条件,则确定第二候选解为目标解。为电力资源管理方提供该目标解之后,电力资源管理方可以利用该目标解进行电力资源的动态定价。在参数选择过程中,由于在相较于第一参数空间更为简单的第二参数空间中进行参数采样,可以降低参数采样复杂度,提高参数采样效率,从而进一步提高参数优化效率。
在电力经济负荷分配问题中,电力供应方可以同时向多个地区提供电力资源,每个地区的电力负载容量可以作为子参数,电网总耗能最低可以作为参数使用条件。利用本申请实施例的技术方案,可以对多个地区各自的电力负载容量进行采样,以获得一待优化参数的候选解。在采样过程中,由所有地区的电力负载容量对应的子参数构成的待优化参数。可以确定待优化参数对应的第一候选解。根据第一候选解与约束条件的差异,生成采样提示信息,根据采样提示信息,对待优化参数进行采样,获得第二候选解;若第二候选解满足预设参数使用条件,则确定第二候选解为目标解,从而为目标用户输出目标解。以利用目标解即可以获得电力负载的分配策略,减少参数的选择复杂度,提高选择效率。
如图11所示,为本申请实施例提供的一种数据处理装置的一个实施例的结构示意图,该装置可以包括:
候选确定模块1101:用于确定待优化参数对应的第一候选解。
提示生成模块1102:用于根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。
参数评价模块1103:用于如果第二候选解满足预设参数使用条件,则确定第二候选解为目标解。
本申请实施例,确定待优化参数对应的第一候选解时,可以根据第一候选解与约束条件的差异,对待优化参数进行采样,获得第二候选解。第二候选解是在第一候选解的基础上生成,参考了原有候选解与约束条件的差异,可以使得第二候选解向目标解接近。从而在第二候选解满足预设参数使用条件时,则确定第二候选解为目标解。在采样过程中,通过参考第一候选解与约束条件的差异,可以提高目标解的获取效率。
作为一个实施例,第一候选解为第二候选解采样时前一次采样获得的候选解。
作为一个实施例,参数评价模块可以包括:
指数获取单元,用于基于预设目标函数,对第二候选解的使用效果进行评价处理,获得第二候选解的第二评价指数;
指数判断单元,用于若第二评价指数满足预设参数使用条件,则确定第二候选解为目标解。
作为又一个实施例,该装置还可以包括:
第一调整模块,用于若第二候选解不满足参数使用条件,则确定第二候选解为第一候选解,并返回至确定待优化参数对应的第一候选解继续执行。
作为又一个实施例,该装置还可以包括:
请求检测模块,用于检测目标用户发起的参数优化请求;
候选确定模块包括:
请求响应单元,用于响应参数优化请求,确定待优化参数对应的第一候选解。
该装置还可以包括:
目标输出模块,用于为目标用户输出目标解,以供目标用户使用目标解设置待优化参数。
在某些实施例中,装置还可以包括:
第二调整模块,用于若第二候选解不满足参数使用条件,则更新第二候选解为第一候选解,返回至响应参数优化请求,确定待优化参数对应的第一候选解继续执行。
作为一种可能的实现方式,目标用户包括:资源管理方;待优化参数包括:目标资源的资源参数;参数优化请求包括资源管理请求;
请求检测模块可以包括:
第一检测单元,用于检测资源管理方针对目标资源触发的资源管理请求;
请求响应单元可以包括:
第一响应子单元,用于响应资源管理请求,确定目标资源的资源参数对应的第一候选解;
目标输出模块包括:
第一生成单元,用于基于目标解,生成资源参数的资源设置信息;
第一输出单元,用于向资源管理方反馈资源设置信息,以供资源管理方根据资源设置信息设置目标资源。
作为又一种可能的实现方式,目标用户包括:访问用户。待优化参数包括:数据处理系统的系统访问参数;参数优化请求包括系统访问请求;
请求检测模块可以包括:
第二检测单元,用于检测访问用户针对数据处理系统触发的系统访问请求;
请求响应单元可以包括:
第二响应子单元,用于响应系统访问请求,确定数据处理系统的系统访问参数对应的第一候选解;
目标输出模块包括:
第二生成单元,用于基于目标解,生成系统访问参数对应的目标访问信息;
第二输出单元,用于向访问用户反馈目标访问信息,以供访问用户基于目标访问信息,操作数据处理系统。
作为一个实施例,第一生成单元可以包括:
第一生成单元,用于根据第一候选解与约束条件的差异,生成采样提示信息;
第一采样单元,用于根据采样提示信息,对待优化参数进行采样,获得第二候选解。
作为一个实施例,第一生成单元包括:
第一获取子单元,用于根据第一候选解与约束条件的差异,对采样方向进行估计处理,获得采样方向数据;
第二获取子单元,用于利用采样方向数据,对采样步长的取值进行测试,以获得采样步长数据;
信息生成子单元,用于基于采样方向数据以及采样步长数据,生成采样提示信息。
第一采样单元可以包括:
参数采样子单元,用于根据采样方向数据以及采样步长数据,对待优化参数进行采样,获得第二候选解。
在某些实施例中,第一获取子单元可以包括:
第一确定模块,用于根据第一候选解与约束条件的差异,确定第一方向子数据;
第二确定模块,用于根据第一候选解与历史候选解在目标函数的效果表现差异,确定第二方向子数据;
方向融合模块,用于利用第一方向子数据以及第二方向子数据,进行方向融合处理,获得采样方向数据。
在一种可能的设计中,约束条件包括约束规则;第一确定模块可以包括:
幅度差异单元,用于确定第一候选解分别在约束规则对应的幅度差异数据;
约束检测单元,用于根据约束规则分别对应的幅度差异数据,确定约束规则中被满足约束的第一约束子规则以及未被满足约束的第二约束子规则;
第一梯度单元,用于计算第一候选解在第二约束子规则对应的梯度数据,获得第一方向子数据。
在又一种可能的设计中,方向融合模块具体可以用于:
将第一方向子数据以及第二方向子数据输入到线性规划算法,计算获得采样方向数据。
在某些实施例中,第二确定模块可以包括:
历史确定单元,用于确定第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数。
第二梯度单元,用于根据第一候选解对应的第一评价指数,以及历史候选解对应的历史评价指数,计算第一候选解在目标函数对应的梯度数据,获得第二方向子数据。
在某些实施例中,第二获取子单元包括:
步长获取模块,用于基于线搜索算法以及采样方向数据,对采样步长的取值进行测试,以获得采样步长数据。
进一步,可选地,步长获取模块具体可以用于:
随机生成测试步长数据;在采样方向的基础上,利用测试步长数据,生成测试候选解;根据测试候选解在约束条件以及目标函数的表现形式,确定初始步长数据的使用效果,获得测试步长数据的测试效果信息;如果测试效果信息满足预设测试目标,确定测试步长数据为采样步长数据;如果测试效果信息不满足预设测试目标,根据预设步长更新策略更新测试步长数据,并返回至在采样方向的基础上,利用测试步长数据,生成测试候选解继续执行。
图11的实现数据处理装置可以执行图1所示实施例的数据处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的处理组件所执行的各个步骤的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在实际应用中,图11所示的数据处理置可以配置为一计算设备,参考图12,为本申请实施例提供的一种计算设备的一个实施例的结构示意图,设备可以包括:存储组件1201以及处理组件1202;存储组件1201用于存储一条或多条计算机指令;一条或多条计算机指令被处理组件1202调用以执行图1等实施例所示的数据处理方法。
其中,处理组件1202可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1201被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,计算设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。
此外,本申请实施例还提供一种计算机可读存储介质,存储介质可以存储一条或多条计算机指令,一条或多条计算机指令执行时用以实现本申请实施例中任一种数据处理方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种数据处理方法,其特征在于,包括:
确定待优化参数对应的第一候选解;
根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
2.根据权利要求1所述的方法,其特征在于,所述第一候选解为所述第二候选解采样时前一次采样获得的候选解。
3.根据权利要求1所述的方法,其特征在于,还包括:
若所述第二候选解不满足所述参数使用条件,则确定所述第二候选解为所述第一候选解,并返回至所述确定待优化参数对应的第一候选解的步骤继续执行。
4.根据权利要求1所述的方法,其特征在于,所述确定待优化参数对应的第一候选解之前,所述方法还包括:
检测目标用户发起的参数优化请求;
所述确定待优化参数对应的第一候选解包括:
响应所述参数优化请求,确定所述待优化参数对应的第一候选解;
所述若所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解之后,还包括:
为所述目标用户输出所述目标解,以供所述目标用户使用所述目标解设置所述待优化参数。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述第二候选解不满足所述参数使用条件,则更新所述第二候选解为所述第一候选解,返回至所述响应所述参数优化请求,确定所述待优化参数对应的第一候选解的步骤继续执行。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
检测所述目标用户针对所述目标解发起的参数调整请求;
响应所述参数调整请求,检测所述目标用户针对所述目标解输入的参数调整信息;
根据所述参数调整信息,调整所述目标解,获得调整解。
7.根据权利要求4所述的方法,其特征在于,所述目标用户包括:资源管理方;所述待优化参数包括:目标资源的资源参数;所述参数优化请求包括资源管理请求;
所述检测目标用户发起的参数优化请求包括:
检测资源管理方针对目标资源触发的资源管理请求;
所述响应所述参数优化请求,确定所述待优化参数对应的第一候选解包括:
响应所述资源管理请求,确定所述目标资源的资源参数对应的第一候选解;
所述为所述目标用户输出所述目标解,以供所述目标用户使用所述目标解设置所述待优化参数包括:
基于所述目标解,生成所述资源参数的资源设置信息;
向所述资源管理方反馈所述资源设置信息,以供所述资源管理方根据所述资源设置信息设置所述目标资源。
8.根据权利要求4所述的方法,其特征在于,所述目标用户包括:访问用户;所述待优化参数包括:数据处理系统的系统访问参数;所述参数优化请求包括系统访问请求;
所述检测目标用户发起的参数优化请求包括:
检测访问用户针对数据处理系统触发的系统访问请求;
所述响应所述参数优化请求,确定所述待优化参数对应的第一候选解包括:
响应所述系统访问请求,确定所述数据处理系统的系统访问参数对应的第一候选解;
所述为所述目标用户输出所述目标解,以供所述目标用户使用所述目标解设置所述待优化参数包括:
基于所述目标解,生成所述系统访问参数对应的目标访问信息;
向所述访问用户反馈所述目标访问信息,以供所述访问用户基于所述目标访问信息,操作所述数据处理系统。
9.根据权利要求1所述的方法,其特征在于,所述根据所述第一候选解与预设约束条件的差异,对所述待优化参数进行采样,获得第二候选解包括:
根据所述第一候选解与所述约束条件的差异,生成采样提示信息;
根据所述采样提示信息,对所述待优化参数进行采样,获得所述第二候选解。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一候选解与所述约束条件的差异,生成采样提示信息包括:
根据所述第一候选解与所述约束条件的差异,对采样方向进行估计处理,获得采样方向数据;
利用所述采样方向数据,对采样步长的取值进行测试,以获得采样步长数据;
基于所述采样方向数据以及所述采样步长数据,生成所述采样提示信息;
所述根据所述采样提示信息,对所述待优化参数进行采样,获得第二候选解包括:
根据所述采样方向数据以及所述采样步长数据,对所述待优化参数进行采样,获得所述第二候选解。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一候选解与所述约束条件的差异,对采样方向进行估计处理,获得采样方向数据包括:
根据所述第一候选解与所述约束条件的差异,确定第一方向子数据;
根据第一候选解与历史候选解在目标函数的效果表现差异,确定第二方向子数据;
利用所述第一方向子数据以及所述第二方向子数据,进行方向融合处理,获得所述采样方向数据。
12.根据权利要求11所述的方法,其特征在于,所述约束条件包括待优化参数的候选解需要满足的约束规则;所述根据所述第一候选解与所述约束条件的差异,确定第一方向子数据包括:
确定所述第一候选解分别在所述约束规则对应的幅度差异数据;
根据所述约束规则分别对应的幅度差异数据,确定所述约束规则中被满足约束的第一约束子规则以及未被满足约束的第二约束子规则;
计算所述第一候选解在所述第二约束子规则对应的梯度数据,获得所述第一方向子数据。
13.根据权利要求11所述的方法,其特征在于,所述根据第一候选解与历史候选解在目标函数的效果表现差异,确定第二方向子数据包括:
确定所述第一候选解对应的第一评价指数,以及所述历史候选解对应的历史评价指数;
根据所述第一候选解对应的第一评价指数,以及所述历史候选解对应的历史评价指数,计算所述第一候选解在所述目标函数对应的梯度数据,获得所述第二方向子数据。
14.根据权利要求1所述的方法,其特征在于,所述如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解包括:
基于基于预设目标函数,对所述第二候选解的使用效果进行评价处理,获得所述第二候选解的第二评价指数;
若所述第二评价指数满足预设参数使用条件,则确定所述第二候选解为所述目标解。
15.一种数据处理方法,其特征在于,包括:
响应于调用数据处理接口的请求,确定所述数据处理接口对应的处理资源;
利用所述数据处理接口对应的处理资源执行如下步骤:
确定待优化参数对应的第一候选解;
根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
16.一种数据处理装置,其特征在于,包括:
候选确定模块,用于确定待优化参数对应的第一候选解;
提示生成模块,用于根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;
参数评价模块,用于如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
17.一种计算设备,其特征在于,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令;所述一条或多条计算机指令被所述处理组件调用;
所述处理组件用于:
确定待优化参数对应的第一候选解;根据所述第一候选解与约束条件的差异,对所述待优化参数进行采样,获得第二候选解;如果所述第二候选解满足预设参数使用条件,则确定所述第二候选解为目标解。
CN202110199833.5A 2021-02-22 2021-02-22 数据处理方法及装置、计算设备 Pending CN112801406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199833.5A CN112801406A (zh) 2021-02-22 2021-02-22 数据处理方法及装置、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199833.5A CN112801406A (zh) 2021-02-22 2021-02-22 数据处理方法及装置、计算设备

Publications (1)

Publication Number Publication Date
CN112801406A true CN112801406A (zh) 2021-05-14

Family

ID=75815420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199833.5A Pending CN112801406A (zh) 2021-02-22 2021-02-22 数据处理方法及装置、计算设备

Country Status (1)

Country Link
CN (1) CN112801406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035982A (zh) * 2022-06-28 2022-09-09 北京飞拓互联科技有限公司 一种数据处理方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035982A (zh) * 2022-06-28 2022-09-09 北京飞拓互联科技有限公司 一种数据处理方法、装置及设备

Similar Documents

Publication Publication Date Title
US20170017900A1 (en) System and method for feature generation over arbitrary objects
CN114298417A (zh) 反欺诈风险评估方法、训练方法、装置及可读存储介质
US11651233B2 (en) Candidate visualization techniques for use with genetic algorithms
Lahdelma et al. Two ways to handle dependent uncertainties in multi-criteria decision problems
CN112163963B (zh) 业务推荐方法、装置、计算机设备和存储介质
CN110971659A (zh) 推荐消息的推送方法、装置及存储介质
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
EP4283511A1 (en) Information processing method and device, server and user equipment
US20230315618A1 (en) Data processing method and device, computing device, and test reduction device
CN112784998A (zh) 数据处理方法及装置、计算设备
CN113407854A (zh) 一种应用推荐方法、装置、设备及计算机可读存储介质
WO2022174755A1 (zh) 信息处理方法及装置、计算设备
CN112925723B (zh) 测试服务推荐方法、装置、计算机设备及存储介质
US12111881B2 (en) Item recommendation with application to automated artificial intelligence
CN111680213A (zh) 信息推荐方法、数据处理方法及装置
CN112801406A (zh) 数据处理方法及装置、计算设备
CN117573973A (zh) 资源推荐方法、装置、电子设备以及存储介质
Machado et al. OrclassWeb: a tool based on the classification methodology ORCLASS from verbal decision analysis framework
CN113239272B (zh) 一种网络管控系统的意图预测方法和意图预测装置
Madi et al. Plmwsp: Probabilistic latent model for web service qos prediction
Jasberg et al. Assessment of prediction techniques: the impact of human uncertainty
Zhang et al. A combinational QoS-prediction approach based on RBF neural network
CN114841305A (zh) 数据处理方法及计算设备
Asthana et al. ML Model Change Detection and Versioning Service
CN117078172A (zh) 用于管理项目的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination