CN114548549A - 基于Koalas的用电量预测方法及预测系统 - Google Patents

基于Koalas的用电量预测方法及预测系统 Download PDF

Info

Publication number
CN114548549A
CN114548549A CN202210153966.3A CN202210153966A CN114548549A CN 114548549 A CN114548549 A CN 114548549A CN 202210153966 A CN202210153966 A CN 202210153966A CN 114548549 A CN114548549 A CN 114548549A
Authority
CN
China
Prior art keywords
power consumption
model
consumption prediction
machine learning
spark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210153966.3A
Other languages
English (en)
Inventor
韩胜峰
靳伟
王文宾
李会彬
郑永强
李征
徐华博
唐超
谷莹
韩天华
白莉妍
卫丹
董小虎
韩秀娟
范曾
郭彬
张俊
钟成
路鹏程
李彦龙
李树荣
巩固
孙冰华
孙强
贾军虎
谢雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiongan New Area Power Supply Company State Grid Hebei Electric Power Co
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Xingtai Power Supply Co of State Grid Hebei Electric Power Co Ltd
Original Assignee
Xiongan New Area Power Supply Company State Grid Hebei Electric Power Co
State Grid Corp of China SGCC
State Grid Hebei Electric Power Co Ltd
Xingtai Power Supply Co of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiongan New Area Power Supply Company State Grid Hebei Electric Power Co, State Grid Corp of China SGCC, State Grid Hebei Electric Power Co Ltd, Xingtai Power Supply Co of State Grid Hebei Electric Power Co Ltd filed Critical Xiongan New Area Power Supply Company State Grid Hebei Electric Power Co
Priority to CN202210153966.3A priority Critical patent/CN114548549A/zh
Publication of CN114548549A publication Critical patent/CN114548549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Koalas的用电量预测方法及预测系统，其中方法的步骤包括：S1，通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；S2，Spark应用Pandas库中的机器学习算法构建机器学习模型；S3，将历史电网数据划分为训练集和测试集输入到机器学习模型中进行模型优化训练后，最终输出用电量预测模型；S4，用电量预测模型根据输入的电网数据预测输出用电量预测结果。本发明通过引入Koalas作为桥梁在Pandas与Spark之间构建映射后用来构建用电量预测模型，使得用电量预测模型既可以使用丰富的的Pandas算法库，又可以利用Spark的分布式计算功能提供算力，提高了用电量预测模型构建的便捷度和构建速度。

Description

基于Koalas的用电量预测方法及预测系统
技术领域
本发明涉及用电量预测技术领域，具体涉及一种基于Koalas的用电量预测方法及预测系统。
背景技术
Pandas库是一个免费、开源的第三方Python库，是Python数据分析必不可少的工具之一，它为Python数据分析提供了高性能且易于使用的数据结构，即Series(一维数组结构)和DataFrame(二维数据结构)。Pandas库基于Python Numpy库开发而来，因此，它可以与Python的科学计算库配合使用。Pandas提供了两种数据结构，分别是Series与DataFrame，这两种数据结构极大增强了Pandas的数据分析能力。
Spark作为Apache顶级的开源项目，是一个快速、通用的大规模数据处理引擎，和Hadoop的MapReduce计算框架类似，但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，进行批处理时更加高效，并具有更低的延迟。实际上，Spark已经成为轻量级大数据快速处理的重要平台，各种不同的应用，如实时流处理、机器学习、交互式查询等，都可以通过Spark建立在不同的存储和运行系统上。
电网数据存在数据量大、种类多、更新速度快等特征，因此基于电网数据构建机器学习模型使用传统的Pandas机器学习库存在算力不足的问题，而使用Spark进行构建又存在机器学习算法不多的情况。所以针对大数据量的电网数据构建机器学习模型，如何发挥Pandas具备的机器学习算法数量多的优势同时发挥Spark具备能够快速处理轻量级大数据的优势成为摆在现实的一道难题。
发明内容
本发明以发挥Pandas与Spark在针对大数据量的电网数据构建机器学习模型时的各自优势为目的，提供了一种基于Koalas的用电量预测方法及预测系统。
为达此目的，本发明采用以下技术方案：
提供一种基于Koalas的用电量预测方法，步骤包括：
S1，通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
S2，Spark应用Pandas库中的机器学习算法构建机器学习模型；
S3，将历史电网数据划分为训练集和测试集输入到所述机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
S4，所述用电量预测模型根据输入的电网数据预测输出用电量预测结果。
作为本发明的一种优选方案，步骤S3中，对所述机器学习模型进行优化训练的方法为：
记所述测试集中的数据量为M个，所述机器学习模型对所述测试集中的每个数据Di进行用电量预测输出的预测值记为
Figure BDA0003511712350000021
对应的真实值记为yi，则当
Figure BDA0003511712350000022
的数量N与M的比值大于预设的阈值Q时，判定所述机器学习模型学习到最佳模型参数达到优化训练的终止条件，将此时输出的所述机器学习模型作为所述用电量预测模型。
作为本发明的一种优选方案，P＝0.1。
作为本发明的一种优选方案，Q＝90％。
本发明还提供了一种基于Koalas的用电量预测系统，可实现所述的用电量预测方法，所述用电量预测系统包括：
映射模块，用于根据输入的衔接指令通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
模型构建模块，连接所述映射模块，用于在Pandas与Spark建立映射后，Spark根据模型构建指令，应用Pandas库中的机器学习算法构建机器学习模型；
样本集划分模块，用于根据样本集划分指令将获取的历史电网数据划分为训练集和测试集；
模型优化训练模块，连接所述模型构建模块和所述样本集划分模块，用于根据模型优化训练指令，获取所述样本集划分模块所划分的所述训练集和所述测试集输入到所构建的所述机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
用电量预测模块，连接所述模型优化训练模块，用于利用所述用电量预测模型对模型输入数据进行用电量预测，并输出用电量预测结果。
本发明通过引入Koalas作为桥梁在Pandas与Spark之间构建映射后用来构建用电量预测模型，使得用电量预测模型既可以使用丰富的的Pandas算法库，又可以利用Spark的分布式计算功能提供算力，提高了用电量预测模型构建的便捷度和构建速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于Koalas的用电量预测方法的实现步骤图；
图2是本发明一实施例提供的基于Koalas的用电量预测系统的结构示意图；
图3是单独使用Pandas或Spark构建机器学习模型的耗时对比曲线图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种基于Koalas的用电量预测方法，如图1所示，包括：
步骤S1，通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
步骤S2，Spark应用Pandas库中的机器学习算法构建机器学习模型；
步骤S3，将历史电网数据划分为训练集和测试集输入到机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
本实施例中，对机器学习模型进行优化训练的方法具体为记测试集中的数据量为M个，机器学习模型对测试集中的每个数据Di进行用电量预测输出的预测值记为
Figure BDA0003511712350000041
对应的真实值记为yi，则当
Figure BDA0003511712350000042
的数量N与M的比值大于预设的阈值Q时，判定机器学习模型学习到最佳模型参数达到优化训练的终止条件，将此时输出的机器学习模型作为用电量预测模型。
优选地，P＝0.1；Q＝90％。
步骤S4，用电量预测模型根据输入的电网数据预测输出用电量预测结果。
以下对本实施例提供的基于Koalas的用电量预测方法相比较单独使用Pandas构建机器学习模型具有更高的算力的原理进行简要说明：
本发明首先选用5份电网样本数据，这5份样本数据的数据量大小分别为100M(兆)、200M、400M、800M、1600M；
对同一份数据，先分别在Spark和Python平台用相同的机器学习算法比如Gradient Boosting Trees算法构建机器学习模型，不同数据量大小的样本数据使用相同的算法构建机器学习模型耗时情况请参照下表1-5：
第一组 第二组 第三组 第四组 第五组 平均
pandas 25 25 25 25 26 25.2
spark 23 24 22 21 27 23.4
表1:100M数据量耗时对照表
第一组 第二组 第三组 第四组 第五组 平均
pandas 47 47 47 48 43 46.4
spark 33 34 35 32 33 33.4
表2:200M数据量耗时对照表
第一组 第二组 第三组 第四组 第五组 平均
pandas 77 78 79 78 73 77
spark 43 44 42 40 48 43.4
表3:400M数据量耗时对照表
第一组 第二组 第三组 第四组 第五组 平均
pandas 237 247 242 240 243 241.8
spark 58 57 54 50 50 53.8
表4:800M数据量耗时对照表
第一组 第二组 第三组 第四组 第五组 平均
pandas 557 557 557 558 563 558.4
spark 73 74 72 70 78 75.4
表5:1600M数据量耗时对照表
表1-5中的5个分组均为随机分组以消除数据集本身的偶然性。由上表1-5以及图3可知，对于同个样本集(表1-5中每个表中所分的5个组归属于同个样本集)，执行同一种机器学习算法，Python耗时分别是Spark的几倍到几十倍不等，且随着样本数据量的增加，Python的耗时呈指数级增加，但Spark耗时接近线性变化。由此可知，将Pandas和Spark集成后，可以极大限度解放Pandas的算力瓶颈，让Pandas使用者在不用再学习大数据知识的前提下，充分享受Spark对于大数据的计算速度，不仅确保了模型构建的机器学习算法充足且确保了模型构建的速度。
下表6中记载了Spark和Pandas应用相同的机器学习算法构建的机器学习模型对于相同测试集的预测准确度，由表6可知，单独使用Spark或Pandas构建的机器学习模型的预测准确度相当。表6中的“Gradient Boosting Trees”“Random Forest”“AdaBoost”“Voting”代表机器学习算法。
Figure BDA0003511712350000051
表6
本发明还提供了一种基于Koalas的用电量预测系统，可实现上述的用电量预测方法，如图2所示，该用电量预测系统包括：
映射模块，用于根据输入的衔接指令通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
模型构建模块，连接映射模块，用于在Pandas与Spark建立映射后，Spark根据模型构建指令，应用Pandas库中的机器学习算法构建机器学习模型；
样本集划分模块，用于根据样本集划分指令将获取的历史电网数据划分为训练集和测试集；
模型优化训练模块，连接所述模型构建模块和样本集划分模块，用于根据模型优化训练指令，获取样本集划分模块所划分的训练集和测试集输入到所构建的机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
用电量预测模块，连接模型优化训练模块，用于利用用电量预测模型对模型输入数据进行用电量预测，并输出用电量预测结果。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (5)

1.一种基于Koalas的用电量预测方法，其特征在于，步骤包括：
S1，通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
S2，Spark应用Pandas库中的机器学习算法构建机器学习模型；
S3，将历史电网数据划分为训练集和测试集输入到所述机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
S4，所述用电量预测模型根据输入的电网数据预测输出用电量预测结果。
2.根据权利要求1所述的基于Koalas的用电量预测方法，其特征在于，步骤S3中，对所述机器学习模型进行优化训练的方法为：
记所述测试集中的数据量为M个，所述机器学习模型对所述测试集中的每个数据Di进行用电量预测输出的预测值记为
Figure FDA0003511712340000011
对应的真实值记为yi，则当
Figure FDA0003511712340000012
的数量N与M的比值大于预设的阈值Q时，判定所述机器学习模型学习到最佳模型参数达到优化训练的终止条件，将此时输出的所述机器学习模型作为所述用电量预测模型。
3.根据权利要求2所述的基于Koalas的用电量预测方法，其特征在于，P＝0.1。
4.根据权利要求2所述的基于Koalas的用电量预测方法，其特征在于，Q＝90％。
5.一种基于Koalas的用电量预测系统，可实现如权利要求1-4任意一项所述的用电量预测方法，其特征在于，所述用电量预测系统包括：
映射模块，用于根据输入的衔接指令通过Koalas构建Pandas的DataFrame与Spark的DataFrame之间的映射，以将Pandas的API翻译成Spark DataFrame的API；
模型构建模块，连接所述映射模块，用于在Pandas与Spark建立映射后，Spark根据模型构建指令，应用Pandas库中的机器学习算法构建机器学习模型；
样本集划分模块，用于根据样本集划分指令将获取的历史电网数据划分为训练集和测试集；
模型优化训练模块，连接所述模型构建模块和所述样本集划分模块，用于根据模型优化训练指令，获取所述样本集划分模块所划分的所述训练集和所述测试集输入到所构建的所述机器学习模型中进行模型优化训练后，最终输出用电量预测模型；
用电量预测模块，连接所述模型优化训练模块，用于利用所述用电量预测模型对模型输入数据进行用电量预测，并输出用电量预测结果。
CN202210153966.3A 2022-02-20 2022-02-20 基于Koalas的用电量预测方法及预测系统 Pending CN114548549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210153966.3A CN114548549A (zh) 2022-02-20 2022-02-20 基于Koalas的用电量预测方法及预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210153966.3A CN114548549A (zh) 2022-02-20 2022-02-20 基于Koalas的用电量预测方法及预测系统

Publications (1)

Publication Number Publication Date
CN114548549A true CN114548549A (zh) 2022-05-27

Family

ID=81675702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210153966.3A Pending CN114548549A (zh) 2022-02-20 2022-02-20 基于Koalas的用电量预测方法及预测系统

Country Status (1)

Country Link
CN (1) CN114548549A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124487A1 (en) * 2015-03-20 2017-05-04 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism
CN106779219A (zh) * 2016-12-19 2017-05-31 北京中电普华信息技术有限公司 一种用电量预测方法及系统
KR20180071654A (ko) * 2016-12-20 2018-06-28 주식회사 3클랩스 마케팅 캠페인간 예산 및 노출을 최적화하는 장치 및 방법
US20180349433A1 (en) * 2017-05-30 2018-12-06 General Electric Company Agnostic data frame for data backend
CN110046176A (zh) * 2019-04-28 2019-07-23 南京大学 一种基于Spark的大规模分布式DataFrame的查询方法
CN111080417A (zh) * 2019-12-27 2020-04-28 携程计算机技术（上海）有限公司 用于提高预订顺畅率的处理方法、模型训练方法及系统
CN111784061A (zh) * 2020-07-07 2020-10-16 广东电网有限责任公司 一种电网工程造价预测模型的训练方法、装置和设备
CN112612823A (zh) * 2020-12-14 2021-04-06 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
CN112835570A (zh) * 2021-03-15 2021-05-25 深圳中科西力数字科技有限公司 一种基于机器学习的可视化数学建模方法和系统
CN112912871A (zh) * 2018-10-30 2021-06-04 西门子股份公司 用于将来自不同数据源的数据集成到知识图存储单元中的方法和系统
CN113743674A (zh) * 2021-09-10 2021-12-03 中国电力科学研究院有限公司 基于深度学习的储能出力预测方法、系统、设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124487A1 (en) * 2015-03-20 2017-05-04 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism
CN106779219A (zh) * 2016-12-19 2017-05-31 北京中电普华信息技术有限公司 一种用电量预测方法及系统
KR20180071654A (ko) * 2016-12-20 2018-06-28 주식회사 3클랩스 마케팅 캠페인간 예산 및 노출을 최적화하는 장치 및 방법
US20180349433A1 (en) * 2017-05-30 2018-12-06 General Electric Company Agnostic data frame for data backend
CN112912871A (zh) * 2018-10-30 2021-06-04 西门子股份公司 用于将来自不同数据源的数据集成到知识图存储单元中的方法和系统
US20220121674A1 (en) * 2018-10-30 2022-04-21 Siemens Aktiengesellschaft Method and system for integrating data from different data sources into a knowledge graph storage unit
CN110046176A (zh) * 2019-04-28 2019-07-23 南京大学 一种基于Spark的大规模分布式DataFrame的查询方法
CN111080417A (zh) * 2019-12-27 2020-04-28 携程计算机技术（上海）有限公司 用于提高预订顺畅率的处理方法、模型训练方法及系统
CN111784061A (zh) * 2020-07-07 2020-10-16 广东电网有限责任公司 一种电网工程造价预测模型的训练方法、装置和设备
CN112612823A (zh) * 2020-12-14 2021-04-06 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
CN112835570A (zh) * 2021-03-15 2021-05-25 深圳中科西力数字科技有限公司 一种基于机器学习的可视化数学建模方法和系统
CN113743674A (zh) * 2021-09-10 2021-12-03 中国电力科学研究院有限公司 基于深度学习的储能出力预测方法、系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAUNCH: "Kolas，构建在Apache Spark之上的Pandas", HTTPS://ZHUANLAN.ZHIHU.COM/P/100526123, 1 January 2020 (2020-01-01), pages 1 - 12 *

Similar Documents

Publication Publication Date Title
WO2020221200A1 (zh) 神经网络的构建方法、图像处理方法及装置
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
US10943167B1 (en) Restructuring a multi-dimensional array
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
CN107480789B (zh) 一种深度学习模型的高效转换方法及装置
US10691996B2 (en) Hardware accelerator for compressed LSTM
EP3746945A1 (en) Improving performance of neural network arrays
WO2022068623A1 (zh) 一种模型训练方法及相关设备
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN112215332B (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN113196303B (zh) 不适当神经网络输入检测和处理
CN113868366B (zh) 一种面向流数据的在线跨模态检索方法与系统
CN110969198A (zh) 深度学习模型的分布式训练方法、装置、设备及存储介质
WO2023231794A1 (zh) 一种神经网络参数量化方法和装置
US10733498B1 (en) Parametric mathematical function approximation in integrated circuits
US11714992B1 (en) Neural network processing based on subgraph recognition
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN108304925B (zh) 一种池化计算装置及方法
CN114462623B (zh) 基于边缘计算的数据分析方法、系统及平台
CN107563220A (zh) 一种基于计算机的大数据分析控制系统及控制方法
Ni et al. Algorithm-hardware co-design for efficient brain-inspired hyperdimensional learning on edge
Zhan et al. Field programmable gate array‐based all‐layer accelerator with quantization neural networks for sustainable cyber‐physical systems
WO2023071658A1 (zh) Ai模型的处理方法、运算方法及装置
CN114548549A (zh) 基于Koalas的用电量预测方法及预测系统
CN116596035A (zh) 一种神经网络训练的并行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination