CN106295983A - 电力营销数据可视化统计分析方法及系统 - Google Patents
电力营销数据可视化统计分析方法及系统 Download PDFInfo
- Publication number
- CN106295983A CN106295983A CN201610640829.7A CN201610640829A CN106295983A CN 106295983 A CN106295983 A CN 106295983A CN 201610640829 A CN201610640829 A CN 201610640829A CN 106295983 A CN106295983 A CN 106295983A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- data source
- algorithm
- flow process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000013079 data visualisation Methods 0.000 title claims abstract description 53
- 238000007619 statistical method Methods 0.000 title claims abstract description 50
- 238000007405 data analysis Methods 0.000 claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000013461 design Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 93
- 238000007726 management method Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000009412 basement excavation Methods 0.000 claims description 6
- 238000000547 structure data Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000007418 data mining Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 5
- 230000018109 developmental process Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种应用于电力营销领域的数据可视化统计分析方法及系统，以解决该领域数据统计分析阶段无法对多类型数据源的海量数据进行灵活的可视化分析和数据挖掘的问题。该方法具体是：1.利用大数据技术对多渠道海量数据进行分析2.实现数据源和数据分析流程的可视化设计3. 采用数据统计与数据挖掘融合的方法整合分析结果4. 通过模块化功能的发布分离出设计与应用系统。本发明不再局限于数据源类别，提供了海量数据的处理能力，增强了用电营销统计分析功能的自定义柔性扩展能力，提供了数据分析、数据挖掘建模与预测功能，缩短了软件开发周期，进而提升了用电营销数据统计分析的需求响应能力，有力支撑了业务数据增值应用。
Description
技术领域：
本发明涉及一种应用于电力营销领域的数据可视化统计分析方法及系统，属于电力营销技术领域。
背景技术：
目前，电力营销数据日益呈现出数量大、更新速度快和形式多样化的特点。数据的收集、分析、存储和管理工作至关重要，但当前电力企业在数据的收集过程中无法整合多渠道、多样性和海量的数据进行统计分析。传统的电力营销系统仅仅局限于业务处理阶段，其功能是提供固定的统计报表，因此相对比较单一，电力营销的数据信息收集管理人员无法将相对孤立的数据建立起数据与环境、用户等的关联性，从而对数据的分析和挖掘能力明显不足；同时，软件开发过程相对漫长，业务需求无法快速有效响应。
发明内容：
本发明的目的在于克服上述已有技术的不足而提供一种在电力营销领域数据统计分析时无须经过漫长的软件开发过程，数据分析能力足，适应大数据背景下的多类型数据源的综合统计分析，可进行海量数据的灵活可视化分析以及数据统计和数据挖掘的有效融合，使业务需求快速有效响应电力营销数据的可视化统计分析方法及系统。
本发明的目的可以通过如下措施来达到：电力营销数据可视化统计分析系统，其特征在于其包括数据可视化统计分析设计子系统和数据可视化统计分析应用子系统，数据可视化统计分析设计子系统用于数据可视化统计分析流程的创建和功能的发布，数据可视化统计分析应用子系统用于对数据可视化统计分析设计子系统验证后的统计分析模型进行应用；
其中，数据可视化统计分析设计子系统主要包括数据源管理模块、数据集管理模块、数据统计分析模块（包含数据分析子模块和数据可视化展示配置子模块）和功能管理模块；数据源管理模块主要用来配置电力营销统计分析数据的来源，支持传统数据库或大数据相关的数据存储技术；数据集管理模块负责收集来自不同数据源的数据，将多数据源的数据进行关联，并利用空值、重复值、值域和字典项的条件对数据进行过滤，形成数据源的构建流程，通过运行该流程形成数据源实例，并进行管理；数据统计分析模块通过接收数据集管理模块构建的流程或运行的实例，作为电力营销数据统计分析的数据来源，并利用数据分析子模块的算法包和数据可视化展示配置子模块的配置信息，形成数据统计分析流程，通过运行该流程形成电力营销数据分析实例，并进行管理；数据分析子模块用于对数据分析的算法包进行管理，包括算法的上传注册、初始化和启用弃用功能；数据可视化展示配置子模块用于设置数据分析的可视化展示方式，对电力营销数据进行多维度钻取和过滤，使数据分析更加精准；
数据可视化统计分析应用子系统主要包括数据查询结果展示模块、数据统计结果可视化模块和数据分析与挖掘模块；
数据可视化统计分析应用子系统的三个模块功能均是由数据可视化统计分析设计子系统的功能管理模块生成，其中数据查询结果展示模块用于展现数据集管理模块中的电力营销数据源实例结果；数据统计结果可视化模块用于展现电力营销数据分析实例结果；利用数据分析子模块配置好的算法，通过数据分析实例生成模型，最终由数据分析与挖掘模块进行展示。
电力营销数据可视化统计分析方法，其特征在于其包括以下步骤：
步骤一、设计人员对电力营销数据统计分析需求进行分析，判断是否需要新建或更新数据分析算法，如果需要新建数据分析算法，则进行步骤二；如果需要更新数据分析算法，则进行步骤四；否则进行步骤五；
步骤二、分析算法的编写，设计人员对选定的算法进行配置，包括算法的参数和算法的展示方式，对配置好的算法进行打包，进行下一步；
步骤三、分析算法的注册，设计人员对编写好的算法包注册上传至数据分析模块，进行下一步；
步骤四、分析算法的更新，通过算法标识判断该算法包是否已经存在，若存在则对刚上传的算法包进行启用，对相同算法标识的其他算法进行停用；若不存在则说明为新建算法包操作，自动启用刚上传的算法包；如果要使用某个历史版本的算法包，将该算法包进行启用，则相同标识的其他算法包将自动停用；更新好所需要的配置算法后进行下一步；
步骤五、构建数据源，判断系统中是否已经配置好数据源的数据库参数，如果需要新增数据库，则进行步骤六；否则进行步骤七；
步骤六、配置数据库参数，通过数据源管理模块对数据库参数进行配置，设置相应的数据库驱动和连接参数，包括名称、连接URL、用户名与密码，对连接进行测试后保存即可；配置好数据库参数后，进行下一步；
步骤七、选取数据源表，新建一个数据源构建流程，如果电力营销的目标数据源仅包含一张表，且没有预定义的SQL语句，则在系统中选择该表所在数据库，选择数据库中目标表的表名，添加该表中数据源所用到的字段，并配置好每个字段的中文标识，如果所选字段要作为条件进行过滤，则通过添加值关联选择该字段，配置好连接符、运算符、初始值和别名，如果该条件在生成实例时仍可能发生改变，则将该值关联设置为固定参数；如果目标数据源包含预定义的SQL语句，则进行步骤八；如果目标数据源包含多张表，则进行步骤九；否则进行步骤十；
步骤八、自定义SQL，如果电力营销的目标数据源包含预定义的SQL语句，仅需要选择好目标数据源的数据库，并选择自定义SQL，将预定义的SQL语句输入即可，进行步骤十；
步骤九、增加联合表，如果电力营销的目标数据源包含多张表，则首先根据步骤七逐一配置好各表相关信息，再增加联合表；将需要联合的多表进行关联，具体为选择多个表的查询字段，并设置多表关联的关联字段，配置好连接符、字段名和运算符；对于需要计算（包括计数、求和、平均值、最大和最小值）的字段进行设置，并关联聚合字段，如果要对数据源结果进行排序，则需设置排序字段；将多表进行联合后，进行下一步；
步骤十、数据过滤，如果需要对配置好的数据源进行过滤，可以添加对应的过滤节点（包括空值过滤、字典项过滤、值域过滤、重复值过滤）；最后对数据源流程进行保存，此时整个数据源流程构建完毕，进行下一步；
步骤十一、运行数据源构建流程，对步骤十构建好的数据源流程，在数据集管理模块中进行运行，设置好运行名称、运行描述，并配置好步骤七中设置的固定参数，运行即可，进行下一步；
步骤十二、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据源流程的运行结果，并可将结果数据导出为Excel；如果该结果需要作为功能提交给用户，则进行步骤十九，否则进行下一步；
步骤十三、构建数据分析数据源，新建一个数据分析流程，如果将步骤十保存的数据源流程作为分析数据源，则选择数据源流程作为开始后的节点；若将步骤十一运行好的实例作为分析数据源，就选择实例作为开始后的节点；构建好数据分析数据源后，进行下一步；
步骤十四、数据可视化展示配置，对步骤十三建立的数据源，可以进行多维度钻取和过滤，对待分析数据进行更加精准的分析：新增展示设置节点，选择需要联合的数据源列以及所需分析的维度表进行联合，保存该节点；若要对数据源进行过滤配置，可以新增过滤设置节点，配置好过滤列，运算符和初始字段值，保存即可；做好数据可视化展示配置后，进行下一步；
步骤十五、配置数据分析算法，增加分析算法节点，选择步骤四更新后的算法包，配置好算法包中预设的参数（参数因算法包的不同而不同，以多元线性回归为例，包括因变量和自变量），保存即可；此时，整个数据分析流程创建完毕，进行下一步；
步骤十六、运行数据分析流程，对步骤十五构建好的数据分析流程，在数据统计分析模块中进行运行，设置好运行名称、运行描述，在步骤十三中，如果该数据统计分析流程开始后的节点为数据源，则需配置好该数据源中的固定参数；若该统计分析流程开始后的节点为实例，则无需配置任何参数，直接运行即可，进行下一步；
步骤十七、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据分析流程的运行结果；如果步骤十四中配置了展示设置节点，可以勾选所配置的维度对结果数据进行进一步维度钻取；如果步骤十四中配置了过滤设置节点，可以通过改变过滤列的值来对结果数据进行进一步过滤；任何结果数据都可以选择多种展示方式，通过设置展示的字段，可以利用直方图、折线图、面积图等多种可视化形式进行展示，也可以对结果数据进行Excel导出；点击数据分析以获得数据分析模型，并通过输入步骤四中设置的参数获得模型结果；对于已经验证的模型进行步骤十九，否则进行下一步；
步骤十八、模型验证，对于步骤十七生成的分析模型进行验证，通过选择待检验实例、检验算法（包括蒙特卡罗算法、数据拟合算法、数值分析算法和图像处理算法）进行验证，若通过模型检验，则进行步骤十九，否则返回步骤一，对分析电力营销数据分析需求的算法重新进行评估选择；
步骤十九、生成应用功能，对步骤十二或步骤十七生成的结果页面，如果需要作为功能提交给用户，可以在功能管理模块对该实例结果进行功能生成，仅需要配置好该功能的名称和上级菜单保存即可；
步骤二十、电力营销的终端用户登入该系统，点击步骤十九生成的应用菜单，进行电力营销数据可视化统计分析结果的查看；电力营销的终端用户既可以对步骤十二的数据源查询结果进行查看，也可对步骤十七生成的数据统计的可视化结果进行查看，同时，也可以使用步骤十八验证通过的数据分析模型，通过参数的设置查看数据分析模型的分析与挖掘结果。
本发明同已有技术可产生如下积极效果：本发明可解决在电力营销领域数据统计分析时必须要经过漫长的软件开发过程、数据分析能力不足、无法适应大数据背景下的多类型数据源的综合统计分析、无法进行海量数据的灵活可视化分析以及数据统计和数据挖掘无法有效融合从而导致业务需求无法快速有效响应的技术问题。其具有：
1.利用图形化数据配置，有效整合了多种渠道的数据，使待统计数据源不局限于数据库类别，保证了数据的多样性和时效性，同时提供了海量数据的处理能力。
2.通过流程式功能设计和可视化数据分析，达到从数据存储到数据统计分析这整个流程的可视化展现，使从数据转化为信息的整个过程清晰展现，保证了分析挖掘信息的准确性。
3.采用自定义分析算法和模块化功能发布，实现了数据分析、数据挖掘建模与预测功能的灵活组合，以及用电营销统计分析功能的自定义柔性扩展能力，极大的提升了用电营销数据统计分析的需求响应能力，为业务数据增值应用提供了有力支撑。
附图说明：
图1为本发明的电力营销数据可视化统计分析系统的结构示意图；
图2为本发明的电力营销数据可视化统计分析方法的流程图。
具体实施方式：
下面结合附图对本发明的电力营销数据可视化统计分析方法及系统的具体实施方式作详细描述。
如附图1，电力营销数据可视化统计分析系统，包括数据可视化统计分析设计子系统和数据可视化统计分析应用子系统，数据可视化统计分析设计子系统用于电力营销数据可视化统计分析流程的创建和功能的发布，数据可视化统计分析应用子系统用于对数据可视化统计分析设计子系统验证后的电力营销统计分析模型进行应用。
其中，数据可视化统计分析设计子系统主要包括数据源管理模块、数据集管理模块、数据统计分析模块（包含数据分析子模块和数据可视化展示配置子模块）和功能管理模块。
数据源管理模块主要用来配置电力营销统计分析数据的来源，既可以是传统数据库，如MySQL，Oracle等，也可以是大数据相关的数据存储技术，如HBASE，HIVE等。数据集管理模块负责收集来自不同数据源的电力营销数据，将多数据源的数据进行关联，并利用空值、重复值、值域和字典项的条件对数据进行过滤，形成数据源的构建流程，通过运行该流程形成数据源实例，并进行管理。数据统计分析模块通过接收数据集管理模块构建的流程或运行的实例，作为电力营销数据统计分析的数据来源，并利用数据分析子模块的算法包和数据可视化展示配置子模块的配置信息，形成数据统计分析流程，通过运行该流程形成电力营销数据分析实例，并进行管理；数据分析子模块用于对数据分析的算法包进行管理，包括算法的上传注册、初始化和启用弃用功能。数据可视化展示配置子模块用于设置数据分析的可视化展示方式，对电力营销数据进行多维度钻取和过滤，使数据分析更加精准。
数据可视化统计分析应用子系统主要包括数据查询结果展示模块、数据统计结果可视化模块和数据分析与挖掘模块。
数据可视化统计分析应用子系统的三个模块功能均是由数据可视化统计分析设计子系统的功能管理模块生成，其中数据查询结果展示模块用于展现数据集管理模块中的电力营销数据源实例结果；数据统计结果可视化模块用于展现电力营销数据分析实例结果；利用数据分析子模块配置好的算法，通过数据分析实例生成模型，最终由数据分析与挖掘模块进行展示。
如附图2，电力营销数据可视化统计分析方法，电力营销数据更新后触发数据统计分析工作，开发人员在分析完数据源特点和数据统计分析需求后对算法进行选择、编写和更新，并利用历史数据进行分析建模，在对模型进行验证评价后，利用构建的模型对更新的数据进行统计分析，并生成应用功能，提供给客户进行可视化展示和模型应用。包括如下具体步骤：
步骤一、设计人员对电力营销数据统计分析需求进行分析，判断是否需要新建或更新数据分析算法，如果需要新建数据分析算法，则进行步骤二；如果需要更新数据分析算法，则进行步骤四；否则进行步骤五。
步骤二、分析算法的编写，设计人员对选定的算法进行配置，包括算法的参数和算法的展示方式，对配置好的算法进行打包，进行下一步。
步骤三、分析算法的注册，设计人员对编写好的算法包注册上传至数据分析模块，进行下一步。
步骤四、分析算法的更新，通过算法标识判断该算法包是否已经存在，若存在则对刚上传的算法包进行启用，对相同算法标识的其他算法进行停用；若不存在则说明为新建算法包操作，自动启用刚上传的算法包；如果要使用某个历史版本的算法包，将该算法包进行启用，则相同标识的其他算法包将自动停用；更新好所需要的配置算法后进行下一步。
步骤五、构建数据源，判断系统中是否已经配置好数据源的数据库参数，如果需要新增数据库，则进行步骤六；否则进行步骤七。
步骤六、配置数据库参数，通过数据源管理模块对数据库参数进行配置，设置相应的数据库驱动和连接参数，包括名称、连接URL、用户名与密码，对连接进行测试后保存即可；配置好数据库参数后，进行下一步。
步骤七、选取数据源表，新建一个数据源构建流程，如果电力营销的目标数据源仅包含一张表，且没有预定义的SQL语句，则在系统中选择该表所在数据库，选择数据库中目标表的表名，添加该表中数据源所用到的字段，并配置好每个字段的中文标识，如果所选字段要作为条件进行过滤，则通过添加值关联选择该字段，配置好连接符、运算符、初始值和别名，如果该条件在生成实例时仍可能发生改变，则将该值关联设置为固定参数；如果目标数据源包含预定义的SQL语句，则进行步骤八；如果目标数据源包含多张表，则进行步骤九；否则进行步骤十。
步骤八、自定义SQL，如果电力营销的目标数据源包含预定义的SQL语句，仅需要选择好目标数据源的数据库，并选择自定义SQL，将预定义的SQL语句输入即可，进行步骤十。
步骤九、增加联合表，如果电力营销的目标数据源包含多张表，则首先根据步骤七逐一配置好各表相关信息，再增加联合表。将需要联合的多表进行关联，具体为选择多个表的查询字段，并设置多表关联的关联字段，配置好连接符、字段名和运算符等。对于需要计算（包括计数、求和、平均值、最大和最小值）的字段进行设置，并关联聚合字段，如果要对数据源结果进行排序，则需设置排序字段；将多表进行联合后，进行下一步。
步骤十、数据过滤，如果需要对配置好的电力营销数据源进行过滤，可以添加对应的过滤节点（包括空值过滤、字典项过滤、值域过滤、重复值过滤）；最后对数据源流程进行保存，此时整个数据源流程构建完毕，进行下一步。
步骤十一、运行数据源构建流程，对步骤十构建好的数据源流程，在数据集管理模块中进行运行，设置好运行名称、运行描述，并配置好步骤七中设置的固定参数，运行即可，进行下一步。
步骤十二、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据源流程的运行结果，并可将结果数据导出为Excel；如果该结果需要作为功能提交给用户，则进行步骤十九，否则进行下一步。
步骤十三、构建数据分析数据源，新建一个数据分析流程，如果将步骤十保存的数据源流程作为分析数据源，则选择数据源流程作为开始后的节点；若将步骤十一运行好的实例作为分析数据源，就选择实例作为开始后的节点；构建好数据分析数据源后，进行下一步。
步骤十四、数据可视化展示配置，对步骤十三建立的数据源，可以进行多维度钻取和过滤，对待分析数据进行更加精准的：新增展示设置节点，选择需要联合的数据源列以及所需分析的维度表进行联合，保存该节点；若要对数据源进行过滤配置，可以新增过滤设置节点，配置好过滤列，运算符和初始字段值，保存即可。做好数据可视化展示配置后，进行下一步。
步骤十五、配置数据分析算法，增加分析算法节点，选择步骤四更新后的算法包，配置好算法包中预设的参数（参数因算法包的不同而不同，以多元线性回归为例，包括因变量和自变量），保存即可；此时，整个数据分析流程创建完毕，进行下一步。
步骤十六、运行数据分析流程，对步骤十五构建好的数据分析流程，在数据统计分析模块中进行运行，设置好运行名称、运行描述，在步骤十三中，如果该数据统计分析流程开始后的节点为数据源，则需配置好该数据源中的固定参数；若该统计分析流程开始后的节点为实例，则无需配置任何参数，直接运行即可，进行下一步。
步骤十七、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据分析流程的运行结果；如果步骤十四中配置了展示设置节点，可以勾选所配置的维度对结果数据进行进一步维度钻取；如果步骤十四中配置了过滤设置节点，可以通过改变过滤列的值来对结果数据进行进一步过滤；任何结果数据都可以选择多种展示方式，通过设置展示的字段，可以利用直方图、折线图、面积图等多种可视化形式进行展示，也可以对结果数据进行Excel导出；点击数据分析以获得数据分析模型，并通过输入步骤四中设置的参数获得模型结果；对于已经验证的模型进行步骤十九，否则进行下一步。
步骤十八、模型验证，对于步骤十七生成的分析模型进行验证，通过选择待检验实例、检验算法（包括蒙特卡罗算法、数据拟合算法、数值分析算法和图像处理算法）进行验证，若通过模型检验，则进行步骤十九，否则返回步骤一，对分析电力营销数据分析需求的算法重新进行评估选择。
步骤十九、生成应用功能，对步骤十二或步骤十七生成的结果页面，如果需要作为功能提交给用户，可以在功能管理模块对该实例结果进行功能生成，仅需要配置好该功能的名称和上级菜单保存即可。
步骤二十、电力营销的终端用户登入该系统，点击步骤十九生成的应用菜单，进行电力营销数据可视化统计分析结果的查看；电力营销的终端用户既可以对步骤十二的数据源查询结果进行查看，也可对步骤十七生成的数据统计的可视化结果进行查看，同时，也可以使用步骤十八验证通过的数据分析模型，通过参数的设置查看数据分析模型的分析与挖掘结果。
以上所述的仅为本发明的较佳实例而已，不能以此来限定本发明之权利范围。
Claims (2)
1.电力营销数据可视化统计分析系统，其特征在于其包括数据可视化统计分析设计子系统和数据可视化统计分析应用子系统，数据可视化统计分析设计子系统用于数据可视化统计分析流程的创建和功能的发布，数据可视化统计分析应用子系统用于对数据可视化统计分析设计子系统验证后的统计分析模型进行应用；
其中，数据可视化统计分析设计子系统主要包括数据源管理模块、数据集管理模块、数据统计分析模块（包含数据分析子模块和数据可视化展示配置子模块）和功能管理模块；
数据源管理模块主要用来配置电力营销统计分析数据的来源，支持传统数据库或大数据相关的数据存储技术；数据集管理模块负责收集来自不同数据源的数据，将多数据源的数据进行关联，并利用空值、重复值、值域和字典项的条件对数据进行过滤，形成数据源的构建流程，通过运行该流程形成数据源实例，并进行管理；数据统计分析模块通过接收数据集管理模块构建的流程或运行的实例，作为电力营销数据统计分析的数据来源，并利用数据分析子模块的算法包和数据可视化展示配置子模块的配置信息，形成数据统计分析流程，通过运行该流程形成电力营销数据分析实例，并进行管理；数据分析子模块用于对数据分析的算法包进行管理，包括算法的上传注册、初始化和启用弃用功能；数据可视化展示配置子模块用于设置数据分析的可视化展示方式，对电力营销数据进行多维度钻取和过滤，使数据分析更加精准；
数据可视化统计分析应用子系统主要包括数据查询结果展示模块、数据统计结果可视化模块和数据分析与挖掘模块；
数据可视化统计分析应用子系统的三个模块功能均是由数据可视化统计分析设计子系统的功能管理模块生成，其中数据查询结果展示模块用于展现数据集管理模块中的电力营销数据源实例结果；数据统计结果可视化模块用于展现电力营销数据分析实例结果；利用数据分析子模块配置好的算法，通过数据分析实例生成模型，最终由数据分析与挖掘模块进行展示。
2.电力营销数据可视化统计分析方法，其特征在于其包括以下步骤：
步骤一、设计人员对电力营销数据统计分析需求进行分析，判断是否需要新建或更新数据分析算法，如果需要新建数据分析算法，则进行步骤二；如果需要更新数据分析算法，则进行步骤四；否则进行步骤五；
步骤二、分析算法的编写，设计人员对选定的算法进行配置，包括算法的参数和算法的展示方式，对配置好的算法进行打包，进行下一步；
步骤三、分析算法的注册，设计人员对编写好的算法包注册上传至数据分析模块，进行下一步；
步骤四、分析算法的更新，通过算法标识判断该算法包是否已经存在，若存在则对刚上传的算法包进行启用，对相同算法标识的其他算法进行停用；若不存在则说明为新建算法包操作，自动启用刚上传的算法包；如果要使用某个历史版本的算法包，将该算法包进行启用，则相同标识的其他算法包将自动停用；更新好所需要的配置算法后进行下一步；
步骤五、构建数据源，判断系统中是否已经配置好数据源的数据库参数，如果需要新增数据库，则进行步骤六；否则进行步骤七；
步骤六、配置数据库参数，通过数据源管理模块对数据库参数进行配置，设置相应的数据库驱动和连接参数，包括名称、连接URL、用户名与密码，对连接进行测试后保存即可；配置好数据库参数后，进行下一步；
步骤七、选取数据源表，新建一个数据源构建流程，如果电力营销的目标数据源仅包含一张表，且没有预定义的SQL语句，则在系统中选择该表所在数据库，选择数据库中目标表的表名，添加该表中数据源所用到的字段，并配置好每个字段的中文标识，如果所选字段要作为条件进行过滤，则通过添加值关联选择该字段，配置好连接符、运算符、初始值和别名，如果该条件在生成实例时仍可能发生改变，则将该值关联设置为固定参数；如果目标数据源包含预定义的SQL语句，则进行步骤八；如果目标数据源包含多张表，则进行步骤九；否则进行步骤十；
步骤八、自定义SQL，如果电力营销的目标数据源包含预定义的SQL语句，仅需要选择好目标数据源的数据库，并选择自定义SQL，将预定义的SQL语句输入即可，进行步骤十；
步骤九、增加联合表，如果电力营销的目标数据源包含多张表，则首先根据步骤七逐一配置好各表相关信息，再增加联合表；将需要联合的多表进行关联，具体为选择多个表的查询字段，并设置多表关联的关联字段，配置好连接符、字段名和运算符；对于需要计算（包括计数、求和、平均值、最大和最小值）的字段进行设置，并关联聚合字段，如果要对数据源结果进行排序，则需设置排序字段；将多表进行联合后，进行下一步；
步骤十、数据过滤，如果需要对配置好的数据源进行过滤，可以添加对应的过滤节点（包括空值过滤、字典项过滤、值域过滤、重复值过滤）；最后对数据源流程进行保存，此时整个数据源流程构建完毕，进行下一步；
步骤十一、运行数据源构建流程，对步骤十构建好的数据源流程，在数据集管理模块中进行运行，设置好运行名称、运行描述，并配置好步骤七中设置的固定参数，运行即可，进行下一步；
步骤十二、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据源流程的运行结果，并可将结果数据导出为Excel；如果该结果需要作为功能提交给用户，则进行步骤十九，否则进行下一步；
步骤十三、构建数据分析数据源，新建一个数据分析流程，如果将步骤十保存的数据源流程作为分析数据源，则选择数据源流程作为开始后的节点；若将步骤十一运行好的实例作为分析数据源，就选择实例作为开始后的节点；构建好数据分析数据源后，进行下一步；
步骤十四、数据可视化展示配置，对步骤十三建立的数据源，可以进行多维度钻取和过滤，对待分析数据进行更加精准的分析：新增展示设置节点，选择需要联合的数据源列以及所需分析的维度表进行联合，保存该节点；若要对数据源进行过滤配置，可以新增过滤设置节点，配置好过滤列，运算符和初始字段值，保存即可；做好数据可视化展示配置后，进行下一步；
步骤十五、配置数据分析算法，增加分析算法节点，选择步骤四更新后的算法包，配置好算法包中预设的参数（参数因算法包的不同而不同，以多元线性回归为例，包括因变量和自变量），保存即可；此时，整个数据分析流程创建完毕，进行下一步；
步骤十六、运行数据分析流程，对步骤十五构建好的数据分析流程，在数据统计分析模块中进行运行，设置好运行名称、运行描述，在步骤十三中，如果该数据统计分析流程开始后的节点为数据源，则需配置好该数据源中的固定参数；若该统计分析流程开始后的节点为实例，则无需配置任何参数，直接运行即可，进行下一步；
步骤十七、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据分析流程的运行结果；如果步骤十四中配置了展示设置节点，可以勾选所配置的维度对结果数据进行进一步维度钻取；如果步骤十四中配置了过滤设置节点，可以通过改变过滤列的值来对结果数据进行进一步过滤；任何结果数据都可以选择多种展示方式，通过设置展示的字段，可以利用直方图、折线图、面积图等多种可视化形式进行展示，也可以对结果数据进行Excel导出；点击数据分析以获得数据分析模型，并通过输入步骤四中设置的参数获得模型结果；对于已经验证的模型进行步骤十九，否则进行下一步；
步骤十八、模型验证，对于步骤十七生成的分析模型进行验证，通过选择待检验实例、检验算法（包括蒙特卡罗算法、数据拟合算法、数值分析算法和图像处理算法）进行验证，若通过模型检验，则进行步骤十九，否则返回步骤一，对分析电力营销数据分析需求的算法重新进行评估选择；
步骤十九、生成应用功能，对步骤十二或步骤十七生成的结果页面，如果需要作为功能提交给用户，可以在功能管理模块对该实例结果进行功能生成，仅需要配置好该功能的名称和上级菜单保存即可；
步骤二十、电力营销的终端用户登入该系统，点击步骤十九生成的应用菜单，进行电力营销数据可视化统计分析结果的查看；电力营销的终端用户既可以对步骤十二的数据源查询结果进行查看，也可对步骤十七生成的数据统计的可视化结果 进行查看，同时，也可以使用步骤十八验证通过的数据分析模型，通过参数的设置查看数据分析模型的分析与挖掘结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610640829.7A CN106295983A (zh) | 2016-08-08 | 2016-08-08 | 电力营销数据可视化统计分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610640829.7A CN106295983A (zh) | 2016-08-08 | 2016-08-08 | 电力营销数据可视化统计分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106295983A true CN106295983A (zh) | 2017-01-04 |
Family
ID=57665924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610640829.7A Pending CN106295983A (zh) | 2016-08-08 | 2016-08-08 | 电力营销数据可视化统计分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106295983A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106933971A (zh) * | 2017-02-13 | 2017-07-07 | 北京优炫软件股份有限公司 | 一种基于科技服务的数据分析统计系统 |
| CN107341205A (zh) * | 2017-06-23 | 2017-11-10 | 国网上海市电力公司 | 一种基于大数据平台的智能配用电系统 |
| CN107464134A (zh) * | 2017-07-10 | 2017-12-12 | 广东华联建设投资管理股份有限公司 | 一种多维度材料价格对比分析及可视化展现方法 |
| CN108874818A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种数据智能可视化系统及方法 |
| CN109325071A (zh) * | 2018-10-31 | 2019-02-12 | 福建南威软件有限公司 | 一种引用模板实现快速大数据挖掘分析的方法 |
| CN110163621A (zh) * | 2018-02-10 | 2019-08-23 | 广州供电局有限公司 | 一种电力客服大数据决策支持系统 |
| CN110175191A (zh) * | 2019-05-14 | 2019-08-27 | 复旦大学 | 数据分析中的数据过滤规则建模方法 |
| CN110276647A (zh) * | 2019-06-26 | 2019-09-24 | 中国南方电网有限责任公司 | 基于用户积分的线上服务方法 |
| CN110442637A (zh) * | 2019-06-18 | 2019-11-12 | 北京易莱信科技有限公司 | 一种基于可视化图形的模型构建方法及系统 |
| CN110442620A (zh) * | 2019-08-05 | 2019-11-12 | 赵玉德 | 一种大数据探索和认知方法、装置、设备以及计算机存储介质 |
| CN110570255A (zh) * | 2019-09-16 | 2019-12-13 | 山东浪潮通软信息科技有限公司 | 一种基于dmp的多源系统的市场需求数据实时分析的方法及系统 |
| CN110909101A (zh) * | 2019-11-21 | 2020-03-24 | 贵州电网有限责任公司 | 一种gis导入图模质量监视及统计方法 |
| CN111159277A (zh) * | 2019-12-02 | 2020-05-15 | 三盟科技股份有限公司 | 一种智能数据分析方法及系统 |
| CN111178688A (zh) * | 2019-12-11 | 2020-05-19 | 佰聆数据股份有限公司 | 电力技术监督数据的自助化分析方法、系统、存储介质及计算机设备 |
| CN111177567A (zh) * | 2020-01-02 | 2020-05-19 | 山东浪潮通软信息科技有限公司 | 一种可配置的数据过滤方法 |
| CN111563681A (zh) * | 2020-04-29 | 2020-08-21 | 云南电网有限责任公司信息中心 | 一种业务序列驱动的个性化账单生成方法 |
| CN111897788A (zh) * | 2020-07-14 | 2020-11-06 | 中电福富信息科技有限公司 | 基于算法选择的日志检索分析及可视化挖掘方法 |
| CN112862321A (zh) * | 2021-02-08 | 2021-05-28 | 国家海洋信息中心 | 一种基于ais大数据的海运统计系统及其统计方法 |
| CN113094776A (zh) * | 2021-04-19 | 2021-07-09 | 城云科技（中国）有限公司 | 可视化组件模型数据构建的方法、系统及电子设备 |
| CN113435944A (zh) * | 2021-07-12 | 2021-09-24 | 上海天旦网络科技发展有限公司 | 一种营销效果后评估系统 |
| CN114116046A (zh) * | 2021-11-08 | 2022-03-01 | 南京网眼信息技术有限公司 | 一种数据分析方法和数据分析平台 |
| CN115905364A (zh) * | 2022-12-07 | 2023-04-04 | 国网江苏省电力有限公司苏州供电分公司 | 电力营销数据分析系统和方法 |
| CN116737803A (zh) * | 2023-08-10 | 2023-09-12 | 天津神舟通用数据技术有限公司 | 一种基于有向无环图的可视化数据挖掘编排方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023695A (zh) * | 2012-11-28 | 2013-04-03 | 绍兴电力局 | 基于电力调度自动化的主站系统监测模型 |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105631027A (zh) * | 2015-12-30 | 2016-06-01 | 中国农业大学 | 一种面向企业商务智能的数据可视化分析方法和系统 |
-
2016
- 2016-08-08 CN CN201610640829.7A patent/CN106295983A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023695A (zh) * | 2012-11-28 | 2013-04-03 | 绍兴电力局 | 基于电力调度自动化的主站系统监测模型 |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105631027A (zh) * | 2015-12-30 | 2016-06-01 | 中国农业大学 | 一种面向企业商务智能的数据可视化分析方法和系统 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106933971A (zh) * | 2017-02-13 | 2017-07-07 | 北京优炫软件股份有限公司 | 一种基于科技服务的数据分析统计系统 |
| CN106933971B (zh) * | 2017-02-13 | 2020-06-16 | 北京优炫软件股份有限公司 | 一种基于科技服务的数据分析统计系统 |
| CN108874818A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种数据智能可视化系统及方法 |
| CN107341205A (zh) * | 2017-06-23 | 2017-11-10 | 国网上海市电力公司 | 一种基于大数据平台的智能配用电系统 |
| CN107464134A (zh) * | 2017-07-10 | 2017-12-12 | 广东华联建设投资管理股份有限公司 | 一种多维度材料价格对比分析及可视化展现方法 |
| CN110163621A (zh) * | 2018-02-10 | 2019-08-23 | 广州供电局有限公司 | 一种电力客服大数据决策支持系统 |
| CN109325071A (zh) * | 2018-10-31 | 2019-02-12 | 福建南威软件有限公司 | 一种引用模板实现快速大数据挖掘分析的方法 |
| CN110175191A (zh) * | 2019-05-14 | 2019-08-27 | 复旦大学 | 数据分析中的数据过滤规则建模方法 |
| CN110442637A (zh) * | 2019-06-18 | 2019-11-12 | 北京易莱信科技有限公司 | 一种基于可视化图形的模型构建方法及系统 |
| CN110442637B (zh) * | 2019-06-18 | 2024-02-27 | 北京易莱信科技有限公司 | 一种基于可视化图形的模型构建方法及系统 |
| CN110276647A (zh) * | 2019-06-26 | 2019-09-24 | 中国南方电网有限责任公司 | 基于用户积分的线上服务方法 |
| CN110442620A (zh) * | 2019-08-05 | 2019-11-12 | 赵玉德 | 一种大数据探索和认知方法、装置、设备以及计算机存储介质 |
| CN110442620B (zh) * | 2019-08-05 | 2023-08-29 | 赵玉德 | 一种大数据探索和认知方法、装置、设备以及计算机存储介质 |
| CN110570255A (zh) * | 2019-09-16 | 2019-12-13 | 山东浪潮通软信息科技有限公司 | 一种基于dmp的多源系统的市场需求数据实时分析的方法及系统 |
| CN110909101A (zh) * | 2019-11-21 | 2020-03-24 | 贵州电网有限责任公司 | 一种gis导入图模质量监视及统计方法 |
| CN111159277A (zh) * | 2019-12-02 | 2020-05-15 | 三盟科技股份有限公司 | 一种智能数据分析方法及系统 |
| CN111178688A (zh) * | 2019-12-11 | 2020-05-19 | 佰聆数据股份有限公司 | 电力技术监督数据的自助化分析方法、系统、存储介质及计算机设备 |
| CN111177567A (zh) * | 2020-01-02 | 2020-05-19 | 山东浪潮通软信息科技有限公司 | 一种可配置的数据过滤方法 |
| CN111563681A (zh) * | 2020-04-29 | 2020-08-21 | 云南电网有限责任公司信息中心 | 一种业务序列驱动的个性化账单生成方法 |
| CN111897788A (zh) * | 2020-07-14 | 2020-11-06 | 中电福富信息科技有限公司 | 基于算法选择的日志检索分析及可视化挖掘方法 |
| CN112862321A (zh) * | 2021-02-08 | 2021-05-28 | 国家海洋信息中心 | 一种基于ais大数据的海运统计系统及其统计方法 |
| CN113094776A (zh) * | 2021-04-19 | 2021-07-09 | 城云科技（中国）有限公司 | 可视化组件模型数据构建的方法、系统及电子设备 |
| CN113435944A (zh) * | 2021-07-12 | 2021-09-24 | 上海天旦网络科技发展有限公司 | 一种营销效果后评估系统 |
| CN114116046A (zh) * | 2021-11-08 | 2022-03-01 | 南京网眼信息技术有限公司 | 一种数据分析方法和数据分析平台 |
| CN115905364A (zh) * | 2022-12-07 | 2023-04-04 | 国网江苏省电力有限公司苏州供电分公司 | 电力营销数据分析系统和方法 |
| CN116737803A (zh) * | 2023-08-10 | 2023-09-12 | 天津神舟通用数据技术有限公司 | 一种基于有向无环图的可视化数据挖掘编排方法 |
| CN116737803B (zh) * | 2023-08-10 | 2023-11-17 | 天津神舟通用数据技术有限公司 | 一种基于有向无环图的可视化数据挖掘编排方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106295983A (zh) | 电力营销数据可视化统计分析方法及系统 | |
| Pollock | User guide for MODPATH Version 7—A particle-tracking model for MODFLOW | |
| CN105580032B (zh) | 用于降低升级软件时的不稳定性的方法和系统 | |
| CN103646086B (zh) | 一种垃圾文件的清理方法和装置 | |
| Gil et al. | The space syntax toolkit: Integrating depthmapX and exploratory spatial analysis workflows in QGIS | |
| CN101847169B (zh) | 用于简化集成电路设计的原理图的方法和设备 | |
| US8893035B2 (en) | Method, system and graphical user interface for configuring a simulator to simulate a plurality of devices | |
| CN109784758B (zh) | 基于bim模型的工程质量监管预警系统和方法 | |
| CN105095059B (zh) | 一种自动化测试的方法和装置 | |
| US8825462B2 (en) | Method and system for simulating a plurality of devices | |
| CN104657512A (zh) | 利用bim实现钢桁拱桥梁工程量统计的方法及装置 | |
| CN103473672A (zh) | 企业级数据中心的元数据质量稽核系统、方法及平台 | |
| Lagerström et al. | Visualizing and measuring enterprise application architecture: an exploratory telecom case | |
| CN107644295B (zh) | 航天器ait各阶段技术要求设计与闭环管理系统和方法 | |
| CN109670668A (zh) | 产品基准测试 | |
| CN108694448A (zh) | Phm平台 | |
| EP2866161A1 (en) | System and method for visualization and optimization of system of systems | |
| CN103440135A (zh) | 一种电机试验报表自动生成方法 | |
| CN115934680A (zh) | 一站式大数据分析处理系统 | |
| CN105930344A (zh) | 一种基于产品研制流程的数据库应用系统快速开发平台 | |
| CN103810094B (zh) | 一种测试案例的执行方法、装置和测试工具 | |
| CN103020269B (zh) | 一种数据验证的方法以及装置 | |
| CN109523318A (zh) | 跨界电子商务数据可视化建模分析平台 | |
| CN107544895A (zh) | Hadoop大数据平台测试系统及方法 | |
| CN107430590A (zh) | 数据比较 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |