CN115827922A - 基于风电数据的可视化分析处理方法、系统和计算机设备 - Google Patents
基于风电数据的可视化分析处理方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN115827922A CN115827922A CN202211572785.0A CN202211572785A CN115827922A CN 115827922 A CN115827922 A CN 115827922A CN 202211572785 A CN202211572785 A CN 202211572785A CN 115827922 A CN115827922 A CN 115827922A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- wind power
- request
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007405 data analysis Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000013524 data verification Methods 0.000 claims abstract description 16
- 238000013499 data model Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质，其中该方法包括：获取风电采样数据并对数据来源进行识别；待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；待数据校验完成后，将风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。本发明具备实时性高、数据分析速度快等特性。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质。
背景技术
风电分析系统是指对基于风电设备采集的数据，进行风电机组可靠性分析以及性能指数分析等功能的一套软件分析系统。风电分析系统的数据特征主要包括：数据统计分析一般具有有限(5列以内)列分析特性，比如功率曲线(功率与风速的关系)。其次，采样数据量大。并且，统计计算具有区间性，尤其是时间区间，一般为统计某个时间区间的采样点的特征，或者某几个时间区间的数据特征对比。
然而，传统风电分析系统因机组数量多、机组采样频率高等因素，风电分析系统需处理海量的风电采样数据，进而会导致传统风电分析系统数据统计慢，采样点渲染轨迹分析图生成慢等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质。
一种基于风电数据的可视化分析处理方法，所述方法包括：
获取风电采样数据并对数据来源进行识别；
待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
在其中一个实施例中，所述方法还包括：
获取用户发送的数据分析请求并对所述请求进行校验；
待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
在其中一个实施例中，在所述发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据的步骤之后还包括：
处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
在其中一个实施例中，所述方法还包括：
获取用户发送的提交报告请求；
循环执行数据分析请求生成并保存图片；
将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
一种基于风电数据的可视化分析处理系统，所述基于风电数据的可视化分析处理系统包括：
数据识别模块，所述数据识别模块用于获取风电采样数据并对数据来源进行识别；
数据校验模块，所述数据校验模块用于待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
数据存储模块，所述数据存储模块用于待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
数据索引模块，所述数据索引模块用于存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
在其中一个实施例中，所述系统还包括数据分析请求模块，所述数据分析请求模块用于：
获取用户发送的数据分析请求并对所述请求进行校验；
待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
在其中一个实施例中，所述数据分析请求模块还用于：
处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
在其中一个实施例中，所述系统还包括提交报告请求模块，所述提交报告请求模块用于：
获取用户发送的提交报告请求；
循环执行数据分析请求生成并保存图片；
将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
上述基于风电数据的可视化分析处理方法、系统、计算机设备和存储介质，适用于需要对同一列或多列的海量数据进行简单数据计算以及统计的高效实现。本方案基于风电采样数据的特性，采用基于新技术框架的风电分析系统，具备实时性高、数据分析速度快等特性，对于千万级的数据统计，无需预生成或定时任务生成，即可在3秒内出结果。1G的采样数据可在3秒内实现客户端打点，并完成数据分布图渲染。
附图说明
图1为一个实施例中高性能风电数据分析解决方案的构架图；
图2为一个实施例中基于风电数据的可视化分析处理方法的流程示意图；
图3为另一个实施例中基于风电数据的可视化分析处理方法的流程示意图；
图4为再一个实施例中基于风电数据的可视化分析处理方法的流程示意图
图5为一个实施例中基于风电数据的可视化分析处理系统的结构框图；
图6为另一个实施例中基于风电数据的可视化分析处理系统的结构框图；
图7为再一个实施例中基于风电数据的可视化分析处理系统的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，传统风电分析系统因机组数量多、机组采样频率高等因素，风电分析系统需处理海量的风电采样数据，进而会导致传统风电分析系统数据统计慢，采样点渲染轨迹分析图生成慢等问题。
基于此，本发明提出了一种基于风电数据的可视化分析处理方案，该方案的构架图如图1所示，其中的关键组件包括：代理网关，用于数据实体映射，数据绑定，代理jdbc请求到clickhouse数据库。数据网关，用于进行数据校验和清洗，将离散的、无序的原始数据统一处理，进行标准化建模，转换成数据库查询语言，符合分析数据的要求。clickhouse数据库，这是一种开源的非关系型数据库，列式存储，用跳表的稀疏索引，充分利用多核处理器的并行能力使得查询速度快，应用于大数据的在线数据分析场景。
在一个实施例中，如图2所示，提供了一种基于风电数据的可视化分析处理方法，该方法包括：
步骤202，获取风电采样数据并对数据来源进行识别；
步骤204，待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
步骤206，待数据校验完成后，将风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
步骤208，存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
在本实施例中，提供了一种基于风电数据的可视化分析处理方法，该方法可应用于如图1所示的构架图中。
本方案技术核心设计理论除利用传统的分片、分割、聚合计算外，性能解决方法的核心设计理论为：
列式存储，将同一列的所有数据，存储在同一个block中，计算时只需要读取参与计算的列即可，极大的减低了IO cost，加速了查询。
跳数索引，对列数据块有效的按指定规则，比如时间区间进行切割，并为每个段建立索引，再配合列的排序，可以快速的实现列区间的统计计算，跳数索引一共支持四种类型:minmax(最大最小)、set(去重集合)、ngrambf_v1(ngram分词布隆索引)和tokenbf_v1(标点符号分词布隆索引)。
数据压缩，海量数据的图形渲染，需要服务器与客户端之间进行海量的数据通信，通信数据量级别甚至达到G级别。而列数据，因为同一列数据具有相同的数据类型特征，使用压缩算法可以高效的对列采样数据进行压缩，
直连数据传输，传统的风电分析系统的数据流传输模式，数据需要经过应用软件后才返回到客户端，在海量数据采样单场景下，网络带宽将成为瓶颈。直连数据传输的核心思想是减少网络链路。
具体地，首先，通过系统集成对接，厂商数据可以准实时地发送到数据网关。如果没有集成就用离线的方式，定期将明细数据导出成csv或excel或文本等格式的文件，上传到数据网关。在本实施例中，数据网关用于进行数据校验和清洗，将离散的、无序的原始数据统一处理，进行标准化建模，转换成数据库查询语言，符合分析数据的要求。
接着，数据网关接收到数据后，先校验数据来源，是哪个风场/机型/标段的，如果找不到则返回异常提示“未识别的数据来源”。
待识别完成后，找到对应的数据标准化定义开始做数据校验，具体的数据校验包括：数据格式、时间精度、完整性、必填项、风机编号转义、重复项过滤、度量单位适配、数据长度等。如果校验异常，返回异常信息“数据校验失败，请按正确的格式输入”。
待校验完成后，开始将文本反序列化成一条条的明细对象的链表。因为是大数据数据库，适合写入少查询多的场景，所以不能频繁和并发写入数据，可以攒够1万条批量写数据表，或分批次，每批次写一次。
本实施例中，具体的数据处理方式包括：先将风电采样数据按属性特征进行列归并，计算，并整合成相应数据类型的列数据，结构化序列化后，传递给clickhouse数据库进行相应的列存储。按业务统计分析要求，有针对性的使用clickhouse数据库的稀疏索引及跳数索引，进行数据索引化。
clickhouse数据库是一种开源的非关系型数据库，列式存储，用跳表的稀疏索引，充分利用多核处理器的并行能力使得查询速度快，应用于大数据的在线数据分析场景。
在本实施例中，适用于需要对同一列或多列的海量数据进行简单数据计算以及统计的高效实现。本方案基于风电采样数据的特性，采用基于新技术框架的风电分析系统，具备实时性高、数据分析速度快等特性，对于千万级的数据统计，无需预生成或定时任务生成，即可在3秒内出结果。1G的采样数据可在3秒内实现客户端打点，并完成数据分布图渲染。
在一个实施例中，如图3所示，提供了一种基于风电数据的可视化分析处理方法，该方法还包括：
步骤302，获取用户发送的数据分析请求并对所述请求进行校验；
步骤304，待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
步骤306，发送数据查询请求到代理网关，代理网关通过直连的方式从clickhouse数据库查询取出需要的数据；
步骤308，处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取出；
步骤310，利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
具体地，首先，用户在前端发起数据分析请求，请求到业务系统。业务系统开始做数据校验，如果时间范围超过业务定义的1年，或无效的风机编号，那么返回提示信息“查询失败，请检查输入参数”。
待数据校验通过，根据分析类型找到对应算法/公式，开始计算按需取数据项。业务系统发请求到代理网关，代理网关执行查询计划，如果数据量总数超过clickhouse数据库设定的最大查询内存数6GB，则提示“数据量过大，请重试”；如果查询分派的并行过多，大于150并发，则提示“查询数量过多，操作受限”。在本实施例中，查询计划通过直连的方式来实现，代理网关从clickhouse数据库查询取出需要的数据。
接着，业务系统处理数据，数据模型完成。业务系统将数据模型缓存起来，用条件做hash编码，以后查询可直接从缓存中取，不必重复查数据库。
最后，前端拿到数据后，用echarts组件库渲染二维图表，有柱状图、饼状图、折线图、热力图和二维表等，至此数据分析请求结束。
在本实施例中，将同一列的所有数据，存储在同一个block中，计算时只需要读取参与计算的列即可，极大的减低了IO cost，加速了查询。同一列数据具有相同的数据类型特征，使用压缩算法可以高效的对列采样数据进行压缩。此外，通过直连数据传输还可以有效地减少网络链路。
在一个实施例中，如图4所示，提供了一种基于风电数据的可视化分析处理方法，该方法还包括：
步骤402，获取用户发送的提交报告请求；
步骤404，循环执行数据分析请求生成并保存图片；
步骤406，将图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
具体地，首先，用户在前端提交报告请求，请求到达业务系统，开始异步，用户在查询页面等待结果。
接着，业务系统循环执行分析请求(详见上一个实施例中记载的数据分析请求步骤)，生成和保存图片。将图片插入到报告中，更新报告状态从处理中到已完成。
最后，用户刷新页面时看到报告已完成，即可下载报告文档。
在本实施例中，具备实时性高、数据分析速度快等特性，对于千万级的数据统计，无需预生成或定时任务生成，即可在3秒内出结果。具体地，1G的采样数据可在3秒内实现客户端打点，并完成数据分布图渲染。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于风电数据的可视化分析处理系统500，该系统包括：
数据识别模块501，所述数据识别模块用于获取风电采样数据并对数据来源进行识别；
数据校验模块502，所述数据校验模块用于待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
数据存储模块503，所述数据存储模块用于待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
数据索引模块504，所述数据索引模块用于存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
在一个实施例中，如图6所示，提供了一种基于风电数据的可视化分析处理系统500，该系统还包括数据分析请求模块505，用于：
获取用户发送的数据分析请求并对所述请求进行校验；
待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
在一个实施例中，数据分析请求模块505还用于：
处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
在一个实施例中，如图7所示，提供了一种基于风电数据的可视化分析处理系统500，该系统还包括提交报告请求模块506，用于：
获取用户发送的提交报告请求；
循环执行数据分析请求生成并保存图片；
将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
关于基于风电数据的可视化分析处理系统的具体限定可以参见上文中对于基于风电数据的可视化分析处理方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于风电数据的可视化分析处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一种非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于风电数据的可视化分析处理方法，所述方法包括：
获取风电采样数据并对数据来源进行识别；
待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
2.根据权利要求1所述的基于风电数据的可视化分析处理方法，其特征在于，所述方法还包括：
获取用户发送的数据分析请求并对所述请求进行校验；
待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
3.根据权利要求2所述的基于风电数据的可视化分析处理方法，其特征在于，在所述发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据的步骤之后还包括：
处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
4.根据权利要求3所述的基于风电数据的可视化分析处理方法，其特征在于，所述方法还包括：
获取用户发送的提交报告请求；
循环执行数据分析请求生成并保存图片；
将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
5.一种基于风电数据的可视化分析处理系统，其特征在于，所述基于风电数据的可视化分析处理系统包括：
数据识别模块，所述数据识别模块用于获取风电采样数据并对数据来源进行识别；
数据校验模块，所述数据校验模块用于待数据来源识别完成后，根据对应的数据标准化定义对数据进行校验；
数据存储模块，所述数据存储模块用于待数据校验完成后，将所述风电采样数据按属性特征进行列归并，计算整合成相应数据类型的列数据，结构化序列化后传递给clickhouse数据库进行相应的列存储；
数据索引模块，所述数据索引模块用于存储到clickhouse数据库后，使用clickhouse数据库的稀疏索引及跳数索引进行数据索引化，所述跳数索引支持的类型包括最大最小索引、去重集合索引、ngram分词布隆索引及标点符号分词布隆索引。
6.根据权利要求5所述的基于风电数据的可视化分析处理系统，其特征在于，所述系统还包括数据分析请求模块，所述数据分析请求模块用于：
获取用户发送的数据分析请求并对所述请求进行校验；
待请求校验通过，根据分析类型找到对应算法公式，计算需要的数据项；
发送数据查询请求到代理网关，所述代理网关通过直连的方式从clickhouse数据库查询取出需要的数据。
7.根据权利要求6所述的基于风电数据的可视化分析处理系统，其特征在于，所述数据分析请求模块还用于：
处理从clickhouse数据库取出的数据，建立数据模型并将数据模型缓存起来，以后查询可直接从缓存中取不必重复查数据库；
利用echarts组件库渲染二维图表，包括柱状图、饼状图、折线图、热力图和二维表。
8.根据权利要求7所述的基于风电数据的可视化分析处理系统，其特征在于，所述系统还包括提交报告请求模块，所述提交报告请求模块用于：
获取用户发送的提交报告请求；
循环执行数据分析请求生成并保存图片；
将所述图片插入到报告中，并更新报告状态从处理中到已完成，给用户进行下载。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211572785.0A CN115827922B (zh) | 2022-12-08 | 2022-12-08 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211572785.0A CN115827922B (zh) | 2022-12-08 | 2022-12-08 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115827922A true CN115827922A (zh) | 2023-03-21 |
| CN115827922B CN115827922B (zh) | 2024-02-27 |
Family
ID=85545472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211572785.0A Active CN115827922B (zh) | 2022-12-08 | 2022-12-08 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115827922B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116149240A (zh) * | 2023-04-18 | 2023-05-23 | 合肥安迅精密技术有限公司 | 贴片机软硬件交互信息实时监控分析系统、方法及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090254532A1 (en) * | 2008-04-07 | 2009-10-08 | Liuxi Yang | Accessing data in a column store database based on hardware compatible data structures |
| US20160378750A1 (en) * | 2015-06-23 | 2016-12-29 | Sap Se | Database value identifier hash map |
| CN112463765A (zh) * | 2020-12-04 | 2021-03-09 | 广州医博信息技术有限公司 | 基于大数据构架的医疗数据管理方法及系统 |
| CN112948397A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 一种数据处理系统、方法、装置及存储介质 |
| CN114090838A (zh) * | 2022-01-18 | 2022-02-25 | 杭州欧若数网科技有限公司 | 大数据可视化展示的方法、系统、电子装置和存储介质 |
| WO2022133981A1 (zh) * | 2020-12-25 | 2022-06-30 | 京东方科技集团股份有限公司 | 数据处理方法、平台、计算机可读存储介质及电子设备 |
| CN114860780A (zh) * | 2022-06-08 | 2022-08-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据仓库、数据处理系统及计算机装置 |
| CN115221254A (zh) * | 2022-07-27 | 2022-10-21 | 深圳依时货拉拉科技有限公司 | 多数据源处理方法、装置、设备及存储介质 |
| CN115344609A (zh) * | 2022-09-20 | 2022-11-15 | 华润网络(深圳)有限公司 | 一种基于非采样大数据的散点图渲染方法及系统 |
-
2022
- 2022-12-08 CN CN202211572785.0A patent/CN115827922B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090254532A1 (en) * | 2008-04-07 | 2009-10-08 | Liuxi Yang | Accessing data in a column store database based on hardware compatible data structures |
| US20160378750A1 (en) * | 2015-06-23 | 2016-12-29 | Sap Se | Database value identifier hash map |
| CN112463765A (zh) * | 2020-12-04 | 2021-03-09 | 广州医博信息技术有限公司 | 基于大数据构架的医疗数据管理方法及系统 |
| WO2022133981A1 (zh) * | 2020-12-25 | 2022-06-30 | 京东方科技集团股份有限公司 | 数据处理方法、平台、计算机可读存储介质及电子设备 |
| CN112948397A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 一种数据处理系统、方法、装置及存储介质 |
| CN114090838A (zh) * | 2022-01-18 | 2022-02-25 | 杭州欧若数网科技有限公司 | 大数据可视化展示的方法、系统、电子装置和存储介质 |
| CN114860780A (zh) * | 2022-06-08 | 2022-08-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据仓库、数据处理系统及计算机装置 |
| CN115221254A (zh) * | 2022-07-27 | 2022-10-21 | 深圳依时货拉拉科技有限公司 | 多数据源处理方法、装置、设备及存储介质 |
| CN115344609A (zh) * | 2022-09-20 | 2022-11-15 | 华润网络(深圳)有限公司 | 一种基于非采样大数据的散点图渲染方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 高翔: "基于Clickhouse的大数据对比分析应用案例", 电子技术 * |
| 齐来军;周丽娟;任仲山;: "医学影像云存储模型的研究与设计", 计算机应用与软件, no. 02 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116149240A (zh) * | 2023-04-18 | 2023-05-23 | 合肥安迅精密技术有限公司 | 贴片机软硬件交互信息实时监控分析系统、方法及存储介质 |
| CN116149240B (zh) * | 2023-04-18 | 2023-07-14 | 合肥安迅精密技术有限公司 | 贴片机软硬件交互信息实时监控分析系统、方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115827922B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10467316B2 (en) | Systems and methods for web analytics testing and web development | |
| CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN112800095B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112287009A (zh) | 接口调用和接口数据入库方法、装置、设备及存储介质 | |
| CN112559354A (zh) | 前端代码规范检测方法、装置、计算机设备及存储介质 | |
| CN108959965B (zh) | 数据合规性审查方法和装置 | |
| CN109902126B (zh) | 支持hive自动分区的加载系统及其实现方法 | |
| CN103326958A (zh) | 监控数据缓存方法及系统 | |
| CN111858467B (zh) | 基于人工智能的文件数据处理方法、装置、设备和介质 | |
| CN109614327B (zh) | 用于输出信息的方法和装置 | |
| CN110046155B (zh) | 特征数据库的更新、数据特征的确定方法、装置及设备 | |
| CN115827922A (zh) | 基于风电数据的可视化分析处理方法、系统和计算机设备 | |
| CN111222089A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN111177121A (zh) | 订单数据反馈方法、装置、计算机设备及存储介质 | |
| CN112613271A (zh) | 数据分页方法、装置、计算机设备及存储介质 | |
| CN112069384A (zh) | 一种埋点数据处理方法、服务器及可读存储介质 | |
| CN112506486A (zh) | 搜索系统建立方法、装置、电子设备及可读存储介质 | |
| CN114328566A (zh) | 关系图谱的更新方法、装置、介质、设备及生成方法 | |
| CN113760983A (zh) | 数据处理方法、系统及非瞬时性计算机可读存储介质 | |
| CN113938408B (zh) | 一种数据流量测试方法、装置、服务器及存储介质 | |
| CN117215953A (zh) | 设备配置信息的验证方法及装置、存储介质、电子设备 | |
| CN115994189A (zh) | 多环境数据库的结构同步方法、装置、设备及介质 | |
| CN114911869A (zh) | 一种数据及文件存储系统、方法、装置及电子设备 | |
| CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
| CN113504957A (zh) | 表格数据处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |