CN115344609A - 一种基于非采样大数据的散点图渲染方法及系统 - Google Patents
一种基于非采样大数据的散点图渲染方法及系统 Download PDFInfo
- Publication number
- CN115344609A CN115344609A CN202211145343.8A CN202211145343A CN115344609A CN 115344609 A CN115344609 A CN 115344609A CN 202211145343 A CN202211145343 A CN 202211145343A CN 115344609 A CN115344609 A CN 115344609A
- Authority
- CN
- China
- Prior art keywords
- data
- script
- gateway
- rendering
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 158
- 238000010586 diagram Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005070 sampling Methods 0.000 title claims abstract description 25
- 238000013515 script Methods 0.000 claims abstract description 115
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000007405 data analysis Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 3
- 238000010248 power generation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种基于非采样大数据的散点图渲染方法及系统，方法包括：前端浏览器按用户选择的散点图类型向RPC网关发起渲染请求；RPC网关将渲染请求路由至对应的业务系统；业务系统优化关系型数据库的数据，记录优化过滤筛选条件及优化后的数据；业务系统加载数据分析策略，结合优化后获得的数据的集合的配置参数获取数据库查询语言的脚本，处理该脚本后经RPC网关传输至前端浏览器；前端浏览器语法分析处理后的脚本，并将该处理后的脚本转发至代理网关校验；代理网关拼接该处理后的脚本后将其转换成新的HTTP请求并发送至ClickHouse数据库；图像渲染组件存储代理网关返回的ClickHouse数据库的数据；获取渲染图像。
Description
技术领域
本发明涉及数据信息处理技术领域，尤其涉及一种基于非采样大数据的散点图渲染方法及系统。
背景技术
在新能源风力发电领域，数据分析运维人员需要通过分析历史数据，通过不断调整风机设备和运行参数，实现产能最大化，同时降低弃风和设备故障率。传统的散点图渲染方法的操作步骤大致是：通过excel表格制作数据样本(最大65535行)，然后加载公式，匹配数据字典，并用数据透视图功能形成图像。然后用Matlab软件做数据建模，编写数据处理脚本，修改参数，按步骤执行统计到区间点的数量。如此反复以形成相对完整的图像和数据。但是，传统的散点图渲染方法步骤复杂繁琐，需要依赖分析人员的专业和经验，且人工成本高，对客户端电脑性能要求较高。
发明内容
本发明所要解决的技术问题是提供一种基于非采样大数据的散点图渲染方法及系统以自动对非采样大数据进行散点图渲染，无需人工编写数据处理脚本及修改参数，降低人工成本，降低对客户端电脑性能的要求。
第一方面，本发明实施例提供了一种基于非采样大数据的散点图渲染方法，应用于基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；所述基于非采样大数据的散点图渲染方法包括以下步骤：
发起请求：所述前端浏览器根据用户选择的散点图类型向所述RPC网关发起渲染请求；
路由分发请求：所述RPC网关根据接收到的渲染请求中对应的散点图类型将渲染请求路由分发至对应的业务系统；
优化数据：所述业务系统对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合；
获取脚本：所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；
校验脚本：所述前端浏览器根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并将该处理后的数据库查询语言的脚本转发至所述代理网关进行校验；
转换请求：所述代理网关于接收到的该处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的处理后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；其中，转换后的HTTP请求类型为获取；
数据接收及存储：所述图像渲染组件采用浮点32位二进制类型数组对接收到的所述代理网关返回的所述ClickHouse数据库根据HTTP请求报文搜索获得的数据进行存储；
获取渲染图像：所述图像渲染组件根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。
其进一步技术方案为：所述校验脚本的步骤具体为：所述前端浏览器将接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析；所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关；所述代理网关对接收到的处理后的数据库查询语言的脚本进行校验；其中，当脚本中的索引不完整或校验分析时长超出预设时长时，反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
其进一步技术方案为：所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关的步骤后还包括：当响应异常时，所述前端浏览器提示发生错误，结束渲染操作。
其进一步技术方案为：所述优化数据的步骤前具体包括：
所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据是否为空；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据的长度是否超出预设的数据长度阈值；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，执行所述优化数据的步骤。
其进一步技术方案为：所述获取脚本的步骤具体包括：
所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本；
所述业务系统于数据库查询语言的脚本的末尾拼接时间戳、版本号、报文摘要及指定的二进制行格式。
其进一步技术方案为：所述路由分发请求的步骤前还包括：当所述PRC网关根据接收到的渲染请求获知用户选择的时间维度超过预设的时间维度阈值或风机总数目超出预设的风机总数阈值时，所述RPC网关反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
其进一步技术方案为：所述获取渲染图像的步骤后还包括：所述前端浏览器显示渲染图像。
第二方面，本发明实施例还提供了一种基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；其中，所述前端浏览器分别与所述RPC网关、代理网关及图像渲染组件通信连接，用于与用户进行交互，供用户选择散点图类型，以根据用户选择的散点图类型向所述RPC网关发起渲染请求；用于根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并向所述代理网关转发该处理后的数据库查询语言的脚本；所述RPC网关通过所述业务系统与所述关系型数据库通信连接，所述关系型数据库用于存储与散点图类型相关的数据，包括配置参数和鉴权数据，所述RPC网关用于路由分发渲染请求至对应的业务系统，所述业务系统用于对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合，加载数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；所述代理网关分别与所述图像渲染组件及所述ClickHouse数据库通信连接，所述ClickHouse数据库用于存储以往的实验数据；所述代理网关用于于接收到的所述前端浏览器转发的处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；获取并返回根据HTTP请求报文于所述ClickHouse数据库中搜索到的数据至所述图像渲染组件；所述图像渲染组件用于存储接收到的数据，根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。
本发明的有益技术效果在于：本发明一种基于非采样大数据的散点图渲染方法通过RPC网关将前端浏览器根据用户选择的散点图类型发起的渲染请求路由分发至对应的业务系统，通过业务系统对关系型数据库存储的数据进行优化，对优化后的数据结合业务系统对应的数据分析策略，配合优化后获得的数据的集合中的配置参数进行计算，获取数据库查询语言的脚本，并对数据库查询语言的脚本进行处理后反馈至RPC网关后传输至前端浏览器进行语法分析，且前端浏览器将处理后的数据库查询语言的脚本转发至代理网关以再次进行校验，通过代理网关将校验后的处理后的数据库查询语言的脚本转换为HTTP请求后发送至ClickHouse数据库以进行数据搜索，并将搜索到的数据返回至图像渲染组件进行存储及渲染，以获取渲染图像；通过浏览器配合网关、业务系统及关系型数据库自动优化筛选关系型数据，根据业务系统对应的数据分析策略和优化筛选后的数据的集合中的配置参数以生成脚本，转换请求以获取ClickHouse数据库中存储的需要渲染的实验数据，通过图形渲染组件对获得的实验数据进行存储和渲染，实现自动对非采样大数据进行散点图渲染，无需人工编写数据处理脚本及修改参数，人工成本低，提高渲染效率，对客户端电脑性能的要求低，而且，图形渲染组件采用浮点32位二进制类型数组对数据进行存储，使得占用空间小且可避免浏览器发生卡顿。本发明一种基于非采样大数据的散点图渲染系统也具有上述功能。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于非采样大数据的散点图渲染方法的流程示意图；
图2为本发明实施例提供的基于非采样大数据的散点图渲染方法的第一子流程的流程示意图；
图3为本发明实施例提供的基于非采样大数据的散点图渲染方法的第二子流程的流程示意图；
图4为本发明实施例提供的基于非采样大数据的散点图渲染系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1所示，图1是基于非采样大数据的散点图渲染方法的流程示意图，所述基于非采样大数据的散点图渲染方法应用于基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件。如图所示，所述基于非采样大数据的散点图渲染方法包括以下步骤S11-S18：
步骤S11、发起请求：所述前端浏览器根据用户选择的散点图类型向所述RPC网关发起渲染请求。其中，散点图类型是指散点图的业务类型，在本实施例中，所述基于非采样大数据的散点图渲染方法应用于对风机风力发电数据进行散点图渲染，相应地，散点图类型可包括：风速-功率散点图、风速-扭矩散点图、风速-转速散点图、风速-桨距角散点图、功率-扭矩散点图、功率-转速散点图、功率-桨距角散点图、扭矩-转速散点图以及扭矩-桨距角散点图。
步骤S12、路由分发请求：所述RPC网关根据接收到的渲染请求中对应的散点图类型将渲染请求路由分发至对应的业务系统；其中，不同的业务系统对应不同的数据分析策略。业务系统的数据分析策略与散点图类型一一对应，以对与散点图类型相关的数据进行分析，渲染请求包含用户选择的散点图类型的信息，以便RPC网关将渲染请求路由分发至对应的业务系统。而且，RPC网关还可根据接收到的渲染请求获取对应的前置数据对渲染请求进行校验。
步骤S13、优化数据：所述业务系统对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合。其中，业务系统根据数据分析策略及预设的优化过滤筛选条件对关系型数据库存储的数据执行查询优化，以防止获得的数据的集合过大或出现边界值问题，有效减少查询时间，提高查询效率。查询优化可采用现有技术的数据库查询优化方法，例如中国专利CN106919678A一种数据库查询优化系统及方法中公开的数据库查询优化方法，在此不再赘述。关系型数据库用于存储与散点图类型相关的数据，包括配置参数和鉴权数据。
步骤S14、获取脚本：所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；其中，配置参数为针对散点图类型的配置相关的参数信息，在本实施例中，所述基于非采样大数据的散点图渲染方法应用于对风机风力发电数据进行散点图渲染，相应地，配置参数可包括风机所在风场信息、风机类型、风机机组号和风机编号信息等与风机和风场的配置相关的参数信息。
步骤S15、校验脚本：所述前端浏览器根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并将该处理后的数据库查询语言的脚本转发至所述代理网关进行校验。通过前端浏览器和代理网关分别对处理后的数据库查询语言的脚本进行校验分析，以校验脚本是否有误。
步骤S16、转换请求：所述代理网关于接收到的该处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的处理后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库，以于ClickHouse数据库获取相应的数据；其中，转换后的HTTP请求的请求类型为获取(GET)。ClickHouse数据库用于存储以往的实验数据，即历史实验数据，则于ClickHouse数据库中获得的数据具体为与对应的散点图类型相关的历史实验数据。
步骤S17、数据接收及存储：所述图像渲染组件采用浮点32位二进制类型数组对接收到的所述代理网关返回的所述ClickHouse数据库根据HTTP请求报文搜索获得的数据进行存储；其中，通过使用浮点32位二进制类型数组保存数据，即数据以字节形式进行存储，确保占用资源小。
步骤S18、获取渲染图像：所述图像渲染组件根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。其中，散点图组件库支持二进制，散点图组件库为图像渲染组件初始化时创建的用于直接根据不同的数据进行散点图渲染的渲染组件组成的库。
具体地，在一些实施例中，所述步骤S18后还包括：所述前端浏览器显示渲染图像。
其中，所述基于非采样大数据的散点图渲染方法通过RPC网关将前端浏览器根据用户选择的散点图类型发起的渲染请求路由分发至对应的业务系统，通过业务系统对关系型数据库存储的数据进行优化，对优化后的数据结合业务系统对应的数据分析策略，配合优化后获得的数据的集合中的配置参数进行计算，获取数据库查询语言的脚本，并对数据库查询语言的脚本进行处理后反馈至RPC网关后传输至前端浏览器进行语法分析，且前端浏览器将处理后的数据库查询语言的脚本转发至代理网关以再次进行校验，通过代理网关将校验后的处理后的数据库查询语言的脚本转换为HTTP请求后发送至ClickHouse数据库以进行数据搜索，并将搜索到的数据返回至图像渲染组件进行存储及渲染，以获取渲染图像；通过浏览器配合网关、业务系统及关系型数据库自动优化筛选关系型数据，根据业务系统对应的数据分析策略和优化筛选后的数据的集合中的配置参数以自动生成脚本，转换请求以获取ClickHouse数据库中存储的需要渲染的实验数据，通过图形渲染组件对获得的实验数据进行存储和渲染，实现自动对非采样大数据进行散点图渲染，无需人工编写数据处理脚本及修改参数，人工成本低，提高渲染效率，对客户端电脑性能的要求低，而且，图形渲染组件采用浮点32位二进制类型数组对数据进行存储，使得占用空间小且可避免浏览器发生卡顿。
具体地，在本实施例中，所述步骤S13前具体包括：
所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据是否为空；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据的长度是否超出预设的数据长度阈值；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，执行所述步骤S13。
结合图2，具体地，在本实施例中，所述步骤S14具体包括：
步骤S141、所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本。
步骤S142、所述业务系统于数据库查询语言的脚本的末尾拼接时间戳、版本号、报文摘要及指定的二进制行格式；其中，通过于数据库查询语言的脚本的末尾拼接二进制行格式可将脚本转换为二进制格式文件，占用空间小，以可提高处理效率。
具体地，所述基于非采样大数据的散点图渲染方法应用于对风机风力发电数据进行散点图渲染，渲染请求的前置数据可包括用户选择设置的需要进行渲染的时间维度及风机总数目，PRC网关可根据获得的渲染请求的前置数据进行校验，以与业务系统的预定条件进行比较判断，则所述步骤S12前还可包括：
当所述PRC网关根据接收到的渲染请求获知用户选择的时间维度超过预设的时间维度阈值或风机总数目超出预设的风机总数阈值时，所述RPC网关反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。其中，当PRC网关根据接收到的渲染请求获知用户选择的时间维度过长或多个风场的风机总数目过多而不符合业务系统的预定条件时，RPC网关判断该渲染请求为异常请求并对其拦截，反馈错误发生信息至所述前端浏览器以进行显示而提示用户发生错误，结束渲染操作。错误发生信息是指用于提示发生了错误的信息。业务系统可预定义有时间维度阈值，对应的预定条件可为：不超过时间维度阈值，时间维度阈值可为1年，即用户选择设置的需要进行渲染的时间维度应不超过1年，可为1个月、3个月或1年等，否则该渲染请求由于不符合业务系统的预定条件而视为异常请求。业务系统还预定义有风机总数阈值，对应的预定条件为：不超过风机总数阈值，即用户选择设置的需要进行渲染的风机总数目不应超过预设的风机总数阈值，否则该渲染请求由于不符合业务系统的预定条件而视为异常请求。异常请求会在PRC网关的校验中被拦截。
优选地，所述步骤S12前还可包括：当所述PRC网关根据接收到的渲染请求获知用户选择的时间维度不超过预设的时间维度阈值且风机总数目不超出预设的风机总数阈值时，执行步骤S12。即当用户选择的时间维度符合业务系统的预定条件且多个风场的风机的总数目也符合业务系统的预定条件时，执行步骤S12。
结合图3，所述步骤S15可具体为：
步骤S151、所述前端浏览器将接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析；其中，语法分析为现有技术，例如中国专利CN1379358信息处理设备和方法、记录媒体及程序中提及了对所提取的脚本执行语法分析，在此不再赘述。
步骤S152、所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关；其中，前端浏览器发送跨域预检请求及处理后的数据库查询语言的脚本至代理网关，以控制代理网关进行校验操作。通过所述前端浏览器向代理网关发送跨域预检请求以建立网络连接，实现数据传输。跨域预检请求为HTTP请求中的OPTIONS类型请求。
步骤S153、所述代理网关对接收到的处理后的数据库查询语言的脚本进行校验。其中，当脚本中的索引不完整或校验分析时长超出预设时长时，反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。通过反馈错误发生信息至所述前端浏览器以进行显示而提示用户发生错误，结束渲染操作。错误发生信息是指用于提示发生了错误的信息。
其中，所述步骤S152后还可包括：当响应异常时，所述前端浏览器提示发生错误，结束渲染操作。响应异常包括网络抖动和/或流量控制受限等，具体可表现为跨域预检请求被拒绝、跨域预检请求为不支持的请求类型、跨域预检请求被重置和/或前端浏览器与代理网关之间连接超时。
图4是本发明实施例提供的一种基于非采样大数据的散点图渲染系统的示意性框图。如图4所示，本发明还提供一种基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统10包括前端浏览器11、RPC网关12、多个业务系统13、关系型数据库14、ClickHouse数据库15、代理网关16及图像渲染组件17；其中，所述前端浏览器11分别与所述RPC网关12、代理网关16及图像渲染组件17通信连接，用于与用户进行交互，供用户选择散点图类型，以根据用户选择的散点图类型向所述RPC网关12发起渲染请求；用于根据接收到的所述PRC网关12传输的处理后的数据库查询语言的脚本进行语法分析，并向所述代理网关16转发该处理后的数据库查询语言的脚本；所述RPC网关12通过所述业务系统13与所述关系型数据库14通信连接，所述关系型数据库14用于存储与散点图类型相关的数据，包括配置参数和鉴权数据，所述RPC网关12用于路由分发渲染请求至对应的业务系统13，所述业务系统13用于对所述关系型数据库14存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合，加载数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关12后传输至所述前端浏览器11；所述代理网关16分别与所述图像渲染组件17及所述ClickHouse数据库15通信连接，所述ClickHouse数据库15用于存储以往的实验数据；所述代理网关16用于于接收到的所述前端浏览器11转发的处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库15；获取并返回根据HTTP请求报文于所述ClickHouse数据库15中搜索到的数据至所述图像渲染组件17；所述图像渲染组件17用于存储接收到的数据，根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器11。
其中，不同的业务系统13对应不同的数据分析策略，业务系统13的数据分析策略与散点图类型一一对应，以对与散点图类型相关的数据进行分析，渲染请求包含用户选择的散点图类型的信息，以便RPC网关12将渲染请求路由分发至对应的业务系统13。而且，RPC网关12还可根据接收到的渲染请求获取对应的前置数据对渲染请求进行校验。关系型数据库14是一种基于关系模型的数据库，以通过关系型数据库对普通数据关系模型的数据进行管理。关系型数据库14可采用MySQL数据库或Oracle数据库。配置参数为针对散点图类型的配置相关的参数信息，在本实施例中，所述基于非采样大数据的散点图渲染系统应用于对风机风力发电数据进行散点图渲染，相应地，配置参数可包括风机所在风场信息、风机类型、风机机组号和风机编号信息等与风机和风场的配置相关的参数信息。图像渲染组件17包括用于根据接收到的数据进行渲染以获取对应数据的渲染图像的散点图组件库，所述图像渲染组件17使用数组缓冲区和浮点32位二进制来接收和存储数据，通过支持二进制的散点图组件库来渲染图像。所述代理网关16可进行协议转换，转换生成HTTP请求并将HTTP请求分发到ClickHouse数据库15，支持二进制格式输出。
所述基于非采样大数据的散点图渲染系统10通过RPC网关12将前端浏览器11根据用户选择的散点图类型发起的渲染请求路由分发至对应的业务系统13，通过业务系统13对关系型数据库14存储的数据进行优化，对优化后的数据结合业务系统对应的数据分析策略，配合优化后获得的数据的集合中的配置参数进行计算，获取数据库查询语言的脚本，并对数据库查询语言的脚本进行处理后反馈至RPC网关12后传输至前端浏览器11进行语法分析，前端浏览器11将处理后的数据库查询语言的脚本转发至代理网关16以再次进行校验，通过代理网关16将校验后的处理后的数据库查询语言的脚本转换为HTTP请求后发送至ClickHouse数据库15以进行数据搜索，并将搜索到的数据返回至图像渲染组件17进行存储及渲染，以获取渲染图像；通过浏览器配合网关、业务系统13及关系型数据库14自动优化筛选关系型数据，根据业务系统13对应的数据分析策略和优化筛选后的数据的集合中的配置参数以生成脚本，转换请求以获取ClickHouse数据库15中存储的需要渲染的实验数据，通过图形渲染组件17对获得的实验数据进行存储和渲染，实现自动对非采样大数据进行散点图渲染，无需人工编写数据处理脚本及修改参数，人工成本低，提高渲染效率，对客户端电脑性能的要求低，而且，图形渲染组件采用浮点32位二进制类型数组对数据进行存储，使得占用空间小且可避免浏览器发生卡顿。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种基于非采样大数据的散点图渲染方法，其特征在于，应用于基于非采样大数据的散点图渲染系统，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；所述基于非采样大数据的散点图渲染方法包括以下步骤：
发起请求：所述前端浏览器根据用户选择的散点图类型向所述RPC网关发起渲染请求；
路由分发请求：所述RPC网关根据接收到的渲染请求中对应的散点图类型将渲染请求路由分发至对应的业务系统；
优化数据：所述业务系统对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合；
获取脚本：所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；
校验脚本：所述前端浏览器根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并将该处理后的数据库查询语言的脚本转发至所述代理网关进行校验；
转换请求：所述代理网关于接收到的该处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的处理后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；其中，转换后的HTTP请求类型为获取；
数据接收及存储：所述图像渲染组件采用浮点32位二进制类型数组对接收到的所述代理网关返回的所述ClickHouse数据库根据HTTP请求报文搜索获得的数据进行存储；
获取渲染图像：所述图像渲染组件根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。
2.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述校验脚本的步骤具体为：
所述前端浏览器将接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析；
所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关；
所述代理网关对接收到的处理后的数据库查询语言的脚本进行校验；其中，当脚本中的索引不完整或校验分析时长超出预设时长时，反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
3.根据权利要求2所述的基于非采样大数据的散点图渲染方法，其特征在于，所述前端浏览器将接收到的处理后的数据库查询语言的脚本转发至所述代理网关的步骤后还包括：
当响应异常时，所述前端浏览器提示发生错误，结束渲染操作。
4.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述优化数据的步骤前具体包括：
所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据是否为空；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，所述业务系统查询所述关系型数据库中与用户选择的散点图类型对应的数据的长度是否超出预设的数据长度阈值；
若是，所述业务系统反馈错误发生信息并通过所述RPC网关发送至所述前端浏览器以提示发生错误，结束渲染操作；
若否，执行所述优化数据的步骤。
5.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述获取脚本的步骤具体包括：
所述业务系统加载对应的数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本；
所述业务系统于数据库查询语言的脚本的末尾拼接时间戳、版本号、报文摘要及指定的二进制行格式。
6.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述路由分发请求的步骤前还包括：
当所述PRC网关根据接收到的渲染请求获知用户选择设置的时间维度超过预设的时间维度阈值或风机总数目超出预设的风机总数阈值时，所述RPC网关反馈错误发生信息至所述前端浏览器以提示发生错误，结束渲染操作。
7.根据权利要求1所述的基于非采样大数据的散点图渲染方法，其特征在于，所述获取渲染图像的步骤后还包括：
所述前端浏览器显示渲染图像。
8.一种基于非采样大数据的散点图渲染系统，其特征在于，所述基于非采样大数据的散点图渲染系统包括前端浏览器、RPC网关、多个业务系统、关系型数据库、ClickHouse数据库、代理网关及图像渲染组件；其中，
所述前端浏览器分别与所述RPC网关、代理网关及图像渲染组件通信连接，用于与用户进行交互，供用户选择散点图类型，以根据用户选择的散点图类型向所述RPC网关发起渲染请求；用于根据接收到的所述PRC网关传输的处理后的数据库查询语言的脚本进行语法分析，并向所述代理网关转发该处理后的数据库查询语言的脚本；
所述RPC网关通过所述业务系统与所述关系型数据库通信连接，所述关系型数据库用于存储与散点图类型相关的数据，包括配置参数和鉴权数据，所述RPC网关用于路由分发渲染请求至对应的业务系统，所述业务系统用于对所述关系型数据库存储的数据执行查询优化，记录优化过滤筛选条件及优化过滤筛选后的数据的集合，加载数据分析策略，结合查询优化后记录获得的优化过滤筛选后的数据的集合中的配置参数进行计算，获得数据库查询语言的脚本，对数据库查询语言的脚本进行处理后反馈至所述RPC网关后传输至所述前端浏览器；
所述代理网关分别与所述图像渲染组件及所述ClickHouse数据库通信连接，所述ClickHouse数据库用于存储以往的实验数据；所述代理网关用于于接收到的所述前端浏览器转发的处理后的数据库查询语言的脚本的开头拼接代理网关地址、会话状态及鉴权信息，将拼接后的数据库查询语言的脚本转换成新的HTTP请求，生成HTTP请求报文并发送至ClickHouse数据库；获取并返回根据HTTP请求报文于所述ClickHouse数据库中搜索到的数据至所述图像渲染组件；所述图像渲染组件用于存储接收到的数据，根据接收到的数据采用散点图组件库进行渲染，并将渲染图像反馈至所述前端浏览器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211145343.8A CN115344609A (zh) | 2022-09-20 | 2022-09-20 | 一种基于非采样大数据的散点图渲染方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211145343.8A CN115344609A (zh) | 2022-09-20 | 2022-09-20 | 一种基于非采样大数据的散点图渲染方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115344609A true CN115344609A (zh) | 2022-11-15 |
Family
ID=83955164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211145343.8A Pending CN115344609A (zh) | 2022-09-20 | 2022-09-20 | 一种基于非采样大数据的散点图渲染方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115344609A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115827922A (zh) * | 2022-12-08 | 2023-03-21 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
-
2022
- 2022-09-20 CN CN202211145343.8A patent/CN115344609A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115827922A (zh) * | 2022-12-08 | 2023-03-21 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
| CN115827922B (zh) * | 2022-12-08 | 2024-02-27 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、系统和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118347B (zh) | 一种自动化协作方法及系统 | |
| CN111083225A (zh) | 在物联网平台中的数据处理方法、装置及物联网平台 | |
| CN1301401C (zh) | 遥控存取组合称重装置和组合称重系统 | |
| CN109995643B (zh) | 业务邮件推送方法及装置 | |
| US20110137958A1 (en) | Implementation Method of DATACOM Data Command Platform | |
| CN111061696B (zh) | 一种交易报文日志的解析方法及装置 | |
| CN103281410A (zh) | 广电网络智能障碍预处理方法及系统 | |
| CN111209166A (zh) | 一种面向b/s架构业务系统的自动巡检系统 | |
| CN111190755A (zh) | 应用程序的功能异常处理方法及装置 | |
| CN115344609A (zh) | 一种基于非采样大数据的散点图渲染方法及系统 | |
| CN116708558A (zh) | 全链路追踪系统代理方法、装置、计算机设备及存储介质 | |
| CN111427899A (zh) | 存储文件的方法、装置、设备和计算机可读介质 | |
| CN106126419A (zh) | 一种应用程序的调试方法及装置 | |
| CN113553260B (zh) | 测试方法、测试装置、设备和介质 | |
| CN113360413A (zh) | 一种代码测试方法及装置 | |
| CN111082964B (zh) | 一种配置信息的分发方法和装置 | |
| CN114595219A (zh) | 一种数据存储方法、装置和系统 | |
| CN111600929A (zh) | 传输线路探测方法、路由策略生成方法及代理服务器 | |
| CN115051866B (zh) | 一种报文处理方法及装置、存储介质及电子设备 | |
| CN114461425A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN111092883B (zh) | 用户访问记录自动生成方法、装置、网络设备及存储介质 | |
| CN112737812B (zh) | 一种数据传输方法及装置 | |
| CN105071946A (zh) | 一种系统监控方法和装置 | |
| CN111478941A (zh) | Mock自动化运行方法、装置、计算机设备及存储介质 | |
| CN113285855B (zh) | 服务器监控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |