CN116069833A - 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法 - Google Patents

一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法 Download PDF

Info

Publication number
CN116069833A
CN116069833A CN202211725556.8A CN202211725556A CN116069833A CN 116069833 A CN116069833 A CN 116069833A CN 202211725556 A CN202211725556 A CN 202211725556A CN 116069833 A CN116069833 A CN 116069833A
Authority
CN
China
Prior art keywords
data
display
resolution
analysis
dynamic multi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211725556.8A
Other languages
English (en)
Other versions
CN116069833B (zh
Inventor
白伟光
高鹏
孙洁
肖江涛
王忆南
蒋波
石学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Measurement and Control Technology Co Ltd
Original Assignee
Beijing Aerospace Measurement and Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Measurement and Control Technology Co Ltd filed Critical Beijing Aerospace Measurement and Control Technology Co Ltd
Priority to CN202211725556.8A priority Critical patent/CN116069833B/zh
Publication of CN116069833A publication Critical patent/CN116069833A/zh
Application granted granted Critical
Publication of CN116069833B publication Critical patent/CN116069833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，针对大数据量的数据分析与显示，后台在完成全数据量的计算和输出后，结合显示空间和实际数据量进行显示流程的优化，通过数据显示的空间信息与数据总量，进行自动抽样显示，并对数据细节分析和查看过程进行自动的二次计算，以确保大数据量分析满足快速显示和加载的需求，并在逐级加载的过程中，显示数据的全部细节，以满足海量数据精细化分析与显示的需求。

Description

一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法。
技术背景
在进行试验数据、运维数据的处理和分析过程中，需要对海量的数据进行综合分析和显示，而数据分析和显示的功能本身存在数据量的瓶颈，且会出现内存溢出、数据加载缓慢等问题，难以满足试验数据分析和显示的需求。当前的大多技术主要采用降采样的方式进行实现，但没有考虑精细化数据显示的需求，难以满足复杂信号的处理。
发明内容
有鉴于此，本发明提出了一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法。针对大数据量的数据分析与显示，后台在完成全数据量的计算和输出后，结合显示空间(像素容量)和实际数据量进行显示流程的优化，通过数据显示的空间信息与数据总量，进行自动抽样显示，并对数据细节分析和查看过程进行自动的二次计算，以确保大数据量分析满足快速显示和加载的需求，并在逐级加载的过程中，显示数据的全部细节，以满足海量数据精细化分析与显示的需求。
具体方案如下：
一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，结合显示空间和实际数据量进行显示流程的优化。
优化过程包括，基于视觉显示需求和数据量的自适应计算，以及基于交互操作的动态分辨率加载。
其中，基于视觉显示需求和数据量的自适应计算进一步包括，
1)计算显示空间中的最佳显示点数；
2)根据总数据量和最佳显示点数进行比例抽取，实现数据全集的抽样显示。
其中，基于交互操作的动态分辨率加载进一步包括，针对区域放大显示，通过选取区域的待显示数据量和显示空间实际支持的数据量的比例，进行再次数据加载，以此方式逐步提高数据显示的分辨率，直至最高分辨率。
进一步的，采用多级缓存的方式，对每一次显示对应的分辨率数据进行存储。
有益效果
1)基于视觉显示需求和数据量的自适应计算，可实现海量数据在可视化方面的自适应匹配。
2)基于交互操作的动态分辨率加载，根据数据分析和显示的需求，在进行数据细节显示时，会进行数据量显示测量的再次计算，从而实现多分辨率逐级加载。
3)内存数据优化，为满足海量数据的分析和加载需求，采用多级缓存的方式，对每一次显示对应的分辨率数据进行存储，确保数据的快速存储和恢复。
附图说明
图1、本发明方法流程图。
具体实施方式
针对大数据量的数据分析与显示，后台在完成全数据量的计算和输出后，结合显示空间(像素容量)和实际数据量进行显示流程的优化，具体步骤如下：
1)计算出在此显示空间中的最佳显示点数，最佳显示点数结合显示空间大小、显示容差能力即可得出；
2)在确保显示效果无失真的情况下，根据总数据量和最佳显示点数进行比例抽取，实现数据全集的抽样显示。
3)进行区域放大显示，通过框选功能，选择部分区域的数据进行显示，本过程再次调用数据加载功能，结合选取区域的数据全集和目标显示空间，进行高分辨率的二次加载。
4)区域再次放大显示，重复调用以上功能，通过待显示数据量和显示空间实际支持的数据量的比例，进行再次数据加载，以此方式逐步提高数据显示的分辨率，直至最高分辨率。

Claims (5)

1.一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，其特征在于：结合显示空间和实际数据量进行显示流程的优化。
2.根据权利要求1所述的一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，其特征在于：优化过程包括，基于视觉显示需求和数据量的自适应计算，以及基于交互操作的动态分辨率加载。
3.根据权利要求2所述的一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，其特征在于：
基于视觉显示需求和数据量的自适应计算进一步包括，
1)计算显示空间中的最佳显示点数；
2)根据总数据量和最佳显示点数进行比例抽取，实现数据全集的抽样显示。
4.根据权利要求2所述的一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，其特征在于：
基于交互操作的动态分辨率加载进一步包括，针对区域放大显示，通过选取区域的待显示数据量和显示空间实际支持的数据量的比例，进行再次数据加载，以此方式逐步提高数据显示的分辨率，直至最高分辨率。
5.根据权利要求1或2或3或4或5所述的一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法，其特征在于：采用多级缓存的方式，对每一次显示对应的分辨率数据进行存储。
CN202211725556.8A 2022-12-30 2022-12-30 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法 Active CN116069833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211725556.8A CN116069833B (zh) 2022-12-30 2022-12-30 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211725556.8A CN116069833B (zh) 2022-12-30 2022-12-30 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法

Publications (2)

Publication Number Publication Date
CN116069833A true CN116069833A (zh) 2023-05-05
CN116069833B CN116069833B (zh) 2024-04-19

Family

ID=86183155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211725556.8A Active CN116069833B (zh) 2022-12-30 2022-12-30 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法

Country Status (1)

Country Link
CN (1) CN116069833B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063611A1 (en) * 2003-09-24 2005-03-24 Yuusuke Toki Super-resolution processor and medical diagnostic imaging apparatus
US20060233448A1 (en) * 2005-03-31 2006-10-19 Euclid Discoveries Llc Apparatus and method for processing video data
DE102009042463A1 (de) * 2009-09-23 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur 3D-Modellierung von Objekten
CN103645873A (zh) * 2013-12-06 2014-03-19 北京首钢自动化信息技术有限公司 一种在趋势曲线系统中实现高效数据缓存的方法
CN103995684A (zh) * 2014-05-07 2014-08-20 广东粤铁瀚阳科技有限公司 超高分辨率平台下的海量影像并行处理显示方法及系统
CN104270437A (zh) * 2014-09-25 2015-01-07 中国科学院大学 分布式混合架构的海量数据处理和可视化系统及方法
US9454554B1 (en) * 2011-05-12 2016-09-27 Bentley Systems, Incorporated View dependent query of multi-resolution clustered 3D dataset
CN108664619A (zh) * 2018-05-14 2018-10-16 江西理工大学 一种类瓦片技术的海量线划地形图本原存储与调度方法
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统
CN110532300A (zh) * 2019-08-30 2019-12-03 南京大学 一种用于人工智能数据分析的大数据高保真可视化方法
CN110990612A (zh) * 2019-12-13 2020-04-10 特力惠信息科技股份有限公司 一种矢量大数据快速显示的方法及终端
CN112069135A (zh) * 2020-09-17 2020-12-11 北京中恒利华石油技术研究所 一种海量地震数据可视化存储方法
CN115357740A (zh) * 2022-08-09 2022-11-18 杭州涂鸦信息技术有限公司 大规模数据的可视化方法、装置和电子装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063611A1 (en) * 2003-09-24 2005-03-24 Yuusuke Toki Super-resolution processor and medical diagnostic imaging apparatus
US20060233448A1 (en) * 2005-03-31 2006-10-19 Euclid Discoveries Llc Apparatus and method for processing video data
DE102009042463A1 (de) * 2009-09-23 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur 3D-Modellierung von Objekten
US9454554B1 (en) * 2011-05-12 2016-09-27 Bentley Systems, Incorporated View dependent query of multi-resolution clustered 3D dataset
CN103645873A (zh) * 2013-12-06 2014-03-19 北京首钢自动化信息技术有限公司 一种在趋势曲线系统中实现高效数据缓存的方法
CN103995684A (zh) * 2014-05-07 2014-08-20 广东粤铁瀚阳科技有限公司 超高分辨率平台下的海量影像并行处理显示方法及系统
CN104270437A (zh) * 2014-09-25 2015-01-07 中国科学院大学 分布式混合架构的海量数据处理和可视化系统及方法
CN108664619A (zh) * 2018-05-14 2018-10-16 江西理工大学 一种类瓦片技术的海量线划地形图本原存储与调度方法
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统
CN110532300A (zh) * 2019-08-30 2019-12-03 南京大学 一种用于人工智能数据分析的大数据高保真可视化方法
CN110990612A (zh) * 2019-12-13 2020-04-10 特力惠信息科技股份有限公司 一种矢量大数据快速显示的方法及终端
CN112069135A (zh) * 2020-09-17 2020-12-11 北京中恒利华石油技术研究所 一种海量地震数据可视化存储方法
CN115357740A (zh) * 2022-08-09 2022-11-18 杭州涂鸦信息技术有限公司 大规模数据的可视化方法、装置和电子装置

Also Published As

Publication number Publication date
CN116069833B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN109523520B (zh) 一种基于深度学习的染色体自动计数方法
KR20190028286A (ko) 번-인 통계 및 번-인 보상
CN116069833B (zh) 一种基于动态多层级分辨率自适应分析的海量数据处理与可视化方法
GB2518902A (en) Early depth testing in graphics processing
CN105321113A (zh) 一种基于宏观因子的压力测试客户端
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN106485654B (zh) 一种矢量数据的处理方法及装置
CN111433841B (zh) 显示面板Mura补偿方法、计算机可读存储介质及显示装置
CN114419430A (zh) 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN109658218A (zh) 贷款拆单方法、装置、设备及可读存储介质
CN113221855A (zh) 基于尺度敏感损失与特征融合的小目标检测方法和系统
CN110136187B (zh) 一种基于压缩感知观测矩阵分割减小关联成像计算开销的方法
CN113269882B (zh) 一种基于虚拟纹理的地形渲染方法及系统
CN114240949A (zh) 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
CN111597957B (zh) 基于形态学图像处理的变压器绕组故障诊断方法
CN116152146A (zh) 一种基于gan和cnn的铸铝气缸盖力学性能预测方法
CN116188560A (zh) 一种基于金相图片的晶粒自动识别及精确量化表征方法
CN114973109A (zh) 基于数字孪生的工作效率显示方法、装置及设备
CN111596979B (zh) 一种序列数据像素可视化自适应视觉映射调整方法及系统
CN114297052A (zh) 测试数据生成方法及装置
CN110826308A (zh) 财务报表生成方法、装置、计算机设备和可读存储介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
JPH11160428A (ja) 発雷予測装置
CN117351163B (zh) 生态格局分析可视化方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant