CN115587140B - 基于大数据的电子工程项目数据可视化管理方法及装置 - Google Patents
基于大数据的电子工程项目数据可视化管理方法及装置 Download PDFInfo
- Publication number
- CN115587140B CN115587140B CN202211575726.9A CN202211575726A CN115587140B CN 115587140 B CN115587140 B CN 115587140B CN 202211575726 A CN202211575726 A CN 202211575726A CN 115587140 B CN115587140 B CN 115587140B
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- electronic engineering
- model
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- 238000013079 data visualisation Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 27
- 238000007418 data mining Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000005065 mining Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000000547 structure data Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据可视化管理领域,揭露一种基于大数据的电子工程项目数据可视化管理方法及装置,方法包括:获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型;根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型;对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据。本发明在于提高数据可视化的管理效率。
Description
技术领域
本发明涉及数据可视化管理领域,尤其涉及一种基于大数据的电子工程项目数据可视化管理方法及装置。
背景技术
随着物联网与大数据的快速发展,数据可视化管理理念也逐渐广泛应用于各个领域。数据可视化管理是数据、图形、图像学领域的一个理论,它利用计算机技术将若干复杂的、多样的媒体信号转换成图形或图像,使之更加简化,虚拟现实技术就是基于可视化技术的一个典型应用。数据可视化管理可以直观的对数据进行宏观展现,提高对数据的全面把控,提升数据的可用性与易用性。
但是,数据可视化管理提高对数据全面把控,提升数据可用性与易用性的同时,也存在大数据前提下数据可视化转换效率低下、数据可视化模型不够精准不够完善的问题,这给数据可视化管理的发展带来了极大的挑战和阻碍。
发明内容
为了解决上述技术问题,本发明提供了一种基于大数据的电子工程项目数据可视化管理方法及装置,其主要目的在于提高数据可视化的管理效率。
第一方面,本发明提供了一种基于大数据的电子工程项目数据可视化管理方法,包括:
获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型;
根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型;
对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据。
在第一方面的一种可能实现方式中,所述获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,包括:
根据预设数据集成模块对所述工程项目数据进行集成,得到项目集成数据;
根据预设结构划分模块对所述项目集成数据进行结构划分,得到项目结构数据;
根据预设数据清洗模块对所述项目结构数据进行数据清洗,得到目标数据。
在第一方面的一种可能实现方式中,所述对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,包括:
根据预设数据分类模型对所述目标数据进行分类,得到分类数据;
根据预设元数据提取模型对所述分类数据进行元数据提取,得到分类元数据;
根据预设分布式存储模型对所述分类元数据进行分布式存储,得到数据仓库。
在第一方面的一种可能实现方式中,所述对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型,包括:
根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型;
根据预设三维数据分布式计算框架对所述数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型;
对所述二维模型和所述三维模型进行模型融合,得到所述存储数据的概念模型。
在第一方面的一种可能实现方式中,所述根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型,包括:
通过下述公式对所述电子工程数据仓库中的二维类电子工程元数据进行挖掘计算:
在第一方面的一种可能实现方式中,所述根据预设三维数据分布式计算框架对所述数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型,包括:
通过下述公式对所述电子工程数据仓库中的三维类电子工程元数据进行挖掘计算:
其中,n表示所述数据仓库中待计算三维元数据集,i表示所述三维数据数字物理
量,k、j分别表示所述三维数据空间向量,Tk表示空间数字映射、Pk表示数字空间镜像,表示虚拟空间映射,Tkj表示所述三维元数据空间向量连续采集,Pk·Pj
表示所述采集空间向量虚拟孪生坐标。
在第一方面的一种可能实现方式中,所述根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型,包括:
根据所述概念模型的数据解析模块对所述存储数据进行数据解析,得到解析数据;
根据所述概念模型的关系映射模块对所述解析数据进行识别,得到识别结果,根据所述识别结果,建立所述解析数据与所述概念模型的映射关系;
结合所述映射关系,利用所述概念模型的数据建模模块进行数据建模,得到所述存储数据的目标概念模型。
第二方面,本发明提供了一种基于大数据的电子工程项目数据可视化管理装置,所述装置包括:
数据预处理模块,用于获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
数据存储模块,用于对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
数据挖掘模块,用于对所述电子工程数据仓库中的所述分类电子工程元数据进行数据挖掘,得到所述电子工程元数据概念模型的建模模板;
可视化建模模块,用于根据所述电子工程元数据的概念模型建模模板对所述电子工程项目数据进行数据建模,得到所述电子工程项目数据的概念模型;
模型渲染模块,用于对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据。
第三方面,本发明提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的基于大数据的电子工程项目数据可视化管理方法。
第四方面,本发明提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于大数据的电子工程项目数据可视化管理方法。
与现有技术相比,本方案的技术原理及有益效果在于:
本发明实施例首先通过获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,用于对多源异构的大数据进行资源整合,保证所述电子工程项目数据的全面性和优质性,其次,本发明实施例通过对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,有效提升所述电子工程项目大数据的存储效率,同时很好地提升数据价值,保证后续数据挖掘效果良好的前提;进一步地,本发明实施例通过对所述电子工程数据仓库中的所述分类电子工程元数据进行数据挖掘,保障后续建立可视化数据概念模型的前提;进一步地,本发明实施例根据所述电子工程元数据的概念模型建模模板对所述电子工程项目数据进行数据建模,用于确保所述电子工程项目数据可视化模型的准确性和完善性;进一步地,本发明实施例通过对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据,确保对所述电子工程项目数据的直观呈现和全面把控,保证所述电子工程项目数据的可用性和易用性。因此,本发明实施例提出的一种基于大数据的电子工程项目数据可视化管理方法、装置、设备及介质,在于提高数据可视化的管理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于大数据的电子工程项目数据可视化管理方法的流程示意图;
图2为本发明一实施例中图1提供的一种基于大数据的电子工程项目数据可视化管理方法的其中一个步骤的流程示意图;
图3为本发明一实施例中图1提供的一种基于大数据的电子工程项目数据可视化管理方法的另外一个步骤的流程示意图;
图4为本发明一实施例提供的一种基于大数据的电子工程项目数据可视化管理装置的模块示意图;
图5为本发明一实施例提供的基于大数据的电子工程项目数据可视化管理方法的电子设备的内部结构示意图。
图中,400-基于大数据的电子工程项目数据可视化管理装置;401-数据预处理模块;402-数据存储模块;403-数据挖掘模块;404-可视化建模模块;405-模型渲染模块;50-处理器;51-存储器;52-通信总线;53-通信接口。
具体实施方式
应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种数据可视化管理方法,所述数据可视化管理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述数据可视化管理方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示,是本发明一实施例提供的一种数据可视化管理方法的流程示意图。其中,图1中描述的一种数据可视化管理方法包括:
S1、获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据。
本发明实施例通过获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,用于对多源异构的大数据进行资源整合,保证所述工程项目数据的全面性和优质性。其中,所述工程项目是指光电器件、电路系统、微波天线、通信理论、信号检测五大领域的相关软硬件项目,所述工程项目数据是指电子工程项目产生的具有海量数据规模、数据类型多样的、数据快速流转等特征的数据信息;所述预处理是指能对所述工程项目数据进行数据集成、结构划分、数据清洗的数据处理方式,所述目标数据是指经过所述预处理数据处理方式处理后得到的全面优质的电子工程数据。
作为本发明的一个实施例,获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,包括:根据预设数据集成模块对所述工程项目数据进行集成,得到项目集成数据,根据预设结构划分模块对所述项目集成数据进行结构划分,得到项目结构数据,根据预设数据清洗模块对所述项目结构数据进行数据清洗,得到目标数据。
其中,所述预设数据集成模块是指能将多个源头产生的所述工程数据进行数据资源统一整合的一种数据集成方式;所述预设结构划分模块是指能从数据结构属性层面对各种数据类型进行区分的一种数据处理方式,例如:对所述电子工程项目中文本、数字、图像、音频、视频、遥感、信号、微波等结构化和非结构化数据进行结构划分,所述项目结构数据是指所述结构划分模块划分后得到的结构化和非结构化数据;所述预设数据清洗模块是指能对各种数据结构类型数据进行识别、过滤错误数据的一种数据清洗方式,例如:对存在重复值,缺失值,异常值,无效信息,数据内容不规范,数据格式不规范的文本数据进行清洗,对残缺,光线模糊、分辨率错误、角度错误的图像信息进行清洗,对信号、坐标存在丢失的三维数据信息进行清洗。
进一步地,本发明一可选实施中,利用Hadoop作为大数据仓库对所述电子工程项目数据进行统一管理,利用Spark、Storm、Flink技术对所述电子工程项目进行计算完成大数据集成;利用预设的数组、堆、栈、队列、树、散列、链表、图数据结构模板对所述电子工程集成数据进行结构划分,得到电子工程结构数据;通过包含parse_url_tuple、regexp_replace、rank over、row_number() over、count() over()数据处理函数的对文本数据进行数据清洗,通过卷积神经特征网络和分类网络对图像数据进行数据清洗,通过PowerMap、Power Pivot、Power View对三维数据进行数据清洗。
S2、对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库。
本发明实施例通过对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,有效提升所述目标数据的存储效率,同时很好地提升数据价值,保证后续数据挖掘效果良好的前提。其中,所述分类存储是指能从数据效果层面对所述电子工程项目目标数据进行分类,并根据所述分类结果将所述电子工程项目目标数据分布式存储到关系型数据库、分析型数据库和nosql数据库,所述数据仓库是指分类存储后多种不同数据库合集。
作为本发明的一个实施例,所述对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,包括:根据预设数据分类模型对所述目标数据进行分类,得到分类数据,根据预设元数据提取模型对所述分类数据进行元数据提取,得到分类元数据,根据预设分布式存储模型对所述分类元数据进行分布式存储,得到数据仓库。
其中,所述数据分类模型是指根据所述目标数据中数据的逻辑对所述目标数据进行分类、聚类、关联的一种数据分类方式,例如:将存在明显统计特征的报表类、时段类数据分为分析类数据,将存在实体关系类特征的数据分为关系类数据,将同时存在数字类、信息类特征的数据分为非结构类数据;所述元数据提取模型是指能对所述目标数据进行解释扫描后得到概况数据的一种数据提取方式,所述分类元数据是指从所述目标数据中提取出来的优质概况数据;所述分布式存储模型是指对所述分类电子工程元数据进行存储处理的一种高效的数据存放方式。
进一步地,本发明一可选实施中,利用集合结构模型、线性结构模型、树状结构模型、网络结构模型对所述电子工程目标数据进行分类,得到分类电子工程数据;利用空间关系数据库与分布式NoSQL数据库相结合的方式构建数据管理服务,利用sp_columns、sp_databases、sp_fkeys、sp_stored_procedures元数据系统存储过程结合columnproperty、databasepropertyex、fn_listextendedproperty 元数据系统提取函数对所述分类电子工程数据进行元数据提取,得到分类电子工程元数据;进一步地,利用GDAL技术处理栅格和矢量空间科学数据,利用多层次细节模型LOD对遥感图像、数字高程数据DEM等类型的数据进行处理,采取分块读取的策略以及多线程技术分类电子工程元数据进行并行化处理,得到电子工程数据仓库。
S3、对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型。
本发明实施例对所述数据仓库中的所述分类电子工程元数据进行数据挖掘,得到所述存储数据的概念模型,保障后续建立可视化数据概念模型的前提。其中,所述数据挖掘是指从所述电子工程数据仓库大量的数据中获取有效、新颖、潜在可用、最终可理解的数据并对其进行相关计算得到预期结果的数据处理方式,所述所述电子工程元数据概念模型的建模模板是指所述电子工程数据可视化模型具体通过何种方式以及逻辑创建。
作为本发明的一个实施例,参阅图2所示,所述对所述电子工程数据仓库中的所述分类电子工程元数据进行数据挖掘,得到所述电子工程元数据概念模型的建模模板,包括:
S201、根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型;
S202、根据预设三维数据分布式计算框架对所述数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型;
S203、对所述二维模型和所述三维模型进行模型融合,得到所述存储数据的概念模型。
其中,所述二维数据是指可以建立平面模型的平面数据,例如:可以分类统计的数据、存在实体关系的数据,所述二维数据分布式计算框架是指根据某种算法对所述二维数据进行高效计算的一种计算方式,所述二维数据分布式计算框架包括但不限于:Alibaba-datawork、Alibaba-odisbase、Neo4j-APOC、Pregel、Giraph、Gemini、KnightKing、GraphX等;所述三维数据是指可以建立立体模型的三维坐标数据,例如:XR、MR、ARVR、卫星等技术产生的三维数据,所述三维数据分布式计算框架是指对三维数据进行三维空间的映射得到仿真场景模型的一种计算方法,所述三维数据分布式计算框架包括:Modulus孪生仿真框架、mms3D-DT程序框架等。
进一步地,本发明一可选实施例中,所述根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型,包括:
通过下述公式对所述电子工程数据仓库中的二维类电子工程元数据进行挖掘计算:
进一步地,本发明一可选实施例中,所述根据预设三维数据分布式计算框架对所述数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型,包括:
通过下述公式对所述电子工程数据仓库中的三维类电子工程元数据进行挖掘计算:
其中,n表示所述数据仓库中待计算三维元数据集,i表示所述三维数据数字物理
量,k、j分别表示所述三维数据空间向量,Tk表示空间数字映射、Pk表示数字空间镜像,表示虚拟空间映射,Tkj表示所述三维元数据空间向量连续采集,
Pk·Pj表示所述采集空间向量虚拟孪生坐标。
进一步地,本发明一可选实施例中,根据上述二维数据分布式计算框架核心算法以及三维数据分布式计算框架核心算法对所述数据仓库中的元数据进行计算,得到所述分类元数据的概念模型。
S4、根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型。
本发明实根据根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型,用于确保所述存储数据可视化模型的准确性和完善性。其中,所述目标概念模型是指所述电子工程项目数据具体可视化展示形式,例如:图表可视化,关系节点图数据可视化,3d仿真可视化等。
作为本发明的一个实施例,参阅图3所示,所述根据所述电子工程元数据的概念模型建模模板对所述电子工程项目数据进行数据建模,得到所述电子工程项目数据的概念模型,包括:
S301、根据所述概念模型的数据解析模块对所述存储数据进行数据解析,得到解析数据;
S302、根据所述概念模型的关系映射模块对所述解析数据进行识别,得到识别结果,根据所述识别结果,建立所述解析数据与所述概念模型的映射关系;
S303、结合所述映射关系,利用所述概念模型的数据建模模块进行数据建模,得到所述存储数据的目标概念模型。
其中,所述数据解析模块是指能从数据结构特征层面以及数据逻辑特征层面对数据进行解析预估,并根据解析预估结果对数据进行维度判别、特征标记的一种数据预测手段,所述解析结果数据是指所述解析模块解析后得到具体的数据维度结果和特征结果;所述关系映射模块是指能自动识别所述数据维度结果和特征结果,并对所述识别结果与预设结果进行匹配绑定,建立映射关系的一种面向对象化数据处理方式;所述数据建模模块是指可以并行执行的任务调度方式。
进一步地,本发明一可选实施例中,所述建模模板的数据解析模块通过趋势预测法结合回归分析法对所述电子工程项目数据进行数据解析,从数据结构层面和逻辑层面解析得到所述电子工程项目数据的数据维度和特征;通过ToolFK对所述解析结果数据进行识别,通过Arcgis技术对所述识别的结果进行要素提取,通过Lucene搜索引擎在所述电子工程项目数据的概念模型中对所述要素提取结果进行检索,检索成功后建立数据与模板的映射关系;通过LOD无缝镶嵌、基于线程池的多线程并行调度及三维数据剪裁多重机制结合所述映射关系进行数据建模,得到所述电子工程项目数据的概念模型。
S5、对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据。
本发明实施例通过对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据,确保对所述存储数据的直观呈现和全面把控,保证所述存储数据的可用性和易用性。其中,所述模型渲染是指将所述目的概念模型转换为数字模型,并通过前端技术以及3d技术对所述数字模型进行可视化呈现。
作为本发明的一个实施例,所述对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据,包括:根据预设分类指标库对所述存储数据的概念模型进行分类,得到分类结果;若所述分类结果为二维概念模型,根据前端技术对所述二维概念模型进行渲染,得到二维可视化存储数据;若所述分类结果为三维概念模型,根据三维渲染算法对所述三维概念模型进行计算,得到三维可视化储存数据。
其中,所述预设分类指标库是指含有所述概念模型特征指标的一类合集,在所述分类指标库中查询所述概念模型特征,根据返回的查询结果将所述概念模型分为二维概念模型或三维概念模型,所述可视化储存数据是指将所述工程项目数据通过图表、E-R图、3d效果图的形式进行直观展示。
进一步地,本发明一可选实施例中,通过MySql关系数据库存储预设概念模型分类指标,并在所述MySql关系数据库中模糊查询所述概念模型的指标项,根据返回的查询结果对所述概念模型进行区分;通过Ehcarts、Highcharts、neo4j、vis插件对所述二维概念模型进行渲染,得到二维可视化电子工程项目数据。
进一步地,本发明一可选实施例中,通过如下三维渲染算法对所述三维概念模型进行渲染计算:
本发明实施例首先通过获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,用于对多源异构的大数据进行资源整合,保证所述电子工程项目数据的全面性和优质性,其次,本发明实施例通过对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,有效提升所述电子工程项目大数据的存储效率,同时很好地提升数据价值,保证后续数据挖掘效果良好的前提;进一步地,本发明实施例通过对所述电子工程数据仓库中的所述分类电子工程元数据进行数据挖掘,保障后续建立可视化数据概念模型的前提;进一步地,本发明实施例根据所述电子工程元数据的概念模型建模模板对所述电子工程项目数据进行数据建模,用于确保所述电子工程项目数据可视化模型的准确性和完善性;进一步地,本发明实施例通过对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据,确保对所述电子工程项目数据的直观呈现和全面把控,保证所述电子工程项目数据的可用性和易用性。因此,本发明实施例提出的一种数据可视化管理方法,在于提高数据可视化的管理效率。
如图4所示,是本发明一种基于大数据的电子工程项目数据可视化管理装置的功能模块图。
本发明所述一种基于大数据的电子工程项目数据可视化管理装置400可以安装于电子设备中。根据实现的功能,所述一种基于大数据的电子工程项目数据可视化管理装置可以包括数据预处理模块401、数据存储模块402、数据挖掘模块403、可视化建模模块404以及模型渲染模块405。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本发明实施例中,关于各模块/单元的功能如下:
所述数据预处理模块401,用于获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
所述数据存储模块402,用于对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
所述数据挖掘模块403,用于对所述电子工程数据仓库中的所述分类电子工程元数据进行数据挖掘,得到所述电子工程元数据概念模型的建模模板;
所述可视化建模模块404,用于根据所述电子工程元数据的概念模型建模模板对所述电子工程项目数据进行数据建模,得到所述电子工程项目数据的概念模型;
所述模型渲染模块405,用于对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据。
详细地,本发明实施例中所述一种基于大数据的电子工程项目数据可视化管理装置400中的所述各模块在使用时采用与上述的图1至图3中所述的一种数据可视化管理方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,是本发明实现一种数据可视化管理方法的电子设备的结构示意图。
所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53,还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序,如电子工程项目数据可视化管理程序。
其中,所述处理器50在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器50是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器51内的程序或者模块(例如执行电子工程项目数据可视化管理程序等),以及调用存储在所述存储器51内的数据,以执行电子设备的各种功能和处理数据。
所述存储器51至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器51在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器51在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器51不仅可以用于存储安装于电子设备的应用软件及各类数据,例如一种电子工程项目数据可视化管理程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
所述通信接口53用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,所述用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器50逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利发明范围上并不受此结构的限制。
所述电子设备中的所述存储器51存储的电子工程项目数据可视化管理程序是多个计算机程序的组合,在所述处理器50中运行时,可以实现:
获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型;
根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型;
对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据。
具体地,所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型;
根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型;
对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于大数据的电子工程项目数据可视化管理方法,其特征在于,所述方法包括:
获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型;
根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型;
对所述目标概念模型进行模型渲染,得到可视化电子工程项目数据;
所述对所述数据仓库中的所述存储数据进行数据挖掘,得到所述存储数据的概念模型,包括:
根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型;
根据预设三维数据分布式计算框架对所述数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型;
对所述二维模型和所述三维模型进行模型融合,得到所述存储数据的概念模型;
所述根据预设二维数据分布式计算框架对所述数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型,包括:
通过下述公式对电子工程数据仓库中的二维类电子工程元数据进行挖掘计算:
2.根据权利要求1所述的方法,其特征在于,所述获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据,包括:
根据预设数据集成模块对所述工程项目数据进行集成,得到项目集成数据;
根据预设结构划分模块对所述项目集成数据进行结构划分,得到项目结构数据;
根据预设数据清洗模块对所述项目结构数据进行数据清洗,得到目标数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库,包括:
根据预设数据分类模型对所述目标数据进行分类,得到分类数据;
根据预设元数据提取模型对所述分类数据进行元数据提取,得到分类元数据;
根据预设分布式存储模型对所述分类元数据进行分布式存储,得到数据仓库。
5.根据权利要求1所述的方法,其特征在于,所述根据所述存储数据的概念模型对所述存储数据进行数据建模,得到所述存储数据的目标概念模型,包括:
根据所述概念模型的数据解析模块对所述存储数据进行数据解析,得到解析数据;
根据所述概念模型的关系映射模块对所述解析数据进行识别,得到识别结果,根据所述识别结果,建立所述解析数据与所述概念模型的映射关系;
结合所述映射关系,利用所述概念模型的数据建模模块进行数据建模,得到所述存储数据的目标概念模型。
6.一种基于大数据的电子工程项目数据可视化管理装置,其特征在于,所述装置包括:
数据预处理模块,用于获取待管理的工程项目数据,对所述工程项目数据进行预处理,得到目标数据;
数据存储模块,用于对所述目标数据进行分类存储,得到存储数据,构建所述存储数据的数据仓库;
数据挖掘模块,用于对电子工程数据仓库中的分类电子工程元数据进行数据挖掘,得到电子工程元数据概念模型的建模模板;
可视化建模模块,用于根据所述电子工程元数据概念模型的建模模板对所述电子工程项目数据进行数据建模,得到所述电子工程项目数据的概念模型;
模型渲染模块,用于对所述电子工程项目数据的概念模型进行模型渲染,得到可视化电子工程项目数据;
所述对所述电子工程数据仓库中的分类电子工程元数据进行数据挖掘,得到电子工程元数据的概念模型,包括:
根据预设二维数据分布式计算框架对所述电子工程数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型;
根据预设三维数据分布式计算框架对所述电子工程数据仓库中的三维类电子工程元数据进行挖掘计算,得到三维模型;
对所述二维模型和所述三维模型进行模型融合,得到所述电子工程元数据的概念模型;
所述根据预设二维数据分布式计算框架对所述电子工程数据仓库中的二维类电子工程元数据进行挖掘计算,得到二维模型,包括:
通过下述公式对所述电子工程数据仓库中的二维类电子工程元数据进行挖掘计算:
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任意一项所述的基于大数据的电子工程项目数据可视化管理方法。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的基于大数据的电子工程项目数据可视化管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211575726.9A CN115587140B (zh) | 2022-12-09 | 2022-12-09 | 基于大数据的电子工程项目数据可视化管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211575726.9A CN115587140B (zh) | 2022-12-09 | 2022-12-09 | 基于大数据的电子工程项目数据可视化管理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115587140A CN115587140A (zh) | 2023-01-10 |
CN115587140B true CN115587140B (zh) | 2023-03-28 |
Family
ID=84783158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211575726.9A Active CN115587140B (zh) | 2022-12-09 | 2022-12-09 | 基于大数据的电子工程项目数据可视化管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115587140B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133734A (zh) * | 2017-12-21 | 2018-06-08 | 广东工业大学 | 一种医疗费用大数据的分析方法、装置及设备 |
CN110069551A (zh) * | 2019-04-25 | 2019-07-30 | 江南大学 | 基于Spark的医疗设备运维信息挖掘分析系统及其使用方法 |
CN110598065A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯云计算(北京)有限责任公司 | 一种数据挖掘方法、装置和计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7567972B2 (en) * | 2003-05-08 | 2009-07-28 | International Business Machines Corporation | Method and system for data mining in high dimensional data spaces |
US7836460B2 (en) * | 2005-12-12 | 2010-11-16 | International Business Machines Corporation | Service broker realizing structuring of portlet services |
-
2022
- 2022-12-09 CN CN202211575726.9A patent/CN115587140B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133734A (zh) * | 2017-12-21 | 2018-06-08 | 广东工业大学 | 一种医疗费用大数据的分析方法、装置及设备 |
CN110069551A (zh) * | 2019-04-25 | 2019-07-30 | 江南大学 | 基于Spark的医疗设备运维信息挖掘分析系统及其使用方法 |
CN110598065A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯云计算(北京)有限责任公司 | 一种数据挖掘方法、装置和计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Chaoyang Xu 等.Deep image clustering by fusing contrastive learning and neighbor relation mining.《Knowledge-Based Systems》.2022,1-9. * |
徐燕 等. 融合隐私保护的车辆轨迹数据停留点挖掘方法.《计算机系统应用》.2022,329-338. * |
Also Published As
Publication number | Publication date |
---|---|
CN115587140A (zh) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9965821B2 (en) | Fully parallel in-place construction of 3D acceleration structures in a graphics processing unit | |
US9396512B2 (en) | Fully parallel construction of k-d trees, octrees, and quadtrees in a graphics processing unit | |
US11157550B2 (en) | Image search based on feature values | |
CN111831636A (zh) | 一种数据处理方法、装置、计算机系统及可读存储介质 | |
CN113449187A (zh) | 基于双画像的产品推荐方法、装置、设备及存储介质 | |
JP7242994B2 (ja) | ビデオイベント識別方法、装置、電子デバイス及び記憶媒体 | |
Ku et al. | SHREC 2021: 3D point cloud change detection for street scenes. | |
CN114138784A (zh) | 基于存储库的信息溯源方法、装置、电子设备及介质 | |
CN114398557A (zh) | 基于双画像的信息推荐方法、装置、电子设备及存储介质 | |
CN110489613B (zh) | 协同可视数据推荐方法及装置 | |
CN116662839A (zh) | 基于多维智能采集的关联大数据聚类分析方法及装置 | |
US10628421B2 (en) | Managing a single database management system | |
CN114049568A (zh) | 基于图像比对的标的物形变检测方法、装置、设备及介质 | |
CN115587140B (zh) | 基于大数据的电子工程项目数据可视化管理方法及装置 | |
CN111651625A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN115186188A (zh) | 基于行为分析的产品推荐方法、装置、设备及存储介质 | |
CN115409041A (zh) | 一种非结构化数据提取方法、装置、设备及存储介质 | |
CN114840631A (zh) | 空间文本查询方法、装置、电子设备及存储介质 | |
CN115062023A (zh) | 宽表优化方法、装置、电子设备及计算机可读存储介质 | |
CN111177450A (zh) | 一种图像检索云识别方法、系统及计算机可读存储介质 | |
Miao et al. | SceneGraphLoc: Cross-Modal Coarse Visual Localization on 3D Scene Graphs | |
Jiang et al. | Gvos: a general system for near-duplicate video-related applications on storm | |
CN109739839A (zh) | 数据空值处理方法、装置及终端设备 | |
CN117874498B (zh) | 基于数据湖的智慧林业大数据系统、方法、设备及介质 | |
CN112214556B (zh) | 标签生成方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 610000 floor 6, unit 1, building 4, Fengde International Plaza, No. 6, hanghang Road, Wuhou District, Chengdu, Sichuan Patentee after: New Yingshun Information Technology Co.,Ltd. Address before: 610000 floor 6, unit 1, building 4, Fengde International Plaza, No. 6, hanghang Road, Wuhou District, Chengdu, Sichuan Patentee before: SICHUAN XINYINGSHUN INFORMATION TECHNOLOGY CO.,LTD. |
|
CP01 | Change in the name or title of a patent holder |