CN108921423A - 实验管理与数据分析系统 - Google Patents
实验管理与数据分析系统 Download PDFInfo
- Publication number
- CN108921423A CN108921423A CN201810686000.XA CN201810686000A CN108921423A CN 108921423 A CN108921423 A CN 108921423A CN 201810686000 A CN201810686000 A CN 201810686000A CN 108921423 A CN108921423 A CN 108921423A
- Authority
- CN
- China
- Prior art keywords
- data
- experimental
- module
- management
- experiment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 116
- 238000007405 data analysis Methods 0.000 title claims abstract description 100
- 238000007726 management method Methods 0.000 claims abstract description 100
- 238000004458 analytical method Methods 0.000 claims abstract description 57
- 238000013523 data management Methods 0.000 claims abstract description 33
- 238000003556 assay Methods 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 23
- 238000012795 verification Methods 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 14
- 210000000352 storage cell Anatomy 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 claims description 2
- 238000009412 basement excavation Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 7
- 238000013079 data visualisation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013383 initial experiment Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012942 design verification Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- XUFQPHANEAPEMJ-UHFFFAOYSA-N famotidine Chemical compound NC(N)=NC1=NC(CSCCC(N)=NS(N)(=O)=O)=CS1 XUFQPHANEAPEMJ-UHFFFAOYSA-N 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
Abstract
本发明提供了一种实验管理与数据分析系统，所述系统包括：实验数据管理模块，被配置为获取原始实验数据并对所述原始实验数据进行数据管理以生成标准化实验数据；数据分析模块，被配置为根据实验需求选择相应的算法对标准化实验数据进行分析；报告生成模块，被配置为生成与标准化实验数据的分析结果相应的数据分析报告；实验管理模块，被配置为以实验全寿命周期为主线，对实验数据管理模块、数据分析模块和报告生成模块进行统一管理。本发明将实验管理与数据分析的相关系列业务集成于一体，以大幅提升各项业务效率。
Description
技术领域
本发明涉及风电技术领域，更具体地讲，涉及一种实验管理与数据分析系统。
背景技术
目前，风电行业的实验种类和实验数据日益增多。一般来说，从实验对象上，实验种类可分为零部件实验、子系统实验、整机实验和风电场实验，从实验类型上可分为理化实验、机械性能实验和电气性能实验，从实验目的上可分为设计验证实验、型式认证实验和研究探索性实验等。由于专业性不同，这些实验的执行专业团队、实验标准、实验方法和实验工具等也不相同，因此，造成了实验产生的数据格式、数据的分析方法和数据展示的需求也是千差万别。
现有技术中，对风电行业的实验进行管理的侧重点多为实验数据、分析过程和结果报告的归档管理、简单数据分析、数据网络传输和数据库等方面的管理，而风电行业专业复杂度较高，不同的实验数据分析往往需要集中调度多个计算平台的复杂分析算法，目前类似技术大多只提供了基础工具，远不足以支撑风电行业的分析业务。
发明内容
本发明针对现有技术存在的以上问题，提出了一种实验管理与数据分析系统。
根据本发明的一方面，提供了一种实验管理与数据分析系统，包括：实验数据管理模块，被配置为获取原始实验数据并对所述原始实验数据进行数据管理以生成标准化实验数据；数据分析模块，被配置为根据实验需求选择相应的算法对标准化实验数据进行分析；报告生成模块，被配置为生成与标准化实验数据的分析结果相应的数据分析报告；实验管理模块，被配置为以实验全寿命周期为主线，对实验数据管理模块、数据分析模块和报告生成模块进行统一管理。
优选地，所述实验数据管理模块被配置为：数据标准化单元，被配置为将原始实验数据转换成统一格式的标准化数据并生成标准化数据文件；数据上传单元，被配置为将标准化数据文件和原始实验数据进行打包以生成实验数据包，并将实验数据包存储至本地服务器和/或上传至公有云平台；数据存储单元，被配置为对存储至本地服务器和/或上传至公有云平台的实验数据包进行分类存储；数据查询单元，被配置为通过关键字查询和综合查询的方式对所述数据存储单元内的所有数据进行查询以得到标准化实验数据。
优选地，所述标准化数据文件为多级数据文件，包括文件级属性数据、通道组级属性数据、通道级属性数据和通道级数据，所述实验数据包包括标准化数据文件、原始实验数据文件、图片、视频、音频、实验数据包描述属性表和标准化数据文件内部属性表，所述分类存储包括：将实验数据包数据存储至文件服务器，从实验数据包中的标准化数据文件中分离出通道级数据并将分离出的通道级数据存储至实验数据数据库，以及将实验数据包中包括实验属性和文件属性的索引属性数据存储至索引数据库，所述标准化实验数据为通道级数据中的特定时序段内的数据。
优选地，所述数据分析模块被配置为：根据实验需求创建数据分析项目，其中，所述数据分析项目包括数据源、算法、数据分析结果和报告展示；对数据源数据进行相应算法的数据分析，其中，所述数据源数据包括标准化实验数据。
优选地，所述数据分析模块还被配置为：根据实验需求调用分析流程模板，其中，所述分析流程模板是用户根据数据分析项目进行自定义创建得出的分析模板，包括定义数据源、选择算法、设置算法参数和算法校验；根据调用的分析流程模板选择相应的算法并进行算法校验，当算法校验无误时，对数据源数据进行数据分析。
优选地，所述报告生成模块还被配置为生成与原始实验数据相对应的数据报告。
优选地，所述实验数据管理模块还包括：数据下载单元，将所述数据查询单元得出的数据按照用户的不同下载需求进行不同数据格式的下载。
优选地，所述系统还包括：多维度数据接入模块，被配置为提供多维度数据接入的接口，以向所述数据分析模块提供多维度数据，其中，所述多维度数据包括控制数据、设计数据、仿真数据、风机运行数据中的至少一个数据。
优选地，所述数据分析模块还被配置为：对接收的多维度数据进行分析，并通过将多维度数据的分析结果和标准化实验数据的分析结果进行对比以完成对标准化实验数据的对比验证和深度挖掘。
优选地，所述系统还包括：实验资源管理模块，被配置为对进行实验所需的资源设定进行集中式平台化管理，以提供资源台账管理、计量检定管理、实验环境管理、资源分类管理、样品管理、标准规范管理、资源日历管理、实验团队管理和资源使用管理中的至少一个。
优选地，所述系统还包括：展示模块，被配置为通过浏览器向用户展示在实验数据管理模块、数据分析模块和报告生成模块中产生的数据。
优选地，所述展示模块被配置为显示端，用于对原始实验数据、标准化实验数据、实验资源管理模块中的数据以及数据分析过程中的数据和数据分析结果数据进行自定义远程展示，其中，所述自定义远程展示通过曲线图、柱状图、饼图、瀑布图、雷达图、波形图中的至少一个方式进行展示。
优选地，所述实验管理模块还被配置为对所述多维度数据接入模块、所述实验资源管理模块和所述展示模块进行管理。
优选地，所述数据上传单元还被配置为：将实验报告、实验过程描述文档、数据分析报告、实验过程中控制系统记录数据和仿真数据打包至实验数据包并上传至公有云平台。
优选地，所述实验管理模块、所述实验资源管理模块、所述多维度数据接入模块和所述实验数据管理模块的数据标准化单元和数据上传单元分布在本地服务器上，所述数据分析模块、所述报告生成模块和所述实验数据管理模块的数据存储单元和数据查询单元分布在公有云平台上。
本发明将实验资源管理、实验准备、实验数据收集，实验数据标准化、实验数据管理、多维度复杂实验数据分析、自动化报告、数据可视化、实验数据与设计、仿真、运行数据的对比分析等一系列业务集成于一体，并将整个实验寿命周期的所有数据和业务部署到网络云端，所有用户的业务接口均通过浏览器接入，最大化降低个人电脑性能要求，大幅提升各项业务效率。
附图说明
下面将结合附图进行本发明的详细描述，本发明的上述特征和其它目的、特点和优点将会变得更加清楚，其中：
图1是本发明的实施例的实验管理与数据分析系统的框图；
图2是本发明的实施例的实验管理与数据分析系统的实验数据管理模块的框图；
图3是本发明的实施例的实验项目结构化梳理图；
图4是本发明的实施例的标准化数据文件结构图；
图5是本发明的实施例的实验管理与数据分析系统的硬件及服务器的部署架构图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。以下参照附图的描述包括各种特定细节以帮助理解，但是所述特定细节将仅被视为示例性的。因此，本领域普通技术人员将意识到，在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清晰和简要，可省略公知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅由发明者使用以使得能够清楚和一致地理解本发明。因此，本领域技术人员应该清楚的是，提供本发明的示例性实施例的以下描述仅是说明的目的，而不是限制由权利要求及其等同物限定的本发明的目的。
图1示出根据本发明的实施例的实验管理与数据分析系统的框图。
参照图1，实验管理与数据分析系统100包括实验数据管理模块101、数据分析模块102、报告生成模块103、展示模块104、实验管理模块105和实验资源管理模块106、多维度数据接入模块107。具体地，实验数据管理模块101被配置为获取原始实验数据并对原始实验数据进行数据管理以生成标准化实验数据。数据分析模块102被配置为根据实验需求选择相应的算法对标准化实验数据进行分析。报告生成模块103被配置为生成与标准化实验数据的分析结果相应的数据分析报告。实验管理模块105被配置为以实验全寿命周期为主线，对实验数据管理模块、数据分析模块、报告生成模块和展示模块进行统一管理。
下面将参照图2来详细说明实验管理与数据分析系统100的实验数据管理模块101。
图2示出根据本发明的实施例的实验管理与数据分析系统的实验数据管理模块的框图。
参照图2，实验数据管理模块101包括数据标准化单元201、数据上传单元202、数据存储单元203、数据查询单元204和数据下载205。其中，数据标准化单元201将原始实验数据转换成统一格式的标准化数据并生成标准化数据文件。数据上传单元202将标准化数据文件和原始实验数据进行打包以生成实验数据包，并将实验数据包存储至本地服务器和/或上传至公有云平台。数据存储单元203对存储至本地服务器和/或上传至公有云平台的实验数据包进行分类存储。数据查询单元204通过关键字查询和综合查询的方式对数据存储单元内的所有数据进行查询以得到标准化实验数据。
数据标准化单元201通过数据转换工具将数据格式不同、数据属性不同的原始实验数据进行数据转换，以生成数据格式相同、数据属性字段相同的标准化数据，并将标准化数据存入标准化数据文件中。根据本发明的实施例，具体地，假设原始实验数据是从不同的测试仪器中提取的数据，则原始实验数据的数据格式和数据属性字段将会有所差异。这是因为在进行不同的实验项目时，用到的测试仪器有所不同，不同的测试仪器所测得的数据格式也大不相同，且数据的可读性和兼容性也无法满足同一个要求。因此，将从不同的测试仪器中提取的原始实验数据转换成统一数据格式和数据属性字段的标准化数据，以方便通过统一平台进行数据的解析和读取。这里，实验项目是从各实验室实验能力出发，将其开展的所有实验业务进行系统性梳理，明确各实验业务之间的逻辑关系，最终梳理出各实验室实验项目的多叉树图，并给各个最终节点实验项目编号，作为实验数据重要的索引源之一，具体如图3中所示。数据转换工具可以将txt/xls/dat/wav/tim等不同数据格式的数据转换成统一标准格式的数据。标准化数据文件是由原始实验数据、标准化数据和数据文件内部属性表组合而成的多级数据文件，通常标准化数据文件被划分为三层或更多层结构。根据本发明的实施例，假设将标准化数据文件划分为三层数据文件，则如图4中所示，其中，第一层为文件级，第二层至倒数第二层为通道组级(通道组可以嵌套)，最后一层为通道级。此时，被划分为三层数据文件的标准化数据文件内的数据包括通道数据、文件级属性、各通道组级属性以及通道级属性。应理解，上述对于数据转换工具的举例仅是示例性举例，本发明可采用的数据转换工具不限于此。
数据上传单元202将原始实验数据和数据标准化单元201中得到的标准化数据文件进行打包以生成实验数据包，并将实验数据包存储至本地服务器和/或上传至公有云平台。其中，实验数据包包括标准化数据文件、原始实验数据文件、图片、视频、音频、实验数据包描述属性表和标准化数据文件内部属性表。这里，实验数据包描述属性表是为了描述该次实验产生的实验数据包而定义的属性字段，这些字段要求用户在创建实验时进行填写，后续可用这些字段来检索到此次实验或实验数据包。实验数据包描述属性表定义的属性包括开始时间、结束时间、位置、业主、实验负责人、实验执行人、海拔、温度、湿度、地区、天气、供应商、名称、编号、型号、子系统名称、子系统编号、实验项目名称、实验项目内容、实验项目来源、来源项目编号、委托方、委托编号、文件格式、打开软件、数据分析软件、是否能解析、数据是否有效和无效原因等。标准化数据文件内部属性表定义了标准化数据文件内部各层结构所包含的属性，根据上述举例，如图3中所示，标准化数据文件是包括文件级、通道组级和通道级在内的三层数据文件，且对各个层级的属性定义不同。其中，文件级属性定义一般包括标题、作者、实验日期、实验项目名称、所属部门和备注。通道组级属性定义一般包括通道组名称、数据采集对象名称、数据采集对象编号、通道组使用设备名称、设备编号、生产商、型号和备注。通道级属性定义一般包括通道名称、数采对象名称、数采对象编号、采集物理量、传感器类型、传感器编号、传感器品牌、传感器型号、传感器灵敏度、传感器量程、采样频率、单位、是否变频、采样开始时间、采样结束时间、数据量、数据类型、是否有效和备注。应理解，上述对于属性定义的举例仅是示例性举例，本发明可采用的属性定义的种类不限于此。
根据本发明的实施例，数据上传单元202还用于将实验完成后的实验报告、实验过程描述文档、数据分析报告、实验过程中控制系统记录数据和仿真数据打包至实验数据包并上传至公有云平台。此时，实验数据包不仅包括标准化数据文件、原始实验数据文件、图片、视频、音频、实验数据包描述属性表和标准化数据文件内部属性表，还包括实验报告、实验过程描述文档、数据分析报告、实验过程中控制系统记录数据和仿真数据。
数据存储单元203将数据上传单元202的实验数据包数据存储至文件服务器，并从实验数据包中的标准化数据文件中分离出通道级数据，将分离出的通道级数据存储至实验数据数据库，还将实验数据包中包括实验属性和文件属性的索引属性数据存储至索引数据库。
数据查询单元204通过关键字查询和综合查询的方式对数据存储单元203内的所有数据进行查询以得到标准化实验数据。其中，标准化实验数据为通道级数据中的特定时序段内的数据。根据本发明的实施例，具体地，用户通过实验数据包的属性字段或者标准化数据文件内部属性字段对数据存储单元203进行查询，在标准化数据文件中，用户可以找到相应的通道组数据，通过关键字查询可以获取到相应的通道数据，并通过对通道数据进行任意时间段的截取，以获取特定时序段内的数据作为标准化实验数据。另外，用户还可通过实验数据包的属性字段或者标准化数据文件内部属性字段对数据存储单元203进行全面查询，例如，用户可以选择实验数据包中的原始数据、标准化数据文件、图片或者实验报告等进行查看，并可通过数据下载单元205将数据查询单元204的查询结果按照用户的不同下载需求进行不同数据格式的下载。
返回图1，根据本发明的实施例，数据分析模块102根据实验需求创建数据分析项目，其中，数据分析项目包括数据源、算法、数据分析结果和报告展示。这里，算法是指用于进行数据分析的单个算法或者多个算法组成的算法流。然后，数据分析模块102对数据源数据进行相应算法的数据分析。具体地，为了便于对每次实验数据的分析过程进行管理，每次实验数据分析时都需要创建一个分析项目，每个分析项目中记录了该次实验数据分析使用的数据源、算法、数据分析结果以及报告展示等。当用户回溯某次实验数据分析时，所有的参数都是清晰、可溯源的，保证了实验数据分析过程的专业性，提升了分析结果的可信度。根据本发明的实施例，定义数据源可以直接通过数据查询单元204在数据存储单元203中的实验数据数据库中进行查询，例如，查询得到通道级的通道数据中的特定时序段内的数据作为数据源数据，或者也可以利用公有云平台上统一部署的其他数据，如选择设计数据、仿真数据、运行数据、故障数据等作为数据源数据。应理解，上述对于数据源数据的举例仅是示例性举例，本发明可采用的数据源数据不限于此。根据本发明的实施例，在定义算法时，用户根据实验数据分析的要求，从算法库中选择需要的单个算法或算法流，对数据源数据进行数据计算和分析。这里，算法库是在相应的计算平台上如Python、Matlab、LabvVIEW、IMC FAMOS等开发出的简单和/或复杂算法，并将算法打包到具有实验数据分析功能模块的算法库中。算法库的说明文档中提供有输入输出参数、算法实例、帮助文档等，并且，除了简单和/或复杂算法之外，用户还可以定义辅助函数，例如数据类型转换、数据合并和数据分割等。由于算法事先已经在算法库中进行定义，所以，用户不需要关注算法的代码如何编写，只需考虑算法的输入输出节点的匹配性即可。最后，对数据分析的结果进行报告展示时，用户可以根据实验需要选择运行过程中产生的中间数据和/或运行完成后的结果数据进行图形化展示。
根据本发明的实施例，数据分析模块102还可以根据实验需求调用分析流程模板，再根据调用的分析流程模板选择相应的算法并进行算法校验，并当算法校验无误时，对数据源数据进行数据分析。其中，分析流程模板是用户根据数据分析项目进行自定义创建得出的分析模板，包括定义数据源、选择算法、设置算法参数和算法校验。这是由于不同的实验本身有一定的相似性，因此，可以对创建的数据分析项目进行规整，创建出分析流程模板。这样，在进行数据分析时，用户可以直接选用相应的分析流程模板，并在选用的分析流程模板的基础上适当的调整数据源或者算法参数即可对数据进行计算和分析。根据本发明的实施例，假设数据源为查询到的通道级的通道数据中的特定时序段内的数据，例如，2018年5月1日至2018年5月15日之间的通道数据，即标准化实验数据，则对标准化实验数据进行相应算法的数据分析。假设选择从分析流程库中调用分析流程模板对上述标准化实验数据进行分析，则从算法库中选择出相应的算法，并对算法进行算法校验。这里，假设选择的分析流程模板中相应的算法是由算法1、算法2和算法3串联组成的算法流，则对该算法流进行算法校验，并在算法校验无误时，依次通过算法1、算法2和算法3对标准化实验数据进行计算和分析。应理解，上述对于算法流的举例仅是示例性举例，本发明可采用的算法流不限于此。
数据分析模块102解决了现有技术中数据分析存在的问题，例如，现有技术中的数据分析只提供简单的时序分析、频谱分析、统计等单一算法，无法创建复杂的算法(如算法流)、无法自定义算法参数，无法自由检索并调度复杂数据源用于分析，进而也就无法满足专业性强、算法复杂、数据来源广泛的风电行业实验数据的分析需求。另外，风电行业专业复杂度较高，不同的实验数据分析往往需要集中调度多个计算平台的复杂分析算法，而目前类似技术大多只提供了基础工具，远不足以支撑风电行业的分析业务。
报告生成模块103用于生成与标准化实验数据的分析结果相应的数据分析报告以及生成与原始实验数据相对应的数据报告。根据本发明的实施例，具体地，报告生成模块103的数据获取来源可以是原始实验数据，也可以是从分析数据，其中，原始实验数据是通过数据查询单元204对实验数据数据库进行查询所获取的静态数据，分析数据是从数据分析模块102中获取的与数据分析相关的动态数据。在生成数据报告时，用户可以自定义数据报告中的内容，例如，文字、表格、图片等，也可以创建数据报告模板和更新数据报告模板。
根据本发明的实施例，实验管理与数据分析系统100还包括展示模块104、实验资源管理模块106和多维度数据接入模块107。其中，展示模块104通过浏览器向用户展示在实验数据管理模块101、数据分析模块102和报告生成模块103中产生的数据。实验资源管理模块106对进行实验所需的资源设定进行集中式平台化管理，以提供资源台账管理、计量检定管理、实验环境管理、资源分类管理、样品管理、标准规范管理、资源日历管理、实验团队管理和资源使用管理中的至少一个。多维度数据接入模块107提供多维度数据接入的接口，向数据分析模块102提供多维度数据，其中，多维度数据包括控制数据、设计数据、仿真数据、风机运行数据中的至少一个数据。根据本发明的实施例，数据分析模块102还用于从多维度数据接入模块107中接收多维度数据，并对多维度数据进行数据分析，然后，通过将多维度数据的分析结果和标准化实验数据的分析结果进行对比以完成对标准化实验数据的对比验证和深度挖掘。
展示模块104根据实验需求获取不同模块的数据，例如，原始实验数据、标准化实验数据、数据分析过程中的数据和/或数据分析结果数据等，并对所获取的数据进行自定义远程展示。其中，远程展示是通过在服务端部署的数据可视化服务来实现可视化需求，主要采用HTML5的相关技术实现。自定义远程展示可通过曲线图、柱状图、饼图、瀑布图、雷达图、波形图、表格数据、曲面图中的至少一个方式进行展示。此外，展示模块104还向用户展示实验资源管理模块106中产生的数据。
实验管理模块105以实验全寿命周期为主线，对实验数据管理模块101、数据分析模块102、报告生成模块103、展示模块104、实验资源管理模块106和多维度数据接入模块107进行统一管理。具体地，在进行一次实验的实验准备阶段，生成一个新的实验编号，并从实验资源管理模块106中选择实验所需的实验设备、实验团队、实验环境、标准规范等资源以及填写相关的实验属性，如实验委托书、实验项目、实验团队、实验设备、实验时间、样品、实验大纲、相关标准规范等，从而创建出一个新的实验。在数据收集阶段，用户需要利用各种仪器或设备收集原始数据记录，以及从多维度数据接入模块107提供的接口中收集多维度数据。在数据上传阶段，用户根据生成的实验编号查询到此次实验，通过实验数据管理模块101按要求上传实验过程中收集的各类数据，并填写以此次实验相关的信息。在数据分析阶段，利用数据分析模块102对实验数据进行分析处理以生成实验报告。在数据展示阶段，展示模块104通过浏览器向用户展示在实验数据管理模块101、数据分析模块102、报告生成模块103和实验资源管理模块106中产生的数据。最后，在确保与此次实验相关的所有数据、记录、分析、报告等全部完成后，关闭此次实验，实验完毕。这样，实验管理模块105以实验的全寿命周期为主线，贯穿包括实验准备、数据收集、数据上传、数据分析、出具报告和数据展示等实验流程，将实验数据管理模块101、数据分析模块102、报告生成模块103、展示模块104、多维度数据接入模块107和实验资源管理模块106有机结合起来，为每一次实验提供支撑。
根据本发明的实施例，实验数据管理模块101的数据标准化单元201和数据上传单元202以及实验管理模块105、实验资源管理模块106、多维度数据接入模块107分布在本地服务器上。实验数据管理模块101的数据存储单元203和数据查询单元204以及数据分析模块102、报告生成模块103分布在公有云平台上。下面将参照图5来详细说明实验管理与数据分析系统的硬件及服务器的部署架构。
图5示出根据本发明的实施例的实验管理与数据分析系统的硬件及服务器的部署架构图。
参照图5，实验管理与数据分析系统采用本地服务器1和公有云平台2的混合设计，通过配置各自的功能和网络权限，将实验管理模块、实验资源管理模块、多维度数据接入模块以及实验数据管理模块中的管理类数据及服务数据放在本地服务器1上，其他用于实验管理与数据分析的相关服务和数据放在公有云平台2上。此外，从实体服务器中获取的海量实验数据可以先由内部高速网络上传至本地服务器1的主文件服务器内作为过渡，再异步上传到公有云平台2，主文件服务器与从文件服务器之间相互进行数据备份，然后，公有云平台上2再开展相应的与实验管理与数据分析相关的业务。这样，就大幅度提升了用户上传数据和处理数据的效率。实验管理与数据分析系统统一采用B/S架构开发，用户通过浏览器访问该系统，该系统根据用户IP自动判断得出用户是由本地登录还是远程登录，从而给用户赋予不同的权限以开展不同业务。其中，B/S架构(Browser/Server)是WEB兴起后的一种网络结构模式，Web浏览器是客户端最主要的应用软件。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，简化了系统的开发、维护和使用。客户机上只要安装一个浏览器，如Netscape Navigator或Internet Explorer，服务器安装SQL Server、Oracle、MYSQL等数据库，浏览器通过Web Server同数据库进行数据交互。
根据本发明的实施例，本地服务器1利用两个Web前端服务器做负载均衡，承载实验管理与数据分析系统的实验管理部分，包括实验管理和实验资源管理，其中，实验管理包括对实验数据、数据分析、报告生成、结果展示、多维度数据的接入以及实验资源进行统一管理，实验资源管理包括对进行实验所需的资源设定进行集中式平台化管理，以提供资源台账管理、计量检定管理、实验环境管理、资源分类管理、样品管理、标准规范管理、资源日历管理、实验团队管理和资源使用管理中的至少一个。主数据库和从数据库用于存储实验管理数据，如实验数据、实验分析数据、实验报告数据等，主文件服务器和从文件服务器用于存储用户上传的实验数据包等数据。
根据本发明的实施例，公有云平台2对异步上传的实验数据包进行分类存储。具体地，文件处理服务首先将实验数据包中的所有文件数据存储到文件服务器中，然后，从实验数据包中的标准化数据文件中分离出通道数据，并将所有的通道数据存储到实验数据数据库中，接着，从实验数据包中获取包括实验属性和文件属性的索引属性数据并存储到索引数据库中。另外，公有云平台2中的索引服务器还将针对实验数据包中其他所有记录文件，如实验报告、实验过程描述文档等建立全文索引，并将这些索引数据保存到索引数据库中。这样，用户不仅可以通过实验相关的属性字段或者标准化数据文件内部属性字段进行检索，还可以通过全文检索的方式高效查询到任意匹配字符对应的文件，大幅提升了存储数据的可查询性，为后续数据分析挖掘业务提供丰富的查询能力。当用户进行数据分析时，通过关键字查询和综合查询的方式对所有数据进行检索以得到所需分析数据，然后对检索到的数据进行各种复杂的数据分析，并将分析过程本身和分析结果以分析项目的方式存入实验数据分析数据库，便于后续的进行数据的展示和/或验证业务。
根据本发明的实施例的实验管理与数据分析系统不仅将实验资源管理、实验准备、实验数据收集，实验数据标准化、实验数据管理、多维度复杂实验数据分析、自动化报告、数据可视化、实验数据与设计、仿真、运行数据的对比分析等一系列业务集成于一体，还将整个实验寿命周期的所有数据和业务部署到网络云端，所有用户的业务接口均通过浏览器接入，最大化降低个人电脑性能要求，大幅提升各项业务效率。
尽管已经参照本发明的特定示例性实施例显示和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可进行各种形式和细节上的各种改变。
Claims (15)
1.一种实验管理与数据分析系统，其特征在于，所述系统包括：
实验数据管理模块，被配置为获取原始实验数据并对所述原始实验数据进行数据管理以生成标准化实验数据；
数据分析模块，被配置为根据实验需求选择相应的算法对标准化实验数据进行分析；
报告生成模块，被配置为生成与标准化实验数据的分析结果相应的数据分析报告；
实验管理模块，被配置为以实验全寿命周期为主线，对实验数据管理模块、数据分析模块和报告生成模块进行统一管理。
2.如权利要求1所述的系统，其特征在于，所述实验数据管理模块被配置为：
数据标准化单元，被配置为将原始实验数据转换成统一格式的标准化数据并生成标准化数据文件；
数据上传单元，被配置为将标准化数据文件和原始实验数据进行打包以生成实验数据包，并将实验数据包存储至本地服务器和/或上传至公有云平台；
数据存储单元，被配置为对存储至本地服务器和/或上传至公有云平台的实验数据包进行分类存储；
数据查询单元，被配置为通过关键字查询和综合查询的方式对所述数据存储单元内的所有数据进行查询以得到标准化实验数据。
3.如权利要求2所述的系统，其特征在于，
所述标准化数据文件为多级数据文件，包括文件级属性数据、通道组级属性数据、通道级属性数据和通道级数据，
所述实验数据包包括标准化数据文件、原始实验数据文件、图片、视频、音频、实验数据包描述属性表和标准化数据文件内部属性表，
所述分类存储包括：将实验数据包数据存储至文件服务器，从实验数据包中的标准化数据文件中分离出通道级数据并将分离出的通道级数据存储至实验数据数据库，以及将实验数据包中包括实验属性和文件属性的索引属性数据存储至索引数据库，
所述标准化实验数据为通道级数据中的特定时序段内的数据。
4.如权利要求1所述的系统，其特征在于，所述数据分析模块被配置为：
根据实验需求创建数据分析项目，其中，所述数据分析项目包括数据源、算法、数据分析结果和报告展示；
对数据源数据进行相应算法的数据分析，其中，所述数据源数据包括标准化实验数据。
5.如权利要求4所述的系统，其特征在于，所述数据分析模块还被配置为：
根据实验需求调用分析流程模板，其中，所述分析流程模板是用户根据数据分析项目进行自定义创建得出的分析模板，包括定义数据源、选择算法、设置算法参数和算法校验；
根据调用的分析流程模板选择相应的算法并进行算法校验，当算法校验无误时，对数据源数据进行数据分析。
6.如权利要求1所述的系统，其特征在于，所述报告生成模块还被配置为生成与原始实验数据相对应的数据报告。
7.如权利要求2所述的系统，其特征在于，所述实验数据管理模块还包括：
数据下载单元，将所述数据查询单元得出的数据按照用户的不同下载需求进行不同数据格式的下载。
8.如权利要求1所述的系统，其特征在于，所述系统还包括：
多维度数据接入模块，被配置为提供多维度数据接入的接口，以向所述数据分析模块提供多维度数据，其中，所述多维度数据包括控制数据、设计数据、仿真数据、风机运行数据中的至少一个数据。
9.如权利要求8所述的系统，其特征在于，所述数据分析模块还被配置为：
对接收的多维度数据进行分析，并通过将多维度数据的分析结果和标准化实验数据的分析结果进行对比以完成对标准化实验数据的对比验证和深度挖掘。
10.如权利要求1所述的系统，其特征在于，所述系统还包括：
实验资源管理模块，被配置为对进行实验所需的资源设定进行集中式平台化管理，以提供资源台账管理、计量检定管理、实验环境管理、资源分类管理、样品管理、标准规范管理、资源日历管理、实验团队管理和资源使用管理中的至少一个。
11.如权利要求1所述的系统，其特征在于，所述系统还包括：
展示模块，被配置为通过浏览器向用户展示在实验数据管理模块、数据分析模块和报告生成模块中产生的数据。
12.如权利要求11所述的系统，其特征在于，所述展示模块被配置为显示端，用于对原始实验数据、标准化实验数据、实验资源管理模块中的数据以及数据分析过程中的数据和数据分析结果数据进行自定义远程展示，其中，所述自定义远程展示通过曲线图、柱状图、饼图、瀑布图、雷达图、波形图中的至少一个方式进行展示。
13.如权利要求8、10和11所述的系统，其特征在于，所述实验管理模块还被配置为对所述多维度数据接入模块、所述实验资源管理模块和所述展示模块进行管理。
14.如权利要求1所述的系统，其特征在于，所述数据上传单元还被配置为：
将实验报告、实验过程描述文档、数据分析报告、实验过程中控制系统记录数据和仿真数据打包至实验数据包并上传至公有云平台。
15.如权利要求1-14中任一所述的系统，其特征在于，所述实验管理模块、所述实验资源管理模块、所述多维度数据接入模块和所述实验数据管理模块的数据标准化单元和数据上传单元分布在本地服务器上，所述数据分析模块、所述报告生成模块和所述实验数据管理模块的数据存储单元和数据查询单元分布在公有云平台上。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810686000.XA CN108921423A (zh) | 2018-06-28 | 2018-06-28 | 实验管理与数据分析系统 |
| CN201910567212.0A CN110659790B (zh) | 2018-06-28 | 2019-06-27 | 实验管理与数据分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810686000.XA CN108921423A (zh) | 2018-06-28 | 2018-06-28 | 实验管理与数据分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108921423A true CN108921423A (zh) | 2018-11-30 |
Family
ID=64423171
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810686000.XA Pending CN108921423A (zh) | 2018-06-28 | 2018-06-28 | 实验管理与数据分析系统 |
| CN201910567212.0A Active CN110659790B (zh) | 2018-06-28 | 2019-06-27 | 实验管理与数据分析系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910567212.0A Active CN110659790B (zh) | 2018-06-28 | 2019-06-27 | 实验管理与数据分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN108921423A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582729A (zh) * | 2018-12-07 | 2019-04-05 | 北京唐冠天朗科技开发有限公司 | 一种数据瀑布数据展示方法 |
| CN109684383A (zh) * | 2018-12-25 | 2019-04-26 | 广州天鹏计算机科技有限公司 | 数据分析结果的获取方法、装置、计算机设备和存储介质 |
| CN109783785A (zh) * | 2018-12-27 | 2019-05-21 | 长沙通诺信息科技有限责任公司 | 生成实验检测报告的方法、装置和计算机设备 |
| CN110390040A (zh) * | 2019-06-26 | 2019-10-29 | 衢州学院 | 实验数据查询系统 |
| CN110851492A (zh) * | 2019-10-21 | 2020-02-28 | 西安航天动力研究所 | 一种力学环境试验数据快速分析方法和系统 |
| CN110874717A (zh) * | 2019-10-12 | 2020-03-10 | 中国直升机设计研究所 | 一种数据管理方法 |
| CN111078663A (zh) * | 2019-11-26 | 2020-04-28 | 蔡竞慧 | 一种高效实验数据分析系统 |
| CN111144755A (zh) * | 2019-12-26 | 2020-05-12 | 安徽朋德信息科技有限公司 | 一种科研仪器实验结果溯源管理系统及方法 |
| CN111723068A (zh) * | 2019-03-18 | 2020-09-29 | 云南至圣教育科技有限公司 | 一种考试资源云端储存自动化处理系统 |
| CN111813846A (zh) * | 2020-06-29 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据分析处理系统和数据处理方法 |
| CN112579531A (zh) * | 2020-12-15 | 2021-03-30 | 东方电气风电有限公司 | 一种下载和存储风电场数据的方法 |
| CN117492725A (zh) * | 2023-11-03 | 2024-02-02 | 北京峥研软件有限责任公司 | 一种仪器测试测量和数据处理方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684286B (zh) * | 2018-12-28 | 2021-10-22 | 中国科学院苏州生物医学工程技术研究所 | 数字期刊实验数据共享方法及系统、存储介质、电子设备 |
| CN111311190A (zh) * | 2020-02-25 | 2020-06-19 | 迈迪诺信医疗科技(上海)有限公司 | 一种便于数据收集的实验数据管理方法 |
| CN111881111A (zh) * | 2020-07-21 | 2020-11-03 | 清华大学 | 力与流场相关性实验数据库系统，数据处理系统和处理方法 |
| CN112419108A (zh) * | 2020-11-03 | 2021-02-26 | 广州理工学院 | 一种物联网实验云管理系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761049A (zh) * | 2016-02-01 | 2016-07-13 | 中国石油化工股份有限公司 | 油田地质开发实验报告发布与管理系统 |
| CN107315898A (zh) * | 2016-04-26 | 2017-11-03 | 联邦应用基因股份有限公司 | 整合基因信息及后天生活型态的健康风险云端分析系统 |
| US11250344B2 (en) * | 2016-07-07 | 2022-02-15 | Hcl Technologies Limited | Machine learning based analytics platform |
| CN106290941B (zh) * | 2016-08-31 | 2018-02-13 | 合肥领谱科技有限公司 | 基于云计算与云存储的毒品及易制毒化学品检测管理系统及方法 |
| CN106649773A (zh) * | 2016-12-27 | 2017-05-10 | 北京大数有容科技有限公司 | 一种大数据协同分析工具平台 |
| CN106778037A (zh) * | 2017-01-12 | 2017-05-31 | 武汉兰丁医学高科技有限公司 | 一种基于细胞图像云服务器诊断的分析方法 |
| CN107368700A (zh) * | 2017-07-21 | 2017-11-21 | 上海桑格信息技术有限公司 | 基于计算云平台的微生物多样性交互分析系统及其方法 |
| CN107437004B (zh) * | 2017-08-07 | 2020-06-19 | 深圳华大基因研究院 | 一种用于肿瘤个体化基因检测智能解读的系统 |
-
2018
- 2018-06-28 CN CN201810686000.XA patent/CN108921423A/zh active Pending
-
2019
- 2019-06-27 CN CN201910567212.0A patent/CN110659790B/zh active Active
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582729B (zh) * | 2018-12-07 | 2022-04-22 | 北京唐冠天朗科技开发有限公司 | 一种数据瀑布数据展示方法 |
| CN109582729A (zh) * | 2018-12-07 | 2019-04-05 | 北京唐冠天朗科技开发有限公司 | 一种数据瀑布数据展示方法 |
| CN109684383A (zh) * | 2018-12-25 | 2019-04-26 | 广州天鹏计算机科技有限公司 | 数据分析结果的获取方法、装置、计算机设备和存储介质 |
| CN109783785A (zh) * | 2018-12-27 | 2019-05-21 | 长沙通诺信息科技有限责任公司 | 生成实验检测报告的方法、装置和计算机设备 |
| CN109783785B (zh) * | 2018-12-27 | 2023-04-18 | 长沙通诺信息科技有限责任公司 | 生成实验检测报告的方法、装置和计算机设备 |
| CN111723068A (zh) * | 2019-03-18 | 2020-09-29 | 云南至圣教育科技有限公司 | 一种考试资源云端储存自动化处理系统 |
| CN110390040A (zh) * | 2019-06-26 | 2019-10-29 | 衢州学院 | 实验数据查询系统 |
| CN110874717A (zh) * | 2019-10-12 | 2020-03-10 | 中国直升机设计研究所 | 一种数据管理方法 |
| CN110851492A (zh) * | 2019-10-21 | 2020-02-28 | 西安航天动力研究所 | 一种力学环境试验数据快速分析方法和系统 |
| CN110851492B (zh) * | 2019-10-21 | 2022-11-18 | 西安航天动力研究所 | 一种力学环境试验数据快速分析方法和系统 |
| CN111078663A (zh) * | 2019-11-26 | 2020-04-28 | 蔡竞慧 | 一种高效实验数据分析系统 |
| CN111144755A (zh) * | 2019-12-26 | 2020-05-12 | 安徽朋德信息科技有限公司 | 一种科研仪器实验结果溯源管理系统及方法 |
| CN111813846A (zh) * | 2020-06-29 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据分析处理系统和数据处理方法 |
| CN112579531A (zh) * | 2020-12-15 | 2021-03-30 | 东方电气风电有限公司 | 一种下载和存储风电场数据的方法 |
| CN117492725A (zh) * | 2023-11-03 | 2024-02-02 | 北京峥研软件有限责任公司 | 一种仪器测试测量和数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110659790B (zh) | 2022-09-13 |
| CN110659790A (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921423A (zh) | 实验管理与数据分析系统 | |
| CN104866426B (zh) | 软件测试综合控制方法及系统 | |
| CN106777808B (zh) | 一种基于标准化cad图纸的网络资源生成方法 | |
| CN110088749A (zh) | 自动本体生成 | |
| US8631392B1 (en) | Analysis of a sequence of data in object-oriented environments | |
| CN109344223A (zh) | 一种基于云计算技术的建筑信息模型管理系统及方法 | |
| CN106709012A (zh) | 一种大数据分析方法及装置 | |
| CN108052618B (zh) | 数据管理方法及装置 | |
| WO2002095576A1 (en) | System and method for manipulation of software | |
| US7926024B2 (en) | Method and apparatus for managing complex processes | |
| CN102479252A (zh) | 查询语句转换装置及查询语句转换方法 | |
| CN104268428A (zh) | 一种用于指标计算的可视化配置方法 | |
| EP2201450A2 (en) | A system, method and graphical user interface for workflow generation, deployment and/or execution | |
| US10776359B2 (en) | Abstractly implemented data analysis systems and methods therefor | |
| CN111061756B (zh) | 数据平台、数据处理方法及电子设备 | |
| CN114443854A (zh) | 多源异构数据的处理方法、装置、计算机设备及存储介质 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN112163017A (zh) | 一种知识挖掘系统及方法 | |
| CN107544895A (zh) | Hadoop大数据平台测试系统及方法 | |
| CN108897877A (zh) | 基于excel的大数据分析工具和方法 | |
| CN101976196A (zh) | 一种面向“服务质量”的代码自动生成方法 | |
| Song et al. | C2Metadata: Automating the capture of data transformations from statistical scripts in data documentation | |
| CN115048528A (zh) | 新能源电场运行数据的知识图谱构建方法及装置 | |
| CN113901034A (zh) | 一种自动识别行政非诉执行案源的方法 | |
| Manuel Serra da Cruz et al. | SisGExp: rethinking long-tail agronomic experiments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181130 |
|
| WD01 | Invention patent application deemed withdrawn after publication |