CN111444293B - 一种多源异构安全监测数据的报表智能生成方法 - Google Patents
一种多源异构安全监测数据的报表智能生成方法 Download PDFInfo
- Publication number
- CN111444293B CN111444293B CN202010302827.3A CN202010302827A CN111444293B CN 111444293 B CN111444293 B CN 111444293B CN 202010302827 A CN202010302827 A CN 202010302827A CN 111444293 B CN111444293 B CN 111444293B
- Authority
- CN
- China
- Prior art keywords
- data
- report
- safety monitoring
- monitoring data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 238000007726 management method Methods 0.000 claims abstract description 7
- 238000012916 structural analysis Methods 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008520 organization Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000013523 data management Methods 0.000 abstract 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000006073 displacement reaction Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种多源异构安全监测数据的报表智能生成方法，包括以下步骤：S1.将多源异构的安全监测数据标准化处理，批量化并行写入数据库；S2.通过定义数据维度及个性化描述，进行安全监测数据的自定义分类；S3.针对不同用户的个性化报表要求对报表模板进行结构化解析，通过智能书签对报表模板中所包含的标准组件进行编辑处理；S4.结合待生成报表的内容和风格，通过报表模板与数据库联动配置的双向定制化，设计报表模板的参数配置表，对文字、表格、图形的内容及格式进行详细定制；S5.对各类安全监测数据报表进行自动匹配预览和在线输出；本发明可智能满足不同用户对多源异构监测数据的入库融合管理和自主配置个性化报表，数据管理高效，报表生成灵活。
Description
技术领域
本发明涉及安全监测技术领域，具体涉及一种多源异构安全监测数据的报表智能生成方法。
背景技术
目前，我国正处在经济高速发展和转型的时期，随着城市基础设施建设加速，在建筑施工中的对安全生产的要求也越来越高。在自动化安全监测系统逐渐普及的背景下，多数建设工程的安全监测项目数据和成果在进行处理时，需要生成数据报表，供后续环节汇总分析使用。同时，在工程安全监测领域，数据的来源不同，格式不同，包括传统人工监测数据文件、手机APP采集数据、第三方异构数据库、传感器实时监测数据，等等，这样就形成了多源异构的安全监测数据。
在对这些多源异构数据进行报表生成时，多数用户常用方式是使用Office办公软件来组织管理数据和拖拽报表，用这种方式生成报表不能满足不同用户对海量监测数据的智能管理和对报表样式进行自定义配置的个性化要求，报表生成的自动化程度低、出错概率较高。
发明内容
针对现有技术中的缺陷，本发明提供一种多源异构安全监测数据的报表智能生成方法，以解决现有技术中存在的在处理安全监测数据生成报表时，生成报表不能智能化的满足不同用户对海量监测数据的入库管理和对报表样式进行自定义配置的个性化要求，报表生成的自动化程度低、可靠性低的技术问题。
本发明采用的技术方案是一种多源异构安全监测数据的报表智能生成方法，包括以下步骤：
S1.将多源异构的安全监测数据标准化处理，得到标准化安全监测数据并批量化并行写入数据库；
S2.通过定义数据维度及个性化描述，进行安全监测数据的自定义分类；
S3.针对不同用户的个性化报表要求进行报表模板的结构化解析，通过智能书签对报表模板中所包含的标准组件进行编辑处理；
S4.结合待生成报表的内容和风格，通过与数据库联动配置的双向定制化，设计报表模板的参数配置表，对文字、表格和图形的内容及格式进行参数详细定制；
S5.对各类安全监测数据报表进行自动匹配预览和快速在线输出。
进一步的，步骤S1中的安全监测数据的标准化处理，具体步骤包括：
S11.在数据库中，定义数据表的公共字段和监测量字段；
S12.分别针对公共字段和监测量字段进行属性配置；
S13.定义数据表的索引与外键；
S14.通过提交数据库引擎生成安全监测数据库表；
S15.对不同来源的异构监测数据，按标准数据结构对其进行入库前的数据准备和编辑组织；
S16.采用并行工作模式将标准格式的安全监测原始数据进行入库，入库时对需要进行变形值差分计算的数据，根据差分运算规则进行自动计算和入库。
进一步的，步骤S2进行安全监测数据的自定义分类，具体步骤包括：
S21.定义可配置的数据维度管理表，并通过导入点位综合信息表，自动批量录入数据维度的个性化描述信息；
S22.查询步骤S1中存储到数据库中的标准化安全监测数据并进行批处理分类查询操作，预览查询监测结果分类数据表。
进一步的，步骤S3中的报表模板结构化解析和编辑处理，具体步骤包括：
S31.结合安全监测行业的通用报表业务需求，定义基本报表模板，并通过书签编辑器对基本报表样式进行结构化解析；
S32.针对用户新的报表要求，通过书签编辑器在基本报表模板基础上增加、删除、修改相应区域的基本报表样式书签，形成新报表模板；
S33.进一步交互解析用户报表模板的文字类、表格类、图形类详细条目属性，增加文字类书签、表格类书签和图形类书签。
进一步的，步骤S4中数据库联动配置的双向定制化，是通过字段与步骤S3中的智能书签对应关联来实现的，具体步骤包括：
S41.对报表模板标准组件的内容和格式进行数据库参数配置；
S42.对报表模板的文字类、表格类和图形类详细属性点的内容和格式进行数据库参数配置；
S43.步骤S42中的数据库参数配置包括报表类型、标准组件名称、属性名称、书签标识、书签类型、操作参数、内容参数和字体风格参数。数据库与报表模板的双向联动机制通过关键字段“书签标识”实现对应关联。
进一步的，步骤S5中报表自动匹配预览和在线输出，具体步骤包括：
S51.选择报表日期范围，对详细数据表的多级分组构成进行自动检索预览；
S52.遍历详细数据表多级分组构成的每一项，查询得到全部监测数据表，按给定的预警阈值和判定规则自动分析评估各监测点的安全状态；
S53.自动生成数据综述分析表及其文字描述，统计每张数据表中的变形特征点及特征值；
S54.根据数据库参数配置自动生成相应的书签替换文本、详细数据表和变形曲线图，并进行文本替换、表格填充和图形插入；
S55.在线输出安全监测数据的成果报表。
进一步的，在步骤S15和步骤S16之间，还包括以下对数据进行智能检校的步骤：
通过对比关键词，对安全监测数据的基本属性字段进行匹配度检查；
通过安全监测数据的极限误差值范围映射表，对安全监测数据监测结果字段的数据正确性进行自动判断和报错提醒。
进一步的，智能检校的主要对象包括：项目属性匹配、测点名称匹配、监测时间检校、新旧点冲突检测和粗差校验。
由上述技术方案可知，本发明的有益技术效果如下：
1.通过将多源异构的安全监测数据标准化处理，实现不同年代不同来源不同结构的海量监测数据的标准化统一入库，为后续的监测数据的大数据分析、数据共享、数据增值提供了基础与前提。
2.在对多源异构的安全监测数据进行标准化处理时，增加数据智能检校功能，可以在安全监测数据入库存储前，对数据进行检查和纠错，避免将异常数据存入数据库，对后续的分析使用造成影响。
3.数据查询采用灵活的自定义分类机制，针对不同监测类型按需定义数据维度，同时再针对数据维度按需定义个性化分类描述，即可实现自由度较高的监测数据分类输出。
4.通过数据库参数配置表的关键字段与模板智能书签对应关联，形成模板设计与数据库配置双向联动机制，使得不同的用户单位只需对报告模板稍作配置就能实现个性化报表的智能化生成，从而实现了兼容不同报表模板定制化输出的敏捷响应。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明的方法流程图。
图2为本发明生成安全监测数据库表的方法流程图。
图3为本发明安全监测数据的分类方法流程图。
图4为本发明定制化报表模版的交互解析方法流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
如图1所示，本发明提供一种多源异构安全监测数据的报表智能生成方法，包括以下步骤：
一种多源异构安全监测数据的报表智能生成方法，包括以下步骤：
S1.将多源异构的安全监测数据标准化处理，得到标准化安全监测数据并批量化并行写入数据库；
S2.通过定义数据维度及个性化描述，进行安全监测数据的自定义分类；
S3.针对不同用户的个性化报表要求进行报表模板的结构化解析，通过智能书签对报表模板中所包含的标准组件进行编辑处理；
S4.结合待生成报表的内容和风格，通过与数据库联动配置的双向定制化，设计报表模板的参数配置表，对文字、表格和图形的内容及格式进行参数详细定制；
S5.对各类安全监测数据报表进行自动匹配预览和快速在线输出。
以下对实施例1工作原理进行详细说明：
对于建筑工程施工及运营过程中的采集得到的各种安全监测数据，例如位移变化量、应力变化量、振动变化量、环境变量等，可通过不同方式获取得到，包括传统人工测量、手机APP半自动化测量、智能传感器的自动化监测等，数据的来源不同；而对于智能传感器的自动化监测方式，同一种数据类型也可能会因为用到的传感器厂家或型号不一样，使得到的安全监测数据分别具有不同的格式。对于这些多源异构的安全监测数据，为便于后续分析汇总，需对其进行数据报表，报表的生成按以下步骤进行：
1.将多源异构的安全监测数据标准化处理，批量写入数据库，形成标准化的安全监测数据库表
在本实施例中，使用的数据库包括MySQL、SQLServer、Oracle等。首先在数据库中，定义公共字段和监测量字段。公共字段包括：ID(主键)、PointID(监测点名)、SurveyTime(测量时间)、Mark(标识)，等等；监测量字段包括：jl_Temp(频率)、jl_Value(监测值)、chenJ_Cur(当期变化量)、chenJ_Sum(累积变化量)，等等。
然后分别针对公共字段和监测量字段进行属性配置，比如：字段的类型、长度、是否隐藏、是否可用、是否为条件字段、是否为分组字段、字段的排序、单位、小数位数等。
再定义数据表的索引与外键，通过提交数据库引擎生成相应的安全监测数据库表，此数据库表为标准化的安全监测数据库表。
随后对不同来源的异构监测数据，按标准数据结构对其进行入库前的数据准备和编辑组织。例如针对传统人工监测数据，可利用与数据库表结构相同的EXCEL数据表进行编辑；针对手机App端的半自动化监测数据，可利用包含数据库表关键字段的Xml文件进行组织；针对自动化监测数据，可利用包含数据库表关键字段的Json字符串进行组织。
最后将安全监测原始数据入库存储在相应数据库表中，针对监测结果数据中需要进行变形值差分计算的数据，根据差分运算规则进行自动计算和存储，自动计算的方式支持实时触发计算和定时计算，得到本次变形量、累计变形量、变形速率等数据，形成计算成果数据。存储时采用并行工作的模式进行存储，可以减少数据库处理时间。在本实施例中，每一个安全监测数据类型都会形成一张安全监测数据库表；对于需要进行差分变形计算的数据，还会形成一张计算成果数据库表。
这样，按照本步骤中的方法，通过定义安全监测数据的标准数据库表结构，可以使不同来源、不同类型的安全监测数据转换成标准格式，存储在数据库中。
2.通过定义数据维度及其个性化描述，通过查询方式根据查询结果进行批处理分类操作，完成安全监测数据的自定义分类
在后续的分析使用中，对于不同的安全监测类型，需要导出的数据维度不确定，数据项对应的名称也不固定。如图3所示，为了完成报表的生成，在本步骤中定义可配置的数据维度管理表，用来查询本实施例步骤1中存储到数据库中的、经标准化处理后的安全监测数据，再根据查询结果进行批处理分类操作，智能生成监测结果分类数据表，完成安全监测数据的多层级分组。
通过上述操作方式，在批量导入监测点信息时，按需自定义的维度描述信息可自动填充至数据维度管理表的相应记录中。这样后续查询存储在数据库的安全监测数据时，即可实现监测点报表数据输出的自定义分类组织功能。
以平面位移监测点的安全监测数据进行分类举例说明。某工程有300个平面位移监测点，方案设计文件中要求其中的100个监测点的安全监测数据在报表生成时，监测数据对应的输出名称为“结构偏移”，另外200个点的报表输出名称为“道床位移”。
按本步骤的方法，先定义平面位移监测类型的数据维度，具体的为3个维度，分别是“X方向位移”、“Y方向位移”和“平面综合位移”，其中“平面综合位移”是“X方向位移”、“Y方向位移”的矢量和，是用户最终需要导出的数据维度，用户在点位信息表中将该维度的自定义描述信息“结构偏移”和“道床位移”按点配好后批量导入点位信息表及维度定义表。再通过选择界面的工点下拉菜单和时间控件给定时空约束条件，对已经存储在数据库中的300个平面位移监测点的标准化安全监测数据进行分组批处理查询，查询结果为以“结构偏移”和“道床位移”分别命名的两张数据表，数据记录按点名顺序或者是其他规则进行排序处理，完成安全监测数据的自定义分类组织。
3.定义报表的标准结构组成，针对不同用户的个性化报表要求进行结构化解析；通过多类别的智能书签对报表模板中所包含标准组件进行编辑、处理
如图4所示，首先结合行业的多个既有用户提供的报表模板和业务需求，设计梳理具有较好普遍适应性的标准模板结构。比如，可以根据报表所包含的内容，按照将各种内容分成一个一个模块的方式，进行标准化定义，并通过书签编辑器对这些标注组件增加相应的书签。具体的，可以包括以下模块：封面模块、监测概况模块、综述分析模块、数据表模块、曲线可视表达模块、数字签章模块，等等。这些标准组成模块按照一定的方式进行组合，就形成了标准模板结构，标准模板结构组成支持调整与拓展。同时，通过书签编辑器，比如word书签编辑器，在标准报表模板中增加对应标准组件类书签，方便后续定位进行操作。比如：对“综述分析”模块部分，新增书签“tag_0_综述分析”。这样在后续自动生成报表时，如果需要整体填充或修改“综述分析”的内容，会自动定位到该书签进行操作。
通用的标准报表模板如不能完全满足用户的要求，可在上述标准模板结构基础上，结合用户新的报表格式要求，通过书签编辑器，增加、修改或删除模板中的标准组件类书签。比如用户新增“巡检信息”模块部分，对应新增书签“tag_0_巡检信息”即可，最终形成该用户最终的报表模板基础框架。
然后进一步的在标准组件的基础上，解析报表模板的文字类、表格类、图形类详细条目属性。对于文字条目属性，例如：报表的封面构件包含：报表编号、项目名称、工点名称、报告日期、报表出具单位等文字类属性，针对每个属性点，新增相应的文字类书签，如：新增书签“tag_1_报告日期”、“tag_1_项目名称”等；对于表格类详细条目属性，由于不同监测类型对应的详细数据所生成出的报表格式，一般情况下差异较大，比如：水平位移与深层水平位移这两种类型，在报表表头、报表输出的字段构成及输出顺序都不同，因此表格模板是独立的，须分别针对各自的模板表格添加表格类书签“tag_2_水平位移表”，“tag_2_深层水平位移表”；对于图形类详细条目属性，主要包含文档中的特征图形标识、电子签名和变形曲线图表达等部分，比如：封面构件中的“报告完成人”和“检查人员”需要进行电子签名，则需添加“tag_3_报告完成人”和“tag_3_检查人员”的图形类书签。
这样在后续自动生成报表时，如果需要自动替换、填充、插入不同内容和风格的文字、表格和图形报表数据，只需定位到相应书签即可完成操作。
在本实施例中，条目属性书签的数量不受限制，且支持嵌套，比如标准组件类书签中可含有文字类书签，只需保证条目属性书签的名称是唯一的即可。
4.结合步骤3设计梳理的含有多类智能书签的报表模板，通过与数据库联动配置的双向定制化，设计报表模板的参数配置表，对标准组件、文字、表格、图形的内容及风格进行参数详细定制
在本实施例中，对报表模板的标准组件、文字、表格、图形的内容和格式进行参数详细定制时，包括以下方面：报表类型、标准组件名称、属性名称、书签标识、书签类型、操作参数、内容参数、字体风格参数，等等。
具体的，在配置好这些参数后，根据字段“书签标识”与本实施例中在步骤3添加的智能书签对应关联，智能书签包括标准组件类书签、文字类书签、表格类书签和图形类书签，形成模板设计与数据库配置双向联动机制。
在进行配置模板标准组件类书签的内容与风格时，以某用户监测日报标准组件“综述分析”的操作处理举例说明。在报表生成并输出时，程序会根据统计分析表格智能组合出“综述分析”的文本内容，并执行文本更新操作，同时赋予“宋体、四号、加粗”的字体风格，形成符合参数配置表的文字内容与风格。
在进行配置模板文字类详细条目属性的内容与风格时，以某用户监测日报封面的合同编号的处理举例说明。在报表生成并输出时，程序自动搜索和定位封面书签“tag_1_合同编号”，并执行合同编号内容“2018-KC-0272”替换操作，同时赋予“黑体、四号、加粗”的字体风格，形成符合参数配置表的文字内容与风格。
在进行配置模板表格类详细条目属性的内容与风格时，首先定义数据表的字段构成与排序，再设置图表的搭配表达方式，图表的搭配表达方式包括但不限于图形与表格嵌套展示、图形与表格分节独立展示等。例如：针对“深层水平位移”的数据表格，定义其字段组成及排序为“深度、初始测值、本次测值、上次累计值、本次累计值、本次变化、变化速率、地质土层”，设置其图表搭配方式为“图形表格嵌套”，后续程序会根据上述参数自动预览生成相应数据表和图形并进行填充；
同时，对于不同监测数据的图形可视化表达，不同类型数据需要配不同形式的图形，报表整体的可视化效果才会好。比如：有些类型的数据需要搭配折线图可视化效果较好，有些类型的数据需要搭配直方图可视化效果较好，而另一些类型的数据需要搭配饼图或者散点图效果较好。对于报表生成过程中所涉及到的各安全监测数据类型，分别遍历这些可视化预置参数，智能的从中选出合适的表达方式，确定出哪种类型的数据需要搭配哪种形式的图形，可通过报表模板的参数配置映射关系表来实现智能选取。
另外，在配置变形曲线图时，输出图形所包含的监测点范围不尽相同，包括输出最大变形点的曲线，输出全部监测点位的曲线，输出空间相关性高的监测点的曲线，输出报警预警的监测点曲线，等等，也可通过报表模板的相关参数映射关系表来实现智能选取。
在本步骤中，通过字段“书签名称”使得数据库与模板智能书签对应关联，形成模板设计与数据库配置双向联动机制，可以实现兼容不同报表模板定制化输出时的敏捷响应。
5.对各类监测报表进行自动匹配预览和在线快速输出，完成报表的生成
首先，通过界面控件选择报表日期范围，对详细数据表的多级分组构成进行自动检索。通常一个工程项目由多个工点组成，一个工点由多个监测对象构成，一个监测对象可能包含多种监测类型，每种监测类型会自定义多个分类。程序自动检索该工程选定的时间范围内有监测数据的监测工点、监测对象和监测类型，结合本实施例步骤2的自定义分类组织，得到详细数据表的多级分组构成。比如：某大型施工监测项目有5个工点，每个工点有2个监测对象，每个监测对象有2种监测类型，每种监测类型又进行了2种自定义的分类输出，每个自定义分类包含若干具体监测点，那么最后将预览生成5*2*2*2＝40张数据表。
然后遍历详细数据表多级分组构成的每一项，查询该分类下的全部监测数据，在遍历预览详细数据表的过程中，按给定的预警阈值和判定规则，自动分析评估各监测点的安全状态。
再自动生成数据综述分析表，统计每张数据表中的变形特征点及特征值，包括当期最大变形点、累计最大变形点、最大速率变化点以及各特征点对应的变化特征数值，并自动得出合理的综述结论文字表述，在步骤4中的模板标准组件类书签操作时亦有提及。
接着根据数据库报表模板参数配置，自动生成相应的书签替换文本、详细数据表和变形曲线图，并执行替换文本、填充表格和插入图形等系列操作。
最后在线快速输出安全监测数据的报表。在输出时，操作不受时间地域的限制，远程登录即可完成业务生产，报表输出的格式支持包括“.XLS”、“.DOC”、“.PDF”等多种公文报告常见的格式，可直接预览打印输出。
在本实施例中，通过将多源异构的安全监测数据标准化处理，采用灵活分类的机制，针对不同的用户单位的不同监测报告模板，稍作配置，就能智能实现报表的生成，兼容性较好，效率较高，出错概率低。
实施例2
在实际的监测过程中，可能会因为传感器失效、数据传输误差等原因，安全监测原始数据会出现一些错误的、不可用的数据。这些数据引入到数据库、生成报表后，会对后续的分析使用造成影响。为解决上述技术问题，在实施例1的基础上进一步优化，技术方案为：
在实施例1的步骤1中，在对多源异构的安全监测数据进行标准化处理时，增加数据智能检校功能，具体的，包括以下步骤：
1.通过对比关键词，对安全监测数据的公共字段进行匹配度检查
主要对于项目名称、测量时间，监测点名，监测点的其他属性，等等方面，通过读取预设的关键词，和安全监测数据的公共字段中的对应信息进行匹配，如果一致则说明数据正常，如果不一致则说明数据异常，会报错提醒。
2.通过设置安全监测数据的极限误差值范围映射表，对安全监测数据的监测结果字段数据正确性进行智能判断
监测结果量分为很多类，包括平面位移、竖向位移、裂缝变化，应力应变，环境变化，频率变化、振动振幅变化等等。这些监测结果字段中的数据，在一般情况下，会有一个极限误差值范围，比如日位移变化量是毫米量级的，如果数据为厘米量级甚至更大，很有可能是错误数据。在进行智能判断时，将监测结果字段中的数据根据类型，和极限误差值范围映射表进行对比分析。如果落在极限误差值范围内，就表明数据正常；如果落在极限误差值范围外，就说明可能是粗差数据，会报错提醒，并自动予以标记剔除。
在本实施中，智能检验的主要对象包括：项目属性匹配、测点名称匹配、监测时间检校、新旧点冲突检测、粗差校验，等等。
通过上述技术方案，可以在安全监测数据在存储进入数据库前，将数据进行检查和纠错，避免将异常数据存储进入数据库，对后续的分析使用造成影响。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (7)
1.一种多源异构安全监测数据的报表智能生成方法，其特征在于，包括以下步骤：
S1.将多源异构的安全监测数据标准化处理，得到标准化安全监测数据并批量化并行写入数据库；所述安全监测数据标准化处理包括以下步骤：
S11.在数据库中，定义数据表的公共字段和监测量字段；
S12.分别针对公共字段和监测量字段进行属性配置；
S13.定义数据表的索引与外键；
S14.通过提交数据库引擎生成安全监测数据库表；
S15.对不同来源的异构监测数据，按标准数据结构对其进行入库前的数据准备和编辑组织；
S16.采用并行工作模式将标准格式的安全监测原始数据进行入库，入库时对需要进行变形值差分计算的数据，根据差分运算规则进行自动计算和入库；
S2.通过定义数据维度及个性化描述，进行安全监测数据的自定义分类；
S3.针对不同用户的个性化报表要求进行报表模板的结构化解析，通过智能书签对报表模板中所包含的标准组件进行编辑处理；
S4.结合待生成报表的内容和风格，通过与数据库联动配置的双向定制化，设计报表模板的参数配置表，对文字、表格和图形的内容及格式进行参数详细定制；
S5.对各类安全监测数据报表进行自动匹配预览和快速在线输出。
2.根据权利要求1所述一种多源异构安全监测数据的报表智能生成方法，其特征在于，所述步骤S2进行安全监测数据的自定义分类组织，具体步骤包括：
S21.定义可配置的数据维度管理表，并通过导入点位综合信息表，自动批量录入数据维度的个性化描述信息；
S22.对步骤S1中存储到数据库中的标准化安全监测数据进行批处理分类查询操作，预览查询监测结果分类数据表。
3.根据权利要求1所述一种多源异构安全监测数据的报表智能生成方法，其特征在于：所述步骤S3中的结构化解析和编辑处理，具体步骤包括：
S31.结合安全监测行业的通用报表业务需求，定义基本报表模板，并通过书签编辑器对基本报表样式进行结构化解析；
S32.针对用户新的报表要求，通过书签编辑器在基本报表模板基础上增加、删除、修改相应区域的基本报表样式书签，形成新报表模板；
S33.进一步交互解析用户报表模板的文字类、表格类、图形类详细条目属性，增加文字类书签、表格类书签和图形类书签。
4.根据权利要求1所述一种多源异构安全监测数据的报表智能生成方法，其特征在于：步骤S4中所述数据库联动配置的双向定制化，是通过字段与步骤S3中所述的智能书签对应关联来实现的，具体步骤包括：
S41.对报表模板标准组件的内容和格式进行数据库参数配置；
S42.对报表模板的文字类、表格类和图形类详细属性点的内容和格式进行数据库参数配置；
S43.步骤S42中所述的数据库参数配置包括报表类型、标准组件名称、属性名称、书签标识、书签类型、操作参数、内容参数和字体风格参数，数据库与报表模板的双向联动机制通过关键字段“书签标识”实现对应关联。
5.根据权利要求1所述一种多源异构安全监测数据的报表智能生成方法，其特征在于：步骤S5中所述报表自动匹配预览和在线输出，具体步骤包括：
S51.选择报表日期范围，对详细数据表的多级分组构成进行自动检索预览；
S52.遍历详细数据表多级分组构成的每一项，查询得到全部监测数据表，按给定的预警阈值和判定规则自动分析评估各监测点的安全状态；
S53.自动生成数据综述分析表及其文字描述，统计每张数据表中的变形特征点及特征值；
S54.根据数据库参数配置自动生成相应的书签替换文本、详细数据表和变形曲线图，并按格式参数自动进行文本替换、表格填充和图形插入；
S55.在线输出安全监测数据的成果报表。
6.根据权利要求1所述一种多源异构安全监测数据的报表智能生成方法，其特征在于，在步骤S15和步骤S16之间，还包括以下对数据进行智能检校的步骤：
通过对比关键词，对安全监测数据的基本属性字段进行匹配度检查；
通过安全监测数据的极限误差值范围映射表，对安全监测数据监测结果字段的数据正确性进行自动判断和报错提醒。
7.根据权利要求6所述一种多源异构安全监测数据的报表智能生成方法，其特征在于：智能检校的主要对象包括项目属性匹配、测点名称匹配、监测时间检校、新旧点冲突检测和粗差校验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302827.3A CN111444293B (zh) | 2020-04-17 | 2020-04-17 | 一种多源异构安全监测数据的报表智能生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302827.3A CN111444293B (zh) | 2020-04-17 | 2020-04-17 | 一种多源异构安全监测数据的报表智能生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111444293A CN111444293A (zh) | 2020-07-24 |
| CN111444293B true CN111444293B (zh) | 2023-03-14 |
Family
ID=71654160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010302827.3A Active CN111444293B (zh) | 2020-04-17 | 2020-04-17 | 一种多源异构安全监测数据的报表智能生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444293B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052659A (zh) * | 2020-09-10 | 2020-12-08 | 中国三峡建设管理有限公司 | 一种基于数据自适配的安全监测报告生成方法 |
| CN112445796B (zh) * | 2020-11-02 | 2024-03-01 | 许继集团有限公司 | 一种新能源场站报表生成方法 |
| CN112328664A (zh) * | 2020-11-05 | 2021-02-05 | 中国农业银行股份有限公司 | 一种报表生成方法及系统 |
| CN113761047A (zh) * | 2021-03-18 | 2021-12-07 | 中科天玑数据科技股份有限公司 | 一种面向多源异构大数据的可视化联动效果实现方法 |
| CN113535713A (zh) * | 2021-06-08 | 2021-10-22 | 浪潮软件股份有限公司 | 一种制式居民家庭经济状况核对报告生成方法 |
| CN115422146B (zh) * | 2022-06-09 | 2023-05-16 | 中国标准化研究院 | 一种新疆地区企业标准化数据库构建及应用方法 |
| CN115860697B (zh) * | 2023-02-18 | 2023-08-18 | 南通九维软件科技有限公司 | 一种基于智能识别的自动化数据管理系统 |
| CN115964336A (zh) * | 2023-03-18 | 2023-04-14 | 北京帮邦通达医疗器械有限公司 | 一种集团化主数据管理方法、系统、终端及存储介质 |
| CN117056419B (zh) * | 2023-07-20 | 2024-03-15 | 安徽国科检测科技有限公司 | 一种基于局域网的实验室检测数据共享系统 |
| CN116955668A (zh) * | 2023-08-28 | 2023-10-27 | 深圳巨湾科技有限公司 | 一种时空数据库批量构建方法 |
| CN118194835A (zh) * | 2024-03-22 | 2024-06-14 | 重庆市测绘科学技术研究院(重庆市地图编制中心) | 一种多参数驱动的安全监测通用报表生成方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050138011A1 (en) * | 2003-12-23 | 2005-06-23 | Royer Robert J.Jr. | Meta-data storage and access techniques |
| US8666772B2 (en) * | 2010-07-12 | 2014-03-04 | Steven J. Kaniadakis | Process, system, method creating medical billing code letters, electronic superbill and communication |
| EP3054347B1 (en) * | 2012-12-28 | 2020-05-20 | e-Vision Smart Optics Inc. | Double-layer electrode for electro-optic liquid crystal lens |
| CN105447122B (zh) * | 2015-11-16 | 2018-09-21 | 中国人民解放军理工大学 | 一种基于多表关联可自主创建档案系统的实现方法 |
| CN106372044B (zh) * | 2016-09-13 | 2019-04-02 | 济南浪潮高新科技投资发展有限公司 | 一种基于报表生成类型化维度xbrl报告的方法 |
| CN109766338A (zh) * | 2018-11-28 | 2019-05-17 | 杭州云为科技有限公司 | 自定义报表设计方法、电子设备、存储介质及系统 |
| CN109783184B (zh) * | 2019-04-15 | 2019-07-19 | 南京孜博汇信息科技有限公司 | 用户自定义表单生成方法 |
| CN110618983B (zh) * | 2019-08-15 | 2023-01-06 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110716952A (zh) * | 2019-09-24 | 2020-01-21 | 中国电子科技集团公司电子科学研究院 | 一种多源异构数据处理方法、装置和存储介质 |
| CN110717002B (zh) * | 2019-09-27 | 2023-04-11 | 水利部南京水利水文自动化研究所 | 海上风电安全监测信息动态管理与可视化方法及系统 |
-
2020
- 2020-04-17 CN CN202010302827.3A patent/CN111444293B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Ömer Yanar 等.《Interactive reporting architecture: A WYSIWYG approach to enterprise reporting》.2013,全文. * |
| 毛楠 等.《水质监测预警平台多元异构数据库管理系统开发》.2013,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111444293A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444293B (zh) | 一种多源异构安全监测数据的报表智能生成方法 | |
| CN107168940B (zh) | 一种报表生成系统及方法 | |
| US8364300B2 (en) | Retrieving and navigating through manufacturing data from relational and time-series systems by abstracting the source systems into a set of named entities | |
| CN111324602A (zh) | 一种实现面向金融大数据分析可视化方法 | |
| WO2021073077A1 (zh) | 用于自动生成电子表格的方法、装置、设备及存储介质 | |
| US20050183002A1 (en) | Data and metadata linking form mechanism and method | |
| CN104090863A (zh) | 一种智能法律文书生成方法及智能法律文书生成系统 | |
| CN104699611A (zh) | 一种基于开源软件缺陷代码修改模式的缺陷信息提取方法 | |
| CN106570232A (zh) | 一种检验规程的自动生成方法 | |
| CN106372044A (zh) | 一种基于报表生成类型化维度xbrl报告的方法 | |
| CN111752999A (zh) | 一种配置化报表生成系统及方法 | |
| CN117009422B (zh) | 便利业务人员进行数据导入的实现方法 | |
| CN111881579B (zh) | 一种复杂动态数据模型管理方法 | |
| CN113742357A (zh) | 一种跨平台设计数据自动归集并关联的方法和系统 | |
| CN115827862A (zh) | 一种多元费用凭证数据关联采集方法 | |
| CN115525624A (zh) | 批量数据建模和数据处理的方法 | |
| CN111143353B (zh) | 更改单中提取bom变化数据的方法 | |
| CN117892820A (zh) | 一种基于大语言模型的多级数据建模方法及系统 | |
| CN116644728B (zh) | 一种基于条款数字化的合同生成方法及系统 | |
| US12079251B2 (en) | Model-based determination of change impact for groups of diverse data objects | |
| KR101022716B1 (ko) | 전자문서 자동생성시스템 및 자동생성방법 | |
| CN116303641A (zh) | 一种支持多数据源可视化配置的实验室报告管理方法 | |
| CN115510834A (zh) | 一种实验室数据数字化管理系统和方法 | |
| CN117648912B (zh) | 一种识别多格式电子表格源数据的方法 | |
| CN106649219A (zh) | 一种通信卫星设计文件自动生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240307 Address after: 401120 No. 6, Qingzhu East Road, Dazhulin, Yubei District, Chongqing Patentee after: Chongqing Institute of Surveying and Mapping Science and Technology (Chongqing Map Compilation Center) Country or region after: China Address before: No.6, Qingzhu East Road, Dazhulin, Yubei District, Chongqing Patentee before: CHONGQING SURVEY INSTITUTE Country or region before: China |
|
| TR01 | Transfer of patent right |