CN112883081A - 一种抽检数据智能分析方法及系统 - Google Patents
一种抽检数据智能分析方法及系统 Download PDFInfo
- Publication number
- CN112883081A CN112883081A CN202110206450.6A CN202110206450A CN112883081A CN 112883081 A CN112883081 A CN 112883081A CN 202110206450 A CN202110206450 A CN 202110206450A CN 112883081 A CN112883081 A CN 112883081A
- Authority
- CN
- China
- Prior art keywords
- data
- standardized
- database
- information
- spot check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 64
- 238000007689 inspection Methods 0.000 claims abstract description 64
- 238000005070 sampling Methods 0.000 claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000013499 data model Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012098 association analyses Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及一种抽检数据智能分析方法及系统，通过获取抽检得到的原始抽检数据，对原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中，最终基于分析统计需求对数据仓库中的标准化数据进行处理，得到若干动态展示模型。可见，在本发明中，无需人工介入，可高效自动对原始抽检数据进行抽取、清洗与入库，并依据用户需求，生成统计报表、可视化图形、工作报告等进行动态化展示，具有较高的易用性与交互性。
Description
技术领域
本发明涉及数据分析技术领域，尤其涉及一种抽检数据智能分析方法及系统。
背景技术
食品安全关乎国计民生，是国家稳定与社会发展的永恒主题。随着食品科技的发展，食品生产链中的养殖种植、加工处理、运输分销等环节的分工程度越来越高，而食品从产地到餐桌的环节变多，也使得食品安全问题发生的概率变高，且增大了针对食品安全问题进行溯源的难度，因而，需要针对市面上的产品进行抽检并出具分析报告，针对性地制订对策，消除食品的不安全因素。
传统的食品安全抽检数据分析，通常需要手动从业务数据库中导出所需的底层数据，再将底层数据导入至分析工具中，生成静态表格或常规图形，当底层数据发生变动时，则需要重新进行上述操作，费时费力，且手动作业容易出错。
发明内容
本发明的目的是解决现有技术的不足，提供了一种抽检数据智能分析方法及系统。
本发明实施例的第一方面提供了一种抽检数据智能分析方法，包括：
获取抽检得到的原始抽检数据；
对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中；
基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型。
作为一种可选的实施方式，在本发明实施例的第一方面中，所述对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中，包括：
筛查并删除所述原始抽检数据中存在信息缺失的数据；
对筛查完成的所述原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；
分析所述标准化抽检数据的数据类型；
将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的所述标准化抽检数据存储至所述数据仓库中的基础信息数据库中；
将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至所述数据仓库中的业务数据库中；
将数据类型为历史抽检数据的所述标准化抽检数据存储至历史数据库中；
将数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中。
作为一种可选的实施方式，在本发明实施例的第一方面中，在将所述数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中之后，所述方法还包括：
分析所述基础信息数据库、所述业务数据库、所述历史数据库及所述文件系统数据库之间存在的数据关联；
基于所述数据关联生成多维数据；
将所述多维数据存储至所述数据仓库的分析数据库中。
作为一种可选的实施方式，在本发明实施例的第一方面中，所述基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型，包括：
基于所述基础信息数据库及所述业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；
基于所述历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；
基于选定形式及选定信息生成可视化模型，所述选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。
作为一种可选的实施方式，在本发明实施例的第一方面中，在对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中之后，以及，在所述基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型之前，所述方法还包括：
采用星型数据模型对所述数据仓库中的标准化数据进行重构，得到对应于所述标准化数据的星型数据结构图谱；
基于所述星型数据结构图谱对所述标准化数据进行体量压缩；
基于所述分析统计需求对完成体量压缩的所述标准化数据构建数据读取索引。
本发明实施例的第二方面提供了一种抽检数据智能分析系统，包括：
数据获取单元，用于获取抽检得到的原始抽检数据；
标准化单元，用于对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中；
数据处理单元，用于基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述标准化单元包括：
清洗子单元，用于筛查并删除所述原始抽检数据中存在信息缺失的数据；
格式转换子单元，用于对筛查完成的所述原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；
类型分析子单元，用于分析所述标准化抽检数据的数据类型；
第一存储子单元，用于将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的所述标准化抽检数据存储至所述数据仓库中的基础信息数据库中；
第二存储子单元，用于将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至所述数据仓库中的业务数据库中；
第三存储子单元，用于将数据类型为历史抽检数据的所述标准化抽检数据存储至历史数据库中；
第四存储子单元，用于将数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述标准化单元还包括：
关联分析子单元，用于分析所述基础信息数据库、所述业务数据库、所述历史数据库及所述文件系统数据库之间存在的数据关联；
关联构造子单元，用于基于所述数据关联生成多维数据；
第五存储子单元，用于将所述多维数据存储至所述数据仓库的分析数据库中。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述数据处理单元包括：
报表生成子单元，用于基于所述基础信息数据库及所述业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；
报告生成子单元，用于基于所述历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；
图形生成子单元，用于基于选定形式及选定信息生成可视化模型，所述选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：
数据重构单元，用于采用星型数据模型对所述数据仓库中的标准化数据进行重构，得到对应于所述标准化数据的星型数据结构图谱；
数据压缩单元，用于基于所述星型数据结构图谱对所述标准化数据进行体量压缩；
索引构建单元，用于基于所述分析统计需求对完成体量压缩的所述标准化数据构建数据读取索引。
本发明与现有技术相比具有以下优点：
本发明所涉及的抽检数据智能分析方法及系统，无需人工介入，可高效自动对原始抽检数据进行抽取、清洗与入库，并依据用户需求，生成统计报表、可视化图形、工作报告等进行动态化展示，具有较高的易用性与交互性。
附图说明
图1是本发明所公开的一种抽检数据智能分析方法的流程示意图
图2是本发明所公开的一种抽检数据智能分析系统的结构示意图。
具体实施方式
为加深本发明的理解，下面将结合实施案例和附图对本发明作进一步详述。本发明可通过如下方式实施：
实施例一
参照图1，一种抽检数据智能分析方法，包括：
101、获取抽检得到的原始抽检数据。
本发明实施例中，抽检所产生的原始抽检数据构成数据源层，原始抽检数据可以包括食用农产品数据、普通食品和保健品数据、企业自检数据及其它临时接入的抽检数据等。
102、对原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中。
本发明实施例中，原始抽检数据的数据类型与数据格式存在差异，需要进行标准化处理。
作为一种可选的实施方式，筛查并删除原始抽检数据中存在信息缺失的数据；对筛查完成的原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；分析标准化抽检数据的数据类型；将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的标准化抽检数据存储至数据仓库中的基础信息数据库中；将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至数据仓库中的业务数据库中；将数据类型为历史抽检数据的标准化抽检数据存储至历史数据库中；将数据类型为文档信息或图片信息的标准化抽检数据存储至文件系统数据库中。可见，通过清洗掉存在信息缺失的数据，并依据数据仓库中的存储要求将原始抽检数据进行标准格式化，可处理得到标准化抽检数据，并按照数据类型将标准化抽检数据分门别类地存储至数据仓库中。
作为又一种可选的实施方式，分析基础信息数据库、业务数据库、历史数据库及文件系统数据库之间存在的数据关联；基于数据关联生成多维数据；将多维数据存储至数据仓库的分析数据库中。具体地，同一组抽检数据中可能同时存在表格、图像等不同数据类型的文件，在此对同组抽检数据中分别存储于不同数据库中的数据建立数据关联，从而可基于整个数据仓库的数据关联生成多维数据，并将多维数据存储至数据仓库的分析数据库中，便于管理。
本发明实施例中，随着抽检数据增多，数据仓库的读取效率将急剧降低，影响数据读取及数据分析工作。
作为一种可选的实施方式，采用星型数据模型对数据仓库中的标准化数据进行重构，得到对应于标准化数据的星型数据结构图谱；基于星型数据结构图谱对标准化数据进行体量压缩；基于分析统计需求对完成体量压缩的标准化数据构建数据读取索引。可见，通过构造数据仓库中标准化数据的星型数据结构图谱，可有效压缩标准化数据的体量，提高存储设备的应用率，并实现对标准化数据的高效读取。
103、基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型。
本发明实施例中，基于分析统计需求生成用户适用的动态展示模型。
作为一种可选的实施方式，基于基础信息数据库及业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；基于历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；基于选定形式及选定信息生成可视化模型，选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。具体地，基础统计报表通过表格形式、预设的统计端口及预设统计维度进行展示，满足日常工作中使用频率最高的统计需求；固定报表则预先构造报表模板，实时更新模板中的数据；灵活报表可供用户灵活设置表格层次、统计口径、分析维度及数据筛选条件等，实现定制化多样化的分析需求。
作为又一种可选的实施方式，还可依据数据仓库进行偏离度分析，针对同一品种的同一检验项目，该品种中合格的产品的偏离度应当均处于某一特定偏离度范围内，在此构建偏离度分析模型，并基于以下偏离度公式：
偏离度＝50+10×(检验值－平均值)/标准差，
对数据仓库中标准化数据的偏离度进行计算，若存在偏离度超出预设偏离度阈值(30～70)的产品，则判定该产品的偏离度异常，可能存在潜在的食品安全风险，从而实现针对食品的安全风险预测。
可见，本发明实施例所描述的抽检数据智能分析方法，无需人工介入，可高效自动对原始抽检数据进行抽取、清洗与入库，并依据用户需求，生成统计报表、可视化图形、工作报告等进行动态化展示，具有较高的易用性与交互性。
实施例二
参照图2，图2是本发明实施例所涉及的一种抽检数据智能分析系统的结构示意图。
本发明实施例中，抽检数据智能分析系统包括：
数据获取单元201，用于获取抽检得到的原始抽检数据；
标准化单元202，用于对原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中；
数据重构单元203，用于采用星型数据模型对数据仓库中的标准化数据进行重构，得到对应于标准化数据的星型数据结构图谱；
数据压缩单元204，用于基于星型数据结构图谱对标准化数据进行体量压缩；
索引构建单元205，用于基于分析统计需求对完成体量压缩的标准化数据构建数据读取索引。
数据处理单元206，用于基于分析统计需求对数据仓库中的标准化数据进行处理，得到若干动态展示模型。
其中，标准化单元202包括：
清洗子单元2021，用于筛查并删除原始抽检数据中存在信息缺失的数据；
格式转换子单元2022，用于对筛查完成的原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；
类型分析子单元2023，用于分析标准化抽检数据的数据类型；
第一存储子单元2024，用于将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的标准化抽检数据存储至数据仓库中的基础信息数据库中；
第二存储子单元2025，用于将数据类型为产品抽样信息、检验结果及检验报告的标准化抽检数据存储至数据仓库中的业务数据库中；
第三存储子单元2026，用于将数据类型为历史抽检数据的标准化抽检数据存储至历史数据库中；
第四存储子单元2027，用于将数据类型为文档信息或图片信息的标准化抽检数据存储至文件系统数据库中；
关联分析子单元2028，用于分析基础信息数据库、业务数据库、历史数据库及文件系统数据库之间存在的数据关联；
关联构造子单元2029，用于基于数据关联生成多维数据；
第五存储子单元20210，用于将多维数据存储至所述数据仓库的分析数据库中。
以及，数据处理单元206包括：
报表生成子单元2061，用于基于基础信息数据库及所述业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；
报告生成子单元2062，用于基于历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；
图形生成子单元2063，用于基于选定形式及选定信息生成可视化模型，选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。
作为一种可选的实施方式，清洗子单元2021筛查并删除原始抽检数据中存在信息缺失的数据；格式转换子单元2022对筛查完成的原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；类型分析子单元2023分析标准化抽检数据的数据类型；第一存储子单元2024将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的标准化抽检数据存储至数据仓库中的基础信息数据库中；第二存储子单元2025将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至数据仓库中的业务数据库中；第三存储子单元2026将数据类型为历史抽检数据的标准化抽检数据存储至历史数据库中；第四存储子单元2027将数据类型为文档信息或图片信息的标准化抽检数据存储至文件系统数据库中。可见，通过清洗掉存在信息缺失的数据，并依据数据仓库中的存储要求将原始抽检数据进行标准格式化，可处理得到标准化抽检数据，并按照数据类型将标准化抽检数据分门别类地存储至数据仓库中。
作为又一种可选的实施方式，关联分析子单元2028分析基础信息数据库、业务数据库、历史数据库及文件系统数据库之间存在的数据关联；关联构造子单元2029基于数据关联生成多维数据；第五存储子单元20210将多维数据存储至数据仓库的分析数据库中。具体地，同一组抽检数据中可能同时存在表格、图像等不同数据类型的文件，在此对同组抽检数据中分别存储于不同数据库中的数据建立数据关联，从而可基于整个数据仓库的数据关联生成多维数据，并将多维数据存储至数据仓库的分析数据库中，便于管理。
作为一种可选的实施方式，数据重构单元203采用星型数据模型对数据仓库中的标准化数据进行重构，得到对应于标准化数据的星型数据结构图谱；数据压缩单元204基于星型数据结构图谱对标准化数据进行体量压缩；索引构建单元205基于分析统计需求对完成体量压缩的标准化数据构建数据读取索引。可见，通过构造数据仓库中标准化数据的星型数据结构图谱，可有效压缩标准化数据的体量，提高存储设备的应用率，并实现对标准化数据的高效读取。
作为一种可选的实施方式，报表生成子单元2061基于基础信息数据库及业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；报告生成子单元2062基于历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；图形生成子单元2063基于选定形式及选定信息生成可视化模型，选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。具体地，基础统计报表通过表格形式、预设的统计端口及预设统计维度进行展示，满足日常工作中使用频率最高的统计需求；固定报表则预先构造报表模板，实时更新模板中的数据；灵活报表可供用户灵活设置表格层次、统计口径、分析维度及数据筛选条件等，实现定制化多样化的分析需求。
作为又一种可选的实施方式，数据处理单元203还可依据数据仓库进行偏离度分析，针对同一品种的同一检验项目，该品种中合格的产品的偏离度应当均处于某一特定偏离度范围内，在此构建偏离度分析模型，并基于以下偏离度公式：
偏离度＝50+10×(检验值－平均值)/标准差，
对数据仓库中标准化数据的偏离度进行计算，若存在偏离度超出预设偏离度阈值(30～70)的产品，则判定该产品的偏离度异常，可能存在潜在的食品安全风险，从而实现针对食品的安全风险预测。
可见，本发明实施例所描述的抽检数据智能分析系统，无需人工介入，可高效自动对原始抽检数据进行抽取、清洗与入库，并依据用户需求，生成统计报表、可视化图形、工作报告等进行动态化展示，具有较高的易用性与交互性。
Claims (10)
1.一种抽检数据智能分析方法，其特征在于，包括：
获取抽检得到的原始抽检数据；
对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中；
基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中，包括：
筛查并删除所述原始抽检数据中存在信息缺失的数据；
对筛查完成的所述原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；
分析所述标准化抽检数据的数据类型；
将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的所述标准化抽检数据存储至所述数据仓库中的基础信息数据库中；
将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至所述数据仓库中的业务数据库中；
将数据类型为历史抽检数据的所述标准化抽检数据存储至历史数据库中；
将数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中。
3.根据权利要求2所述的方法，其特征在于，在将所述数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中之后，所述方法还包括：
分析所述基础信息数据库、所述业务数据库、所述历史数据库及所述文件系统数据库之间存在的数据关联；
基于所述数据关联生成多维数据；
将所述多维数据存储至所述数据仓库的分析数据库中。
4.根据权利要求1所述的方法，其特征在于，所述基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型，包括：
基于所述基础信息数据库及所述业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；
基于所述历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；
基于选定形式及选定信息生成可视化模型，所述选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。
5.根据权利要求1所述的方法，其特征在于，在对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中之后，以及，在所述基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型之前，所述方法还包括：
采用星型数据模型对所述数据仓库中的标准化数据进行重构，得到对应于所述标准化数据的星型数据结构图谱；
基于所述星型数据结构图谱对所述标准化数据进行体量压缩；
基于所述分析统计需求对完成体量压缩的所述标准化数据构建数据读取索引。
6.一种抽检数据智能分析系统，其特征在于，包括：
数据获取单元，用于获取抽检得到的原始抽检数据；
标准化单元，用于对所述原始抽检数据进行标准化处理，得到标准化数据并存储于数据仓库中；
数据处理单元，用于基于分析统计需求对所述数据仓库中的标准化数据进行处理，得到若干动态展示模型。
7.根据权利要求6所述的系统，其特征在于，所述标准化单元包括：
清洗子单元，用于筛查并删除所述原始抽检数据中存在信息缺失的数据；
格式转换子单元，用于对筛查完成的所述原始抽检数据进行数据格式转换，得到标准数据格式的标准化抽检数据；
类型分析子单元，用于分析所述标准化抽检数据的数据类型；
第一存储子单元，用于将数据类型为生产企业信息、企业抽样信息、产品信息、检验方法及食品分类信息的所述标准化抽检数据存储至所述数据仓库中的基础信息数据库中；
第二存储子单元，用于将数据类型为产品抽样信息、检验结果及检验报告的所述标准化抽检数据存储至所述数据仓库中的业务数据库中；
第三存储子单元，用于将数据类型为历史抽检数据的所述标准化抽检数据存储至历史数据库中；
第四存储子单元，用于将数据类型为文档信息或图片信息的所述标准化抽检数据存储至所述文件系统数据库中。
8.根据权利要求6所述的系统，其特征在于，所述标准化单元还包括：
关联分析子单元，用于分析所述基础信息数据库、所述业务数据库、所述历史数据库及所述文件系统数据库之间存在的数据关联；
关联构造子单元，用于基于所述数据关联生成多维数据；
第五存储子单元，用于将所述多维数据存储至所述数据仓库的分析数据库中。
9.根据权利要求6所述的系统，其特征在于，所述数据处理单元包括：
报表生成子单元，用于基于所述基础信息数据库及所述业务数据库分析得到包括基础统计报表、固定报表及灵活报表的报表模型；
报告生成子单元，用于基于所述历史数据库及预设报告模板，生成包含摘要部分、计划部分、分析部分及总结部分的报告模型；
图形生成子单元，用于基于选定形式及选定信息生成可视化模型，所述选定形式包括地图形式、柱状图形式、饼状图形式、折线图形式及组合图形式。
10.根据权利要求6所述的系统，其特征在于，所述系统还包括：
数据重构单元，用于采用星型数据模型对所述数据仓库中的标准化数据进行重构，得到对应于所述标准化数据的星型数据结构图谱；
数据压缩单元，用于基于所述星型数据结构图谱对所述标准化数据进行体量压缩；
索引构建单元，用于基于所述分析统计需求对完成体量压缩的所述标准化数据构建数据读取索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110206450.6A CN112883081A (zh) | 2021-02-24 | 2021-02-24 | 一种抽检数据智能分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110206450.6A CN112883081A (zh) | 2021-02-24 | 2021-02-24 | 一种抽检数据智能分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883081A true CN112883081A (zh) | 2021-06-01 |
Family
ID=76054294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110206450.6A Pending CN112883081A (zh) | 2021-02-24 | 2021-02-24 | 一种抽检数据智能分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883081A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656600A (zh) * | 2021-08-23 | 2021-11-16 | 东北农业大学 | 一种基于知识图谱的dhi报告解读方法、系统及存储介质 |
| CN114547170A (zh) * | 2022-02-18 | 2022-05-27 | 中远海运科技股份有限公司 | 一种非结构化财务报表数据标准化抽取与建模的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2008206570A1 (en) * | 2007-01-16 | 2008-07-24 | Timmins Software Corporation | Systems and methods for analyzing information technology systems using collaborative intelligence |
| CN101477526A (zh) * | 2008-12-31 | 2009-07-08 | 中兴通讯股份有限公司 | 一种实现统计报表定制的方法及系统 |
| CN106372194A (zh) * | 2016-08-31 | 2017-02-01 | 杭州追灿科技有限公司 | 一种呈现搜索结果的方法和系统 |
| CN106649223A (zh) * | 2016-12-23 | 2017-05-10 | 北京文因互联科技有限公司 | 基于自然语言处理的金融报告自动生成方法 |
| CN110955717A (zh) * | 2019-11-19 | 2020-04-03 | 深圳市航通智能技术有限公司 | 一种基于大数据的可视化动态展示方法及其系统 |
-
2021
- 2021-02-24 CN CN202110206450.6A patent/CN112883081A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2008206570A1 (en) * | 2007-01-16 | 2008-07-24 | Timmins Software Corporation | Systems and methods for analyzing information technology systems using collaborative intelligence |
| CN101477526A (zh) * | 2008-12-31 | 2009-07-08 | 中兴通讯股份有限公司 | 一种实现统计报表定制的方法及系统 |
| CN106372194A (zh) * | 2016-08-31 | 2017-02-01 | 杭州追灿科技有限公司 | 一种呈现搜索结果的方法和系统 |
| CN106649223A (zh) * | 2016-12-23 | 2017-05-10 | 北京文因互联科技有限公司 | 基于自然语言处理的金融报告自动生成方法 |
| CN110955717A (zh) * | 2019-11-19 | 2020-04-03 | 深圳市航通智能技术有限公司 | 一种基于大数据的可视化动态展示方法及其系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656600A (zh) * | 2021-08-23 | 2021-11-16 | 东北农业大学 | 一种基于知识图谱的dhi报告解读方法、系统及存储介质 |
| CN114547170A (zh) * | 2022-02-18 | 2022-05-27 | 中远海运科技股份有限公司 | 一种非结构化财务报表数据标准化抽取与建模的方法 |
| CN114547170B (zh) * | 2022-02-18 | 2024-04-05 | 中远海运科技股份有限公司 | 一种非结构化财务报表数据标准化抽取与建模的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Masihabadi et al. | Effects of stress on auditors' organizational commitment, job satisfaction, and job performance | |
| US7730023B2 (en) | Apparatus and method for strategy map validation and visualization | |
| US7028036B2 (en) | System and method for visualization of continuous attribute values | |
| CN112883081A (zh) | 一种抽检数据智能分析方法及系统 | |
| CN107908550B (zh) | 一种软件缺陷统计处理方法及装置 | |
| CN111460138A (zh) | 一种基于bim的数字化工程监理方法与系统 | |
| CN109597974B (zh) | 报表生成方法及装置 | |
| CN111402017A (zh) | 一种基于大数据的信用评分方法和系统 | |
| CN112817834B (zh) | 数据表评估方法及装置 | |
| CN111679808B (zh) | Rpa机器人应用需求测评方法及装置 | |
| CN114140094A (zh) | 一种食品企业智能化风险监控预警系统 | |
| Yoshizumi et al. | A review of geospatial content in IEEE visualization publications | |
| CN113254436A (zh) | 基于hadoop的数据管理系统及方法 | |
| CN111859058A (zh) | 环境数据的获取方法、装置、存储介质及电子装置 | |
| Cardona et al. | Project management of production line automation: a comparative analysis of project management in brazil and Colombia | |
| US20140244673A1 (en) | Systems and methods for visualizing master data services information | |
| Drahý et al. | Relationship between project complexity and risk kinds identified on projects | |
| CN109948049B (zh) | 一种基于物化缓存的网络大数据可视化方法 | |
| Martinez et al. | Visualization of multi-level data quality dimensions with QuaIIe | |
| US20230015637A1 (en) | Method and System for Analyzing Data in a Database | |
| CN113313609A (zh) | 一种通用性保单精算系统及方法 | |
| Yuan | Research on Food Safety Supervision System Based on Computer Big Data Visualization Analysis System | |
| CN117873979A (zh) | 一种基于大语言模型的系统日志智能分析方法及装置 | |
| CN115310991A (zh) | 一种肉制品深度溯源的方法和系统 | |
| CN115186162A (zh) | 一种投资信息数据筛选方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |