CN111324594B - 用于粮食加工业的数据融合方法、装置、设备及存储介质 - Google Patents

用于粮食加工业的数据融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111324594B
CN111324594B CN202010098073.4A CN202010098073A CN111324594B CN 111324594 B CN111324594 B CN 111324594B CN 202010098073 A CN202010098073 A CN 202010098073A CN 111324594 B CN111324594 B CN 111324594B
Authority
CN
China
Prior art keywords
data
fused
processing industry
grain processing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098073.4A
Other languages
English (en)
Other versions
CN111324594A (zh
Inventor
方浩铖
周康
杨华
刘江蓉
刘朔
高婧
镇依婷
李元鹏
杨燕子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202010098073.4A priority Critical patent/CN111324594B/zh
Publication of CN111324594A publication Critical patent/CN111324594A/zh
Application granted granted Critical
Publication of CN111324594B publication Critical patent/CN111324594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/01—Automatic library building
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明属于数据融合技术领域，公开了一种用于粮食加工业的数据融合方法、装置、设备及存储介质。该方法包括从不同数据源中采集粮食加工业元数据；对粮食加工业元数据进行数据预处理，以获得待融合数据；对待融合数据进行不同级别的数据融合，以获得融合后的数据体系；根据融合后的数据体系构建数据库系统。通过上述方式，将不同来源采集到的粮食加工业各类元数据进行融合，构建关于粮食加工业的全面的数据库系统，将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行加工方案评价和提出优化建议，从而解决了现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。

Description

用于粮食加工业的数据融合方法、装置、设备及存储介质
技术领域
本发明涉及数据融合技术领域，尤其涉及一种用于粮食加工业的数据融合方法、装置、设备及存储介质。
背景技术
当前粮食加工业已有的数据源(系统、数据集)由于建设时期不同，开发部门不同、使用设备不同、技术发展阶段不同和能力水平的不同，数据存储管理极为分散，造成了过量的数据冗余和数据不一致性，被集成的数据源通常是独立开发的因此产生的数据模型存在数据源异构性，这些异构性主要表现在：数据语义、相同语义数据的表达形式、数据源的使用环境等方面，其中，不同数据源之间一般是割裂的，割裂性过大无法勾勒出整个粮食加工业的全貌，数据的共享度达不到对信息资源整体开发利用的要求；简单及交叉重复的应用多，能支持管理和决策的应用少，能利用网络开展经营活动的应用更少。
当前粮食加工业数据中蕴藏着巨大信息资源，但是没有通过有效工具充分挖掘利用，信息资源的增值作用还没有在管理决策过程中充分发挥，难以用于评价存在评价代价过大的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种用于粮食加工业的数据融合方法、装置、设备及存储介质，旨在解决现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。
为实现上述目的，本发明提供了一种用于粮食加工业的数据融合方法，所述方法包括以下步骤:
从不同数据源中采集粮食加工业元数据；
对所述粮食加工业元数据进行数据预处理，以获得待融合数据；
对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；
根据所述融合后的数据体系构建数据库系统。
优选地，所述对所述粮食加工业元数据进行数据预处理，以获得待融合数据的步骤，具体包括：
对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据；
对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。
优选地，所述对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据的步骤，具体包括：
获取所述粮食加工业元数据对应的数据分布类型；
根据所述数据分布类型采用三倍标准差法、分箱法或预设聚类算法对所述粮食加工业元数据进行噪点消除，以获得去噪后的粮食加工业元数据。
优选地，所述不同层次的数据融合包括：数据级融合、特征级融合和决策级融合；
所述对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系的步骤，具体包括：
通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；
通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；
通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；
根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
优选地，所述通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数的步骤，具体包括：
对所述待融合数据进行无量纲化，以获得无量纲特征数据；
通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数。
优选地，所述通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值的步骤，具体包括：
对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；
根据所述特征向量基于典型相关分析算法生成相关性矩阵；
根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；
将所述特征项作为加工方案标准值。
优选地，通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标的步骤，具体包括：
通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；
将所述决策变量的最终解作为数据体系指标。
此外，为实现上述目的，本发明还提出一种用于粮食加工业的数据融合装置，所述装置包括：
数据采集模块，用于从不同数据源中采集粮食加工业元数据；
数据处理模块，用于对所述粮食加工业元数据进行数据预处理，以获得待融合数据；
数据融合模块，用于对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；
系统构建模块，用于根据所述融合后的数据体系构建数据库系统。
此外，为实现上述目的，本发明还提出一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于粮食加工业的数据融合程序，所述用于粮食加工业的数据融合程序配置为实现如上文所述的用于粮食加工业的数据融合方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有用于粮食加工业的数据融合程序，所述用于粮食加工业的数据融合程序被处理器执行时实现如上文所述的用于粮食加工业的数据融合方法的步骤。
本发明通过从不同数据源中采集粮食加工业元数据；对所述粮食加工业元数据进行数据预处理，以获得待融合数据；对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；根据所述融合后的数据体系构建数据库系统。通过上述方式，将不同来源采集到的粮食加工业生产、经营等各类元数据进行融合，构建一个关于粮食加工业的全面的数据库系统，将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议，从而解决了现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图；
图2为本发明用于粮食加工业的数据融合方法第一实施例的流程示意图；
图3为本发明用于粮食加工业的数据融合方法第二实施例的流程示意图；
图4为本发明用于粮食加工业的数据融合方法第三实施例的流程示意图；
图5为本发明用于粮食加工业的数据融合装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用于粮食加工业的数据融合程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的用于粮食加工业的数据融合程序，并执行本发明实施例提供的用于粮食加工业的数据融合方法。
本发明实施例提供了一种用于粮食加工业的数据融合方法，参照图2，图2为本发明一种用于粮食加工业的数据融合方法第一实施例的流程示意图。
本实施例中，所述用于粮食加工业的数据融合方法包括以下步骤：
步骤S10：从不同数据源中采集粮食加工业元数据。
需要说明的是，通过各类传感器从外界环境中采集粮食加工业的各属性信息；根据所述粮食加工业的各属性信息生成粮食加工业元数据。
具体地，粮食加工业的各属性信息可以包含财务、供销数量、生产加工、经营等不同方面的内容，可以根据实际需要采集，本实施例对此不加以限制。所述粮食加工业元数据来自人工采集、各类传感器采集或数据库系统计算生成，以数据库表元组或Excel表格文件等不同的存储形式存在。粮食加工业可以由粮食生产、粮库、加工和销售等4个部分组成，采集的粮食加工业元数据可以包括在粮食生产的源头通过电子标签采集到粮食质量数据库中信息；采集粮食在运输到粮库时入库时间信息和粮库环境信息；采集粮食在加工环节的厂家、操作员、加工方式和时间等信息；在粮食的流通过程中，每个环节都布置多种传感器的读写器设备，可以实时采集该批粮食的环境信息和供销信息。
步骤S20：对所述粮食加工业元数据进行数据预处理，以获得待融合数据。
易于理解的是，所述对所述粮食加工业元数据进行数据预处理，以获得待融合数据的步骤，具体包括：对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据；对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。
具体地，所述对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据的步骤，具体包括：获取所述粮食加工业元数据对应的数据分布类型；根据所述数据分布类型采用三倍标准差法、分箱法或预设聚类算法对所述粮食加工业元数据进行噪点消除，以获得去噪后的粮食加工业元数据。本实施例还可以采取其他噪点清除方式，本实施例对此不加以限制。对所述去噪后的粮食加工业元数据进行格式转换，可以将所述去噪后的粮食加工业元数据的存储形式转换成数据库表元组，将所述数据库表元组作为待融合数据，对所述待融合数据进行不同级别的数据融合时，所述数据库表元组转为数据流。
需要说明的是，对所述粮食加工业元数据进行数据预处理，所述数据预处理还可以对采集的所述粮食加工业元数据进行不一致性消除即剔除异常数据、填补缺失数据即均值填充、滤波、数据标准化即归一化的操作；例如，传感器采集的信息均完整无异常，数据预处理仅进行数据标准化处理即可即对所述粮食加工业元数据进行格式转换，生成待融合数据。
步骤S30：对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系。
需要说明的是，所述不同层次的数据融合包括数据级融合、特征级融合和决策级融合；所述对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系所述待融合数据的步骤，具体包括：通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
具体地，对所述待融合数据进行无量纲化，以获得无量纲特征数据；通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数。对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；根据所述特征向量基于典型相关分析算法生成相关性矩阵；根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；将所述特征项作为加工方案标准值。通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；将所述决策变量的最终解作为数据体系指标。根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
易于理解的是，所述融合后的数据体系可以包含加工方案标准值、加工原料及品质标准、加工方案评价及优化知识库、各指标项关联函数、经营模式盈亏平衡点、经营决策辅助知识库，本实施例对此不加以限制。
步骤S40：根据所述融合后的数据体系构建数据库系统。
需要说明的是，根据所述融合后的数据体系构建数据库系统，并将所述数据库系统应用于粮食加工业，所述数据库系统可以对一套新数据进行可信度判断，根据片面数据推测全面的数据，还可以对新投入的加工方案进行评价并提出优化建议。可以将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议。
本实施例通过从不同数据源中采集粮食加工业元数据；对所述粮食加工业元数据进行数据预处理，以获得待融合数据；对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；根据所述融合后的数据体系构建数据库系统。通过上述方式，将不同来源采集到的粮食加工业生产、经营等各类元数据进行融合，构建一个关于粮食加工业的全面的数据库系统，将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议，从而解决了现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。
参考图3，图3为本发明一种用于粮食加工业的数据融合方法第二实施例的流程示意图。
基于上述第一实施例，本实施例用于粮食加工业的数据融合方法在所述步骤S20，具体包括：
步骤S201：对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据。
需要说明的是，所述对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据的步骤，具体包括：获取所述粮食加工业元数据对应的数据分布类型；根据所述数据分布类型采用三倍标准差法、分箱法或预设聚类算法对所述粮食加工业元数据进行噪点消除，以获得去噪后的粮食加工业元数据。其中，所述预设聚类算法可以为基于距离的聚类算法，本实施例还可以采取其他噪点清除方式，本实施例对此不加以限制。
步骤S202：对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。
易于理解的是，对所述去噪后的粮食加工业元数据进行数据格式转换，可以将所述去噪后的粮食加工业元数据的存储形式转换成数据库表元组，将所述数据库表元组作为待融合数据，在对所述待融合数据进行不同级别的数据融合时，所述数据库表元组转为数据流使用。
需要说明的是，对所述粮食加工业元数据进行数据预处理，所述数据预处理还可以对采集的所述粮食加工业元数据进行不一致性消除即剔除异常数据、填补缺失数据即均值填充、滤波、数据标准化即归一化的操作；例如，传感器采集的信息均完整无异常，数据预处理仅进行数据标准化处理即可即对所述粮食加工业元数据进行格式转换，生成待融合数据。
本实施例通过对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据；对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。通过上述方式，将采集到的数据转换为易于进行数据融合的数据库表元组，作为待融合数据。
参考图4，图4为本发明一种用于粮食加工业的数据融合方法第三实施例的流程示意图。
基于上述第一实施例及第二实施例，本实施例用于粮食加工业的数据融合方法在所述步骤S30，具体包括：
步骤S301：通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数。
需要说明的是，所述不同层次的数据融合包括数据级融合、特征级融合和决策级融合。所述通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数的步骤，具体包括：对所述待融合数据进行无量纲化，以获得无量纲特征数据；通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数。
具体地，在数据级融合阶段，将所述待融合数据中的数据信息转化为无量纲特征数据，即对所述待融合数据进行无量纲化，可以避免所述待融合数据中极大极小项数据对后续不同层次的数据融合的影响。所述数据级融合阶段还可以采用卡尔曼滤波算法、选举决策算法及数理统计算法等。
步骤S302：通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值。
易于理解的是，所述通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值的步骤，具体包括：对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；根据所述特征向量基于典型相关分析算法生成相关性矩阵；根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；将所述特征项作为加工方案标准值。
具体地，在特征级融合阶段，对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；根据所述特征向量基于典型相关分析算法生成相关性矩阵；根据所述相关性矩阵将所述待融合数据中无关联且不是人工设置的保留项字段去除，获得所述待融合数据的特征项。所述特征级融合阶段还可以采用卡尔曼滤波算法、神经网络算法、模糊推理算法及产生式规则算法等。
步骤S303：通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标。
需要说明的是，所述通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标的步骤，具体包括：通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；将所述决策变量的最终解作为数据体系指标。所述决策级融合阶段还可以采用贝叶斯概率推理算法等。
具体地，在决策级融合阶段，模糊推理算法中模糊逻辑是多值逻辑，可以通过指定一个0到1之间的实数表示真实度，相当于隐含算子的前提，允许将多个数据源融合过程中的不确定性直接表示在推理过程中，如果采用系统化的方式对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示，模糊逻辑比较适合于在高层次上的应用(如决策)，存在的不确定性可以直接用模糊逻辑表示，再使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现决策级数据融合。
步骤S304：根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
易于理解的是，所述融合后的数据体系可以包含加工方案标准值、加工原料及品质标准、加工方案评价及优化知识库、各指标项关联函数、经营模式盈亏平衡点、经营决策辅助知识库。
本实施例通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。通过上述方式，将不同来源采集到的粮食加工业生产、经营等各类元数据进行融合，构建一个关于粮食加工业的全面的数据库系统，将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议，从而解决了现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有用于粮食加工业的数据融合程序，所述用于粮食加工业的数据融合程序被处理器执行时实现如上文所述的用于粮食加工业的数据融合方法的步骤。
参照图5，图5为本发明用于粮食加工业的数据融合装置第一实施例的结构框图。
如图5所示，本发明实施例提出的用于粮食加工业的数据融合装置包括：
数据采集模块10，用于从不同数据源中采集粮食加工业元数据。
需要说明的是，通过各类传感器从外界环境中采集粮食加工业的各属性信息；根据所述粮食加工业的各属性信息生成粮食加工业元数据。
具体地，粮食加工业的各属性信息可以包含财务、供销数量、生产加工、经营等不同方面的内容，可以根据实际需要采集，本实施例对此不加以限制。所述粮食加工业元数据来自人工采集、各类传感器采集或数据库系统计算生成，以数据库表元组或Excel表格文件等不同的存储形式存在。粮食加工业可以由粮食生产、粮库、加工和销售等4个部分组成，采集的粮食加工业元数据可以包括在粮食生产的源头通过电子标签采集到粮食质量数据库中信息；采集粮食在运输到粮库时入库时间信息和粮库环境信息；采集粮食在加工环节的厂家、操作员、加工方式和时间等信息；在粮食的流通过程中，每个环节都布置多种传感器的读写器设备，可以实时采集该批粮食的环境信息和供销信息。
数据处理模块20，用于对所述粮食加工业元数据进行数据预处理，以获得待融合数据。
易于理解的是，所述对所述粮食加工业元数据进行数据预处理，以获得待融合数据的步骤，具体包括：对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据；对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。
具体地，所述对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据的步骤，具体包括：获取所述粮食加工业元数据对应的数据分布类型；根据所述数据分布类型采用三倍标准差法、分箱法或预设聚类算法对所述粮食加工业元数据进行噪点消除，以获得去噪后的粮食加工业元数据。本实施例还可以采取其他噪点清除方式，本实施例对此不加以限制。对所述去噪后的粮食加工业元数据进行格式转换，可以将所述去噪后的粮食加工业元数据的存储形式转换成数据库表元组，将所述数据库表元组作为待融合数据，对所述待融合数据进行不同级别的数据融合时，所述数据库表元组转为数据流。
需要说明的是，对所述粮食加工业元数据进行数据预处理，所述数据预处理还可以对采集的所述粮食加工业元数据进行不一致性消除即剔除异常数据、填补缺失数据即均值填充、滤波、数据标准化即归一化的操作；例如，传感器采集的信息均完整无异常，数据预处理仅进行数据标准化处理即可即对所述粮食加工业元数据进行格式转换，生成待融合数据。
数据融合模块30，用于对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系。
需要说明的是，所述不同层次的数据融合包括数据级融合、特征级融合和决策级融合；所述对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系所述待融合数据的步骤，具体包括：通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
具体地，对所述待融合数据进行无量纲化，以获得无量纲特征数据；通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数。对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；根据所述特征向量基于典型相关分析算法生成相关性矩阵；根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；将所述特征项作为加工方案标准值。通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；将所述决策变量的最终解作为数据体系指标。根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系。
易于理解的是，所述融合后的数据体系可以包含加工方案标准值、加工原料及品质标准、加工方案评价及优化知识库、各指标项关联函数、经营模式盈亏平衡点、经营决策辅助知识库，本实施例对此不加以限制。
系统构建模块40，用于根据所述融合后的数据体系构建数据库系统。
需要说明的是，根据所述融合后的数据体系构建数据库系统，并将所述数据库系统应用于粮食加工业，所述数据库系统可以对一套新数据进行可信度判断，根据片面数据推测全面的数据，还可以对新投入的加工方案进行评价并提出优化建议。可以将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议。
本实施例提出的用于粮食加工业的数据融合装置包括数据采集模块10，用于从不同数据源中采集粮食加工业元数据；数据处理模块20，用于对所述粮食加工业元数据进行数据预处理，以获得待融合数据；数据融合模块30，用于对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；系统构建模块40，用于根据所述融合后的数据体系构建数据库系统。通过上述方式，将不同来源采集到的粮食加工业生产、经营等各类元数据进行融合，构建一个关于粮食加工业的全面的数据库系统，将从某个数据源得到的个别方面数据通过数据库系统得到该数据源的全面数据，并利用全面数据进行粮食加工业的加工方案评价和提出优化建议，从而解决了现有技术当前粮食加工业数据混乱，存在数据源异构性、割裂性过大及评价代价过大的技术问题。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的用于粮食加工业的数据融合方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种用于粮食加工业的数据融合方法，其特征在于，所述方法包括：
从不同数据源中采集粮食加工业元数据；
对所述粮食加工业元数据进行数据预处理，以获得待融合数据；
对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；
根据所述融合后的数据体系构建数据库系统；
所述不同级别的数据融合包括：数据级融合、特征级融合和决策级融合；
所述对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系的步骤，具体包括：
通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；
通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；
通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；
根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系；
所述通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数的步骤，具体包括：
对所述待融合数据进行无量纲化，以获得无量纲特征数据；
通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数；
所述通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值的步骤，具体包括：
对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；
根据所述特征向量基于典型相关分析算法生成相关性矩阵；
根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；
将所述特征项作为加工方案标准值；
所述通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标的步骤，具体包括：
通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；
将所述决策变量的最终解作为数据体系指标。
2.如权利要求1所述的用于粮食加工业的数据融合方法，其特征在于，所述对所述粮食加工业元数据进行数据预处理，以获得待融合数据的步骤，具体包括：
对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据；
对所述去噪后的粮食加工业元数据进行数据格式转换，生成待融合数据。
3.如权利要求2所述的用于粮食加工业的数据融合方法，其特征在于，所述对所述粮食加工业元数据进行噪点清除，以获得去噪后的粮食加工业元数据的步骤，具体包括：
获取所述粮食加工业元数据对应的数据分布类型；
根据所述数据分布类型采用三倍标准差法、分箱法或预设聚类算法对所述粮食加工业元数据进行噪点消除，以获得去噪后的粮食加工业元数据。
4.一种用于粮食加工业的数据融合装置，其特征在于，所述装置包括：
数据采集模块，用于从不同数据源中采集粮食加工业元数据；
数据处理模块，用于对所述粮食加工业元数据进行数据预处理，以获得待融合数据；
数据融合模块，用于对所述待融合数据进行不同级别的数据融合，以获得融合后的数据体系；
系统构建模块，用于根据所述融合后的数据体系构建数据库系统；
所述不同级别的数据融合包括：数据级融合、特征级融合和决策级融合；所述数据融合模块，还用于通过加权平均算法对所述待融合数据进行所述数据级融合，以获得指标项关联函数；通过典型相关分析算法对所述待融合数据进行所述特征级融合，以获得加工方案标准值；通过模糊推理算法对所述待融合数据进行所述决策级融合，以获得数据体系指标；根据所述指标项关联函数、所述加工方案标准值及所述数据体系指标生成融合后的数据体系；
所述数据融合模块，还用于对所述待融合数据进行无量纲化，以获得无量纲特征数据；通过加权平均算法对所述无量纲特征数据进行所述数据级融合，以获得指标项关联函数；
所述数据融合模块，还用于对所述待融合数据进行特征提取，以获得所述待融合数据对应的特征向量；根据所述特征向量基于典型相关分析算法生成相关性矩阵；根据所述相关性矩阵将所述待融合数据中不符合预设条件的数据项去除，获得所述待融合数据的特征项；将所述特征项作为加工方案标准值；
所述数据融合模块，还用于通过模糊推理算法对所述待融合数据在融合过程中的不确定性进行模糊推理，以获得决策变量的最终解；将所述决策变量的最终解作为数据体系指标。
5.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于粮食加工业的数据融合程序，所述用于粮食加工业的数据融合程序配置为实现如权利要求1至3中任一项所述的用于粮食加工业的数据融合方法的步骤。
6.一种存储介质，其特征在于，所述存储介质上存储有用于粮食加工业的数据融合程序，所述用于粮食加工业的数据融合程序被处理器执行时实现如权利要求1至3任一项所述的用于粮食加工业的数据融合方法的步骤。
CN202010098073.4A 2020-02-17 2020-02-17 用于粮食加工业的数据融合方法、装置、设备及存储介质 Active CN111324594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098073.4A CN111324594B (zh) 2020-02-17 2020-02-17 用于粮食加工业的数据融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098073.4A CN111324594B (zh) 2020-02-17 2020-02-17 用于粮食加工业的数据融合方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111324594A CN111324594A (zh) 2020-06-23
CN111324594B true CN111324594B (zh) 2023-08-11

Family

ID=71167051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098073.4A Active CN111324594B (zh) 2020-02-17 2020-02-17 用于粮食加工业的数据融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111324594B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822290A (zh) * 2021-09-26 2021-12-21 上海闻泰电子科技有限公司 数据融合方法、装置、电子设备和计算机可读存储介质
CN115204314B (zh) * 2022-08-12 2023-05-30 西南交通大学 基于车载obu的多源数据融合方法和车载obu

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251526A (zh) * 2008-02-26 2008-08-27 浙江大学 食品综合品质无损检测方法与装置
CN102222164A (zh) * 2011-05-30 2011-10-19 中国标准化研究院 一种食品感官质量评价方法及系统
CN102521780A (zh) * 2011-11-18 2012-06-27 南京财经大学 一种基于时间序列的粮食安全溯源方法
KR101686846B1 (ko) * 2016-09-19 2016-12-16 주식회사 정도유아이티 평가지표의 경사도/표고생성을 이용하여 공원계획을 포함한 도시계획의 기초자료로 제공하기 위한 토지적성평가시스템
CN109581981A (zh) * 2018-12-06 2019-04-05 山东大学 一种基于数据评估与系统协调模块的数据融合系统及其工作方法
EP3506124A1 (en) * 2017-12-29 2019-07-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing fusion data and information recommendation system
CN110210684A (zh) * 2019-06-12 2019-09-06 武汉轻工大学 粮食加工方案优化方法、装置、设备及存储介质
WO2019184709A1 (zh) * 2018-03-29 2019-10-03 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251526A (zh) * 2008-02-26 2008-08-27 浙江大学 食品综合品质无损检测方法与装置
CN102222164A (zh) * 2011-05-30 2011-10-19 中国标准化研究院 一种食品感官质量评价方法及系统
CN102521780A (zh) * 2011-11-18 2012-06-27 南京财经大学 一种基于时间序列的粮食安全溯源方法
KR101686846B1 (ko) * 2016-09-19 2016-12-16 주식회사 정도유아이티 평가지표의 경사도/표고생성을 이용하여 공원계획을 포함한 도시계획의 기초자료로 제공하기 위한 토지적성평가시스템
EP3506124A1 (en) * 2017-12-29 2019-07-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing fusion data and information recommendation system
WO2019184709A1 (zh) * 2018-03-29 2019-10-03 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN109581981A (zh) * 2018-12-06 2019-04-05 山东大学 一种基于数据评估与系统协调模块的数据融合系统及其工作方法
CN110210684A (zh) * 2019-06-12 2019-09-06 武汉轻工大学 粮食加工方案优化方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于均值平移算法的图像分割技术;方浩铖;;电子技术与软件工程(01);全文 *

Also Published As

Publication number Publication date
CN111324594A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
Dewi et al. Random forest and support vector machine on features selection for regression analysis
Omri et al. Industrial data management strategy towards an SME-oriented PHM
Tayal et al. Integrating big data analytic and hybrid firefly-chaotic simulated annealing approach for facility layout problem
US10191968B2 (en) Automated data analysis
CN101923557B (zh) 数据分析系统及方法
CN106844407B (zh) 基于数据集相关性的标签网络产生方法和系统
CN106649890A (zh) 数据存储方法和装置
JP2019079302A (ja) 営業活動支援システム、営業活動支援方法および営業活動支援プログラム
CN110147389B (zh) 帐号处理方法和装置、存储介质及电子装置
Jenab et al. A graph-based model for manufacturing complexity
CN111324594B (zh) 用于粮食加工业的数据融合方法、装置、设备及存储介质
CN111090686B (zh) 数据处理方法、装置、服务器和存储介质
Zhang et al. Aided analysis for quality function deployment with an Apriori-based data mining approach
US20170053206A1 (en) Methods and systems for identifying and prioritizing insights from hidden patterns
Liang et al. The generic genetic algorithm incorporates with rough set theory–An application of the web services composition
CN116244367A (zh) 一种基于多模型的自定义算法的可视化大数据分析平台
CN111967521B (zh) 跨境活跃用户识别方法及装置
US20230076149A1 (en) Methods and apparatus for data imputation of a sparse time series data set
Pendharkar et al. Interactive classification using data envelopment analysis
US20220374801A1 (en) Plan evaluation apparatus and plan evaluation method
CN115221337A (zh) 数据编织处理方法、装置、电子设备及可读存储介质
JP5555238B2 (ja) ベイジアンネットワーク構造学習のための情報処理装置及びプログラム
Shi et al. Knowledge management platforms and intelligent knowledge beyond data mining
Mollaei et al. Occupational health knowledge discovery based on association rules applied to workers’ body parts protection: a case study in the automotive industry
CN112308419A (zh) 数据处理方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant