CN110377648A - 一种面向智能制造的多源异构数据分析平台 - Google Patents
一种面向智能制造的多源异构数据分析平台 Download PDFInfo
- Publication number
- CN110377648A CN110377648A CN201810320044.0A CN201810320044A CN110377648A CN 110377648 A CN110377648 A CN 110377648A CN 201810320044 A CN201810320044 A CN 201810320044A CN 110377648 A CN110377648 A CN 110377648A
- Authority
- CN
- China
- Prior art keywords
- data
- production
- source heterogeneous
- heterogeneous data
- production process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 124
- 238000007405 data analysis Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 208000033012 Postpartum state Diseases 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007418 data mining Methods 0.000 claims 2
- 238000013079 data visualisation Methods 0.000 claims 2
- 241001269238 Data Species 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000009776 industrial production Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 241000533950 Leucojum Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Abstract
一种面向智能制造的多源异构数据分析平台。本发明在理解当前工业生产领域大数据海量性、多重性、快速性、价值性特点的基础上，根据工业生产过程中管理决策的应用需求，以及多源异构数据融合分析技术及数据交换标准与机制研究，提出了面向智能制造的三层结构的多源异构数据分析平台。本发明首先从智能制造过程的设备、工作站、用户需求等多个视角，分析其可用性特征，建立满足演化应用的可用性评估推理模型，其次在多源异构、复杂内联和动态演化的角度构建生产过程知识发现策略与方法。
Description
技术领域
本发明属于计算机技术领域，具体涉及一种面向智能制造的多源异构数据分析平台及分析方法。
背景技术
在工业制造领域，为了改进流程控制成本，传统的方法是以事先知道研究对象的特性为前提，然后根据对象的特性加以闭环控制，从而使输出特性符合要求。现有的制造流程建模方法和自动控制方法都是通过这种方式，根据少量有价值的数据进行研究的。但是，现实生活中很多的系统过于复杂，没有相对应的理论知识作为支撑，其特性和行为不能被理解和掌握，传统的方法不能发挥作用。
Jim Gray 提出以数据为中心的研究方法，面对复杂的工业生产系统，通过对系统的复杂行为进行信息化，将系统的运行过程产生的大量数据进行采集和保存，通过对这些数据的研究，解决现有的实验手段不能处理的复杂问题。
传统的数据管理分析方案，一般是利用数据仓库技术为决策支持所需的联机分析、处理等做信息存储。数据仓库技术需要先将数据从数据源中拉出，通过数据清洗，将数据搬运到数据仓库中集中的存储和管理，再由特定的工具从仓库读取数据生成数据立方体，从而进行数据的分析。在面对工业制造的大数据时，这种方式具有非常大的缺陷。
首先，数据仓库面对的是存储于关系表中的关系型数据，而在工业生产过程中，数据的来源有数据釆集系统从分布在不同地理位置的各个厂区的各种传感器、工作站、现场生产控制系统取得的生产过程数据、监控数据、日志数据等等，这些数据一些是结构化数据，同时也有大量的非结构化数据和半结构化数据。
其次，数据仓库技术涉及大量的数据移动，从数据源经过 ETL (ExtractTransform Load)将数据存储到数据仓库中，在 OLAP (On-line Analytical Processing)服务器中转化为星型模型或者雪花模型，在分析时，又将数据从数据库中取出。这些代价在TB 级时还可以接受，但面对数量达到 PB 以上的大数据，其执行时间至少以数量级增加，更为重要的是，制造过程中的运行监测，加工过程中的故障处理等等都涉及一定的实时性要求，这种模式是不可取的。
发明内容
为了解决现有技术存在的上述问题，本发明提供了一种面向智能制造的多源异构数据分析平台。
本发明所采用的技术方案为：一种面向智能制造的多源异构数据分析平台包括数据采集模块、数据存储模块、数据清洗模块、集成管理模块、数据检索和可视化模块；所述数据采集模块用于采集异构数据；所述数据存储模块将采集到的多源异构数据进行缓存；所述数据清洗模块从数据文件中识别的错误，包括检查数据一致性，处理无效值和缺失值等，并对多源异构数据进行词法、语法和/或语义分析，得到标准化文本数据； 所述集成管理模块，把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图；所述需求驱动的数据检索即是将数据库中存储的数据根据用户的需求提取出来。当数据检索的结果结束时会生成一个数据表，该表既可以放回数据库，也可以作为进一步处理的对象；所述可视化模块用于将以订单为中心的生产关系约束、设备需求和生产流程关系进行显示。
进一步地，所述多源异构数据包括不同地理位置的各个厂区的各种传感器、工作站、现场生产控制系统取得的生产过程数据、监控数据、日志数据等等；所述传感器数据与生产过程数据包括零件名称、零件库存、机器编号、机器容量、生产时间、分配状态、需求量、设备磨损情况、机器冗余程度、生产前状态、生产后状态和是否可被分配；所述工作站数据包括工作站名称、工作站编号、机器数量、订单名称、订单编号、最早开始时间、可分配的生产时间、需求时间、任务之间的约束和任务完成状态；所述监控数据包括生产线监控数据与录像数据；所述日志数据包括每日生产数量、产品名称、订单状态。
进一步地，所述对多源异构数据进行词法、语法和/或语义分析包括对多源异构数据的原始文本数据基于词法、语法和/或 语义分析进行结构化处理和分词处理。
进一步地，所述集成管理模块包括数据抽取模块、数据表示模块和构建模块；所述数据抽取模块用于从标准化文本数据中抽取事实信息，事实信息包括实体、属性、实体之间的关系以及实体与属性之间的关系；所述数据表示模块采用预设表现形式对事实信息 进行结构化表示，得到事实信息的结构化数据对；所述构建模块将结构化数据对作为知识条目构建生产过程中的甘特图像。
进一步地，所述预设表现形式采用符号集的表现形式对事实信息进行结构化表示。
一种多源异构数据分析方法包括以下步骤：
获取多源异构数据；
对获取到的多源异构数据进行缓存；
对多源异构数据进行数据清洗，同时进行标准化处理，得到标准化文本数据；
从标准化文本数据中提取出生产过程中的动态信息数据和静态信息数据，构建生产过程中的生产图像；
根据生产过程中的生产图像构建生产过程中的甘特图，根据工作站的生产图像构建工作站的甘特图谱；
将订单为中心的生产关系约束、设备需求和生产流程进行可视化呈现。
更进一步地，所述的一种多源异构数据分析平台的分析方法，其特征在于，所述多源异构数据采用传感器、设备监控器或摄像头进行获取。
更进一步地，所述的一种多源异构数据分析平台的分析方法，其特征在于，所述工作站数据从工作站的数据库或资源网站中获取。
进一步地，所述构建生产过程中生产图像的具体过程为：
从标准化文本数据中提取出机器以及订单的动态信息数据和静态信息数据；动态数据包括订单状态、机器状态和机器冗余，静态信息数据包括设备名称、设备容量、可生产产品、和订单数据；根据提取的数据量化得到生产状态报表；生产状态报表包括生产设备报表、订单状态报表和生产状态报表；将生产状态报表集合在一起构建出生产过程中的甘特图。
由于采用以上技术方案，本发明的有益效果为：本发明使用知识图谱、大数据分析及智能搜索等相关技术设计并开发面向智能制造的多源异构数据融合平台，并通过平台的数据服务为决策者和生产提供决策支持能力。
附图说明
图1是本发明一个实施例提供的一种面向智能制造的多源异构数据融合平台的结构示意图。
图2是本发明一个实施例提供的一种多源异构数据分析方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
符号集旨在描述真实世界中存在的各种实体或概念，每个实体或概念用一个全局唯一确定的标识，工作站(workCenter) {WC1,WC2…WCi},其中i表示工作站的编号；三元组triple p={s0,tn0,D},s0表示初始状态，tn0为一组任务，D为规划理论，即方法与运算符集合；S=（partinfo，WCinfo，t），partinfo=((partname1,inventory),(partname2,inventory)…(partnamei,inventory))，表示t时刻，一组所有类型零件的库存；WCinfo为每台机器未使用容量的描述；tn0为一个二进制集（T，C），其中T为一个多元组（nt，partname，BN，Q，ss，Fs，Rt，bt，ft，at，infn，isda），nt为任务标识符，partname为零件名称，BN为进程树ID，Q为需求量，ss为生产前状态，Fs为生产后的状态，Rt为需求日期，bt为最晚开始时间，ft为最早开始生产时间，at为可分配的生产时间，isfn为该任务的完成状态，C表示任务之间的约束；每个属性-值对用来刻画实体的内在特性，而关系用来连接两个实体，刻画它们之间的关联。符号集亦可被看作是一张巨大的表格，表格中的信息表示实体或概念，而表格中的边则由属性或关系构成。符号集主要就是构建和维护上述的实体和关系，为搜索中的推荐系统、语义理解、问题回答等提供支持。此外，符号集并不是一张静态的网状图，它会根据外界的变化而进行自我调整与更新。
如图1所示，本发明提供了一种多源异构数据融合平台；其包括1-数据采集模块；2-数据存储模块；3-数据清洗模块；4-集成管理模块；5-数据检索模块；6-可视化模块。
所述多源异构数据包括不同地理位置的各个厂区的各种传感器、工作站、现场生产控制系统取得的生产过程数据、监控数据、日志数据等等；所述传感器数据与生产过程数据包括零件名称、零件库存、机器编号、机器容量、生产时间、分配状态、需求量、设备磨损情况、机器冗余程度、生产前状态、生产后状态和是否可被分配；所述工作站数据包括工作站名称、工作站编号、机器数量、订单名称、订单编号、最早开始时间、可分配的生产时间、需求时间、任务之间的约束和任务完成状态；所述监控数据包括生产线监控数据与录像数据；所述日志数据包括每日生产数量、产品名称、订单状态。
数据采集模块采集到的多源异构数据传输至数据存储模块进行缓存。
数据存储模块将采集到的多源异构数据进行缓存，运行在服务器的内存中，在服务器运行相对空闲或占用内存量过大时，把数据存入数据库中，以确保数据的高速存储与持久化存储的协同运转。
数据清洗模块从数据存储模块中读取多源异构数据，并对多源异构数据进行词法、语法和/或语义分析，得到标准化文本数据；对多源异构数据进行词法、语法和/或语义分析包括对多源异构数据的原始文本数据基于词法、语法和/或语义分析进行结构化处 理和分词处理等操作。
集成管理模块从标准化文本数据中提取出机器以及订单的动态信息数据和静态信息数据，动态数据包括订单状态、机器状态和机器冗余，静态信息数据包括设备名称、设备容量、可生产产品和订单数据。根据提取的数据量化得到生产状态报表，生产状态报表包括生产设备报表和订单状态报表，将生产状态报表集合在一起构建出生产过程中的甘特图。
数据检索模块根据从标准化文本数据中提取出生产过程中的动态信息数据和静态信息数据，构建生产过程中的生产图像，根据生产过程中的生产图像构建生产过程中的甘特图，根据工作站的生产图像构建工作站的甘特图谱，将生产过程中的甘特图和工作站的甘特图谱进行关联，得到以订单为中心的生产关系约束、设备需求和生产流程。
可视化模块对得到的以学生为中心的课程联系、社交关系和师生关系进行显示，从而为人们提供可视化的分析结果，让人们更好的利用数据，提高预测性分析能力，为高校管理、学生发展提供高质量的数据管理。
上述实施例中，知识图谱构建单元包括信息抽取单元、信息表示单元和构建单元。其中，信息抽取单元用于从标准化文本数据中抽取事实信息，事实信息包括以下元素：实体、属性、实体之间的关系以及实体与属性之间的关系。信息表示单元采用预设表现形式对事实信息进行结构化表示，得到事实信息的结构化数据对。构建单元将结构化数据对作为知识条目构建知识图谱。
具体地，可以采用N元组符号集的表现形式对事实信息进行结构化表示。例如，根据知识挖掘的结果，识别输出实体类别、实体类别的属性和实体类别的实例，构造三元组。每一条事实信息都可以表示成(实体，属性，实例)。属性采用元数据进行描述。针对不同的实体类型，定义元数据模型。元数据是由一组属性组成，一个属性用于表示一个对象的某种特征，并用一个二元组<name,value>表示。在实体汇总时，元数据模型自动抽取实体的属性值，并通过部分关键属性实现实体之间的连接。
如图2所示，本发明还提供了一种多源异构数据分析方法，其包括以下步骤：
步骤1：获取多源异构数据。
所述多源异构数据包括不同地理位置的各个厂区的各种传感器、工作站、现场生产控制系统取得的生产过程数据、监控数据、日志数据等等；所述传感器数据与生产过程数据包括零件名称、零件库存、机器编号、机器容量、生产时间、分配状态、需求量、设备磨损情况、机器冗余程度、生产前状态、生产后状态和是否可被分配；所述工作站数据包括工作站名称、工作站编号、机器数量、订单名称、订单编号、最早开始时间、可分配的生产时间、需求时间、任务之间的约束和任务完成状态；所述监控数据包括生产线监控数据与录像数据；所述日志数据包括每日生产数量、产品名称、订单状态；
更进一步地，所述的一种多源异构数据分析平台的分析方法，其特征在于，所述多源异构数据采用传感器、设备监控器或摄像头进行获取。
更进一步地，所述的一种多源异构数据分析平台的分析方法，其特征在于，所述工作站数据从工作站的数据库或资源网站中获取。
步骤2：对获取的多源异构数据进行缓存。
步骤3：对多源异构数据进行标准化处理，得到标准化文本数据，其具体过程为：对多源异构数据的原始文本数据基于词法、语法和/或语义分析进行结构化处理和分词处理等操作，得到标准化文本数据。
步骤4：所述构建生产过程中生产甘特图的具体过程为：
从标准化文本数据中提取出生产的动态信息数据和静态信息数据；动态数据包括订单状态、机器状态和机器冗余，静态信息数据包括设备名称、设备容量、可生产产品、和订单数据。
根据提取的数据量化得到生产状态报表。
生产状态报表包括生产设备报表、订单状态报表和生产状态报表。
将生产状态报表集合在一起构建出生产过程中的甘特图。
步骤5：根据生产过程中的甘特图，同时根据工作站的生产图像构建工作站的甘特图谱，将生产过程中的甘特图和工作站的甘特图谱进行关联，得到以订单为中心的生产关系约束、设备需求和生产流程。
步骤6：将订单为中心的生产关系约束、设备需求和生产流程进行可视化呈现。
在一个具体的实施例中，采用以下步骤构建甘特图，其具体过程为：
步骤1：确定符号集中的实体
定义实体类别。例如，可以根据贴片机的机器将这一实体定义为：初始状态s0、冗余程度和机器编号等。为各实体类别设置属性。实体类别的属性包括固有属性和关系属性。其中固有属性是指实体自身固有的属性，例如机器的固有属性包括容量和可生产的产品种类等。关系属性是指可以和其他的实体产生联系的属性，例如，机器的关系属性包括是否可被分配任务和任务之间的约束等。对各实体类别进行实例化，从模型中抽取实体类别的属性。例如，实体类别为贴片机。利用CRF (conditional random field algorithm，条件随机场算法)从元数据模型中抽取实体类别的属性，其属性为机器型号。实体类别的具体实例为Assembleo-FCM型。
步骤2：对关系属性进行抽取，确定各实体类别之间的关系：首先定义关系属性的类型，关系属性的类型可以自定义也可以采用常见的六大类实体关系。六大类实体关系包括继承、实现、依赖、关联、聚合和组合。然后根据实体出现的上下文将实体链接到一个具体的实体描述上。
步骤3：抽取实体关系。
步骤4：采用Hadoop和MySQL组合的形式以及图数据库Neo4j对实体以及实体之间的关系数据进行存储。Hadoop和MySQL组合的形式采用语义描述语言OWL对知识库进行描述，通过预先设置的推理函数进行推理。图数据库Neo4j采用图结构描述整个知识库，通过对图中的节点(实体)进行遍历完成推理。
本发明通过获取多源异构数据，将智能制造中的资源数据通过建立多层语义模型进行实体化和连接，建立生产的工作站数据、机器数据、订单数据、日志数据、传感器数据、机器状态等实体关系的，构建一个符号集，从而结合多种数据分析模型、多源数据融合、数据内在隐含知识挖掘等方法，构建多源异构生产数据分析平台，加强智能制造与大数据和人工智能技术的深度融合，为决策者以及智能制造提供大数据分析服务。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种面向智能制造的多源异构数据分析平台，其特征在于，它包括生产过程中结构化、半结构化、非结构化海量数据的采集、清洗、存储、集成管理、可视化，需求驱动的数据检索；
所述数据采集模块用于采集异构数据；
所述数据存储模块将采集到的多源异构数据进行缓存；
所述数据清洗模块从数据文件中识别的错误，包括检查数据一致性，处理无效值和缺失值等，并对多源异构数据进行词法、语法和/或语义分析，得到标准化文本数据；
所述集成管理模块，把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图；
所述需求驱动的数据检索即是将数据库中存储的数据根据用户的需求提取出来；当数据检索的结果结束时会生成一个数据表，该表既可以放回数据库，也可以作为进一步处理的对象；
所述可视化模块用于将以订单为中心的生产关系约束、设备需求和生产流程关系进行显示。
2.如权利要求1所述的一种多源异构数据分析平台，其特征在于，所述多源异构数据包括不同地理位置的各个厂区的各种传感器、工作站、现场生产控制系统取得的生产过程数据、监控数据、日志数据等；
所述传感器数据与生产过程数据包括零件名称、零件库存、机器编号、机器容量、生产时间、分配状态、需求量、设备磨损情况、机器冗余程度、生产前状态、生产后状态和是否可被分配；
所述工作站数据包括工作站名称、工作站编号、机器数量、订单名称、订单编号、最早开始时间、可分配的生产时间、需求时间、任务之间的约束和任务完成状态；
所述监控数据包括生产线监控数据与录像数据；
所述日志数据包括每日生产数量、产品名称、订单状态。
3.如权利要求1所述的一种多源异构数据融合平台，其特征在于，面向智能制造的多源异构数据分析平台由三层结构组成，数据管理层、数据挖掘层和多元化的数据可视化展示层；
所述数据管理层用于存放多源异构数据；
所述数据挖掘层采用机器学习等智能算法分析学习数据；
所述数据可视化展示层用图表等方式展示数据。
4.如权利要求3所述的一种多源异构数据分析平台，其特征在于，所述对多源异构数据进行词法、语法和/或语义分析，包括对多源异构数据的原始文本数据基于词法、语法和/或语义分析进行结构化处理和分词处理。
5.如权利要求1或2或3所述的一种面向智能制造的多源异构数据分析平台，其特征在于，所述预设表现形式采用符号集的表现形式对事实信息进行结构化表示。
6.一种多源异构数据的分析方法，其特征在于，它包括以下步骤：
获取多源异构数据；
对获取到的多源异构数据进行缓存；
对多源异构数据进行数据清洗，同时进行标准化处理，得到标准化文本数据；
从标准化文本数据中提取出生产过程中的动态信息数据和静态信息数据，构建生产过程中的生产图像；
根据生产过程中的生产图像构建生产过程中的甘特图，根据工作站的生产图像构建工作站的甘特图谱；
将生产过程中的甘特图和工作站的甘特图谱进行关联，得到以订单为中心的生产关系约束、设备需求和生产流程；
将订单为中心的生产关系约束、设备需求和生产流程进行可视化呈现。
7.如权利要求6所述的一种多源异构数据分析方法，其特征在于，所述多源异构数据采用传感器、设备监控器或摄像头进行获取。
8.如权利要求6所述的一种多源异构数据分析方法，其特征在于，所述工作站数据从工作站的数据库或资源网站中获取。
9.如权利要求6所述的一种多源异构数据分析方法，其特征在于，所述构建生产过程中生产图像的具体过程为：
从标准化文本数据中提取出机器以及订单的动态信息数据和静态信息数据；
动态数据包括订单状态、机器状态和机器冗余，静态信息数据包括设备名称、设备容量、可生产产品、和订单数据；
根据提取的数据量化得到生产状态报表；生产状态报表包括生产设备报表和订单状态报表；将生产状态报表集合在一起构建出生产过程中的甘特图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810320044.0A CN110377648A (zh) | 2018-04-11 | 2018-04-11 | 一种面向智能制造的多源异构数据分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810320044.0A CN110377648A (zh) | 2018-04-11 | 2018-04-11 | 一种面向智能制造的多源异构数据分析平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110377648A true CN110377648A (zh) | 2019-10-25 |
Family
ID=68242910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810320044.0A Pending CN110377648A (zh) | 2018-04-11 | 2018-04-11 | 一种面向智能制造的多源异构数据分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110377648A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941612A (zh) * | 2019-11-19 | 2020-03-31 | 上海交通大学 | 基于关联数据的自治数据湖构建系统及方法 |
| CN111159230A (zh) * | 2019-11-29 | 2020-05-15 | 上海数据交易中心有限公司 | 数据资源地图的构建方法及装置、存储介质、终端 |
| CN111767335A (zh) * | 2020-07-08 | 2020-10-13 | 苏州峰之鼎信息科技有限公司 | 数据可视化分析方法 |
| CN112100266A (zh) * | 2020-11-05 | 2020-12-18 | 成都中科大旗软件股份有限公司 | 大数据图谱分析方法及系统 |
| CN112199404A (zh) * | 2020-09-24 | 2021-01-08 | 建信金融科技有限责任公司 | 报表的创建方法、装置、电子设备及计算机可读存储介质 |
| CN112541729A (zh) * | 2020-11-25 | 2021-03-23 | 中国海洋大学 | 基于大数据的生产全流程可视化智能管控方法及系统 |
| CN112579565A (zh) * | 2020-11-30 | 2021-03-30 | 贵州力创科技发展有限公司 | 一种数据分析引擎的数据模型管理方法及系统 |
| CN112699251A (zh) * | 2021-03-23 | 2021-04-23 | 中国信息通信研究院 | 数据聚合方法、装置、电子设备及存储介质 |
| WO2021109647A1 (zh) * | 2019-12-05 | 2021-06-10 | 深圳前海微众银行股份有限公司 | 一种基于多源异构系统的联邦学习方法及装置 |
| CN113065000A (zh) * | 2021-03-29 | 2021-07-02 | 泰瑞数创科技(北京)有限公司 | 一种基于地理实体的多源异构数据融合方法 |
| CN113297157A (zh) * | 2020-02-24 | 2021-08-24 | 长鑫存储技术有限公司 | 机台文件处理方法及处理系统 |
| WO2022061925A1 (zh) * | 2020-09-28 | 2022-03-31 | 西门子股份公司 | 自动化控制系统控制图生成方法、装置和计算机可读介质 |
| CN114817739A (zh) * | 2022-05-16 | 2022-07-29 | 广东弘力控股集团有限公司 | 一种基于人工智能算法的工业大数据处理系统 |
| CN116910131A (zh) * | 2023-09-12 | 2023-10-20 | 山东省国土测绘院 | 一种基于基础地理实体数据库的联动可视化方法及系统 |
| CN116976808A (zh) * | 2023-07-21 | 2023-10-31 | 中国矿业大学(北京) | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 |
| CN117726080A (zh) * | 2024-02-05 | 2024-03-19 | 南京迅集科技有限公司 | 多源异构数据驱动的智能制造决策系统及方法 |
| CN113297157B (zh) * | 2020-02-24 | 2024-06-07 | 长鑫存储技术有限公司 | 机台文件处理方法及处理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| CN107633075A (zh) * | 2017-09-22 | 2018-01-26 | 吉林大学 | 一种多源异构数据融合平台及融合方法 |
-
2018
- 2018-04-11 CN CN201810320044.0A patent/CN110377648A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| CN107633075A (zh) * | 2017-09-22 | 2018-01-26 | 吉林大学 | 一种多源异构数据融合平台及融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 夏虹等: "面向工业的开放数据服务平台研究", 《微处理机》 * |
| 姚雪梅等: "制造大数据相关技术架构分析", 《电子技术应用》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941612A (zh) * | 2019-11-19 | 2020-03-31 | 上海交通大学 | 基于关联数据的自治数据湖构建系统及方法 |
| CN111159230A (zh) * | 2019-11-29 | 2020-05-15 | 上海数据交易中心有限公司 | 数据资源地图的构建方法及装置、存储介质、终端 |
| WO2021109647A1 (zh) * | 2019-12-05 | 2021-06-10 | 深圳前海微众银行股份有限公司 | 一种基于多源异构系统的联邦学习方法及装置 |
| CN113297157B (zh) * | 2020-02-24 | 2024-06-07 | 长鑫存储技术有限公司 | 机台文件处理方法及处理系统 |
| CN113297157A (zh) * | 2020-02-24 | 2021-08-24 | 长鑫存储技术有限公司 | 机台文件处理方法及处理系统 |
| CN111767335A (zh) * | 2020-07-08 | 2020-10-13 | 苏州峰之鼎信息科技有限公司 | 数据可视化分析方法 |
| CN112199404A (zh) * | 2020-09-24 | 2021-01-08 | 建信金融科技有限责任公司 | 报表的创建方法、装置、电子设备及计算机可读存储介质 |
| WO2022061925A1 (zh) * | 2020-09-28 | 2022-03-31 | 西门子股份公司 | 自动化控制系统控制图生成方法、装置和计算机可读介质 |
| CN112100266A (zh) * | 2020-11-05 | 2020-12-18 | 成都中科大旗软件股份有限公司 | 大数据图谱分析方法及系统 |
| CN112100266B (zh) * | 2020-11-05 | 2021-02-09 | 成都中科大旗软件股份有限公司 | 大数据图谱分析方法及系统 |
| CN112541729A (zh) * | 2020-11-25 | 2021-03-23 | 中国海洋大学 | 基于大数据的生产全流程可视化智能管控方法及系统 |
| CN112579565A (zh) * | 2020-11-30 | 2021-03-30 | 贵州力创科技发展有限公司 | 一种数据分析引擎的数据模型管理方法及系统 |
| CN112579565B (zh) * | 2020-11-30 | 2023-04-18 | 贵州力创科技发展有限公司 | 一种数据分析引擎的数据模型管理方法及系统 |
| CN112699251A (zh) * | 2021-03-23 | 2021-04-23 | 中国信息通信研究院 | 数据聚合方法、装置、电子设备及存储介质 |
| CN113065000A (zh) * | 2021-03-29 | 2021-07-02 | 泰瑞数创科技(北京)有限公司 | 一种基于地理实体的多源异构数据融合方法 |
| CN113065000B (zh) * | 2021-03-29 | 2021-10-22 | 泰瑞数创科技(北京)有限公司 | 一种基于地理实体的多源异构数据融合方法 |
| CN114817739B (zh) * | 2022-05-16 | 2023-03-28 | 深圳海力德油田技术开发有限公司 | 一种基于人工智能算法的工业大数据处理系统 |
| CN114817739A (zh) * | 2022-05-16 | 2022-07-29 | 广东弘力控股集团有限公司 | 一种基于人工智能算法的工业大数据处理系统 |
| CN116976808A (zh) * | 2023-07-21 | 2023-10-31 | 中国矿业大学(北京) | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 |
| CN116910131A (zh) * | 2023-09-12 | 2023-10-20 | 山东省国土测绘院 | 一种基于基础地理实体数据库的联动可视化方法及系统 |
| CN116910131B (zh) * | 2023-09-12 | 2023-12-08 | 山东省国土测绘院 | 一种基于基础地理实体数据库的联动可视化方法及系统 |
| CN117726080A (zh) * | 2024-02-05 | 2024-03-19 | 南京迅集科技有限公司 | 多源异构数据驱动的智能制造决策系统及方法 |
| CN117726080B (zh) * | 2024-02-05 | 2024-04-26 | 南京迅集科技有限公司 | 多源异构数据驱动的智能制造决策系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377648A (zh) | 一种面向智能制造的多源异构数据分析平台 | |
| CN108171117B (zh) | 基于多核异构并行计算的电力人工智能视觉分析系统 | |
| CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
| CN107506393B (zh) | 一种农业大数据模型及其在农业上的应用 | |
| CN113325816A (zh) | 面向工业互联网的数字孪生体数据管理方法 | |
| Zehnder et al. | Representing industrial data streams in digital twins using semantic labeling | |
| CN111985716B (zh) | 一种客运信息可视化的客运量预测系统 | |
| CN109460393A (zh) | 一种基于大数据的预检预修可视化系统 | |
| CN116771576A (zh) | 水电机组故障综合诊断方法 | |
| CN116775763A (zh) | 一种去中心化分布式共生共享的数据编织系统 | |
| CN111651890B (zh) | 基于数据驱动的铝电解数字孪生工厂、控制方法及系统 | |
| CN111353085A (zh) | 一种基于特征模型的云挖掘分析网络舆情方法 | |
| Lee | A Study on Geospatial Information Role in Digital Twin | |
| Liu et al. | Research on environmental monitoring system based on microservices and data mining | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN106845795B (zh) | 一种基于多Agent技术的业务流转系统及其业务流转方法 | |
| Gang et al. | Analysis of the information management system in the manufacturing process of cigarette enterprises using fuzzy AHP | |
| Sabitha Malli et al. | Real time big data analytics to derive actionable intelligence in enterprise applications | |
| Rubart et al. | Analyzing manufacturing data in a digital control room making use of semantic annotations | |
| CN112241428A (zh) | 一种数字化决策方法及系统 | |
| Hristoskova et al. | Semantic reasoning for intelligent emergency response applications | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| AU2021102301A4 (en) | Decision support system based on machine learning and deep learning for secure data management | |
| Jiang et al. | A hybrid knowledge-base system approach for disaster emergency and relief decision | |
| LU501300B1 (en) | Pre-warning method for agricultural product quality based on big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191025 |