CN109189768A - 一种复杂制造过程感知数据预处理方法及装置 - Google Patents
一种复杂制造过程感知数据预处理方法及装置 Download PDFInfo
- Publication number
- CN109189768A CN109189768A CN201810896758.6A CN201810896758A CN109189768A CN 109189768 A CN109189768 A CN 109189768A CN 201810896758 A CN201810896758 A CN 201810896758A CN 109189768 A CN109189768 A CN 109189768A
- Authority
- CN
- China
- Prior art keywords
- data
- noise
- sensor
- distortion
- raw sensed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 45
- 230000008447 perception Effects 0.000 title claims abstract description 42
- 230000008569 process Effects 0.000 title claims abstract description 35
- 238000013500 data storage Methods 0.000 claims abstract description 10
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 3
- 210000000352 storage cell Anatomy 0.000 claims description 3
- 230000008439 repair process Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Landscapes
- General Factory Administration (AREA)
Abstract
本公开提供一种复杂制造过程感知数据预处理方法及装置,针对复杂制造过程中传感器性能、数据传输等导致传感器数据失真或丢失,通过传感器实时读取数控机床制造过程的原始感知数据,检测原始感知数据的噪声失真数据标记噪声失真数据点,修复原始感知数据的噪声失真数据点,将处理好感知数据存储到数据库,从而实现对原始数据中噪声和部分受损数据进行修复处理,解决复杂制造过程中的感知数据采集的数据质量问题。
Description
技术领域
本公开涉及智能制造技术领域,特别涉及一种复杂制造过程感知数据预处理方法及装置。
背景技术
在复杂制造过程中,由于单个传感器只能获取机器的局部的信息,对于功能部件多、故障信息复杂的复杂制造的数控机床,由于机床功能部件种类复杂,外界突然事件也会导致数据异常波动,多信号调制和监测信号种类多样性的特点,使制造过程早期故障感知信息十分微弱,加之不同空间运行环境和随机误差的干扰,使得早期故障识别“雪上加霜”。必须消除不同空间运行环境和随机误差的干扰,凸显复杂制造过程健康指标的故障演化趋势。
在复杂制造过程中感知系统采集到的感知数据不可避免的出现受损、干扰,丢失等情况,因此需要一些技术手段进行对数据进行规范和修复,需要对原始数据中噪声和部分丢失数据进行修复处理。
发明内容
针对上述技术问题,本公开提供一种复杂制造过程感知数据预处理方法及装置,针对复杂制造过程中传感器性能、数据传输等导致传感器数据失真或丢失,对原始数据中噪声和部分受损数据进行修复处理,解决复杂制造过程中的感知数据采集的数据质量问题。
所述一种复杂制造过程感知数据预处理方法具体包括以下步骤:
步骤1,传感器实时读取数控机床制造过程的原始感知数据;
步骤2,检测原始感知数据的噪声失真数据标记噪声失真数据点;
步骤3,修复原始感知数据的噪声失真数据点;
步骤4,将处理好感知数据存储到数据库中。
进一步地,在步骤1中,所述原始感知数据为传感器实时获取到的数据,所述传感器包括直线位移光栅传感器、接近开关、温度传感器、霍尔传感器、电流传感器、电压传感器、压力传感器、液位传感器、速度传感器,用于检测位置、计数、角位移、直线位移、温度、磁场强度、压力、速度数据,所述原始感知数据包括传感器编号、采集物理量、采集时间。
进一步地,在步骤2中,所述检测原始感知数据的噪声失真数据标记噪声失真数据点的方法包括以下步骤:
步骤2.1,构建正态分布构建噪声数据判定函数,其中,σ为最近1小时内采集到原始感知数据的采集物理量标准差,μ为最近1小时内采集到原始感知数据的采集物理量均值,x为当前的传感器感知的原始感知数据的采集物理量;
步骤2.2,当x落在f(x)的(μ-2.5σ,μ+2.5σ)以外的概率小于千分之2.5,即判定x为噪声数据;
步骤2.3,将噪声数据x标记为噪声失真数据点。
进一步地,在步骤3中,所述修复原始感知数据的噪声失真数据点的方法包括以下步骤,
步骤3.1,根据采集时间判断当前的噪声失真数据点之前的噪声失真数据点的时间是否超过失真阈值,即判断本噪声失真数据点的连续噪声时间是否超过失真阈值;
步骤3.2,将小于或等于失真阈值的噪声失真数据点以传感器最近1小时内采集到原始感知数据的采集物理量的均值覆盖填充;
步骤3.3,将大于失真阈值的噪声失真数据点以传感器最近30分钟内采集到原始感知数据的采集物理量的均值覆盖填充;
所述失真阈值默认为0.5秒,可人工调整。
进一步地,在步骤4中,所属数据库包括MySQL数据库、Oracle数据库其中任意一种。
本发明还提供了一种复杂制造过程感知数据预处理装置,所述装置包括:
原始数据采集单元,用于传感器实时读取数控机床制造过程的原始感知数据;
失真检测单元,用于检测原始感知数据的噪声失真数据标记噪声失真数据点;
失真修复单元,用于修复原始感知数据的噪声失真数据点;
数据存储单元,用于将处理好感知数据存储到数据库中。
本公开的有益效果为:本公开提供了一种复杂制造过程感知数据预处理方法及装置,针对复杂制造过程中传感器性能、数据传输等导致传感器数据失真或丢失,对原始数据中噪声和部分受损数据进行修复处理,解决复杂制造过程中的感知数据采集的数据质量问题。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为本公开的一种复杂制造过程感知数据预处理方法工作流程图;
图2所示为本公开的一种复杂制造过程感知数据预处理装置模块架构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种复杂制造过程感知数据预处理方法及装置工作流程图,下面结合图1来阐述根据本公开的用户偏好分析方法。
本公开提出一种复杂制造过程感知数据预处理方法,具体包括以下步骤:
步骤1,传感器实时读取数控机床制造过程的原始感知数据;
步骤2,检测原始感知数据的噪声失真数据标记噪声失真数据点;
步骤3,修复原始感知数据的噪声失真数据点;
步骤4,将处理好感知数据存储到数据库中。
进一步地,在步骤1中,所述原始感知数据为传感器实时获取到的数据,所述传感器包括直线位移光栅传感器、接近开关、温度传感器、霍尔传感器、电流传感器、电压传感器、压力传感器、液位传感器、速度传感器,用于检测位置、计数、角位移、直线位移、温度、磁场强度、压力、速度数据,所述原始感知数据包括传感器编号、采集物理量、采集时间。
进一步地,在步骤2中,所述检测原始感知数据的噪声失真数据标记噪声失真数据点的方法包括以下步骤:
步骤2.1,构建正态分布构建噪声数据判定函数,其中,σ为最近1小时内采集到原始感知数据的采集物理量标准差,μ为最近1小时内采集到原始感知数据的采集物理量均值,x为当前的传感器感知的原始感知数据的采集物理量;
步骤2.2,当x落在f(x)的(μ-2.5σ,μ+2.5σ)以外的概率小于千分之2.5,即判定x为噪声数据;
步骤2.3,将噪声数据x标记为噪声失真数据点。
进一步地,在步骤3中,所述修复原始感知数据的噪声失真数据点的方法包括以下步骤,
步骤3.1,根据采集时间判断当前的噪声失真数据点之前的噪声失真数据点的时间是否超过失真阈值,即判断本噪声失真数据点的连续噪声时间是否超过失真阈值;
步骤3.2,将小于或等于失真阈值的噪声失真数据点以传感器最近1小时内采集到原始感知数据的采集物理量的均值覆盖填充;
步骤3.3,将大于失真阈值的噪声失真数据点以传感器最近30分钟内采集到原始感知数据的采集物理量的均值覆盖填充;
所述失真阈值默认为0.5秒,可人工调整。
进一步地,在步骤4中,所属数据库包括MySQL数据库、Oracle数据库其中任意一种。
本发明还提供了一种复杂制造过程感知数据预处理装置,如图2所示,所述装置包括:
原始数据采集单元,用于传感器实时读取数控机床制造过程的原始感知数据;
失真检测单元,用于检测原始感知数据的噪声失真数据标记噪声失真数据点;
失真修复单元,用于修复原始感知数据的噪声失真数据点;
数据存储单元,用于将处理好感知数据存储到数据库中。
所述一种复杂制造过程感知数据预处理装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种复杂制造过程感知数据预处理装置可运行的装置可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种复杂制造过程感知数据预处理装置的示例,并不构成对一种复杂制造过程感知数据预处理装置的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种复杂制造过程感知数据预处理装置还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种复杂制造过程感知数据预处理装置运行装置的控制中心,利用各种接口和线路连接整个一种复杂制造过程感知数据预处理装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种复杂制造过程感知数据预处理装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
Claims (5)
1.一种复杂制造过程感知数据预处理方法,其特征在于,所述方法包括:
步骤1,传感器实时读取数控机床制造过程的原始感知数据;
步骤2,检测原始感知数据的噪声失真数据标记噪声失真数据点;
步骤3,修复原始感知数据的噪声失真数据点;
步骤4,将处理好感知数据存储到数据库中。
2.根据权利要求1所述的一种复杂制造过程感知数据预处理方法,其特征在于,在步骤1中,所述原始感知数据为传感器实时获取到的数据,所述传感器包括直线位移光栅传感器、接近开关、温度传感器、霍尔传感器、电流传感器、电压传感器、压力传感器、液位传感器、速度传感器,用于检测位置、计数、角位移、直线位移、温度、磁场强度、压力、速度数据,所述原始感知数据包括传感器编号、采集物理量、采集时间。
3.根据权利要求1所述的一种复杂制造过程感知数据预处理方法,其特征在于,在步骤2中,所述检测原始感知数据的噪声失真数据标记噪声失真数据点的方法包括以下步骤:
步骤2.1,构建正态分布构建噪声数据判定函数,其中,σ为最近1小时内采集到原始感知数据的采集物理量标准差,μ为最近1小时内采集到原始感知数据的采集物理量均值,x为当前的传感器感知的原始感知数据的采集物理量;
步骤2.2,当x落在f(x)的(μ-2.5σ,μ+2.5σ)以外的概率小于千分之2.5,即判定x为噪声数据;
步骤2.3,将噪声数据x标记为噪声失真数据点。
4.根据权利要求1所述的一种复杂制造过程感知数据预处理方法,其特征在于,在步骤3中,所述修复原始感知数据的噪声失真数据点的方法包括以下步骤,
步骤3.1,根据采集时间判断当前的噪声失真数据点之前的噪声失真数据点的时间是否超过失真阈值,即判断本噪声失真数据点的连续噪声时间是否超过失真阈值;
步骤3.2,将小于或等于失真阈值的噪声失真数据点以传感器最近1小时内采集到原始感知数据的采集物理量的均值覆盖填充;
步骤3.3,将大于失真阈值的噪声失真数据点以传感器最近30分钟内采集到原始感知数据的采集物理量的均值覆盖填充;所述失真阈值默认为0.5秒。
5.一种复杂制造过程感知数据预处理装置,其特征在于,所述装置包括:
原始数据采集单元,用于传感器实时读取数控机床制造过程的原始感知数据;
失真检测单元,用于检测原始感知数据的噪声失真数据标记噪声失真数据点;
失真修复单元,用于修复原始感知数据的噪声失真数据点;
数据存储单元,用于将处理好感知数据存储到数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810896758.6A CN109189768A (zh) | 2018-08-08 | 2018-08-08 | 一种复杂制造过程感知数据预处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810896758.6A CN109189768A (zh) | 2018-08-08 | 2018-08-08 | 一种复杂制造过程感知数据预处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109189768A true CN109189768A (zh) | 2019-01-11 |
Family
ID=64920561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810896758.6A Pending CN109189768A (zh) | 2018-08-08 | 2018-08-08 | 一种复杂制造过程感知数据预处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109189768A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113515508A (zh) * | 2021-04-01 | 2021-10-19 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102564568A (zh) * | 2011-12-29 | 2012-07-11 | 华北电力大学 | 大型旋转机械复杂工况下的早期故障搜索方法 |
CN102819682A (zh) * | 2012-08-02 | 2012-12-12 | 清华大学 | 一种多阈值空间相关的浮动车数据清洗和修复算法 |
CN104267610A (zh) * | 2014-08-29 | 2015-01-07 | 内蒙古科技大学 | 高精度的高炉冶炼过程异常数据检测及修补方法 |
CN106446091A (zh) * | 2016-09-13 | 2017-02-22 | 北京协力筑成金融信息服务股份有限公司 | 一种多源时序数据的预处理方法和装置 |
CN107786368A (zh) * | 2016-08-31 | 2018-03-09 | 华为技术有限公司 | 异常节点检测方法以及相关装置 |
-
2018
- 2018-08-08 CN CN201810896758.6A patent/CN109189768A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102564568A (zh) * | 2011-12-29 | 2012-07-11 | 华北电力大学 | 大型旋转机械复杂工况下的早期故障搜索方法 |
CN102819682A (zh) * | 2012-08-02 | 2012-12-12 | 清华大学 | 一种多阈值空间相关的浮动车数据清洗和修复算法 |
CN104267610A (zh) * | 2014-08-29 | 2015-01-07 | 内蒙古科技大学 | 高精度的高炉冶炼过程异常数据检测及修补方法 |
CN107786368A (zh) * | 2016-08-31 | 2018-03-09 | 华为技术有限公司 | 异常节点检测方法以及相关装置 |
CN106446091A (zh) * | 2016-09-13 | 2017-02-22 | 北京协力筑成金融信息服务股份有限公司 | 一种多源时序数据的预处理方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113515508A (zh) * | 2021-04-01 | 2021-10-19 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
CN113515508B (zh) * | 2021-04-01 | 2022-08-02 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109347787B (zh) | 一种身份信息的识别方法及装置 | |
CN107844714B (zh) | 一种验证方法及装置、计算机装置、可读存储介质 | |
CN112348765A (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
CN113887608B (zh) | 一种模型训练的方法、图像检测的方法及装置 | |
CN108805180B (zh) | 目标对象的检测方法及装置 | |
CN110489449A (zh) | 一种图表推荐方法、装置和电子设备 | |
CN107463482B (zh) | 确定指标关联性的方法及装置 | |
CN108957397A (zh) | 巡检机器人的定位方法及装置 | |
CN110059013A (zh) | 软件升级后正常运行的确定方法及装置 | |
CN110807068A (zh) | 换设备用户的识别方法、装置、计算机设备和存储介质 | |
CN114550450A (zh) | 一种验证路侧感知设备感知精度的方法、装置及电子设备 | |
CN109189768A (zh) | 一种复杂制造过程感知数据预处理方法及装置 | |
CN109559218A (zh) | 一种异常交易的确定方法、装置及存储介质 | |
CN105574480A (zh) | 一种信息处理方法、装置以及终端 | |
CN108182444A (zh) | 基于场景分类的视频质量诊断的方法及装置 | |
CN114913600A (zh) | 一种电表窃电检测方法、装置、电子设备及存储介质 | |
CN110135288A (zh) | 一种电子证照的快速核对方法及装置 | |
CN106709307A (zh) | 解锁方法和装置 | |
CN113343109A (zh) | 榜单推荐方法、计算设备及计算机存储介质 | |
CN110598112A (zh) | 一种题目推荐方法、装置、终端设备及存储介质 | |
CN108038127A (zh) | 一种数据同步的方法、装置、终端设备及存储介质 | |
CN109543316B (zh) | 提取版图不同模块连接关系的方法 | |
CN115618237A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
CN115082092A (zh) | 基于物联网的产品溯源方法及系统 | |
CN109710651B (zh) | 数据类型识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Country or region after: China Address after: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province Applicant after: Foshan University Address before: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province Applicant before: FOSHAN University Country or region before: China |