CN109143017B - 一种半导体行业生产测试数据处理方法 - Google Patents

一种半导体行业生产测试数据处理方法 Download PDF

Info

Publication number
CN109143017B
CN109143017B CN201810858410.8A CN201810858410A CN109143017B CN 109143017 B CN109143017 B CN 109143017B CN 201810858410 A CN201810858410 A CN 201810858410A CN 109143017 B CN109143017 B CN 109143017B
Authority
CN
China
Prior art keywords
data
test
processing
access
semiconductor industry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810858410.8A
Other languages
English (en)
Other versions
CN109143017A (zh
Inventor
杨川
李冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tianheng Zhizao Technology Co ltd
Original Assignee
Chengdu Tianheng Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tianheng Zhizao Technology Co ltd filed Critical Chengdu Tianheng Zhizao Technology Co ltd
Priority to CN201810858410.8A priority Critical patent/CN109143017B/zh
Publication of CN109143017A publication Critical patent/CN109143017A/zh
Application granted granted Critical
Publication of CN109143017B publication Critical patent/CN109143017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/26—Testing of individual semiconductor devices
    • G01R31/2601—Apparatus or methods therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明涉及高速数据采集领域，公开了一种半导体行业生产测试数据处理方法，通过该数据架构，能够将自动测试系统产生的各种数据，包括测试用例、测试过程数据和测试结果数据，将数据统一进行抽取、建模分析和存储，形成具备一定特征的数据集合。

Description

一种半导体行业生产测试数据处理方法
技术领域
本发明涉及数据处理方法，尤其涉及一种应用于半导体行业生产测试数据处理方法。
背景技术
随着工业4.0概念不断的深入到制造业，越来越多的企业将生产过程的数字化改造，作为当前企业信息化智能化升级的基础，如何充分利用这些数据，发掘数据的价值，将成为企业迈向工业4.0的核心。
对于半导体行业而言，测试工序是进行半导体产品生产的核心环节，通过对进行全方面的测试，确定产品是否合格，能否进入产品交互环节，另外，半导体生产产量大和微观性的特点，因此半导体测试工序大多采用自动测试系统，这类测试系统在运行的过程中，会产生大量数据。
传统的测试数据处理方法，基于独立系统开发，对数据的利用仅仅局限于测试系统本身，通过对测试结果数据的监控，确定产品测试数据是否符合要求，数据的流动只能在单个软件系统或者单个设备当中，没有考虑数据在不同系统不同设备之间的流转，使得对工业数据的分析具有很大的局限性。
现有测试数据处理方法，一方面由于传统数据存储与处理能力的不足，造成过程数据采集的不完整，数据后期利用不佳，另一方面，即使测试数据能够完整的采集与存储，但由于测试数据的采集往往远离实际数据应用需求，造成海量数据在不同的系统之间来回流动，系统之间的集成性能较低，数据应用深度较低，没有充分发掘数据的价值。
发明内容
本发明的目的在于，提出本发明提供一种半导体行业测试数据处理方法，通过该数据架构，能够将自动测试系统产生的各种数据，包括测试用例、测试过程数据和测试结果数据，将数据统一进行抽取、建模分析和存储，形成具备一定特征的数据集合。
为解决上述问题，本发明采用的一个技术方案是：提供一种数据处理架构，该架构包括若干组件，包括数据接入、数据窗口、处理模型、任务控制和特征数据集；
各组件具体功能：
(1)数据接入：数据接入分为系统级数据SDK、结构化数据接入和非结构化数据接入。系统级数据SDK，提供数据开发工具部，将数据接入采集点植入自动测试系统内部，实现测试数据细粒度精确采集；结构化数据接入，提供对结构化存储系统的数据采集功能，可以实现对自动测试系统以及上下游应用软件系统的数据接入功能；非结构化数据接入，针对较为特殊的测试应用环境，提供对非结构化文件，常见的包括文件和多媒体文件的识别和采集，实现对非结构化数据的接入功能；
(2)数据窗口：实现对数据接入模块的数据统一汇集功能，通过先进先出的存储缓存机制，供下游计算模型处理模块对测试数据进行深度利用；
(3)处理模型：通过预先定义规则，将处理模型实例化为具体可以调度运行的计算任务，任务作为数据队列中的数据消费者，通过单条或者批量的数据导入方式，实现对数据深度处理，将海量数据分解为若干具有一定特征的数据集合；
(4)任务控制：根据特征数据集的特点，对任务执行的周期进行控制；
(5)特征数据集：处理模型执行的数据结果集合，特征数据所具备的特殊性，源于其他业务需求，本文就是想要提出一种具备普适性的一般方法，将从测试数据产生的源头，对数据进行预处理，形成具备一定特征的数据集合；。
区别于现有技术的情况，本发明的有益效果是：本文提出的数据处理架构，在测试数据产生的源头，考虑加入可自定义的数据处理架构，将测试数据采集的过程，变成一种特征数据采集的过程，能够大大提高原始数据的价值，降低不同系统之间数据流动的代价，提高系统之间数据通信的效率，是数据上层深度应用的有力保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统模块框图；
图2为本发明数据集合关系。
具体实施方式
下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
系统模块框图如图1所示，包括如下部分：
(1)测试数据：半导体设备或者软件系统产生的测试数据，包括测试用例数据、测试过程数据和测试结果数据等；
(2)数据接入：数据接入分为系统级数据SDK、结构化数据接入和非结构化数据接入。系统级数据SDK，提供数据开发工具部，将数据接入采集点植入自动测试系统内部，实现测试数据细粒度精确采集；结构化数据接入，提供对结构化存储系统的数据采集功能，可以实现对自动测试系统以及上下游应用软件系统的数据接入功能；非结构化数据接入，针对较为特殊的测试应用环境，提供对非结构化文件，常见的包括文件和多媒体文件的识别和采集，实现对非结构化数据的接入功能；
(3)数据窗口：实现对数据接入模块的数据统一汇集功能，通过先进先出的存储缓存机制，供下游计算模型处理模块对测试数据进行深度利用；
(4)处理模型：通过预先定义规则，将处理模型实例化为具体可以调度运行的计算任务，任务作为数据队列中的数据消费者，通过单条或者批量的数据导入方式，实现对数据深度处理，将海量数据分解为若干具有一定特征的数据集合；
(5)任务控制：根据特征数据集的特点，对任务执行的周期进行控制；
特征数据集：处理模型执行的数据结果集合，特征数据所具备的特殊性，源于其他业务需求，本文就是想要提出一种具备普适性的一般方法，将从测试数据产生的源头，对数据进行预处理，形成具备一定特征的数据集合。
本发明数据集合关系如图2所示，根据实际应用经验，处理模型包括通用处理模型和自定处理模型，其中通用处理模型包括监控结果数据集、质量控制数据集、统计分析数据集，自定义数据集通过不同的处理模型，形成不同自定义特征数据集。
本发明数据处理流程图如图1所示，具体流程如下所示：
S1:测试数据产生，为了获取数据进入S2；
S2:测试数据接入，进入S3；
S3:根据处理模型所需的数据容量，将数据存入数据窗口，实现对特定的一段时间的数据存储，进入S4；
S4:任务控制，对处理模型计算任务的执行策略进行管理，包括触发性和周期性，进入S5；
S5:处理模型，对测试数据进行处理，是特征数据集产生的核心，进入S6；
S6:形成特征数据集合，并将特征数据集合进行分类存储，完成后进入S7；
S7:结束。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种半导体行业生产测试数据处理方法，构建数据处理构架，包括数据接入、数据窗口、处理模型、任务控制和特征数据集，通过自动测试系统产生的各种数据，包括测试用例、测试过程数据和测试结果数据，将数据统一进行抽取、建模分析和存储，形成具备一定特征的数据集合，具体包括如下流程：
S1:测试数据产生，为了获取数据进入S2；
S2:测试数据抽取，对测试数据进行筛选，将具有特征属性的数据，进行采集与接入，进入S3；
S3:根据处理模型所需的数据容量，将数据存入数据窗口，实现对特定的一段时间的数据存储，进入S4；
S4:任务控制，对处理模型计算任务的执行策略进行管理，包括触发性和周期性，进入S5；
S5:处理模型，对测试数据进行处理，是特征数据集产生的核心，进入S6；
S6:形成特征数据集合，并将特征数据集合进行分类存储，完成后进入S7；
S7:结束。
2.如权利要求1所述的半导体行业生产测试数据处理方法，其特征在于：所述数据接入包括系统级数据SDK、结构化数据接入和非结构化数据接入。
3.如权利要求2所述的半导体行业生产测试数据处理方法，其特征在于：所述系统级数据SDK，提供数据开发工具部，将数据接入采集点植入自动测试系统内部，实现测试数据细粒度精确采集；结构化数据接入，提供对结构化存储系统的数据采集功能，可以实现对自动测试系统以及上下游应用软件系统的数据接入功能；非结构化数据接入，针对较为特殊的测试应用环境，提供对非结构化文件，常见的包括文件和多媒体文件的识别和采集，实现对非结构化数据的接入功能。
4.如权利要求1所述的半导体行业生产测试数据处理方法，其特征在于：所述数据窗口实现对数据接入模块的数据统一汇集功能，通过先进先出的存储缓存机制，供下游计算模型处理模块对测试数据进行深度利用。
5.如权利要求1所述的半导体行业生产测试数据处理方法，其特征在于，所述处理模型通过预先定义规则，将处理模型实例化为具体可以调度运行的计算任务，任务作为数据队列中的数据消费者，通过单条或者批量的数据导入方式，实现对数据深度处理，将海量数据分解为若干具有一定特征的数据集合。
6.如权利要求5所述的半导体行业生产测试数据处理方法，其特征在于，所述的预先定义规则包括工艺质量异常分类统计特征、产能数据冻结数据统计分析和工艺参数回归拟合参数。
7.如权利要求1所述的半导体行业生产测试数据处理方法，其特征在于，所述任务控制根据特征数据集的特点，对任务执行的周期进行控制。
8.如权利要求1所述的半导体行业生产测试数据处理方法，其特征在于，所述特征数据集为处理模型执行后得到的数据结果集合，根据实际应用经验，特征数据集具备的不同的特性。
9.如权利要求1或8所述的半导体行业生产测试数据处理方法，其特征在于，所述处理模型包括通用处理模型和自定义处理模型，其中通用处理模型包括监控结果数据集、质量控制数据集、统计分析数据集，自定义数据集通过不同的处理模型，形成不同自定义特征数据集。
CN201810858410.8A 2018-07-31 2018-07-31 一种半导体行业生产测试数据处理方法 Active CN109143017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810858410.8A CN109143017B (zh) 2018-07-31 2018-07-31 一种半导体行业生产测试数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810858410.8A CN109143017B (zh) 2018-07-31 2018-07-31 一种半导体行业生产测试数据处理方法

Publications (2)

Publication Number Publication Date
CN109143017A CN109143017A (zh) 2019-01-04
CN109143017B true CN109143017B (zh) 2021-03-30

Family

ID=64798331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810858410.8A Active CN109143017B (zh) 2018-07-31 2018-07-31 一种半导体行业生产测试数据处理方法

Country Status (1)

Country Link
CN (1) CN109143017B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750813A (zh) * 2015-03-30 2015-07-01 浪潮集团有限公司 一种基于数据归约模型的数据清洗方法
CN105827578A (zh) * 2015-01-09 2016-08-03 腾讯科技（深圳）有限公司 一种击键特征数据的处理方法及装置
CN106874482A (zh) * 2017-02-20 2017-06-20 山东鲁能软件技术有限公司 一种基于大数据技术的图形化的数据预处理的装置及方法
CN107770721A (zh) * 2017-10-10 2018-03-06 东南大学 一种旅游交通客流大数据可视化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185009B2 (en) * 2003-03-31 2007-02-27 Taiwan Semiconductor Manufacturing Company IC foundry manufacturing technology master data management structure
US7676522B2 (en) * 2007-04-20 2010-03-09 Sap Ag Method and system for including data quality in data streams
CN102916987A (zh) * 2011-08-02 2013-02-06 天津中启创科技有限公司 基于云计算架构的数据采集管理系统
CN103218404B (zh) * 2013-03-20 2015-11-18 华中科技大学 一种基于关联特性的多维元数据管理方法和系统
CN103795419B (zh) * 2014-01-27 2017-08-04 宁波良和路桥科技有限公司 一种波形数据实时压缩的分段线性压缩方法
CN103838863B (zh) * 2014-03-14 2017-07-18 内蒙古科技大学 一种基于云计算平台的大数据聚类算法
CN105630996B (zh) * 2015-12-25 2020-09-11 腾讯科技（深圳）有限公司 一种信息处理方法和服务器
CN107562755A (zh) * 2016-06-30 2018-01-09 深圳市多尼卡电子技术有限公司 飞行数据的管理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827578A (zh) * 2015-01-09 2016-08-03 腾讯科技（深圳）有限公司 一种击键特征数据的处理方法及装置
CN104750813A (zh) * 2015-03-30 2015-07-01 浪潮集团有限公司 一种基于数据归约模型的数据清洗方法
CN106874482A (zh) * 2017-02-20 2017-06-20 山东鲁能软件技术有限公司 一种基于大数据技术的图形化的数据预处理的装置及方法
CN107770721A (zh) * 2017-10-10 2018-03-06 东南大学 一种旅游交通客流大数据可视化方法

Also Published As

Publication number Publication date
CN109143017A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN107577805B (zh) 一种面向日志大数据分析的业务服务系统
JP6523354B2 (ja) 改善されたインターフェースを備えるステートマシンビルダー及び状態非依存イベントの処理
US11086687B2 (en) Managing resource allocation in a stream processing framework
US10616079B2 (en) Simplified entity lifecycle management
CN107220892B (zh) 一种应用于海量p2p网贷金融数据智能预处理工具及方法
CN111181773B (zh) 面向异构边云协同智能系统的多组件应用的延迟预测方法
US11314808B2 (en) Hybrid flows containing a continous flow
CN104679595B (zh) 一种面向应用的IaaS层动态资源分配方法
CN104317942A (zh) 一种基于Hadoop云平台的海量数据比对方法及系统
CN110740079A (zh) 一种面向分布式调度系统的全链路基准测试系统
CN114064777A (zh) 一种可配置化定时采集数据、调度数据、加密传输、可视化的方法
CN112633769A (zh) 一种高级计划排程系统
CN104050193B (zh) 生成报文的方法和实现该方法的数据处理系统
US11016736B2 (en) Constraint programming using block-based workflows
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
CN113947468A (zh) 一种数据管理方法及平台
CN109143017B (zh) 一种半导体行业生产测试数据处理方法
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN117182910A (zh) 一种智能装配机器人装配控制方法及控制系统
CN114757448B (zh) 一种基于数据空间模型的制造环节间最优价值链构建方法
CN115576973A (zh) 一种业务部署方法、装置、计算机设备和可读存储介质
WO2017205299A1 (en) Data driven invocation of real time wind market forecasting analytics
CN112257981A (zh) 一种智能自动排班方法和系统
US20200019910A1 (en) Block-based prediction for manufacturing environments
Arapostathis et al. Control of Markov chains with safety bounds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant