CN109033205A - 基于数据输入行为分析的航天测试数据校核模型 - Google Patents

基于数据输入行为分析的航天测试数据校核模型 Download PDF

Info

Publication number
CN109033205A
CN109033205A CN201810698851.6A CN201810698851A CN109033205A CN 109033205 A CN109033205 A CN 109033205A CN 201810698851 A CN201810698851 A CN 201810698851A CN 109033205 A CN109033205 A CN 109033205A
Authority
CN
China
Prior art keywords
data
model
test
aerospace
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810698851.6A
Other languages
English (en)
Other versions
CN109033205B (zh
Inventor
陈闪闪
李春
杨积东
张亚军
张贝格
姜丽红
蔡滨妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Academy of Spaceflight Technology SAST
Original Assignee
Shanghai Academy of Spaceflight Technology SAST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Academy of Spaceflight Technology SAST filed Critical Shanghai Academy of Spaceflight Technology SAST
Priority to CN201810698851.6A priority Critical patent/CN109033205B/zh
Publication of CN109033205A publication Critical patent/CN109033205A/zh
Application granted granted Critical
Publication of CN109033205B publication Critical patent/CN109033205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供基于数据输入行为分析的航天测试数据校核模型,包括:序列字典构建模块,设定权值建立序列权值字典;数据采集模块,对航天电子元件测试数据文件进行解析,并做数据清洗,得到结构化数据;行为模型构建模块,结合序列权值字典对结构化数据计算序列得分,建立模型或更新已有模型;存储模块,包括文件系统和数据库;预测模块,通过比较批次数据和相应模型的匹配度得出数据批次的可靠性评估。本发明提供的基于数据输入行为分析的航天测试数据校核模型,自动将测试数据转换为数据输入行为数据,充分利用数据本身来提取行为信息,从而从行为的角度对数据的输入进行分析,以一种新颖的方式给出了对测试数据可靠性的校验结果。

Description

基于数据输入行为分析的航天测试数据校核模型
技术领域
本发明涉及数据质量分析领域,特别涉及基于数据输入行为分析的航天测试数据校核模型。
背景技术
电子器件质量的可靠性和稳定性是保证航天设备研发制造的重要因素,因此电子器件产品的质量测试数据非常关键。而在实际的测试过程中,测试数据的质量很有可能受到测量人员行为的影响,一些不合规范的数据记录行为将大大影响测试数据的质量。很多时候,虚假的数据也在合理误差范围之内,这就使得它很难被发现。同时,人工对大量的测试数据进行逐条分析和检查耗时耗力不切实际。
行为分析方法是根据获得的用户行为相关数据进行分析处理,提取特征建立行为模型,从而有效的抽象化描述一类行为模式。它被广泛应用在各个领域,如目标人群定位、个性化推荐等等。对元器件测试数据,目前还是以人为的方式来录入,不同的人存在不同的记录行为,基于测试数据对人的行为做分析,建立合规行为模型,通过比较新的数据记录行为和合规模型,就可以发现数据记录过程中的不合理行为,从而得出对测试数据可靠性的判断。
对于异常数据的检测,已有的方法大多基于数据本身的偏移或是分布的不同,而少有对于数据产生过程的分析。而其中基于行为分析来检测数据记录过程的方法,往往需要时间信息。
Baigent C,Harrell F E,Buyse M等人所著的“Ensuring trial validity bydata quality assurance and diversification of monitoring methods”.Clinicaltrials,2008,5(1):49-55.对于实验数据质量的监测中,使用了缺失值检查、异常数据模式检查、数据记录频率检查等方法。除了常用的数据质量检测方法之外,数据记录频率反应数据记录者的行为,异常行为的发现,可以得出数据的不可靠性。然而对于缺少记录的时间数据,而值在合理范围内的虚假数据依旧无法检测出来。C Hartgerink,J Wicherts,MVAssen所著的“The value of statistical tools to detect data fabrication”Hartgerink C,Wicherts J,Assen M V.The value of statistical tools to detectdata fabrication[J].Research Ideas&Outcomes,2016,2(4):e8860.提出了通过统计学的方法,对数据特征进行挖掘,从而鉴别真实数据和伪造数据的方法。但是该方法基于伪造数据和真实数据的分布存在明显偏差,对于无特定的策略制造的假数据检测力较弱。
发明内容
本发明的目的在于提供基于数据输入行为分析的航天测试数据校核模型,以解决如何建立数据记录行为模型检测数据记录过程中异常的问题。
为了解决上述技术问题,本发明的技术方案是:提出一种基于数据输入行为分析的航天测试数据校核模型,包括:序列字典构建模块,根据键盘不同键位分布以及人工输入数字的连贯性设定权值建立序列权值字典;数据采集模块,对输入的航天电子元件测试数据文件进行解析,并做数据清洗,得到结构化数据;行为模型构建模块,结合所述序列权值字典对所述结构化数据计算序列得分,根据不同批次数据所属类型及其序列得分数据建立模型或更新已有模型;存储模块,包括文件系统和数据库,所述数据库用于存储结构化的测试数据,所述文件系统用于存储计算得到的模型;预测模块,通过比较批次数据和相应模型的匹配度得出数据批次的可靠性评估。
进一步地,对于不同的输入子序列组合,结合距离、角度,给定输入的舒适度权值,得到所述序列权值字典。
进一步地,所述数据采集模块,获取电子元件测试原始数据文件,每一个文件中为一个批次的元件数据,所述数据采集模块解析原始数据文件,提取元件数据信息,将全部测试数据转为列表表示,每一行为对一个元件各项参数的测试值,对列表中的测试数据进行数据清洗,去除有缺失值的行,得到处理后的结构化数据。
进一步地,所述行为模型构建模块对于符合不同分布的结构化数据,聚类得到簇,对于每一簇,根据其中数值序列得分建立常规行为模型,将行为模型和聚类模型存储到所述存储模块。
进一步地,所述预测模块接收某批次数据的序列得分数据,并从数据库提取相应的常规行为模型,用模型拟合取得的数据,根据匹配度输出数据批次的可靠性评估。
本发明提供的基于数据输入行为分析的航天测试数据校核模型,通过建立数据记录行为模型检测数据记录过程中的异常,获得对于航天电子元器件测试数据可靠性的评估,本发明提供的基于数据输入行为分析的航天测试数据校核模型,自动将测试数据转换为数据输入行为数据,充分利用数据本身来提取行为信息,从而从行为的角度对数据的输入进行分析,以一种新颖的方式给出了对测试数据可靠性的校验结果。
附图说明
下面结合附图对发明作进一步说明:
图1为本发明实施例提供的基于数据输入行为分析的航天测试数据校核模型的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的基于数据输入行为分析的航天测试数据校核模型作进一步详细说明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比率,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明的核心思想在于,本发明提供的基于数据输入行为分析的航天测试数据校核模型,通过建立数据记录行为模型检测数据记录过程中的异常,获得对于航天电子元器件测试数据可靠性的评估,本发明提供的基于数据输入行为分析的航天测试数据校核模型,自动将测试数据转换为数据输入行为数据,充分利用数据本身来提取行为信息,从而从行为的角度对数据的输入进行分析,以一种新颖的方式给出了对测试数据可靠性的校验结果。
图1为本发明实施例提供的基于数据输入行为分析的航天测试数据校核模型的结构示意图。参照图1,本发明提供一种基于数据输入行为分析的航天测试数据校核模型,包括:序列字典构建模块11,根据键盘不同键位分布以及人工输入数字的连贯性设定权值建立序列权值字典;数据采集模块12,对输入的航天电子元件测试数据文件进行解析,并做数据清洗,得到结构化数据;行为模型构建模块13,结合所述序列权值字典对所述结构化数据计算序列得分,根据不同批次数据所属类型及其序列得分数据建立模型或更新已有模型;存储模块14,包括文件系统和数据库,所述数据库用于存储结构化的测试数据,所述文件系统用于存储计算得到的模型;预测模块15,通过比较批次数据和相应模型的匹配度得出数据批次的可靠性评估。
其中序列字典构建模块11根据小键盘键位分布,对于不同的输入子序列组合,结合距离、角度等因素,给定输入的舒适度权值,从而得到序列权值字典。
数据采集模块12获取电子元件测试原始数据文件,每一个文件中为一个批次的元件数据,其中包含该批次数据的批次号、型号、规格、额定值等元件数据,以及该批次所有测试元件的测试值。数据采集模块首先解析原始数据文件,提取元件数据信息,将该批次全部测试数据转为列表表示,每一行是对一个元件各项参数的测试值。之后对列表中的测试数据进行数据清洗,去除有缺失值的行,最终得到处理后的结构化数据,方便后续处理。
行为模型构建模块13的主要任务是将结构化的原始数据转化为数据输入行为数据并且对其聚类所在类模型进行更新。首先对给定的数据批次,结合序列权重字典,对每一个数值计算其序列输入得分,对每一行测试值,将得分加和代表这一行的得分,也就是对于这一个元件的测试数据的输入得分。在初始情况下,先对于大量已有数据,根据其分布做聚类,获得聚类模型。电子元件测试数据通常有多个维度,每个维度的数据都是离散的,但由于保留精度,多数情况下,某些维度的取值会在很小的一个集合内。对于不同批次数据,数据呈现的分布就会有多种情况。对于不同批次的数据,使用(|set(x1)|,|set(x2)|,…,|set(xn)|)来表示它的数据分布特征,使用DBSCAN做聚类,获得聚类模型存入存储模块。对于新进入行为模型构建模块的数据批次,从存储模块获得聚类模型,使用聚类模型对其进行预测获得它所属的类。对于每个类单独构建并维护一个行为模型。本文使用高斯混合分布模型来拟合数据输入序列得分概率密度分布模型,该模型如下,
它是多个高斯分布的加权和,φi表示第i个高斯分布的权值,每个高斯分布都有自己的μ和σ参数,总共有K个高斯分布。对于每个类,用已知属于该类的批次数据输入序列数据去拟合这个分布,从而得到对应的参数。该类的模型也就是拟合得到的混合高斯分布模型。在一个类的数据很少,只有几个批次的情况下,使用数据模拟的方法,随机生成符合该类分布特征的数据,并用生成的数据拟合常规模型。由于数据是随机生成,对于输入序列不具有倾向性,因此可以用来辅助拟合常规模型。
预测模块15接收某一批次的序列得分数据以及其所在类的信息,根据所在类,从存储模块拿出该类的常规行为模型。用常规行为模型对该批次数据的输入序列得分数据进行估计,并给出匹配度得分,数据对于模型的拟合程度越好,则该批次数据的输入行为越可靠。
存储模块14用来存储处理过的结构化数据,方便之后模型更新拟合,存储建模过程中获得的模型文件,用于给定批次数据所属类别判断和在预测模块提取模型对给定批次数据可靠性进行分析。
利用本发明实施例提供的基于数据输入行为分析的航天测试数据校核模型进行以下作业:数据采集模块12读取电子元件测试数据文件,对其进行解析获得某批次数据的元数据和测试数据,经过数据清洗得到处理后的结构化数据传送给行为模型构建模块13,同时也存储一份到存储模块14。行为模型构建模块13结合序列字典构建模块11构建的序列权值字典将测试数据转换为序列得分数据,代表输入行为,根据测试数据分布特征的聚类结果对不同类分别用转换后的序列得分建立常规行为模型,并将聚类模型和常规行为模型存入存储模块14。预测模块15根据所给测试数据所属类,获取其对应的常规行为模型,通过用模型拟合该批次数据的序列得分数据,得到一个拟合度结果代表该批次数据的可靠性。
显然,本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (5)

1.基于数据输入行为分析的航天测试数据校核模型,其特征在于,包括:
序列字典构建模块,根据键盘不同键位分布以及人工输入数字的连贯性设定权值建立序列权值字典;
数据采集模块,对输入的航天电子元件测试数据文件进行解析,并做数据清洗,得到结构化数据;
行为模型构建模块,结合所述序列权值字典对所述结构化数据计算序列得分,根据不同批次数据所属类型及其序列得分数据建立模型或更新已有模型;
存储模块,包括文件系统和数据库,所述数据库用于存储结构化的测试数据,所述文件系统用于存储计算得到的模型;
预测模块,通过比较批次数据和相应模型的匹配度得出数据批次的可靠性评估。
2.如权利要求1所述的基于数据输入行为分析的航天测试数据校核模型,其特征在于,对于不同的输入子序列组合,结合距离、角度,给定输入的舒适度权值,得到所述序列权值字典。
3.如权利要求1所述的基于数据输入行为分析的航天测试数据校核模型,其特征在于,所述数据采集模块,获取电子元件测试原始数据文件,每一个文件中为一个批次的元件数据,所述数据采集模块解析原始数据文件,提取元件数据信息,将全部测试数据转为列表表示,每一行为对一个元件各项参数的测试值,对列表中的测试数据进行数据清洗,去除有缺失值的行,得到处理后的结构化数据。
4.如权利要求1所述的基于数据输入行为分析的航天测试数据校核模型,其特征在于,所述行为模型构建模块对于符合不同分布的结构化数据,聚类得到簇,对于每一簇,根据其中数值序列得分建立常规行为模型,将行为模型和聚类模型存储到所述存储模块。
5.如权利要求1所述的基于数据输入行为分析的航天测试数据校核模型,其特征在于,所述预测模块接收某批次数据的序列得分数据,并从数据库提取相应的常规行为模型,用模型拟合取得的数据,根据匹配度输出数据批次的可靠性评估。
CN201810698851.6A 2018-06-29 2018-06-29 基于数据输入行为分析的航天测试数据校核装置 Active CN109033205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810698851.6A CN109033205B (zh) 2018-06-29 2018-06-29 基于数据输入行为分析的航天测试数据校核装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810698851.6A CN109033205B (zh) 2018-06-29 2018-06-29 基于数据输入行为分析的航天测试数据校核装置

Publications (2)

Publication Number Publication Date
CN109033205A true CN109033205A (zh) 2018-12-18
CN109033205B CN109033205B (zh) 2021-12-31

Family

ID=65522018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810698851.6A Active CN109033205B (zh) 2018-06-29 2018-06-29 基于数据输入行为分析的航天测试数据校核装置

Country Status (1)

Country Link
CN (1) CN109033205B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110333962A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种基于数据分析预测的电子元器件故障诊断模型
CN110765011A (zh) * 2019-10-15 2020-02-07 卡斯柯信号有限公司 一种配置库内测试运维数据自动获取和校验装置及方法
CN111079809A (zh) * 2019-12-06 2020-04-28 上海精密计量测试研究所 电连接器智能统型方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198436A (zh) * 2013-03-28 2013-07-10 浙江大学 一种变电站操作可靠性的评估方法及评估系统
CN105468510A (zh) * 2014-09-05 2016-04-06 北京畅游天下网络技术有限公司 对软件质量进行评估与追踪的方法和系统
CN106951576A (zh) * 2016-01-06 2017-07-14 北京仿真中心 一种仿真试验评估系统及评估方法
CN107426177A (zh) * 2017-06-13 2017-12-01 努比亚技术有限公司 一种用户行为聚类分析方法及终端、计算机可读存储介质
CN107609753A (zh) * 2017-08-24 2018-01-19 北京航空航天大学 一种面向航天在轨任务的人因可靠性分析及量化方法
CN108182000A (zh) * 2017-12-25 2018-06-19 科大讯飞股份有限公司 键盘输入检测方法及装置、存储介质、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198436A (zh) * 2013-03-28 2013-07-10 浙江大学 一种变电站操作可靠性的评估方法及评估系统
CN105468510A (zh) * 2014-09-05 2016-04-06 北京畅游天下网络技术有限公司 对软件质量进行评估与追踪的方法和系统
CN106951576A (zh) * 2016-01-06 2017-07-14 北京仿真中心 一种仿真试验评估系统及评估方法
CN107426177A (zh) * 2017-06-13 2017-12-01 努比亚技术有限公司 一种用户行为聚类分析方法及终端、计算机可读存储介质
CN107609753A (zh) * 2017-08-24 2018-01-19 北京航空航天大学 一种面向航天在轨任务的人因可靠性分析及量化方法
CN108182000A (zh) * 2017-12-25 2018-06-19 科大讯飞股份有限公司 键盘输入检测方法及装置、存储介质、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110333962A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种基于数据分析预测的电子元器件故障诊断模型
CN110333962B (zh) * 2019-05-16 2023-10-13 上海精密计量测试研究所 一种基于数据分析预测的电子元器件故障诊断模型
CN110765011A (zh) * 2019-10-15 2020-02-07 卡斯柯信号有限公司 一种配置库内测试运维数据自动获取和校验装置及方法
CN111079809A (zh) * 2019-12-06 2020-04-28 上海精密计量测试研究所 电连接器智能统型方法
CN111079809B (zh) * 2019-12-06 2023-08-29 上海精密计量测试研究所 电连接器智能统型方法

Also Published As

Publication number Publication date
CN109033205B (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
Li Little's test of missing completely at random
WO2020220545A1 (zh) 基于长短期记忆模型的疾病预测方法、装置和计算机设备
Brandt et al. Evaluating forecasts of political conflict dynamics
US20070196804A1 (en) Question-answering system, question-answering method, and question-answering program
Verhelst et al. A dynamic generalization of the Rasch model
CN109033205A (zh) 基于数据输入行为分析的航天测试数据校核模型
CN107294993A (zh) 一种基于集成学习的web异常流量监测方法
CN110120001B (zh) 一种基于知识图谱库与记忆曲线结合提分的方法及系统
CN109165284A (zh) 一种基于大数据的金融领域人机对话意图识别方法
Reisinger et al. 3 Deference or governance?: A survival analysis of Russia's governors under presidential control
Sebastiani et al. Bayesian inference with missing data using bound and collapse
CN116807447B (zh) 动态脑网络的脑龄预测建模方法、认知提升方法及系统
CN109447108A (zh) 一种集成电路测试数据融合分析方法
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质
Greene et al. The formation of specific and gist associative episodic memory representations during encoding: Effects of rate of presentation.
Selker et al. Thurstonian cognitive models for aggregating top-n lists.
Del Giudice et al. Mosaic brains? A methodological critique of Joel et al.(2015)
Foster et al. Threshold martingales and the evolution of forecasts
Harville The need for more emphasis on prediction: a “nondenominational” model-based approach
Kottas et al. Bayesian semiparametric modeling and inference with mixtures of symmetric distributions
CN115049217A (zh) 出行策略的生成方法、装置、计算机设备和存储介质
CN113782221A (zh) 基于自训练学习的疾病预测装置、设备及存储介质
CN115376658A (zh) 一种基于深度神经网络的融合表型和分子信息的中药处方人工智能评价方法
Huang et al. Influences of misprediction costs on solar flare prediction
Godoy-Lorite et al. Inference and Influence of Large-Scale Social Networks Using Snapshot Population Behaviour without Network Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant