CN111125071A - 实时数据可信度的评估方法、装置及存储介质 - Google Patents
实时数据可信度的评估方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111125071A CN111125071A CN201911164921.0A CN201911164921A CN111125071A CN 111125071 A CN111125071 A CN 111125071A CN 201911164921 A CN201911164921 A CN 201911164921A CN 111125071 A CN111125071 A CN 111125071A
- Authority
- CN
- China
- Prior art keywords
- real
- time data
- data
- evaluation value
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 238000013210 evaluation model Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及数据处理技术领域，具体涉及一种实时数据可信度的评估方法、装置及存储介质，用于解决相关技术中实时系统难以检测录入的数据是否错误的技术问题。所述实时数据可信度的评估方法包括：获取待检测的实时数据；对待检测的所述实时数据进行预处理；将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；关联显示所述实时数据和所述评估值。
Description
技术领域
本公开涉及数据处理技术领域，特别地涉及一种实时数据可信度的评估方法、装置及存储介质。
背景技术
物联网是新一代信息技术的重要组成部分，也是信息化时代的重要发展阶段。现有工厂也通过物联网技术对生产加工进行监控，并通过实时管理系统来管理监控数据。
发明内容
本公开提供一种实时数据可信度的评估方法、装置及存储介质，以解决相关技术中实时系统难以检测录入的数据是否错误的技术问题。
为实现上述目的，本公开实施例的第一方面，提供一种实时数据可信度的评估方法，所述方法包括：
获取待检测的实时数据；
对待检测的所述实时数据进行预处理；
将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；
关联显示所述实时数据和所述评估值。
可选地，还包括：
比对所述实时数据以及对应的历史数据，以获取比对指标；
关联显示所述实时数据、所述评估值和所述比对指标。
可选地，关联显示所述实时数据、所述评估值和所述比对指标，包括：
在同一个页面显示所述实时数据、所述评估值和所述比对指标，且所述评估值和所述比对指标以不同的颜色显示。
可选地，还包括：
当所述实时数据在页面被选中时，显示所述实时数据对应的历史数据。
可选地，对待检测的所述实时数据进行预处理，包括：
将待检测的所述实时数据结构化；
清洗结构化的所述实时数据。
可选地，所述评估模型为BP神经网络模型；所述方法还包括：
对历史数据进行预处理；
将预处理后的所述历史数据投入到所述BP神经网络模型中以完成训练。
可选地，将预处理后的所述实时数据输入训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值，包括：
将所述实时数据对应的历史数据进行预处理；
将预处理后的所述历史数据和所述实时数据混合后输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值。
本公开实施例的第二方面，提供一种实时数据可信度的评估装置，所述装置包括：
获取模块，被配置为获取待检测的实时数据；
处理模块，被配置为对待检测的所述实时数据进行预处理；
评估模块，被配置为将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；
显示模块，被配置为关联显示所述实时数据和所述评估值。
本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本公开实施例的第四方面，提供一种实时数据可信度的评估装置，包括：
存储器，其上存储有计算机程序；以及
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
采用上述技术方案，至少能够达到如下技术效果：
本公开通过对待检测的实时数据进行预处理，并将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值，用户可以在页面关联显示的所述实时数据和所述评估值，根据评估值可以发现所述实时数据是否有问题，解决了相关技术中实时系统难以检测录入的数据是否错误的技术问题。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例示出的一种实时数据可信度的评估方法流程图。
图2是本公开一示例性实施例示出的另一种实时数据可信度的评估方法流程图。
图3是本公开一示例性实施例示出的一种实时数据可信度的评估装置框图。
图4是本公开一示例性实施例示出的另一种实时数据可信度的评估装置框图。
具体实施方式
以下将结合附图及实施例来详细说明本公开的实施方式，借此对本公开如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本公开的保护范围之内。
本公开发明人经研究发现，目前实时系统广泛应用于制造业生产线，对于使用企业资源计划(Enterprise Resource Planning，ERP)系统的企业生产数据依然是通过人工录入系统，再由系统发送至客户端进行实时展示。然而，手工录入数据容易误输入，系统无法检测到这些错误并标注，另外无法检测产线的生产数据如完成率等指标是否异常。
实施例一
图1是本公开一示例性实施例示出的一种实时数据可信度的评估方法流程图，以解决相关技术中实时系统难以检测录入的数据是否错误的技术问题。如图1所示，该方法包括：
S11，获取待检测的实时数据。
S12，对待检测的所述实时数据进行预处理。
S13，将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值。
S14，关联显示所述实时数据和所述评估值。
在步骤S11中，待检测的实时数据可以从企业ERP系统获取。可选地，可以设定一个获取实时数据的周期，比如，每隔五小时、每隔一天或者每隔一周可以从企业ERP系统获取生产线的实时数据。
在获取待检测的所述实时数据后，执行步骤S12，对待检测的所述实时数据进行预处理。对所述实时数据进行预处理的目的，除了使得数据符合所述评估模型的输入类型，还可以提高所述评估模型输出的评估值的准确性。
待检测的所述实时数据有可能存在大量的冗余字段，对分析性应用毫无价值，有价值的数据可能很分散，导致数据分析效果是不好的，因此，首先可以将待检测的所述实时数据结构化，比如将ERP系统中有价值的数据通过接口转入到应用的服务器MySQL数据库上，按照业务需要，重新设计实体结构、字段、实体关系等，如基础物料表、基础机台表、物料和机台对应生产完成率的关系表等。
接着，清洗结构化的所述实时数据，比如对数值格式(小数点、不该有的负数)、内容不该有的特殊字符半自动半人工的处理，然后就是一些逻辑错误，比如生产定额为负数，一些编码格式不正确等异常数据进行纠正。还可以对所述实时数据进行去空处理和去重处理，去空和去重处理也是数据清洗的一个过程，有些数据列可能是空值，有空值的数据投放到模型中训练可能大大影响预测准确率。如果一条数据中重要的属性缺失，那么在训练模型前会被过滤掉，不投入模型训练。如果影响不大的属性，可以给一个缺省值0，以清洗掉重复冗余的数据行，以免异常的重复数据会影响预测结果。
所述实时数据进行预处理后，执行步骤S13，将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值。其中，所述评估模型可以为神经网络模型，比如为BP神经网络模型，具体包括输入层、隐藏层和输出层，输入层神经元个数为输入数据的属性个数(用于训练模型)，隐藏层神经元个数为6个，输出层神经元数量为一个(即要预测的属性)。输入层和输出层神经元个数是固定的，隐藏层的数量和神经元的数量可以按照数据的真实情况进行评估选择，若果隐藏过多或者神经元过多会过度拟合训练数据，如果过少，预测结果会不好。
BP神经网络模型的输入为二维数组，如将物料编码、机台、名称、线体、订单数量、短缺数量或工艺定额作为一列，列代表属性，行代表一条数据列数为数据的个数，行数为属性的个数(即输入的层神经元个数)。因此，需要将输入预测模型的离散属性种类化，比如物料编码2425245202种类化为1,27230014277种类化为2等等，这样做的目的是为了将文本表达转化为纯数学计算。而BP神经网络模型的输出为百分比形式的评估值，即所述实时数据的可信度。
将所述实时数据输入评估模型之前，需要对评估模型进行训练后，因此要对历史数据进行预处理，然后将预处理后的所述历史数据投入到所述BP神经网络模型中以完成训练。
由于预测效果受到数据样本的特点影响，有的数据属性间关系稀疏，有待数据样本量小容易过拟合等，评估实时数据的模型可以更改为其他基于概率的经典模型如决策树、贝叶斯等。
实时数据也可以和历史数据混合在一起投入预测模型，可以增加预测准确度。因此，将预处理后的所述实时数据输入训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值，包括：将所述实时数据对应的历史数据进行预处理；将预处理后的所述历史数据和所述实时数据混合后输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值。
所述实时数据输入至训练后的评估模型后，执行步骤S14，关联显示所述实时数据和所述评估值，比如在页面上同时显示所述实时数据和对应的所述评估值，或者直接在所述实时数据上标注所述评估值，可以使得用户直观地看到实时数据的评估值即可信度。如果用户发现某个数据的可信度较低，则与该数据有关的生产机器出现了故障。
可选地，还可以比对所述实时数据以及对应的历史数据，进而获取比对指标，并关联显示所述实时数据、所述评估值和所述比对指标，当所述实时数据在页面被选中时，显示所述实时数据对应的历史数据。比如，在同一个页面显示所述实时数据、所述评估值和所述比对指标，且所述评估值和所述比对指标以不同的颜色显示。比对指标可以是所述实时数据与所述历史数据的比值，如：生产管理系统中某个机台下生产某个物料的完成率总是低于基于历史预测的完成率(即比对指标总是小于1)，那么说明此机台很可能出现了故障影响到生产效率，亦可以通过比对发现影响生产效率的人为因素。
本公开通过对待检测的实时数据进行预处理，并将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值，用户可以在页面关联显示的所述实时数据和所述评估值，根据评估值可以发现所述实时数据是否有问题，解决了相关技术中实时系统难以检测录入的数据是否错误的技术问题。
值得说明的是，对于图1所示的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本公开所必须的。
实施例二
图2是本公开一示例性实施例示出的另一种实时数据可信度的评估方法流程图，如图2所示，该方法可以包括以下步骤：
101：后台人员按照业务需求定时从企业ERP系统获取数据，将数据结构化到后台服务器的MySQL数据库中。企业ERP系统本身是一种结构化的数据库，用二维的表格结构存放数据用来表达实体、关系。它包括了公司的财务、生产、技术等等多个子系统，能够让公司事务处理更高效。但是如果在此系统上做数据分析，由于系统中有大量的冗余字段，对我们做的分析性应用毫无价值，有价值的数据可能很分散，导致数据分析效果是不好的。因此可以将ERP系统中有价值的数据通过接口转入到应用的服务器MySQL数据库上，按照业务需要，重新设计实体结构、字段、实体关系等，如基础物料表、基础机台表、物料和机台对应生产完成率的关系表等。
102：后台服务器使用数据处理技术清洗数据并进行去空、去重等预处理后保存数据，将历史数据以一定比例划分为训练集和测试集待用。比如，某个数据列是系统日志生成的，那么它的格式可能都是一致的，比如系统生成的提交时间格式为yyyy-MM-dd，那么这种数据对数据分析没有影响的，但是如果是员工填写的，从ERP系统中拿到的数据格式可能有问题。通过会对数值格式(小数点、不该有的负数)、内容不该有的特殊字符半自动半人工的处理，将一些逻辑错误，比如生产定额为负数，一些编码格式不正确等异常数据进行纠正。
103：将划分好的训练集投入到神经网络模型迭代训练模型参数，用测试集验证模型预测的准确度。
104：通过历史数据的训练的神经网络模型，可以模拟计算出与历史数据拟合的实时数据，后台服务器将实时的数据投入到预训练好的模型中进行预测，模型评估实时数据的指标对比可信度并追加到实时数据中返回给后台服务器，生成数据模型差异分析让用户可以直观的进行差异分析和数据治理，后台服务器制作数据接口以供展示使用。相关的神经网络框架如Keras等都提供了准确度的评估接口，将框架返回的准确度accuracy放入一个线性扩大函数里：
y＝scale*accuracy+bias；
其中，自定义值scale为扩大的幅度，bias为偏移量，y为结果百分比，即为可信度。
105：客户端通过浏览器使用WebSocket技术创建持久性连接与后台服务器进行全双工通讯，通过接口获取数据并实时的渲染在页面上，将低于历史/高于历史的指标对比可信度做颜色区分，可以通过点击每条数据，展开查看该条数据的历史类似数据做人工比对。如此可以增加数据的可信度，能够及时发现数据异常。
106：通过测试集反映的准确度以及实际展示效果，评估模型的好坏，反复调整模型的参数或结构，选择对实时数据未来实际结果预测力强的模型。
本公开对历史数据建模，预测实时真实数据的可信度，可以解决如下技术问题：1.检测实时系统输入的数据为异常输入；2.除实时展示数据外，还可以通过对比历史数据，得到一个可信度结果，衡量数据的可信程度，进而可以提前发现数据问题，如：生产管理系统中某个机台下生产某个物料的完成率总是低于基于历史预测的完成率，那么说明此机台很可能出现了故障影响到生产效率。亦可以通过比对发现影响生产效率的人为因素。
实施例三
图3是本公开一示例性实施例示出的一种实时数据可信度的评估装置，如图3所示，所述实时数据可信度的评估装置300包括：
获取模块310，被配置为获取待检测的实时数据；
处理模块320，被配置为对待检测的所述实时数据进行预处理；
评估模块330，被配置为将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；
显示模块340，被配置为关联显示所述实时数据和所述评估值。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例四
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项可选实施例所述的实时数据可信度的评估方法步骤。
其中，在所述处理器上运行的计算机程序被执行时所实现的方法可参照本公开实时数据可信度的评估方法的具体实施例，此处不再赘述。
所述处理器可以是一种集成电路芯片，具有信息处理能力。所述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。
实施例五
本公开还提供一种实时数据可信度的评估装置，包括：
存储器，其上存储有计算机程序；以及
处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一项可选实施例所述的方法步骤。
图4是根据一示例性实施例示出的一种实时数据可信度的评估装置400的框图。如图4所示，该实时数据可信度的评估装置400可以包括：处理器401，存储器402，多媒体组件403，输入/输出(I/O)接口404，以及通信组件405。
其中，处理器401用于控制该装置400的整体操作，以完成上述的实时数据可信度的评估方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该装置400的操作，这些数据例如可以包括用于在该装置400上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该装置400与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件405可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，装置400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的实时数据可信度的评估方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器402，上述程序指令可由装置400的处理器401执行以完成上述的实时数据可信度的评估方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种实时数据可信度的评估方法，其特征在于，所述方法包括：
获取待检测的实时数据；
对待检测的所述实时数据进行预处理；
将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；
关联显示所述实时数据和所述评估值。
2.根据权利要求1所述的方法，其特征在于，还包括：
比对所述实时数据以及对应的历史数据，以获取比对指标；
关联显示所述实时数据、所述评估值和所述比对指标。
3.根据权利要求2所述的方法，其特征在于，关联显示所述实时数据、所述评估值和所述比对指标，包括：
在同一个页面显示所述实时数据、所述评估值和所述比对指标，且所述评估值和所述比对指标以不同的颜色显示。
4.根据权利要求2或3所述的方法，其特征在于，还包括：
当所述实时数据在页面被选中时，显示所述实时数据对应的历史数据。
5.根据权利要求1所述的方法，其特征在于，对待检测的所述实时数据进行预处理，包括：
将待检测的所述实时数据结构化；
清洗结构化的所述实时数据。
6.根据权利要求1所述的方法，其特征在于，所述评估模型为BP神经网络模型；所述方法还包括：
对历史数据进行预处理；
将预处理后的所述历史数据投入到所述BP神经网络模型中以完成训练。
7.根据权利要求1所述的方法，其特征在于，将预处理后的所述实时数据输入训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值，包括：
将所述实时数据对应的历史数据进行预处理；
将预处理后的所述历史数据和所述实时数据混合后输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值。
8.一种实时数据可信度的评估装置，其特征在于，包括：
获取模块，被配置为获取待检测的实时数据；
处理模块，被配置为对待检测的所述实时数据进行预处理；
评估模块，被配置为将预处理后的所述实时数据输入至训练后的评估模型，以使所述评估模型输出与所述实时数据的可信度相关的评估值；
显示模块，被配置为关联显示所述实时数据和所述评估值。
9.一种实时数据可信度的评估装置，其特征在于，包括：
存储器，其上存储有计算机程序；以及
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164921.0A CN111125071A (zh) | 2019-11-25 | 2019-11-25 | 实时数据可信度的评估方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911164921.0A CN111125071A (zh) | 2019-11-25 | 2019-11-25 | 实时数据可信度的评估方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111125071A true CN111125071A (zh) | 2020-05-08 |
Family
ID=70496412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911164921.0A Pending CN111125071A (zh) | 2019-11-25 | 2019-11-25 | 实时数据可信度的评估方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111125071A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403325A (zh) * | 2017-08-10 | 2017-11-28 | 中国民航信息网络股份有限公司 | 机票订单可信度评价方法和装置 |
| CN108664605A (zh) * | 2018-05-09 | 2018-10-16 | 北京三快在线科技有限公司 | 一种模型评估方法及系统 |
| CN109087201A (zh) * | 2018-06-21 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 虚拟资源的数据处理方法、服务器及存储介质 |
| CN109409671A (zh) * | 2018-09-25 | 2019-03-01 | 广州新丝路信息科技有限公司 | 一种跨境电商企业的评估方法及装置 |
| CN109598410A (zh) * | 2018-10-31 | 2019-04-09 | 平安科技（深圳）有限公司 | 预售风险评估方法、系统、计算机装置及可读存储介质 |
| CN110135694A (zh) * | 2019-04-12 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 产品风险评估方法、装置、计算机设备和存储介质 |
-
2019
- 2019-11-25 CN CN201911164921.0A patent/CN111125071A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403325A (zh) * | 2017-08-10 | 2017-11-28 | 中国民航信息网络股份有限公司 | 机票订单可信度评价方法和装置 |
| CN108664605A (zh) * | 2018-05-09 | 2018-10-16 | 北京三快在线科技有限公司 | 一种模型评估方法及系统 |
| CN109087201A (zh) * | 2018-06-21 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 虚拟资源的数据处理方法、服务器及存储介质 |
| CN109409671A (zh) * | 2018-09-25 | 2019-03-01 | 广州新丝路信息科技有限公司 | 一种跨境电商企业的评估方法及装置 |
| CN109598410A (zh) * | 2018-10-31 | 2019-04-09 | 平安科技（深圳）有限公司 | 预售风险评估方法、系统、计算机装置及可读存储介质 |
| CN110135694A (zh) * | 2019-04-12 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 产品风险评估方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11573846B2 (en) | Failure mode specific analytics using parametric models | |
| US20210035021A1 (en) | Systems and methods for monitoring of a machine learning model | |
| CN106407640B (zh) | 数据可靠性分析 | |
| Chivatá Cárdenas | On the use of Bayesian networks as a meta-modelling approach to analyse uncertainties in slope stability analysis | |
| US20210065086A1 (en) | System and method for failure curve analytics | |
| Bigonha et al. | The usefulness of software metric thresholds for detection of bad smells and fault prediction | |
| Tichý et al. | Analysis of predictive maintenance for tunnel systems | |
| US20230207123A1 (en) | Machine learning approach for detecting data discrepancies during clinical data integration | |
| CN114049197A (zh) | 数据处理方法、构建模型的方法、装置及电子设备 | |
| Malandri et al. | ContrXT: Generating contrastive explanations from any text classifier | |
| CN115952081A (zh) | 一种软件测试方法、装置、存储介质及设备 | |
| EP3035260A1 (en) | Case management linkage of updates, evidence, and triggers | |
| Picha et al. | Software process anti-pattern detection in project data | |
| CN112862345A (zh) | 隐患质检方法、装置、电子设备及存储介质 | |
| US20230216728A1 (en) | Method and system for evaluating peer groups for comparative anomaly | |
| CN111125071A (zh) | 实时数据可信度的评估方法、装置及存储介质 | |
| CN115344495A (zh) | 批量任务测试的数据分析方法、装置、计算机设备及介质 | |
| US10902295B2 (en) | Using transformations to verify computer vision quality | |
| CN113961441A (zh) | 告警事件处理方法、审计方法、装置、设备、介质和产品 | |
| Assila et al. | An environment for integrating subjective and objective usability findings based on measures | |
| CN113962558A (zh) | 一种基于生产数据管理的工业互联网平台评价方法及系统 | |
| CN113159596A (zh) | 基于深度学习的大数据配置调优系统、方法、设备及介质 | |
| Cruz et al. | A UML approximation of three Chidamber-Kemerer metrics and their ability to predict faulty code across software projects | |
| Ademujimi et al. | Model-Driven Bayesian Network Learning for Factory-Level Fault Diagnostics and Resilience | |
| Fatouros et al. | Comprehensive Architecture for Data Quality Assessment in Industrial IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |