CN113342799B - 一种数据修正方法及系统 - Google Patents
一种数据修正方法及系统 Download PDFInfo
- Publication number
- CN113342799B CN113342799B CN202110905953.2A CN202110905953A CN113342799B CN 113342799 B CN113342799 B CN 113342799B CN 202110905953 A CN202110905953 A CN 202110905953A CN 113342799 B CN113342799 B CN 113342799B
- Authority
- CN
- China
- Prior art keywords
- data
- standard
- experimental
- correction
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种数据修正方法及系统，方法包括：从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；根据所述修正参数，对所述待修正数据进行修正；本发明中的数据修正方法，实现了对标准数据库中的标准数据的实时修正，避免由于标准数据修正不及时，而导致用户的体验感较差的问题，修正准确率较高，自动化程度较高。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据修正方法及系统。
背景技术
在实验研究过程中，通常利用行业标准数据为实验人员提供指导或参考，帮助实验人员获取实验数据，而随着数据处理技术的发展，技术迭代的速度越来越快，数据的应用场景也越来越广泛，导致标准数据和实验数据之间的差异越来越大，标准数据的更新速度逐渐跟不上实际应用场景的需求，不足以为实验人员的实际操作提供一定有意义的指导。
发明内容
本发明提供一种数据修正方法及系统，以解决现有技术中标准数据修正不及时，以及修正准确率较低的问题。
本发明提供的数据修正方法，包括：
从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；
根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；
通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；
将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；
根据所述修正参数，对所述待修正数据进行修正；
所述修正参数获取模型的获取步骤包括：
获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型的步骤包括：
根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；
根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；
根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。
可选的，从预设的标准数据库中获取与所述实验数据对应的标准数据的步骤包括：
预先构建用于存储实验数据的实验数据库；
对所述实验数据进行分类，并标注对应的分类标签；
预先构建用于存储标准数据的标准数据库，所述标准数据库与所述实验数据库相关联；
对所述标准数据进行分类，确定所述标准数据的类别；
根据所述分类标签与所述标准数据的类别，获取与所述实验数据对应的标准数据。
可选的，通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据的步骤包括：
对多项对应的所述实验数据进行预处理，预处理的步骤包括：根据预先的实验数据阈值范围，去除超出所述实验数据阈值范围的实验数据，获取预处理数据；
将所述预处理数据和所述标准数据分别输入预先训练好的差异识别模型进行差异识别，获取标准数据与预处理数据之间的差异度；
判断标准数据与多项对应的实验数据之间的差异度是否均超出预设的差异阈值范围，获取判断结果，根据判断结果，确定待修正数据。
可选的，所述差异识别模型的获取步骤包括：
获取第一训练集，所述第一训练集包括：多项第一实验数据样本和对应的第一标准数据样本，以及第一实验数据样本与第一标准数据样本之间的第一标注差异值；
将所述第一训练集中的多项第一实验数据样本和对应的第一标准数据样本分别输入卷积神经网络进行特征提取，获取第一实验数据特征和第一标准数据特征；
根据所述第一实验数据特征和所述第一标准数据特征，确定所述第一训练集中的第一实验数据样本和对应的第一标准数据样本之间的第一预测差异值；
根据所述第一预测差异值、第一标注差异值和预设的第一损失函数，对所述卷积神经网络进行训练，获取差异识别模型。
可选的，确定第一权值和第二权值的步骤包括：根据预先设置的权值设置策略，对所述相同数据特征和不同数据特征进行权值分配，获取第一权值和第二权值，所述第一权值小于或等于第二权值。
可选的，根据所述修正参数，对所述待修正数据进行修正的步骤包括：
将所述修正参数替代所述标准数据库中的待修正数据，获取最终数据，完成数据修正。
可选的，创建实验数据库与中心云端的第一连接，并且，创建标准数据库与中心云端的第二连接；
通过所述第一连接对应的接口、所述第二连接对应的接口，从中心云端获取对应的实验数据和标准数据，并分别存储至实验数据库和标准数据库。
本发明还提供一种数据修正系统，包括：
待修正数据获取模块，用于从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；
修正参数获取模块，用于将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；
数据修正模块，用于根据所述修正参数，对所述待修正数据进行修正；所述待修正数据获取模块、修正参数获取模块和数据修正模块连接；
所述修正参数获取模型的获取步骤包括：
获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型的步骤包括：
根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；
根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；
根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。
本发明的有益效果：本发明中的数据修正方法，通过根据分类标签，从预设的标准数据库中获取与实验数据对应的标准数据，将标准数据与多项对应的实验数据进行对比，获取差异度，根据差异度，确定待修正数据，将待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取待修正数据的修正参数，根据修正参数，对待修正数据进行修正，实现了对标准数据库中的标准数据的实时修正，避免由于标准数据修正不及时，而导致用户的体验感较差的问题，修正准确率较高，自动化程度较高。
附图说明
图1是本发明实施例中数据修正方法的流程示意图。
图2是本发明实施例中数据修正方法中获取与实验数据对应的标准数据的流程示意图。
图3是本发明实施例中数据修正方法中确定待修正数据的流程示意图。
图4是本发明实施例中数据修正方法中获取修正参数获取模型的流程示意图。
图5是本发明实施例中数据修正系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，目前，在实验研究过程中，通常利用行业标准数据为实验人员提供指导或参考，帮助实验人员获取实验数据，而随着数据处理技术的发展，技术迭代的速度越来越快，数据的应用场景也越来越广泛，导致标准数据和实验数据之间的差异越来越大，标准数据的更新速度逐渐跟不上实际应用场景的需求，标准数据的修正准确率较低，不足以为实验人员的实际操作提供一定有意义的指导，如医学研究过程中，通常以基础医学研究数据作为行业的标准数据，以该标准数据为临床医学实验提供数据指导，然而，由于临床医学实验数据变化较快，标准数据很难较好地跟上实验数据的更新与修正速度，且修正的准确率较低。因此，发明人提出一种数据修正方法及系统，通过根据分类标签，从预设的标准数据库中获取与实验数据对应的标准数据，将标准数据与多项对应的实验数据进行对比，获取差异度，根据差异度，确定待修正数据，将待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取待修正数据的修正参数，根据修正参数，对待修正数据进行修正，实现了对标准数据库中的标准数据的实时修正，避免由于标准数据修正不及时，而导致用户的体验感较差的问题，修正准确率较高，自动化程度较高，可实施性较强，成本较低。
如图1所示，本实施例中的数据修正方法，包括：
S1：从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；例如：根据预先设置的实验数据获取频率，从所述实验数据库中定期获取实验数据，便于后续对标准数据库中的标准数据进行实时更新。
在一些实施例中，预先构建用于存储实验数据的实验数据库；对实验数据的类别，对所述实验数据进行分类，并标注对应的分类标签；通过对实验数据进行分类标签的标注，能够有助于建立不同实验数据与标准数据之间的对应关系。
S2：根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；即利用所述分类标签，确定与实验数据相对应的标准数据。
S3：通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；如：当标准数据与多项对应的实验数据之间的差异度均超出预设的差异阈值范围时，则将对应的标准数据确定为待修正数据。
S4：将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；通过将待修正数据和多项对应的实验数据输入训练好的修正参数获取模型进行修正参数获取，能够提高修正参数的准确度。
S5：根据所述修正参数，对所述待修正数据进行修正。通过根据修正参数，对待修正数据进行修正，实现了对标准数据库中的标准数据的实时修正，避免由于标准数据修正不及时，而导致用户的体验感较差的问题，修正准确率较高，自动化程度较高，成本较低，实施较方便。
在一些实施例中，根据所述修正参数，对所述待修正数据进行修正的步骤包括：将所述修正参数替代所述标准数据库中的待修正数据，获取最终数据，完成数据修正。
请参考图2，由于标准数据库中的标准数据与实验数据库中的实验数据的数据量较大，因此，通过设置分类标签，能够便于获取与实验数据相对应的标准数据。进一步地，从预设的标准数据库中获取与所述实验数据对应的标准数据的步骤包括：
S201：预先构建用于存储实验数据的实验数据库；
S202：对所述实验数据进行分类，并标注对应的分类标签；
S203：预先构建用于存储标准数据的标准数据库，所述标准数据库与所述实验数据库相关联；
S204：对所述标准数据进行分类，确定所述标准数据的类别；
S205：根据所述分类标签与所述标准数据的类别，获取与所述实验数据对应的标准数据。即根据实验数据的分类标签，获取与分类标签相匹配的标准数据的类别，根据该类别，确定对应的标准数据。
如图3所示，为了较好地获取待修正数据，本实施例中通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据的步骤包括：
S301：对多项对应的所述实验数据进行预处理，预处理的步骤包括：根据预先的实验数据阈值范围，去除超出所述实验数据阈值范围的实验数据，获取预处理数据；通过对多项实验数据进行预处理，能够去除实验数据中的超出实验数据的正常范围的数据，避免对后续标准数据的修正产生影响。所述实验数据阈值范围可以根据实际情况进行设置，不同类别的实验数据可以对应不同的实验数据阈值范围，此处不再赘述。
S302：将所述预处理数据和所述标准数据分别输入预先训练好的差异识别模型进行差异识别，获取标准数据与预处理数据之间的差异度；通过获取标准数据和预处理数据之间的差异度，能够有助于确定待修正数据。
S303：判断标准数据与多项对应的实验数据之间的差异度是否均超出预设的差异阈值范围，获取判断结果，根据判断结果，确定待修正数据。若标准数据与多项对应的实验数据之间的差异度均超出预设的差异阈值范围，则将对应的标准数据确定为待修正数据。或者，还可以设置数量比值，若标准数据与多项对应的实验数据之间的差异度超出预设的差异阈值范围，且超出预设的差异阈值范围的次数大于所述数量比值时，则将对应的标准数据确定为待修正数据。
在一些实施例中，所述差异识别模型的获取步骤包括：
获取第一训练集，所述第一训练集包括：多项第一实验数据样本和对应的第一标准数据样本，以及第一实验数据样本与第一标准数据样本之间的第一标注差异值；
将所述第一训练集中的多项第一实验数据样本和对应的第一标准数据样本分别输入卷积神经网络进行特征提取，获取第一实验数据特征和第一标准数据特征；
根据所述第一实验数据特征和所述第一标准数据特征，确定所述第一训练集中的第一实验数据样本和对应的第一标准数据样本之间的第一预测差异值；
根据所述第一预测差异值、第一标注差异值和预设的第一损失函数，对所述卷积神经网络进行迭代训练，获取差异识别模型。所述第一损失函数可以采用常见的交叉熵损失函数和均方误差损失函数等，此处不再赘述。通过获取差异识别模型，能够较准确地识别出标准数据与实验数据之间的差异度。
请参考图4，所述修正参数获取模型的获取步骤包括：
S401：获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
S402：将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
S403：根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；通过对相同数据特征和不同数据特征分别设置不同的权值，有助于获取预测修正参数。
在一些实施例中，确定第一权值和第二权值的步骤包括：根据预先设置的权值设置策略，对所述相同数据特征和不同数据特征进行权值分配，获取第一权值和第二权值，所述第一权值小于或等于第二权值。
S404：根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；即根据所述第一权值和第二权值，对相同数据特征和不同数据特征进行加权，获取预测修正参数，精确度较高。
S405：根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。所述第二损失函数可以为对数似然损失函数等常见的损失函数，此处不再赘述。
为了完善实验数据库与标准数据库中的数据资源，发明人提出，创建实验数据库与中心云端的第一连接，并且，创建标准数据库与中心云端的第二连接；通过所述第一连接对应的接口、所述第二连接对应的接口，从中心云端获取对应的实验数据和标准数据，并分别存储至实验数据库和标准数据库。通过建立实验数据库与中心云端的连接，同时，建立标准数据库与中心云端的连接，能够便于实验数据库和标准数据库从中心云端实时获取相应的实验数据和标准数据，丰富实验数据库和标准数据库中的数据内容。
在一些实施例中，将多个关联终端与所述中心云端建立第三连接，并且，将多个所述关联终端与实验数据库建立第四连接；
通过所述第三连接和第四连接，所述实验数据库从中心云端和多个所述关联终端获取相应的实验数据并进行存储。通过建立关联终端与中心云端的连接，同时，建立实验数据库与关联终端的连接，能够便于实验数据库从中心云端或关联终端实时获取实验数据，用户也可以通过关联终端上传相应的实验数据至实验数据库。如医生通过手机或电脑将实时实验数据上传至实验数据库。
在一些实施例中，还可以采集数据修正需求，所述数据修正需求包括：待修正数据，根据所述数据修正需求，进行数据修正。
如图5所示，本实施例还提供一种数据修正系统，包括：
待修正数据获取模块，用于从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；
修正参数获取模块，用于将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；
数据修正模块，用于根据所述修正参数，对所述待修正数据进行修正；所述待修正数据获取模块、修正参数获取模块和数据修正模块依次连接。通过根据分类标签，从预设的标准数据库中获取与实验数据对应的标准数据，将标准数据与多项对应的实验数据进行对比，获取差异度，根据差异度，确定待修正数据，将待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取待修正数据的修正参数，根据修正参数，对待修正数据进行修正，实现了对标准数据库中的标准数据的实时修正，避免由于标准数据修正不及时，而导致用户的体验感较差的问题，修正准确率较高，自动化程度较高，可实施性较强，成本较低。
在一些实施例中，从预设的标准数据库中获取与所述实验数据对应的标准数据的步骤包括：
预先构建用于存储实验数据的实验数据库；
对所述实验数据进行分类，并标注对应的分类标签；
预先构建用于存储标准数据的标准数据库，所述标准数据库与所述实验数据库相关联；
对所述标准数据进行分类，确定所述标准数据的类别；
根据所述分类标签与所述标准数据的类别，获取与所述实验数据对应的标准数据。
在一些实施例中，通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据的步骤包括：
对多项对应的所述实验数据进行预处理，预处理的步骤包括：根据预先的实验数据阈值范围，去除超出所述实验数据阈值范围的实验数据，获取预处理数据；
将所述预处理数据和所述标准数据分别输入预先训练好的差异识别模型进行差异识别，获取标准数据与预处理数据之间的差异度；
判断标准数据与多项对应的实验数据之间的差异度是否均超出预设的差异阈值范围，获取判断结果，根据判断结果，确定待修正数据。
在一些实施例中，所述差异识别模型的获取步骤包括：
获取第一训练集，所述第一训练集包括：多项第一实验数据样本和对应的第一标准数据样本，以及第一实验数据样本与第一标准数据样本之间的第一标注差异值；
将所述第一训练集中的多项第一实验数据样本和对应的第一标准数据样本分别输入卷积神经网络进行特征提取，获取第一实验数据特征和第一标准数据特征；
根据所述第一实验数据特征和所述第一标准数据特征，确定所述第一训练集中的第一实验数据样本和对应的第一标准数据样本之间的第一预测差异值；
根据所述第一预测差异值、第一标注差异值和预设的第一损失函数，对所述卷积神经网络进行训练，获取差异识别模型。
在一些实施例中，所述修正参数获取模型的获取步骤包括：
获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型。
在一些实施例中，根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型的步骤包括：
根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；
根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；
根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。
在一些实施例中，确定第一权值和第二权值的步骤包括：根据预先设置的权值设置策略，对所述相同数据特征和不同数据特征进行权值分配，获取第一权值和第二权值，所述第一权值小于或等于第二权值。
在一些实施例中，根据所述修正参数，对所述待修正数据进行修正的步骤包括：
将所述修正参数替代所述标准数据库中的待修正数据，获取最终数据，完成数据修正。
在一些实施例中，创建实验数据库与中心云端的第一连接，并且，创建标准数据库与中心云端的第二连接；
通过所述第一连接对应的接口、所述第二连接对应的接口，从中心云端获取对应的实验数据和标准数据，并分别存储至实验数据库和标准数据库。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种数据修正方法，其特征在于，包括：
从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；
根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；
通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；
将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；
根据所述修正参数，对所述待修正数据进行修正；
所述修正参数获取模型的获取步骤包括：
获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型的步骤包括：
根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；
根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；
根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。
2.根据权利要求1所述的数据修正方法，其特征在于，从预设的标准数据库中获取与所述实验数据对应的标准数据的步骤包括：
预先构建用于存储实验数据的实验数据库；
对所述实验数据进行分类，并标注对应的分类标签；
预先构建用于存储标准数据的标准数据库，所述标准数据库与所述实验数据库相关联；
对所述标准数据进行分类，确定所述标准数据的类别；
根据所述分类标签与所述标准数据的类别，获取与所述实验数据对应的标准数据。
3.根据权利要求1所述的数据修正方法，其特征在于，通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据的步骤包括：
对多项对应的所述实验数据进行预处理，预处理的步骤包括：根据预先的实验数据阈值范围，去除超出所述实验数据阈值范围的实验数据，获取预处理数据；
将所述预处理数据和所述标准数据分别输入预先训练好的差异识别模型进行差异识别，获取标准数据与预处理数据之间的差异度；
判断标准数据与多项对应的实验数据之间的差异度是否均超出预设的差异阈值范围，获取判断结果，根据判断结果，确定待修正数据。
4.根据权利要求3所述的数据修正方法，其特征在于，所述差异识别模型的获取步骤包括：
获取第一训练集，所述第一训练集包括：多项第一实验数据样本和对应的第一标准数据样本，以及第一实验数据样本与第一标准数据样本之间的第一标注差异值；
将所述第一训练集中的多项第一实验数据样本和对应的第一标准数据样本分别输入卷积神经网络进行特征提取，获取第一实验数据特征和第一标准数据特征；
根据所述第一实验数据特征和所述第一标准数据特征，确定所述第一训练集中的第一实验数据样本和对应的第一标准数据样本之间的第一预测差异值；
根据所述第一预测差异值、第一标注差异值和预设的第一损失函数，对所述卷积神经网络进行训练，获取差异识别模型。
5.根据权利要求1所述的数据修正方法，其特征在于，确定第一权值和第二权值的步骤包括：根据预先设置的权值设置策略，对所述相同数据特征和不同数据特征进行权值分配，获取第一权值和第二权值，所述第一权值小于或等于第二权值。
6.根据权利要求1所述的数据修正方法，其特征在于，根据所述修正参数，对所述待修正数据进行修正的步骤包括：
将所述修正参数替代所述标准数据库中的待修正数据，获取最终数据，完成数据修正。
7.根据权利要求1所述的数据修正方法，其特征在于，
创建实验数据库与中心云端的第一连接，并且，创建标准数据库与中心云端的第二连接；
通过所述第一连接对应的接口、所述第二连接对应的接口，从中心云端获取对应的实验数据和标准数据，并分别存储至实验数据库和标准数据库。
8.一种数据修正系统，其特征在于，包括：
待修正数据获取模块，用于从预设的实验数据库中获取实验数据，所述实验数据带有分类标签；根据所述分类标签，从预设的标准数据库中获取与所述实验数据对应的标准数据，所述标准数据用于为实验提供数据指导；通过对比标准数据与多项对应的实验数据之间的差异度，确定待修正数据；
修正参数获取模块，用于将所述待修正数据和多项对应的所述实验数据输入预设的修正参数获取模型，获取所述待修正数据的修正参数；
数据修正模块，用于根据所述修正参数，对所述待修正数据进行修正；所述待修正数据获取模块、修正参数获取模块和数据修正模块连接；
所述修正参数获取模型的获取步骤包括：
获取第二训练集，所述第二训练集包括：多项第二实验数据样本和对应的第二标准数据样本，以及第二实验数据样本与第二标准数据样本之间的标注修正参数；
将所述第二训练集中的多项第二实验数据样本和对应的第二标准数据样本分别输入深度神经网络进行特征提取，获取第二实验数据样本和第二标准数据样本之间的相同数据特征和不同数据特征；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型；
根据所述相同数据特征和所述不同数据特征，获取修正参数获取模型的步骤包括：
根据所述相同数据特征和不同数据特征，确定第一权值和第二权值，所述第一权值与相同数据特征相对应，所述第二权值与不同数据特征相对应；
根据所述相同数据特征、不同数据特征，以及对应的第一权值和第二权值，获取预测修正参数；
根据所述预测修正参数、标注修正参数和预设的第二损失函数，对所述深度神经网络进行训练，获取修正参数获取模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110905953.2A CN113342799B (zh) | 2021-08-09 | 2021-08-09 | 一种数据修正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110905953.2A CN113342799B (zh) | 2021-08-09 | 2021-08-09 | 一种数据修正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113342799A CN113342799A (zh) | 2021-09-03 |
| CN113342799B true CN113342799B (zh) | 2021-12-21 |
Family
ID=77481126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110905953.2A Active CN113342799B (zh) | 2021-08-09 | 2021-08-09 | 一种数据修正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113342799B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114519820B (zh) * | 2022-02-11 | 2023-05-16 | 常州刘国钧高等职业技术学校 | 一种基于机器视觉的柑橘筛选自动修正控制方法及系统 |
| CN116295611B (zh) * | 2023-02-01 | 2023-10-13 | 广东省国瑞质量检验有限公司 | 实验数据采集方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102636704B (zh) * | 2012-03-05 | 2015-07-15 | 深圳市英威腾电气股份有限公司 | 一种电子产品的测试方法、装置及系统 |
| AU2016356474A1 (en) * | 2015-11-20 | 2018-06-21 | Seegene, Inc. | Method for calibrating a data set of a target analyte |
| CN108416382B (zh) * | 2018-03-01 | 2022-04-19 | 南开大学 | 一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法 |
| CN108897829B (zh) * | 2018-06-22 | 2020-08-04 | 广州多益网络股份有限公司 | 数据标签的修正方法、装置和存储介质 |
| CN109286622B (zh) * | 2018-09-26 | 2021-04-20 | 天津理工大学 | 一种基于学习规则集的网络入侵检测方法 |
| CN109543713B (zh) * | 2018-10-16 | 2021-03-26 | 北京奇艺世纪科技有限公司 | 训练集的修正方法及装置 |
| CN109783785B (zh) * | 2018-12-27 | 2023-04-18 | 长沙通诺信息科技有限责任公司 | 生成实验检测报告的方法、装置和计算机设备 |
| CN111046175B (zh) * | 2019-11-18 | 2023-05-23 | 杭州天翼智慧城市科技有限公司 | 基于自学习的电子案卷分类方法及装置 |
| CN111382798A (zh) * | 2020-03-10 | 2020-07-07 | 上海眼控科技股份有限公司 | 样本图片的标签修正方法、装置、设备和存储介质 |
| CN112541688B (zh) * | 2020-12-18 | 2024-03-26 | 平安银行股份有限公司 | 业务数据校验方法、装置、电子设备及计算机存储介质 |
-
2021
- 2021-08-09 CN CN202110905953.2A patent/CN113342799B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113342799A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108073902B (zh) | 基于深度学习的视频总结方法、装置及终端设备 | |
| CN113342799B (zh) | 一种数据修正方法及系统 | |
| EP3620982B1 (en) | Sample processing method and device | |
| US20200311071A1 (en) | Method and system for identifying core product terms | |
| CN111914159A (zh) | 一种信息推荐方法及终端 | |
| CN114549874A (zh) | 多目标图文匹配模型的训练方法、图文检索方法及装置 | |
| US11216512B2 (en) | Accessible machine learning backends | |
| CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
| CN113722438A (zh) | 基于句向量模型的句向量生成方法、装置及计算机设备 | |
| CN114385694A (zh) | 一种数据加工处理方法、装置、计算机设备及存储介质 | |
| CN111597336B (zh) | 训练文本的处理方法、装置、电子设备及可读存储介质 | |
| CN113641823B (zh) | 文本分类模型训练、文本分类方法、装置、设备及介质 | |
| CN115617945A (zh) | 跨模态数据检索模型的建立方法以及跨模态数据检索方法 | |
| CN112040401B (zh) | 室内定位方法、装置、电子设备和存储介质 | |
| CN112597764A (zh) | 文本分类方法及装置、存储介质、电子装置 | |
| CN111274383B (zh) | 一种应用于报价的分类对象方法和装置 | |
| CN112559589A (zh) | 一种远程测绘数据处理方法及系统 | |
| CN115879446B (zh) | 文本处理方法、深度学习模型训练方法、装置以及设备 | |
| CN116578874B (zh) | 一种基于网络协议的卫星信号属性判证方法及装置 | |
| CN109740671B (zh) | 一种图像识别方法及装置 | |
| CN118035442A (zh) | 一种基于度量学习的不平衡文本分类方法 | |
| CN113987223A (zh) | 标签补全方法及标签补全装置 | |
| CN117009893A (zh) | 一种电网故障分析方法及系统 | |
| CN114897073A (zh) | 面向智能工业的模型迭代方法、装置及电子设备 | |
| CN115641440A (zh) | 一种点云的语义分割方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220725 Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd. Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |