CN110941607A - 脏数据的识别方法、装置、设备及存储介质 - Google Patents

脏数据的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110941607A
CN110941607A CN201911261723.6A CN201911261723A CN110941607A CN 110941607 A CN110941607 A CN 110941607A CN 201911261723 A CN201911261723 A CN 201911261723A CN 110941607 A CN110941607 A CN 110941607A
Authority
CN
China
Prior art keywords
dirty data
data
identified
dirty
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911261723.6A
Other languages
English (en)
Inventor
李瑞婷
王兵卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Cross Cloud (beijing) Technology Co Ltd
Original Assignee
Medical Cross Cloud (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Cross Cloud (beijing) Technology Co Ltd filed Critical Medical Cross Cloud (beijing) Technology Co Ltd
Priority to CN201911261723.6A priority Critical patent/CN110941607A/zh
Publication of CN110941607A publication Critical patent/CN110941607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种脏数据的识别方法、装置、设备及存储介质。该方法包括：获取至少一组待识别数据；根据预先设置的脏数据识别模型，对至少一组待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例；当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据。该方法能够快速、准确地识别脏数据。

Description

脏数据的识别方法、装置、设备及存储介质
技术领域
本发明涉及数据识别领域，具体而言，涉及一种脏数据的识别方法、装置、设备及存储介质。
背景技术
脏数据(Dirty Read)，是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。
真实世界数据中，存在大量的不符合医疗规范、数据逻辑的原生脏数据混在全数据集中，影响医学统计，医生使用，而且对于医学分析，会有噪音产生，直接或间接地影响分析结果，基于此问题，识别脏数据、标识脏数据成为一个越来越重要的问题。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明提供一种脏数据的识别方法、装置、设备及存储介质，能够快速、准确地识别脏数据。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提供一种脏数据的识别方法，包括：获取至少一组待识别数据；根据预先设置的脏数据识别模型，对至少一组待识别数据进行脏数据识别，并确定所述至少一组待识别数据中脏数据的比例；当所述脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据。
根据本发明的一实施方式，上述方法还包括：当脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新脏数据识别模型和/或基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用更新后的脏数据识别模型识别脏数据。
根据本发明的一实施方式，上述方法还包括：分别基于各待识别数据的最小粒度数据，生成唯一的标识；确定采用预先设置的脏数据识别模型识别脏数据后，该方法还包括：存储识别出的脏数据和各脏数据对应的标识。
根据本发明的一实施方式，预先设置的脏数据识别模型包括：多个预先设置的不同类型的脏数据识别模型；对至少一组待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例，包括：根据不同类型的脏数据识别模型，分别对至少一个待识别数据进行脏数据识别，并分别确定出至少一组待识别数据中不同类型脏数据的比例。
根据本发明的一实施方式，当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据，包括：当一种类型脏数据的比例小于或等于该类型所对应的基准阈值时，确定采用预先设置的该类型的脏数据识别模型识别脏数据。
根据本发明的一实施方式，预先设置的不同类型的脏数据识别模型分别具有各自预设的模型参数；模型参数包括：脏数据的特征属性信息和脏数据类型；其中，不同类型的脏数据识别模型具有不同的脏数据特征属性信息。
根据本发明的另一方面，提供一种脏数据识别装置，包括：数据获取模块，用于获取一组待识别数据；比例确定模块，用于根据预先设置的脏数据识别模型，对至少一种待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例；脏数据确定模块，用于当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据。
根据本发明的一实施方式，上述装置还包括：更新模块，用于当脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新脏数据识别模型和/或基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用更新后的脏数据识别模型识别脏数据。
根据本发明的再一方面，提供一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
根据本发明的提供的脏数据识别方法，通过预先设置的脏数据识别模型，对待识别数据进行识别，得到识别结果，对识别结果进行分析以及分析结果的循环利用，将分析结果自动应用于其他数据源的脏数据识别，可以快速、准确地识别脏数据。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。
图1是根据一示例性实施方式示出的一种脏数据识别方法的流程图。
图2是根据一示例性实施方式示出的另一种脏数据的识别方法的流程图。
图3是根据一示例性实施方式示出的另一种脏数据的识别方法的流程图。
图4是根据一示例性实施方式示出的一种脏数据识别装置的框图。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
图1是根据一示例性实施方式示出的一种脏数据的识别方法的流程图。
参考图1，脏数据的识别方法10包括：
在步骤S101中，获取至少一组待识别数据。
待识别数据例如可以是真实的医疗数据，其中存在着大量的不符合医疗规范、数据逻辑的原生脏数据，由于脏数据的存在，会影响医学统计和医生的使用，而且对于医学分析，会有噪音产生，直接间接的影响分析结果，因此需要从医疗数据中识别出脏数据。
在步骤S102中，根据预先设置的脏数据识别模型，对至少一组待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例。
在一些实施例中，预先设置的脏数据识别模型包括：多个预先设置的不同类型的脏数据识别模型。
在一些实施例中，预先设置的不同类型的脏数据识别模型分别具有各自预设的模型参数；模型参数包括：脏数据的特征属性信息和脏数据类型；其中，不同类型的脏数据识别模型具有不同的脏数据特征属性信息。
在一些实施例中，对至少一组待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例，包括：根据不同类型的脏数据识别模型，分别对至少一个待识别数据进行脏数据识别，并分别确定出至少一组待识别数据中不同类型脏数据的比例。
脏数据的类型及对应的挖掘方式多样，包括但不限于：
(1)一些无意义或者使用方无法理解的字符；
(2)一些不符合本字段模型定义的文本值；
(3)不符合事件真实发生顺序的值；
(4)存在逻辑关系的相关值，无法满足对应的逻辑关系；
(5)应唯一存在的值有重复。
每个脏数据识别模型可以对应上述一种脏数据类型进行识别。可以通过已经过训练的多个脏数据识别模型，依次对待识别数据进行脏数据识别，可以得到待识别数据中对应类型的脏数据。其中，脏数据识别模型是基于医学规范和真实数据的逻辑推理确定的。例如，采用机器学习的方式对医疗数据进行识别，通过第一种识别算法将一些无意义或者使用方法无法理解的字符识别出，则该算法对应的模型可以作为识别该类型的脏数据识别模型。同理，针对别的类型的脏数据可以采用别的识别算法组成的模型进行识别。其中识别算法可以根据不同类型的数据的识别确定一些规则或者规律。在此不做具体限定。
假设该组待识别数据为N个，通过上述一种脏数据识别模型识别得到对应类型的脏数据例如可以为M个，那么这组待识别数据中对应该类型的脏数据的比例就是M/N。
在步骤S103中，当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据。
在一些实施例中，当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别脏数据，包括：当一种类型脏数据的比例小于或等于该类型所对应的基准阈值时，确定采用预先设置的该类型的脏数据识别模型识别脏数据。
基准阈值可以根据经验假设，或者可以根据以往计算获得的脏数据比例的平均值进行设置，或者还可以根据数据使用方对数据的要求进行设置，本发明对此不做限制。
此外，该基准阈值针对不同脏数据识别模型可以设置为相同的值，也可以设置为不同的值。通过比较该组待识别数据中脏数据的比例和该组待识别数据所对应的基准阈值的大小关系，得到该组待识别数据中脏数据的比例小于或者等于该组待识别数据所对应的基准阈值时，将通过脏数据识别模型识别出的脏数据作为最终的识别结果。
根据本发明实施例提供的脏数据识别方法，通过预先设置的脏数据识别模型，对待识别数据进行识别，得到识别结果，对识别结果进行人工的干预分析以及分析结果的循环利用，将分析结果自动应用于其他数据源的脏数据识别，可以快速、准确地识别脏数据。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。
图2是根据一示例性实施方式示出的另一种脏数据的识别方法的流程图。
参考图2，在图1所示的脏数据的识别方法10的步骤S102之后，方法20还包括：
在步骤S104中，当脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新脏数据识别模型和/或基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用更新后的脏数据识别模型识别脏数据。
通过比较该组待识别数据中脏数据的比例和该组待识别数据对应的基准阈值的大小关系，当该组待识别数据中脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过预先设置的脏数据识别模型识别出的脏数据为非脏数据时，说明该脏数据识别模型或基准阈值不准确，可以通过专业人员提供的一些经验值对基于脏数据识别模型得到的识别结果进行判断，根据判断结果更新脏数据识别模型和/或基准阈值。
更新脏数据识别模型包括：获取人工基于该组待识别数据的识别结果更新后的脏数据识别模型及模型参数；或者根据经验值自动更新该脏数据识别模型及模型参数，其中，模型参数包括：脏数据的特征属性信息和脏数据的类型信息。
通过专业人员提供的一些经验值对脏数据识别模型识别出的脏数据进行判断，如果确认脏数据识别模型识别出的脏数据是非数据加工过程中引入的次生数据问题，则认为脏数据识别模型识别出的脏数据是正确的。
次生数据问题指的是针对源系统中的数据，通过一定的业务和逻辑关系形成新的数据存储方式，在这个数据存储转化的生产和加工过程中新引入的数据问题，区别于源系统数据的数据问题。
通过专业人员提供的一些经验值对脏数据识别模型识别出的脏数据进行判断，如果确认脏数据识别模型识别出的脏数据是数据加工过程中引入的次生数据问题，或存在噪音数据，则认为脏数据识别模型识别出的脏数据有误，那么根据判断结果修正脏数据识别模型及模型参数。
当根据更新后的脏数据识别模型对这组待识别数据进行识别后得到的脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用更新后的脏数据识别模型识别脏数据，根据更新后的脏数据识别模型获得的识别结果即为最终的识别结果；当根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据的比例大于该组待识别数据所对应的基准阈值时，继续对脏数据识别模型识别出的脏数据进行判断，根据判断结果更新脏数据识别模型和/或基准阈值。对识别结果进行干预分析以及分析结果循环利用，可以使脏数据识别模型的识别结果更加准确。
脏数据的识别方法20中其他与脏数据的识别方法10相同的步骤在此不再赘述。
图3是根据一示例性实施方式示出的另一种脏数据的识别方法的流程图。
参考图3，在图1所示的脏数据的识别方法10的基础上，方法30还包括：
在步骤S301中，分别基于各待识别数据的最小粒度数据，生成唯一的标识。
在图1所示的脏数据的识别方法10的步骤S102之后，方法30还包括：
在步骤S302中，存储识别出的脏数据和各脏数据对应的标识。
对于已确认的脏数据，可以将其对应的标识与脏数据的特征属性进行对应关系存储，待数据应用方的使用。
以待识别数据为树形结构数据为例，脏数据识别可以是基于其最小粒度的数据进行的，也即该待识别数据中可能包括脏数据，也可能包括非脏数据。因此，分别为待识别数据的最小粒度的数据生成唯一标识，在对脏数据存储时，则可以依据最小粒度数据的唯一标识来存储并标识识别出的脏数据。
脏数据的识别方法30中其他与脏数据的识别方法10相同的步骤在此不再赘述。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图4是根据一示例性实施方式示出的一种脏数据识别装置的框图。
参考图4，脏数据识别装置40包括：数据获取模块401、比例确定模块402及脏数据确定模块403。
其中，数据获取模块401用于获取至少一组待识别数据。
比例确定模块402用于根据预先设置的脏数据识别模型，对至少一种待识别数据进行脏数据识别，并确定至少一组待识别数据中脏数据的比例。
脏数据确定模块403用于当脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用预先设置的脏数据识别模型识别出的脏数据。
在一些实施例中，脏数据识别装置40还包括更新模块，用于当脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新脏数据识别模型和/或基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用更新后的脏数据识别模型识别脏数据。在一些实施例中，脏数据识别装置40还包括标识生成模块，用于分别基于各待识别数据的最小粒度数据，生成唯一的标识；以及数据存储模块，用于存储识别出的脏数据和各脏数据对应的标识。
在一些实施例中，预先设置的脏数据识别模型包括：多个预先设置的不同类型的脏数据识别模型。
在一些实施例中，比例确定模块402包括比例确定单元，用于根据不同类型的脏数据识别模型，分别对至少一个待识别数据进行脏数据识别，并分别确定出至少一组待识别数据中不同类型脏数据的比例。
在一些实施例中，脏数据确定模块403包括脏数据确定单元，用于当一种类型脏数据的比例小于或等于该类型所对应的基准阈值时，确定采用预先设置的该类型的脏数据识别模型识别脏数据。
在一些实施例中，预先设置的不同类型的脏数据识别模型分别具有各自预设的模型参数；模型参数包括：脏数据的特征属性信息和脏数据类型；其中，不同类型的脏数据识别模型具有不同的脏数据特征属性信息。
根据本发明实施例提供的脏数据识别装置，通过预先设置的脏数据识别模型，对待识别数据进行识别，得到识别结果，对识别结果进行分析以及分析结果的循环利用，将分析结果自动应用于其他数据源的脏数据识别，可以快速、准确地识别脏数据。
需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。需要说明的是，图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备800以通用计算机设备的形式表现。电子设备800的组件包括：至少一个中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序代码或者从至少一个存储单元808加载到随机访问存储器(RAM)803中的程序代码而执行各种适当的动作和处理。
特别地，根据本发明的实施例，所述程序代码可以被中央处理单元801执行，使得中央处理单元801执行本说明书上述方法实施例部分中描述的根据本发明各种示例性实施方式的步骤。例如，中央处理单元801可以执行如图1-图3中所示的步骤。
在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。CPU 801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入单元806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出单元807；包括硬盘等的存储单元808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信单元809。通信单元809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储单元808。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
参考图6所示，描述了根据本发明的实施方式的设置为实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如图1-图3中所示的功能。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种脏数据的识别方法，其特征在于，包括：
获取至少一组待识别数据；
根据预先设置的脏数据识别模型，对所述至少一组待识别数据进行脏数据识别，并确定所述至少一组待识别数据中脏数据的比例；
当所述脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用所述预先设置的脏数据识别模型识别脏数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
当所述脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过所述预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新所述脏数据识别模型和/或所述基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用所述更新后的脏数据识别模型识别脏数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
分别基于各所述待识别数据的最小粒度数据，生成唯一的标识；
所述确定采用所述预先设置的脏数据识别模型识别脏数据后，该方法还包括：
存储识别出的脏数据和各所述脏数据对应的标识。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述预先设置的脏数据识别模型包括：多个预先设置的不同类型的脏数据识别模型；
对所述至少一组待识别数据进行脏数据识别，并确定所述至少一组待识别数据中脏数据的比例，包括：
根据不同类型的脏数据识别模型，分别对所述至少一个待识别数据进行脏数据识别，并分别确定出所述至少一组待识别数据中不同类型脏数据的比例。
5.根据权利要求4所述的方法，其特征在于，当所述脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用所述预先设置的脏数据识别模型识别脏数据，包括：
当一种类型脏数据的比例小于或等于该类型所对应的基准阈值时，确定采用预先设置的该类型的脏数据识别模型识别脏数据。
6.根据权利要求4所述的方法，其特征在于，所述预先设置的不同类型的脏数据识别模型分别具有各自预设的模型参数；所述模型参数包括：脏数据的特征属性信息和脏数据类型；
其中，不同类型的脏数据识别模型具有不同的脏数据特征属性信息。
7.一种脏数据识别装置，其特征在于，包括：
数据获取模块，用于获取至少一组待识别数据；
比例确定模块，用于根据预先设置的脏数据识别模型，对所述至少一种待识别数据进行脏数据识别，并确定所述至少一组待识别数据中脏数据的比例；
脏数据确定模块，用于当所述脏数据的比例小于或等于该组待识别数据所对应的基准阈值时，确定采用所述预先设置的脏数据识别模型识别脏数据。
8.根据权利要求7所述的脏数据识别装置，其特征在于，该装置还包括：
更新模块，用于当所述脏数据的比例大于该组待识别数据所对应的基准阈值，且确定通过所述预先设置的脏数据识别模型识别出的脏数据为非脏数据时，更新所述脏数据识别模型和/或所述基准阈值，使得根据更新后的脏数据识别模型对该组待识别数据进行识别后得到的脏数据比例小于或等于该组待识别数据所对应的基准阈值；确定采用所述更新后的脏数据识别模型识别脏数据。
9.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-6任一项所述的方法。
CN201911261723.6A 2019-12-10 2019-12-10 脏数据的识别方法、装置、设备及存储介质 Pending CN110941607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911261723.6A CN110941607A (zh) 2019-12-10 2019-12-10 脏数据的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911261723.6A CN110941607A (zh) 2019-12-10 2019-12-10 脏数据的识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110941607A true CN110941607A (zh) 2020-03-31

Family

ID=69910313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911261723.6A Pending CN110941607A (zh) 2019-12-10 2019-12-10 脏数据的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110941607A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303382A (zh) * 2023-02-10 2023-06-23 重庆见芒信息技术咨询服务有限公司 一种多维大数据清洗方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391569A (zh) * 2017-06-16 2017-11-24 阿里巴巴集团控股有限公司 数据类型的识别、模型训练、风险识别方法、装置及设备
CN108984708A (zh) * 2018-07-06 2018-12-11 蔚来汽车有限公司 脏数据识别方法及装置、数据清洗方法及装置、控制器
CN109063116A (zh) * 2018-07-27 2018-12-21 考拉征信服务有限公司 数据识别方法、装置、电子设备及计算机可读存储介质
CN109815084A (zh) * 2018-12-29 2019-05-28 北京城市网邻信息技术有限公司 异常识别方法、装置和电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391569A (zh) * 2017-06-16 2017-11-24 阿里巴巴集团控股有限公司 数据类型的识别、模型训练、风险识别方法、装置及设备
CN108984708A (zh) * 2018-07-06 2018-12-11 蔚来汽车有限公司 脏数据识别方法及装置、数据清洗方法及装置、控制器
CN109063116A (zh) * 2018-07-27 2018-12-21 考拉征信服务有限公司 数据识别方法、装置、电子设备及计算机可读存储介质
CN109815084A (zh) * 2018-12-29 2019-05-28 北京城市网邻信息技术有限公司 异常识别方法、装置和电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303382A (zh) * 2023-02-10 2023-06-23 重庆见芒信息技术咨询服务有限公司 一种多维大数据清洗方法和系统

Similar Documents

Publication Publication Date Title
CN110705301B (zh) 实体关系抽取方法及装置、存储介质、电子设备
CN111460250B (zh) 用于画像的数据的清洗方法、装置、介质及电子设备
CN112686053A (zh) 一种数据增强方法、装置、计算机设备及存储介质
CN111950237B (zh) 一种句子改写方法、句子改写装置及电子设备
US8001061B2 (en) First and second unsupervised learning processes combined using a supervised learning apparatus
CN110275880A (zh) 数据分析方法、装置、服务器及可读存储介质
CN110941607A (zh) 脏数据的识别方法、装置、设备及存储介质
CN110806977A (zh) 基于产品需求的测试用例集生成方法、装置及电子设备
CN112948582A (zh) 一种数据处理方法、装置、设备以及可读介质
CN115186738B (zh) 模型训练方法、装置和存储介质
CN115409042A (zh) 一种基于思维导图的机器人问答方法及装置
CN114492370B (zh) 网页识别方法、装置、电子设备和介质
CN113850395B (zh) 一种数据处理方法及系统
CN109902083A (zh) 一种对标处理的方法、装置、计算机存储介质及终端
CN113515591B (zh) 文本不良信息识别方法、装置、电子设备及存储介质
CN114818716A (zh) 一种风险主体的识别方法、装置、存储介质及设备
CN112287005B (zh) 一种数据处理方法、装置、服务器及介质
CN113903071A (zh) 人脸识别方法、装置、电子设备和存储介质
CN114490969A (zh) 基于表格的问答方法、装置以及电子设备
CN114332529A (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
CN113988316A (zh) 对机器学习模型训练的方法和装置
CN113468258A (zh) 一种异构数据的转换方法、装置及存储介质
CN111651979A (zh) 一种车辆属性的纠错方法、装置、存储介质及终端
CN111859917A (zh) 主题模型构建方法、设备及计算机可读存储介质
CN113468280B (zh) 一种数据认知方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200331

RJ01 Rejection of invention patent application after publication