CN111582193A - 坏例识别及其模型优化方法、装置及计算机存储介质 - Google Patents

坏例识别及其模型优化方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111582193A
CN111582193A CN202010394801.6A CN202010394801A CN111582193A CN 111582193 A CN111582193 A CN 111582193A CN 202010394801 A CN202010394801 A CN 202010394801A CN 111582193 A CN111582193 A CN 111582193A
Authority
CN
China
Prior art keywords
identification
model
bad case
result
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010394801.6A
Other languages
English (en)
Other versions
CN111582193B (zh
Inventor
赵明
关连正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202010394801.6A priority Critical patent/CN111582193B/zh
Publication of CN111582193A publication Critical patent/CN111582193A/zh
Application granted granted Critical
Publication of CN111582193B publication Critical patent/CN111582193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种坏例识别及其模型优化方法、装置及计算机存储介质，所述方法包括利用具有相同识别能力的待优化识别模型和参考识别模型针对待识别样本分别进行识别，获得待优化识别模型的第一识别结果和参考识别模型的第二识别结果；利用多策略叠加模型中的至少二坏例分析策略分别基于第二识别结果分析第一识别结果，获得各坏例分析策略对应的各中间分析结果，并根据各中间分析结果获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果，借此，本申请可以提高坏例识别的准确度，以利于模型的优化处理，从而提高模型识别的正确率。

Description

坏例识别及其模型优化方法、装置及计算机存储介质
技术领域
本发明实施例涉及计算机应用中的测试技术领域，尤其涉及一种坏例识别及其模型优化方法、装置及计算机存储介质。
背景技术
坏例(bad case)是指算法模型(识别模型)在针对样本进行识别预测时，不能够准确给出识别结果的样本。例如，输入一个带有小狗图案的图片样本，但算法模型输出的图片识别结果是小猫，对于所述算法模型而言，此图片样本即为坏例。
通常，算法模型需要通过大量训练各种类型的样本，使得样本空间获得较大的提升，才能使算法模型更具有泛化性、鲁棒性。因此，如何从算法模型所训练的样本数据集中寻找出坏例成为了一个关键性问题。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种坏例识别及其模型优化方法、装置及计算机存储介质，可自动识别出待识别样本中的坏例，并具有较高的识别准确度。
根据本发明实施例的第一方面，提供了一种坏例识别方法，其包括利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得所述待优化模型的第一识别结果和所述至少一参考识别模型的至少一第二识别结果；以及利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果，并根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
根据本发明实施例的第二方面，提供了一种模型优化方法，其包括获取多个待识别样本以训练待优化识别模型；利用上述第一方面所述的坏例识别方法，获得所述待优化识别模型识别的各所述待识别样本是否为坏例的多个坏例识别结果；以及基于所述多个坏例识别结果，优化所述待优化识别模型。
根据本发明实施例的第三方面，提供了一种计算机存储介质，所述计算机存储介质中存储有用于执行本发明第一方面所述的坏例识别方法的各所述步骤的指令。
根据本发明实施例的第四方面，提供了一种计算机存储介质，所述计算机存储介质中存储有用于执行本发明第二方面所述的模型优化方法的各所述步骤的指令。
根据本发明实施例的第五方面，提供了一种坏例识别装置，其包括：识别模块，用于利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得所述待优化模型的第一识别结果和所述至少一参考识别模型的至少一第二识别结果；以及多策略叠加模型，用于利用至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果，并根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
根据本发明实施例的第六方面，提供了一种模型优化装置，其包括：模型训练模块，获取多个待识别样本以训练待优化识别模型，并利用上述第五方面所述的坏例识别装置，获得所述待优化识别模型识别的各所述待识别样本是否为坏例的多个坏例识别结果；以及模型优化模块，用于基于所述多个坏例识别结果，优化所述待优化识别模型。
由以上技术方案可见，本发明各实施例所提供的坏例识别及其模型优化方法、装置及计算机存储介质，通过将待识别样本输入到待优化模型和参考模型中进行分别识别，并利用多策略叠加方式根据参考模型输出的第二识别结果分析待优化模型输出的第一识别结果，据以获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果。借此，本申请可以实现样本中坏例的自动识别，并具有较高的坏例识别准确度，可利于模型的优化处理，从而提高模型识别的正确率。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领与技术人员应该理解，这些附图未必是按比值绘制的。附图中：
图1示出了本发明的第一实施例的坏例识别方法的流程示意图；
图2示出了本发明第二实施例的坏例识别方法的流程示意图；
图3A及图3B示出了执行图片正位的预处理操作的待识别样本对比图；
图4示出了本发明第二实施例的待优化识别模型和各参考识别模型针对同一待识别样本生成的第一识别结果和第二识别结果的比对图；以及
图5A至图5D示出了本发明第三实施例的坏例识别方法的流程示意图；
图6示出了本发明第四实施例的模型优化方法的流程示意图；
图7示出了本发明第七实施例的坏例识别装置的框架示意图；
图8示出了本发明第八实施例的模型优化装置的框架示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
正如本申请在上述背景技术部分所指出的，如何从算法模型所训练的样本数据集中寻找出坏例成为了一个关键性问题。目前，识别坏例的方法主要包括如下两种：(1)传统的人工标注(2)基于深度学习的坏例识别算法。其中，针对第一种方法，需要大量的人力来标注数据。导致时间成本、人力成本的消耗巨大。而针对第二种方法，则需要大量的丰富的且已标注为坏例的样本对算法模型进行优化训练，不但训练成本较高，且算法模型的准确性、鲁棒性以及泛化性均取决于训练样本的质量，因此，坏例标注是否准确，直接影响了模型优化训练的结果。
有鉴于此，本发明提出了一种坏例识别技术，以及基于所述坏例识别技术实现的模型优化技术，可以解决上述相关技术中所提及的部分问题或全部问题。
下面将结合本发明实施例附图进一步说明本发明实施例具体实现。
第一实施例
图1示出了本发明第一实施例的坏例识别方法的流程示意图。如图所示，本实施例的坏例识别方法主要包括以下步骤：
步骤S11，利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得待优化模型生成的第一识别结果和至少一参考识别模型生成的至少一第二识别结果。
可选的，优化识别模型和参考识别模型为算法模型。
可选的，优化识别模型和参考识别模型所具有的识别能力包括但不限于：图像识别能力、语音识别能力、语义识别能力中的任一种。
例如，具有图像识别能力的优化识别模型/参考识别模型可用于识别待识别样本中包含的图像信息，并将待识别样本中的图像信息转换为文本信息。举例而言，当输入一张小狗的图片样本时，具有图像识别能力的优化识别模型/参考识别模型可根据图片样本中的图像信息输出“小狗”、“狗”或“犬”的本文信息。
再如，具有语音识别能力的优化识别模型/参考识别模型可用于识别待识别样本中包含的声音信息，并将待识别样本中的声音信息转换为文本信息。举例而言，当输入一段语音样本时，具有语音识别能力优化识别模型/参考识别模型针对语音样本进行语音识别，并输出例如“今天是星期五”的文本信息。
又如，具有语义识别能力的优化识别模型/参考识别模型可根据待识别样本中所包含的图像信息和/或语音信息进行语义分析，据以生成语义识别结果。举例而言，当输入一张人脸的图片样本时，具有语义识别能力的优化识别模型/参考识别模型可通过分析人脸中的面部表情，输出例如“高兴”、“喜悦”等积极情绪值，或输出例如“沮丧”、“悲哀”等消极情绪值。亦或是，当输入一段语音样本时，具有语义识别能力的优化识别模型/参考识别模型也可通过分析说话者的说话内容及说话语气，输出上述的积极情绪值或消极情绪值。
需说明的是，针对本发明实施例提供的优化识别模型/参考识别模型所具有的识别能力并不以上述为限，本文对此不作限制。
步骤S12，利用多策略叠加模型中的至少二坏例分析策略分别基于至少一第二识别结果分析第一识别结果，获得各坏例分析策略对应的各中间分析结果，并根据各中间分析结果获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果。
可选的，所述坏例分析策略为基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略中的一个。需说明的是，坏例分析策略并不以上述为限，可根据实际使用需求而采用其他坏例分析策略，本发明对此不作限制。
可选的，可根据各坏例分析策略对应的各预设策略权重参数以及各坏例分析策略对应的各中间分析结果，获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果，亦即，待优化识别模型对于待识别样本的识别结果是否正确。
具体而言，可根据各坏例分析策略各自对应的预设策略权重参数，利用预设公式综合计算各坏例分析策略对应的各中间分析结果，获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果。
可选的，预设策略权重参数可以是系统根据预设条件而自动生成的参数，也可以是手动设定的参数，或者是在系统自动生成之后再通过手动进行调整的参数。
可选的，可根据具体的识别任务(例如图像识别、语音识别、语义识别等)调整各坏例分析策略对应的预设策略权重参数。
综上所述，本发明实施例提供的多策略叠加模型通过将各参考识别模型生成的各第二识别结果作为参考标准，并利用多策略叠加的方式从多个角度分析第一识别结果与各第二识别结果之间的差异，据以获得待优化识别模型识别出的待识别样本是否为坏例的坏例识别结果。借此，本发明实施例不但提高了坏例的识别效率，亦能提高坏例识别的准确度。
再者，本发明实施例可提供使用者根据具体的识别任务从多策略叠加模型中自由选择所适用的坏例分析策略进行叠加，并根据实际需求而个性化设定不同坏例分析策略的策略权重参数，具有易扩展且灵活多变的优点，可以满足不同的坏例识别需求。
第二实施例
图2示出了本发明第二实施例的坏例识别方法的流程示意图。于本实施例中，待优化识别模型/参考识别模型具有图片识别能力，用于识别待识别样本中所包含的图像信息，并将其转换为文本信息。如图所示，本实施例的坏例识别方法主要包括以下处理步骤：
步骤S21,获取待识别样本。
可选的，所述待识别样本为图片样本。于本实施例中，所述待识别样本为包含文字、符号、数字等信息的图片样本(如图3A所示)，但并不以此为限，待识别样本也可以是包含其他图像特征的图片样本(例如照片、图画等)，本发明对此不作限制。
步骤S22，针对待识别样本执行图片正位的预处理操作。
可选的，可采用霍夫变换算法找到待识别样本(图片样本)中的特征线条，再根据特征线条针对图片进行旋转处理，使得图片自动正位(如图3B所示)。需说明的是，也可利用其他现有技术针对待识别样本执行图片正位的预处理操作，本发明对此不做限制。
借由上述图片正位预处理操作，可以提高后续识别模型(例如待优化识别模型或参考模型)针对待识别样本的识别结果的正确率。
举例来说，于下列所示的表1中，分别示出了“未经过图片正位处理的待识别样本(即图3A所示样本)”以及“经过图片正位处理的待识别样本(即图3B所示样本)”各自对应的识别结果，其中，可以清楚看出，识别模型针对经过了图片正位预处理操作之后的待识别样本的识别结果的准确性得到了明显的提高。
Figure BDA0002485072630000061
表1
步骤S23，利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得待优化模型对应的第一识别结果和至少一参考识别模型对应的至少一第二识别结果。
可选的，可将待识别样本分别输入到同样具有OCR文字识别功能的待优化识别模型和至少一参考识别模型中进行识别。
此外，参考识别模型的选择及参考识别模型的数量配置可根据实际需求任意设定，本发明对此并不限定，仅需参考识别模型与待优化识别模型具有相同识别能力即可。
于一实施例中，各参考识别模型与待优化识别模型之间可为竞品关系。
如图4所示，于本实施例中，采用了四个参考识别模型(即图4所示的第一参考识别模型、第二参考识别模型、第三参考识别模型和第四参考识别模型)分别针对相同的待识别样本进行识别，并取得待优化模型对应生成的一个第一识别结果以及四个参考识别模型各自生成的四个第二识别结果。
可选的，可将待优化模型针对待识别样本生成的第一识别结果和四个参考识别模型生成的四个第二识别结果以列表方式记录在EXCEL文档中保存，但并不以此为限，也可使用其他文档格式进行保存。
步骤S24，针对第一识别结果和第二识别结果分别执行非关键噪点因素去除的后处理操作。
于本实施例中，可通过对第一识别结果和第二识别结果执行去标点符号、空格、停用词等后处理操作，以去除第一识别结果/第二识别结果中的非关键噪点因素。
可选的，上述后处理操作可通过首先利用正则表达式匹配出第一识别结果/第二识别结果中的标点符号、空格、停用词，再将匹配出的标点符号、空格、停用词去除的方式来实现(参考下列表2)。
Figure BDA0002485072630000071
表2
需说明的是，也可利用其它方式实现上述非关键噪点因素去除的后处理操作。
步骤S25，利用多策略叠加模型分析待优化识别模型识别的待识别样本是否为坏例(将在下述第三实施例中予以详述)。
可选的，多策略叠加模型包括下列坏例分析策略中的至少两个：基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略。
需说明的是，坏例分析策略并不以上述为限，可根据实际需求进行调整，本发明对此不作限定。
综上所述，本发明实施例通过针对待识别样本(图片样本)执行图片正位的预处理操作和非关键噪点因素去除的后处理操作可以提高待优化识别模型/参考识别模型对于待识别样本的识别准确率，也有利于提高后续针对待识别样本是否为坏例的判断结果的正确性。
需注意的是，本发明实施例是以针对待识别样本进行图像识别为例进行说明，当识别任务变更为例如语音识别或语义识别时，可以针对上述样本的预处理操作和后处理操作(即步骤S22和步骤S24)进行相应调整，以满足实际操作需求，此类处理技术应为本领域技术人员所熟知，在此不予赘述。
第三实施例
图5A至图5D示出了本发明第三实施例的坏例识别方法的流程示意图，其显示了图4所示步骤S25的细部处理流程示例。
于本实施例中，多策略叠加模型包括基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略中的至少两个。以下将结合附图详细说明分别利用上述三个坏例分析策略以基于至少一第二识别结果分析第一识别结果，获得各坏例分析策略对应的各中间分析结果的具体流程。
如图5A所示，本发明实施例的多策略叠加模型包括基于莱文斯坦距离的坏例分析策略，本发明实施例还包括以下步骤：
步骤S511，分别计算第一识别结果与各第二识别结果之间的莱文斯坦距离，生成待优化识别模型与各参考识别模型之间的多个莱文斯坦距离值。
具体而言，可提取第一识别结果中的第一字符串与各第二识别结果中的第二字符串，以基于第一字符串与各第二字符串，并列用公式(1)生成待优化识别模型与各参考识别模型之间的多个莱文斯坦距离值。
于本实施例中，公式(1)可表示为：
Figure BDA0002485072630000081
其中，leva,b表示字符串a，b的莱文斯坦距离(字符串a对应于第一字符串，字符串b对应于第二字符串)；leva,b(i,j)表示待优化识别模型与第j个参考识别模型针对第i个待识别样本所生成的第一识别结果(即字符串a)和第二识别结果(即字符串b)之间的莱文斯坦距离。
步骤S512，基于各莱文斯坦距离值，计算待优化识别模型与各参考识别模型之间的莱文斯坦比。
于本实施例中，利用公式(2)计算待优化识别模型与各参考识别模型之间的莱文斯坦比，上述公式(2)表示为：
Figure BDA0002485072630000091
其中，ra,b表示字符串a，b之间的莱文斯坦比(即待优化识别模型与一个参考识别模型之间的莱文斯坦比)；suma,b表示字符串a，b的总长度。
利用上述公式(2)可以依次获得待优化识别模型与各个参考识别模型之间的莱文斯坦比，并基于所获得的各莱文斯坦比，生成莱文斯坦比集合，其表示为：r＝{r1,r2…rn}，其中，n表示参考识别模型的个数。
步骤S513，根据各参考识别模型对应的各预设模型权重参数以及所生成的各莱文斯坦比，获得基于莱文斯坦距离的坏例分析策略的第一中间分析结果。
于本实施例中，可利用公式(3)获得上述第一中间分析结果，上述公式(3)表示为：
Figure BDA0002485072630000092
其中，pi,1表示利用基于莱文斯坦距离的坏例分析策略针对第i个待识别样本生成的第一中间分析结果；ri,j表示待优化识别模型与第j个参考识别模型针对第i个待识别样本生成的第一识别结果与第二识别结果之间的莱文斯坦比例值；w1j表示第j个参考识别模型对应的预设模型权重参数；m表示待识别样本的总个数；n表示参考识别模型的总个数。
于一实施例中，针对上述预设模型权重参数的设定过程例如为：在当使用者针对各参考识别模型的性能不甚了解时，可将各参考识别模型的预设模型权重参数的初始值设定为相同，之后，随着使用者对于各参考识别模型的性能了解逐渐加深，可根据实际使用需求而调整各参考识别模型的预设模型权重参数，例如，识别准确率高的参考识别模型对应的预设模型权重参数也相对较高，反之亦然。
请配合参考图4，于本发明实施例中，根据图4所示的待优化识别模型和四个参考识别模型针对待识别样本名称为“11-12-20-14-31-441-7eff39f31234a0aac91d8509cbfd50f4.jpg”的待识别样本所生成的一个第一识别结果与四个第二识别结果，可以得到第一中间分析结果pi,1为0.435，其中，当pi,1值越接近于1，代表待优化识别模型识别的待识别样本为坏例的可能性越高，反之，当pi,1值越接近于0，则代表待优化识别模型识别的待识别样本为坏例的可能性越低。
如图5B所示，本发明实施例的多策略叠加模型包括基于关键词的坏例分析策略，本发明实施例还包括以下步骤：
步骤S521，提取第一识别结果中包含的第一关键词与各第二识别结果中包含的各第二关键词。
于本发明实施例中，可利用jieba第三方库提取第一识别结果中包含的第一关键词与各第二识别结果中包含的各第二关键词，但并不以为限，也可利用其它方式执行上述关键词的提取操作，本发明对此不作限制。
步骤S522，基于第一关键词与各第二关键词，获得基于关键词的坏例分析策略的第二中间分析结果。
于本实施例中，利用公式(4)获得第二中间分析结果，上述公式(4)表示为：
Figure BDA0002485072630000101
其中，所述pi,2表示利用基于关键词的坏例分析策略，针对第i个待识别样本生成的第二中间分析结果；Ai表示待优化识别模型针对第i个待识别样本生成的第一识别结果中的第一关键词；Bi表示各参考识别模型针对第i个待识别样本生成的各第二识别结果中的各第二关键词的并集。
举例来说，假设某一待识别样本在待优化识别模型生成的第一识别结果中提取的关键词为“星期天”，在第一参考识别模型生成的第二识别结果中提取的关键词为“你好”，在第二参考识别模型生成的另一个第二识别结果中提取的关键词为“星期天”，而在第三参考识别模型生成的又一个第二识别结果中提取的关键词为“晴天”，则Ai＝{“星期天”}，Bi＝{“你好”，“星期天”，“晴天”}，因此，card(Ai∩Bi)＝1，card(Bi)＝3，
Figure BDA0002485072630000111
于本发明实施例中，根据图4所示的待优化识别模型和四个参考识别模型针对待识别样本名称为“11-12-20-14-31-441-7eff39f31234a0aac91d8509cbfd50f4.jpg”的待识别样本所生成的一个第一识别结果与四个第二识别结果，可以得到第二中间分析结果pi,2为0.696，同样的，当pi,2值越接近于1，代表待优化识别模型识别的待识别样本为坏例的可能性越高，反之，当pi,2值越接近于0，则代表待优化识别模型识别的待识别样本为坏例的可能性越低。
如图5C所示，本发明实施例的多策略叠加模型包括基于字符串长度的坏例分析策略，本发明实施例还包括以下步骤：
步骤S531，分析第一识别结果的第一字符串长度以及各第二识别结果对应的各第二字符串长度。
于本实施例中，可利用各种现有技术计算第一识别结果的第一字符串长度以及各第二识别结果对应的各第二字符串长度，本发明对此不作限制。
步骤S532，基于第一字符串长度与各第二字符串长度，获得基于字符串长度的坏例分析策略的第三中间分析结果。
于本实施例中，可利用公式(5)获得上述第三中间分析结果，公式(5)可表示为：
Figure BDA0002485072630000112
其中，所述pi,3表示利用基于字符串长度的坏例分析策略，针对第i个待识别样本生成的第三中间分析结果；li表示待优化识别模型针对第i个待识别样本生成的第一识别结果所对应的第一字符串长度；avg表示计算平均值；li,j表示第j个参考识别模型针对第i个待识别样本生成的第二识别结果所对应的第二字符串长度；m表示待识别样本的总个数；n表示参考识别模型的总个数。
于本发明实施例中，根据图4所示的待优化识别模型和四个参考识别模型针对待识别样本名称为“11-12-20-14-31-441-7eff39f31234a0aac91d8509cbfd50f4.jpg”的待识别样本所生成的一个第一识别结果与四个第二识别结果，可以得到第三中间分析结果pi,3为0.132，同样的，当pi,3值越接近于1，代表待优化识别模型识别的待识别样本为坏例的可能性越高，反之，当pi,3值越接近于0，则代表待优化识别模型识别的待识别样本为坏例的可能性越低。
再者，在利用多策略叠加模型中的各坏例分析策略生成了各中间分析结果之后，即可根据预设算法综合分析各中间分析结果，从而最终获得待优化识别模型识别的待识别样本是否为坏例的坏例识别结果。
如图5D所示，于本发明实施例中，在获得步骤S513的第一中间分析结果，步骤S522的第二中间分析结果以及步骤S532的第三中间分析结果之后，可继续执行步骤S541，获取各坏例分析策略对应的各预设策略权重参数。
于本实施例中，可根据识别任务(例如图像识别、语音识别、语义识别等)的不同类型，而生成各坏例分析策略对应的各预设策略权重参数。
可选的，所述预设策略权重参数可以由系统根据预设需求而自动生成，也可由人工输入来生成，本发明对此不作限定。
步骤S542，根据各坏例分析策略对应的各预设策略权重参数及各中间分析结果，生成待优化识别模型识别的待识别样本是否为坏例的坏例识别结果。
于本实施例中，可利用公式(6)获得上述坏例识别结果，上述公式(6)可表示为：
Figure BDA0002485072630000121
其中，Pi表示待优化识别模型识别的第i个待识别样本是否为坏例的坏例识别结果；pi,j表示第j个坏例分析策略对应的中间分析结果(例如上述第一中间分析结果、第二中间分析结果和第三中间分析结果)；w2j表示第j个坏例分析策略对应的预设策略权重参数；n表示待识别样本的总个数，m表示坏例分析策略的总个数。
承上所述，于本发明实施例中，根据上述第一中间分析结果，即pi,1等于0.435，第二中间分析结果，即pi,2等于0.696，和第三中间分析结果，即pi,3等于0.132，可以计算出最终的坏例识别结果Pi等于0.801。同理，当Pi值越接近于1，代表待优化识别模型识别的待识别样本为坏例的可能性越高，反之，当Pi值越接近于0，则代表待优化识别模型识别的待识别样本为坏例的可能性越低。
由上可知，本发明实施例利用多策略叠加的方式最大程度的提升了坏例识别的准确度。同时，还可以根据实际操作要求而选择所需的坏例分析策略和参考识别模型，并可任意调整各坏例分析策略对应的预设策略权重参数以及各参考识别模型对应的各预设模型权重参数，以满足不同客制化需求，具有灵活度高且应用范围广泛的优点。
第四实施例
图6示出了本发明第四实施例的模型优化方法的流程示意图，如图所示，本发明实施例的模型优化方法主要包括以下步骤：
步骤S61，获取多个待识别样本以训练待优化识别模型。
步骤S62，利用上述第一实施例、第二实施例、第三实施例中的任意一个所述的坏例识别方法，获得待优化识别模型识别的各待识别样本是否为坏例的多个坏例识别结果。
步骤S63，基于多个坏例识别结果，优化待优化识别模型。
具体而言，根据步骤S62生成的多个坏例识别结果，可以获知待优化识别模型识别的各个待识别样本中哪些是坏例，并据以针对待优化识别模型执行相应的优化调整。
综上所述，本发明实施例所提供的模型优化方法是在前述坏例识别方法的基础上实现的，由于坏例识别的准确率提高了，因此，在此基础上实现的模型优化方法亦可有效提高模型优化的处理效率，降低了模型的训练成本。
第五实施例
本发明第五实施例提供了一种计算机存储介质，于计算机存储介质中存储有用于执行上述第一实施例至第三实施例中的坏例识别方法的各步骤的指令。
第六实施例
本发明第六实施例提供了一种计算机存储介质，于计算机存储介质中存储有用于执行上述第四实施例中的模型优化方法的各步骤的指令。
第七实施例
请参阅图7，本发明第七实施例提供了一种坏例识别装置700，其主要包括：识别模块710和多策略叠加模型720。
识别模块710用于利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得所述待优化模型对应的第一识别结果和所述至少一参考识别模型对应的至少一第二识别结果。
多策略叠加模型720用于利用至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果，并根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
可选的，所述多策略叠加模型包括以下坏例分析策略中的至少两个：基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略。
可选的，待优化识别模型和至少一参考识别模型具有下列所述识别能力中的任意一个：图像识别能力、语音识别能力、语义识别能力。
此外，本实施例的坏例识别装置700还可用于实现前述第一实施例至第三实施例所述的坏例识别方法中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
第八实施例
请参阅图8，本发明第八实施例提供了一种模型优化装置800，其主要包括：模型训练模块810和模型优化模块820。
模型训练模块810用于获取多个待识别样本以训练待优化识别模型，并利用上述第七实施例所述的坏例识别装置，获得待优化识别模型识别的各待识别样本是否为坏例的多个坏例识别结果。
模型优化模块820用于基于多个坏例识别结果，优化待优化识别模型。
此外，本实施例的模型优化装置800还可用于实现前述第一实施例至第三实施例所述的坏例识别方法中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
借由上述手段，本发明实施例通过将待优化识别模型的识别结果与参考识别模型的识别结果进行对比的方式完成坏例识别，而不需依赖于任何形式的数据标注。
此外，利用多策略叠加方式可以提高坏例识别的准确度，且可根据实际操作需求，任意调整各坏例分析策略的策略权重参数以及各参考识别模型的模型权重参数，可以满足不同的客制化需求。
再者，针对待识别样本所执行的预处理操作以及后处理操作，可以进一步提高后续坏例识别的准确性。
另外，基于本发明实施例提供坏例识别技术所实现的模型优化技术，由于坏例识别的准确率得到了极大的提升，因此，模型优化训练的工作效率也相应得到了提升，并降低了模型的训练成本。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的坏例识别及其模型优化方法。此外，当通用计算机访问用于实现在此示出的坏例识别及其模型优化方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的坏例识别及其模型优化方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (16)

1.一种坏例识别方法，其特征在于，所述方法包括：
利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得所述待优化模型的第一识别结果和所述至少一参考识别模型的至少一第二识别结果；以及
利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果，并根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
2.根据权利要求1所述的坏例识别方法，其特征在于，所述待优化识别模型和所述至少一参考识别模型分别具有图像识别能力，用于识别所述待识别样本中的图像信息，并将所述图像信息转换为文本信息。
3.根据权利要求2所述的坏例识别方法，其特征在于，在所述利用具有相同识别能力的待优化识别模型和至少一参考识别模型分别针对待识别样本进行识别分析的步骤之前，所述方法还包括针对所述待识别样本执行图片正位的预处理操作。
4.根据权利要求2所述的坏例识别方法，其特征在于，在所述获得所述待优化模型的第一识别结果和所述至少一参考识别模型的至少一第二识别结果的步骤之后，且在所述利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果的步骤之前，所述方法还包括针对所述第一识别结果和所述第二识别结果分别执行非关键噪点因素去除的后处理操作。
5.根据权利要求2所述的坏例识别方法，其特征在于，所述多策略叠加模型包括基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略中的至少两个。
6.根据权利要求5所述的坏例识别方法，其特征在于，所述多策略叠加模型包括所述基于莱文斯坦距离的坏例分析策略，所述利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果包括：
分别计算所述第一识别结果与各所述第二识别结果之间的莱文斯坦距离，生成所述待优化识别模型与各所述参考识别模型之间的多个莱文斯坦距离值；
基于各所述莱文斯坦距离值，计算所述待优化识别模型与各所述参考识别模型之间的莱文斯坦比；以及
根据各所述参考识别模型的预设模型权重参数以及所述莱文斯坦比，获得所述基于莱文斯坦距离的坏例分析策略的第一中间分析结果。
7.根据权利要求5所述的坏例识别方法，其特征在于，所述多策略叠加模型包括所述基于关键词的坏例分析策略，所述利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果包括：
提取所述第一识别结果中的第一关键词与各所述第二识别结果中的各第二关键词；
基于所述第一关键词与各所述第二关键词，获得所述基于关键词的坏例分析策略的第二中间分析结果。
8.根据权利要求5所述的坏例识别方法，其特征在于，所述多策略叠加模型包括所述基于字符串长度的坏例分析策略，所述利用多策略叠加模型中的至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果包括：
获得所述第一识别结果的第一字符串长度以及各所述第二识别结果对应的各第二字符串长度；
基于所述第一字符串长度与各所述第二字符串长度，获得所述基于字符串长度的坏例分析策略的第三中间分析结果。
9.根据权利要求1所述的坏例识别方法，其特征在于，所述根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果具体为：
根据各所述坏例分析策略对应的各预设策略权重参数及各所述中间分析结果，获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
10.根据权利要求1所述的坏例识别方法，其特征在于，
所述待优化识别模型和所述至少一参考识别模型分别具有语音识别能力，用于识别所述待识别样本中的语音信息，并将所述语音信息转换为文本信息；或者，
所述待优化识别模型和所述至少一参考识别模型分别具有语义识别能力，用于识别所述待识别样本中的图像信息和/或语音信息以生成语义识别结果。
11.一种模型优化方法，其特征在于，所述方法包括：
获取多个待识别样本以训练待优化识别模型；
利用权利要求1至10中任一项所述的坏例识别方法，获得所述待优化识别模型识别的各所述待识别样本是否为坏例的多个坏例识别结果；以及
基于所述多个坏例识别结果，优化所述待优化识别模型。
12.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行根据权利要求1至10中任一项所述的坏例识别方法的各所述步骤的指令；或所述计算机存储介质中存储有用于执行根据权利要求11所述的模型优化方法的各所述步骤的指令。
13.一种坏例识别装置，其特征在于，所述装置包括：
识别模块，用于利用具有相同识别能力的待优化识别模型和至少一参考识别模型针对待识别样本分别进行识别，获得所述待优化模型的第一识别结果和所述至少一参考识别模型的至少一第二识别结果；以及
多策略叠加模型，用于利用至少二坏例分析策略分别基于所述至少一第二识别结果分析所述第一识别结果，获得各所述坏例分析策略对应的各中间分析结果，并根据各所述中间分析结果获得所述待优化识别模型识别的所述待识别样本是否为坏例的坏例识别结果。
14.根据权利要求13所述的坏例识别装置，其特征在于，所述多策略叠加模型包括以下坏例分析策略中的至少两个：基于莱文斯坦距离的坏例分析策略、基于关键词的坏例分析策略、基于字符串长度的坏例分析策略。
15.根据权利要求13所述的坏例识别装置，其特征在于，所述待优化识别模型和所述至少一参考识别模型具有下列所述识别能力中的任意一个：图像识别能力、语音识别能力、语义识别能力。
16.一种模型优化装置，其特征在于，所述装置包括：
模型训练模块，用于获取多个待识别样本以训练待优化识别模型，并利用权利要求13至15中任一项所述的坏例识别装置，获得所述待优化识别模型识别的各所述待识别样本是否为坏例的多个坏例识别结果；以及
模型优化模块，用于基于所述多个坏例识别结果，优化所述待优化识别模型。
CN202010394801.6A 2020-05-09 2020-05-09 坏例识别及其模型优化方法、装置及计算机存储介质 Active CN111582193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394801.6A CN111582193B (zh) 2020-05-09 2020-05-09 坏例识别及其模型优化方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394801.6A CN111582193B (zh) 2020-05-09 2020-05-09 坏例识别及其模型优化方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111582193A true CN111582193A (zh) 2020-08-25
CN111582193B CN111582193B (zh) 2022-09-23

Family

ID=72117370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394801.6A Active CN111582193B (zh) 2020-05-09 2020-05-09 坏例识别及其模型优化方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111582193B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114678012A (zh) * 2022-02-18 2022-06-28 青岛海尔科技有限公司 语音交互数据的处理方法和装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577464A (zh) * 2012-08-02 2014-02-12 百度在线网络技术（北京）有限公司 一种搜索引擎坏例的挖掘方法和装置
CN104077555A (zh) * 2013-03-29 2014-10-01 百度在线网络技术（北京）有限公司 一种识别图片搜索中坏例的方法和装置
CN107291774A (zh) * 2016-04-11 2017-10-24 北京京东尚科信息技术有限公司 错误样本识别方法和装置
US20180322370A1 (en) * 2017-05-05 2018-11-08 Baidu Online Network Technology (Beijing) Co., Ltd . Method and apparatus of discovering bad case based on artificial intelligence, device and storage medium
CN111027707A (zh) * 2019-11-22 2020-04-17 北京金山云网络技术有限公司 模型的优化方法、装置及电子设备
CN111046979A (zh) * 2020-03-13 2020-04-21 成都晓多科技有限公司 一种基于小样本学习的badcase发现方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577464A (zh) * 2012-08-02 2014-02-12 百度在线网络技术（北京）有限公司 一种搜索引擎坏例的挖掘方法和装置
CN104077555A (zh) * 2013-03-29 2014-10-01 百度在线网络技术（北京）有限公司 一种识别图片搜索中坏例的方法和装置
CN107291774A (zh) * 2016-04-11 2017-10-24 北京京东尚科信息技术有限公司 错误样本识别方法和装置
US20180322370A1 (en) * 2017-05-05 2018-11-08 Baidu Online Network Technology (Beijing) Co., Ltd . Method and apparatus of discovering bad case based on artificial intelligence, device and storage medium
CN111027707A (zh) * 2019-11-22 2020-04-17 北京金山云网络技术有限公司 模型的优化方法、装置及电子设备
CN111046979A (zh) * 2020-03-13 2020-04-21 成都晓多科技有限公司 一种基于小样本学习的badcase发现方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114678012A (zh) * 2022-02-18 2022-06-28 青岛海尔科技有限公司 语音交互数据的处理方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN111582193B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN113220919B (zh) 一种大坝缺陷图像文本跨模态检索方法及模型
US9141853B1 (en) System and method for extracting information from documents
CN111160343B (zh) 一种基于Self-Attention的离线数学公式符号识别方法
CN112633003B (zh) 一种地址识别方法、装置、计算机设备及存储介质
CN112732871B (zh) 一种机器人催收获取客户意向标签的多标签分类方法
CN109033060B (zh) 一种信息对齐方法、装置、设备及可读存储介质
WO2016119604A1 (zh) 一种语音信息搜索方法、装置及服务器
CN112487812A (zh) 一种基于边界识别的嵌套实体识别方法及系统
CN109461431B (zh) 应用于基础音乐视唱教育的视唱错误曲谱标注方法
CN112836702B (zh) 一种基于多尺度特征提取的文本识别方法
CN114187595A (zh) 基于视觉特征和语义特征融合的文档布局识别方法及系统
CN110795942B (zh) 基于语义识别的关键词确定方法、装置和存储介质
CN116150651A (zh) 基于ai的深度合成检测方法和系统
CN114220179A (zh) 一种基于faiss的在线手写签名笔迹检索方法和系统
CN111582193B (zh) 坏例识别及其模型优化方法、装置及计算机存储介质
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及系统
CN112989839A (zh) 一种基于关键词特征嵌入语言模型的意图识别方法及系统
CN115240179A (zh) 一种票据的文本分类方法及系统
TWI757767B (zh) 自動產生裁判要旨的方法
CN114756617A (zh) 一种工程档案结构化数据提取方法、系统、设备和存介质
CN114283429A (zh) 素材工单数据处理方法、装置、设备及存储介质
CN114048750A (zh) 一种融合信息高级特征的命名实体识别方法
CN110210546B (zh) 一种基于图像处理的书籍自动归类方法
CN111949768B (zh) 一种文件分类方法
CN116579317B (zh) 一种基于ai内容自动生成出版物的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant