CN110110123A - 检测模型的训练集更新方法和装置 - Google Patents

检测模型的训练集更新方法和装置 Download PDF

Info

Publication number
CN110110123A
CN110110123A CN201910270005.9A CN201910270005A CN110110123A CN 110110123 A CN110110123 A CN 110110123A CN 201910270005 A CN201910270005 A CN 201910270005A CN 110110123 A CN110110123 A CN 110110123A
Authority
CN
China
Prior art keywords
field picture
detection
aiming field
mark
aiming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910270005.9A
Other languages
English (en)
Other versions
CN110110123B (zh
Inventor
许洋
刘鹏
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910270005.9A priority Critical patent/CN110110123B/zh
Publication of CN110110123A publication Critical patent/CN110110123A/zh
Application granted granted Critical
Publication of CN110110123B publication Critical patent/CN110110123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1475Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据更新的技术领域,本发明提供一种检测模型的训练集更新方法和装置,所述方法包括获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;将所述修正过的目标字段图片更新到检测模型的训练集。本发明能提高检测模型的检测能力。

Description

检测模型的训练集更新方法和装置
技术领域
本发明涉及数据更新的技术领域,具体而言,本发明涉及一种检测模型的训练集更新方法和装置。
背景技术
在字段检测的领域中,为了对提高字段检测的精准度和效率,通常对字段检测模型进行优化。目前,尤其是对包含多个字段的检测,相应的字段检测模型的优化方案将字段检测的认为平摊至两个字段检测模型上执行,虽然检测效果比只在一个字段检测模型执行的效果要好,但其所占用的服务器资源会增加。
发明内容
为克服以上技术问题,特别是现有技术的检测模型检测速度慢或占用服务器大量资源的问题,特提出以下技术方案:
第一方面,本发明提供一种检测模型的训练集更新方法,包括以下步骤:
获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;
依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;
利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;
接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;
将所述修正过的目标字段图片更新到检测模型的训练集。
在其中一个实施例中,在所述利用众包平台识别所述目标字段图片的检测框是否错位,并进行错位标注的步骤之前,还包括:
将所述目标字段图片发送至众包平台,并得到所述众包平台的标注用户对所述目标字段图片的字段内容的语义进行判断;
根据判断的结果,得到所述字段内容的类别,并进行类别标注。
在其中一个实施例中,在所述得到目标字段图片的步骤之后,还包括:
根据所述字段检测算法对所述目标字段图片进行类别识别;
在所述根据判断的结果,得到所述字段内容的类别,并进行类别标注的步骤之后,还包括:
将所述类别识别的结果与所述类别标注的结果进行对比;
若对比的结果不同,则标注为类别识别错误,对对应的目标字段图片进行丢弃。
在其中一个实施例中,所述利用众包平台识别所述目标字段图片的检测框是否错位,并进行错位标注的步骤包括:
所述对比的结果相同,则根据将所述目标字段图片分配至所述众包平台的标注用户进行识别;
根据识别的结果,判断对所述目标字段图片的第二检测框是否错位;
若所述检测框错位,进行错位标注。
在其中一个实施例中,所述检测模型的训练集更新方法还包括:
若所述标注用户没有对所述目标字段图片进行修正,将对应的目标字段图片进行丢弃。
在其中一个实施例中,所述获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框的步骤包括:
获取样本图片,以检测模型的训练集的字段数据为依据,根据字段检测算法将所述样本图片分成不同字段构成的各个字段区域;
根据各个字段区域的边界,各自标注对应的第一检测框。
在其中一个实施例中,所述将所述修正过的目标字段图片更新到检测模型的训练集的步骤包括:
将所述修正过的目标字段图片的保存;
定期获取经过修正的目标字段图片,对所述训练集进行更新。
第二方面,本发明还提供一种检测模型的训练集更新装置,其包括:
区域标注模块,用于获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;
裁剪模块,用于依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;
错位标注模块,用于利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;
修正模块,用于接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;
更新模块,用于将所述修正过的目标字段图片更新到检测模型的训练集。
第三方面,本发明还提供一种服务器,其包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个计算机程序配置用于执行第一方面任一实施例所述的检测模型的训练集更新方法。
第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现第一方面任一实施例所述的检测模型的训练集更新方法。
本发明所提供的一种检测模型的训练集更新方法和装置,利用所述众包平台对样本图片处理后形成的目标字段图片进行识别并得到对应的修正结果,最终完成对检测模型进行更新的目的。这样,结合所述众包平台对检测模型进行更新,可以避免使用两个检测模型增加服务器资源的情况,或者是现有仅仅使用一个检测模型延长了整体样本图片的识别时间,在较短的时间内完成对样本图片的检测,且可以利用所述众包平台的标注用户的修正结果,对目标字段图片进行及时的更正,以提高对所述检测模型的更新的准确性和速度。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明中的一个实施例的检测模型的训练集更新方法的流程图;
图2为本发明中的另一个实施例的检测模型的训练集更新方法的流程图;
图3为本发明中的所述检测模型的训练集更新方法的一个具体实施例流程图;
图4为本发明中的一个实施例的检测模型的训练集更新装置的示意图;
图5为本发明中的一个实施例的服务器的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
为了解决目前字段检测方法占用服务器资源的问题,本发明提供了一种检测模型的训练集更新方法,请参考图1所示,图1是一个实施例的检测模型的训练集更新方法的流程图,包括以下步骤:
S110、获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框。
从实际生产的过程中获取样本图片,其中,所述样本图片需进行字段识别检测。所述样本图片可以是包括少数或单独的字段内容的图片,也可以是关于一份文件的内容的图片。
根据所述检测模型的训练集中关于已识别的字段图片和对应的识别结果,运用字段检测算法将所述样本图片与所述已识别的字段图片进行比较,对所述样本图片中识别出相应的字段区域,并对得到的每个单独的字段区域加设检测框,以方便后续进行单个字段区域中的字段内容进行检测。对于该步骤所设置的检测框,定义为第一检测框。所述第一检测框设置在单个字段区域的边界或该边界以外,确保对应字段区域中字段内容的完整性。
S120、依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片。
为了确保所述第一检测框内的字段区域不被裁剪掉,对所述第一检测框进行扩张。具体的是在所述第一检测框的边缘的基础上按照设定的比例向其四周进行扩张,以此增加所述字段内容四周的边缘空间,以此进一步确保对应字段区域中字段内容的完整性。同时,将该扩张得到所述第二检测框的字段图片确认为目标字段图片。
S130、利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注。
即使是目标字段图片是对照所述检测模型的训练集得到的识别结果,但鉴于字段区域中不同的连续的文字组合可以形成不同的含义的字段内容,若“语料”和“语料库”这两个词均可构成一个完整的字段,分别可独立形成一完整的字段图片。若在步骤S110的字段检测算法中均识别到“语料”,而没有识别到“语料库”,相应的,会影响到后续的字段内容的识别。也可能存在这一情况,若所述样本图片中连续的几个文字所组成的字段没有任何含义,所述训练集中原来的训练数据没有相关的内容收录,对所述字段区域的识别会造成一定的偏差,因而影响所述字段区域的边界的设定,最终影响第一检测框和第二检测框的边界设定。
或者,可能会因为获取所述样本图片时所设定的字段区域有所偏移,或者是在加设所述第一检测框时没有完全在所述字段区域以外设置,从而影响第一检测框和第二检测框的边界设定。
上述的几种情况均会造成目标字段图片的所述第二检测框的错位,使得所述待识别的字段内容有误,对识别的结果造成影响。
在本实施例中,利用众包平台所述目标字段图片中的字段内容的表达方式或是含义进行识别,将其与通常的表达方式对比,确认目标字段图片中的字段内容是否有误。如果从所述众包平台上得到的结论为有误,则判断所述目标字段图片的所述第二检测框错位,并对该目标字段图片进行错位标注,以便后续进行相应的处理。
S140、接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误。
在该步骤中,根据所述众包平台所返回的已识别的目标字段图片中,获取经过所述众包平台的标注用户进行错误标注并且进行修正的目标字段图片,得到修正的结果。
服务器根据针对目标字段图片的识别结果与修正的结果进行对比,确认两者至少存在表达方式和/或含义的差异,如识别的结果的编号长度与修正的结果的编号长度不同、两个结果所包括的文字或符号的个数不同等情况。根据上述对比的结果,确定所述字段检测算法存在错误。但对相关的训练数据更新之前,对相应的字段检测算法暂时禁用。
S150、将所述修正过的目标字段图片更新到检测模型的训练集。
根据在步骤S140所得到对所述目标字段图片的修正结果,对所述目标字段图片进行结果的更新,并保存至所述训练集中。同时,根据修正结果,对相应的字段检测算法进行修正,待修正完毕后,再对重新启用修正后字段检测算法,以便进一步完成对检测模型的训练集的更新。
在本发明所提供的检测模型的训练集更新方法,根据所述字段检测算法和训练集已有的训练数据得到字段区域,并对其进行所述第一检测框的标注和扩张为第二检测框,得到所述目标字段图片。并利用所述众包平台的标注用户的识别,对所述第一检测框和/或第二检测框存在错位的情况进行错位标注,根据所述错位标注对所述目标字段进行修正和确认所述字段检测算法存在错误的结论,根据修正的结果和存在错误的结论,对所述检测模型的训练集进行更新。本发明利用所述众包平台对样本图片处理后形成的目标字段图片进行识别并得到对应的修正结果,最终完成对检测模型进行更新的目的。这样,结合所述众包平台对检测模型进行更新,可以避免使用两个检测模型增加服务器资源的情况,或者是现有仅仅使用一个检测模型延长了整体样本图片的识别时间,在较短的时间内完成对样本图片的检测,且可以利用所述众包平台的标注用户的修正结果,对目标字段图片进行及时的更正,以提高对所述检测模型的更新的准确性和速度。
对于在步骤S130之前,也就是在所述利用众包平台识别所述目标字段图片的检测框是否错位,并进行错位标注的步骤之前,还包括:
S1、将所述目标字段图片发送至众包平台,并得到所述众包平台的标注用户对所述目标字段图片的字段内容的语义进行判断;
S2、根据判断的结果,得到所述字段内容的类别,并进行类别标注。
具体地,先将目标字段图片发送至所述众包平台上,由所述众包平台上的标注用户对所述目标字段图片中的字段内容进行语义判断,得到关于所述字段内容的含义,并根据该含义的判断得到所述字段内容的类别,如所述字段内容是数字,其是表达的是日期还是编号;如果所述字段内容是文字内容,其表达的是某专业定义还是属于程序词汇,具体的类别可以根据所述检测模型的具体识别领域进行分类确定。
根据所述众包平台的标注用户对所述字段内容的分类,进行相应的类别标注,以识别得到所述目标字段图片所属的类别,便于后续针对其做进一步数据处理。
对于在步骤S120的所述得到目标字段图片的步骤之后,还包括:根据所述字段检测算法对所述目标字段图片进行类别识别;
在此基础上,在上述步骤S2之后,还包括:
S3、将所述类别识别的结果与所述类别标注的结果进行对比;
S4、若对比的结果不同,则标注为类别识别错误,对对应的目标字段图片进行丢弃。
具体地,当得到所述目标字段图片后,服务器将其与根据所述检测模型的训练集中的训练数据对照,判断得到所述目标字段图片的字段内容所属的类别。
在所述目标字段图片的字段内容的类别识别的基础上,将其与所述众包平台的标注用户对所述目标字段图片的字段内容的类别标注结果进行对比,得到两者对类别的结果是否相同,并依此决定后续对所述目标字段图片进一步的数据处理方式。
如果得到两者对类别的判断结果不同,判定为所述字段检测算法对所述目标字段图片的类别识别是错误的。如所述目标字段图片为“年月日”形式的日期类别,但如果字段检测算法将该目标字段图片识别为其他类别。这时,对该目标字段图片进行丢弃,不再继续做进一步的修正、保存等数据处理,以确保所述检测模型的准确性。
相对地,若所述对比的结果相同,则执行步骤S130,其具体步骤包括:
S131、所述对比的结果相同,则根据将所述目标字段图片分配至所述众包平台的标注用户进行识别;
S132、根据识别的结果,判断对所述目标字段图片的第二检测框是否错位;
S133、若所述检测框错位,进行错位标注。
对于步骤S131-S133,根据字段检测算法对所述目标字段内容得到的关于类别的识别结果和利用所述众包平台得到的标注结果是相同的,此时,判定为所述字段检测算法对所述目标字段图片的类别识别是正确的,可对所述目标字段图片作进一步的数据处理。在本实施例中,将所述目标字段图片分配给所述众包平台的标注用户对其字段内容进行识别,判断所述目标字段图片中是否能以所述目标字段图片对应的表达方式和/或含义,完整显示对应的字段内容。如果是,则判断所述目标字段图片的第二检测框没有错位;否则,判断所述目标字段图片的第二检测框为错位,并对该目标字段图片进行错位标注,以此确认该目标字段图片存在错位的问题,需要后续进行进一步优化处理,以确保所述检测模型的训练集的数据的准确性。
对于上述的目标字段图片的处理过程,参照图2,图2是是另一个实施例的检测模型的训练集更新发的流程图。
对于与步骤S140并列的情况:若所述标注用户没有对所述目标字段图片进行修正,将对应的目标字段图片进行丢弃。
在本实施例中,对于所述众包平台对所述目标字段图片的识别结果和修正结果均服务器定期进行接收。但对于所述目标字段图片不一定在能马上被识别和/或进行修正,根据对于错位标注的目标字段图片的修正时间另外设定一个待修正时间。为了防止错位标注的目标字段图片做早被丢弃,该待修正时间长于相邻两次服务器接收识别结果和修正结果的时间。对于每个错位标注的目标字段图片,自其被错位标注起开始计算所述待修正时间,当超过该待修正时间时,所述目标字段图片仍未被所述标注用户进行修正,将该目标字段图片进行丢弃,确保待修正的目标字段图片能得到尽快更新,保证本发明的提供的检测模型的训练集更新的效率。
对于步骤S110,还可进一步包括:
A1、获取样本图片,以检测模型的训练集的字段数据为依据,根据字段检测算法将所述样本图片分成不同字段构成的各个字段区域;
A2、根据各个字段区域的边界,各自标注对应的第一检测框。
对于步骤A1-A2,对于所述样本图片可分为多个单独的字段图片,如其为一份文件的内容的图片。
为了信息的安全性,将其利用所述众包平台进行识别和标注之前,需要将进行碎片化处理,即将分成不同字段,单个字段构成一个字段区域,一个字段区域经过第一检测框和第二检测框的标注后,形成各自的目标字段图片。将所述样本图片分成多个字段是以当前检测模型的训练集的字段数据作为依据,对所述样本图片中的字段内容进行遍历识别,根据字段检测算法对所述样本图片中的内容分解成不同的字段,单独一个字段构成各自的字段区域。根据各个字段区域的边界,在所述边界的范围外标注对应的第一检测框,初步形成字段图片,以便后续进行进一步处理和识别。
对于步骤S150,可以进一步包括:
B1、将所述修正过的目标字段图片的保存;
B2、定期获取经过修正的目标字段图片,对所述训练集进行更新。
对于步骤B1-B2,将进行修正过的目标字段图片进行保存。在本实施例中,对未发送至所述检测模型且修正过的目标字段图片进行未发送标注,以便将其与已发送至所述检测模型的目标字段图片进行区分,避免重复发送。
对于进行未发送标注的目标字段图片,服务器进行定期获取。在这之前,若进行未发送标注的目标字段图片的容量超过设定容量值,将行未发送标注的目标字段图片进行压缩,再向所述检测模型传送,这样便于所述目标字段图片的数据传送。当所述检测模型接收到所述目标字段图片的数据后,则检测所接收的数据的格式,判断该数据是否为压缩格式。若是,则先进行解压后,再收录至所述检测模型的训练集中;否则,直接收录至所述检测模型的训练集中,作为所述检测模型的训练数据,对所述检测模型的训练集的数据进行更新。利用更新后的训练集对后续新产生的样本图片进行数据识别和数据标注。
为了从根源上提高所述检测模型的检测能力,在本实施例中,可根据修正过的目标字段图片对造成其错误的所述字段检测算法进行修正。例如,获取样本图片时,对编号类型的原有字段检测算法,只将编号识别为连续的数字,但根据所述众包平台的标注用户进行的判断结果为所述编号可包括连续若干的数字和字母的组成,也可单独字母或数字的组成。根据所述判断结果,对原有判断编号的字段检测算法进行修正,并更新至所述检测模型中。
由于所述检测模型根据对所获取样本的语义判断进行错位识别和类别识别,并根据识别的结果进行修正,并返回数据,对所述检测模型的训练集进行更新,使得所述检测模型的检测能力得到不断的优化,实现提高检测能力的效果。
参考图3,图3为本发明中的所述检测模型的训练集更新方法的一个具体实施例流程图。对于上述技术方案,以所述检测模型对一样本图像进行检测,将所述数据更新至所述检测模型的过程进行具体说明:
S301、获取样本图片,并根据所述检测模型的训练集对所述样本图片作碎片化处理,得到若干个字段内容的图片;
S302、根据字段检测算法对标注,得到第一检测框;
S303、对所述第一检测框进行设定比例的扩张,得到所述第二检测框,并根据所述第二检测框进行裁剪得到目标字段图片;
S304、根据所述目标字段图片发送至所述众包平台,得到所述目标字段图片的字段内容的语义判断,并进行类别标注;
S305、根据所述字段检测算法对所述目标字段图片进行类别识别,得到识别的结果;
S306、将该关于类别的识别结果与类别标注进行对比,判断两者是否一致;如果是,则转至步骤S307;否则,则转至步骤S308;
S307、利用所述众包平台识别所述目标字段图片的第二检测框是否错位;如果是,则转至步骤S309;
S308、将所述目标字段图片进行丢弃;
S309、利用众包平台对该所述目标字段图片进行修正;如果修正时间超出了设定时长,则转至步骤S311;
S310、将修正过的目标字段图片对所述检测模型中的训练集进行更新
S311、将所述目标字段图片进行丢弃。
在本发明中提供的一种检测模型的训练集更新方法,利用所述众包平台对所述目标字段图片进行类别识别和错位识别,并进行错位标注并相应的修正,以修正过的目标字段图片对所述检测模型中的训练集进行更新。基于与上述检测模型的训练集更新方法相同的发明构思,本发明实施例还提供了一种检测模型的训练集更新装置,如图4所示,包括:
区域标注模块410,用于获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;
裁剪模块420,用于依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;
错位标注模块430,用于利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;
修正模块440,用于接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;
更新模块450,用于将所述修正过的目标字段图片更新到检测模型的训练集。
请参考图5,图5为一个实施例中服务器的内部结构示意图。如图5所示,该服务器包括通过系统总线连接的处理器510、存储介质520、存储器530和网络接口540。其中,该服务器的存储介质520存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器510执行时,可使得处理器510实现一种检测模型的训练集更新方法,处理器510能实现图4所示实施例中的一种检测模型的训练集更新装置中的区域标注模块410、裁剪模块420、错位标注模块430、修正模型440和更新模型450的功能。该服务器的处理器510用于提供计算和控制能力,支撑整个服务器的运行。该服务器的存储器530中可存储有计算机可读指令,该计算机可读指令被处理器510执行时,可使得处理器510执行一种检测模型的训练集更新方法。该服务器的网络接口540用于与终端连接通信。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本发明还提出了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤:获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;将所述修正过的目标字段图片更新到检测模型的训练集。
综合上述实施例可知,本发明最大的有益效果在于:
本发明所提供的一种检测模型的训练集更新方法和装置,通过众包平台识别目标字段图片的第二检测框是否错位并进行错位标注,根据所述错位标注,对所述目标字段图片进行修正,并将修正过的目标字段更新至所述检测模型的训练集中。本发明利用了所述众包平台的标注用户对目标字段图片进行标注和识别,可实现在较短时间内对所述样本图片完成识别和检测;且利用所述众包平台得到的修正结果,能提高对目标字段图片检测的准确性和速度,从而能快速完成对所述检测模型的更新,并保证了检测模型的检测能力。
本发明在上述基础上提供了一优化方案,根据所述众包平台的标注用户对所述目标字段图片的字段内容的语义进行判断并进行类别标注,以便后续针对其做进一步数据处理。进一步地,将所述类别标注与利用所述字段检测算法对所述目标字段图片的类别识别进行对比,根据两者的结果是否相同,可快速判断是否需要对所述目标字段图片进行进一步的数据处理。如是否需要对所述目标字段图片进行进一步修正;或者是放弃修正,进行丢弃。
本发明还进一步提供了一优化方案,对于所述样本图片可分为多个单独的字段图片,如其为一份文件的内容的图片时,在利用所述众包平台进行识别和标注之前,对所述样本图片进行碎片化处理。这样,保证资料的安全保密性的同时,也可利用所述众包平台在短时间内能对大量数据进行数据标注的优点。
综上,本发明检测模型的训练集更新方法和装置,通过对所述众包平台的使用,避免了现有技术中为使用两个检测模型增加服务器资源的情况,或者是现有仅仅使用一个检测模型延长了整体样本图片的识别时间的问题。最终实现可利用众包平台完成生产中所产生的大量字段数据的标注和识别,并对所述检测模型进行快速更新的方案。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种检测模型的训练集更新方法,其特征在于,包括以下步骤:
获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;
依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;
利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;
接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;
将所述修正过的目标字段图片更新到检测模型的训练集。
2.根据权利要求1所述的方法,其特征在于,
在所述利用众包平台识别所述目标字段图片的检测框是否错位,并进行错位标注的步骤之前,还包括:
将所述目标字段图片发送至众包平台,并得到所述众包平台的标注用户对所述目标字段图片的字段内容的语义进行判断;
根据判断的结果,得到所述字段内容的类别,并进行类别标注。
3.根据权利要求2所述的方法,其特征在于,在所述得到目标字段图片的步骤之后,还包括:
根据所述字段检测算法对所述目标字段图片进行类别识别;
在所述根据判断的结果,得到所述字段内容的类别,并进行类别标注的步骤之后,还包括:
将所述类别识别的结果与所述类别标注的结果进行对比;
若对比的结果不同,则标注为类别识别错误,对对应的目标字段图片进行丢弃。
4.根据权利要求3所述的方法,其特征在于,
所述利用众包平台识别所述目标字段图片的检测框是否错位,并进行错位标注的步骤包括:
所述对比的结果相同,则根据将所述目标字段图片分配至所述众包平台的标注用户进行识别;
根据识别的结果,判断对所述目标字段图片的第二检测框是否错位;
若所述检测框错位,进行错位标注。
5.根据权利要求4所述的方法,其特征在于,还包括:
若所述标注用户没有对所述目标字段图片进行修正,将对应的目标字段图片进行丢弃。
6.根据权利要求1所述的方法,其特征在于,
所述获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框的步骤包括:
获取样本图片,以检测模型的训练集的字段数据为依据,根据字段检测算法将所述样本图片分成不同字段构成的各个字段区域;
根据各个字段区域的边界,各自标注对应的第一检测框。
7.根据权利要求1所述的方法,其特征在于,
所述将所述修正过的目标字段图片更新到检测模型的训练集的步骤包括:
将所述修正过的目标字段图片的保存;
定期获取经过修正的目标字段图片,对所述训练集进行更新。
8.一种检测模型的训练集更新装置,其特征在于,包括:
区域标注模块,用于获取样本图片,并根据字段检测算法从所述样本图片中识别字段区域并标注第一检测框;
裁剪模块,用于依据设定比例将所述第一检测框向四周进行扩张得到第二检测框,并根据所述第二检测框对所述样本图片进行裁剪,得到目标字段图片;
错位标注模块,用于利用众包平台识别所述目标字段图片的所述第二检测框是否错位,并进行错位标注;
修正模块,用于接收所述众包平台返回的已识别目标字段图片,若所述众包平台的标注用户根据所述错位标注,对错位的所述目标字段图片进行修正,确定所述字段检测算法存在错误;
更新模块,用于将所述修正过的目标字段图片更新到检测模型的训练集。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个计算机程序配置用于执行根据权利要求1至7任一项所述的检测模型的训练集更新方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1-7任一项所述的检测模型的训练集更新方法。
CN201910270005.9A 2019-04-04 2019-04-04 检测模型的训练集更新方法和装置 Active CN110110123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270005.9A CN110110123B (zh) 2019-04-04 2019-04-04 检测模型的训练集更新方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270005.9A CN110110123B (zh) 2019-04-04 2019-04-04 检测模型的训练集更新方法和装置

Publications (2)

Publication Number Publication Date
CN110110123A true CN110110123A (zh) 2019-08-09
CN110110123B CN110110123B (zh) 2023-07-25

Family

ID=67484986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270005.9A Active CN110110123B (zh) 2019-04-04 2019-04-04 检测模型的训练集更新方法和装置

Country Status (1)

Country Link
CN (1) CN110110123B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178302A (zh) * 2019-12-31 2020-05-19 北大方正集团有限公司 特定着装人物的检测方法和装置
CN115136209A (zh) * 2020-03-09 2022-09-30 纳米电子成像有限公司 缺陷检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236851A1 (en) * 2013-02-19 2014-08-21 Digitalglobe, Inc. Crowdsourced search and locate platform
US20150278747A1 (en) * 2014-04-01 2015-10-01 Xerox Corporation Methods and systems for crowdsourcing a task
CN107169001A (zh) * 2017-03-31 2017-09-15 华东师范大学 一种基于众包反馈和主动学习的文本分类模型优化方法
CN107273492A (zh) * 2017-06-15 2017-10-20 复旦大学 一种基于众包平台处理图像标注任务的交互方法
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN108664897A (zh) * 2018-04-18 2018-10-16 平安科技(深圳)有限公司 票据识别方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236851A1 (en) * 2013-02-19 2014-08-21 Digitalglobe, Inc. Crowdsourced search and locate platform
US20150278747A1 (en) * 2014-04-01 2015-10-01 Xerox Corporation Methods and systems for crowdsourcing a task
CN107169001A (zh) * 2017-03-31 2017-09-15 华东师范大学 一种基于众包反馈和主动学习的文本分类模型优化方法
CN107273492A (zh) * 2017-06-15 2017-10-20 复旦大学 一种基于众包平台处理图像标注任务的交互方法
CN108446621A (zh) * 2018-03-14 2018-08-24 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
CN108664897A (zh) * 2018-04-18 2018-10-16 平安科技(深圳)有限公司 票据识别方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178302A (zh) * 2019-12-31 2020-05-19 北大方正集团有限公司 特定着装人物的检测方法和装置
CN115136209A (zh) * 2020-03-09 2022-09-30 纳米电子成像有限公司 缺陷检测系统

Also Published As

Publication number Publication date
CN110110123B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111309912B (zh) 文本分类方法、装置、计算机设备及存储介质
CN111444966B (zh) 媒体信息分类方法及装置
WO2017216980A1 (ja) 機械学習装置
US20170063893A1 (en) Learning detector of malicious network traffic from weak labels
CN111368903B (zh) 模型性能优化方法、装置、设备及存储介质
CN111967387A (zh) 表单识别方法、装置、设备及计算机可读存储介质
CN108090043B (zh) 基于人工智能的纠错举报处理方法、装置及可读介质
EP3869385A1 (en) Method for extracting structural data from image, apparatus and device
CN108363701B (zh) 命名实体识别方法及系统
CN109947989B (zh) 用于处理视频的方法和装置
CN110852450B (zh) 识别对抗样本以保护模型安全的方法及装置
CN110909168B (zh) 知识图谱的更新方法和装置、存储介质及电子装置
CN110110123A (zh) 检测模型的训练集更新方法和装置
WO2021076139A1 (en) Domain-specific human-model collaborative annotation tool
US20180189298A1 (en) Random Index Pattern Matching Based Email Relations Finder System
CN109905362B (zh) 用户请求的检测方法、装置、计算机设备及存储介质
CN113283231B (zh) 获取签章位的方法、设置系统、签章系统及存储介质
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
CN111597336B (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN116563840B (zh) 基于弱监督跨模态对比学习的场景文本检测与识别方法
CN107798004B (zh) 关键词查找方法、装置及终端
CN116346961B (zh) 金融报文处理方法、装置、电子设备及存储介质
CN114120287A (zh) 数据处理方法、装置、计算机设备和存储介质
EP2846499B1 (en) Method And Device For Classifying A Message
CN114238622A (zh) 关键信息的提取方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant