CN112949661A - 检测框自适应外扩方法、装置、电子设备及存储介质 - Google Patents

检测框自适应外扩方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112949661A
CN112949661A CN202110519451.6A CN202110519451A CN112949661A CN 112949661 A CN112949661 A CN 112949661A CN 202110519451 A CN202110519451 A CN 202110519451A CN 112949661 A CN112949661 A CN 112949661A
Authority
CN
China
Prior art keywords
value
detection
list
frame
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110519451.6A
Other languages
English (en)
Other versions
CN112949661B (zh
Inventor
秦勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110519451.6A priority Critical patent/CN112949661B/zh
Publication of CN112949661A publication Critical patent/CN112949661A/zh
Application granted granted Critical
Publication of CN112949661B publication Critical patent/CN112949661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种检测框自适应外扩方法、装置、电子设备及存储介质,具体实现方案为:获取待处理目标对象的第一检测框;根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。采用本申请,可以通过检测框的外扩处理来提高检测框锁定题目的准确率。

Description

检测框自适应外扩方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种检测框自适应外扩方法、装置、电子设备及存储介质。
背景技术
随着便携设备、手机终端等电子设备相比以往更智能化,芯片的解析能力更强,可以通过计算机视觉技术对图文信息、视频信息等进行高效的解析,并对图文信息、视频信息等中的目标对象进行检测。
以拍照判题的应用场景为例,采集图片后,对该图片中任一道题目所在文本框进行检测,以通过检测框锁定该题目。对检测框中的题目进行识别,根据识别出的任一道题目的内容进行判题。实际上,常常出现检测框未成功锁定该题目的情况,导致判题的准确率下降,有鉴于此,如何提高检测框锁定题目的准确率是要解决的问题。
发明内容
本申请提供了一种检测框自适应外扩方法、装置、电子设备及存储介质。
根据本申请的一方面,提供了一种检测框自适应外扩方法,包括:
获取待处理目标对象的第一检测框;
根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;
将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
根据本申请的另一方面,提供了一种检测框自适应外扩装置,包括:
获取模块,用于获取待处理目标对象的第一检测框;
外扩处理模块,用于根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;
检测框确定模块,用于将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
采用本申请,可以获取待处理目标对象的第一检测框,以便根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框,而且是将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框,从而,可以通过该中心点坐标和该标定坐标来实现检测框的外扩处理,进而基于外扩处理得到的目标检测框来提高检测框锁定题目的准确率。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例的拍照判题的示意图;
图2是根据本申请实施例的检测框自适应外扩方法的流程示意图;
图3是根据本申请实施例的使用检测框未准确锁定文本对象的示意图;
图4是根据本申请实施例的检测框自适应外扩方法一左扩处理的示意图;
图5是根据本申请实施例的检测框自适应外扩方法又一左扩处理的示意图;
图6是根据本申请实施例的检测框自适应外扩方法一应用示例的示意图;
图7是根据本申请实施例的检测框自适应外扩装置的组成结构示意图;
图8是用来实现本申请实施例的检测框自适应外扩方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分,并不是限定顺序的意思,或者限定只有两个的意思,例如,第一特征和第二特征,是指代有两类/两个特征,第一特征可以为一个或多个,第二特征也可以为一个或多个。
另外,为了更好的说明本申请,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本申请同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本申请的主旨。
拍照判题是人工智能技术在教育领域的一项重要应用,其大致流程是,用于用手机或平板电脑等终端设备进行拍照,然后将拍照所采集的图像上传至拍照判题的应用程序,接着应用程序将该图像送入题型判断模型。该题型判断模型是一种文本检测模型(可以由版面分析模型和文本行检测模型构成),它会检测出横式、竖式和脱式等题型,并将它们用检测框锁定起来(或称框起来)。图1是根据本申请实施例的拍照判题的示意图,如图1所示,图像中包含3行*n列(n为大于1的整数行)的文本对象,每个文本对象可以用检测框锁定,每个文本对象中包含多个文本行,将该图像输入该版面分析模型,通过该版面分析拿到文本区域坐标后输出检测框,以将图像中的文本区域用检测框11(图像中包含多个检测框,检测框11中涉及文本行检测的题目内容只是一个示例)锁定起来,与此同时,将该图像也输入该文本行检测模型,通过该文本行检测模型可以检测出横向文本行,并输出用于锁定横向文本行的多个文本框(文本框110-文本框111)。然后,可以根据版面分析模型和文本行检测模型的检测结果进行版面分析,对框进行合并,同时根据每种题型的特点,分析得到每个题是由哪些框组成的,以根据框的坐标在原图上进行裁剪,将裁剪得到的图像送入识别模型进行题目内容的识别,最终得到检测框中每个题目的内容。根据该每个题目的内容进行判题后,输出拍照判题的判断结果。
分析上述拍照判题场景的具体实现方案,在理想情况下,若版面分析模型、文本行检测模型和识别模型的结果都非常准确,那么,根据该每个题目的内容进行判题后得到的判断结果也会相当准确,但是,实际情况是,上述的拍照判题中每个环节的结果可能都不是非常准确,即版面分析模型、文本行检测模型和识别模型输出的结果可能都不是非常准确,这导致最终的判题结果出错(如出现“错”判“对”的问题、或者“对”判“错”的问题),也就是说,判题准确率比较低,极大的影响用户的使用体验。
上述导致最终的判题结果出错,常常是由于检测框未成功锁定该题目导致的,也就是说,检测框成功锁定该题目的准确率会影响到最终判题的准确率,本申请通过对文本对象的检测框进行自适应的边框外扩,以提高检测框锁定题目的准确率,使得该文本对象可以被检测框圈起来,而不是圈起部分文本对象,或者,将该文本对象与图像中其他文本对象混淆在一起圈起来等,从而,在拍照判题场景中,可以解决由于版面分析得到的检测框未能成功锁定文本对象而导致最终判题准确率下降的问题。
根据本申请的实施例,提供了一种检测框自适应外扩方法,图2是根据本申请实施例的检测框自适应外扩方法的流程示意图,该方法可以应用于检测框自适应外扩装置,例如,该装置可以部署于终端或服务器或其它处理设备执行的情况下,可以执行检测框进行自适应外扩处理、将检测框中框面积最大的外扩框,确定为目标检测框等等。其中,终端可以为用户设备(UE,User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示,包括:
S101、获取待处理目标对象的第一检测框。
一示例中,该待处理目标对象可以为文本对象;该第一检测框可以为第一文本框。该文本对象可以为拍照判题场景中一道或多道题目内容,可以采用该第一文本框将该一道或多道题目内容框起来。
S102、根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框。
一示例中,该第一检测框可以为第一文本框;该中心点坐标可以为该第一文本框对应的中心点x坐标(横坐标)、中心点y坐标(纵坐标);该标定坐标为多个,并采用列表或数据集合的形式进行存储,从而构成标定框边界中上边界坐标对应的上值列表、标定框边界中下边界坐标对应的下值列表、标定框边界中左边界坐标对应的左值列表、标定框边界中右边界坐标对应的右值列表等。
考虑到该第一文本框可以为多个,相应的,该中心点坐标为多个,并可以采用列表或数据集合的形式进行存储,从而构成与中心点x坐标对应的x值列表、以及与中心点y坐标对应的y值列表等。
一示例中,对所述第一文本框进行自适应的外扩处理,可以得到多个第二文本框。比如,可以基于该上值列表、该下值列表、该左值列表及该右值列表等得到该扩展处理的初筛结果,进一步还可以基于该x值列表及该y值列表等对该初筛结果进行二次筛选的校正(即:基于该x值列表及该y值列表等得到多个最近邻框后,基于该多个最近邻框进行该二次筛选的校正),最终得到该多个第二文本框。
S103、将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
一示例中,该多个第二文本框与多个最近邻框为不相交的状态时,将不相交的多个第二文本框中文本框面积最大的检测框作为目标检测框(即最终的外扩框)。后续,可以根据该目标检测框所成功锁定的文本对象去执行判断处理,得到判题结果。
采用本申请,得到待处理目标对象的第一检测框后,可以根据所述第一检测框的中心点坐标及框边界外扩区域的标定坐标,对所述第一检测框进行自适应的外扩处理,以基于外扩处理得到多个第二检测框,而且是将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框,从而,基于外扩处理可以得到更为精确的目标检测框,进而通过该更为精确的目标检测框提高检测框锁定题目的准确率,以得到更好的判题结果。
需要指出的是,上述S101- S103的实现过程可以由检测模型(具体可以是版面检测模型、文本行检测模型)来实现,也可以采用其他模型,只要该模型能实现检测及外扩,都在本申请的保护范围之内。
其中,通过该检测模型执行上述S101-S103,对文本对象检测后,通过调整第一检测框,使其自适应外扩,从而避免第一检测框未成功锁定待处理目标对象导致的框错文本(即选错文本题目内容,比如出现“错”判“对”的问题、或者“对”判“错”的问题),最后输出目标检测框。该目标检测框可以为用于框住该文本对象的包围盒,以将该文本对象圈起来,则根据该目标检测框得到的坐标去原图像上进行截取,可以得到裁剪后的图像,该裁剪后的图像中包含基于该目标检测框锁定的题目内容,进而,对该题目的内容进行判题处理的过程中,可以将该裁剪后的图像输入识别模型,输出得到原图像中每个题目的内容,从而根据每个题目的内容进行判题,最后将判断结果进行输出,由于通过针对第一检测框的外扩处理所得到的目标检测框,可以提高检测框锁定题目的准确率,因此,基于该目标检测框锁定的题目,对题目内容所执行的判题处理,提高了判题的准确率。
一实施方式中,还包括:获取所采集当前图像中非第一检测框的其他检测框;根据所述第一检测框及所述非第一检测框的其他检测框,得到所述当前图像中所有框位置的全局信息;根据所述全局信息,确定所述框边界外扩区域的标定坐标;其中,所述全局信息包括:中心点的横纵坐标值列表、左值列表、右值列表、上值列表和下值列表。采用本实施方式,在拍照判题场景中,可能除了当前的第一检测框,还有其他检测框,如果只针对当前检测框的局部信息所执行外扩处理,即:只将这个错题的检测框向外扩展,是一个局部操作(只针对这个错题的文本框外扩),而且只是基于经验值的外扩处理,则外扩得到的检测框仍然框不准或框不全。针对包括该第一检测框在内所有检测框,将所有检测框,即第一检测框,结合其他非第一检测框的其他检测框得到的全局信息所执行的外扩操作,利用了该全局信息后,由于该全局信息针对所有框位置而言,即充分利用整张图像上所有框位置的坐标信息,得到每个框的最大可能外扩范围,从而,使得错题可以根据其现有框坐标及“该最大可能外扩范围”,得到框最大能扩多少的外扩范围,从而,基于该外扩范围实现自适应的向外扩展,外扩得到的检测框相对上述局部操作更为精确。
一实施方式中,所述根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框,包括:获取所采集当前图像中所有检测框的坐标,其中,所述所有检测框包括:所述第一检测框及非第一检测框的其他检测框;根据所述所有检测框的坐标,得到所述所有检测框分别对应的中心点横纵坐标值、及分别用于标定所有检测框位置的上下左右坐标值;根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标;根据所述所有检测框分别对应的中心点横纵坐标值,确定所述第一检测框的中心点坐标;根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框。采用本实施方式,可以经检测框分别对应的用于标定所有检测框位置的上下左右坐标值确定框边界外扩区域的标定坐标,根据中心点坐标对该标定坐标校正后,对第一检测框进行自适应外扩处理,可以得到更为精确的第二检测框。
一实施方式中,所述根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标,包括:根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围;基于所述扩展范围,确定所述框边界外扩区域的标定坐标。
其中,分别用于标定检测框位置的上下左右坐标值,可以分别存储于上值列表、下值列表、左值列表和右值列表中,结合上值列表、下值列表、左值列表和右值列表的处理,可以分别得到左扩列表、右扩列表、上扩列表和下扩列表。针对上述扩展范围而言,包括如下“基于左扩列表向左扩展”、“基于右扩列表向右扩展”、“基于上扩列表向上扩展”、“基于下扩列表向下扩展”四种情况。
1)基于左扩列表向左扩展
响应于针对所述第一检测框的左扩处理,使用所述右值列表中的存储右值依序减去所述第一检测框的左值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入左扩列表。在所述左扩列表中,所述负值用于表征所述第一检测框能向左无限扩展,所述绝对值用于表征所述第一检测框能向左扩展所述绝对值所标定的距离。
2)基于右扩列表向右扩展
响应于针对所述第一检测框的右扩处理,使用所述左值列表中存储左值依序减去所述第一检测框的右值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入右扩列表。在所述右扩列表中,所述差值用于表征所述第一检测框能向右扩展所述差值所标定的距离,所述负值用于表征所述第一检测框能向右无限扩展。
3)基于上扩列表向上扩展
响应于针对所述第一检测框的上扩处理,使用所述下值列表中的存储下值依序减去所述第一检测框的上值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入上扩列表。在所述上扩列表中,所述负值用于表征所述第一检测框能向上无限扩展,所述绝对值用于表征所述第一检测框能向上扩展所述绝对值所标定的距离。
4)基于下扩列表向下扩展
响应于针对所述第一检测框的下扩处理,使用所述上值列表中存储上值依序减去所述第一检测框的下值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入下扩列表。在所述下扩列表中,所述差值用于表征所述第一检测框能向下扩展所述差值所标定的距离,所述负值用于表征所述第一检测框能向下无限扩展。
综上所述,采用本实施方式的上述四种情况,可以实现针对第一检测框在上下左右任意方向的外扩处理,从而得到更为精确的第二检测框。
一实施方式中,根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框,包括:根据所述中心点坐标(如中心点横纵坐标x、y分别对应的x值列表及y值列表),得到与所述第一检测框在距离上处于最近邻的多个参考检测框(如多个最近邻框);根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到所述多个第二检测框。采用本实施方式,可以采用最近邻的方式对第一检测框的外扩处理结果进行校正,从而得到更为精确的第二检测框。换言之,考虑到采用上述四种情况执行外扩处理,虽然可以实现针对第一检测框在上下左右任意方向的外扩处理,但是这是一种“初步筛选”,即:处理完所有框,得到每个框相对于其他框来说,可以向上下左右扩展的范围,通过该初步筛选所得到的是:第一检测框外扩的初步选择可能性,但是无法保证,这个第一检测框在这个扩展范围内进行外扩处理后,不与非第一检测框的其他框相重叠。因此,还需要采用本实施方式基于中心点坐标(如中心点横纵坐标x、y分别对应的x值列表及y值列表)得到多个最近邻框后,基于该多个最近邻框进行二次筛选的校正,从而,对第一检测框外扩处理结果进行校正后所得到的该多个第二检测框,相比第一种方式所得到的扩展范围,更为精确。
一实施方式中,所述根据所述多个参考检测框,对所述第一检测框外扩处理结果进行校正后,得到所述多个第二检测框,包括:根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到多个候选的外扩检测框;从所述多个候选的外扩检测框中,选取与所述多个参考检测框处于不相交状态的多个外扩检测框,并作为所述多个第二检测框。采用本实施方式,判断该多个候选的外扩检测框是否与该参考检测框相交,若相交,则放弃本次外扩处理结果;若不相交,则保留本地外扩处理结果,而且,在保留本地外扩处理结果后,还可以包括:对已保留的多个第二检测框进行面积比对处理,得到面积最大的外扩检测框,并作为最终的外扩框。
应用示例:
本应用示例中,通过检测模型和识别模型来实现拍照判题过程,其中,通过检测模型对文本对象进行版面分析,对文本对象所包含的文本行进行检测,最终输出目标检测框,并将该文本对象圈起来。识别模型是根据检测模型得到的目标检测框对应的坐标,去原图像上进行截取,得到包含文本对象的截取后图像,然后对该截取后图像进行识别。由于模型训练以及测试数据的变化等原因,导致经常会出现框不准的情况,图3是根据本申请实施例的使用检测框未准确锁定文本对象的示意图,如图3所示,本应该是通过检测框11圈住文本行所在的文本框110-文本框111,但是检测框未能成功锁定文本对象,导致框错文本对象,将其他检测框(如检测框12)的文本行也一并框入,也就是说,检测框是不准确的,那么,通过识别模型得到的识别结果也必然会不准确,则识别的题目内容出错,这就导致根据题目内容进行判题处理的准确率下降,其本质是无法通过检测框成功锁定文本对象,从而拿到准确的题目内容,从而无法正确判题。
为了避免将题目内容判错,可以对检测框进行外扩,比如,将框错题的检测框,基于经验值向外扩展(比如,向上或向下扩高的0.1倍、向左向右扩宽的0.1倍,或者上下左右同时扩高和宽的0.1倍等)。然而,采用这种外扩操作,仍然不能解决框不准的问题,因为这是一个局部操作,无法利用所有框位置的全局信息,故而无法判断这个框最大能扩多少,从而有可能扩框之后依然还是框不全整个题目。基于此,进一步,可以基于全局信息实现自适应的框外扩处理,即:充分分析利用整张图上所有框的信息,得到每个框的最大可能外扩范围,从而,使得错题可以根据其现有框坐标,自适应向外扩,以取得更好的效果。检测模型包含版面分析模型及文本行检测模型的情况下,通过版面分析模型进行版面分析,通过文本行检测模型对文本行进行检测。描述如下:
一、对检测框进行外扩处理后可外扩的外扩范围进行初步筛选
获取文本行检测模型的输出,以得到所有框的坐标(每个框都是8点框,即四边形框)。将所有框变成矩形框,然后求取每个矩形框的中心点横纵坐标。并将每个框的中心点横纵坐标的坐标值分别存储到中心点列表中,中心点列表包括中心点横坐标列表和中心点纵坐标列表,针对中心点横坐标列表,存储有所有矩形框的中心点的横坐标,且每个坐标值有对应的索引以映射到对应的矩形框,类似的,将所有矩形框的中心点的纵坐标存储到中心点纵坐标列表中,并有对应各个矩形框的索引。接着获取每个框上下左右的坐标值,并类似上述中心点横坐标列表的方式分别将每个框左右上下的坐标值分别存储到列表中,得到左值列表、右值列表、上值列表和下值列表,且每个列表中数值的不同索引对应不同的矩形框,多个列表中,相同的索引对应同一个矩形框。
针对左扩处理而言,对于待进行外扩处理的第一检测框,使用存储右值(即右坐标值)的右值列表依序减去该第一检测框的左值(即左坐标值),如果该存储右值减去该第一检测框的左值大于0,则记录其值为-1。需要指出的是,此处的“-1”仅为示例值,表示可以无限外扩,对于本示例的左扩处理,记为“-1”则具体表示为:可以无限左扩,且不限于“-1”,只要是标定的负值都可以表示无限外扩的含义;如果该存储右值减去该第一检测框的左值小于0,则记录其绝对值,并将该绝对值作为可外扩的距离值,表明这个第一检测框可以向左扩多少距离,举例来说,针对第一检测框,如果另一个框如第二个框的右值(即右坐标值,通过索引可以从右值列表中找到该第二个框对应的右值)减去第一检测框的左值大于0,则说明第二个框不会对第一检测框的左扩构成影响,在图像边框范围内,第一检测框的左框边界可以向左无限外扩;若第二个框的右值减去第一检测框的左值小于0,则说明第二个框的右边框位于第一检测框的左边框的左侧,可能会对第一检测框的左扩构成影响,可能会限制第一检测框的左扩范围不能超过该绝对值数值,也就是说,值为绝对值时,表明在第二个框存在的情况下,可能第一检测框能最大向左外扩绝对值对应的数值范围。将记录上述右值列表中所有右值减去第一检测框的左值得到的值(即上述的-1或绝对值)的列表称为左扩列表。
图4是根据本申请实施例的检测框自适应外扩方法一左扩处理的示意图,如图4所示,可以设置第一检测框的左上角位于坐标值的圆点,第二检测框为与第一检测框相邻的检测框。其中该第一检测框即为待外扩的当前检测框,该第二检测框即为与当前检测框相邻的其他检测框,如图4所示,以该第二检测框的存储右值减去该第一检测框的左值显然大于0,则记录其值为-1,说明该第一检测框的左边界没有其他遮挡,可以无限向左扩展。在实际应用中与第一检测框相邻的不止一个第二检测框,实际存在多个相邻的检测框,此处为了说明,仅以第二检测框作为示例。进一步的,如果将该第一检测框与实际存在多个相邻的检测框都进行上述比较(存储右值减去该第一检测框的左值),若全部记录为-1,则说明实际上当前检测框的左边框就是边界框,可以无限向左扩展。在实际应用中,针对上述全为-1的情况下,可以配置为左扩为0,“为0”是指可以向左边无线扩展。
图5是根据本申请实施例的检测框自适应外扩方法又一左扩处理的示意图,如图5所示,可以设置第一检测框的左上角位于坐标值的圆点,第二检测框为与第一检测框相邻的检测框。其中该第一检测框即为待外扩的当前检测框,该第二检测框即为与当前检测框相邻的其他检测框,如图5所示,以该第二检测框的存储右值减去该第一检测框的左值显然小于0,则记录其值为绝对值D,说明该第一检测框的左边界存在其他遮挡,说明第一检测框的左边界存在其他遮挡,不能无限制的向左扩展,且能向左扩展的距离为该绝对值D。在实际应用中与第一检测框相邻的不止一个第二检测框,实际存在多个相邻的检测框,此处为了说明,仅以第二检测框作为示例。
同理,右扩列表的计算方式类似:使用存储左值的左值列表依序减去第一检测框的右值,如果大于0,则记录其原值(原值指左值列表中的左值减去第一检测框的右值对应的差值的原值),这表明这个第一检测框可以向右扩的范围,不能超过该差值所标定的距离,也就是说,存在差值的情况下,表明在第二个框存在的情况下,可能第一检测框能最大向右外扩距离对应的数值范围。如果小于0,则记为-1,类似的,此处的“-1”仅为示例值,表示可以无限外扩,对于本示例的右扩处理,值为-1表明在图像边框范围内,第一检测框的右框边界可以向右无限外扩,且不限于“-1”,只要是标定的负值都可以表示无限外扩的含义。将记录上述左值列表中所有左值减去第一检测框的右值得到的值(即上述差值的原值或-1)的列表称为右扩列表。
同理,上扩列表的计算方式类似:针对上扩处理而言,对于待进行外扩处理的第一检测框,使用存储下值的下值列表依序减去第一检测框的上值,如果该存储下值的下值列表依序减去第一检测框的上值大于0,则记录其值为-1。需要指出的是,此处的“-1”仅为示例值,表示可以无限外扩,对于本示例的上扩处理,记为“-1”则具体表示为:可以无限上扩,且不限于“-1”,只要是标定的负值都可以表示无限外扩的含义;如果该存储下值的下值列表依序减去第一检测框的上值小于0,则记录其绝对值,并将该绝对值作为可外扩的距离值,表明这个第一检测框可以向上扩多少距离,举例来说,针对第一检测框,如果另一个框如第二个框的下值(即下坐标值,通过索引可以从下值列表中找到该第二个框对应的下值)减去第一检测框的上值大于0,则说明第二个框不会对第一检测框的上扩构成影响,在图像边框范围内,第一检测框的上框边界可以向上无限外扩;若第二个框的下值减去第一检测框的上值小于0,则说明第二个框的下边框位于第一检测框的上边框的上侧,可能会对第一检测框的上扩构成影响,可能会限制第一检测框的上扩范围不能超过该绝对值数值,也就是说,值为绝对值时,表明在第二个框存在的情况下,可能第一检测框能最大向上外扩绝对值对应的数值范围。将记录上述下值列表中所有下值减去第一检测框的上值得到的值(即上述的-1或绝对值)的列表称为上扩列表。
同理,下扩列表的计算方式类似:使用存储上值的上值列表依序减去第一检测框的下值,如果大于0,则记录其原值(原值指左值列表中的左值减去第一检测框的右值对应的差值的原值),这表明这个第一检测框可以下扩的范围,不能超过该差值所标定的距离,也就是说,存在差值的情况下,表明在第二个框存在的情况下,可能第一检测框能最大向下外扩距离对应的数值范围。如果小于0,则记为-1,类似的,此处的“-1”仅为示例值,表示可以无限外扩,对于本示例的下扩处理,值为-1表明在图像边框范围内,第一检测框的下框边界可以向下无限外扩,且不限于“-1”,只要是标定的负值都可以表示无限外扩的含义。将记录上述上值列表中所有上值减去第一检测框的下值得到的值(即上述差值的原值或-1)的列表称为下扩列表。
本申请实施例采用负数“-1”的值来记录第一检测框可以往某个边框侧无限外扩的情形,是便于后续在获得外扩列表(如左扩列表、右扩列表、上扩列表和下扩列表)后的进一步处理,当然,在本申请的其它实施例中,也可以采用其他数值来记录检测框可以向左右上下边框侧无限外扩的情形,本申请不做限定。
本申请一种实施例中,当需要对多个检测框进行外扩时,则采用类似第一检测框外扩的方法,处理多个需要外扩的检测框,从而得到每个待外扩的检测框相对于其他框来说,可以向上下左右外扩的范围。
二、对可外扩的外扩范围进行初步筛选后的二次筛选
考虑到上述初步筛选,无法保证这个框在这个范围内外扩不与其他框重叠,因此,采用第一框的y坐标与存储所有框y坐标的y值列表在保持位置不变的情况下进行排序。然后,取值小于第一个框的y坐标值的7个框和大于第一个框的y坐标值的7个框的索引。
同理,用第一框的x坐标与存储所有框x坐标的x值列表在保持位置不变的情况下进行排序,然后取值小于第一个框的x坐标值的7个框和大于第一个框的x坐标值的7个框的索引,考虑到密集文本有重叠的形象,理论上下左右共计28个框,为了降低运算复杂度及提高运算效率,可以简化为14个框,然后找出这14个索引对应的左扩列表值,右扩列表值,上扩列表值和下扩列表值,如果对应的左扩列表值全为-1,则可以将左扩处理配置为“0”,此处“0”指可以无限左扩;同理,如果对应的上扩列表值全为-1,则可以将上扩处理配置为“0”,此处“0”指可以无限上扩;同理,如果对应的右扩列表值全为-1,则可以将右扩处理配置为“0”,此处“0”指可以无限右扩;同理,如果对应的下扩列表值全为-1,可以将下扩处理配置为“0”,此处“0”指可以无限下扩,否则,依次排列组合挑选左右上下的外扩值,对文本框进行外扩,每得到一个外扩框之后,将该外扩框与所对应的14个框基于框坐标都算下是否存在相交的情况,如果存在相交的情况,则舍弃该外扩框;否则,保留该外扩框,得到所有可以保留的外扩框之后,将面积最大的外扩框作为最终的外扩框,即可以用于后续判题处理的目标检测框。
在实际的拍照判题过程中,采用本申请并不需要对每一个框都进行外扩,还可以只针对错题框进行外扩。就目前计算机的计算能力来说,考虑到每个错题框外扩的成本不到10000次运算,采用本申请只针对错题框进行外扩所耗费的时间远小于采用现有技术所耗费的时间成本(现有技术中是根据经验值进行5次外扩处理得到5个外扩框,还需要将该5个外扩框全部输入识别模型进行判题的识别),而且效果也更好。
图6是根据本申请实施例的检测框自适应外扩方法一应用示例的示意图,如图6所示,包括如下内容:
S201、输入图像到文本行检测模型,得到图像中每个文本的坐标框,并转换为矩形框。
比如,可以根据文本行检测模型的输出,拿到所有框的坐标(每个框都是8点框,即四边形框),将所有8点坐标框变成矩形坐标框,从而,将所有框变成矩形框。
S202、根据矩形框求取每个矩形框的中心点横纵坐标,接着拿到每个框上下左右的坐标值并分别将其存储到一个列表中,分别称为x值列表、y值列表、左值列表、右值列表、上值列表和下值列表。
比如,可以记录所有矩形框的左值,并记录索引关系,以得到左值列表;同理,记录所有矩形框的右值,并记录索引关系,以得到右值列表;同理,记录所有矩形框的上值,并记录索引关系,以得到上值列表;同理,记录所有矩形框的下值,并记录索引关系,以得到下值列表;以及记录所有矩形框的中心点坐标,以得到表示中心点坐标的x值列表和y值列表。
S203、根据左值列表、右值列表、上值列表和下值列表,得到左扩列表、右扩列表、上扩列表和下扩列表。
比如,就左扩列表而言,针对需要外扩的第一检测框,可以使用存储右值的右值列表依序减去该第一检测框的左值,如果大于0,则记录其值为-1,此处的“-1”具体表示为:可以无限左扩;如果小于0,则记录其绝对值,并将该绝对值作为可外扩的距离值,表明这个第一检测框可以向左扩多少距离。将记录值(即上述的-1或绝对值)的列表称为左扩列表。
比如,就右扩列表而言,针对需要外扩的第一检测框,使用存储左值的左值列表依序减去第一检测框的右值,如果大于0,则记录其原值,表明这个第一检测框可以向右扩的范围,不能超过该差值所标定的距离;如果小于0,则记为-1,值为-1表明在图像边框范围内,第一检测框的右框边界可以向右无限外扩。将记录值(即上述原值或-1)的列表称为右扩列表。
比如,就上扩列表而言,针对需要外扩的第一检测框,可以使用存储下值的下值列表依序减去该第一检测框的上值,如果大于0,则记录其值为-1,此处的“-1”具体表示为:可以无限左扩;如果小于0,则记录其绝对值,并将该绝对值作为可外扩的距离值,表明这个第一检测框可以向左扩多少距离。将记录值(即上述的-1或绝对值)的列表称为左扩列表。
比如,就下扩列表而言,针对需要外扩的第一检测框,使用存储上值的上值列表依序减去第一检测框的下值,如果大于0,则记录其原值,表明这个第一检测框可以向下扩的范围,不能超过该差值所标定的距离;如果小于0,则记为-1,值为-1表明在图像边框范围内,第一检测框的下框边界可以向下无限外扩。将记录值(即上述原值或-1)的列表称为下扩列表。
S204、根据x值列表和y值列表,选出这个框的最近邻14个框,根据选出的14个框的索引,得到左扩列表、右扩列表、上扩列表和下扩列表的取值,对这些取值进行排列组合,得到外扩框。
经过上述步骤S201-S203,可以得到当前的第一检测框相对于其他框来说,可以向上下左右扩展的扩展范围,然后,根据当前的第一检测框的中心点坐标进行扩展范围的调整,具体的,就中心点坐标的y坐标而言,可以用此框的y坐标与存储所有框y坐标的y值列表在保持位置不变的情况下进行排序,然后,取值小于此框的y坐标值的7个框和大于此框的y坐标值的7个框的索引。同理,就中心点坐标的x坐标而言,可以用这个框的x坐标与存储所有框x坐标的x值列表在保持位置不变的情况下进行排序,然后取值小于此框的x坐标值的7个框和大于此框的x坐标值的7个框的索引,最终,得到14个框,该14个框为最近邻框。
需要指出的是,基于本步骤S204的每次步骤执行,都会得到14个框,从框几何位置关系来看,多批次得到的该14个框可以是相同的,也可以是不同的。得到该14个框的索引所对应的上述左扩列表、上述右扩列表、上述上扩列表和上述下扩列表,如果对应的左扩列表值全为-1,则左扩可为0,此处“0”指可以无限左扩;同理,如果对应的上扩列表值全为-1,则上扩可为0,此处“0”指可以无限上扩;如果对应的右扩列表值全为-1,则右扩可为0,此处“0”指可以无限右扩;如果对应的下扩列表值全为-1,则下扩可为0,此处“0”指可以无限下扩,否则,依次排列组合挑选左右上下的外扩值,对文本框进行外扩,得到该外扩框。
S205、得到外扩框之后与它附近的14个框进行比较,判断是否相交,如果相交,则舍弃这次外扩处理结果,如果不相交,则保留本次外扩处理结果。
需要指出的是,经上述步骤S204后可以得到14个框,每得到一个外扩框之后用其和对应14个框都算下是否相交,如果相交,则舍弃这个外扩框,否则,保留这个外扩框。
S206、选择所有保留的外扩框中面积最大的框,作为最终外扩框。
也就是说,得到所有可以保留的外扩框之后,只保留面积最大的,作为最终外扩框,而不是都保留。
S207、根据最终外扩框,进行后续的判题处理,得到判题结果。
根据本申请的实施例,提供了一种检测框自适应外扩的装置,图7是根据本申请实施例的检测框自适应外扩的装置的组成结构示意图,如图7所示,包括:获取模块41,用于获取待处理目标对象的第一检测框;外扩处理模块42,用于根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;检测框确定模块43,用于将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
一实施方式中,还包括:图像采集模块,用于获取所采集当前图像中非第一检测框的其他检测框;全局信息确定模块,用于根据所述第一检测框及所述非第一检测框的其他检测框,得到所述当前图像中所有框位置的全局信息;标定坐标确定模块,用于根据所述全局信息,确定所述框边界外扩区域的标定坐标;其中,所述全局信息包括:中心点的横纵坐标值列表、左值列表、右值列表、上值列表和下值列表。
一实施方式中,所述外扩处理模块,包括:第一处理子模块,用于获取所采集当前图像中所有检测框的坐标,其中,所述所有检测框包括:所述第一检测框及非第一检测框的其他检测框;第二处理子模块,用于根据所述所有检测框的坐标,得到所述所有检测框分别对应的中心点横纵坐标值、及分别用于标定所有检测框位置的上下左右坐标值;第三处理子模块,用于根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标;第四处理子模块,用于根据所述所有检测框分别对应的中心点横纵坐标值,确定所述第一检测框的中心点坐标;第五处理子模块,用于根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框。
一实施方式中,所述第三处理子模块,用于根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围;基于所述扩展范围,确定所述框边界外扩区域的标定坐标。
一实施方式中,所述第三处理子模块,用于所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的左扩处理,使用所述右值列表中的存储右值依序减去所述第一检测框的左值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入左扩列表;在所述左扩列表中,所述负值用于表征所述第一检测框能向左无限扩展;在所述左扩列表中,所述绝对值用于表征所述第一检测框能向左扩展所述绝对值所标定的距离。
一实施方式中,所述第三处理子模块,用于所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的右扩处理,使用所述左值列表中存储左值依序减去所述第一检测框的右值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入右扩列表;在所述右扩列表中,所述差值用于表征所述第一检测框能向右扩展所述差值所标定的距离;在所述右扩列表中,所述负值用于表征所述第一检测框能向右无限扩展。
一实施方式中,所述第三处理子模块,用于所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的上扩处理,使用所述下值列表中的存储下值依序减去所述第一检测框的上值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入上扩列表;在所述上扩列表中,所述负值用于表征所述第一检测框能向上无限扩展;在所述上扩列表中,所述绝对值用于表征所述第一检测框能向上扩展所述绝对值所标定的距离。
一实施方式中,所述第三处理子模块,用于所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的下扩处理,使用所述上值列表中存储上值依序减去所述第一检测框的下值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入下扩列表;在所述下扩列表中,所述差值用于表征所述第一检测框能向下扩展所述差值所标定的距离;在所述下扩列表中,所述负值用于表征所述第一检测框能向下无限扩展。
一实施方式中,所述第五处理子模块,用于根据所述中心点坐标,得到与所述第一检测框在距离上处于最近邻的多个参考检测框;根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到所述多个第二检测框。
一实施方式中,所述第五处理子模块,用于根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到多个候选的外扩检测框;从所述多个候选的外扩检测框中,选取与所述多个参考检测框处于不相交状态的多个外扩检测框,并作为所述多个第二检测框。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图8所示,是用来实现本申请实施例的检测框自适应外扩方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的检测框自适应外扩方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的检测框自适应外扩方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的检测框自适应外扩方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的检测框自适应外扩方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
检测框自适应外扩方法的电子设备,还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (22)

1.一种检测框自适应外扩的方法,其特征在于,所述方法包括:
获取待处理目标对象的第一检测框;
根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;
将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取所采集当前图像中非第一检测框的其他检测框;
根据所述第一检测框及所述非第一检测框的其他检测框,得到所述当前图像中所有框位置的全局信息;
根据所述全局信息,确定所述框边界外扩区域的标定坐标;
其中,所述全局信息包括:中心点的横纵坐标值列表、左值列表、右值列表、上值列表和下值列表。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框,包括:
获取所采集当前图像中所有检测框的坐标,其中,所述所有检测框包括:所述第一检测框及非第一检测框的其他检测框;
根据所述所有检测框的坐标,得到所述所有检测框分别对应的中心点横纵坐标值、及分别用于标定所有检测框位置的上下左右坐标值;
根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标;
根据所述所有检测框分别对应的中心点横纵坐标值,确定所述第一检测框的中心点坐标;
根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框。
4.根据权利要求3所述的方法,其特征在于,所述根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标,包括:
根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围;
基于所述扩展范围,确定所述框边界外扩区域的标定坐标。
5.根据权利要求4所述的方法,其特征在于,所述根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围,包括:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的左扩处理,使用所述右值列表中的存储右值依序减去所述第一检测框的左值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入左扩列表;
在所述左扩列表中,所述负值用于表征所述第一检测框能向左无限扩展;
在所述左扩列表中,所述绝对值用于表征所述第一检测框能向左扩展所述绝对值所标定的距离。
6.根据权利要求4所述的方法,其特征在于,所述根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围,包括:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的右扩处理,使用所述左值列表中存储左值依序减去所述第一检测框的右值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入右扩列表;
在所述右扩列表中,所述差值用于表征所述第一检测框能向右扩展所述差值所标定的距离;
在所述右扩列表中,所述负值用于表征所述第一检测框能向右无限扩展。
7.根据权利要求4所述的方法,其特征在于,所述根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围,包括:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的上扩处理,使用所述下值列表中的存储下值依序减去所述第一检测框的上值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入上扩列表;
在所述上扩列表中,所述负值用于表征所述第一检测框能向上无限扩展;
在所述上扩列表中,所述绝对值用于表征所述第一检测框能向上扩展所述绝对值所标定的距离。
8.根据权利要求4所述的方法,其特征在于,所述根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围,包括:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的下扩处理,使用所述上值列表中存储上值依序减去所述第一检测框的下值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入下扩列表;
在所述下扩列表中,所述差值用于表征所述第一检测框能向下扩展所述差值所标定的距离;
在所述下扩列表中,所述负值用于表征所述第一检测框能向下无限扩展。
9.根据权利要3-8中任一项所述的方法,其特征在于,所述根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框,包括:
根据所述中心点坐标,得到与所述第一检测框在距离上处于最近邻的多个参考检测框;
根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到所述多个第二检测框。
10.根据权利要求9所述的方法,其特征在于,所述根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到所述多个第二检测框,包括:
根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到多个候选的外扩检测框;
从所述多个候选的外扩检测框中,选取与所述多个参考检测框处于不相交状态的多个外扩检测框,并作为所述多个第二检测框。
11.一种检测框自适应外扩的装置,其特征在于,所述装置包括:
获取模块,用于获取待处理目标对象的第一检测框;
外扩处理模块,用于根据所述第一检测框的中心点坐标、及框边界外扩区域的标定坐标,对所述第一检测框进行自适应外扩处理,得到多个第二检测框;
检测框确定模块,用于将所述多个第二检测框中框面积最大的外扩框,确定为目标检测框。
12.根据权利要求11所述的装置,其特征在于,还包括:
图像采集模块,用于获取所采集当前图像中非第一检测框的其他检测框;
全局信息确定模块,用于根据所述第一检测框及所述非第一检测框的其他检测框,得到所述当前图像中所有框位置的全局信息;
标定坐标确定模块,用于根据所述全局信息,确定所述框边界外扩区域的标定坐标;
其中,所述全局信息包括:中心点的横纵坐标值列表、左值列表、右值列表、上值列表和下值列表。
13.根据权利要求11所述的装置,其特征在于,所述外扩处理模块,包括:
第一处理子模块,用于获取所采集当前图像中所有检测框的坐标,其中,所述所有检测框包括:所述第一检测框及非第一检测框的其他检测框;
第二处理子模块,用于根据所述所有检测框的坐标,得到所述所有检测框分别对应的中心点横纵坐标值、及分别用于标定所有检测框位置的上下左右坐标值;
第三处理子模块,用于根据所述分别用于标定所有检测框位置的上下左右坐标值,确定所述框边界外扩区域的标定坐标;
第四处理子模块,用于根据所述所有检测框分别对应的中心点横纵坐标值,确定所述第一检测框的中心点坐标;
第五处理子模块,用于根据所述中心点坐标对所述标定坐标校正后,对所述第一检测框进行自适应外扩处理,得到所述多个第二检测框。
14.根据权利要求13所述的装置,其特征在于,所述第三处理子模块,用于:
根据所述分别用于标定检测框位置的上下左右坐标值,得到所述第一检测框相对于所述非第一检测框的其他检测框向上下左右外扩的扩展范围;
基于所述扩展范围,确定所述框边界外扩区域的标定坐标。
15.根据权利要求14所述的装置,其特征在于,所述第三处理子模块,用于:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的左扩处理,使用所述右值列表中的存储右值依序减去所述第一检测框的左值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入左扩列表;
在所述左扩列表中,所述负值用于表征所述第一检测框能向左无限扩展;
在所述左扩列表中,所述绝对值用于表征所述第一检测框能向左扩展所述绝对值所标定的距离。
16.根据权利要求14所述的装置,其特征在于,所述第三处理子模块,用于:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的右扩处理,使用所述左值列表中存储左值依序减去所述第一检测框的右值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入右扩列表;
在所述右扩列表中,所述差值用于表征所述第一检测框能向右扩展所述差值所标定的距离;
在所述右扩列表中,所述负值用于表征所述第一检测框能向右无限扩展。
17.根据权利要求14所述的装置,其特征在于,所述第三处理子模块,用于:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的上扩处理,使用所述下值列表中的存储下值依序减去所述第一检测框的上值,如果得到的差值大于零,则记为所标定的负值;否则,记为绝对值,之后写入上扩列表;
在所述上扩列表中,所述负值用于表征所述第一检测框能向上无限扩展;
在所述上扩列表中,所述绝对值用于表征所述第一检测框能向上扩展所述绝对值所标定的距离。
18.根据权利要求14所述的装置,其特征在于,所述第三处理子模块,用于:
所述分别用于标定检测框位置的上下左右坐标值,分别存储于上值列表、下值列表、左值列表和右值列表的情况下,响应于针对所述第一检测框的下扩处理,使用所述上值列表中存储上值依序减去所述第一检测框的下值,如果得到的差值大于零,则记录所述差值;否则,记为所标定的负值,之后写入下扩列表;
在所述下扩列表中,所述差值用于表征所述第一检测框能向下扩展所述差值所标定的距离;
在所述下扩列表中,所述负值用于表征所述第一检测框能向下无限扩展。
19.根据权利要求13-18中任一项所述的装置,其特征在于,所述第五处理子模块,用于:
根据所述中心点坐标,得到与所述第一检测框在距离上处于最近邻的多个参考检测框;
根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到所述多个第二检测框。
20.根据权利要求19所述的装置,其特征在于,所述第五处理子模块,用于:
根据所述多个参考检测框,对所述第一检测框的外扩处理结果进行校正后,得到多个候选的外扩检测框;
从所述多个候选的外扩检测框中,选取与所述多个参考检测框处于不相交状态的多个外扩检测框,并作为所述多个第二检测框。
21.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行权利要求1-10中任一项所述的方法。
CN202110519451.6A 2021-05-13 2021-05-13 检测框自适应外扩方法、装置、电子设备及存储介质 Active CN112949661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519451.6A CN112949661B (zh) 2021-05-13 2021-05-13 检测框自适应外扩方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519451.6A CN112949661B (zh) 2021-05-13 2021-05-13 检测框自适应外扩方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112949661A true CN112949661A (zh) 2021-06-11
CN112949661B CN112949661B (zh) 2021-08-06

Family

ID=76233747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519451.6A Active CN112949661B (zh) 2021-05-13 2021-05-13 检测框自适应外扩方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112949661B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113469148A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 一种文本擦除方法及模型的训练方法、装置、存储介质
CN113486881A (zh) * 2021-09-03 2021-10-08 北京世纪好未来教育科技有限公司 一种文本识别方法、装置、设备及介质
CN115375674A (zh) * 2022-10-21 2022-11-22 武汉楚精灵医疗科技有限公司 胃白光瘤变图像识别方法、装置及存储介质
CN117935225A (zh) * 2024-03-13 2024-04-26 安徽蔚来智驾科技有限公司 交通信号灯的遮挡识别方法、智能设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424638A (zh) * 2013-08-27 2015-03-18 深圳市安芯数字发展有限公司 一种基于遮挡情况下的目标跟踪方法
US20190004166A1 (en) * 2017-06-29 2019-01-03 Delphi Technologies, Llc Method to determine the orientation of a target vehicle
CN110069983A (zh) * 2019-03-08 2019-07-30 深圳神目信息技术有限公司 基于显示媒质的活体识别方法、装置、终端及可读介质
CN111738072A (zh) * 2020-05-15 2020-10-02 北京百度网讯科技有限公司 目标检测模型的训练方法、装置及电子设备
CN111832497A (zh) * 2020-07-17 2020-10-27 西南大学 一种基于几何特征的文本检测后处理方法
CN112214192A (zh) * 2020-10-22 2021-01-12 深圳市皓丽智能科技有限公司 智能交互平板的操作方法、系统、计算机设备及存储介质
CN112507758A (zh) * 2019-09-16 2021-03-16 深圳中兴网信科技有限公司 答题卡字符串识别方法、装置、终端和计算机存储介质
CN112560592A (zh) * 2020-11-30 2021-03-26 深圳市商汤科技有限公司 图像处理方法及装置、终端控制方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424638A (zh) * 2013-08-27 2015-03-18 深圳市安芯数字发展有限公司 一种基于遮挡情况下的目标跟踪方法
US20190004166A1 (en) * 2017-06-29 2019-01-03 Delphi Technologies, Llc Method to determine the orientation of a target vehicle
CN110069983A (zh) * 2019-03-08 2019-07-30 深圳神目信息技术有限公司 基于显示媒质的活体识别方法、装置、终端及可读介质
CN112507758A (zh) * 2019-09-16 2021-03-16 深圳中兴网信科技有限公司 答题卡字符串识别方法、装置、终端和计算机存储介质
CN111738072A (zh) * 2020-05-15 2020-10-02 北京百度网讯科技有限公司 目标检测模型的训练方法、装置及电子设备
CN111832497A (zh) * 2020-07-17 2020-10-27 西南大学 一种基于几何特征的文本检测后处理方法
CN112214192A (zh) * 2020-10-22 2021-01-12 深圳市皓丽智能科技有限公司 智能交互平板的操作方法、系统、计算机设备及存储介质
CN112560592A (zh) * 2020-11-30 2021-03-26 深圳市商汤科技有限公司 图像处理方法及装置、终端控制方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860493A (zh) * 2020-06-12 2020-10-30 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN111860493B (zh) * 2020-06-12 2024-02-09 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113469148A (zh) * 2021-09-02 2021-10-01 北京世纪好未来教育科技有限公司 一种文本擦除方法及模型的训练方法、装置、存储介质
CN113469148B (zh) * 2021-09-02 2021-11-12 北京世纪好未来教育科技有限公司 一种文本擦除方法及模型的训练方法、装置、存储介质
CN113486881A (zh) * 2021-09-03 2021-10-08 北京世纪好未来教育科技有限公司 一种文本识别方法、装置、设备及介质
CN113486881B (zh) * 2021-09-03 2021-12-07 北京世纪好未来教育科技有限公司 一种文本识别方法、装置、设备及介质
CN115375674A (zh) * 2022-10-21 2022-11-22 武汉楚精灵医疗科技有限公司 胃白光瘤变图像识别方法、装置及存储介质
CN115375674B (zh) * 2022-10-21 2023-02-03 武汉楚精灵医疗科技有限公司 胃白光瘤变图像识别方法、装置及存储介质
CN117935225A (zh) * 2024-03-13 2024-04-26 安徽蔚来智驾科技有限公司 交通信号灯的遮挡识别方法、智能设备及存储介质

Also Published As

Publication number Publication date
CN112949661B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN112949661B (zh) 检测框自适应外扩方法、装置、电子设备及存储介质
US11605214B2 (en) Method, device and storage medium for determining camera posture information
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
EP3869403A2 (en) Image recognition method, apparatus, electronic device, storage medium and program product
CN111784663B (zh) 零部件的检测方法、装置、电子设备及存储介质
CN107766349B (zh) 一种生成文本的方法、装置、设备及客户端
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
JP2021103555A (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
EP3819820B1 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
CN111832396B (zh) 文档布局的解析方法、装置、电子设备和存储介质
KR102643425B1 (ko) 차량의 차로변경을 탐지하는 방법과 장치, 전자 기기, 저장 장치, 노변 기기, 클라우드 제어 플랫폼 및 프로그램 제품
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
CN112232315B (zh) 文本框检测方法、装置、电子设备和计算机存储介质
CN111738263A (zh) 目标检测方法、装置、电子设备及存储介质
CN113033346B (zh) 文本检测方法、装置和电子设备
JP7389824B2 (ja) オブジェクト識別方法と装置、電子機器及び記憶媒体
CN112308051A (zh) 文本框检测方法、装置、电子设备和计算机存储介质
CN112990127B (zh) 目标识别方法、装置、电子设备及存储介质
CN111967490A (zh) 用于地图检测的模型训练方法和地图检测方法
CN111709428A (zh) 图像中关键点位置的识别方法、装置、电子设备及介质
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN111524165A (zh) 目标跟踪方法和装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112749701B (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
CN116824609B (zh) 文档版式检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant