CN112507983B - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112507983B
CN112507983B CN202110144096.9A CN202110144096A CN112507983B CN 112507983 B CN112507983 B CN 112507983B CN 202110144096 A CN202110144096 A CN 202110144096A CN 112507983 B CN112507983 B CN 112507983B
Authority
CN
China
Prior art keywords
target detection
image
height
detected
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110144096.9A
Other languages
English (en)
Other versions
CN112507983A (zh
Inventor
欧阳世壮
何小坤
刘霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110144096.9A priority Critical patent/CN112507983B/zh
Publication of CN112507983A publication Critical patent/CN112507983A/zh
Application granted granted Critical
Publication of CN112507983B publication Critical patent/CN112507983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种目标检测方法、装置、电子设备及存储介质。其中,所述目标检测方法包括:获得待检测图像的第一高度,第一高度为针对目标的高度;获取多个目标检测模型对应的优选高度范围;基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。能够在不修改目标检测模型网络表示能力的条件下,提供自适应目标检测,有效地扩大了目标检测能力,提高了目标检测的精度与效率。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
目前,在通过目标检测模型对图像进行目标检测时,图像中会存在多尺度的情况,比如,对图像进行文本检测时,会存在多尺度文本行,过大或者过小的尺寸,都会导致目标检测的精度与效率低下。相关技术中,针对文本行尺度检测指标差异大的优化方法,通常是修改网络的感受野和引入目标周围的上下文信息,而在实际的检测应用中,修改感受野和引入目标上下文信息涉及到繁杂的超参数调整,不合适的感受野和额外的上下文信息会损害网络的表示能力,效果不佳。
发明内容
本申请实施例提供目标检测方法、装置、电子设备及存储介质,以解决相关技术存在的问题。
根据本申请的第一方面,提供一种目标检测方法,包括:
获得待检测图像的第一高度,第一高度为针对目标的高度;
获取多个目标检测模型对应的优选高度范围;
基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。
在一种实施方式中,基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型,包括:
将待检测图像的第一高度与多个目标检测模型对应的优选高度范围进行比较;
将待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为第一目标检测模型。
在一种实施方式中,还包括:
若确定出多个第一目标检测模型,分别利用确定出的每个第一目标检测模型对待检测图像进行目标检测,并将得到的每个第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为待检测图像的检测结果。
在一种实施方式中,还包括:
若待检测图像的第一高度均不在多个目标检测模型对应的优选高度范围内,从多个目标检测模型中确定出一个目标检测模型作为第一目标检测模型,并基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测。
在一种实施方式中,基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测,包括:
若待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将待检测图像缩小,并利用确定出的第一目标检测模型对缩小后的待检测图像进行目标检测。
在一种实施方式中,基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测,包括:
若待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将待检测图像放大,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测。
在一种实施方式中,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测,包括:
若放大后的待检测图像的第二高度大于预设的规范高度,其中,第二高度为针对图像尺寸的高度,将待检测图像裁剪成第一部分图像和第二部分图像;
基于第三缩放比例,分别将第一部分图像和第二部分图像放大,利用确定出的第一目标检测模型分别对放大后的第一部分图像和第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;
将第一部分检测结果和第二部分检测结果拼接。
在一种实施方式中,预设的缩放比例是基于第一高度和确定出的第一目标检测模型的优选高度范围的上限和下限确定的。
在一种实施方式中,获得待检测图像的第一高度,包括:
利用多个目标检测模型之一或者多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对待检测图像进行目标检测,并且基于检测结果,得到待检测图像的第一高度。
在一种实施方式中,第一高度为所针对的待检测图像中的各目标的检测高度的平均值。
在一种实施方式中,还包括:
在第二目标检测模型与第一目标检测模型为同一模型的情况下,且待检测图像的第一高度在第一目标检测模型的优选高度范围内,将第二目标检测模型的检测结果作为确定出的第一目标检测模型的检测结果。
在一种实施方式中,还包括:
在待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限的情况下,将确定出的第一目标检测模型的检测结果作为待检测图像的检测结果。
在一种实施方式中,还包括:
在待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限的情况下,将第一目标检测模型的检测结果与第二目标检测模型的检测结果叠加,作为待检测图像的检测结果。
在一种实施方式中,还包括:
针对多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到每个验证图像的目标检测结果,基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取多个目标检测模型对应的优选高度范围。
在一种实施方式中,基于所有验证图像的目标检测结果,确定该目标检测模型的优选高度范围,包括:
基于通过该目标检测模型得到的验证图像的目标检测结果,得到验证图像的高度和对应的性能值;
统计所有验证图像的高度和对应的性能值,得到高度与性能值的分布信息;
基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。
在一种实施方式中,基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围,包括:
对所有验证图像的性能值求平均值,得到第一平均值;
基于分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;
若第二平均值与第一平均值的比值大于预设比值,将部分验证图像的性能值范围对应的高度的范围,作为该目标检测模型的优选高度范围。
根据本申请的第二方面,提供一种目标检测装置,包括:
高度获得模块,用于获得待检测图像的第一高度,第一高度为针对目标的高度;
范围获取模块,用于获取多个目标检测模型对应的优选高度范围;
模型确定模块,用于基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。
在一种实施方式中,模型确定模块,具体用于:
将待检测图像的第一高度与多个目标检测模型对应的优选高度范围进行比较;
将待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为第一目标检测模型。
在一种实施方式中,还包括第一检测模块,用于:
若确定出多个第一目标检测模型,分别利用确定出的每个第一目标检测模型对待检测图像进行目标检测,并将得到的每个第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为待检测图像的检测结果。
在一种实施方式中,还包括第二检测模块,用于:
若待检测图像的第一高度均不在多个目标检测模型对应的优选高度范围内,从多个目标检测模型中确定出一个目标检测模型作为第一目标检测模型,并基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块,具体用于:
若待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将待检测图像缩小,并利用确定出的第一目标检测模型对缩小后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块,具体用于:
若待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将待检测图像放大,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块,具体用于:
若放大后的待检测图像的第二高度大于预设的规范高度,其中,第二高度为针对图像尺寸的高度,将待检测图像裁剪成第一部分图像和第二部分图像;
基于第三缩放比例,分别将第一部分图像和第二部分图像放大,利用确定出的第一目标检测模型分别对放大后的第一部分图像和第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;
将第一部分检测结果和第二部分检测结果拼接。
在一种实施方式中,预设的缩放比例是基于第一高度和确定出的第一目标检测模型的优选高度范围的上限和下限确定的。
在一种实施方式中,高度获得模块,具体用于:
利用多个目标检测模型之一或者多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对待检测图像进行目标检测,并且基于检测结果,得到待检测图像的第一高度。
在一种实施方式中,第一高度为所针对的待检测图像中的各目标的检测高度的平均值。
在一种实施方式中,第一检测模块,具体用于:
在第二目标检测模型与第一目标检测模型为同一模型的情况下,且待检测图像的第一高度在第一目标检测模型的优选高度范围内,将第二目标检测模型的检测结果作为确定出的第一目标检测模型的检测结果。
在一种实施方式中,第二检测模块,具体用于:
在待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限的情况下,将确定出的第一目标检测模型的检测结果作为待检测图像的检测结果。
在一种实施方式中,第二检测模块,具体用于:
在待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限的情况下,将第一目标检测模型的检测结果与第二目标检测模型的检测结果叠加,作为待检测图像的检测结果。
在一种实施方式中,还包括范围确定模块,用于:
针对多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到每个验证图像的目标检测结果,基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取多个目标检测模型对应的优选高度范围。
在一种实施方式中,范围确定模块,具体用于:
基于通过该目标检测模型得到的验证图像的目标检测结果,得到验证图像的高度和对应的性能值;
统计所有验证图像的高度和对应的性能值,得到高度与性能值的分布信息;
基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。
在一种实施方式中,范围确定模块,具体用于:
对所有验证图像的性能值求平均值,得到第一平均值;
基于分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;
若第二平均值与第一平均值的比值大于预设比值,将部分验证图像的性能值范围对应的高度的范围,作为该目标检测模型的优选高度范围。
根据本申请的第三方面,提供一种电子设备,包括存储器和处理器,该存储器内存储有可在处理器上运行的计算机程序,处理器执行该计算机程序时实现如第一方面任一的方法。
根据本申请的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,该计算机程序被处理器执行时实现如第一方面任一的方法。
上述技术方案中的优点或有益效果至少包括:能够在不修改目标检测模型网络表示能力的条件下,提供自适应目标检测,更好地应对目标过大或过小的情况,有效地扩大了目标检测能力,提高了目标检测的精度与效率。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1为根据本申请一实施例的目标检测方法的流程图;
图2为根据本申请另一实施例的CTPN模型的结构示意图;
图3为根据本申请另一实施例的图像处理方法的示意图;
图4为根据本申请另一实施例的目标区域的示意图;
图5为根据本申请另一实施例的待检测图像裁剪两部分后放大检测的示意图;
图6为根据本申请另一实施例的目标检测方法的流程图;
图7为根据本申请另一实施例的目标检测方法的流程图;
图8为根据本申请另一实施例的误检测的示意图;
图9为根据本申请另一实施例的优化误检测的示意图;
图10为根据本申请另一实施例的漏检测的示意图;
图11为根据本申请另一实施例的优化漏检测的示意图;
图12为根据本申请另一实施例的目标检测装置的结构示意图;
图13为根据本申请另一实施例的目标检测装置的结构示意图;
图14为根据本申请另一实施例的目标检测装置的结构示意图;
图15为根据本申请另一实施例的目标检测装置的结构示意图;以及
图16为用来实现本申请另一实施例的电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1为根据本申请一实施例的目标检测方法的流程图。如图1所示,该目标检测方法,可以包括:
步骤S101:获得待检测图像的第一高度,第一高度为针对目标的高度。
步骤S102:获取多个目标检测模型对应的优选高度范围。
步骤S103:基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。
其中,待检测图像中的目标的类型可以但不限于文本类型。
对于图像来说,可以通过像素的宽度和高度来表示图像整体的尺寸或者图像中目标的尺寸。以上针对目标的高度,可以是所针对目标所在区域的像素高度。对于待检测图像来说,待检测图像的第一高度,即所针对的待检测图像中的各目标所在区域的像素高度。
目标检测模型的优选高度范围是对于训练好的目标检测模型来说,支持的检测性能较高的针对目标的高度范围。这里的性能可以是检测的精度。每个目标检测模型都有各自的优选高度范围。各目标检测模型的优选高度范围各不相同,但可以有重叠的部分。
如此,在有多个目标检测模型的情况下,基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,可以自适应地从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型,从而综合利用不同目标检测模型支持的优选高度范围,在不修改目标检测模型网络表示能力的条件下,提供自适应目标检测,更好的应对目标过大或过小的情况,有效地扩大了目标检测能力,提高了目标检测的精度与效率。
实际应用中,在对图像进行处理之前,需要进行尺寸规范化处理,即进行归一化处理,将图像的尺寸处理成规范尺寸,使得后续处理更准确。这里,图像的尺寸包括宽度
Figure DEST_PATH_IMAGE001
和高度
Figure DEST_PATH_IMAGE002
。实施中,可以通过移动设备的拍照功能或者扫描仪的扫描功能获取图像。获取图像之后,对于图像的宽度
Figure 904736DEST_PATH_IMAGE001
大于规定的规范宽度
Figure DEST_PATH_IMAGE003
,高度
Figure 399040DEST_PATH_IMAGE002
大于规范高度
Figure DEST_PATH_IMAGE004
的图像进行同比例缩放,缩放比例
Figure DEST_PATH_IMAGE005
,即取
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
两者中的最小值。
实际应用中,还可以通过先验得到目标检测模型能支持的优选高度范围,先验是根据统计以往经验和常识而得到的概率。基于此,目标检测方法还可以包括:针对多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到每个验证图像的目标检测结果,基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取多个目标检测模型对应的优选高度范围。实施中,可以根据经验选取验证图像,形成验证集,输入到目标检测模型中。目标检测模型是基于训练集训练好的检测模型。由于目标检测模型的训练集、验证集以及测试(即要实际检测的图像,也称为“待检测图像”)集中样本尺度保持一致能取得更好的效果,即,检测性能更佳。因此,可以通过验证集来确定出各目标检测模型对应的优选高度范围,为后续基于待检测图像的第一高度和目标检测模型的优选高度范围确定是否用该目标检测模型来对于待检测图像进行目标检测以达到较好的检测效果,奠定了基础。
在一种实施方式中,基于所有验证图像的目标检测结果,确定该目标检测模型的优选高度范围,可以包括:基于通过该目标检测模型得到的验证图像的目标检测结果,得到验证图像的高度和对应的性能值;统计所有验证图像的高度和对应的性能值,得到高度与性能值的分布信息;基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。其中的性能值可以为检测精度。
需要说明的是,验证图像的高度是针对验证图像中的目标的高度。
这里,经过统计之后得到的分布信息,模型的性能表现是类似正态分布的,因此,检测模型的性能会存在一个顶点,即模型的性能表现最好的那个高度点,基于此,可以准确的得到满足预设性能条件的目标检测模型的优选高度范围。
在一种实施方式中,基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围,具体实现方式可以包括:对所有验证图像的性能值求平均值,得到第一平均值;基于分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;若第二平均值与第一平均值的比值大于预设比值,将部分验证图像的性能值范围对应的高度的范围,作为该目标检测模型的优选高度范围。目标检测模型的优选高度范围的选择公式如下:
Figure DEST_PATH_IMAGE008
(1)
其中,M表示验证图像的数量,
Figure DEST_PATH_IMAGE009
表示第一平均值,
Figure DEST_PATH_IMAGE010
表示第二平均值。α为预设比值,α取值大于或者等于1。
如此,可以选择模型性能表现最好的高度周围的高度所形成的一个高度范围,比如,高度为hh时表现最好,取性能最好的高度hh左右两侧的、性能表现在预设性能值以上的高度所形成的那个高度范围
Figure DEST_PATH_IMAGE011
,可以在性能最好的高度hh两侧对称选取一个高度范围。其中,预设性能值的取值可以根据实际需要设置,比如设置为90%。
以文本目标为例,目标检测模型可以但不限于为深度神经网络场景文字检测CTPN(Connectionist Text Proposal Network)。参见图2所示的CTPN模型结构,(a)部分:首先,利用特征提取网络层对输入图像进行特征提取,例如,将计算机视觉几何组(VGG,VisualGeometry Group)提出的一种16层深度卷积神经网络VGG16,作为特征提取网络层,其中,VGG16的输出层为第五个卷积层(Conv5),因此,VGG16通过Conv5来输出特征提取结果。然后,利用候选提取网络层对特征提取网络层输出的特征提取结果提取目标候选区域,例如,可以将一个卷积层作为候选提取网络层,参见图2示意的VGG16右侧的目标候选区域提取过程,利用3×3的滑动窗口(参见图中的大方框),按照步长为1滑动以遍历Conv5输出的特征提取结果的每个区域,得到C个3×3的特征图,也即3×3×C的特征图。之后,将候选提取网络层得到的目标候选区域,输入双向长短时记忆(Bidirectional Long Short-TermMemory,BLSTM)神经网络,经循环(Recurrent),得到考虑了上下文联系的目标候选区域的特征序列,参见图2,可以先将3×3×C的特征图转换成256维(Dimension,D)的特征向量,再输入LSTM模型。最后,将LSTM模型输出的目标候选区域的特征序列输入到全连接层(FC),假设可以获得的输出如下:例如2k个目标检测框的y坐标(vertical coordinate),2k个评分(score),k个边缘细化(side-refinement),k表示目标检测框数量。(b)部分示意了图像的检测结果。由于CTPN模型对文本大小的检测性能差异主要由文本高度差异引起,因此可以通过先验得到模型能支持的优选高度范围
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
,模型在该文本高度范围内能取得较好的检测精度和召回。
在一种实施方式中,第一高度可以为所针对的待检测图像中的各目标的检测高度的平均值。实际应用中,所针对的待检测图像中的各目标可以是待检测图像中的所有目标,也可以是待检测图像中的所有目标的一部分,可以根据实际需要进行设置。如此,可以快速得到的待检测图像的第一高度,且准确表达待检测图像的目标的高度。
当然,第一高度也可以为其它方式得到的针对目标的高度,例如,第一高度也可以为所针对的待检测图像中的各目标的检测高度加权取平均后的值。
实际应用中,获得待检测图像的第一高度的具体方式有多种。下面列举两种方式。
方式一、
在一种实施方式中,步骤S101,获得待检测图像的第一高度,具体实现方式可以包括:利用多个目标检测模型之一或者多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对待检测图像进行目标检测,并且基于检测结果,得到待检测图像的第一高度。
第二目标检测模型为神经网络模型,对待检测图像进行目标检测后,检测到的目标,用检测框框住。
若待检测图像的第一高度为所针对的待检测图像中的各目标的检测高度的平均值,经过第二目标检测模型后,基于检测结果得到各目标i的检测高度为
Figure DEST_PATH_IMAGE014
,目标数量为N,基于此,可以针对所有目标,得到第一高度,也即,所针对的待检测图像中的各目标的检测高度的平均值为
Figure DEST_PATH_IMAGE015
,或者,可以针对待检测图中所有目标中的一部分,得到第一高度,也即,所针对的待检测图像中的各目标的检测高度的平均值为
Figure DEST_PATH_IMAGE016
N’小于N,实施中,可以将所有目标中去除检测高度最高的一部分目标和检测高度最低的一部分目标,针对剩余的目标,得到第一高度。
如此,通过经过训练的目标检测模型,得到待检测图像的第一高度,精度较高。
方式二、
在一种实施方式中,利用图像处理算法对待检测图像进行目标检测,基于检测结果,得到待检测图像的第一高度。
具体的,如图3所示,对待检测图像进行二值化处理,对为第一像素值的像素点,进行形态学横向膨胀,得到连通域轮廓,保留连通域轮廓的检测高度处在待检测图像的中部区域之间(比如在图像尺寸的高度5%-95%之间)的连通域,将保留的每个连通域作为检测到的目标。其中,膨胀核的尺寸Size可以根据实际需要设置,例如为(10*h’,h’),h’为可调节的参数,例如,h’可以为1。其中,保留中部区域的连通域,是为了过滤掉高度边界区域显示不全的目标,这些为异常值,经过滤后可消除异常值的影响。
若待检测图像的第一高度为所针对的待检测图像中的各目标的检测高度的平均值,计算各目标的检测高度的平均值,具体的,基于检测得到的N个目标,计算目标i的检测高度(也即连通域轮廓)
Figure 696554DEST_PATH_IMAGE014
,基于此,同样,可以针对所有目标,得到第一高度,也即,所针对的待检测图像中的各目标的检测高度的平均值为
Figure 826184DEST_PATH_IMAGE015
,或者,可以针对待检测图中所有目标中的一部分,得到第一高度,也即,所针对的待检测图像中的各目标的检测高度的平均值为
Figure 312660DEST_PATH_IMAGE016
N’小于N,实施中,可以将所有目标中去除检测高度最高的一部分目标和检测高度最低的一部分目标,针对剩余的目标,得到第一高度。
如此,通过图像处理算法来得到待检测图像的第一高度,计算代价少。
在一种实施方式中,步骤S103中,基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型,具体实现方式可以包括:将待检测图像的第一高度与多个目标检测模型对应的优选高度范围进行比较;将待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为第一目标检测模型。
如果待检测图像的第一高度在目标检测模型的优选高度范围内,说明待检测图像的第一高度与该目标检测模型支持的优选高度范围相匹配,能够达到较高的检测精度,如此,基于待检测图像的第一高度从多个目标检测模型自动选择一个匹配的目标检测模型,提高了目标检测精度和效率。
在一种实施方式中,目标检测方法还可以包括:若确定出多个第一目标检测模型,分别利用确定出的每个第一目标检测模型对待检测图像进行目标检测,并将得到的每个第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为待检测图像的检测结果。
由于各目标检测模型的优选高度范围有重叠的部分,待检测图像的第一高度可能会在多个目标检测模型对应的优选高度范围内,即有多个匹配的第一目标检测模型,这时,可以利用每个第一目标检测模型都对待检测图像进行目标检测,之后,将得到的每个第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为待检测图像的检测结果。
融合时,可以为每个第一目标检测模型的检测结果分配一定权重,然后加权求和,得到融合的检测结果。分配权重时,检测结果的精度越高,分配的权重越高。或者,融合时,可以直接选择检测精度最高的第一目标检测模型的检测结果,得到融合的检测结果。
如此,综合多个第一目标检测模型的检测结果,可以将各尺度目标的最优的检测结果都融合进去,可以进一步提高检测精度。
在一种实施方式中,目标检测方法还可以包括:若待检测图像的第一高度均不在多个目标检测模型对应的优选高度范围内,从多个目标检测模型中确定出一个目标检测模型作为第一目标检测模型,并基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测。
从多个目标检测模型中确定出一个目标检测模型,具体的,可以任意选择一个目标检测模型作为第一目标检测模型,也可以分别确定出每个目标检测模型的优选高度范围的中间高度,选择中间高度与待检测图像的第一高度最接近的目标检测模型,作为第一目标检测模型,可以尽可能的提高检测精度。
本方案中,对待检测图像进行缩放处理,缩放到合适的大小,以与第一目标检测模型进行匹配,从而提高检测精度。
在一种实施方式中,预设的缩放比例是基于第一高度和确定出的第一目标检测模型的优选高度范围的上限和下限确定的。如此,确定出的预设的缩放比例更加准确,可以对待检测图像进行准确的缩放。具体的,预设的缩放比例可以为第一高度与第一目标检测模型的优选高度范围的上限和下限的平均值的比值。预设的缩放比例公式为:
Figure DEST_PATH_IMAGE017
(2)
Figure DEST_PATH_IMAGE018
表示预设的缩放比例,
Figure DEST_PATH_IMAGE019
表示第一高度,
Figure DEST_PATH_IMAGE020
表示第一目标检测模型的优选高度范围的下限,
Figure DEST_PATH_IMAGE021
表示第一目标检测模型的优选高度范围的上限。如此,缩放之后,第一高度更接近性能表现最好的高度。
在一种实施方式中,基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测,具体实现方式包括:若待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将待检测图像缩小,并利用确定出的第一目标检测模型对缩小后的待检测图像进行目标检测。
在待检测图像的第一高度超出第一目标检测模型的优选高度范围的上限时,认为目标过大,会影响目标的检测效果,容易出现误检测,可以适当缩小。此时,基于待检测图像的第一高度、确定出的第一目标检测模型的优选高度范围的上限和下限,以及公式(2)得到的第一缩放比例,将待检测图像缩小,相应的,待检测图像的第一高度也会随着缩小,从而落在第一目标检测模型的优选高度范围内,从而可以对目标进行有效的检测。
在一种实施方式中,基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测,具体实现方式可以包括:若待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将待检测图像放大,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测。
在待检测图像的第一高度低于第一目标检测模型的优选高度范围的下限时,认为目标过小,会影响目标的检测效果,容易出现漏检,可以适当放大。此时,基于待检测图像的第一高度、确定出的第一目标检测模型的优选高度范围的上限和下限,以及公式(2)得到第二缩放比例,将待检测图像放大,相应的,待检测图像的第一高度也会随着放大,从而落在第一目标检测模型的优选高度范围内,从而可以对目标进行有效的检测。
若待检测图像中有过多不存在目标的区域,直接对待检测图像放大,会占用更长的耗时和现存,基于此,基于第二缩放比例,将待检测图像放大,具体实现方式可以包括:首先,确定出待检测图像中的目标区域,裁剪出待检测图像中的目标区域,基于第二缩放比例,对裁剪的目标区域进行放大。
其中,目标区域是指包含待检测图像中所有目标的最小检测框的区域。确定目标区域时,可以基于确定待检测图像的第一高度时的目标检测结果,确定出目标区域的至少两个顶点,比如,左上角点(x1,y1)和右下角点(x2,y2)。
以图4所示的待检测图像为例,左侧待检测图像的上方和下方均有大块的不包含文本目标的区域,中间的待检测图像中的大检测框示意出了确定的目标区域,右侧为裁剪出目标区域后的效果,只保留了与目标有关的部分,大大提高了处理效率。
在一种实施方式中,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测,具体实现方式可以包括:若放大后的待检测图像的第二高度大于预设的规范高度,其中,第二高度为针对图像尺寸的高度,将待检测图像裁剪成第一部分图像和第二部分图像;基于第三缩放比例,分别将第一部分图像和第二部分图像放大,利用确定出的第一目标检测模型分别对放大后的第一部分图像和第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;将第一部分检测结果和第二部分检测结果拼接。
上述第二高度也即图像整体像素高度。基于第二缩放比例,对待检测图像直接放大后,如果图像尺寸小于前述的规范尺寸,认为放大后,可以进行有效检测,且没有负面影响,如果放大后图像的第二高度超出规范高度,认为直接放大,将带来较长的耗时和显存占用,此时,可以将待检测图像裁剪成两部分,减小放大的基础,然后再对裁剪后的两部分图像分别放大检测,最后将两个检测结果拼接起来。
将待检测图像裁剪成第一部分图像和第二部分图像时,可以基于目标在图像整体高度上的密度,进行裁剪。具体的,可以统计目标在图像整体高度上的密度(即单位高度上目标的数量),将待检测图像裁剪成密度相等的两部分图像。如此,根据高度上的目标密度切分,能够更好的保证裁剪后的上下两部分图像包含的目标数量相当,且高度相似。
基于第三缩放比例,分别将第一部分图像和第二部分图像放大,具体实现方式可以包括:分别重新统计第一部分图像和第二部分图像中保留的目标的高度,基于统计结果,分别计算第一部分图像的第一高度和第二部分图像的第一高度,基于第一部分图像的第一高度、确定出的第一目标检测模型的优选高度范围的上限和下限,以及和公式(2)得到第四缩放比例,基于第四缩放比例,将第一部分图像放大,基于第二部分图像的第一高度、确定出的第一目标检测模型的优选高度范围的上限和下限,以及和公式(2)得到第五缩放比例,基于第五缩放比例,将第二部分图像放大。
这里,由于待检测图像分成了两部分,所以待检测图像的第一高度也包含两部分,也即,第一部分图像的第一高度和第二部分图像的第一高度。其中,第一部分图像的第一高度可以为所针对的第一部分图像中的各目标的检测高度的平均值,具体可以为第一部分图像包含的所有目标或者所有目标中的一部分的检测高度的平均值。同样的,第二部分图像的第一高度可以为所针对的第二部分图像中的各目标的检测高度的平均值,具体可以为第二部分图像包含的所有目标或者所有目标中的一部分的检测高度的平均值。可以将第一部分图像的第一高度和第二部分图像的第一高度记为
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
以示区分。
图5中左侧示意出了一个裁剪出目标区域的待检测图像,由于放大后过大,将该目标区域裁剪成上下两部分图像,参见图5左侧起第二列图像,分别放大后进行目标检测,参见左侧起第三列图像,最后将二者检测结果拼接,参见图5最右侧图像。
考虑确定待检测图像的第一高度时利用的第二目标检测模型可能为第一目标检测模型,此时,若待检测图像的第一高度在第一目标检测模型的优选高度范围内,说明第二目标检测模型的检测结果,也达到了有效检测,为减少计算,可以不必再进行二次检测,基于此,在一种实施方式中,在第二目标检测模型与第一目标检测模型为同一模型的情况下,且待检测图像的第一高度在第一目标检测模型的优选高度范围内,将第二目标检测模型的检测结果作为确定出的第一目标检测模型的检测结果。
在一种实施方式中,目标检测方法还可以包括:在待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限的情况下,将确定出的第一目标检测模型的检测结果作为待检测图像的检测结果。
由于在待检测图像的第一高度较大的情况下,容易出现误检,即使确定待检测图像的第一高度时利用第二目标检测模型进行过目标检测,也要舍弃该检测结果,并且将经缩放处理后,基于第一目标检测模型进行目标检测,即二次检测,得到的第一目标检测模型的结果作为最终的检测结果,尽可能优化误检测。
在一种实施方式中,目标检测方法还可以包括:在待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限的情况下,将第一目标检测模型的检测结果与第二目标检测模型的检测结果叠加,作为待检测图像的检测结果。
由于在待检测图像的第一高度较小的情况下,容易出现漏检测,由于确定待检测图像的第一高度时利用第二目标检测模型进行过目标检测,为尽可能的优化漏检测,可以将第二目标检测模型的检测结果与第一目标检测模型的检测结果叠加,得到最终的检测结果。特别的,如果将待检测图像裁剪成第一部分图像和第二部分图像,可能会存在一个目标被裁剪成两部分的情况,导致检测不出,叠加之后,可以优化该情况。
叠加时,可以基于非极大值抑制(Non-Maximum Suppression,NMS),将第二目标检测模型的检测结果与第一目标检测模型的检测结果叠加。NMS广泛应用于目标检测领域,目的是消除多余的候选框,得到最佳的目标检测框。通过NMS,可以得到与待检测目标较最匹配的检测框,从而可以准确地将两个结果叠加,相互补充,优化漏检测。
值得注意的是,确定待检测图像的第一高度时,如果利用的是图像处理算法进行目标检测,也可以将该图像处理算法的检测结果与第一目标检测模型的检测结果叠加,以优化漏检测。
以上,将第二目标检测模型的检测结果作为确定出的第一目标检测模型的检测结果,将确定出的第一目标检测模型的检测结果作为待检测图像的检测结果,将第二目标检测模型的检测结果与第一目标检测模型的检测结果叠加,以及将该图像处理算法的检测结果与第一目标检测模型的检测结果叠加,均可以称为选择框(或检测框)去重策略,最终目标检测结果效果大大提升。
下面以具体应用场景为例,对本申请实施例提供的目标检测方法进行更加详细地说明。
本应用场景中,对文本行进行检测,如图6所示,目标检测过程如下:
第一步:获取待检测图像,规范尺寸。具体参见以上相关实施例中尺寸规范化处理的过程,此处不再赘述。
第二步:获取多个目标检测模型对应的优选高度范围
Figure 1699DEST_PATH_IMAGE020
Figure 878520DEST_PATH_IMAGE021
第三步:获得当前待检测图像的第一高度
Figure 749524DEST_PATH_IMAGE019
。这里,第一高度为所针对的待检测图像中的各目标的检测高度的平均值。利用第二目标检测模型进行目标检测,进而获得当前待检测图像的第一高度。
第四步:基于当前待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。
如图7所示,若当前待检测图像的第一高度在目标检测模型的优选高度范围内,说明当前待检测图像的尺寸为合适尺寸,不缩放,可以将该目标检测模型作为第一目标检测模型。若待检测图像的第一高度均不在多个目标检测模型对应的优选高度范围内,确定出一个目标检测模型作为第一目标检测模型,若待检测图像的第一高度超出目标检测模型的优选高度范围的上限,说明当前待检测图像的尺寸大于合适尺寸,缩小检测,待检测图像的第一高度低于目标检测模型的优选高度范围的下限,说明当前待检测图像的尺寸小于合适尺寸,进行放大,放大后尺寸小于规范尺寸,直接放大检测,放大后尺寸大于规范尺寸,裁剪后放大检测。
具体实现方案可以参见以上相关实施例,此处不再赘述。
第五步:基于当前待检测图像缩放方式,进行检测框去重策略,得到最终检测结果。具体实现方案可以参见以上相关实施例,此处不再赘述。
图8示出了文本目标过大的待检测图像,图8左侧为待检测图像,右侧检测结果中将图8左侧待检测图像中存在的一个式子误检测成多个式子(一个检测框针对一个式子)。参见图9,左侧为误检测的情况,右侧为本方案的最终检测结果,可以看出,本方案准确地对每个式子进行了完整检测,优化了误检测的情况。
图10示出了文本目标过小的待检测图像,图10左侧为待检测图像,右侧检测结果中将图10左侧待检测图像中上方存在的多个式子漏检测了。参见图11,左侧为漏检测的情况,右侧为本方案的最终检测结果,可以看出,本方案准确地将漏检测的式子也完整检测了,优化了漏检测的情况。
本申请实施例还提供一种目标检测装置,如图12所示,包括:
高度获得模块1201,用于获得待检测图像的第一高度,第一高度为针对目标的高度;
范围获取模块1202,用于获取多个目标检测模型对应的优选高度范围;
模型确定模块1203,用于基于待检测图像的第一高度和多个目标检测模型对应的优选高度范围,从多个目标检测模型中确定要用来对待检测图像进行目标检测的目标检测模型作为第一目标检测模型。
在一种实施方式中,模型确定模块1203,具体用于:
将待检测图像的第一高度与多个目标检测模型对应的优选高度范围进行比较;
将待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为第一目标检测模型。
在一种实施方式中,如图13所示,还包括第一检测模块1204,用于:
若确定出多个第一目标检测模型,分别利用确定出的每个第一目标检测模型对待检测图像进行目标检测,并将得到的每个第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为待检测图像的检测结果。
在一种实施方式中,如图14所示,还包括第二检测模块1205,用于:
若待检测图像的第一高度均不在多个目标检测模型对应的优选高度范围内,从多个目标检测模型中确定出一个目标检测模型作为第一目标检测模型,并基于预设的缩放比例对待检测图像进行缩放处理,利用确定出的第一目标检测模型对缩放后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块1205,具体用于:
若待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将待检测图像缩小,并利用确定出的第一目标检测模型对缩小后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块1205,具体用于:
若待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将待检测图像放大,利用确定出的第一目标检测模型对放大后的待检测图像进行目标检测。
在一种实施方式中,第二检测模块1205,具体用于:
若放大后的待检测图像的第二高度大于预设的规范高度,其中,第二高度为针对图像尺寸的高度,将待检测图像裁剪成第一部分图像和第二部分图像;
基于第三缩放比例,分别将第一部分图像和第二部分图像放大,利用确定出的第一目标检测模型分别对放大后的第一部分图像和第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;
将第一部分检测结果和第二部分检测结果拼接。
在一种实施方式中,预设的缩放比例是基于第一高度和确定出的第一目标检测模型的优选高度范围的上限和下限确定的。
在一种实施方式中,高度获得模块1201,具体用于:
利用所述多个目标检测模型之一或者所述多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对所述待检测图像进行目标检测,并且基于检测结果,得到所述待检测图像的第一高度。
在一种实施方式中,第一高度为所针对的待检测图像中的各目标的检测高度的平均值。
在一种实施方式中,第一检测模块1204,具体用于:
在第二目标检测模型与第一目标检测模型为同一模型的情况下,且待检测图像的第一高度在第一目标检测模型的优选高度范围内,将第二目标检测模型的检测结果作为确定出的第一目标检测模型的检测结果。
在一种实施方式中,第二检测模块1205,具体用于:
在待检测图像的第一高度大于确定出的第一目标检测模型的优选高度范围的上限的情况下,将确定出的第一目标检测模型的检测结果作为待检测图像的检测结果。
在一种实施方式中,第二检测模块1205,具体用于:
在待检测图像的第一高度小于确定出的第一目标检测模型的优选高度范围的下限的情况下,将第一目标检测模型的检测结果与第二目标检测模型的检测结果叠加,作为待检测图像的检测结果。
在一种实施方式中,如图15所示,还包括范围确定模块1206,用于:
针对多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到每个验证图像的目标检测结果,基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取多个目标检测模型对应的优选高度范围。
在一种实施方式中,范围确定模块1206,具体用于:
基于通过该目标检测模型得到的验证图像的目标检测结果,得到验证图像的高度和对应的性能值;
统计所有验证图像的高度和对应的性能值,得到高度与性能值的分布信息;
基于分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。
在一种实施方式中,范围确定模块1206,具体用于:
对所有验证图像的性能值求平均值,得到第一平均值;
基于分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;
若第二平均值与第一平均值的比值大于预设比值,将部分验证图像的性能值范围对应的高度的范围,作为该目标检测模型的优选高度范围。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图16为用来实现本申请实施例的电子设备的框图。如图16所示,该电子设备包括:存储器1610和处理器1620,存储器1610内存储有可在处理器1620上运行的计算机程序。处理器1620执行该计算机程序时实现上述实施例中目标检测方法。存储器1610和处理器1620的数量可以为一个或多个。
该电子设备还包括:
通信接口1630,用于与外界设备进行通信,进行数据交互传输。
如果存储器1610、处理器1620和通信接口1630独立实现,存储器1610、处理器1620和通信接口1630可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(PeripheralComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图16中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1610、处理器1620及通信接口1630集成在一块芯片上,存储器1610、处理器1620及通信接口1630可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammablegate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic random access memory ,DRAM) 、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (30)

1.一种目标检测方法,包括:
获得作为与待检测图像中的目标有关的高度的第一高度;
获取多个目标检测模型对应的优选高度范围;
基于所述待检测图像的第一高度和所述多个目标检测模型对应的优选高度范围,从所述多个目标检测模型中确定要用来对所述待检测图像进行目标检测的目标检测模型作为第一目标检测模型,包括:将所述待检测图像的第一高度与所述多个目标检测模型对应的优选高度范围进行比较;以及将所述待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为所述第一目标检测模型;
若确定出多个所述第一目标检测模型,分别利用确定出的每个所述第一目标检测模型对所述待检测图像进行目标检测,并将得到的每个所述第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为所述待检测图像的检测结果。
2.根据权利要求1所述的方法,还包括:
若所述待检测图像的第一高度均不在所述多个目标检测模型对应的优选高度范围内,从所述多个目标检测模型中确定出一个目标检测模型作为所述第一目标检测模型,并基于预设的缩放比例对所述待检测图像进行缩放处理,利用确定出的所述第一目标检测模型对缩放后的所述待检测图像进行目标检测。
3.根据权利要求2所述的方法,其中,所述基于预设的缩放比例对所述待检测图像进行缩放处理,利用所述确定出的所述第一目标检测模型对缩放后的所述待检测图像进行目标检测,包括:
若所述待检测图像的第一高度大于所述确定出的所述第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将所述待检测图像缩小,并利用所述确定出的所述第一目标检测模型对缩小后的所述待检测图像进行目标检测。
4.根据权利要求2所述的方法,其中,所述基于预设的缩放比例对所述待检测图像进行缩放处理,利用所述确定出的所述第一目标检测模型对缩放后的所述待检测图像进行目标检测,包括:
若所述待检测图像的第一高度小于所述确定出的所述第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将所述待检测图像放大,利用所述确定出的所述第一目标检测模型对放大后的所述待检测图像进行目标检测。
5.根据权利要求4所述的方法,其中,所述利用所述确定出的所述第一目标检测模型对放大后的所述待检测图像进行目标检测,包括:
若放大后的所述待检测图像的第二高度大于预设的规范高度,其中,所述第二高度为针对图像尺寸的高度,将所述待检测图像裁剪成第一部分图像和第二部分图像;
基于第三缩放比例,分别将所述第一部分图像和所述第二部分图像放大,利用所述确定出的所述第一目标检测模型分别对放大后的所述第一部分图像和所述第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;
将所述第一部分检测结果和所述第二部分检测结果拼接。
6.根据权利要求2所述的方法,其中,所述预设的缩放比例是基于所述第一高度和所述确定出的所述第一目标检测模型的优选高度范围的上限和下限确定的。
7.根据权利要求1-6任一项所述的方法,其中,所述获得待检测图像的第一高度,包括:
利用所述多个目标检测模型之一或者所述多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对所述待检测图像进行目标检测,并且基于检测结果,得到所述待检测图像的第一高度。
8.根据权利要求7所述的方法,其中,所述第一高度为所针对的待检测图像中的各目标的检测高度的平均值。
9.根据权利要求7所述的方法,还包括:
在所述第二目标检测模型与所述第一目标检测模型为同一模型的情况下,且所述待检测图像的第一高度在所述第一目标检测模型的优选高度范围内,将所述第二目标检测模型的检测结果作为确定出的所述第一目标检测模型的检测结果。
10.根据权利要求7所述的方法,还包括:
在所述待检测图像的第一高度大于确定出的所述第一目标检测模型的优选高度范围的上限的情况下,将确定出的所述第一目标检测模型的检测结果作为所述待检测图像的检测结果。
11.根据权利要求7所述的方法,还包括:
在所述待检测图像的第一高度小于确定出的所述第一目标检测模型的优选高度范围的下限的情况下,将所述第一目标检测模型的检测结果与所述第二目标检测模型的检测结果叠加,作为所述待检测图像的检测结果。
12.根据权利要求1所述的方法,还包括:
针对所述多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到各验证图像的目标检测结果,基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取所述多个目标检测模型对应的优选高度范围。
13.根据权利要求12所述的方法,其中,所述基于各验证图像的目标检测结果,确定该目标检测模型的优选高度范围,包括:
基于通过该目标检测模型得到的各验证图像的目标检测结果,得到各验证图像的高度和对应的性能值;
统计各验证图像的高度和对应的性能值,得到高度与性能值的分布信息;
基于所述分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。
14.根据权利要求13所述的方法,其中,所述基于所述分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围,包括:
对各验证图像的性能值求平均值,得到第一平均值;
基于所述分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;
若所述第二平均值与所述第一平均值的比值大于预设比值,将所述部分验证图像的性能值的范围对应的高度的范围,作为该目标检测模型的优选高度范围。
15.一种目标检测装置,包括:
高度获得模块,用于获得作为与待检测图像中的目标有关的高度的第一高度;
范围获取模块,用于获取多个目标检测模型对应的优选高度范围;
模型确定模块,用于基于所述待检测图像的第一高度和所述多个目标检测模型对应的优选高度范围,从所述多个目标检测模型中确定要用来对所述待检测图像进行目标检测的目标检测模型作为第一目标检测模型,其中,所述模型确定模块,具体用于:
将所述待检测图像的第一高度与所述多个目标检测模型对应的优选高度范围进行比较;将所述待检测图像的第一高度在对应的优选高度范围内的目标检测模型确定为所述第一目标检测模型;
第一检测模块,用于:若确定出多个所述第一目标检测模型,分别利用确定出的每个所述第一目标检测模型对所述待检测图像进行目标检测,并将得到的每个所述第一目标检测模型的检测结果进行融合,从而得到融合的检测结果作为所述待检测图像的检测结果。
16.根据权利要求15所述的装置,还包括第二检测模块,用于:
若所述待检测图像的第一高度均不在所述多个目标检测模型对应的优选高度范围内,从所述多个目标检测模型中确定出一个目标检测模型作为所述第一目标检测模型,并基于预设的缩放比例对所述待检测图像进行缩放处理,利用确定出的所述第一目标检测模型对缩放后的所述待检测图像进行目标检测。
17.根据权利要求16所述的装置,其中,所述第二检测模块具体用于:
若所述待检测图像的第一高度大于所述确定出的所述第一目标检测模型的优选高度范围的上限,基于第一缩放比例,将所述待检测图像缩小,并利用所述确定出的所述第一目标检测模型对缩小后的所述待检测图像进行目标检测。
18.根据权利要求17所述的装置,其中,所述第二检测模块具体用于:
若所述待检测图像的第一高度小于所述确定出的所述第一目标检测模型的优选高度范围的下限,基于第二缩放比例,将所述待检测图像放大,利用所述确定出的所述第一目标检测模型对放大后的所述待检测图像进行目标检测。
19.根据权利要求18所述的装置,其中,所述第二检测模块具体用于:
若放大后的所述待检测图像的第二高度大于预设的规范高度,其中,所述第二高度为针对图像尺寸的高度,将所述待检测图像裁剪成第一部分图像和第二部分图像;
基于第三缩放比例,分别将所述第一部分图像和所述第二部分图像放大,利用所述确定出的所述第一目标检测模型分别对放大后的所述第一部分图像和所述第二部分图像进行目标检测,得到第一部分检测结果和第二部分检测结果;
将所述第一部分检测结果和所述第二部分检测结果拼接。
20.根据权利要求16所述的装置,其中,所述预设的缩放比例是基于所述第一高度和所述确定出的所述第一目标检测模型的优选高度范围的上限和下限确定的。
21.根据权利要求16-20任一项所述的装置,其中,所述高度获得模块具体用于:
利用所述多个目标检测模型之一或者所述多个目标检测模型之外的其它目标检测模型,作为第二目标检测模型,来对所述待检测图像进行目标检测,并且基于检测结果,得到所述待检测图像的第一高度。
22.根据权利要求21所述的装置,其中,所述待检测图像的第一高度为所针对的待检测图像中的各目标的检测高度的平均值。
23.根据权利要求21所述的装置,其中,所述第一检测模块具体用于:
在所述第二目标检测模型与所述第一目标检测模型为同一模型的情况下,且所述待检测图像的第一高度在所述第一目标检测模型的优选高度范围内,将所述第二目标检测模型的检测结果作为确定出的所述第一目标检测模型的检测结果。
24.根据权利要求21所述的装置,其中,所述第二检测模块具体用于:
在所述待检测图像的第一高度大于所述确定出的所述第一目标检测模型的优选高度范围的上限的情况下,将确定出的所述第一目标检测模型的检测结果作为所述待检测图像的检测结果。
25.根据权利要求21所述的装置,其中,所述第二检测模块具体用于:
在所述待检测图像的第一高度小于确定出的所述第一目标检测模型的优选高度范围的下限的情况下,将所述第一目标检测模型的检测结果与所述第二目标检测模型的检测结果叠加,作为所述待检测图像的检测结果。
26.根据权利要求15所述的装置,还包括范围确定模块,用于:
针对所述多个目标检测模型中的每个目标检测模型,将各验证图像分别输入该目标检测模型,得到每个所述验证图像的目标检测结果,基于各所述验证图像的目标检测结果,确定该目标检测模型的优选高度范围,以获取所述多个目标检测模型对应的优选高度范围。
27.根据权利要求26所述的装置,其中,所述范围确定模块,具体用于:
基于通过该目标检测模型得到的所述验证图像的目标检测结果,得到所述验证图像的高度和对应的性能值;
统计所有所述验证图像的高度和对应的性能值,得到高度与性能值的分布信息;
基于所述分布信息,选择满足预设性能条件的高度的范围,作为该目标检测模型的优选高度范围。
28.根据权利要求27所述的装置,其中,所述范围确定模块具体用于:
对所有所述验证图像的性能值求平均值,得到第一平均值;
基于所述分布信息,对性能值大于或者等于预设性能值的部分验证图像的性能值求平均值,作为第二平均值;
若所述第二平均值与所述第一平均值的比值大于预设比值,将所述部分验证图像的性能值的范围对应的高度的范围,作为该目标检测模型的优选高度范围。
29.一种电子设备,包括存储器和处理器,所述存储器内存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-14中任一项所述的方法。
30.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-14中任一项所述的方法。
CN202110144096.9A 2021-02-03 2021-02-03 目标检测方法、装置、电子设备及存储介质 Active CN112507983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110144096.9A CN112507983B (zh) 2021-02-03 2021-02-03 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110144096.9A CN112507983B (zh) 2021-02-03 2021-02-03 目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112507983A CN112507983A (zh) 2021-03-16
CN112507983B true CN112507983B (zh) 2021-11-16

Family

ID=74953111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110144096.9A Active CN112507983B (zh) 2021-02-03 2021-02-03 目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112507983B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753846A (zh) * 2008-12-05 2010-06-23 三星电子株式会社 使用照相机自动调整字符大小的装置和方法
CN102567300A (zh) * 2011-12-29 2012-07-11 方正国际软件有限公司 图片文档的处理方法及装置
CN102866856A (zh) * 2012-09-05 2013-01-09 鸿富锦精密工业(深圳)有限公司 手写输入笔迹的处理方法及装置
CN103065163A (zh) * 2013-02-04 2013-04-24 成都索贝数码科技股份有限公司 一种基于静态图片的快速目标检测识别系统及方法
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统
CN111461260A (zh) * 2020-04-29 2020-07-28 上海东普信息科技有限公司 基于特征融合的目标检测方法、装置、设备及存储介质
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112101360A (zh) * 2020-11-17 2020-12-18 浙江大华技术股份有限公司 一种目标检测方法、装置以及计算机可读存储介质
CN112232368A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 目标识别模型训练方法、目标识别方法及其相关装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073933B (zh) * 2016-11-08 2021-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN110659658B (zh) * 2018-06-29 2022-07-29 杭州海康威视数字技术股份有限公司 一种目标检测方法及其装置
CN110807362A (zh) * 2019-09-23 2020-02-18 腾讯科技(深圳)有限公司 一种图像检测方法、装置和计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753846A (zh) * 2008-12-05 2010-06-23 三星电子株式会社 使用照相机自动调整字符大小的装置和方法
CN102567300A (zh) * 2011-12-29 2012-07-11 方正国际软件有限公司 图片文档的处理方法及装置
CN102866856A (zh) * 2012-09-05 2013-01-09 鸿富锦精密工业(深圳)有限公司 手写输入笔迹的处理方法及装置
CN103065163A (zh) * 2013-02-04 2013-04-24 成都索贝数码科技股份有限公司 一种基于静态图片的快速目标检测识别系统及方法
CN111738036A (zh) * 2019-03-25 2020-10-02 北京四维图新科技股份有限公司 图像处理方法、装置、设备及存储介质
CN110390261A (zh) * 2019-06-13 2019-10-29 北京汽车集团有限公司 目标检测方法、装置、计算机可读存储介质及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统
CN111461260A (zh) * 2020-04-29 2020-07-28 上海东普信息科技有限公司 基于特征融合的目标检测方法、装置、设备及存储介质
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN112232368A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 目标识别模型训练方法、目标识别方法及其相关装置
CN112101360A (zh) * 2020-11-17 2020-12-18 浙江大华技术股份有限公司 一种目标检测方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN112507983A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110569699B (zh) 对图片进行目标采样的方法及装置
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
CN111325739B (zh) 肺部病灶检测的方法及装置,和图像检测模型的训练方法
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
CN113362329A (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN111507965A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN111259878A (zh) 一种检测文本的方法和设备
CN113160161B (zh) 目标边缘处缺陷的检测方法和装置
CN110570390B (zh) 一种图像检测方法及装置
US20200250806A1 (en) Information processing apparatus, information processing method, and storage medium
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN114862861B (zh) 基于少样本学习的肺叶分割方法和装置
CN111798422B (zh) 棋盘格角点识别方法、装置、设备及存储介质
CN112507983B (zh) 目标检测方法、装置、电子设备及存储介质
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN113538351B (zh) 一种融合多参数电信号的外绝缘设备缺陷程度评估方法
CN114937023A (zh) 一种承压设备的缺陷识别方法及装置
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN109977937B (zh) 图像处理方法、装置及设备
CN112528847A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN108629788B (zh) 一种图像边缘检测方法、装置、设备及可读存储介质
JP2009059165A (ja) 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN116563048B (zh) 一种财务报销方法、系统及计算机
CN114550171B (zh) 细胞实例分割模型构建方法、细胞实例分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant