CN109801279B - 图像中的目标检测方法及装置、电子设备、存储介质 - Google Patents

图像中的目标检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109801279B
CN109801279B CN201910053816.3A CN201910053816A CN109801279B CN 109801279 B CN109801279 B CN 109801279B CN 201910053816 A CN201910053816 A CN 201910053816A CN 109801279 B CN109801279 B CN 109801279B
Authority
CN
China
Prior art keywords
image
data set
pyramid
layer
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910053816.3A
Other languages
English (en)
Other versions
CN109801279A (zh
Inventor
饶天珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910053816.3A priority Critical patent/CN109801279B/zh
Publication of CN109801279A publication Critical patent/CN109801279A/zh
Priority to US16/597,075 priority patent/US11068736B2/en
Application granted granted Critical
Publication of CN109801279B publication Critical patent/CN109801279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像中的目标检测方法，包括：获取待检测图像；根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；若检测到所述目标对象，则停止检测过程并输出检测结果；若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；重复上述建立金字塔图像特征数据集和检测目标对象的步骤，直至检测到目标对象为止。本发明还公开了一种图像中的目标检测装置，电子设备和存储介质。

Description

图像中的目标检测方法及装置、电子设备、存储介质
技术领域
本发明涉及图像处理技术领域，特别是指一种图像中的目标检测方法及装置、电子设备、存储介质。
背景技术
图像金字塔是图像多尺度表达的一种表现方式，是一种以多分辨率来解释图像的有效但概念简单的结构。在图像处理中，图像金字塔作为存储多个尺度图像信息的数据结构被广泛的算法使用。但当尺度空间较为密集，存储数据量较大时，其数据结构的建立和处理耗时较长，在视频实时处理或嵌入式方案等场景中，会降低图像或机器视觉算法的处理速度。
常规的图像金字塔建立采取“先建立，后使用”的策略和结构，这样的处理方式建立了有关图像各个尺度的信息，便于后续算法的搜索使用。
现有技术的目标检测算法中，处理流程包括特征提取和目标检测。在特征提取部分，不同尺度的特征会以“金字塔”的数据结构方式进行存储，用于不同尺寸的目标检测。如图1所示，在该算法中，所检测的目标对象尺寸随特征尺度的减小逐渐增大。在金字塔建立的过程中，特征分辨率越大，检测的目标对象尺寸越小，涉及的数据运算越多；反之，特征分辨率越小，检测的目标对象尺寸越大，涉及的数据运算越少。由此可知，在建立图像金字塔时，较大分辨率的层会进行较为大量的计算，需要的处理时间较长。
例如，在车辆检测的算法流程中，当工作于单目标检测模式时，在遇
时间也被随之浪费，并且由于较远目标的特征分辨率较高，其建立时间较长，浪费的时间也就更多。然而，目标检测的策略是从较近较大的小尺度特征的金字塔层开始的，因此产生了时间损耗的矛盾，如图2所示。
当该算法工作于嵌入式平台，采用图2所示的静态的金字塔数据结构建立模式会极大的增加检测算法的处理时间，导致算法的运行效率低下，从而降低了产品的使用体验。
发明内容
有鉴于此，本发明实施例的目的之一在于，提出一种图像中的目标检测方法及装置、电子设备、存储介质，能够在一定程度上提高在图像中进行目标检测的效率。
基于上述目的，本发明实施例的第一个方面，提供了一种图像中的目标检测方法，包括：
获取待检测图像；
根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；
若检测到所述目标对象，则停止检测过程并输出检测结果；
若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；
重复上述建立金字塔图像特征数据集和检测目标对象的步骤，直至检测到目标对象为止。
可选的，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30。
可选的，所述的图像中的目标检测方法，还包括：
根据所述待检测图像，建立参考图像层；
根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集；
基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立。
可选的，根据所述待检测图像，建立参考图像层，包括：
确定所述参考图像层的数量；
利用双线性插值法，对所述待检测图像进行缩放；每缩放一次得到一个参考图像层，缩放次数为参考图像层的数量减1；
得到所述参考图像层。
可选的，根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集，包括：
提取所述参考图像层的亮度色度特征；
根据所述参考图像层的亮度色度特征，提取所述参考图像层的梯度幅值特征和方向角；
根据所述参考图像层的梯度幅值特征和方向角，提取所述参考图像层的方向梯度直方图特征；
所述亮度色度特征、梯度幅值特征和方向梯度直方图特征，构成所述参考图像层对应的金字塔图像参考特征数据集。
可选的，基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立，包括：
确定所述金字塔图像特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量，结合所述金字塔图像特征数据集的层级数量，确定金字塔图像中间特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量和所述金字塔图像中间特征数据集的层级数量，确定相邻金字塔图像参考特征数据集之间夹设的金字塔图像中间特征数据集的层级数量；
若当前需建立的金字塔图像特征数据集为金字塔图像参考特征数据集，则直接调用该金字塔图像参考特征数据集用于目标对象检测；
若当前需建立的金字塔图像特征数据集为金字塔图像中间特征数据集，则基于与其相邻的金字塔图像参考特征数据集进行降采样或升采样得到该金字塔图像中间特征数据集，以用于目标对象检测。
可选的，所述降采样或升采样的采样系数的计算方法包括：
建立以参考图像层为基准的图像分辨率拟合函数；
根据所述图像分辨率拟合函数，计算中间图像层的图像分辨率；
中间图像层的图像分辨率与参考图像层的图像分辨率的比值即为采样系数。
可选的，所述图像分辨率拟合函数为6次多项式函数。
可选的，所述检测目标对象的步骤采用ACF算法实现。
本发明实施例的第二个方面，提供了一种图像中的目标检测装置，包括：
获取模块，用于获取待检测图像；
检测模块，用于：
根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；
若检测到所述目标对象，则停止检测过程并输出检测结果；
若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；
重复上述建立金字塔图像特征数据集和检测目标对象的步骤，直至检测到目标对象为止。
可选的，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30。
可选的，所述检测模块，还用于：
根据所述待检测图像，建立参考图像层；
根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集；
基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立。
可选的，所述检测模块，还用于：
确定所述参考图像层的数量；
利用双线性插值法，对所述待检测图像进行缩放；每缩放一次得到一个参考图像层，缩放次数为参考图像层的数量减1；
得到所述参考图像层。
可选的，所述检测模块，还用于：
提取所述参考图像层的亮度色度特征；
根据所述参考图像层的亮度色度特征，提取所述参考图像层的梯度幅值特征和方向角；
根据所述参考图像层的梯度幅值特征和方向角，提取所述参考图像层的方向梯度直方图特征；
所述亮度色度特征、梯度幅值特征和方向梯度直方图特征，构成所述参考图像层对应的金字塔图像参考特征数据集。
可选的，所述检测模块，还用于：
确定所述金字塔图像特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量，结合所述金字塔图像特征数据集的层级数量，确定金字塔图像中间特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量和所述金字塔图像中间特征数据集的层级数量，确定相邻金字塔图像参考特征数据集之间夹设的金字塔图像中间特征数据集的层级数量；
若当前需建立的金字塔图像特征数据集为金字塔图像参考特征数据集，则直接调用该金字塔图像参考特征数据集用于目标对象检测；
若当前需建立的金字塔图像特征数据集为金字塔图像中间特征数据集，则基于与其相邻的金字塔图像参考特征数据集进行降采样或升采样得到该金字塔图像中间特征数据集，以用于目标对象检测。
可选的，所述检测模块，还用于：
建立以参考图像层为基准的图像分辨率拟合函数；
根据所述图像分辨率拟合函数，计算中间图像层的图像分辨率；
中间图像层的图像分辨率与参考图像层的图像分辨率的比值即为采样系数。
可选的，所述图像分辨率拟合函数为6次多项式函数。
可选的，所述检测目标对象的步骤采用ACF算法实现。
本发明实施例的第三个方面，提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的方法。
本发明实施例的第四个方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现前述方法的步骤。
从上面所述可以看出，本发明实施例提供的图像中的目标检测方法及装置、电子设备、存储介质，采用动态建立图像金字塔并同时动态检测目标对象的方法，在建立完一层金字塔图像特征数据集后即进行目标检测，若没检测到目标再建立下一层金字塔图像特征数据集，直到检测到目标对象为止；这样，使得不需要一次性建立完整的图像金字塔，提升了图像检测效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1为一种图像金字塔的示意图；
图2为一种图像金字塔建立过程和目标检测过程的示意图；
图3为本发明实施例提供的图像中的目标检测方法的流程示意图；
图4为本发明实施例中图像金字塔建立过程和目标检测过程的示意图；
图5为本发明实施例中的目标检测方法的计算过程示意图；
图6为本发明实施例中每层金字塔图像特征数据集的计算过程示意图；
图7A为本发明实施例中一个测试数据的示意图；
图7B为本发明实施例中另一个测试数据的示意图；
图7C为本发明实施例中又一个测试数据的示意图；
图7D为本发明实施例中再一个测试数据的示意图；
图7E为本发明实施例中又一个测试数据的示意图；
图8为本发明实施例中在检测到目标对象后的待检测图像示意图；
图9为本发明提供的图像中的目标检测装置实施例的结构示意图；
图10为本发明提供的执行所述图像中的目标检测方法的装置的实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本发明实施例的第一个方面，提出了一种图像中的目标检测方法，能够在一定程度上提高在图像中进行目标检测的效率。
如图3所示，所述图像中的目标检测方法，包括以下步骤：
步骤101：获取待检测图像；
步骤102：根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集；
步骤103：在所述第1层金字塔图像特征数据集中检测目标对象；
步骤104：判断是否检测到所述目标对象；
步骤105：若检测到所述目标对象，则停止检测过程并输出检测结果；如果有目标对象被检出，则跳出检测过程，并不再建立新的金字塔数据集，同时跳过余下的检测过程；
步骤106：若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集；
步骤107：在所述下一层金字塔图像特征数据集中检测目标对象；
重复上述建立金字塔图像特征数据集和检测目标对象的步骤，直至检测到目标对象为止；
其中，所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；可选的，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30，使得所述图像中的目标检测方法在一开始能够检测出的目标对象为尺寸较大的目标对象，而后的步骤中能够检测到的目标对象的尺寸将逐渐减小。
从上述实施例可以看出，本发明实施例提供的图像中的目标检测方法，采用动态建立图像金字塔并同时动态检测目标对象的方法，在建立完一层金字塔图像特征数据集后即进行目标检测，若没检测到目标再建立下一层金字塔图像特征数据集，直到检测到目标对象为止；这样，使得不需要一次性建立完整的图像金字塔，提升了图像检测效率。相较于静态图像金字塔建立策略中产生的时间损耗问题，本发明实施例提供的图像中的目标检测方法，通过将图像金字塔的建立过程动态化，同时配合目标对象检测搜索的策略，从而减少了因为静态建立完整金字塔数据却不访问其中部分数据的矛盾，即减少了冗余时间损耗，进而提高了算法的运行效率。
如图2所示，为一种静态建立图像金字塔的策略。首先，逐层建立所有尺度的金字塔数据。然后，从最小尺度金字塔层进行搜索，一旦在较小尺度金字塔层完成目标检索(即检测到目标对象，该目标对象通常在待检测图像中的尺寸较大)，则退出检测流程，而后面的大尺度金字塔数据也被随之浪费，而其建立时消耗的时间也就随之被浪费了。
如图4所示，为本发明实施例提供的动态建立图像金字塔的策略，与静态建立图像金字塔的策略不同。图像金字塔的数据结构不会一次完全建立完成，当较小特征分辨率的第一层金字塔图像特征数据集完成建立后，立即进行该尺度的目标对象搜索，如果成功检测到目标对象则退出流程并终止图像金字塔的建立；如果没有检测到目标则进行下一层金字塔图像特征数据集的建立，并进行下一层金字塔图像特征数据集中的目标对象搜索。
对比可见，本发明实施例提供的图像中的目标检测方法，采用动态建立图像金字塔的策略，相较于静态建立图像金字塔的策略，能够减小时间冗余损耗，大大提高了算法运行效率。在本发明实施例提供的图像中的目标检测方法的动态建立检索的流程下，若距离观察者较近距离有目标对象时，目标对象会在较前的金字塔图像特征数据集被检出并跳出目标检索，这样，余下的金字塔图像特征数据集在不需检索的条件下，可不再进行建立，减少了原先建立这些数据集的冗余时间消耗。
作为本发明的可选实施例，所述目标对象可以是所述待检测图像中的任意目标，例如可以是车辆、行人等运动目标，也可以是街景、路牌的静态目标等，只要是涉及图像处理和目标检测的对象，均可以应用本发明实施例所提供的图像中的目标检测方法。
作为本发明的一个实施例，本发明实施例中建立图像金字塔的低分辨率到高分辨率的具体过程，参考图5所示，可采用以下方式实现。
为了提升目标检测的性能，本发明实施例所建立的金字塔共有29层(为了对应摄像头采集的路况中，不同距离目标的位置检测，因此采用较为稠密的建立数量)。在建立金字塔图像特征数据集之前，预先设定金字塔建立参数，包括：所述图像金字塔的预设层级总数为29层，以640×480输入图像为例，第1层金字塔图像的图像分辨率为80×60，第1层金字塔图像特征数据集对应的特征分辨率为28×21。
这里需要说明的是，29层金字塔仅仅是示例性的，并不代表本发明所建立的金字塔一定是29层，这个具体层数是可以根据需要调整的，其中的参考层和中间层的数量也可以做相应的调整，当然相应的每一层金字塔的分辨率也可以是不同的，不应以本发明的实施例为限。同时，根据具体的建立过程的不同，这些参数都可能产生变化。还需要知道的是，根据待检测的目标对象的不同，金字塔层数及相应的参数可能也会有所区别，这些变化都属于本发明的合理保护范围。
具体地，如下表1所示，金字塔的预设层级总数为29层，图像分辨率为四分之一的倍数关系的参考层之间，添加7个中间层。其中，图像分辨率为640×480、320×240、160×120、80×60的层级为参考图像层级，利用相同参考图像层级进行图像处理的中间层级的图像分辨率可以采用拟合函数进行分辨率的设置。
表1
Figure BDA0001951744020000091
Figure BDA0001951744020000101
为了降低建立中的计算量，采用先建立数个参考图像层，再从参考图像层提取特征的相应的参考特征层，再根据参考特征层的特征近似的得到中间特征层级的特征。该方法具体包含以下两个阶段：图像预处理及参考特征层建立阶段，以及，金字塔动态建立及搜索阶段。
在第一阶段中，主要包括了根据所述待检测图像，建立参考图像层；以及，根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集，这两个步骤。图像预处理负责通过缩放依次获得图像分辨率在行、列下降一倍的图像(共3次缩放，获得4个参考层，640×480、320×240、160×120、80×60)，该计算作用于图像的r[红]，g[绿]，b[蓝]三通道，当获得S0，S8，S16，S24层的参考图像层(完成的分辨率如图5所示)后，对四个参考图像层分别进行特征提取，各获得10通道的参考特征层(F0，F8，F16，F24)。
在第二阶段中，主要包括了基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立，以及基于建立完成的金字塔图像特征数据集进行目标检测，这两个步骤。图像基于已建立完成的参考特征层(F0，F8，F16，F24)，顺次的从最小的分辨率(如表1所示)，依次通过对邻近参考特征层的缩放进行运算，获得中间特征层(例：特征层F28的建立来自对参考特征层F24的缩放，而不是从参考图像层S24进行先缩放再特征提取)。这样，避免了对图像反复的特征提取，减少了计算量。同时在该阶段，进行边“建立”，边“搜索”的策略。当某一层完成搜索任务后，即认为已经发现目标，从而退出建立，避免冗余的后续处理。
下面具体介绍两阶段的计算过程，描述整个金字塔的建立。
第一阶段，图像预处理及参考特征层建立阶段：
为了均匀的获取29层金字塔的参考数据，如表1中所示。本发明实施例采用双线性插值法，先获取除原始图像分辨率的图像外的其余三个参考图像层，使得该其余三个参考图像层分别覆盖7个中间层，即，该其余三个参考图像层共产生3x7+3＝24层数据，原始图像分辨率的参考图像层则产生5层数据，共计29层。
双线性插值法的实现中，若想获得目标图像某一个像素的像素值f(x,y)，需要原图像中与之相邻的4个像素Q11＝(x1,y1)，Q12＝(x1,y2)，Q21＝(x2,y1)，Q22＝(x2,y2)四个点的值。综合行、列两个方向的计算，对应关系如下：
Figure BDA0001951744020000111
通过该方法，可以获得新的缩小后的图像，这里的缩放比例均为0.5(行、列两个方向)，该步骤产生4个参考层的新图像数据：S0，S8，S16，S24。
具体地，针对输入图像(以图像分辨率640×480为例，并将其记为S0层，如表1所示)，按照上述公式进行缩放，获得4个参考图像层级，图像缩放采用双线性插值法：
在S0层的基础上，图像分辨率按照上述公式在行、列方向上各缩小一半，得到S8层，如表1所示，对应图像分辨率为320×240的图像；
在S8层的基础上，图像分辨率按照上述公式在行、列方向上进一步各缩小一半，得到S16层，对应图像分辨率为160×120的图像；
在S16层的基础上，图像分辨率按照上述公式在行、列方向上进一步各缩小一半，得到S24层，对应图像分辨率为80×60的图像。
当完成参考层建立后，对该4个参考图像层(S0、S8、S16、S24)进行特征提取，以得到4个参考特征层。
具体地，在不同分辨率的参考图像层(S0、S8、S16、S24)已计算后，一一对应通过Get_feature(如下文所述)获取4个参考特征层(F0、F8、F16、F24)。
如图6所示，对于某一参考层的金字塔图像特征数据集(Get_feature)的建立过程包括：
以输入参考图像层是分辨率为640×480的RGB三通道图像为例，提取出10通道320×240的图像特征。对于其他图像分辨率的图像，其特征分辨率为图像分辨率的四分之一。所提取的10通道特征包括三通道的亮度色度特征(LUV特征)、1通道梯度幅值特征和6通道的方向梯度直方图特征(HOG特征)。
其中，RGB三通道图像是指，在RGB三个尺度上展示的图像。
根据三基色原理，用基色光单位来表示光的量，则在RGB色彩空间，任意色光F都可以用R、G、B三色不同分量的相加混合而成：
F＝r[R]+g[G]+b[B]。
LUV特征是指一种颜色空间标准，目的是建立与视觉统一的颜色空间，因为人类眼睛有响应不同波长范围的三种类型的颜色传感器，所有可视颜色的完整绘图是三维的。其中L*是亮度，u*和v*是色度坐标。对于一般的图像，u*和v*的取值范围为-100到+100，亮度为0到100。
方向梯度直方图(Histogram of Oriented Gradient，HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
下面分别介绍各特征的计算方法。
LUV三通道特征生成：根据以下公式对输入的RGB三通道640×480输入图像在CIEXYZ空间进行LUV格式转换。
x＝mr[0]*r+mg[0]*g+mb[0]*b
y＝mr[1]*r+mg[1]*g+mb[1]*b
z＝mr[2]*r+mg[2]*g+mb[2]*b
其中r、g、b分别指彩色图像通道中，对应的红(red)、绿(green)、蓝(blue)颜色通道，而mr、mg、mb为固定常数且为向量形式，对应到原始的RGB三通道维度，用于颜色空间映射计算。
根据以上公式计算后，再将该LUV图像进行1：2缩小，得到颜色三通道特征。
梯度幅值特征：对于LUV图像中的L通道，计算水平和竖直方向梯度Gx和Gy：
Gx[x,y]＝(l[x+1,y]-l[x-1,y])/2
Gy[x,y]＝(l[x,y+1]-l[x,y-1])/2
其中，l是指L通道中的亮度参数；
并进一步计算梯度幅值M和方向角O：
Figure BDA0001951744020000131
Figure BDA0001951744020000132
将M[x,y]特征进行1：2分辨率缩小，从而得到1通道梯度幅值特征。
HOG特征：利用上一小节计算的梯度幅值M[x,y]和方向角度O[x,y]，计算HOG特征。对应2×2分块统计梯度方向直方图，梯度方向角度O[x,y]的取值范围是0～π，将其量化为6个区间，从而得到6通道的HOG特征。
对于其他参考图像层，也采用上述步骤进行特征提取。
完成前述步骤后，获得4个10通道的参考特征层(F0，F8，F16，F24)。本发明实施例所述的“边建立，边搜索”策略在该步骤完成后开始进行。
第二阶段，金字塔动态建立及搜索阶段：
到本阶段时，金字塔已生成4层10通道的参考特征层。为了使图像尺度缓慢变化，由之前的表1所述，在两个相邻的参考层级之间，添加若干个中间层，得到总共29个层级。这样，29个金字塔图像特征数据集中，有4个是金字塔图像参考特征数据集(即参考特征层)，那么剩余25个金字塔图像特征数据集即为金字塔图像中间特征数据集(即中间特征层)。为了使图像尺度缓慢变化，本发明实施例采用了在相邻的参考特征层之间增加7个中间特征层的方式，剩余的4个中间特征层则排列在参考特征层F24之下，如表1所示。
每个尺度的分辨率逐渐减小。本发明实施例的思路是优化余下25层中间特征层的建立，消除其中的冗余部分。对于余下的25层中间特征层，为了降低计算量，特征数据不再从中间图像层中对应产生，而是从邻近的参考特征层进行升降采样而获得。对应关系如下：
其中F1、F2、F3、F4层级的特征可以通过F0层特征缩放得到。
其中F5、F6、F7、F9、F10、F11、F12层级的特征可以通过F8层特征缩放得到。
其中F13、F14、F15、F17、F18、F19、F20层级的特征可以通过F16层特征缩放得到。
其中F21、F22、F23、F25、F26、F27、F28层级的特征可以通过F24层特征缩放得到。
上述的基于参考层级缩放得到中间层级的具体步骤，可以通过建立拟合函数来得到每个中间层级的缩放比例，然后按照该比例进行缩放。由于在设计时，希望每一个参考特征层用于近似估计7个额外的特征数据(即中间特征层)计算，因此定义间隔时，采用图像分辨率拟合函数。
本发明实施例采用不同的6次多项式函数(图像分辨率拟合函数)进行估计：
F(x)＝a1x6+a2x5+a3x4+a4x3+a5x2+a6x+a7
上述多项式的各项参数如下表2。
表2
Figure BDA0001951744020000141
基于S0参考图像层而计算的中间图像层，选用表2中S0参考图像层对应的行、列多项式的各项系数构成前述的多项式函数F(x)。
以S0参考特征层的“行”为例，前述的多项式函数为：
F(x)＝0.0298x6-0.1854x5+1.6189x3-55.4634x+640.0000
这样，对应于S1中间图像层，因为S1与S0相差1，则代入x＝1，得到：F(x)＝0.0298×16-0.1854×15+1.6189×13-55.4634×1+640.0000＝585.9999≈586。
也就是说，按照所述多项式进行缩放后，S1中间图像层行像素个数为586。
同理，以S0参考图像层的“列”为例，前述的多项式函数为：
F(x)＝0.0265x6-0.1555x5+1.1705x3-41.0415x+480.0000
这样，对应于S1中间图像层，因为S1与S0相差1，则代入x＝1，得到：F(x)＝0.0265×16-0.1555×15+1.1705×13-41.0415×1+480.0000＝440。
也就是说，按照所述多项式进行缩放后，S1中间图像层列像素个数为440。
这样，就得到S1中间图像层的图像分辨率586×440。由于中间图像层S1对应的中间特征层的特征分辨率是在图像分辨率基础上进行行列分别缩放1/2而得到的，因此，得到中间特征层F1的特征分辨率为293×220。
需要说明的是，当中间图像层是基于参考图像层降采样得到时，则前述多项式中的x为正数，反之，若中间图像层是基于参考图像层升采样得到，则前述多项式中的x为负数。例如，当以参考图像层S24为基准计算中间图像层S23的图像分辨率时，此时多项式中的x应为“-1”。
同时，当中间图像层与其对应的参考图像层之间的层级差为2时，若为降采样，则x取值为2，若为升采样，则x取值为-2。同理可得其他层的计算方法，在此不再赘述。
这样，通过该表2，结合表1，即可确立每一个中间特征层的具体特征分辨率。在具有该信息的前提下，基于参考特征层，进行中间特征层的升降采样处理。
需要说明的是，前述实施例中图像分辨率拟合函数采用了6次多项式函数，但是可以知道，在相邻的参考层之间插入中间层，只需使中间层的图像分辨率形成为一个较为合理的升序变化或降序变化即可，因此，图像分辨率拟合函数不仅可以采用6次多项式函数，还可以采用其他的递增函数或递减函数来实现，在此不做限制。
计算特征金字塔中参考特征层S0/S8/S16/S24之外的中间特征层，可通过对临近参考特征层进行尺度变换近似求解。在尺度变换时，根据特征金字塔表(表1)选择相应的参考特征层，对其10个数据通道进行降采样/升采样变换得到中间特征层的10个数据通道。其中：
降采样：即采样点数减少，对于一副N*M的数据矩阵来说，假设采样系数为k，则每行每列每隔k个点取一个组成一副图像。
升采样：即为二维插值，若升采样系数为k，在在原图的n与n+1两点间插入k-1个点。需进行、列的分别插值。该方法类似于之前所述的双线性插值法，在此不再赘述。
其中，降采样或升采样的系数k，则可采用各层的分辨率的比值来表示。
以从金字塔目标数据集的最小特征分辨率的层级F28(28x21)开始建立为例，由与其最邻近的参考特征层F24(40x30)进行降采样，行方向上的降采样系数则为40/28，约等于1.4，列方向上的降采样系数则为30/21，约等于1.4。于是，在行方向上则每隔1.4个像素进行一个提取，在列方向上也每隔1.4个像素进行一个提取，对提取得到的数据再进行一个四舍五入运算，即可获得F28层的特征数据集。然后，将该F28层的特征数据集用于检测，若检测到目标对象，则退出流程，否则进入下一层特征层的建立和目标搜索。
需要说明的是，每个层级下的特征都包含10个通道特征。对于前3通道的LUV特征，可以直接进行缩放得到新尺度下的LUV特征；对于后面7通道的特征，缩放后还需要乘以
Figure BDA0001951744020000161
乘以该系数的目的是为了使近似计算的特征更加接近直接从图像提取的特征。其中scalenew即为需计算的层级的分辨率，scaleref则为其参考层的分辨率。
作为本发明的一个实施例，所述检测目标对象的步骤采用ACF算法实现。
具体地，当图像输入后，根据上述的方式，产生某层图像金字塔特征数据集，所述ACF算法包括：
对该特征数据集进行整合后向量化以方便后续分类算法中的矩阵计算，然后应用Adaboost机器学习分类算法，对特征数据集中的潜在目标对象进行检测。其中，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。
需要说明的是，采用ACF算法实现目标对象检测仅仅是本发明的一个实施例，可以知道，在图像对象检测领域，还存在其他的检测方法，如深度学习、机器视觉等技术。
作为本发明的一个可选实施方式，所述停止检测过程的步骤之后，还可包括以下步骤：
对于所述图像金字塔中剩余层的金字塔图像特征数据集，不再进行建立。
这样，在单目标检测的情况下，如果在较近尺度检测到车辆，则不再进行下一尺度的搜索，剩余的图像金字塔也不再建立，从而提高了检测效率。
如图7A至7E，分别选取实际道路中的5张图像作为测试数据，对出现在距离观察者不同距离的车辆(目标对象)进行检测。检索金字塔所需层数以及相应的检测时间如下表3所示。
表3
Figure BDA0001951744020000162
Figure BDA0001951744020000171
对于不同的车辆(目标对象)而言，由于其出现在距离观察者不同远近的地点，因此检测车辆目标所需要检索的金字塔层数不同。检测所需金字塔层数越大说明目标对象距离观察者较远，所需金字塔层数越小说明目标对象距离观察者较近。
由表3中可以看出，当车辆目标离观察者较近时(检索所需层数小于15层)，单一车辆目标被检出后，由于不需检索余下较大尺度的金字塔图像特征数据集，其建立过程被跳过，减少了大量冗余时间，速度提升明显。当车辆离观察者较远，需要检索较大尺度的金字塔图像特征数据集时，速度提升幅度降低，但依旧对冗余部分的数据建立进行了跳过，提升了运行速度。
可选的，作为本发明的一个可选实施方式，所述停止检测过程的步骤之后，还可包括以下步骤：
在检测到目标对象后，在所述待检测图像中标识出所述目标对象；可选的，如图8所示，可以采用框选的方式实现所述标识。
这样，使得用户能够一目了然检测结果，提升用户体验。
本发明实施例的第二个方面，提出了一种图像中的目标检测装置，能够在一定程度上提高在图像中进行目标检测的效率。
如图9所示，所述图像中的目标检测装置，包括：
获取模块201，用于获取待检测图像；
检测模块202，用于：
根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；
若检测到所述目标对象，则停止检测过程并输出检测结果；
若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；
重复上述建立金字塔图像特征数据集和检测目标对象的步骤，直至检测到目标对象为止；
可选的，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30，使得所述图像中的目标检测装置在一开始能够检测出的目标对象为尺寸较大的目标对象，而后的步骤中能够检测到的目标对象的尺寸将逐渐减小。
从上述实施例可以看出，本发明实施例提供的图像中的目标检测装置，采用动态建立图像金字塔并同时动态检测目标对象的方法，在建立完一层金字塔图像特征数据集后即进行目标检测，若没检测到目标再建立下一层金字塔图像特征数据集，直到检测到目标对象为止；这样，使得不需要一次性建立完整的图像金字塔，提升了图像检测效率。相较于静态图像金字塔建立策略中产生的时间损耗问题，本发明实施例提供的图像中的目标检测装置，通过将图像金字塔的建立过程动态化，同时配合目标对象检测搜索的策略，从而减少了因为静态建立完整金字塔数据却不访问其中部分数据的矛盾，即减少了冗余时间损耗，进而提高了算法的运行效率。
可选的，所述目标对象为所述待检测图像中的目标车辆。
可选的，所述图像金字塔的预设层级总数为29，第1层金字塔图像的图像分辨率为80×60，第1层金字塔图像特征数据集对应的特征分辨率为28×21。
可选的，所述检测目标对象的步骤采用ACF算法实现。
可选的，所述检测模块202，还用于：
在停止检测过程后，对于所述图像金字塔中剩余层的金字塔图像特征数据集，不再进行建立。
可选的，所述检测模块，还用于：
根据所述待检测图像，建立参考图像层；
根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集；
基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立。
可选的，所述检测模块，还用于：
确定参考图像层的数量；
利用双线性插值法，对所述待检测图像进行缩放；每缩放一次得到一个参考图像层，缩放次数为参考图像层的数量减1；
得到参考图像层。
可选的，所述检测模块，还用于：
提取所述参考图像层的亮度色度特征；
根据所述参考图像层的亮度色度特征，提取所述参考图像层的梯度幅值特征和方向角；
根据所述参考图像层的梯度幅值特征和方向角，提取所述参考图像层的方向梯度直方图特征；
所述亮度色度特征、梯度幅值特征和方向梯度直方图特征，构成所述参考图像层对应的金字塔图像参考特征数据集。
可选的，所述检测模块，还用于：
确定所述金字塔图像特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量，结合所述金字塔图像特征数据集的层级数量，确定金字塔图像中间特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量和所述金字塔图像中间特征数据集的层级数量，确定相邻金字塔图像参考特征数据集之间夹设的金字塔图像中间特征数据集的层级数量；
若当前需建立的金字塔图像特征数据集为金字塔图像参考特征数据集，则直接调用该金字塔图像参考特征数据集用于目标对象检测；
若当前需建立的金字塔图像特征数据集为金字塔图像中间特征数据集，则基于与其相邻的金字塔图像参考特征数据集进行降采样或升采样得到该金字塔图像中间特征数据集，以用于目标对象检测。
可选的，所述检测模块，还用于：
建立以参考图像层为基准的图像分辨率拟合函数；
根据所述图像分辨率拟合函数，计算中间图像层的图像分辨率；
中间图像层的图像分辨率与参考图像层的图像分辨率的比值即为采样系数。
可选的，所述图像分辨率拟合函数为6次多项式函数。
需要说明的是，上述图像中的目标检测装置的实施例与前述的图像中的目标检测方法为对应关系，相应地，图像中的目标检测装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
基于上述目的，本发明实施例的第三个方面，提出了一种执行所述图像中的目标检测方法的装置的一个实施例。如图10所示，为本发明提供的执行所述图像中的目标检测方法的装置的一个实施例的硬件结构示意图。
如图10所示，所述装置包括：
一个或多个处理器301以及存储器302，图10中以一个处理器301为例。
所述执行所述图像中的目标检测方法的装置还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图10中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述图像中的目标检测方法对应的程序指令/模块(例如，附图9所示的获取模块201和检测模块202)。处理器901通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的图像中的目标检测方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像中的目标检测装置的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的数字或字符信息，以及产生与图像中的目标检测装置的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器302中，当被所述一个或者多个处理器301执行时，执行上述任意方法实施例中的图像中的目标检测方法。所述执行所述图像中的目标检测方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。
在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
公开的示例性实施例，但是应当注公开的示例性实施例，但是应当注意，在不背离权利要求限定的本公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本公开的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (20)

1.一种图像中的目标检测方法，其特征在于，包括：
获取待检测图像；
根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；
若检测到所述目标对象，则停止检测过程并输出检测结果；
若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；
重复上述若未检测到所述目标对象则继续建立下一层金字塔图像特征数据集并在所述下一层金字塔图像特征数据集中检测目标对象的步骤，直至检测到目标对象为止。
2.根据权利要求1所述的方法，其特征在于，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述待检测图像，建立参考图像层；
根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集；
基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立。
4.根据权利要求3所述的方法，其特征在于，根据所述待检测图像，建立参考图像层，包括：
确定所述参考图像层的数量；
利用双线性插值法，对所述待检测图像进行缩放；每缩放一次得到一个参考图像层，缩放次数为参考图像层的数量减1；
得到所述参考图像层。
5.根据权利要求3所述的方法，其特征在于，根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集，包括：
提取所述参考图像层的亮度色度特征；
根据所述参考图像层的亮度色度特征，提取所述参考图像层的梯度幅值特征和方向角；
根据所述参考图像层的梯度幅值特征和方向角，提取所述参考图像层的方向梯度直方图特征；
所述亮度色度特征、梯度幅值特征和方向梯度直方图特征，构成所述参考图像层对应的金字塔图像参考特征数据集。
6.根据权利要求3所述的方法，其特征在于，基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立，包括：
确定所述金字塔图像特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量，结合所述金字塔图像特征数据集的层级数量，确定金字塔图像中间特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量和所述金字塔图像中间特征数据集的层级数量，确定相邻金字塔图像参考特征数据集之间夹设的金字塔图像中间特征数据集的层级数量；
若当前需建立的金字塔图像特征数据集为金字塔图像参考特征数据集，则直接调用该金字塔图像参考特征数据集用于目标对象检测；
若当前需建立的金字塔图像特征数据集为金字塔图像中间特征数据集，则基于与其相邻的金字塔图像参考特征数据集进行降采样或升采样得到该金字塔图像中间特征数据集，以用于目标对象检测。
7.根据权利要求6所述的方法，其特征在于，所述降采样或升采样的采样系数的计算方法包括：
建立以所述参考图像层为基准的图像分辨率拟合函数；
根据所述图像分辨率拟合函数，计算中间图像层的图像分辨率；
中间图像层的图像分辨率与参考图像层的图像分辨率的比值即为采样系数。
8.根据权利要求7所述的方法，其特征在于，所述图像分辨率拟合函数为6次多项式函数。
9.根据权利要求1所述的方法，其特征在于，所述检测目标对象的步骤采用ACF算法实现。
10.一种图像中的目标检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；
检测模块，用于：
根据所述待检测图像，建立图像金字塔的第1层金字塔图像特征数据集，并在所述第1层金字塔图像特征数据集中检测目标对象；
若检测到所述目标对象，则停止检测过程并输出检测结果；
若未检测到所述目标对象，则继续建立下一层金字塔图像特征数据集，并在所述下一层金字塔图像特征数据集中检测目标对象；所述下一层金字塔图像特征数据集对应的特征分辨率大于前一步骤中建立的金字塔图像特征数据集对应的特征分辨率；
重复上述若未检测到所述目标对象则继续建立下一层金字塔图像特征数据集并在所述下一层金字塔图像特征数据集中检测目标对象的步骤，直至检测到目标对象为止。
11.根据权利要求10所述的装置，其特征在于，所述第1层金字塔图像特征数据集的特征分辨率小于或等于40x30。
12.根据权利要求10所述的装置，其特征在于，所述检测模块，还用于：
根据所述待检测图像，建立参考图像层；
根据所述参考图像层，处理得到对应的金字塔图像参考特征数据集；
基于所述金字塔图像参考特征数据集，完成所述金字塔图像特征数据集的建立。
13.根据权利要求12所述的装置，其特征在于，所述检测模块，还用于：
确定所述参考图像层的数量；
利用双线性插值法，对所述待检测图像进行缩放；每缩放一次得到一个参考图像层，缩放次数为参考图像层的数量减1；
得到所述参考图像层。
14.根据权利要求12所述的装置，其特征在于，所述检测模块，还用于：
提取所述参考图像层的亮度色度特征；
根据所述参考图像层的亮度色度特征，提取所述参考图像层的梯度幅值特征和方向角；
根据所述参考图像层的梯度幅值特征和方向角，提取所述参考图像层的方向梯度直方图特征；
所述亮度色度特征、梯度幅值特征和方向梯度直方图特征，构成所述参考图像层对应的金字塔图像参考特征数据集。
15.根据权利要求12所述的装置，其特征在于，所述检测模块，还用于：
确定所述金字塔图像特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量，结合所述金字塔图像特征数据集的层级数量，确定金字塔图像中间特征数据集的层级数量；
根据所述金字塔图像参考特征数据集的层级数量和所述金字塔图像中间特征数据集的层级数量，确定相邻金字塔图像参考特征数据集之间夹设的金字塔图像中间特征数据集的层级数量；
若当前需建立的金字塔图像特征数据集为金字塔图像参考特征数据集，则直接调用该金字塔图像参考特征数据集用于目标对象检测；
若当前需建立的金字塔图像特征数据集为金字塔图像中间特征数据集，则基于与其相邻的金字塔图像参考特征数据集进行降采样或升采样得到该金字塔图像中间特征数据集，以用于目标对象检测。
16.根据权利要求15所述的装置，其特征在于，所述检测模块，还用于：
建立以参考图像层为基准的图像分辨率拟合函数；
根据所述图像分辨率拟合函数，计算中间图像层的图像分辨率；
中间图像层的图像分辨率与参考图像层的图像分辨率的比值即为采样系数。
17.根据权利要求16所述的装置，其特征在于，所述图像分辨率拟合函数为6次多项式函数。
18.根据权利要求10所述的装置，其特征在于，所述检测目标对象的步骤采用ACF算法实现。
19.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任一项所述的方法。
20.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现权利要求1-9中任一项所述的方法的步骤。
CN201910053816.3A 2019-01-21 2019-01-21 图像中的目标检测方法及装置、电子设备、存储介质 Active CN109801279B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910053816.3A CN109801279B (zh) 2019-01-21 2019-01-21 图像中的目标检测方法及装置、电子设备、存储介质
US16/597,075 US11068736B2 (en) 2019-01-21 2019-10-09 Method and apparatus for detecting target objects in images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910053816.3A CN109801279B (zh) 2019-01-21 2019-01-21 图像中的目标检测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN109801279A CN109801279A (zh) 2019-05-24
CN109801279B true CN109801279B (zh) 2021-02-02

Family

ID=66559903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910053816.3A Active CN109801279B (zh) 2019-01-21 2019-01-21 图像中的目标检测方法及装置、电子设备、存储介质

Country Status (2)

Country Link
US (1) US11068736B2 (zh)
CN (1) CN109801279B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110426395B (zh) * 2019-07-02 2022-02-11 广州大学 一种太阳能el电池硅片表面检测方法及装置
CN110909712B (zh) * 2019-12-05 2021-04-16 重庆紫光华山智安科技有限公司 运动目标检测方法、装置、电子设备及存储介质
CN114445801B (zh) * 2022-01-25 2022-10-21 杭州飞步科技有限公司 一种基于跨层优化的车道线检测方法
CN115861309B (zh) * 2023-02-22 2023-06-16 和普威视光电股份有限公司 红外弱小目标检测mpcm加速方法、装置、终端及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184551A (zh) * 2011-05-10 2011-09-14 东北大学 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统
CN105809184A (zh) * 2015-10-30 2016-07-27 哈尔滨工程大学 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100410969C (zh) * 2006-07-26 2008-08-13 深圳市蓝韵实业有限公司 一种医疗放射图像的细节增强方法
CN101271514B (zh) * 2007-03-21 2012-10-10 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
CN102117494A (zh) * 2009-12-30 2011-07-06 新奥特（北京）视频技术有限公司 一种三维建模中的数据分层分块方法及装置
JP6406900B2 (ja) * 2014-07-09 2018-10-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法
JP6570370B2 (ja) * 2015-08-21 2019-09-04 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体
CN105550691B (zh) * 2015-12-29 2019-03-19 武汉大学 基于尺度空间的自适应山谷山脊线提取方法及系统
CN107292845B (zh) * 2017-06-26 2020-04-17 安健科技(重庆)有限公司 基于标准差金字塔的动态图像降噪方法及装置
CN107845128B (zh) * 2017-11-03 2021-09-03 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
TWI651662B (zh) * 2017-11-23 2019-02-21 財團法人資訊工業策進會 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
CN108280831B (zh) * 2018-02-02 2020-04-21 南昌航空大学 一种图像序列光流的获取方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184551A (zh) * 2011-05-10 2011-09-14 东北大学 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统
CN105809184A (zh) * 2015-10-30 2016-07-27 哈尔滨工程大学 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法

Also Published As

Publication number Publication date
US20200234072A1 (en) 2020-07-23
CN109801279A (zh) 2019-05-24
US11068736B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109801279B (zh) 图像中的目标检测方法及装置、电子设备、存储介质
US10970600B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
US9373171B2 (en) Method for generating a depth map, related system and computer program product
US20110268319A1 (en) Detecting and tracking objects in digital images
CN110738611B (zh) 一种视频画质增强方法、系统及设备
CN110738609A (zh) 一种去除图像摩尔纹的方法及装置
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
KR20180122548A (ko) 이미지를 처리하는 방법 및 장치
US20190139189A1 (en) Image remosaicing
CN107038695A (zh) 一种图像融合方法及移动设备
CN112149793A (zh) 人工神经网络模型和包括人工神经网络模型的电子设备
WO2020098360A1 (en) Method, system, and computer-readable medium for processing images using cross-stage skip connections
JP6982194B2 (ja) ビデオ特徴の抽出方法および装置
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN110781740A (zh) 一种视频画质识别方法、系统及设备
CN109961447A (zh) 价签检测方法及装置、电子设备、存储介质
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN112101113A (zh) 一种轻量化的无人机图像小目标检测方法
CN111563517A (zh) 图像处理方法、装置、电子设备及存储介质
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
EP3296957B1 (en) Method and apparatus for judging image brightness background, and display apparatus
US20220405972A1 (en) An imaging sensor, an image processing device and an image processing method
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant