CN110659658B - 一种目标检测方法及其装置 - Google Patents
一种目标检测方法及其装置 Download PDFInfo
- Publication number
- CN110659658B CN110659658B CN201810713179.3A CN201810713179A CN110659658B CN 110659658 B CN110659658 B CN 110659658B CN 201810713179 A CN201810713179 A CN 201810713179A CN 110659658 B CN110659658 B CN 110659658B
- Authority
- CN
- China
- Prior art keywords
- block
- target
- image
- detected
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种目标检测方法及其装置,该方法包括:利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;按照所述缩放系数对各分块进行缩放;分别对缩放后的各分块进行目标检测;对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。该方法可以降低目标检测模型的复杂度和训练难度,并提高目标检测的准确率。
Description
技术领域
本申请涉及图像处理技术,尤其涉及一种目标检测方法及其装置。
背景技术
在传统视觉领域,目标检测是一个非常热门的研究方向,一些特定目标的检测,比如人脸检测、行人检测、车辆检测等已经有非常成熟的技术了。
然而,根据视频采集设备的安装角度不同,采集的视频图像上的人、车等目标尺度变化范围不一,即产生多尺度目标,当采用统一的目标检测网络对视频图像中的多尺度目标进行目标检测时准确率会较低。
如何对多尺度目标进行准确检测成为一个亟待解决的技术问题。
发明内容
有鉴于此,本申请提供一种目标检测方法及其装置。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种目标检测方法,包括:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。
根据本申请实施例的第二方面,提供一种目标检测装置,包括:
确定单元,用于利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
缩放单元,用于按照所述缩放系数对所述待检测图像的各分块进行缩放;
目标检测单元,用于分别对缩放后的各分块进行目标检测;
融合处理单元,用于对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。
根据本申请实施例的第三方面,提供一种目标检测装置,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。
根据本申请实施例的第四方面,提供一种机器可读存储介质,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。
本申请实施例的目标检测方法,通过利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数,进而,按照缩放系数对各分块进行缩放,分别对缩放后的各分块进行目标检测,并对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果,降低了目标检测模型的复杂度和训练难度,并提高了目标检测的准确率。
附图说明
图1是本申请一示例性实施例示出的一种目标检测方法的流程图;
图2A是本申请一示例性实施例示出的一种分块划分的示意图;
图2B是本申请一示例性实施例示出的一种目标检测网络模型的示意图;
图3是本申请一示例性实施例示出的一种尺度回归网络训练的流程图;
图4是本申请又一示例性实施例示出的一种目标检测方法的流程图;
图5是本申请一示例性实施例示出的一种目标检测装置的结构示意图;
图6是本申请又一示例性实施例示出的一种目标检测装置的结构示意图;
图7是本申请又一示例性实施例示出的一种目标检测装置的结构示意图;
图8是本申请又一示例性实施例示出的一种目标检测装置的结构示意图;
图9是本申请一示例性实施例示出的一种目标检测装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种目标检测方法的流程示意图,如图1所示,该方法可以包括以下步骤:
需要说明的是,本申请实施例提供的目标检测方法可以应用于具有目标检测需求的设备,其可以包括但不限于视频监控领域的前端视频采集设备或后端服务器,或其它专用于目标检测的设备等。
S100、利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数。
本申请实施例中,考虑到视频采集设备采集到的视频图像中的目标的尺度通常会在竖直方向(也可以称为y轴方向)呈现一定的分布规律。
例如,由于视频采集设备安装通常具备一定的俯视角,因此,视频采集设备采集到的视频图像沿竖直方向从上到下目标尺度会逐渐减小(视频图像沿竖直方向从上到下的目标与视频采集设备的距离逐渐减少)。
因此,对于任一帧需要进行目标检测的图像(本文中称为待检测图像),可以根据图像中的目标的尺度分布规律将目标待检测图像划分为多个分块。
例如,可以利用默认的分块划分方案将目标待检测图像划分为多个分块,或者,可以由用户根据需求配置分块参数(本文中称为预设分块参数),并根据该预设分块参数对待检测图像划分为多个分块。
在本申请其中一个实施例中,上述利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数之前,还可以包括:
按照预设分块参数沿水平方向将待检测图像划分为多个分块。
其中,该预设分块参数可以包括分块数量(可以根据实际场景设定,如6块、8块等)。
此外,考虑到沿水平方向将待检测图像划分为多个分块时,待检测图像中的部分目标可能会被划分为多个部分(该多个部分分别处于相邻的多个分块),因此,为了保证目标检测的准确性,将待检测图像划分为多个分块时,各分块需要存在一定的重叠范围,以便后续流程中可以更准确地进行目标融合,其示意图可以如图2A所示(其中,图2A中仅示例性地示出待检测图像中的部分目标,待检测图像的背景及其它目标(若存在)未示出)。
相应地,上述分块参数还可以包括各分块的重叠范围。例如,该重叠范围可以为上方(或下方)的分块与相邻的下方(或上方)的分块的重叠部分的面积占整个分块的面积的比例;或者,该重叠范围可以为上方(或下方)的分块与相邻的下方(或上方)的分块的重叠部分的面积等。
本申请实施例中,为了在保证目标检测的准确率的情况下,减少目标检测的工作量,可以将存在多尺度目标的视频图像中的目标缩放的相同尺度进行目标检测。
而考虑到视频图像的不同分块中目标尺度不同,需要按照不同的缩放系数对各分块进行缩放才能将各分块中的目标缩放到相同尺度,因此,为了将视频图像的各分块的目标缩放到相同尺度,需要先确定视频图像的各分块的缩放系数。
相应地,在本申请实施例中,可以利用预设的训练样本集训练用于确定分块缩放系数的网络模型(本文中称为尺度回归网络),并利用训练好的尺度回归网络确定待检测图像中各分块的缩放系数。
其中,在训练过程中,可以根据各个训练样本中的目标尺寸分布,确定目标大小的分布与竖直方向的关系,以构建基于竖直方向的尺度轴,对指定长度的分块赋予尺度值,进而,确定各分块的缩放系数。
如图3所示,在本申请其中一个实施例中,尺度回归网络的训练可以包括以下步骤:
步骤S300、按照预设分块参数沿水平方向将训练样本划分为多个分块。
其中,步骤S300的实现可以参见步骤S100中的相关描述,本申请实施例在此不做赘述。
步骤S310、对训练样本进行目标中心点坐标以及竖直方向长度标定。
在该实施例中,对于任一训练样本,在将该训练样本用于网络模型训练之前,可以先对该训练样本进行目标中心点坐标以及竖直方向长度(即训练样本中的目标在竖直方向上的长度)进行标定。
需要说明的是,在该实施例中,步骤S300与步骤S310之间并不存在必然的时序关系,即可以先执行步骤S300中的操作,后执行步骤S310中的操作;也可以先执行步骤S310中的操作,后执行步骤S300中的操作;还可以并发执行步骤S300和步骤S310中的操作。
步骤S320、根据各目标中心点所在的分块,确定各分块对应的目标平均尺寸。
在该实施例中,在按照预设分块参数沿水平方向对训练样本进行分块,并完成对训练样本的目标中心点坐标以及竖直方向长度标定之后,可以确定各目标中心点所在的分块,进而,根据各目标中心点所在的分块,确定各分块对应的目标平均尺寸。
举例来说,假设训练样本a被划分为从上到小共6个分块,且训练样本a中存在3个目标的中心点位于最上方的分块,该3个目标在竖直方向上的长度分别为L1、L2和L3,则该最上方的分块对应的目标平均尺寸为(L1+L2+L3)/3。
需要说明的是,在该实施例中,考虑到训练样本中可能会出现一个或多个分块中不存在目标(即训练样本中任一目标的中心点均不在该一个或多个分块中)的情况,在该情况下,该一个或多个分块对应的目标平均尺寸无法按照上述方式直接得出,此时,需要根据其它分块对应的目标平均尺寸确定该一个或多个分块对应的目标平均尺寸。
在一个示例中,若存在未确定目标平均尺寸的分块,可以利用滑动平均算法确定该分块的目标平均尺寸。
步骤S330、根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数。
在该实施例中,在得到了训练样本的各分块对应的目标平均尺寸之后,可以根据该训练样本各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数,即将各分块对应的目标平均尺寸缩放到最佳检测尺寸时需要的缩放系数。
其中,预设最佳检测尺寸可以根据实际目标检测网络模型的相关参数确定。
步骤S340、将各分块的缩放系数归一化后作为真值,并利用该真值对尺度回归网络进行训练。
在该实施例中,在确定了训练样本的各分块的缩放系数之后,可以利用训练样本的各分块的缩放系数对尺度回归网络进行训练,直至网络收敛。
优选地,为了使数据处理更加方便,并提高网络收敛的效率,在使用训练样本各分块的缩放系数对尺度回归网络进行训练之前,可以先对训练样本各分块的缩放系数进行归一化处理,并将各分块的缩放系数归一化后的值作为真值,对尺度回归网络进行训练。
可选地,请参见图2B,在一个示例中,尺度回归网络可以采用CNN(ConvolutionalNeural Network,卷积神经网络)网络模型。
其中,尺度回归网络对应的CNN网络模型可以至少包括多个卷积层,由该多个卷积层执行多个尺度的回归计算。
此外,在该示例中,目标检测网络模型除了可以包括尺度回归网络对应的CNN网络模型之外,还可以包括多个用于目标检测的CNN网络模型,该多个用于目标检测的CNN网络模型可以并发对各分块进行目标检测。
相应地,尺度回归网络对应的CNN网络模型确定了各分块的缩放系数之后,在将待检测图像输入到用于目标检测的CNN网络模型之前,可以按照分块划分对待检测图像进行分割,并按照所确定的缩放系数对各分割后的分块进行缩放,进而,将缩放后的各分块分别输入到各用于目标检测的CNN网络模型,并发进行目标检测,并对各用于目标检测的CNN网络模型的检测结果进行融合输出,其具体实现可以参见步骤S110~步骤S130中的相关描述。
其中,为了减少目标检测的工作量,将待检测图像输入到尺度回归网络之前,还可以先对待检测图像进行多倍采样,其具体实现可以参见图4所示方法流程中的相关描述。
在该实施例中,利用上述方式完成尺度回归网络训练之后,可以将划分分块后的待检测图像输入训练好的尺度回归网络,以确定该检测图像中各分块的缩放系数。
其中,当进行尺度回归网络训练时使用的真值为进行归一化后的缩放系数时,训练好的尺度回归网络输出的缩放系数在使用前,还需要将尺度回归网络输出的缩放系数还原为真实值(即进行反归一化处理),并使用该反归一化处理后的缩放系数对对应的分块进行缩放。
步骤S110、按照该缩放系数对待检测图像的各分块进行缩放。
本申请实施例中,利用预先训练的尺度回归网络确定了待检测图像中各分块的缩放系数之后,可以对各分块按照对应的缩放系数进行缩放处理。
在本申请其中一个实施例中,上述按照缩放系数对待检测图像的各分块进行缩放,可以包括:
按照分块划分将待检测图像分割为多个分块;
按照缩放系数对各分割后的分块进行缩放。
在该实施例中,在确定了各分块的缩放系数之后,可以按照分块划分(如步骤S100中描述的分块划分)将待检测图像分割为多个分块,并按照所确定的缩放系数,分别对各分割后的分块进行缩放。
步骤S120、分别对缩放后的各分块进行目标检测。
本申请实施例中,对待检测图像对应的各分块进行缩放处理之后,可以分别对各分块进行目标检测,以得到各分块中的目标(通过目标框框定)。
在本申请其中一个实施例中,上述分别对缩放后的各分块进行目标检测,可以包括:
利用多个目标检测网络,对缩放后的各分块进行并发目标检测。
在该实施例中,为了提高目标检测效率,在对各分块进行目标检测时,可以利用多个目标检测网络,对缩放后的各分块进行并发目标检测。
其中,该多个目标检测网络使用相同的网络模型(如CNN网络模型),并具有相同的参数配置。
步骤S130、对各分块中的目标进行融合输出,以得到待检测图像中的目标检测结果。
本申请实施例中,当各分块完成目标检测之后,可以对各分块中的目标进行融合输出,以得到该待检测图像中的目标检测结果。
在本申请其中一个实施例中,上述对各分块中的目标进行融合输出,可以包括:
根据各分块的缩放比例,以及目标框在分块中的坐标将分块中的目标框映射至待检测图像;
当待检测图像中存在发生重叠的目标框时,对发生重叠的目标框进行融合处理。
在该实施例中,当各分块完成目标检测之后,可以确定各分块中的目标框在分块中的坐标,进而,可以根据各分块的缩放比例,以及目标框在分块中的坐标将分块中的目标框映射至待检测图像。
由于对待检测图像进行分块时,各分块之间通常会存在一定的覆盖范围,因此,当待检测图像中存在同时处于多个分块的目标时,该目标在各分块中的部分对应的目标框重新映射至待检测图像时会发生重叠,此时,可以对该发生重叠的目标框按照指定组合规则进行融合处理,其具体实现在此不做赘述。
可见,在图1所示方法流程中,通过对图像在竖直方向的目标尺度分布规律进行学习,对于任一帧需要进行目标检测的图像(即待检测图像),通过将待检测图像划分为多个分块,并根据所确定的缩放系数分别对各分块进行缩放,以将各分块中的目标缩放到相同尺度,进而,在进行目标检测时,将多尺度目标检测转化为相同尺度目标检测,降低了目标检测模型的复杂度和训练难度,并提高了目标检测的准确率。此外,通过将目标检测模型的最佳检测尺寸设置得较小,进行目标检测时,可以将大尺度目标缩小,从而可以减少目标检测的工作量。
请参见图4,为本申请实施例提供的另一种目标检测方法的流程图,如图4所示,该目标检测方法可以包括以下步骤:
步骤S400、按照预设分块参数沿水平方向将待检测图像划分为多个分块。其中,预设分块参数包括分块数量以及各分块的重叠范围。
本申请实施例中,步骤S400的具体实现可以参见步骤S100中的相关描述,本申请实施例在此不再赘述。
步骤S410、按照预设采样参数对待检测图像进行多倍采样。
本申请实施例中,为了减少目标检测的工作量,在确定待检测图像中各分块的缩放系数之前可以按照预设采样参数对待检测图像进行多倍采样。
其中,该预设采样参数可以包括采样倍率,如6倍、8倍、10倍等。
需要说明的是,在本申请实施例中,步骤S400中的操作与步骤S410中的操作之间并不存在必然的时序关系,即可以先执行步骤S400中的操作,后执行步骤S410中的操作;也可以先执行步骤S410中的操作,后执行步骤S400中的操作;还可以并发执行步骤S400和步骤S410中的操作。
步骤S420、将多倍采样后的待检测图像输入预先训练的尺度回归网络,以得到待检测图像中各分块的缩放系数。
本申请实施例中,在确定待检测图像中各分块的缩放系数之前,可以按照步骤S410的方式对待检测图像进行多倍采样,并将多倍采样后的待检测图像(已按照步骤S400的方式进行了分块划分)输入到预先训练的尺度回归网络,以得到待检测图像中各分块的缩放系数。
其中,尺度回归网络的训练方式可以参见图3所示方法流程中的相关描述,本申请实施例在此不再赘述。
步骤S430、按照分块划分对待检测图像进行分割,并按照该缩放系数对各分割后的分块进行缩放。
步骤S440、分别对缩放后的各分割后的分块进行目标检测。
步骤S450、对各分割后的分块中的目标进行融合输出,以得到待检测图像中的目标检测结果。
本申请实施例中,步骤S430~步骤S450的具体实现可以参见步骤S110~步骤S130中的相关描述,本申请实施例在此不做赘述。
本申请实施例中,通过利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数,进而,按照缩放系数对各分块进行缩放,分别对缩放后的各分块进行目标检测,并对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果,降低了目标检测模型的复杂度和训练难度,并提高了目标检测的准确率。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图5,为本申请实施例提供的一种目标检测装置的结构示意图,如图5所示,该目标检测装置可以包括:
确定单元510,用于利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
缩放单元520,用于按照所述缩放系数对各分块进行缩放;
目标检测单元530,用于分别对缩放后的各分块进行目标检测;
融合处理单元540,用于对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果。
如图6所示,在一种可选的实施方式中,所述装置还包括:
采样单元550,用于按照预设采样参数对所述待检测图像进行多倍采样;
所述确定单元510,具体用于将多倍采样后的待检测图像输入预先训练的尺度回归网络,以得到所述待检测图像中各分块的缩放系数。
如图7所示,在一种可选的实施方式中,所述装置还包括:
训练单元560,用于按照预设分块参数沿水平方向将训练样本划分为多个分块,并对训练样本进行目标中心点坐标以及竖直方向长度标定;根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸;根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数;将所述各分块的缩放系数归一化后作为真值,并利用所述真值对尺度回归网络进行训练。
在一种可选的实施方式中,所述训练单元560,还用于若存在未确定目标平均尺寸的分块,利用滑动平均算法确定该分块的目标平均尺寸。
如图8所示,在一种可选的实施方式中,所述装置还包括:
分块划分单元570,用于按照预设分块参数沿水平方向将待检测图像划分为多个分块;其中,所述预设分块参数包括分块数量以及各分块的重叠范围;
分割单元580,用于按照分块划分将所述待检测图像分割为多个分块;
所述缩放单元520,具体用于按照所述缩放系数对各分割后的分块进行缩放。
在一种可选的实施方式中,所述目标检测单元530,具体用于利用多个目标检测网络,对缩放后的各分块进行并发目标检测;其中,所述多个目标检测网络使用相同的网络模型,并具有相同的参数配置。
在一种可选的实施方式中,所述融合处理单元540,具体用于根据各分块的缩放比例,以及目标框在分块中的坐标将分块中的目标框映射至所述待检测图像;当所述待检测图像中存在发生重叠的目标框时,对所述发生重叠的目标框进行融合处理。
请参见图9,为本申请实施例提供的一种目标检测装置的硬件结构示意图。该目标检测装置可以包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且,通过读取并执行机器可读存储介质902中与目标检测逻辑对应的机器可执行指令,处理器901可执行上文描述的目标检测方法。
本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质,例如图9中的机器可读存储介质902,所述机器可执行指令可由目标检测装置中的处理器901执行以实现以上描述的目标检测方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (14)
1.一种目标检测方法,其特征在于,包括:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果;
所述尺度回归网络通过以下方式进行训练:
按照预设分块参数沿水平方向将训练样本划分为多个分块,并对训练样本进行目标中心点坐标以及竖直方向长度标定;
根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸;
根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数;
将所述各分块的缩放系数归一化后作为真值,并利用所述真值对尺度回归网络进行训练。
2.根据权利要求1所述的方法,其特征在于,所述利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数之前,还包括:
按照预设采样参数对所述待检测图像进行多倍采样;
所述利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数,包括:
将多倍采样后的待检测图像输入预先训练的尺度回归网络,以得到所述待检测图像中各分块的缩放系数。
3.根据权利要求1所述的方法,其特征在于,所述根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸之后,所述根据各分块对应的目标平均尺寸,以及预设最佳检测尺寸,确定各分块的缩放系数之前,还包括:
若存在未确定目标平均尺寸的分块,利用滑动平均算法确定该分块的目标平均尺寸。
4.根据权利要求1所述的方法,其特征在于,所述利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数之前,还包括:
按照预设分块参数沿水平方向将所述待检测图像划分为多个分块;其中,所述预设分块参数包括分块数量以及各分块的重叠范围;
所述按照所述缩放系数对所述待检测图像的各分块进行缩放,包括:
按照分块划分将所述待检测图像分割为多个分块;
按照所述缩放系数对各分割后的分块进行缩放。
5.根据权利要求1所述的方法,其特征在于,所述分别对缩放后的各分块进行目标检测,包括:
利用多个目标检测网络,对缩放后的各分块进行并发目标检测;其中,所述多个目标检测网络使用相同的网络模型,并具有相同的参数配置。
6.根据权利要求1所述的方法,其特征在于,所述对各分块中的目标进行融合输出,包括:
根据各分块的缩放比例,以及目标框在分块中的坐标将分块中的目标框映射至所述待检测图像;
当所述待检测图像中存在发生重叠的目标框时,对所述发生重叠的目标框进行融合处理。
7.一种目标检测装置,其特征在于,包括:
确定单元,用于利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
缩放单元,用于按照所述缩放系数对所述待检测图像的各分块进行缩放;
目标检测单元,用于分别对缩放后的各分块进行目标检测;
融合处理单元,用于对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果;
其中,所述装置还包括:
训练单元,用于按照预设分块参数沿水平方向将训练样本划分为多个分块,并对训练样本进行目标中心点坐标以及竖直方向长度标定;根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸;根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数;将所述各分块的缩放系数归一化后作为真值,并利用所述真值对尺度回归网络进行训练。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
采样单元,用于按照预设采样参数对所述待检测图像进行多倍采样;
所述确定单元,具体用于将多倍采样后的待检测图像输入预先训练的尺度回归网络,以得到所述待检测图像中各分块的缩放系数。
9.根据权利要求7所述的装置,其特征在于,
所述训练单元,还用于若存在未确定目标平均尺寸的分块,利用滑动平均算法确定该分块的目标平均尺寸。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
分块划分单元,用于按照预设分块参数沿水平方向将待检测图像划分为多个分块;其中,所述预设分块参数包括分块数量以及各分块的重叠范围;
分割单元,用于按照分块划分将所述待检测图像分割为多个分块;
所述缩放单元,具体用于按照所述缩放系数对各分割后的分块进行缩放。
11.根据权利要求7所述的装置,其特征在于,
所述目标检测单元,具体用于利用多个目标检测网络,对缩放后的各分块进行并发目标检测;其中,所述多个目标检测网络使用相同的网络模型,并具有相同的参数配置。
12.根据权利要求7所述的装置,其特征在于,
所述融合处理单元,具体用于根据各分块的缩放比例,以及目标框在分块中的坐标将分块中的目标框映射至所述待检测图像;当所述待检测图像中存在发生重叠的目标框时,对所述发生重叠的目标框进行融合处理。
13.一种目标检测装置,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果;
所述尺度回归网络通过以下方式进行训练:
按照预设分块参数沿水平方向将训练样本划分为多个分块,并对训练样本进行目标中心点坐标以及竖直方向长度标定;
根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸;
根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数;
将所述各分块的缩放系数归一化后作为真值,并利用所述真值对尺度回归网络进行训练。
14.一种机器可读存储介质,其特征在于,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:
利用预先训练的尺度回归网络确定待检测图像中各分块的缩放系数;
按照所述缩放系数对所述待检测图像的各分块进行缩放;
分别对缩放后的各分块进行目标检测;
对各分块中的目标进行融合输出,以得到所述待检测图像中的目标检测结果;
所述尺度回归网络通过以下方式进行训练:
按照预设分块参数沿水平方向将训练样本划分为多个分块,并对训练样本进行目标中心点坐标以及竖直方向长度标定;
根据各目标中心点对应的分块,确定各分块对应的目标平均尺寸;
根据各分块对应的目标平均尺寸以及预设最佳检测尺寸,确定各分块的缩放系数;
将所述各分块的缩放系数归一化后作为真值,并利用所述真值对尺度回归网络进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810713179.3A CN110659658B (zh) | 2018-06-29 | 2018-06-29 | 一种目标检测方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810713179.3A CN110659658B (zh) | 2018-06-29 | 2018-06-29 | 一种目标检测方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110659658A CN110659658A (zh) | 2020-01-07 |
CN110659658B true CN110659658B (zh) | 2022-07-29 |
Family
ID=69027729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810713179.3A Active CN110659658B (zh) | 2018-06-29 | 2018-06-29 | 一种目标检测方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659658B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738275A (zh) * | 2020-06-13 | 2020-10-02 | 玖壹叁陆零医学科技南京有限公司 | 一种采样框的生成方法、训练方法以及神经网络 |
CN111783784A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(合肥)科技有限公司 | 建筑的空洞检测方法及装置、电子设备、存储介质 |
CN111986255B (zh) * | 2020-09-07 | 2024-04-09 | 凌云光技术股份有限公司 | 一种图像检测模型的多尺度anchor初始化方法与装置 |
CN112507983B (zh) * | 2021-02-03 | 2021-11-16 | 北京世纪好未来教育科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
CN113160169A (zh) * | 2021-04-16 | 2021-07-23 | 浙江高速信息工程技术有限公司 | 隧道裂隙图像识别方法和系统 |
CN116311243B (zh) * | 2023-03-22 | 2023-10-24 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于显微镜图像的藻类检测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
CN105512683A (zh) * | 2015-12-08 | 2016-04-20 | 浙江宇视科技有限公司 | 基于卷积神经网络的目标定位方法及装置 |
CN105740792A (zh) * | 2016-01-25 | 2016-07-06 | 浙江生辉照明有限公司 | 目标检测方法和装置 |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN107578021A (zh) * | 2017-09-13 | 2018-01-12 | 北京文安智能技术股份有限公司 | 基于深度学习网络的行人检测方法、装置及系统 |
CN107730514A (zh) * | 2017-09-29 | 2018-02-23 | 北京奇虎科技有限公司 | 场景分割网络训练方法、装置、计算设备及存储介质 |
CN108038409A (zh) * | 2017-10-27 | 2018-05-15 | 江西高创保安服务技术有限公司 | 一种行人检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657364B2 (en) * | 2016-09-23 | 2020-05-19 | Samsung Electronics Co., Ltd | System and method for deep network fusion for fast and robust object detection |
-
2018
- 2018-06-29 CN CN201810713179.3A patent/CN110659658B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
CN105512683A (zh) * | 2015-12-08 | 2016-04-20 | 浙江宇视科技有限公司 | 基于卷积神经网络的目标定位方法及装置 |
CN105740792A (zh) * | 2016-01-25 | 2016-07-06 | 浙江生辉照明有限公司 | 目标检测方法和装置 |
CN106778472A (zh) * | 2016-11-17 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 基于深度学习的输电走廊常见侵入物目标检测与识别方法 |
CN107578021A (zh) * | 2017-09-13 | 2018-01-12 | 北京文安智能技术股份有限公司 | 基于深度学习网络的行人检测方法、装置及系统 |
CN107730514A (zh) * | 2017-09-29 | 2018-02-23 | 北京奇虎科技有限公司 | 场景分割网络训练方法、装置、计算设备及存储介质 |
CN108038409A (zh) * | 2017-10-27 | 2018-05-15 | 江西高创保安服务技术有限公司 | 一种行人检测方法 |
Non-Patent Citations (3)
Title |
---|
HOG融合特征及DL在行人检测算法中的研究;王琴芳;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20180315;I138-1363页 * |
Scale-Adaptive Convolutions for Scene Parsing;Rui Zhang等;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;2050-2058页,正文第3.1节第1段1-7行,3.2节第1段第18-20行,图2,图4 * |
基于梯度双面互补特性的级联快速目标检测;谢昭等;《计算机软件及计算机应用》;20171031;第45卷(第10期);2362-2367页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110659658A (zh) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659658B (zh) | 一种目标检测方法及其装置 | |
CN110400332B (zh) | 一种目标检测跟踪方法、装置及计算机设备 | |
CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
CN109087510B (zh) | 交通监测方法及装置 | |
CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
US9053389B2 (en) | Hough transform for circles | |
CN110807385A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN105631418A (zh) | 一种人数统计的方法和装置 | |
WO2021031954A1 (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
CN110853085B (zh) | 基于语义slam的建图方法和装置及电子设备 | |
CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
CN112633255A (zh) | 目标检测方法、装置及设备 | |
CN109447022A (zh) | 一种镜头类型识别方法及装置 | |
CN110007764B (zh) | 一种手势骨架识别方法、装置、系统及存储介质 | |
KR20130091441A (ko) | 물체 추적 장치 및 그 제어 방법 | |
CN108133116B (zh) | Cad户型图墙厚自动识别方法及系统 | |
CN114155740A (zh) | 一种车位检测方法、装置及设备 | |
KR102260556B1 (ko) | 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치 | |
CN113112479A (zh) | 基于关键区块提取的渐进式目标检测方法和装置 | |
CN111027551B (zh) | 图像处理方法、设备和介质 | |
CN114820755B (zh) | 一种深度图估计方法及系统 | |
CN112446231A (zh) | 一种人行横道检测方法、装置、计算机设备及存储介质 | |
CN113869163B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN115035164A (zh) | 一种运动目标识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |