CN108694401A - 目标检测方法、装置及系统 - Google Patents
目标检测方法、装置及系统 Download PDFInfo
- Publication number
- CN108694401A CN108694401A CN201810440205.XA CN201810440205A CN108694401A CN 108694401 A CN108694401 A CN 108694401A CN 201810440205 A CN201810440205 A CN 201810440205A CN 108694401 A CN108694401 A CN 108694401A
- Authority
- CN
- China
- Prior art keywords
- network
- parameter
- anchor
- sub
- anchor point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/16—Classification; Matching by matching signal segments
- G06F2218/20—Classification; Matching by matching signal segments by applying autoregressive analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标检测方法、装置及系统,涉及人工智能技术领域,该方法包括:获取待检测图像和预设种类数量的锚点参数;其中,所述锚点参数为在所述待检测图像上设置的锚点的参数;每种所述锚点参数包括锚点面积和锚点长宽比;将所述待检测图像和所述锚点参数输入至目标检测模型;通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果;所述检测结果包括所述待检测图像所包含的目标对象的类别和/或位置。本发明能够较好地提升目标检测的准确率。
Description
技术领域
本发明涉及人工智能技术领域,尤其是涉及一种目标检测方法、装置及系统。
背景技术
现有基于深度学习的目标检测方法在进行物体检测的过程中,大多需要使用锚点进行检测框预测。具体实现时,通常仅在目标检测模型的训练过程中设置固定种类的锚点,并训练得到适用于固定种类锚点的网络参数。在训练结束后,目标检测模型的网络参数不再发生变化,后续都直接基于确定的网络参数进行目标检测。
然而,现有的目标检测模型在训练过程中所采用的锚点种类有限,锚点能够覆盖的尺度范围有限,致使物体样本覆盖率较低,难以覆盖到待检测的特殊物体(诸如,铅笔等具有特殊长宽比例的物体),因此训练得到的已具有固定网络参数的目标检测模型在实际应用中也无法从待检测图像中检测出特殊物体,检测结果并不准确。
发明内容
有鉴于此,本发明的目的在于提供一种目标检测方法、装置及系统,能够提升目标检测结果的准确性。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种目标检测方法,包括:获取待检测图像和预设种类数量的锚点参数;其中,所述锚点参数为在所述待检测图像上设置的锚点的参数;每种所述锚点参数包括锚点面积和锚点长宽比;将所述待检测图像和所述锚点参数输入至目标检测模型;通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果;所述检测结果包括所述待检测图像所包含的目标对象的类别和/或位置。
进一步,所述目标检测模型包括骨干网络以及与所述骨干网络连接的子网络,还包括与所述子网络相连接的元网络;其中,所述骨干网络的输入为所述待检测图像,所述骨干网络的输出为所述待检测图像的特征图;所述元网络的输入为所述锚点参数,所述元网络的输出为所述子网络的层网络参数;所述子网络的输入为所述特征图和所述层网络参数,所述子网络的输出为所述检测结果。
进一步,所述通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果的步骤,包括:通过所述骨干网络对输入的所述待检测图像进行特征提取,得到所述待检测图像的特征图,并将所述特征图输入至所述子网络;通过所述元网络对输入的所述锚点参数进行非线性映射处理,得到所述子网络的层网络参数,并将所述层网络参数输入至所述子网络;通过所述子网络基于所述层网络参数对所述特征图进行分类处理,确定所述待检测图像中的目标对象的类别,和/或,基于所述层网络参数对所述特征图进行回归处理,确定所述待检测图像中的目标对象的位置。
进一步,所述子网络包括分类子网络和回归子网络;所述元网络包括第一元网络和第二元网络;其中,所述第一元网络与所述分类子网络相连,所述第二元网络与所述回归子网络相连;所述层网络参数包括分类层网络参数和回归层网络参数;所述通过所述元网络对输入的所述锚点参数进行非线性映射处理,得到所述子网络的层网络参数,并将所述层网络参数输入至所述子网络的步骤,包括:通过所述第一元网络对输入的所述锚点参数进行非线性映射处理,得到所述分类层网络参数,并将所述分类层网络参数输入至所述分类子网络;通过所述第二元网络对输入的所述锚点参数进行非线性映射处理,得到所述回归层网络参数,并将所述回归层网络参数输入至所述回归子网络。
进一步,所述分类子网络包括多个卷积层,所述第一元网络与所述分类子网络的分类结果输出层相连;其中,所述分类层网络参数为所述分类结果输出层的网络参数;所述分类结果输出层为所述分类子网络中多个所述卷积层的末端卷积层;所述回归子网络包括多个卷积层;所述第二元网络与所述回归子网络的回归结果输出层相连;其中,所述回归层网络参数为所述回归结果输出层的网络参数;所述回归结果输出层为所述回归子网络中多个所述卷积层的末端卷积层。
进一步,所述第一元网络和所述第二元网络均包括至少两层全连接层;所述第一元网络的末端全连接层输出的分类层网络参数与所述分类子网络的输出通道数、输入通道数和卷积核大小相关;其中,所述分类子网络的输出通道数与输入至所述第一元网络的所述锚点种类数量和所述分类子网络的输出类别数相关;所述第二元网络的末端全连接层输出的回归层网络参数与所述回归子网络的输出通道数、输入通道数和卷积核大小相关;其中,所述回归子网络的输出通道数与输入至所述第二元网络的所述锚点种类数量和所述回归子网络输出的目标对象的位置参数的数量相关。
进一步,所述获取预设种类数量的锚点参数的步骤,包括:查找已存储的多种原始锚点参数;按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数。
进一步,所述按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数的步骤,包括:对多种所述原始锚点参数按照锚点面积和/或锚点长宽比的大小进行排序;在相邻的两个所述原始锚点参数之间进行插值处理,以增加一个或多个新锚点参数,直至达到预设种类数量的锚点参数。
进一步,所述按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数的步骤,包括:确定所述原始锚点参数中的最大锚点面积、最小锚点面积、最大锚点长宽比和最小锚点长宽比;增加锚点面积大于所述最大锚点面积的新锚点参数,和/或,增加锚点面积小于所述最小锚点面积的新锚点参数,和/或,增加锚点长宽比大于所述最大锚点长宽比的新锚点参数,和/或,增加锚点长宽比小于所述最小锚点长宽比的新锚点参数,直至达到预设种类数量的锚点参数。
进一步,所述获取预设种类数量的锚点参数的步骤,包括:获取预先设置的锚点参数集;其中,所述锚点参数集中包含多种锚点参数;在多种所述锚点参数中,两个锚点面积的最小差值低于预设第一差值,且两个锚点面积的最大差值高于预设第二差值;和/或,两个锚点长宽比的最小差值低于预设第三差值,且两个锚点长宽比的最大差值高于预设第四差值;从所述锚点参数集中选取预设种类数量的锚点参数。
进一步,在所述目标检测模型被使用时输入至所述目标检测模型的锚点参数,与在对所述目标检测模型进行训练时输入至所述目标检测模型的锚点参数相同或者不同。
进一步,所述骨干网络为特征金字塔网络,所述子网络的数量为多个。其中,所述子网络的数量与所述特征金字塔输出的特征图的尺度种类相对应。
第二方面,本发明实施例还提供一种目标检测装置,包括:获取模块,用于获取待检测图像和预设的锚点参数;其中,所述锚点参数为在所述待检测图像上设置的锚点的参数;输入模块,用于将所述待检测图像和所述锚点参数输入至目标检测模型;检测模块,用于通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果;所述检测结果包括所述待检测图像所包含的目标的类别和/或位置。
第三方面,本发明实施例提供了一种目标检测系统,所述系统包括:图像采集装置、处理器和存储装置;所述图像采集装置,用于采集待检测图像;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种目标检测方法、装置及系统,在对待检测图像进行目标检测时,能够将获取的多种锚点参数输入至目标检测模型,以使目标检测模型基于锚点参数对待检测图像进行目标检测。与现有技术中目标检测模型受限于网络自身固有的锚点种类相比,本实施例提供的上述方式能够使目标检测模型在进行目标检测时可以从外获取锚点参数,便于增加参与目标检测的锚点种类以提升物体样本覆盖率,进而较好地提升了目标检测的准确率。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种目标检测方法流程图;
图3示出了本发明实施例所提供的第一种目标检测模型的结构示意图;
图4示出了本发明实施例所提供的第二种目标检测模型的结构示意图;
图5示出了本发明实施例所提供的第三种目标检测模型的结构示意图;
图6示出了本发明实施例所提供的第四种目标检测模型的结构示意图;
图7示出了本发明实施例所提供的一种RetinaNet目标检测模型的结构示意图;
图8示出了本发明实施例所提供的一种目标检测装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的目标检测方法受限于锚点种类不足,物体样本覆盖率较低,致使检测准确率较低的问题,为改善此问题,本发明实施例提供的一种目标检测方法、装置及系统,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的目标检测方法、装置及系统的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器02可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的攻击数据生成方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
实施例二:
参见图2所示的一种目标检测方法流程图,该方法可由前述实施例提供的电子设备执行,该方法具体包括如下步骤:
步骤S202,获取待检测图像和预设种类数量的锚点参数;其中,锚点参数为在待检测图像上设置的锚点的参数;每种锚点参数包括锚点面积和锚点长宽比。
上述锚点(anchor)也可理解为锚框,具体可理解为初始框或候选区域,锚点参数包括锚点面积(scale)以及锚点长宽比(aspects)。一种锚点参数(也即,一组锚点面积和锚点长宽比)可表征一种锚点。例如,3种面积和3种长宽比可以组合形成9种锚点,待检测图像中每个位置均可对应设置9种锚点,诸如,对于一幅大小为W*H的特征图(feature map),该特征图中包括W*H个位置(可以理解为W*H个像素点),则可对应W*H*9个锚点,也即,对应W*H*9个初始框。
应用锚点进行物体检测是现有基于深度学习的目标检测模型的常用方式,诸如,Faster R-CNN目标检测模型等二阶段检测器可使用锚点首先预测候选框,进而再确定检测框;RetinaNet目标检测模型等单阶段检测器可使用锚点直接预测包含有目标对象的检测框(又可称为物体框)。在实际应用中,大多目标检测模型会采用9种或25种锚点来预测检测框。
为了较好地增加锚点种类,提升物体样本覆盖率,尽可能地覆盖到各种长宽比例的物体,本实施例中获取的锚点参数的种类数量应当多于常规的锚点参数的种类数量。
步骤S204,将待检测图像和锚点参数输入至目标检测模型。具体的,目标检测模型可以设置有待检测图像的输入端,以及锚点参数的输入端。可以理解的是,目标检测模型通常包括诸如特征提取网络、分类网络和回归网络等多种功能网络,待检测图像和锚点参数具体可以分别输入至目标检测模型所包含的不同功能网络。
步骤S206,通过目标检测模型基于锚点参数对待检测图像进行目标检测,得到检测结果;检测结果包括待检测图像所包含的目标对象的类别和/或位置。
现有目标检测模型在进行目标检测时,仅输入待检测图像即可,其通常仅在训练阶段设置固定种类的锚点,并得到适用于固定种类锚点的网络参数,训练结束后现有的目标检测模型的网络参数不再改变,在测试阶段或实际检测阶段均无法动态增加锚点参数,仅能基于训练时设置的固有锚点种类进行物体检测。而本实施例提供的目标检测模型,可以设置有锚点参数的输入端,外部的锚点参数能够输入给目标检测模型。也即,该目标检测模型在对待检测图像进行检测时,不仅可以获取待检测图像,还能够从外部获取锚点参数,并基于获取的锚点参数实现动态检测。可以理解的是,锚点参数输入至本实施例的目标检测模型后,目标检测模型的网络参数也会基于该锚点参数相应发生变化,从而实现动态检测。
以上,本发明实施例提供的上述目标检测方法,在对待检测图像进行目标检测时,能够将获取的多种锚点参数输入至目标检测模型,以使目标检测模型基于锚点参数对待检测图像进行目标检测。与现有技术中目标检测模型受限于网络自身固有的锚点种类相比,本实施例提供的上述方式能够使目标检测模型在进行目标检测时可以从外获取锚点参数,便于增加参与目标检测的锚点种类以提升物体样本覆盖率,进而较好地提升了目标检测的准确率。
为了较好地增加锚点种类,提升物体样本覆盖率,尽可能地覆盖到各种长宽比例的物体,本实施例中的锚点参数的种类数量应当多于常规的锚点参数的种类数量,在一种实施方式中,上述获取预设种类数量的锚点参数的步骤可以按照以下步骤执行:
(1)查找已存储的多种原始锚点参数。可以理解的是,已存储的原始锚点参数种类通常较少,且为大多目标检测模型常用的锚点参数,诸如,仅存储有3种锚点长宽比{1:2,1:1,2:1}和3种锚点面积{20,21/3,22/3}组成的9种锚点参数。
(2)按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数。
为便于理解,以下给出两种扩充方式:
扩充方式一:对多种所述原始锚点参数按照锚点面积和/或锚点长宽比的大小进行排序;在相邻的两个所述原始锚点参数之间进行插值处理,以增加一个或多个新锚点参数,直至达到预设种类数量的锚点参数。诸如,将以上9种锚点参数的锚点长宽比的大小进行排序,依次为{1:2,1:1,2:1},在1:2和1:1之间可以插值有2:3、3:4、5:6、5:8、7:8、7:12、11:12等众多新的锚点长宽比,插值的密度可以根据需求而设定;关于锚点面积的差值也是类似,在此不再赘述。
扩充方式二:确定所述原始锚点参数中的最大锚点面积、最小锚点面积、最大锚点长宽比和最小锚点长宽比;增加锚点面积大于所述最大锚点面积的新锚点参数,和/或,增加锚点面积小于所述最小锚点面积的新锚点参数,和/或,增加锚点长宽比大于所述最大锚点长宽比的新锚点参数,和/或,增加锚点长宽比小于所述最小锚点长宽比的新锚点参数,直至达到预设种类数量的锚点参数。诸如,确定3种锚点长宽比{1:2,1:1,2:1}中的最小锚点长宽比为1:2,最大锚点长宽比为2:1,则可以增加小于1:2的新的锚点长宽比,诸如1:3、1:4、2:5等;增加大于1:2的新的锚点长宽比,诸如3:1、4:1、5:1等;确定3种锚点面积{20,21 /3,22/3}中的最小锚点面积为20,最大锚点面积为22/3,则可以增加小于20的新的锚点长宽比,诸如2-1、2-2、2-3等;增加大于22/3的新的锚点长宽比,诸如2、24/3、23/2等。
在另一种实施方式中,上述获取预设种类数量的锚点参数的步骤可以按照以下步骤执行:
(1)获取预先设置的锚点参数集;其中,所述锚点参数集中包含多种锚点参数;在多种所述锚点参数中,两个锚点面积的最小差值低于预设第一差值,且两个锚点面积的最大差值高于预设第二差值;和/或,两个锚点长宽比的最小差值低于预设第三差值,且两个锚点长宽比的最大差值高于预设第四差值。其中,上述第一差值、第二差值、第三差值和第四差值均可根据需要而灵活设置。
实际应用中,锚点参数集又可称为元锚点,元锚点可以理解为所有锚点的集合,在理想状态下,元锚点可为无穷个锚点的集合,无穷个锚点面积和锚点长宽比也可理解为连续值。锚点的选取范围较广泛,有利于提升物体正样本的覆盖率。
(2)从所述锚点参数集中选取预设种类数量的锚点参数。具体的,锚点参数可以由人工主动选取,也可以按照预设选取方式而自动选取。
应当注意的是,本实施例提供的上述目标检测模型在训练阶段中,每次训练时可统一输入预设种类数量的锚点参数(也即,固定的锚点组数),但不同次输入的锚点种类是可以实时变化的,诸如,每次输入9种锚点参数(也即,9组锚点),不同次输入的锚点参数的种类不同,也即,组数可固定,但锚点种类数会发生变化;通过反复多次训练,目标检测模型可基于种类众多的锚点调整网络参数,种类众多的锚点对应的锚点长宽比之间的比例间隔较小,以及锚点面积大小之间的面积差值也较小,形成密集的多个锚点,密集的锚点有助于覆盖各种不同的物体正样本,能够更好地提升物体样本覆盖率。
此外,本实施例提供的上述目标检测模型在被使用时(包括测试阶段以及测试结束后的实际使用阶段),仍旧可以接收外部输入的锚点参数,基于外部输入的锚点参数动态调整网络参数,提升检测效果。应当注意的是,在对本实施例提供的目标检测模型在被使用时输入至目标检测模型的锚点参数,与在对目标检测模型进行训练时输入至目标检测模型的锚点参数可以相同,也可以不同。在具体实施时,在对本实施例提供的目标检测模型在被使用时输入的锚点参数的种类数量,还可以多于对其进行训练时输入的锚点参数的种类数量;也即,一次性输入的锚点参数的组数可以相较于训练时采用的组数有所增加,例如将9组变为25组或49组等。在被使用时输入至目标检测模型的锚点参数与训练阶段输入至目标检测模型的锚点参数相比,不仅可增加组数,每组对应的锚点参数种类也可以发生变化,在上述目标检测模型被使用时可以根据需要而修改输入至目标检测模型的锚点种类以及同时输入的种类数量,进而扩大锚点覆盖的尺度范围,以提升目标检测模型的物体检测性能。与常规的现有目标检测模型在训练结束后受限于预设的锚点种类,本实施例提供的目标检测模型的锚点参数的引用和设置更加灵活,锚点种类也更加丰富,因而在实际应用中,检测性能更优。
基于上述目标检测模型,本实施例给出了目标检测模型的若干种实施方式,具体说明如下:
实施方式一:
参见图3所示的第一种目标检测模型的结构示意图,该目标检测模型包括骨干网络以及与骨干网络连接的子网络,还包括与子网络相连接的元网络。
其中,骨干网络的输入为待检测图像,骨干网络的输出为待检测图像的特征图;元网络的输入为锚点参数,元网络的输出为子网络的层网络参数;子网络的输入为特征图和层网络参数,子网络的输出为检测结果。
基于上述目标检测模型的网络结构,上述步骤S206可以参照如下步骤执行:
(1)通过骨干网络对输入的待检测图像进行特征提取,得到待检测图像的特征图,并将特征图输入至子网络。具体的,该骨干网络为用于特征提取的主网络,可以包括多个卷积层。
(2)通过元网络对输入的锚点参数进行非线性映射处理,得到子网络的层网络参数,并将层网络参数输入至子网络。应当注意的是,子网络大多为多层结构,诸如包含有多个卷积层,层网络参数可以为子网络所包含的与锚点参数有关的一个或多个网络层的参数。元网络可以对输入的所有锚点参数进行处理,生成用于输出检测结果的子网络的层网络参数。
(3)通过子网络基于层网络参数对特征图进行分类处理,确定待检测图像中的目标对象的类别,和/或,基于层网络参数对特征图进行回归处理,确定待检测图像中的目标对象的位置。子网络具体可以包括分类子网络(classification subnet)和回归子网络(regression subnet),分类子网络和回归子网络均可由多个卷积层构成,由最后的卷积层输出分类结果(也即,目标对象的位置)及物体框回归结果(也即,目标对象的位置)。
相比于常规的仅包括有骨干网络和子网络的目标检测模型,本实施例提供的上述目标检测模型引入了元网络(metanet),该元网络主要可用于输入锚点参数,并输出子网络的层网络参数。本实施例提供的目标检测模型的结构优势在于,专设元网络基于输入的锚点参数为子网络计算层网络参数,无需子网络基于锚点参数调整自身网络参数,也即,目标检测模型所涉及的所有锚点全部均有元网络集中处理,并为子网络动态输出适用于输入锚点的网络参数,相比于没有元网络的常规目标检测模型,本实施例提供的上述目标检测模型在增加锚点种类的基础上,也简化了网络参数的调整复杂度。
此外,对于没有元网络的常规目标检测模型,仅基于种类有限的锚点进行训练,在训练结束后网络参数不再发生变化,也无法增加锚点种类,在后续的测试阶段以及实际应用阶段也仅能依据测试用的锚点种类进行目标检测,较大的受限于测试时固有的锚点种类,锚点覆盖范围不足,物体样本覆盖率不高。而本实施例提供的上述目标检测模型通过设置有可从外部直接获取锚点参数的元网络,引入该目标检测模型的锚点种类通过元网络增加时,用于输出检测结果的子网络自身无需调整参数,直接利用元网络基于锚点参数动态生成子网络的网络参数(也即,上述层网络参数),并输入至子网络即可,在测试阶段和实际应用阶段也能够利用元网络根据锚点参数的设置而相应变化网络参数,将原有的静态检测模型改为本实施例中的动态检测模型,元网络的设置可以使目标检测模型在训练阶段结束后也可增加锚点种类数,并简单便捷地对子网络的网络参数进行动态调整,从而较好地提升物体检测性能。
实施方式二:
参见图4所示的第二种目标检测模型的结构示意图,在实施方式一提供的目标网络模型的基础上,图4中的子网络包括分类子网络(classification subnet)和回归子网络(regression subnet);元网络包括第一元网络和第二元网络。其中,第一元网络与分类子网络相连,第二元网络与回归子网络相连;层网络参数包括分类层网络参数和回归层网络参数。
基于上述结构,在实施方式一中通过元网络对输入的锚点参数进行非线性映射处理,得到子网络的层网络参数,并将层网络参数输入至子网络的具体步骤,包括:通过第一元网络对输入的锚点参数进行非线性映射处理,得到分类层网络参数,并将分类层网络参数输入至分类子网络;通过第二元网络对输入的锚点参数进行非线性映射处理,得到回归层网络参数,并将回归层网络参数输入至回归子网络。
具有分类层网络参数的分类子网络可以对每个位置的每个锚点的每个类别进行概率预测,进而得到分类结果;具有回归层网络参数的回归子网络可以基于每个位置的每个锚点进行回归,最终回归到包含有目标对象的检测框。本实施例提供的上述分类子网络和回归子网络为并行设置,因而为分类子网络和回归子网络分别建立可生成相应层网络参数的元网络(第一元网络和第二元网络),以使分类子网络和回归子网络均可借助连接的元网络获取自身的层网络参数,从而实现动态调整。
实施方式三:
参见图5所示的第三种目标检测模型的结构示意图,在实施方式二提供的目标网络模型的基础上,具体示意出了分类子网络包括多个卷积层,第一元网络与分类子网络的分类结果输出层相连;其中,分类层网络参数为分类结果输出层的网络参数;分类结果输出层为分类子网络中多个卷积层的末端卷积层。
回归子网络包括多个卷积层;第二元网络与回归子网络的回归结果输出层相连;其中,回归层网络参数为回归结果输出层的网络参数;回归结果输出层为回归子网络中多个卷积层的末端卷积层。
在图5中为分类子网络和回归子网络分别示意出5个卷积层,分别为4个卷积层C,还有最后用于输出结果的卷积层Cls及Reg。可以看出,图5中的第一元网络与分类子网络的最后一个卷积层Cls(也即,上述分类结果输出层)相连,第二元网络与回归子网络的最后一个卷积层Reg(也即,上述回归结果输出层)相连,在本实施方式中的目标网络模型中,元网络仅与子网络的最后一个结果输出层相连,并直接为结果输出层提供网络参数。这种简单的连接方式即可满足目标检测模型基于增加的锚点种类动态调整参数的需求,而且调整参数量较少,元网络的参数调整难度较低。当然,在实际应用中还有其它连接方式,在此不再赘述。
实施方式四:
参见图6所示的第四种目标检测模型的结构示意图,在实施方式三提供的目标网络模型的基础上,图6中示意出本实施方式中的骨干网络为特征金字塔网络(FPN,FeaturePyramid Network),子网络的数量为多个,其中,子网络的数量与特征金字塔输出的特征图的尺度种类相对应。且每个子网络均连接有元网络。具体的,图6中示意出多个网络分支,每个网络分支都包括一个分类子网络和一个回归子网络,也都包括与分类子网络相连的第一元网络,以及与回归子网络相连的第二元网络。网络分支的个数与特征金字塔FPN输出的特征图的尺度种类相对应。诸如,如果FPN能够输出5种尺度的特征图,则网络分支的个数为5个。不同网络分支的网络结构相同,因此图6中仅放大示意出其中的一个网络分支(具体采用图5所示的网络结构),其它网络分支不再一一示意。
在本实施方式中,采用FPN作为目标检测模型的骨干部分,为便于理解,对FPN进一步说明如下:FPN可通过自上而下的通道和横向的连接来扩展形成一个标准的卷积网络,从而可以从单一分辨率的输入图像中有效的提取出丰富的、多尺度的特征金字塔图像。FPN包含有多层结构,每一层都可以在不同尺度上对待检测图像进行检测,生成多尺度特征图。FPN能够较好地提升全卷积网络(FCN)的多尺度预测能力。
实际上,图6所示的第四种目标检测模型是在RetinaNet目标检测模型的基础上进行进一步改进,增加了元网络(MetaNet)。为了对图6所示的目标网络模型有进一步认识,可再参见图7所示的一种RetinaNet目标检测模型的结构示意图,本实施方式首先对RetinaNet目标检测模型进行解释说明如下:
RetinaNet目标检测模型是一种单阶段(one-stage)检测器,其网络结构在前向ResNet网络结构上使用了FPN来生成丰富的,多尺度的卷积特征金字塔。RetinaNet目标检测模型由一个主网络FPN和两个指定任务的子网络(分类子网络和回归子网络)组成的一个统一的网络结构。主网络FPN负责计算整个输入图像的卷积特征;分类子网络用来对主网络的输出进行进一步的计算来完成目标分类,具体为基于设定的锚点完成分类;回归子网络负责边框回归,具体为基于设定的锚点确定包含目标对象的检测框。
RetinaNet目标检测模型是在ResNet的顶部构建了FPN,具体采用P3到P7层构建了金字塔,其中,第l层分辨率是第1层的1/2l。
在RetinaNet目标检测模型中所应用的锚点(anchors)的面积在金字塔层P3到P7有相应的322到5122的区域。在每个金字塔级上,RetinaNet目标检测模型都可使用多种纵横比(也即,长宽比)的锚点,诸如{1:2,1:1,2:1}。为了覆盖更加稠密的尺度,在每一级原来的3种纵横比上还增加了3种尺度(也即,面积)大小,诸如{20,21/3,22/3}。相当于RetinaNet目标检测模型每一级上共有3*3=9种锚点,跨级来看这些锚点一共可覆盖相对于原图大小上的32~813个像素。每个锚点都会被赋予一个长为K的one-hot向量的分类目标(这里K代表了物体类别数)和一个4维的边框回归目标。RetinaNet目标检测模型具体使用RPN里的根据多分类检测修改的带有调整过阈值的赋值规则。
在RetinaNet目标检测模型中所采用的分类子网络能够对每个位置的每个锚点(假设A个)的每个类别(假设K个)进行概率预测。这个分类子网络是一个小的FCN(全卷积网络);这个分类子网络的参数在所有金字塔级(也即,整个金字塔的层间)上是共享的。分类子网络的设计方式为:从给定的金字塔级上得到一个有C个通道的输入特征图,这个分类子网络先经过4个3×3的卷积层,每个带有C个滤波器,且每个都跟着一个ReLU激活函数,然后再接一个带有KA个滤波器的3×3的卷积层。最后采用sigmoid激活函数对于每个位置输出KA个二分类预测值,在实际应用中,C值和A值可以自行设定,诸如可设定C=256,A=9等。
在RetinaNet目标检测模型中所采用的回归子网络是与分类子网络并行的,也即,金字塔的每一级都连接了另一个小的FCN,意图回归每个锚点对邻近ground truth object(基准参考目标)的偏移量。回归子网络的设计方式和分类子网络相同,不同之处在于回归子网络为每个位置输出4A个线性输出。对于每个位置对应的A个锚点,4个输出预测锚点与基准参考的相对偏移。在RetinaNet目标检测模型中中的回归子网络和分类子网络的网络结构相同,但是分别采用不同的网络参数。
基于对RetinaNet目标检测模型的上述认识,图6所示的第四种目标检测模型是在RetinaNet目标检测模型的基础上新加了元网络,具体的,分别为分类子网络连接了第一元网络,为回归子网络连接了第二元网络。
第一元网络和第二元网络的具体结构均可采用全连接层实现,考虑到网络层数越深或者网络的宽度(输出维度)越大,其拟合能力越强,为了使元网络具有更强的拟合能力,基于此,第一元网络和第二元网络均包括至少两层全连接层;具体的,第一元网络的末端全连接层输出的分类层网络参数与分类子网络的输出通道数、输入通道数和卷积核大小相关;其中,分类子网络的输出通道数与输入至第一元网络的锚点种类数量和分类子网络的输出类别数相关;第二元网络的末端全连接层输出的回归层网络参数与回归子网络的输出通道数、输入通道数和卷积核大小相关;其中,回归子网络的输出通道数与输入至第二元网络的锚点种类数量和回归子网络输出的目标对象的位置参数的数量相关。以分类层网络参数为例,假设分类子网络的输出通道数为O、输入通道数为I、卷积核大小为K,则分类层网络参数可以表示为4D向量(O,I,K,K)。而其中的输出通道数与锚点种类数量N和输出类别M相关,具体的,分类层网络参数相关的输出通道数O=N*M;回归层网络参数也为4D向量,但其输出通道数与锚点种类数量N和输出的位置参数的数量相关,在一种实施方式中,回归子网络输出的位置参数有4种,分别为回归框相对于锚点的中心点(x,y)、高h和宽w的偏置,因此回归层网络参数相关的输出通道数O=4*N。
假定本实施例提供的目标检测模型使用N组不同的面积和长宽比所对应的锚点(一组面积和长宽比确定一种锚点,也即,锚点种类数量为N)检测物体,元网络的输入为2D向量(N,2),其中,N表示输入的锚点组数,2表示锚点面积和锚点长宽比两个数值。也即,元网络的输入为N种锚点参数,元网络的输出为所连接的子网络的网络参数,具体的,与Cls层连接的第一元网络(MetaNetcls)的输出为Cls层的参数;与Reg层连接的第二元网络(MetaNetreg)的输出为Reg层的参数。
为便于理解,以下给出一种第一元网络和第二元网络的一种具体实施方式:
第一元网络可具有三个网络层,分别为输入层,第一全连接层FC1和第二全连接层FC2;其中,输入层的输出维度为2,第一全连接层FC1的输出维度为128,第二全连接层FC2的输出维度为184320。对于输入至第一元网络的N种锚点,输入层为N*2,经过第一全连接层FC1后,第一全连接层FC1的输出为N*128,再经过第二全连接层FC2,第二全连接层FC2的输出为N*184320。
第二元网络的网络结构与第一元网络相同,也可具有三个网络层,分别为输入层,第一全连接层FC1和第二全连接层FC2;其中,输入层的输出维度为2,第一全连接层FC1的输出维度为128,第二全连接层FC2的输出维度为9216。对于输入至第二元网络的N种锚点,输入层为N*2,经过第一全连接层FC1后,第一全连接层FC1的输出为N*128,再经过第二全连接层FC2,第二全连接层FC2的输出为N*9216。
为便于理解,以下对元网络的输出与子网络的卷积层参数的对应关系进行进一步解释说明:假设类别数M=80,卷积核大小为3,则第一元网络的FC2输出维度为184320(80x256x3x3=184320),假设回归框参数(回归框相对于锚点的偏置)个数为4,具体为相对于锚点的中心点(x,y)、高h和宽w的偏置,则第二元网络的FC2输出维度为9216(4x256x3x3=9216)。应当注意的是,Cls层的层网络参数为4D向量(O,I,K,K),其中,O为Cls层的输出通道数,I为Cls层的输入通道数,K为Cls层的卷积核大小。对于第一元网络的输出为N*184320,重塑(reshape)为4D向量,即可形成Cls层的参数(80N,256,3,3)。对于第二元网络的输出为N*9216,重塑(reshape)为4D向量,即可形成Reg层的参数(4N,256,3,3)。
具体的,第一元网络的FC2的输出是Cls层的卷积参数,该参数可用于对经如图6所示的分类子网络中前4个卷积层传输过来的特征图(256*H*W维度)进行计算,具体的,Cls层的作用为将80N*256*3*3的参数作用于一个256*H*W的特征图,得到一个80N*H*W的最终输出结果。第二元网络的FC2的输出是Reg层的卷积参数,该参数可用于对经如图6所示的回归子网络中前4个卷积层传输过来的特征图(256*H*W维度)进行计算,具体的,Reg层的作用为将4N*256*3*3的参数作用于一个256*H*W的特征图,得到一个4N*H*W的最终输出结果。
应当注意的是,以上数字仅为一种具体实施方式的示意性说明,实际应用中可灵活更改,诸如,FC1的输出维度也可以为256或其它数值,上述类别、输出通道数、输入通道数、卷积核大小等均可设定为其它数值,FC2的输出维度也可相应更改,在此不再赘述。
为了清楚地示意上述直接在RetinaNet目标检测模型添加元网络的第四种目标检测模型与没有元网络的RetinaNet目标检测模型的检测优势,发明人在COCO物体检测任务的检测数据集上做了对比试验,具体可参见表1示出的目标检测模型与RetinaNet目标检测模型的检测结果对比数据。
表1
其中,本实施例提供的目标检测模型也即上述第四种目标检测模型,具体在RetinaNet目标检测模型的基础上进一步改进,添加有可从外部接收锚点参数并基于锚点参数生成分类/回归子网络的元网络的目标检测模型。RetinaNet目标检测模型和本实施例提供的目标检测模型所采用的骨干网络(backbone)为同一种FPN架构,即ResNet-50-FPN;图像大小均为600,具体的,600为图像像素值。检测结果的度量值AP越高,表明检测性能越好,检测准确率越高。由表1中可清楚的看出,本实施例提供的目标检测模型在各种度量标准下的AP(AP、AP50、AP75、APS、APM和APL)上均高于RetinaNet目标检测模型,检测准确率有所提升,比RetinaNet目标检测模型提升5.5%。通过此对比结果可充分证明本实施例提供的目标检测模型的可行性以及检测性能的优越性。
以本实施例提供的第四种目标检测模型与现有技术中的RetinaNet目标检测模型相比为例,在以下多方面阐明本实施例提供的目标检测方法的优势:
(1)在训练阶段,本实施例提供的目标检测模型的元网络(也可称为MetaNet模块)可利用整体网络的分类损失函数(分类loss)和回归损失函数(回归loss)更新其参数,含有MetaNet模块的RetinaNet目标检测模型(也即,本实施例提供的目标检测模型)可以通过MetaNet模块采样不同种锚点参数(长宽比和面积),以便覆盖所有物体正样本。因为不同的长宽比和面积值会生成不同的物体训练正样本,而那些具有极端比例的物体正样本也会加入到网络训练中。而RetinaNet目标检测模型因锚点长宽比和锚点面积为固定值,不能将那些极端的物体样本加入到网络训练过程中。相比之下,本实施例的目标检测模型的物体样本覆盖率更高,更有利于检测出比例特殊的物体。
(2)RetinaNet目标检测模型在训练阶段结束后,Cls层和Reg层的参数将固定不变,后续的测试阶段以及实际应用阶段都受限于固定的锚点种类。而含有MetaNet模块的RetinaNet目标检测模型的Cls和Reg层的参数可以通过修改锚点长宽比和锚点面积的输入而相应发生改变,能够基于种类较多的锚点实现动态检测,提升检测性能。
(3)RetinaNet目标检测模型所采用的锚点种类有限,均视为离散锚点,难以检测出处于两个离散锚点的物体框,检测准确率不高。本实施例提供的含有MetaNet模块的RetinaNet目标检测模型通过MetaNet模块采样很多组锚点长宽比和锚点面积的值来增加锚点的种类,充分提高锚点的覆盖率。具体的,虽然多组锚点长宽比和锚点面积之间都是离散的关系,诸如一般一次性仅输入9组或者25组,但通过多次采样的方式可获得多种锚点(组数可固定,锚点种类数可发生变化),多种锚点对应的锚点长宽比之间的比例间隔较小,锚点面积之间的面积差值也较小,形成密集的多个锚点,密集的锚点有助于覆盖各种不同的物体正样本,也即有助于覆盖任意形状的目标,有效的提升了物体检测准确率。
(4)RetinaNet目标检测模型在训练阶段所采用的锚点种类有限,一旦训练结束,后续无法更改。本实施例提供的含有MetaNet模块的RetinaNet目标检测模型在训练阶段之后的测试阶段以及实际应用阶段仍然可以通过给MetaNet模块输入锚点参数而随时修改锚点种类,此外,在测试阶段输入给MetaNet模块的锚点参数组数还可以不同于训练阶段输入给MetaNet模块的锚点参数组数,具体可在后续的测试阶段还可增加输入的锚点参数组数。也即在测试阶段可以根据需要而修改输入至目标检测模型的锚点种类以及种类数量,采用训练阶段未使用的锚点来检测物体,进而扩大锚点覆盖的尺度范围,锚点参数的引用和设置更为灵活,进一步提高了网络的检测准确率。
除了上述优势,本实施例引用元网络,由元网络集中处理锚点参数,并生成用于输出检测结果的子网络所需的层网络参数。与现有的目标检测模型若要增加锚点种类,需要整个网络参与计算并调整参数,训练难度较大,计算复杂度较高相比,本实施例的这种方式的计算量较小,训练难度较低。
综上所述,本实施例提供的目标检测模型通过设置元网络的方式能够较好地增加锚点种类,提升物体样本覆盖率,具有较强的检测性能和较高的检测准确率。
实施例三:
对于实施例二中所提供的目标检测方法,本发明实施例提供了一种目标检测装置,参见图8所示的一种目标检测装置的结构框图,包括:
获取模块802,用于获取待检测图像和预设的锚点参数;其中,锚点参数为在待检测图像上设置的锚点的参数。在一种实施方式中,获取模块802包括查找单元,用于查找已存储的多种原始锚点参数;参数增加单元,用于按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数。
一种实施例中,参数增加单元用于对多种所述原始锚点参数按照锚点面积和/或锚点长宽比的大小进行排序;在相邻的两个所述原始锚点参数之间进行插值处理,以增加一个或多个新锚点参数,直至达到预设种类数量的锚点参数。另一种实施例中,参数增加单元用于确定所述原始锚点参数中的最大锚点面积、最小锚点面积、最大锚点长宽比和最小锚点长宽比;增加锚点面积大于所述最大锚点面积的新锚点参数,和/或,增加锚点面积小于所述最小锚点面积的新锚点参数,和/或,增加锚点长宽比大于所述最大锚点长宽比的新锚点参数,和/或,增加锚点长宽比小于所述最小锚点长宽比的新锚点参数,直至达到预设种类数量的锚点参数。
在另一种实施方式中,获取模块802进一步用于获取预先设置的锚点参数集;其中,所述锚点参数集中包含多种锚点参数;在多种所述锚点参数中,两个锚点面积的最小差值低于预设第一差值,且两个锚点面积的最大差值高于预设第二差值;和/或,两个锚点长宽比的最小差值低于预设第三差值,且两个锚点长宽比的最大差值高于预设第四差值;从锚点参数集中选取预设种类数量的锚点参数。
输入模块804,用于将待检测图像和锚点参数输入至目标检测模型。
检测模块806,用于通过目标检测模型基于锚点参数对待检测图像进行目标检测,得到检测结果;检测结果包括待检测图像所包含的目标的类别和/或位置。
本发明实施例提供的上述目标检测装置,在对待检测图像进行目标检测时,能够将获取的多种锚点参数输入至目标检测模型,以使目标检测模型基于锚点参数对待检测图像进行目标检测。与现有技术中目标检测模型受限于网络自身固有的锚点种类相比,本实施例提供的上述装置能够使目标检测模型在进行目标检测时可以从外获取锚点参数,便于增加参与目标检测的锚点种类以提升物体样本覆盖率,进而较好地提升了目标检测的准确率。
在一种实施方式中,上述目标检测模型包括骨干网络以及与骨干网络连接的子网络,还包括与子网络相连接的元网络;其中,骨干网络的输入为待检测图像,骨干网络的输出为待检测图像的特征图;元网络的输入为锚点参数,元网络的输出为子网络的层网络参数;子网络的输入为特征图和层网络参数,子网络的输出为检测结果。
基于上述目标检测模型,上述检测模块包括:特征提取单元,用于通过骨干网络对输入的待检测图像进行特征提取,得到待检测图像的特征图,并将特征图输入至子网络;参数生成单元,用于通过元网络对输入的锚点参数进行非线性映射处理,得到子网络的层网络参数,并将层网络参数输入至子网络;检测单元,用于通过子网络基于层网络参数对特征图进行分类处理,确定待检测图像中的目标对象的类别,和/或,基于层网络参数对特征图进行回归处理,确定待检测图像中的目标对象的位置。
在另一种实施方式中,上述子网络包括分类子网络和回归子网络;元网络包括第一元网络和第二元网络;其中,第一元网络与分类子网络相连,第二元网络与回归子网络相连;层网络参数包括分类层网络参数和回归层网络参数。基于此,上述参数生成单元用于:通过第一元网络对输入的锚点参数进行非线性映射处理,得到分类层网络参数,并将分类层网络参数输入至分类子网络;通过第二元网络对输入的锚点参数进行非线性映射处理,得到回归层网络参数,并将回归层网络参数输入至回归子网络。
在具体实施时,上述分类子网络包括多个卷积层,第一元网络与分类子网络的分类结果输出层相连;其中,分类层网络参数为分类结果输出层的网络参数;分类结果输出层为分类子网络中多个卷积层的末端卷积层;回归子网络包括多个卷积层;第二元网络与回归子网络的回归结果输出层相连;其中,回归层网络参数为回归结果输出层的网络参数;回归结果输出层为回归子网络中多个卷积层的末端卷积层。
在一种实施方式中,上述第一元网络和第二元网络均包括至少两层全连接层;
上述第一元网络的末端全连接层输出的分类层网络参数包括分类子网络的输出通道数、输入通道数和卷积核大小;其中,分类子网络的输出通道数与输入至第一元网络的锚点种类数量和分类子网络的输出类别数相关;
上述第二元网络的末端全连接层输出的回归层网络参数包括回归子网络的输出通道数、输入通道数和卷积核大小;其中,回归子网络的输出通道数与输入至第二元网络的锚点种类数量和回归子网络输出的目标对象的位置参数的数量相关。
在实际应用中,在目标检测模型被使用时时输入至目标检测模型的锚点参数,与在对目标检测模型进行训练时输入至目标检测模型的锚点参数相同或者不同。
具体实施时,骨干网络可以为特征金字塔网络,子网络的数量可以为多个。其中,子网络的数量与所述特征金字塔输出的特征图的尺度种类相对应。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本实施例提供了一种目标检测系统,该系统包括:图像采集装置、处理器和存储装置;图像采集装置,用于采集待检测图像;存储装置上存储有计算机程序,计算机程序在被处理器运行时执行实施例二所提供的目标检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
进一步,本实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例二所提供的方法的步骤。
本发明实施例所提供的一种目标检测方法、装置及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种目标检测方法,其特征在于,包括:
获取待检测图像和预设种类数量的锚点参数;其中,所述锚点参数为在所述待检测图像上设置的锚点的参数;每种所述锚点参数包括锚点面积和锚点长宽比;
将所述待检测图像和所述锚点参数输入至目标检测模型;
通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果;所述检测结果包括所述待检测图像所包含的目标对象的类别和/或位置。
2.根据权利要求1所述的方法,其特征在于,所述目标检测模型包括骨干网络以及与所述骨干网络连接的子网络,还包括与所述子网络相连接的元网络;其中,
所述骨干网络的输入为所述待检测图像,所述骨干网络的输出为所述待检测图像的特征图;
所述元网络的输入为所述锚点参数,所述元网络的输出为所述子网络的层网络参数;
所述子网络的输入为所述特征图和所述层网络参数,所述子网络的输出为所述检测结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果的步骤,包括:
通过所述骨干网络对输入的所述待检测图像进行特征提取,得到所述待检测图像的特征图,并将所述特征图输入至所述子网络;
通过所述元网络对输入的所述锚点参数进行非线性映射处理,得到所述子网络的层网络参数,并将所述层网络参数输入至所述子网络;
通过所述子网络基于所述层网络参数对所述特征图进行分类处理,确定所述待检测图像中的目标对象的类别,和/或,基于所述层网络参数对所述特征图进行回归处理,确定所述待检测图像中的目标对象的位置。
4.根据权利要求3所述的方法,其特征在于,所述子网络包括分类子网络和回归子网络;所述元网络包括第一元网络和第二元网络;
其中,所述第一元网络与所述分类子网络相连,所述第二元网络与所述回归子网络相连;所述层网络参数包括分类层网络参数和回归层网络参数;
所述通过所述元网络对输入的所述锚点参数进行非线性映射处理,得到所述子网络的层网络参数,并将所述层网络参数输入至所述子网络的步骤,包括:
通过所述第一元网络对输入的所述锚点参数进行非线性映射处理,得到所述分类层网络参数,并将所述分类层网络参数输入至所述分类子网络;
通过所述第二元网络对输入的所述锚点参数进行非线性映射处理,得到所述回归层网络参数,并将所述回归层网络参数输入至所述回归子网络。
5.根据权利要求4所述的方法,其特征在于,所述分类子网络包括多个卷积层,所述第一元网络与所述分类子网络的分类结果输出层相连;其中,所述分类层网络参数为所述分类结果输出层的网络参数;所述分类结果输出层为所述分类子网络中多个所述卷积层的末端卷积层;
所述回归子网络包括多个卷积层;所述第二元网络与所述回归子网络的回归结果输出层相连;其中,所述回归层网络参数为所述回归结果输出层的网络参数;所述回归结果输出层为所述回归子网络中多个所述卷积层的末端卷积层。
6.根据权利要求4或5所述的方法,其特征在于,所述第一元网络和所述第二元网络均包括至少两层全连接层;
所述第一元网络的末端全连接层输出的分类层网络参数与所述分类子网络的输出通道数、输入通道数和卷积核大小相关;其中,所述分类子网络的输出通道数与输入至所述第一元网络的所述锚点种类数量和所述分类子网络的输出类别数相关;
所述第二元网络的末端全连接层输出的回归层网络参数与所述回归子网络的输出通道数、输入通道数和卷积核大小相关;其中,所述回归子网络的输出通道数与输入至所述第二元网络的所述锚点种类数量和所述回归子网络输出的目标对象的位置参数的数量相关。
7.根据权利要求1所述的方法,其特征在于,所述获取预设种类数量的锚点参数的步骤,包括:
查找已存储的多种原始锚点参数;
按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数。
8.根据权利要求7所述的方法,其特征在于,所述按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数的步骤,包括:
对多种所述原始锚点参数按照锚点面积和/或锚点长宽比的大小进行排序;
在相邻的两个所述原始锚点参数之间进行插值处理,以增加一个或多个新锚点参数,直至达到预设种类数量的锚点参数。
9.根据权利要求7所述的方法,其特征在于,所述按照预设参数扩充方式,在多种所述原始锚点参数的基础上增加新锚点参数,以达到预设种类数量的锚点参数的步骤,包括:
确定所述原始锚点参数中的最大锚点面积、最小锚点面积、最大锚点长宽比和最小锚点长宽比;
增加锚点面积大于所述最大锚点面积的新锚点参数,和/或,增加锚点面积小于所述最小锚点面积的新锚点参数,和/或,增加锚点长宽比大于所述最大锚点长宽比的新锚点参数,和/或,增加锚点长宽比小于所述最小锚点长宽比的新锚点参数,直至达到预设种类数量的锚点参数。
10.根据权利要求1所述的方法,其特征在于,所述获取预设种类数量的锚点参数的步骤,包括:
获取预先设置的锚点参数集;其中,所述锚点参数集中包含多种锚点参数;在多种所述锚点参数中,两个锚点面积的最小差值低于预设第一差值,且两个锚点面积的最大差值高于预设第二差值;和/或,两个锚点长宽比的最小差值低于预设第三差值,且两个锚点长宽比的最大差值高于预设第四差值;
从所述锚点参数集中选取预设种类数量的锚点参数。
11.根据权利要求1所述的方法,其特征在于,在所述目标检测模型被使用时时输入至所述目标检测模型的锚点参数,与在对所述目标检测模型进行训练时输入至所述目标检测模型的锚点参数相同或者不同。
12.根据权利要求2所述的方法,其特征在于,所述骨干网络为特征金字塔网络,所述子网络的数量为多个,且每个所述子网络均连接有所述元网络;其中,所述子网络的数量与所述特征金字塔输出的特征图的尺度种类相对应。
13.一种目标检测装置,其特征在于,包括:
获取模块,用于获取待检测图像和预设的锚点参数;其中,所述锚点参数为在所述待检测图像上设置的锚点的参数;
输入模块,用于将所述待检测图像和所述锚点参数输入至目标检测模型;
检测模块,用于通过所述目标检测模型基于所述锚点参数对所述待检测图像进行目标检测,得到检测结果;所述检测结果包括所述待检测图像所包含的目标的类别和/或位置。
14.一种目标检测系统,其特征在于,所述系统包括:图像采集装置、处理器和存储装置;
所述图像采集装置,用于采集待检测图像;
所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至12任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810440205.XA CN108694401B (zh) | 2018-05-09 | 2018-05-09 | 目标检测方法、装置及系统 |
US16/210,781 US11250591B2 (en) | 2018-05-09 | 2018-12-05 | Target detection method, system, and non-volatile storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810440205.XA CN108694401B (zh) | 2018-05-09 | 2018-05-09 | 目标检测方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108694401A true CN108694401A (zh) | 2018-10-23 |
CN108694401B CN108694401B (zh) | 2021-01-12 |
Family
ID=63846140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810440205.XA Active CN108694401B (zh) | 2018-05-09 | 2018-05-09 | 目标检测方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11250591B2 (zh) |
CN (1) | CN108694401B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583512A (zh) * | 2018-12-14 | 2019-04-05 | 北京旷视科技有限公司 | 图像处理方法、装置及系统 |
CN109670517A (zh) * | 2018-12-24 | 2019-04-23 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备和目标检测模型 |
CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
CN109886286A (zh) * | 2019-01-03 | 2019-06-14 | 武汉精测电子集团股份有限公司 | 基于级联检测器的目标检测方法、目标检测模型及系统 |
CN109919239A (zh) * | 2019-03-15 | 2019-06-21 | 尹显东 | 一种基于深度学习的农作物病虫害智能检测方法 |
CN109961107A (zh) * | 2019-04-18 | 2019-07-02 | 北京迈格威科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
CN110008951A (zh) * | 2019-03-14 | 2019-07-12 | 深兰科技(上海)有限公司 | 一种目标检测方法及装置 |
CN110084285A (zh) * | 2019-04-08 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的鱼类细粒度分类方法 |
CN110490115A (zh) * | 2019-08-13 | 2019-11-22 | 北京达佳互联信息技术有限公司 | 人脸检测模型的训练方法、装置、电子设备及存储介质 |
CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
CN110717549A (zh) * | 2019-10-17 | 2020-01-21 | 上海眼控科技股份有限公司 | 目标检测方法、装置、设备及存储介质 |
CN110991230A (zh) * | 2019-10-25 | 2020-04-10 | 湖北富瑞尔科技有限公司 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
CN111191621A (zh) * | 2020-01-03 | 2020-05-22 | 北京同方软件有限公司 | 一种大焦距监控场景下多尺度目标的快速精准识别方法 |
CN111415450A (zh) * | 2019-01-08 | 2020-07-14 | 深圳怡化电脑股份有限公司 | 票据涂改的检测方法及其检测装置、计算机存储介质 |
CN111428539A (zh) * | 2019-01-09 | 2020-07-17 | 成都通甲优博科技有限责任公司 | 目标跟踪方法及装置 |
CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
CN111709404A (zh) * | 2020-08-05 | 2020-09-25 | 广东电网有限责任公司 | 一种机房遗留物识别方法、系统以及设备 |
CN112132018A (zh) * | 2020-09-22 | 2020-12-25 | 平安国际智慧城市科技股份有限公司 | 交警识别方法、装置、介质及电子设备 |
CN112348121A (zh) * | 2020-12-01 | 2021-02-09 | 吉林大学 | 一种目标检测方法、设备及计算机存储介质 |
CN113011309A (zh) * | 2021-03-15 | 2021-06-22 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备、介质及程序产品 |
CN113538407A (zh) * | 2018-12-29 | 2021-10-22 | 北京市商汤科技开发有限公司 | 锚点确定方法及装置、电子设备和存储介质 |
CN115033154A (zh) * | 2021-02-23 | 2022-09-09 | 北京小米移动软件有限公司 | 缩略图生成方法、缩略图生成装置及存储介质 |
WO2022188574A1 (zh) * | 2021-03-12 | 2022-09-15 | 山东英信计算机技术有限公司 | 一种回归任务的深度学习方法和装置 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3933764A4 (en) * | 2019-02-28 | 2022-04-27 | FUJIFILM Corporation | AREA DETERMINATION DEVICE, METHOD, PROGRAM, LEARNING DEVICE, METHOD, PROGRAM AND IDENTIFICATION DEVICE |
CN111222454B (zh) * | 2020-01-03 | 2023-04-07 | 暗物智能科技(广州)有限公司 | 训练多任务目标检测模型、多任务目标检测的方法及系统 |
CN111242066B (zh) * | 2020-01-17 | 2023-09-05 | 中国人民解放军国防科技大学 | 大尺寸图像目标检测方法、装置及计算机可读存储介质 |
CN111401517B (zh) * | 2020-02-21 | 2023-11-03 | 华为技术有限公司 | 一种感知网络结构搜索方法及其装置 |
CN111523403B (zh) * | 2020-04-03 | 2023-10-20 | 咪咕文化科技有限公司 | 图片中目标区域的获取方法及装置、计算机可读存储介质 |
CN112102947B (zh) * | 2020-04-13 | 2024-02-13 | 国家体育总局体育科学研究所 | 用于身体姿态评估的装置和方法 |
CN111523599B (zh) * | 2020-04-24 | 2024-03-26 | 上海商汤智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN111563441B (zh) * | 2020-04-29 | 2023-03-24 | 上海富瀚微电子股份有限公司 | 一种目标检测的锚点生成匹配办法 |
CN111680680B (zh) * | 2020-06-09 | 2023-10-13 | 创新奇智(合肥)科技有限公司 | 一种目标码定位方法、装置、电子设备及存储介质 |
CN111738133A (zh) * | 2020-06-17 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 模型训练方法、目标检测方法、装置、电子设备及可读存储介质 |
CN111833321B (zh) * | 2020-07-07 | 2023-10-20 | 杭州电子科技大学 | 一种调窗优化增强的颅内出血检测模型及其构建方法 |
CN111898676B (zh) * | 2020-07-30 | 2022-09-20 | 深圳市商汤科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN112102281B (zh) * | 2020-09-11 | 2021-07-06 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进Faster Rcnn的货车制动缸故障检测方法 |
CN112150462B (zh) * | 2020-10-22 | 2023-12-22 | 北京百度网讯科技有限公司 | 确定目标锚点的方法、装置、设备以及存储介质 |
CN112149636B (zh) * | 2020-10-23 | 2023-07-25 | 北京百度网讯科技有限公司 | 用于检测目标物体的方法、装置、电子设备及存储介质 |
CN112184708A (zh) * | 2020-11-04 | 2021-01-05 | 成都朴华科技有限公司 | 精子存活率检测方法及装置 |
CN112200803B (zh) * | 2020-11-04 | 2023-10-10 | 成都朴华科技有限公司 | 精子核蛋白成熟度检测方法及装置 |
CN112464785A (zh) * | 2020-11-25 | 2021-03-09 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置、计算机设备及存储介质 |
CN112712513A (zh) * | 2021-01-05 | 2021-04-27 | 歌尔股份有限公司 | 产品缺陷检测方法、装置、设备及计算机可读存储介质 |
US20240071029A1 (en) * | 2021-02-04 | 2024-02-29 | Carnegie Mellon University | Soft anchor point object detection |
CN113160128B (zh) * | 2021-03-03 | 2022-11-01 | 合肥图迅电子科技有限公司 | 用于led的缺陷检测方法以及存储介质 |
CN113095418B (zh) * | 2021-04-19 | 2022-02-18 | 航天新气象科技有限公司 | 一种目标检测方法及系统 |
CN113298130B (zh) * | 2021-05-14 | 2023-05-09 | 嘉洋智慧安全科技(北京)股份有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN113327239A (zh) * | 2021-06-10 | 2021-08-31 | 温州大学 | 一种增强注意力区域生成网络的小样本目标检测方法 |
CN113313083B (zh) * | 2021-07-28 | 2021-12-03 | 北京世纪好未来教育科技有限公司 | 文本检测方法及装置 |
CN113642431B (zh) * | 2021-07-29 | 2024-02-06 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法及装置、电子设备和存储介质 |
CN113642549B (zh) * | 2021-10-18 | 2022-01-04 | 中航信移动科技有限公司 | 快速目标检测系统和电子设备 |
CN114511515B (zh) * | 2022-01-17 | 2022-08-12 | 山东高速路桥国际工程有限公司 | 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 |
CN116597287A (zh) * | 2023-07-17 | 2023-08-15 | 云南省交通规划设计研究院有限公司 | 一种基于深度学习方法的遥感影像滑坡识别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN106874894A (zh) * | 2017-03-28 | 2017-06-20 | 电子科技大学 | 一种基于区域全卷积神经网络的人体目标检测方法 |
CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
CN107220618A (zh) * | 2017-05-25 | 2017-09-29 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN107506763A (zh) * | 2017-09-05 | 2017-12-22 | 武汉大学 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985135A (zh) * | 2017-06-02 | 2018-12-11 | 腾讯科技(深圳)有限公司 | 一种人脸检测器训练方法、装置及电子设备 |
US10572963B1 (en) * | 2017-07-14 | 2020-02-25 | Synapse Technology Corporation | Detection of items |
JP6972756B2 (ja) * | 2017-08-10 | 2021-11-24 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
BR112021007540A2 (pt) * | 2018-10-20 | 2021-07-27 | The Nordam Group Llc | máquina de venda neural |
-
2018
- 2018-05-09 CN CN201810440205.XA patent/CN108694401B/zh active Active
- 2018-12-05 US US16/210,781 patent/US11250591B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077577A (zh) * | 2014-07-03 | 2014-10-01 | 浙江大学 | 一种基于卷积神经网络的商标检测方法 |
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
CN106874894A (zh) * | 2017-03-28 | 2017-06-20 | 电子科技大学 | 一种基于区域全卷积神经网络的人体目标检测方法 |
CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
CN107220618A (zh) * | 2017-05-25 | 2017-09-29 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN107506763A (zh) * | 2017-09-05 | 2017-12-22 | 武汉大学 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
CN108009509A (zh) * | 2017-12-12 | 2018-05-08 | 河南工业大学 | 车辆目标检测方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160379B (zh) * | 2018-11-07 | 2023-09-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
CN109583512A (zh) * | 2018-12-14 | 2019-04-05 | 北京旷视科技有限公司 | 图像处理方法、装置及系统 |
CN109670517A (zh) * | 2018-12-24 | 2019-04-23 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备和目标检测模型 |
CN113538407A (zh) * | 2018-12-29 | 2021-10-22 | 北京市商汤科技开发有限公司 | 锚点确定方法及装置、电子设备和存储介质 |
CN113538407B (zh) * | 2018-12-29 | 2022-10-14 | 北京市商汤科技开发有限公司 | 锚点确定方法及装置、电子设备和存储介质 |
CN109886286A (zh) * | 2019-01-03 | 2019-06-14 | 武汉精测电子集团股份有限公司 | 基于级联检测器的目标检测方法、目标检测模型及系统 |
CN111415450A (zh) * | 2019-01-08 | 2020-07-14 | 深圳怡化电脑股份有限公司 | 票据涂改的检测方法及其检测装置、计算机存储介质 |
CN111428539A (zh) * | 2019-01-09 | 2020-07-17 | 成都通甲优博科技有限责任公司 | 目标跟踪方法及装置 |
CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
CN110008951B (zh) * | 2019-03-14 | 2020-12-15 | 深兰科技(上海)有限公司 | 一种目标检测方法及装置 |
CN110008951A (zh) * | 2019-03-14 | 2019-07-12 | 深兰科技(上海)有限公司 | 一种目标检测方法及装置 |
CN109919239A (zh) * | 2019-03-15 | 2019-06-21 | 尹显东 | 一种基于深度学习的农作物病虫害智能检测方法 |
CN110084285A (zh) * | 2019-04-08 | 2019-08-02 | 安徽艾睿思智能科技有限公司 | 基于深度学习的鱼类细粒度分类方法 |
CN109961107B (zh) * | 2019-04-18 | 2022-07-19 | 北京迈格威科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
CN109961107A (zh) * | 2019-04-18 | 2019-07-02 | 北京迈格威科技有限公司 | 目标检测模型的训练方法、装置、电子设备及存储介质 |
CN110490115A (zh) * | 2019-08-13 | 2019-11-22 | 北京达佳互联信息技术有限公司 | 人脸检测模型的训练方法、装置、电子设备及存储介质 |
CN110490115B (zh) * | 2019-08-13 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 人脸检测模型的训练方法、装置、电子设备及存储介质 |
CN110532985B (zh) * | 2019-09-02 | 2022-07-22 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
CN110717549A (zh) * | 2019-10-17 | 2020-01-21 | 上海眼控科技股份有限公司 | 目标检测方法、装置、设备及存储介质 |
CN110991230A (zh) * | 2019-10-25 | 2020-04-10 | 湖北富瑞尔科技有限公司 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
CN110991230B (zh) * | 2019-10-25 | 2023-08-11 | 湖北富瑞尔科技有限公司 | 基于旋转候选框的任意方向遥感影像舰船检测方法及系统 |
CN111191621A (zh) * | 2020-01-03 | 2020-05-22 | 北京同方软件有限公司 | 一种大焦距监控场景下多尺度目标的快速精准识别方法 |
CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
CN111709404A (zh) * | 2020-08-05 | 2020-09-25 | 广东电网有限责任公司 | 一种机房遗留物识别方法、系统以及设备 |
CN111709404B (zh) * | 2020-08-05 | 2024-01-12 | 广东电网有限责任公司 | 一种机房遗留物识别方法、系统以及设备 |
CN112132018A (zh) * | 2020-09-22 | 2020-12-25 | 平安国际智慧城市科技股份有限公司 | 交警识别方法、装置、介质及电子设备 |
CN112348121A (zh) * | 2020-12-01 | 2021-02-09 | 吉林大学 | 一种目标检测方法、设备及计算机存储介质 |
CN115033154A (zh) * | 2021-02-23 | 2022-09-09 | 北京小米移动软件有限公司 | 缩略图生成方法、缩略图生成装置及存储介质 |
WO2022188574A1 (zh) * | 2021-03-12 | 2022-09-15 | 山东英信计算机技术有限公司 | 一种回归任务的深度学习方法和装置 |
CN113011309A (zh) * | 2021-03-15 | 2021-06-22 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备、介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
US20190347828A1 (en) | 2019-11-14 |
CN108694401B (zh) | 2021-01-12 |
US11250591B2 (en) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694401A (zh) | 目标检测方法、装置及系统 | |
CN110059608A (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
CN109829399B (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
CN109919097A (zh) | 基于多任务学习的人脸和关键点联合检测系统、方法 | |
CN109670452A (zh) | 人脸检测方法、装置、电子设备和人脸检测模型 | |
CN109815770A (zh) | 二维码检测方法、装置及系统 | |
CN109697434A (zh) | 一种行为识别方法、装置和存储介质 | |
CN111667030B (zh) | 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质 | |
CN110502654A (zh) | 一种适用于多源异构遥感数据的目标库生成系统 | |
CN107240087A (zh) | 目标检测系统和方法 | |
CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
CN108984785A (zh) | 一种基于历史数据和增量的指纹库的更新方法及装置 | |
CN109671020A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN112084869A (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
CN109241846A (zh) | 遥感影像的时空变化估测方法、装置与存储介质 | |
CN111274887B (zh) | 基于机器学习的农作物识别方法、装置、存储介质及终端 | |
CN108764244A (zh) | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 | |
CN108986152A (zh) | 一种基于差分图像的异物检测方法及装置 | |
CN109859183A (zh) | 基于边缘计算的多要素一体化水体智能识别方法及生态站 | |
CN104463240B (zh) | 一种仪表定位方法及装置 | |
CN110363211A (zh) | 检测网络模型和目标检测方法 | |
CN110263654A (zh) | 一种火焰检测方法、装置及嵌入式设备 | |
CN109165666A (zh) | 多标签图像分类方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |