CN113837171A - 候选区域提取方法及系统及装置及介质及目标检测方法 - Google Patents

候选区域提取方法及系统及装置及介质及目标检测方法 Download PDF

Info

Publication number
CN113837171A
CN113837171A CN202111416639.4A CN202111416639A CN113837171A CN 113837171 A CN113837171 A CN 113837171A CN 202111416639 A CN202111416639 A CN 202111416639A CN 113837171 A CN113837171 A CN 113837171A
Authority
CN
China
Prior art keywords
candidate region
candidate
initial
regions
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111416639.4A
Other languages
English (en)
Other versions
CN113837171B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202111416639.4A priority Critical patent/CN113837171B/zh
Publication of CN113837171A publication Critical patent/CN113837171A/zh
Application granted granted Critical
Publication of CN113837171B publication Critical patent/CN113837171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了涉及候选区域提取方法及系统及装置及介质及目标检测方法，涉及图像处理领域，包括：在输入图像中放置若干个初始候选区域；对初始候选区域的边界进行若干次扩展处理后对应获得一个第一候选区域以及表征第一候选区域的似物性高低的第一参数，每个初始候选区域对应的多个第一候选区域组合获得一个第一候选区域集合；合并每个初始候选区域对应的第一候选区域集合获得全局候选区域集合；将全局候选区域集合中的多个第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；选取第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果；本方法具有较高的计算高效性和检测准确率。

Description

候选区域提取方法及系统及装置及介质及目标检测方法
技术领域
本发明涉及图像处理领域，具体地，涉及候选区域提取方法及系统及装置及介质及目标检测方法。
背景技术
目标检测是计算机视觉领域中一项重要的识别任务，广泛存在于安防监控、自动驾驶、智慧医疗、智慧工业等应用场景中。目标检测算法需要从图像中寻找特定目标，并准确给出目标的位置和大小，然后再进一步识别目标的类型等。例如，自动驾驶任务中常常需要对车辆视野中的车辆、行人、交通标志和障碍物等目标进行检测，然后在目标检测结果的基础上分析目标距离、移动方向和速度等。因此，目标检测算法一方面需要有高准确性，另一方面也要具有较快的识别速度、甚至实时性。目标检测的计算实时性在自动驾驶、医疗、军事等领域的应用中尤为重要。
目前，主流的基于数据驱动的目标检测技术是基于深度卷积神经网络的目标检测模型。其技术路径有单阶段（one-stage）和双阶段（two-stage）两种。单阶段目标检测模型，如YOLO和SSD，是一类通过端到端（end-to-end）模型训练获得，并在模型末端直接输出目标位置、大小和类型的检测模型。单阶段目标检测模型具有较快的运算速度，实时性好，在特定条件下能达到80帧每秒的检测速度。但是，单阶段目标检测模型的准确率在整体上不如双阶段目标检测模型。双阶段目标检测模型由候选区域提取算法和分类模型组成。首先，候选区域提取算法对图像中的物体进行类别无关的检测，其结果被称为候选区域；然后，分类模型对候选区域进行分类，从而获得完整的目标检测结果。双阶段目标检测模型准确率较高，但效率低于单阶段的模型。大量研究证实，双阶段目标检测模型中候选区域提取算法为其高准确率提供了保障，但也造成了大量的计算开销，使得整个双阶段目标检测模型的实时性较差。
一种能够改善双阶段目标检测模型效率的策略是设计一种高效的候选区域提取算法。现有的候选区域提取算法包括：基于传统计算机视觉方法的非数据驱动算法，如Selective Search和Edge Box；基于深度学习的数据驱动方法，如Region ProposalNetwork。前者不需要大量的训练数据、且在不同场景下有良好的通用性，但计算效率不高（如Selective Search需要进行复杂的超像素计算）；后者的计算效率相对高一些（能充分利用GPU），但需要大量训练数据，且通用性不如前者。
现有方案1：现有方案1是目前双阶段目标检测模型中经常使用的一种非数据驱动的候选区域提取算法。它生成候选区域的方式是迭代地合并超像素，并以每个合并超像素所在的紧密的矩形框为候选区域。其超像素迭代合并的策略是不断寻找最相似的两个超像素进行合并，直至合并完所有超像素。其超像素相似性度量方式是颜色相似度、纹理相似度、面积相似度、边界吻合度的加权和。其算法流程概括如下：
（1）对图像进行超像素分割，获得N个超像素分割块；
（2）对每个超像素及其邻居超像素计算相似度，相似度度量方式包含了颜色、纹理、面积和边界吻合度；
（3）对相似度最高的两个超像素进行合并，产生一个新的超像素；
（4）把紧密包含了新超像素的矩形框加入候选区域结果集合；
（5）如果只剩下一个超像素，则输出候选区域结果集合；否则回到（2）。
方案缺点：
此方法使用的超像素方法具有较大的计算量，且对合并前后同一区域的颜色、纹理、边界吻合度计算具有一定的重复性，使得算法速度较慢。另外，本算法以超像素的相似性为依据判断两个超像素是否属于同一物体，不适用于包含了多个不同部分的复杂物体，因此在较复杂的目标检测问题中适用性较差。
现有方案2：
此方法使用了一种基于边缘特征的似物性计算方式来进行候选区域提取。对任意的检测框，此方法以其轮廓处的边缘响应强度来计算似物性分数，并以此判断检测框是否紧密地包含了一个物体。其算法流程概括如下：
（1）设置不同的窗口尺度、长宽比和移动步长，使用滑动窗口方法采集大量的检测框；
（2）对采集的每个检测框，计算似物性分数（似物性分数基于轮廓处的边缘特征响应）；
（3）将似物性分数最高的一批检测框作为候选区域输出。
方案缺点：
此方案虽然在似物性分数的计算上有一定的效率提升（边缘特征的计算较快），但使用滑动窗口方法来遍历所有区域是一种计算量非常大的搜索方式。当目标的尺度、长宽比多变时，使用此方法必须设置较多的窗口尺度、较多的窗口长宽比、和较小的移动步长，进而导致计算量进一步增大。
现有方案3：
此方法是基于深度学习、数据驱动的候选区域提取方法中具有开创性的工作。其思路是直接使用端到端深度卷积神经网络模型训练一个单阶段的、类别无关的、基于锚框的目标模型，作为候选区域网络；使用候选区域网络预测每个候选区域的似物性分数；后续使用一个分类模型对似物性最高的一批候选区域进行分类。候选区域网络的训练需要使用含大量检测框标注的图像数据集。
方案缺点：
此方案基于深度卷积神经网络，运算量较大，不利于部署到边缘设备。另外，此方案需要使用大量标注图像进行训练，在缺乏数据或要求算法普适性的应用场景中存在劣势。
现有方案4：
此方法与现有方案2相似，都采用边缘特征来进行似物性估计。不同的是，此方法对滑动窗口产生的大量窗口行快速初筛，只保留少部分窗口进行计算量较高的似物性估计，以此减小总的运算量。具体来说，此方案在现有技术2的步骤（1）之后增加一步初筛处理，用边界处的边缘特征响应值之和作为依据，只保留少部分的窗口进入步骤（2）进行似物性计算。
方案缺点：
此方案在一定程度上改善了现有技术2的效率，但很容易因为不准确的初筛方式，导致正确的候选区域被排除在外，导致召回率下降。另外，此方法未给出初筛的保留比例或阈值的设置方式。凭借经验进行人工设置很有可能进一步降低候选区域的召回率。
发明内容
本发明要目的是解决双阶段目标检测模型中候选区域提取计算速度问题。
为实现上述目的，本发明提供了候选区域提取方法，所述方法包括：
在输入图像中放置若干个初始候选区域；
对所述初始候选区域的边界进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
将所述全局候选区域集合中的多个所述第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；
选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
其中，本方法使用结构化边缘检测器对图像进行边缘检测；在图像中密集、均匀地放置小面积的初始候选框；对所有初始候选框分别进行边界扩展，同时计算似物性分数（表征所述第一候选区域的似物性高低的第一参数）并加入候选集合；采用非极大抑制算法（Non-maximum Suppression），移除候选集合中重叠较多的候选框；挑选似物性最高的若干候选框输出，作为候选区域提取结果。
优选的，本方法中多个初始候选区域在输入图像中的放置方式为均匀放置，这样能够便于良好的对图像进行覆盖，避免遗漏相应区域，也避免重复提取。
优选的，本方法对每个所述初始候选区域的边界均进行扩展处理，每次扩展处理后对应获得一个所述第一候选区域以及所述第一参数。
优选的，本方法将每个所述初始候选区域对应的第一候选区域集合均进行合并获得所述全局候选区域集合；
基于每个所述第一候选区域的所述第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得所述第一排序结果。
优选的，本方法中所述初始候选区域为矩形，相邻2个所述初始候选区域之间的横向间距和纵向间距分别为
Figure 972408DEST_PATH_IMAGE001
和
Figure 483024DEST_PATH_IMAGE002
，所述输入图像中的目标物体的尺寸大于或等于
Figure 997182DEST_PATH_IMAGE003
像素，
Figure 126812DEST_PATH_IMAGE004
为目标物体的宽度，
Figure 675605DEST_PATH_IMAGE005
为目标物体高度。这样设计初始候选框选取方式能保证每个目标物体至少完整包含了一个初始候选框。
优选的，所述方法包括：
去除所述第一排序结果中重复的所述第一候选区域，获得第二排序结果；
选取所述第二排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。剔除重复的候选区域能够避免输出重复的候选区域结果。
优选的，本方法使用非极大抑制算法去除所述第一排序结果中重复的所述第一候选区域。
优选的，本方法对所述初始候选区域的边界进行若干次扩展处理具体包括：
对所述初始候选区域做边界扩展处理，获得第一候选区域1，并计算所述第一候选区域1的第一参数获得第一评分1；
对所述第一候选区域1做边界扩展处理，获得第一候选区域2，并计算所述第一候选区域2的第一参数获得第一评分2；
.....
对第一候选区域i-1做边界扩展处理，获得第一候选区域i，并计算所述第一候选区域i的第一参数获得第一评分i；
对第一候选区域i做边界扩展处理，获得第一候选区域i+1，其中，所述第一候选区域i+1的面积大于或等于所述输入图像的面积；
基于所述第一候选区域1至所述第一候选区域i获得所述第一候选区域集合。
其中，由于每个初始候选框的边界扩展相互独立，因此可以在实现时充分利用并行计算资源，对各个初始候选框的边界扩展过程进行并行计算，提高计算效率和速度。
优选的，本方法中对初始候选区域的边界进行扩展处理包括：
计算所述初始候选区域的扩展方向获得第一方向；
计算所述初始候选区域的扩展幅度获得第一幅度；
将所述初始候选区域的长或宽沿所述第一方向扩展所述第一幅度。
其中，本方法在扩展时并不是随机扩展，也不是全方位扩展，也不是无序扩展，而是通过计算获得准确的扩展方式和幅度，提高了扩展的效率和准确率。
优选的，本方法中所述第一方向的获得方式为：
分别计算所述初始候选区域的4个邻接区域与所述初始候选区域的颜色差异值，获得颜色差异值最小的邻接区域，基于颜色差异值最小的邻接区域相对于所述初始候选区域的方向获得所述第一方向；其中，所述初始候选区域和所述邻接区域均为矩形，所述4个邻接区域包括：上邻接区域、下邻接区域、左邻接区域和右邻接区域；其中，所述4个邻接区域中的任意1个均与所述初始候选区域具有一个重合的边。
其中，候选框的扩展方向由四个方向的颜色差异而定，通过颜色差异值能够准确的获得扩展方向，进而进行准确的扩展，避免了多次多方向扩展，提高了扩展的效率和准确率。
优选的，本方法中所述邻接区域的面积为所述初始候选区域面积的一半。这样设计的目的是，若邻接区域的面积过大时，会引入更多的背景噪声，导致扩展方向选择错误；此面积邻接区域的面积过小时，边界扩展的幅度会很小，导致算法运行时间边长。
优选的，本方法中所述初始候选区域为
Figure 357122DEST_PATH_IMAGE006
，所述邻接区域为
Figure 358576DEST_PATH_IMAGE007
，
Figure 291897DEST_PATH_IMAGE006
与
Figure 695197DEST_PATH_IMAGE007
的颜色差异值
Figure 547615DEST_PATH_IMAGE008
的计算方式为：
Figure 36365DEST_PATH_IMAGE009
其中，
Figure 507798DEST_PATH_IMAGE010
是
Figure 765604DEST_PATH_IMAGE006
内像素在CIELAB颜色空间中A、B两个维度的边缘分布的直方图，
Figure 54503DEST_PATH_IMAGE011
是
Figure 30549DEST_PATH_IMAGE007
内像素在CIELAB颜色空间中A、B两个维度的边缘分布的直方图，
Figure 40093DEST_PATH_IMAGE012
为
Figure 417985DEST_PATH_IMAGE010
与
Figure 612206DEST_PATH_IMAGE011
的的Chi-square距离函数。
优选的，所述方法还包括：
对输入图像进行边缘检测，获得边缘响应矩阵和边缘角度矩阵；
基于所述边缘响应矩阵和所述边缘角度矩阵，计算获得像素点横向边缘响应矩阵和像素点纵向边缘响应矩阵；
基于所述像素点横向边缘响应矩阵和所述像素点纵向边缘响应矩阵，计算获得所述第一幅度。
其中，当边界扩展方向确定后，需要使用横、纵边缘响应来计算边界扩展幅度，从而确定一个新边界。
优选的，当边界扩展方向为右方时：
设扩展前的候选区域左下角坐标为
Figure 75548DEST_PATH_IMAGE013
，高度和宽度分别为
Figure 888784DEST_PATH_IMAGE014
和
Figure 121182DEST_PATH_IMAGE015
；
将候选区域的右边界从
Figure 751883DEST_PATH_IMAGE016
扩展到新的横坐标
Figure 436943DEST_PATH_IMAGE017
，边界扩展的计算方式为：
Figure 53869DEST_PATH_IMAGE018
Figure 140773DEST_PATH_IMAGE019
b为优化变量，
Figure 965814DEST_PATH_IMAGE020
为纵向边缘响应矩阵
Figure 138169DEST_PATH_IMAGE021
在点
Figure 293207DEST_PATH_IMAGE022
处的值。
优选的，当边界扩展方向为左方时：
设扩展前的候选区域左下角坐标为
Figure 500197DEST_PATH_IMAGE013
，高度和宽度分别为
Figure 472701DEST_PATH_IMAGE014
和
Figure 132353DEST_PATH_IMAGE015
；
将候选区域的右边界从
Figure 91082DEST_PATH_IMAGE023
扩展到新的横坐标
Figure 886999DEST_PATH_IMAGE024
，边界扩展的计算方式为：
Figure 30405DEST_PATH_IMAGE025
Figure 177352DEST_PATH_IMAGE026
b为优化变量，
Figure 939772DEST_PATH_IMAGE020
为纵向边缘响应矩阵
Figure 855775DEST_PATH_IMAGE021
在点
Figure 904503DEST_PATH_IMAGE022
处的值。
优选的，当边界扩展方向为上方时：
设扩展前的候选区域左下角坐标为
Figure 538746DEST_PATH_IMAGE013
，高度和宽度分别为
Figure 839278DEST_PATH_IMAGE014
和
Figure 875367DEST_PATH_IMAGE015
；
将候选区域的上边界从
Figure 94996DEST_PATH_IMAGE027
扩展到新的纵坐标
Figure 216535DEST_PATH_IMAGE028
，边界扩展的计算方式为：
Figure 320758DEST_PATH_IMAGE029
Figure 945774DEST_PATH_IMAGE030
b为优化变量，
Figure 601883DEST_PATH_IMAGE031
为横向边缘响应矩阵
Figure 945140DEST_PATH_IMAGE032
在点
Figure 853053DEST_PATH_IMAGE033
处的值。
优选的，当边界扩展方向为下方时：
设扩展前的候选区域左下角坐标为
Figure 598155DEST_PATH_IMAGE013
，高度和宽度分别为
Figure 425166DEST_PATH_IMAGE014
和
Figure 255719DEST_PATH_IMAGE015
；
将候选区域的下边界从
Figure 701743DEST_PATH_IMAGE034
扩展到新的纵坐标
Figure 301352DEST_PATH_IMAGE035
，边界扩展的计算方式为：
Figure 63378DEST_PATH_IMAGE037
Figure 240282DEST_PATH_IMAGE038
b为优化变量，
Figure 224418DEST_PATH_IMAGE039
为横向边缘响应矩阵
Figure 944112DEST_PATH_IMAGE032
在点
Figure 112926DEST_PATH_IMAGE033
处的值。
优选的，本方法中横向边缘响应矩阵
Figure 918071DEST_PATH_IMAGE032
和纵向边缘响应矩阵
Figure 705898DEST_PATH_IMAGE021
在点
Figure 139153DEST_PATH_IMAGE040
处的值
Figure 619813DEST_PATH_IMAGE041
和
Figure 646675DEST_PATH_IMAGE042
的计算方式分别为：
Figure 238194DEST_PATH_IMAGE044
Figure 666901DEST_PATH_IMAGE045
Figure 177517DEST_PATH_IMAGE046
为边缘响应矩阵，
Figure 957254DEST_PATH_IMAGE047
为边缘角度矩阵。
优选的，本方法中所述初始候选区域为
Figure 86884DEST_PATH_IMAGE006
，
Figure 370098DEST_PATH_IMAGE006
的第一参数
Figure 317194DEST_PATH_IMAGE048
的计算方式为：
Figure 318648DEST_PATH_IMAGE050
其中，
Figure 251969DEST_PATH_IMAGE006
的左和右边界的横坐标分别是
Figure 389689DEST_PATH_IMAGE051
和
Figure 507687DEST_PATH_IMAGE052
，
Figure 996437DEST_PATH_IMAGE006
的上和下边界的纵坐标分别是
Figure 467870DEST_PATH_IMAGE053
和
Figure 725676DEST_PATH_IMAGE054
，
Figure 14574DEST_PATH_IMAGE055
为纵向边缘响应矩阵
Figure 725041DEST_PATH_IMAGE021
在点
Figure 165DEST_PATH_IMAGE056
处的值，
Figure 378057DEST_PATH_IMAGE057
纵向边缘响应矩阵
Figure 572278DEST_PATH_IMAGE021
在点
Figure 35620DEST_PATH_IMAGE058
处的值，
Figure 848855DEST_PATH_IMAGE059
为横向边缘响应矩阵
Figure 81253DEST_PATH_IMAGE032
在点
Figure 446376DEST_PATH_IMAGE060
处的值，
Figure 397014DEST_PATH_IMAGE061
为横向边缘响应矩阵
Figure 13940DEST_PATH_IMAGE032
在点
Figure 100845DEST_PATH_IMAGE062
处的值。
本发明还提供了一种候选区域提取系统，所述系统包括：
初始候选区域放置单元，用于在输入图像中放置若干个初始候选区域；
扩展处理单元，用于对所述初始候选区域的边界均进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并单元，用于合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
排序单元，用于基于所述第一候选区域的第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得第一排序结果；
提取单元，用于选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
本发明还提供了目标检测方法，所述方法包括：
采用所述的候选区域提取方法对输入图像进行处理，获得所述输入图像的候选区域提取结果；
对提取出的候选区域进行分类，获得分类结果；
基于所述分类结果获得目标检测结果。
本发明还提供了一种候选区域提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述候选区域提取方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述候选区域提取方法的步骤。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明有效地提高了候选区域提取的计算效率，也保持了较高的准确率，可以提升双阶段目标检测模型的速度。
本发明无需标注数据进行训练，也无需过多的对数据的先验信息（只需要确定目标最小长宽），可即插即用。
本发明能够高效且准确的获得候选区域：用边界扩展候选区域搜索方式代替低效率的滑动窗口和超像素合并方法。边界扩展可以迅速将当前候选区域扩展到下一个似物性较高的区域，避免对大量似物性较低的区域的无效计算；本发明使用的搜索方法是对边缘响应和颜色差异两种似物性估计方式的顺序优化，能在忽视其度量方式差异（如两者的取值范围差异）的同时实现共同优化，避免不适当的加权或归一化导致的准确率损失；本发明使用的似物性分数计算简单，只需要一次全局的边缘响应计算，即可在搜索过程中用简单的求和运算来为大量的候选框计算似物性分数。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1为候选区域提取方法的流程示意图；
图2为候选区域提取方法的具体流程示意图；
图3为候选框的邻接区域示意图；
图4为候选区域提取系统的组成示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
实施例一
请参考图1，图1为候选区域提取方法的流程示意图，方法具体包括：
在输入图像中均匀放置若干个初始候选区域；
对所述初始候选区域的边界进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
将所述全局候选区域集合中的多个所述第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；
选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
本发明要解决的是双阶段目标检测模型中候选区域提取方法的计算速度问题。候选区域提取方法是一类从图像中以类别无关的方式检测出所有物体的方法，是进一步进行目标检测的基础。候选区域提取方法在相应图中找出候选区域（实际可达数百、甚至上千个候选区域），然后分类模型对每个候选区域进行分类。提取的候选区域可能是此目标检测任务关心的物体，如人和狗；也可能是不关心的物体，如T恤；也可能是非物体的其他区域。好的候选区域提取方法应当快速地在图像中提取指定数量的候选区域，并保证任务关心的每个物体能被至少一个候选区域覆盖。
现有候选区域提取方法在达到高召回率的同时，也带来了较大的计算量或标注数据依赖性。本发明在保持候选区域提取方法的高准确率、召回率的同时，减小计算量、减少运行时间，且不依赖于标注数据。
本方法的总体流程可概括为：
使用结构化边缘检测器对图像进行边缘检测；
在图像中密集、均匀地放置小面积的初始候选框；
对所有初始候选框分别进行边界扩展，同时计算似物性分数并加入候选集合；
采用非极大抑制算法（Non-maximum Suppression），移除候选集合中重叠较多的候选框；
挑选似物性最高的若干（按使用需要）候选框输出，作为候选区域提取结果。
图2为候选区域提取方法的具体流程示意图，如图2所示，本方法的流程具体包括：
基于边界扩展的候选区域搜索：
首先，对图像使用结构化边缘检测算法，获得边缘响应矩阵
Figure 902448DEST_PATH_IMAGE046
和边缘角度矩阵
Figure 74803DEST_PATH_IMAGE063
。
Figure 229841DEST_PATH_IMAGE046
和
Figure 436831DEST_PATH_IMAGE063
的长宽与图像的长宽相同，其中
Figure 143756DEST_PATH_IMAGE046
中元素取值范围为
Figure 803408DEST_PATH_IMAGE064
，是此像素处边缘特征的显著程度；
Figure 762136DEST_PATH_IMAGE063
中元素取值范围为
Figure 823633DEST_PATH_IMAGE065
，是此像素处边缘特征的角度（边缘切线方向与铅垂线的锐角夹角）。通过公式1和公式2分别计算出横向边缘响应矩阵
Figure 967039DEST_PATH_IMAGE032
和纵向边缘响应矩阵
Figure 113986DEST_PATH_IMAGE066
在点
Figure 610827DEST_PATH_IMAGE040
处的值：
Figure 526830DEST_PATH_IMAGE067
（1）
Figure 841137DEST_PATH_IMAGE068
（2）
然后，在图像上均匀放置初始候选框。初始候选框是较小的、密集分布的一批候选框。选取方法是：假设目标物体的尺度不小于
Figure 475380DEST_PATH_IMAGE003
像素，则以
Figure 775912DEST_PATH_IMAGE001
（横向）、
Figure 546422DEST_PATH_IMAGE002
（纵向）为间距均匀地、网格状地放置
Figure 31630DEST_PATH_IMAGE069
大小的初始候选框。此初始候选框选取方式能保证每个目标物体至少完整包含了一个初始候选框。设最终图像中采集了
Figure 153169DEST_PATH_IMAGE070
个初始候选框。
由于每个初始候选框的边界扩展算法相互独立，因此可以在实现时充分利用并行计算资源，对各个初始候选框的边界扩展过程进行并行计算。
合并每个初始候选框
Figure 991812DEST_PATH_IMAGE071
所生成的候选区域集合
Figure 882408DEST_PATH_IMAGE072
，计算全局的候选区域集合：
Figure 538517DEST_PATH_IMAGE073
（3）
对
Figure 881774DEST_PATH_IMAGE074
中所有候选区域按照计算出的似物性分数进行排序，然后使用非极大抑制算法去除掉重复的候选区域。其中IoU（Intersection-over-Union）是指两个候选区域的交并比。最后，输出候选区域提取结果
Figure 789687DEST_PATH_IMAGE075
。
基于颜色差异最小化的边界扩展方向选取
候选框
Figure 534789DEST_PATH_IMAGE006
的扩展方向由四个方向的颜色差异而定。颜色差异是指
Figure 361800DEST_PATH_IMAGE006
内像素的颜色空间分布与
Figure 192353DEST_PATH_IMAGE006
在方向
Figure 372798DEST_PATH_IMAGE076
的邻接区域的颜色空间分布的差异。定义
Figure 237986DEST_PATH_IMAGE006
的邻接区域为
Figure 970319DEST_PATH_IMAGE006
在方向
Figure 288168DEST_PATH_IMAGE076
上紧邻的、长或宽与
Figure 272304DEST_PATH_IMAGE006
相同、面积为
Figure 116632DEST_PATH_IMAGE006
一半的矩形区域。如图3所示，图3为候选框的邻接区域示意图，此面积过大时，会引入更多的背景噪声，导致扩展方向选择错误；此面积过小时，边界扩展的幅度会很小，导致算法运行时间边长。
本实施例中使用图像的CIELAB颜色空间分布中A、B两个维度的边缘分布来衡量两个区域的颜色差异。CIELAB中的三个维度中，L维度代表感知的亮度（取值范围为
Figure 160812DEST_PATH_IMAGE077
，0为黑色，100为白色），A和B两个维度（取值范围
Figure 231536DEST_PATH_IMAGE078
）为颜色维度，共同组成一种特定的颜色。独立的L维度有助于在对比颜色差异时排除光照不均匀产生的干扰。
当一个邻接区域
Figure 19363DEST_PATH_IMAGE007
与
Figure 452619DEST_PATH_IMAGE006
颜色差异最小，说明
Figure 667699DEST_PATH_IMAGE007
最有可能与
Figure 694561DEST_PATH_IMAGE006
属于同一个物体，因此需要将
Figure 286079DEST_PATH_IMAGE006
往
Figure 839420DEST_PATH_IMAGE007
所在方向扩展。候选框
Figure 490982DEST_PATH_IMAGE006
与一个邻接区域
Figure 270719DEST_PATH_IMAGE007
的颜色差异计算方式如下：
Figure 400349DEST_PATH_IMAGE009
（4）
其中
Figure 683563DEST_PATH_IMAGE079
是区域内像素在CIELAB颜色空间中A、B两个维度的边缘分布的直方图（已进行归一化使得和为1），而
Figure 630659DEST_PATH_IMAGE080
是两个分布的Chi-square距离函数。距离越大，则颜色分布差异越大。
基于边缘响应最大化的边界扩展幅度选取：
当边界扩展方向确定后，需要使用横、纵边缘响应来计算边界扩展幅度，从而确定一个新边界。设扩展前的候选区域左下角坐标为
Figure 366534DEST_PATH_IMAGE013
，高度和宽度分别为
Figure 34276DEST_PATH_IMAGE014
和
Figure 703154DEST_PATH_IMAGE015
。
当边界扩展方向为右方，需要将候选区域的右边界从
Figure 821152DEST_PATH_IMAGE016
扩展到某个新的横坐标
Figure 44323DEST_PATH_IMAGE017
。那么边界扩展的计算方式为最优化：
Figure 781335DEST_PATH_IMAGE018
（5）
Figure 39141DEST_PATH_IMAGE019
也即，右边界扩展幅度的选取是在右邻近区域内，找到一个能最大化纵向边缘响应之和的新右边界。
同理，当边界扩展方向为左侧，候选框的新左边界横坐标由式（6）计算得到：
Figure 62460DEST_PATH_IMAGE025
（6）
Figure 38507DEST_PATH_IMAGE026
当边界扩展方向为上方，候选框的新左边界横坐标由式（7）计算得到：
Figure 313630DEST_PATH_IMAGE029
（7）
Figure 425943DEST_PATH_IMAGE030
当边界扩展方向为下方，候选框的新左边界横坐标由式（8）计算得到：
Figure 885743DEST_PATH_IMAGE081
（8）
Figure 83506DEST_PATH_IMAGE038
本实施例中似物性分数计算与公式5相似，也使用边缘响应进行计算。设此时
Figure 162320DEST_PATH_IMAGE015
的左、右边界的横坐标分别是
Figure 394719DEST_PATH_IMAGE082
、
Figure 759841DEST_PATH_IMAGE052
，上、下边界的纵坐标分别是
Figure 710479DEST_PATH_IMAGE083
、
Figure 327405DEST_PATH_IMAGE084
。
Figure 414310DEST_PATH_IMAGE015
的似物性分数为四边界的边缘响应之和：
Figure 950334DEST_PATH_IMAGE086
（6）
本实施例中的技术方案有效地提高了候选区域提取的计算效率，也保持了较高的准确率，可以提升双阶段目标检测模型的速度。同时，本实施例中的技术方案无需标注数据进行训练，也无需过多的对数据的先验信息（只需要确定目标最小长宽），可即插即用。
从方法细节的角度上，本实施例中的技术方案计算高效性和检测准确率源于：
（1）用边界扩展这一创新的候选区域搜索方式代替低效率的滑动窗口和超像素合并方法。边界扩展可以迅速将当前候选区域扩展到下一个似物性较高的区域，避免对大量似物性较低的区域的无效计算。
（2）本实施例中的技术方案使用的搜索方法是对边缘响应和颜色差异两种似物性估计方式的顺序优化（Sequential Optimization），能在忽视其度量方式差异（如两者的取值范围差异）的同时实现共同优化，避免不适当的加权或归一化导致的准确率损失。
（3）本实施例中的技术方案使用的似物性分数计算简单，只需要一次全局的边缘响应计算，即可在搜索过程中用简单的求和运算来为大量的候选框计算似物性分数。
本实施例使用PASCAL VOC 2012数据集验证本方案的候选区域提取效果。PASCALVOC 2012数据集对15000张图像中20类物体进行了检测框标注，但仍有其他物体未被标注。因此常用的候选区域提取方法评估方式是计算候选区域对已标注物体的召回率。此处的召回率是指：候选区域提取方法为每个图像生成1000个候选区域时，已标注物体被召回的比例。当存在一个候选区域与一个已标注物体的交并比（Intersection-over-Union）高于0.5，认为此目标被召回。召回率对比结果如表1所示。
表1
Figure 122689DEST_PATH_IMAGE088
本实施例中的各个候选区域提取方法均由Python3.8实现，运行环境包括一个2.10GHz、20核、线程数40的CPU和512GB内存。方法的实现（除本方案外）均采用现有技术对应的实现方式，且都充分利用了多线程加速。本方案使用了32个线程，并行计算各个初始候选框的扩展方法。占用内存结果对比如表2所示。
表2
Figure 543306DEST_PATH_IMAGE090
从表1和表2可以看出本方案具有计算高效性和检测准确率的双重优势。
实施例二
请参考图4，图4为候选区域提取系统的组成示意图，本发明实施例四提供了一种候选区域提取系统，所述系统包括：
初始候选区域放置单元，用于在输入图像中均匀放置若干个初始候选区域；
扩展处理单元，用于对所述初始候选区域的边界均进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并单元，用于合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
排序单元，用于基于所述第一候选区域的第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得第一排序结果；
提取单元，用于选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
实施例三
本发明实施例三提供了目标检测方法，所述方法包括：
采用所述的候选区域提取方法对输入图像进行处理，获得所述输入图像的候选区域提取结果；
对提取出的候选区域进行分类，获得分类结果；
基于所述分类结果获得目标检测结果。
本实施例中的目标检测方法能够快速准确的实现目标检测。
实施例四
本发明实施例四提供了一种候选区域提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述候选区域提取方法的步骤。
实施例五
本发明实施例五提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述候选区域提取方法的步骤。
其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Fieldprogrammablegate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中候选区域提取装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述候选区域提取装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (22)

1.候选区域提取方法，其特征在于，所述方法包括：
在输入图像中放置若干个初始候选区域；
对所述初始候选区域的边界进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
将所述全局候选区域集合中的多个所述第一候选区域按照对应所述第一参数的大小进行降序排序获得第一排序结果；
选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
2.根据权利要求1所述的候选区域提取方法，其特征在于，本方法对每个所述初始候选区域的边界均进行扩展处理，每次扩展处理后对应获得一个所述第一候选区域以及所述第一参数。
3.根据权利要求2所述的候选区域提取方法，其特征在于，本方法将每个所述初始候选区域对应的第一候选区域集合均进行合并获得所述全局候选区域集合；
基于每个所述第一候选区域的所述第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得所述第一排序结果。
4.根据权利要求1所述的候选区域提取方法，其特征在于，所述初始候选区域为矩形，相邻2个所述初始候选区域之间的横向间距和纵向间距分别为
Figure 822094DEST_PATH_IMAGE001
和
Figure 4814DEST_PATH_IMAGE002
，所述输入图像中的目标物体的尺寸大于或等于
Figure 66442DEST_PATH_IMAGE003
像素，其中，
Figure 992810DEST_PATH_IMAGE004
为目标物体的宽度，
Figure 338340DEST_PATH_IMAGE005
为目标物体高度。
5.根据权利要求1所述的候选区域提取方法，其特征在于，所述方法包括：
去除所述第一排序结果中重复的所述第一候选区域，获得第二排序结果；
选取所述第二排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
6.根据权利要求3所述的候选区域提取方法，其特征在于，使用非极大抑制算法去除所述第一排序结果中重复的所述第一候选区域。
7.根据权利要求1所述的候选区域提取方法，其特征在于，对所述初始候选区域的边界进行若干次扩展处理具体包括：
对所述初始候选区域做边界扩展处理，获得第一候选区域1，并计算所述第一候选区域1的第一参数获得第一评分1；
对所述第一候选区域1做边界扩展处理，获得第一候选区域2，并计算所述第一候选区域2的第一参数获得第一评分2；
.....
对第一候选区域i-1做边界扩展处理，获得第一候选区域i，并计算所述第一候选区域i的第一参数获得第一评分i；
对第一候选区域i做边界扩展处理，获得第一候选区域i+1，其中，所述第一候选区域i+1的面积大于或等于所述输入图像的面积；
基于所述第一候选区域1至所述第一候选区域i获得所述第一候选区域集合。
8.根据权利要求1所述的候选区域提取方法，其特征在于，本方法中对所述初始候选区域的边界进行扩展处理包括：
计算所述初始候选区域的扩展方向获得第一方向；
计算所述初始候选区域的扩展幅度获得第一幅度；
将所述初始候选区域的长或宽沿所述第一方向扩展所述第一幅度。
9.根据权利要求8所述的候选区域提取方法，其特征在于，所述第一方向的获得方式为：
分别计算所述初始候选区域的4个邻接区域与所述初始候选区域的颜色差异值，获得颜色差异值最小的邻接区域，基于颜色差异值最小的邻接区域相对于所述初始候选区域的方向获得所述第一方向；其中，所述初始候选区域和所述邻接区域均为矩形，所述4个邻接区域包括：上邻接区域、下邻接区域、左邻接区域和右邻接区域；其中，所述4个邻接区域中的任意1个均与所述初始候选区域具有一个重合的边。
10.根据权利要求9所述的候选区域提取方法，其特征在于，所述邻接区域的面积为所述初始候选区域面积的一半。
11.根据权利要求9所述的候选区域提取方法，其特征在于，所述初始候选区域为
Figure 691961DEST_PATH_IMAGE006
，所述候选区域为
Figure 25904DEST_PATH_IMAGE007
，
Figure 490384DEST_PATH_IMAGE006
与
Figure 706732DEST_PATH_IMAGE007
的颜色差异值
Figure 965675DEST_PATH_IMAGE008
的计算方式为：
Figure 251163DEST_PATH_IMAGE009
其中，
Figure 253754DEST_PATH_IMAGE010
是
Figure 308298DEST_PATH_IMAGE006
内像素在CIELAB颜色空间中A、B两个维度的边缘分布的直方图，
Figure 3722DEST_PATH_IMAGE011
是
Figure 527238DEST_PATH_IMAGE012
内像素在CIELAB颜色空间中A、B两个维度的边缘分布的直方图，
Figure 333520DEST_PATH_IMAGE013
为
Figure 242570DEST_PATH_IMAGE010
与
Figure 108895DEST_PATH_IMAGE011
的的Chi-square距离函数。
12.根据权利要求8所述的候选区域提取方法，其特征在于，所述方法还包括：
对输入图像进行边缘检测，获得边缘响应矩阵和边缘角度矩阵；
基于所述边缘响应矩阵和所述边缘角度矩阵，计算获得像素点横向边缘响应矩阵和像素点纵向边缘响应矩阵；
基于所述像素点横向边缘响应矩阵和所述像素点纵向边缘响应矩阵，计算获得所述第一幅度。
13.根据权利要求12所述的候选区域提取方法，其特征在于，当边界扩展方向为右方时：
设扩展前的候选区域左下角坐标为
Figure 103396DEST_PATH_IMAGE014
，高度和宽度分别为
Figure 464101DEST_PATH_IMAGE015
和
Figure 493237DEST_PATH_IMAGE016
；
将候选区域的右边界从
Figure 530463DEST_PATH_IMAGE017
扩展到新的横坐标
Figure 12260DEST_PATH_IMAGE018
，边界扩展的计算方式为：
Figure 160345DEST_PATH_IMAGE019
Figure 794719DEST_PATH_IMAGE020
b为优化变量，
Figure 2847DEST_PATH_IMAGE021
为纵向边缘响应矩阵
Figure 706361DEST_PATH_IMAGE022
在点
Figure 658136DEST_PATH_IMAGE023
处的值。
14.根据权利要求12所述的候选区域提取方法，其特征在于，当边界扩展方向为左方时：
设扩展前的候选区域左下角坐标为
Figure 396285DEST_PATH_IMAGE014
，高度和宽度分别为
Figure 791625DEST_PATH_IMAGE015
和
Figure 982435DEST_PATH_IMAGE016
；
将候选区域的右边界从
Figure 737902DEST_PATH_IMAGE024
扩展到新的横坐标
Figure 330557DEST_PATH_IMAGE025
，边界扩展的计算方式为：
Figure 146066DEST_PATH_IMAGE026
Figure 574905DEST_PATH_IMAGE027
b为优化变量，
Figure 868483DEST_PATH_IMAGE021
为纵向边缘响应矩阵
Figure 581224DEST_PATH_IMAGE022
在点
Figure 36476DEST_PATH_IMAGE023
处的值。
15.根据权利要求12所述的候选区域提取方法，其特征在于，当边界扩展方向为上方时：
设扩展前的候选区域左下角坐标为
Figure 201878DEST_PATH_IMAGE014
，高度和宽度分别为
Figure 299147DEST_PATH_IMAGE015
和
Figure 617127DEST_PATH_IMAGE016
；
将候选区域的上边界从
Figure 243281DEST_PATH_IMAGE028
扩展到新的纵坐标
Figure 427137DEST_PATH_IMAGE029
，边界扩展的计算方式为：
Figure 62518DEST_PATH_IMAGE030
Figure 218693DEST_PATH_IMAGE031
b为优化变量，
Figure 297638DEST_PATH_IMAGE032
为横向边缘响应矩阵
Figure 172053DEST_PATH_IMAGE033
在点
Figure 611125DEST_PATH_IMAGE034
处的值。
16.根据权利要求12所述的候选区域提取方法，其特征在于，当边界扩展方向为下方时：
设扩展前的候选区域左下角坐标为
Figure 152965DEST_PATH_IMAGE014
，高度和宽度分别为
Figure 386500DEST_PATH_IMAGE015
和
Figure 748211DEST_PATH_IMAGE016
；
将候选区域的下边界从
Figure 7285DEST_PATH_IMAGE035
扩展到新的纵坐标
Figure 138052DEST_PATH_IMAGE036
，边界扩展的计算方式为：
Figure 542489DEST_PATH_IMAGE037
Figure 188234DEST_PATH_IMAGE038
b为优化变量，
Figure 454261DEST_PATH_IMAGE039
为横向边缘响应矩阵
Figure 970693DEST_PATH_IMAGE033
在点
Figure 546031DEST_PATH_IMAGE034
处的值。
17.根据权利要求13-16中任意一个所述的候选区域提取方法，横向边缘响应矩阵
Figure 882335DEST_PATH_IMAGE033
和纵向边缘响应矩阵
Figure 466900DEST_PATH_IMAGE022
在点
Figure 572259DEST_PATH_IMAGE040
处的值
Figure 69230DEST_PATH_IMAGE041
和
Figure 892830DEST_PATH_IMAGE042
的计算方式分别为：
Figure 281086DEST_PATH_IMAGE043
Figure 506531DEST_PATH_IMAGE044
Figure 423671DEST_PATH_IMAGE045
为边缘响应矩阵，
Figure 750879DEST_PATH_IMAGE046
为边缘角度矩阵。
18.根据权利要求1所述的候选区域提取方法，其特征在于，所述初始候选区域为
Figure 942826DEST_PATH_IMAGE006
，
Figure 22777DEST_PATH_IMAGE006
的第一参数
Figure 376398DEST_PATH_IMAGE047
的计算方式为：
Figure 925322DEST_PATH_IMAGE048
其中，
Figure 389802DEST_PATH_IMAGE006
的左和右边界的横坐标分别是
Figure 58680DEST_PATH_IMAGE049
和
Figure 848782DEST_PATH_IMAGE050
，
Figure 868690DEST_PATH_IMAGE016
的上和下边界的纵坐标分别是
Figure 871281DEST_PATH_IMAGE051
和
Figure 676557DEST_PATH_IMAGE052
，
Figure 371981DEST_PATH_IMAGE053
为纵向边缘响应矩阵
Figure 879186DEST_PATH_IMAGE022
在点
Figure 951047DEST_PATH_IMAGE054
处的值，
Figure 860097DEST_PATH_IMAGE055
纵向边缘响应矩阵
Figure 477154DEST_PATH_IMAGE022
在点
Figure 471655DEST_PATH_IMAGE056
处的值，
Figure 81628DEST_PATH_IMAGE057
为横向边缘响应矩阵
Figure 845185DEST_PATH_IMAGE033
在点
Figure 882411DEST_PATH_IMAGE058
处的值，
Figure 657817DEST_PATH_IMAGE059
为横向边缘响应矩阵
Figure 805902DEST_PATH_IMAGE033
在点
Figure 423965DEST_PATH_IMAGE060
处的值。
19.候选区域提取系统，其特征在于，所述系统包括：
初始候选区域放置单元，用于在输入图像中放置若干个初始候选区域；
扩展处理单元，用于对所述初始候选区域的边界均进行若干次扩展处理，扩展处理后对应获得一个第一候选区域以及表征所述第一候选区域的似物性高低的第一参数，每个所述初始候选区域对应的多个所述第一候选区域组合获得一个第一候选区域集合；
合并单元，用于合并所述初始候选区域对应的第一候选区域集合获得全局候选区域集合；
排序单元，用于基于所述第一候选区域的第一参数，将所述全局候选区域集合中的多个所述第一候选区域进行排序获得第一排序结果；
提取单元，用于选取所述第一排序结果中排序前若干位的所述第一候选区域作为所述输入图像的候选区域提取结果。
20.目标检测方法，其特征在于，所述方法包括：
采用权利要求1-16中任意一个所述的候选区域提取方法对输入图像进行处理，获得所述输入图像的候选区域提取结果；
对提取出的候选区域进行分类，获得分类结果；
基于所述分类结果获得目标检测结果。
21.一种候选区域提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-16中任意一个所述候选区域提取方法的步骤。
22.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-16中任意一个所述候选区域提取方法的步骤。
CN202111416639.4A 2021-11-26 2021-11-26 候选区域提取方法及系统及装置及介质及目标检测方法 Active CN113837171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111416639.4A CN113837171B (zh) 2021-11-26 2021-11-26 候选区域提取方法及系统及装置及介质及目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111416639.4A CN113837171B (zh) 2021-11-26 2021-11-26 候选区域提取方法及系统及装置及介质及目标检测方法

Publications (2)

Publication Number Publication Date
CN113837171A true CN113837171A (zh) 2021-12-24
CN113837171B CN113837171B (zh) 2022-02-08

Family

ID=78971466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111416639.4A Active CN113837171B (zh) 2021-11-26 2021-11-26 候选区域提取方法及系统及装置及介质及目标检测方法

Country Status (1)

Country Link
CN (1) CN113837171B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447076A (zh) * 2008-12-02 2009-06-03 浙江大学 一种web图像中感兴趣区域的分割方法
CN102254186A (zh) * 2011-08-03 2011-11-23 浙江大学 一种采用局部结构相似度差异的红外目标探测方法
CN103413120A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于物体整体性和局部性识别的跟踪方法
US8971637B1 (en) * 2012-07-16 2015-03-03 Matrox Electronic Systems Ltd. Method and system for identifying an edge in an image
CN105808610A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种互联网图片过滤方法及装置
CN106446890A (zh) * 2016-10-28 2017-02-22 中国人民解放军信息工程大学 一种基于窗口打分和超像素分割的候选区域提取方法
CN107077211A (zh) * 2014-10-23 2017-08-18 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割
CN107103615A (zh) * 2017-04-05 2017-08-29 合肥酷睿网络科技有限公司 一种监控视频目标锁定追踪系统及锁定追踪方法
CN107122713A (zh) * 2017-03-27 2017-09-01 华南理工大学 一种基于深度学习的似物性检测方法
CN108734624A (zh) * 2017-04-13 2018-11-02 Arm有限公司 用于处理图形的方法和装置
CN109977952A (zh) * 2019-03-27 2019-07-05 深动科技（北京）有限公司 基于局部最大值的候选目标检测方法
US10368078B2 (en) * 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
CN111353487A (zh) * 2019-08-20 2020-06-30 国网浙江省电力有限公司台州供电公司 用于变电站的设备信息提取方法
CN113112516A (zh) * 2021-04-01 2021-07-13 广东拓斯达科技股份有限公司 图像边缘特征库构建方法、装置、计算机设备及存储介质
US20210216829A1 (en) * 2018-06-01 2021-07-15 Nippon Telegraph And Telephone Corporation Object likelihood estimation device, method, and program
CN113283513A (zh) * 2021-05-31 2021-08-20 西安电子科技大学 基于目标互换和度量学习的小样本目标检测方法及系统
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
US20210357644A1 (en) * 2020-05-18 2021-11-18 Adobe Inc. Explanatory visualizations for object detection

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447076A (zh) * 2008-12-02 2009-06-03 浙江大学 一种web图像中感兴趣区域的分割方法
CN102254186A (zh) * 2011-08-03 2011-11-23 浙江大学 一种采用局部结构相似度差异的红外目标探测方法
US8971637B1 (en) * 2012-07-16 2015-03-03 Matrox Electronic Systems Ltd. Method and system for identifying an edge in an image
US10368078B2 (en) * 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
CN103413120A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于物体整体性和局部性识别的跟踪方法
CN107077211A (zh) * 2014-10-23 2017-08-18 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割
CN105808610A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种互联网图片过滤方法及装置
CN106446890A (zh) * 2016-10-28 2017-02-22 中国人民解放军信息工程大学 一种基于窗口打分和超像素分割的候选区域提取方法
CN107122713A (zh) * 2017-03-27 2017-09-01 华南理工大学 一种基于深度学习的似物性检测方法
CN107103615A (zh) * 2017-04-05 2017-08-29 合肥酷睿网络科技有限公司 一种监控视频目标锁定追踪系统及锁定追踪方法
CN108734624A (zh) * 2017-04-13 2018-11-02 Arm有限公司 用于处理图形的方法和装置
US20210216829A1 (en) * 2018-06-01 2021-07-15 Nippon Telegraph And Telephone Corporation Object likelihood estimation device, method, and program
CN109977952A (zh) * 2019-03-27 2019-07-05 深动科技（北京）有限公司 基于局部最大值的候选目标检测方法
CN111353487A (zh) * 2019-08-20 2020-06-30 国网浙江省电力有限公司台州供电公司 用于变电站的设备信息提取方法
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
US20210357644A1 (en) * 2020-05-18 2021-11-18 Adobe Inc. Explanatory visualizations for object detection
CN113112516A (zh) * 2021-04-01 2021-07-13 广东拓斯达科技股份有限公司 图像边缘特征库构建方法、装置、计算机设备及存储介质
CN113283513A (zh) * 2021-05-31 2021-08-20 西安电子科技大学 基于目标互换和度量学习的小样本目标检测方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BIN CAO等: ""Third-order lensless ghost diffraction with classical fully incoherent light"", 《OPTICS LETTERS 》 *
SHAH SAA等: ""Automatic object detection using objectness measure"", 《IEEE》 *
Z. -Q. ZHAO等: ""Object Detection With Deep Learning: A Review"", 《IEEE》 *
刘春阳: ""基于似物性和空时协方差特征的行人检测算法"", 《等计算机科学》 *
刘涛 等: ""基于似物性的快速视觉目标识别算法"", 《计算机科学》 *
王田雨: ""目标检测中候选区域生成算法的研究与改进"", 《中国硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN113837171B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US8843424B2 (en) Device and method for multiclass object detection
WO2018103608A1 (zh) 一种文字检测方法、装置及存储介质
CN105184763B (zh) 图像处理方法和装置
US8509526B2 (en) Detection of objects in digital images
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN111640089B (zh) 一种基于特征图中心点的缺陷检测方法及装置
US20140003723A1 (en) Text Detection Devices and Text Detection Methods
CN111860494B (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
WO2020253508A1 (zh) 异常细胞检测方法、装置及计算机可读存储介质
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN111860309A (zh) 一种人脸识别方法及系统
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN114663380A (zh) 一种铝材表面缺陷检测方法、存储介质及计算机系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
Fernando et al. Automatic road traffic signs detection and recognition using ‘You Only Look Once’version 4 (YOLOv4)
Mesquita et al. Object recognition using saliency guided searching
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN113837171B (zh) 候选区域提取方法及系统及装置及介质及目标检测方法
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN112580624A (zh) 基于边界预测的多方向文本区域检测方法和装置
CN112633327B (zh) 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
US11769322B2 (en) Program creation device, object detection system, anchor setting method, and anchor setting program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 610042 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Patentee after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: No.2, floor 4, building 1, Jule road crossing, Section 1, West 1st ring road, Wuhou District, Chengdu City, Sichuan Province 610041

Patentee before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address