CN110263732B - 多尺度目标检测方法及装置 - Google Patents

多尺度目标检测方法及装置 Download PDF

Info

Publication number
CN110263732B
CN110263732B CN201910551464.4A CN201910551464A CN110263732B CN 110263732 B CN110263732 B CN 110263732B CN 201910551464 A CN201910551464 A CN 201910551464A CN 110263732 B CN110263732 B CN 110263732B
Authority
CN
China
Prior art keywords
scale
feature map
convolution
processing
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910551464.4A
Other languages
English (en)
Other versions
CN110263732A (zh
Inventor
杨静林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910551464.4A priority Critical patent/CN110263732B/zh
Publication of CN110263732A publication Critical patent/CN110263732A/zh
Application granted granted Critical
Publication of CN110263732B publication Critical patent/CN110263732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种多尺度目标检测方法及装置，其中方法包括：获取待进行目标检测的图像；对图像进行第一卷积处理，获取多个尺度的特征图；针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果，其中，通过空洞卷积的采用，增加了感受野，使得尺度划分稠密化，提高了目标检测效率。

Description

多尺度目标检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种多尺度目标检测方法及装置。
背景技术
目前的多尺度目标检测方法为，对图像进行卷积处理，获取多个尺度的特征图；对每个尺度的特征图，进行卷积处理和插值处理，并与上一尺度的特征图进行叠加，得到上一尺度的融合后特征图；将每个尺度的融合后特征图，输入至检测网络，获取目标检测结果。上述方法中，不同尺度间的尺度差距较大，不够连续，从而导致目标检测效率差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种多尺度目标检测方法，用于解决现有技术中目标检测效率差的问题。
本发明的第二个目的在于提出一种多尺度目标检测装置。
本发明的第三个目的在于提出另一种多尺度目标检测装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种多尺度目标检测方法，包括：
获取待进行目标检测的图像；
对所述图像进行第一卷积处理，获取多个尺度的特征图；
针对所述多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；
根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；
对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果。
可选地，所述根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图，包括：
对所述空洞卷积后的特征图以及所述尺度的特征图进行拼接处理以及第二卷积处理，得到所述尺度的处理后特征图。
可选地，所述尺度的处理后特征图的数量为多个，分别对应具有不同的空洞系数的空洞卷积。
可选地，所述空洞卷积的数量为2个。
可选地，所述对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果，包括：
针对所述多个尺度中的每个尺度，判断是否存在小于所述尺度的第一尺度；
若存在所述第一尺度，则对所述第一尺度的处理后特征图进行插值处理，得到与所述尺度的特征图尺度相同的插值后特征图；
对所述插值后特征图以及所述尺度的处理后特征图进行拼接处理以及第二卷积处理，得到所述尺度的融合后特征图；
根据所述多个尺度中每个尺度的融合后特征图，确定所述图像的目标检测结果。
可选地，第二卷积的卷积核为1*1。
可选地，第一卷积为预设的目标检测模型中的多层卷积，所述目标检测模型为VGG模型或者ResNet模型。
本发明实施例的多尺度目标检测方法，通过获取待进行目标检测的图像；对图像进行第一卷积处理，获取多个尺度的特征图；针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果，其中，通过空洞卷积的采用，增加了感受野，使得尺度划分稠密化，提高了目标检测效率。
为达上述目的，本发明第二方面实施例提出了一种多尺度目标检测装置，包括：
获取模块，用于获取待进行目标检测的图像；
第一处理模块，用于对所述图像进行第一卷积处理，获取多个尺度的特征图；
第二处理模块，用于针对所述多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；
第三处理模块，用于根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；
确定模块，用于对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果。
本发明实施例的多尺度目标检测装置，通过获取待进行目标检测的图像；对图像进行第一卷积处理，获取多个尺度的特征图；针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果，其中，通过空洞卷积的采用，增加了感受野，使得尺度划分稠密化，提高了目标检测效率。
为达上述目的，本发明第三方面实施例提出了另一种多尺度目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的多尺度目标检测方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令被处理器执行时，实现如上所述的方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种多尺度目标检测方法的流程示意图；
图2为空洞系数为1时空洞卷积后的特征图的示意图；
图3为空洞系数为2时空洞卷积后的特征图的示意图；
图4为空洞系数为4时空洞卷积后的特征图的示意图；
图5为本发明实施例提供的一种多尺度目标检测装置的结构示意图；
图6为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的多尺度目标检测方法及装置。
图1为本发明实施例提供的一种多尺度目标检测方法的流程示意图。如图1所示，该多尺度目标检测方法包括以下步骤：
S101、获取待进行目标检测的图像。
本发明提供的多尺度目标检测方法的执行主体为多尺度目标检测装置，多尺度目标检测装置具体可以为移动终端、服务器等硬件设备，或者为硬件设备上安装的软件。本实施例中，待进行目标检测的图像例如可以为具有多个标签的图像。其中，标签例如天空、草地、白云、人物、马等。
其中，软件例如可以为目标检测模型，本申请中的目标检测模型包括：第一卷积层、稠密化层、融合层以及检测网络。其中，稠密化层用于对第一卷积层输出的各个尺度的特征图进行处理，得到各个尺度的处理后特征图；融合层对各个尺度的处理后特征图进行融合处理，得到各个尺度的融合后特征图；检测网络根据各个尺度的融合后特征图，确定目标检测结果。
本实施例中的目标检测模型与现有的目标检测模型，例如VGG等相比，增加了稠密化层，且融合层的融合策略不同。
S102、对图像进行第一卷积处理，获取多个尺度的特征图。
本实施例中，第一卷积可以为预设的目标检测模型中的多层卷积，所述目标检测模型为VGG模型或者ResNet模型。
本实施例中，目标检测模型是分为不同阶段的。图像经过多层卷积和池化计算，尺度是越变越小的，将相邻的具有相同输出尺度的卷积层，确定为同一阶段；将具有不同输出尺度的卷积层，确定为不同阶段，将每个阶段的最后一层的输出确定为一个尺度的特征图。每个阶段可以被定义为一层金字塔，各个尺度的特征图可以组成特征金字塔。
S103、针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图。
本实施例中，空洞卷积又称为膨胀卷积，是在特征图中注入空洞，以此来增加特征图的尺度。本实施例中，空洞卷积的数量可以为多个，分别具有不同的空洞系数。例如，空洞卷积的数量为2个，对应的空洞系数分别为m和n。如图2所示，为空洞系数为1时空洞卷积后的特征图的示意图。如图3所示，为空洞系数为2时空洞卷积后的特征图的示意图。如图4所示，为空洞系数为4时空洞卷积后的特征图的示意图。
其中，当空洞系数为1时，空洞卷积与普通的具有3*3卷积核的卷积相同。当空洞系数为2时，感受野为7。当空洞系数为4时，感受野为15。
当空洞卷积的数量为多个时，每个尺度的空洞卷积后的特征图的数量也为多个。例如，空洞卷积的数量为2，则每个尺度的空洞卷积后的特征图的数量也为2。
S104、根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图。
本实施例中，多尺度目标检测装置执行步骤104的过程具体可以为，对空洞卷积后的特征图以及尺度的特征图进行拼接处理以及第二卷积处理，得到所述尺度的处理后特征图。
具体地，本实施例中，对空洞卷积后的特征图以及尺度的特征图进行拼接处理之前，需要对空洞卷积后的特征图以及尺度的特征图进行卷积处理，使得空洞卷积后的特征图与尺度的特征图具有相同的尺度。
本实施例中，第二卷积的卷积核可以为1*1。
S105、对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果。
本实施例中，多尺度目标检测装置执行步骤105的过程具体可以为，针对多个尺度中的每个尺度，判断是否存在小于所述尺度的第一尺度；若存在第一尺度，则对第一尺度的处理后特征图进行插值处理，得到与所述尺度的特征图尺度相同的插值后特征图；对插值后特征图以及所述尺度的处理后特征图进行拼接处理以及第二卷积处理，得到所述尺度的融合后特征图；根据所述多个尺度中每个尺度的融合后特征图，确定图像的目标检测结果。
本实施例中，假设目标检测模型的阶段有3个，对应3个尺度的处理后特征图，其中3个尺度分别为3*3，10*10，20*20。针对尺度3*3，不存在小于该尺度的第一尺度，则将尺度3*3的处理后特征图，确定为尺度3*3的融合后特征图。
针对尺度10*10，小于该尺度的第一尺度有一个，为3*3，则需要对尺度为3*3的处理后特征图进行插值处理，得到10*10的插值后特征图；将10*10的插值后特征图与10*10的处理后特征图进行拼接处理以及第二卷积处理，得到尺度10*10的融合后特征图。
针对尺度20*20，小于该尺度的第一尺度有两个，为3*3和10*10，则需要对尺度为3*3的处理后特征图进行插值处理，得到20*20的第一插值后特征图；对尺度为10*10的处理后特征图进行插值处理，得到20*20的第二插值后特征图；将20*20的第一插值后特征图、20*20的第二插值后特征图以及20*20的处理后特征图进行拼接处理以及第二卷积处理，得到尺度20*20的融合后特征图。
本实施例中，获取多个尺度中每个尺度的融合后特征图中，将每个尺度的融合后特征图输入至检测网络，获取检测网络输出的目标检测结果。
本实施例中，通过对不同尺度的插值后特征图以及处理后特征图进行拼接，而不是做简单叠加处理，使得融合后特征图的表征比较准确，进一步提高目标检测效率。
本发明实施例的多尺度目标检测方法，通过获取待进行目标检测的图像；对图像进行第一卷积处理，获取多个尺度的特征图；针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果，其中，通过空洞卷积的采用，增加了感受野，使得尺度划分稠密化，提高了目标检测效率。
图5为本发明实施例提供的一种多尺度目标检测装置的结构示意图。如图5所示，包括：获取模块51、第一处理模块52、第二处理模块53、第三处理模块54和确定模块55。
其中，获取模块51，用于获取待进行目标检测的图像；
第一处理模块52，用于对所述图像进行第一卷积处理，获取多个尺度的特征图；
第二处理模块53，用于针对所述多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；
第三处理模块54，用于根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；
确定模块55，用于对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果。
本发明提供的多尺度目标检测装置具体可以为移动终端、服务器等硬件设备，或者为硬件设备上安装的软件。本实施例中，待进行目标检测的图像例如可以为具有多个标签的图像。其中，标签例如天空、草地、白云、人物、马等。
其中，软件例如可以为目标检测模型，本申请中的目标检测模型包括：第一卷积层、稠密化层、融合层以及检测网络。其中，稠密化层用于对第一卷积层输出的各个尺度的特征图进行处理，得到各个尺度的处理后特征图；融合层对各个尺度的处理后特征图进行融合处理，得到各个尺度的融合后特征图；检测网络根据各个尺度的融合后特征图，确定目标检测结果。
本实施例中的目标检测模型与现有的目标检测模型，例如VGG等相比，增加了稠密化层，且融合层的融合策略不同。
本实施例中，第一卷积可以为预设的目标检测模型中的多层卷积，所述目标检测模型为VGG模型或者ResNet模型。
本实施例中，目标检测模型是分为不同阶段的。图像经过多层卷积和池化计算，尺度是越变越小的，将相邻的具有相同输出尺度的卷积层，确定为同一阶段；将具有不同输出尺度的卷积层，确定为不同阶段，将每个阶段的最后一层的输出确定为一个尺度的特征图。每个阶段可以被定义为一层金字塔，各个尺度的特征图可以组成特征金字塔。
本实施例中，空洞卷积又称为膨胀卷积，是在特征图中注入空洞，以此来增加特征图的尺度。本实施例中，空洞卷积的数量可以为多个，分别具有不同的空洞系数。例如，空洞卷积的数量为2个，对应的空洞系数分别为m和n。
本实施例中，第三处理模块54具体可以用于，对空洞卷积后的特征图以及尺度的特征图进行拼接处理以及第二卷积处理，得到所述尺度的处理后特征图。
具体地，本实施例中，对空洞卷积后的特征图以及尺度的特征图进行拼接处理之前，需要对空洞卷积后的特征图以及尺度的特征图进行卷积处理，使得空洞卷积后的特征图与尺度的特征图具有相同的尺度。本实施例中，第二卷积的卷积核可以为1*1。
进一步地，本实施例中，确定模块55具体可以用于，针对多个尺度中的每个尺度，判断是否存在小于所述尺度的第一尺度；若存在第一尺度，则对第一尺度的处理后特征图进行插值处理，得到与所述尺度的特征图尺度相同的插值后特征图；对插值后特征图以及所述尺度的处理后特征图进行拼接处理以及第二卷积处理，得到所述尺度的融合后特征图；根据所述多个尺度中每个尺度的融合后特征图，确定图像的目标检测结果。
本实施例中，假设目标检测模型的阶段有3个，对应3个尺度的处理后特征图，其中3个尺度分别为3*3，10*10，20*20。针对尺度3*3，不存在小于该尺度的第一尺度，则将尺度3*3的处理后特征图，确定为尺度3*3的融合后特征图。
针对尺度10*10，小于该尺度的第一尺度有一个，为3*3，则需要对尺度为3*3的处理后特征图进行插值处理，得到10*10的插值后特征图；将10*10的插值后特征图与10*10的处理后特征图进行拼接处理以及第二卷积处理，得到尺度10*10的融合后特征图。
针对尺度20*20，小于该尺度的第一尺度有两个，为3*3和10*10，则需要对尺度为3*3的处理后特征图进行插值处理，得到20*20的第一插值后特征图；对尺度为10*10的处理后特征图进行插值处理，得到20*20的第二插值后特征图；将20*20的第一插值后特征图、20*20的第二插值后特征图以及20*20的处理后特征图进行拼接处理以及第二卷积处理，得到尺度20*20的融合后特征图。
本发明实施例的多尺度目标检测装置，通过获取待进行目标检测的图像；对图像进行第一卷积处理，获取多个尺度的特征图；针对多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；根据空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；对多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定图像的目标检测结果，其中，通过空洞卷积的采用，增加了感受野，使得尺度划分稠密化，提高了目标检测效率。
本发明还提供一种多尺度目标检测装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的多尺度目标检测方法。
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块72的程序/实用工具50，可以存储在例如存储器28中，这样的程序模块72包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本发明还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的多尺度目标检测方法。
本发明还提供一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的多尺度目标检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种多尺度目标检测方法，其特征在于，包括：
获取待进行目标检测的图像；
对所述图像进行第一卷积处理，获取多个尺度的特征图；
针对所述多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；
根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图，具体包括：对所述空洞卷积后的特征图以及所述尺度的特征图进行拼接处理以及第二卷积处理，得到所述尺度的处理后特征图；
对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述尺度的处理后特征图的数量为多个，分别对应具有不同的空洞系数的空洞卷积。
3.根据权利要求2所述的方法，其特征在于，所述空洞卷积的数量为2个。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果，包括：
针对所述多个尺度中的每个尺度，判断是否存在小于所述尺度的第一尺度；
若存在所述第一尺度，则对所述第一尺度的处理后特征图进行插值处理，得到与所述尺度的特征图尺度相同的插值后特征图；
对所述插值后特征图以及所述尺度的处理后特征图进行拼接处理以及第二卷积处理，得到所述尺度的融合后特征图；
根据所述多个尺度中每个尺度的融合后特征图，确定所述图像的目标检测结果。
5.根据权利要求1所述的方法，其特征在于，第二卷积的卷积核为1*1。
6.根据权利要求1所述的方法，其特征在于，第一卷积为预设的目标检测模型中的多层卷积，所述目标检测模型为VGG模型或者ResNet模型。
7.一种多尺度目标检测装置，其特征在于，包括：
获取模块，用于获取待进行目标检测的图像；
第一处理模块，用于对所述图像进行第一卷积处理，获取多个尺度的特征图；
第二处理模块，用于针对所述多个尺度中的每个尺度，对所述尺度的特征图进行空洞卷积处理，得到空洞卷积后的特征图；
第三处理模块，用于根据所述空洞卷积后的特征图对所述尺度的特征图进行处理，得到所述尺度的处理后特征图；所述第三处理模块具体用于：对所述空洞卷积后的特征图以及所述尺度的特征图进行拼接处理以及第二卷积处理，得到所述尺度的处理后特征图；
确定模块，用于对所述多个尺度中每个尺度的处理后特征图进行融合处理，根据每个尺度的融合后特征图确定所述图像的目标检测结果。
8.一种多尺度目标检测装置，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的多尺度目标检测方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的多尺度目标检测方法。
CN201910551464.4A 2019-06-24 2019-06-24 多尺度目标检测方法及装置 Active CN110263732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910551464.4A CN110263732B (zh) 2019-06-24 2019-06-24 多尺度目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551464.4A CN110263732B (zh) 2019-06-24 2019-06-24 多尺度目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN110263732A CN110263732A (zh) 2019-09-20
CN110263732B true CN110263732B (zh) 2022-01-21

Family

ID=67921143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551464.4A Active CN110263732B (zh) 2019-06-24 2019-06-24 多尺度目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN110263732B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796037B (zh) * 2019-10-15 2022-03-15 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN110852349B (zh) * 2019-10-21 2024-02-20 上海联影智能医疗科技有限公司 一种图像处理方法、检测方法、相关设备及存储介质
CN110930386B (zh) * 2019-11-20 2024-02-20 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN110991303A (zh) * 2019-11-27 2020-04-10 上海智臻智能网络科技股份有限公司 一种图像中文本定位方法、装置及电子设备
CN111179283A (zh) * 2019-12-30 2020-05-19 深圳市商汤科技有限公司 图像语义分割方法及装置、存储介质
CN112686107A (zh) * 2020-12-21 2021-04-20 中国铁道科学研究院集团有限公司电子计算技术研究所 隧道入侵物体检测方法及装置
CN112950640A (zh) * 2021-02-23 2021-06-11 Oppo广东移动通信有限公司 视频人像分割方法、装置、电子设备及存储介质
CN113191222B (zh) * 2021-04-15 2024-05-03 中国农业大学 水下鱼类目标检测方法及装置
CN113128586B (zh) * 2021-04-16 2022-08-23 重庆邮电大学 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN116416140A (zh) * 2021-12-28 2023-07-11 北京字跳网络技术有限公司 一种图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109784183A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于级联卷积网络和光流的视频显著性目标检测方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921822A (zh) * 2018-06-04 2018-11-30 中国科学技术大学 基于卷积神经网络的图像目标计数方法
CN109461157B (zh) * 2018-10-19 2021-07-09 苏州大学 基于多级特征融合及高斯条件随机场的图像语义分割方法
CN109522958A (zh) * 2018-11-16 2019-03-26 中山大学 基于跨尺度特征融合的深度卷积神经网络目标检测方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109784183A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于级联卷积网络和光流的视频显著性目标检测方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution and Fully Connected CRFs";Liang-Chieh Chen,;《arXiv》;20170512;第1-3节 *
"Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation";Liang-Chieh Chen;《arXiv》;20180822;摘要、第2-4节 *
"Feature Pyramid Networks for Object Detection";Tsung-Yi Lin;《arXiv》;20170430;摘要、第3-4节 *
"Rethinking Atrous Convolution for Semantic Image Segmentation";Liang-Chieh Chen;《arXiv》;20171105;第3节 *

Also Published As

Publication number Publication date
CN110263732A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263732B (zh) 多尺度目标检测方法及装置
CN109871909B (zh) 图像识别方法及装置
CN109344899B (zh) 多目标检测方法、装置和电子设备
CN109738884B (zh) 对象检测方法、装置和计算机设备
CN112614229B (zh) 基于深度学习的人脸重建方法和装置
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN109300139B (zh) 车道线检测方法和装置
CN113378789B (zh) 单元格位置的检测方法、装置和电子设备
CN110969580A (zh) 图像显示方法和装置
CN115937147A (zh) 缺陷检测参数的确定方法、装置、设备及存储介质
CN107464092B (zh) 业务流程图的模板切换方法及装置
CN113643311A (zh) 一种对边界误差鲁棒的图像分割方法和装置
CN114302152A (zh) 直播间的推荐方法、装置、设备及存储介质
CN111626990B (zh) 目标检测框处理方法、装置及电子设备
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN112802080A (zh) 基于深度学习的单目绝对深度估计方法和装置
CN112767211A (zh) 救援资源推荐方法、装置、电子设备和存储介质
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN112614143A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN113837987B (zh) 舌部图像采集方法、装置及计算机设备
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN114639056A (zh) 直播内容的识别方法、装置、计算机设备及存储介质
CN110544256B (zh) 基于稀疏特征的深度学习图像分割方法及装置
CN110647826B (zh) 商品训练图片的获取方法、装置、计算机设备和存储介质
CN113420604A (zh) 多人姿态估计方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant