CN113221895A - 小目标检测方法、装置、设备及介质 - Google Patents
小目标检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113221895A CN113221895A CN202110605010.8A CN202110605010A CN113221895A CN 113221895 A CN113221895 A CN 113221895A CN 202110605010 A CN202110605010 A CN 202110605010A CN 113221895 A CN113221895 A CN 113221895A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- target detection
- size
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 450
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims description 71
- 238000000605 extraction Methods 0.000 claims description 36
- 230000008707 rearrangement Effects 0.000 claims description 35
- 238000012216 screening Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种小目标检测方法、装置、设备及介质。该方法包括：获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；分别对每个所述待检测子图进行小目标检测；根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。上述技术方案能够解决针对高分辨率大尺寸图像进行小目标检测的技术问题，同时还能够提高针对高分辨率大尺寸图像进行小目标检测时的检测精度和检测速度。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种小目标检测方法、装置、设备及介质。
背景技术
目标检测技术被应用于很多生活和生产领域，但针对高分辨率大尺寸图像的小目标检测始终是目标检测技术中的难点问题。
如何针对高分辨率大尺寸图像进行小目标检测，提高检测精度以及检测速度是亟待解决的问题。
发明内容
本发明实施例提供一种小目标检测方法、装置、设备及介质，以解决针对高分辨率大尺寸图像进行小目标检测的技术问题，并提高检测精度以及检测速度。
第一方面，本发明实施例提供了一种小目标检测方法，包括：
获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
分别对每个所述待检测子图进行小目标检测；
根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
第二方面，本发明实施例还提供了一种小目标检测装置，包括：
待检测子图确定模块，用于获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
待检测子图目标检测模块，用于分别对每个所述待检测子图进行小目标检测；
目标检测结果确定模块，用于根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任意实施例所述的小目标检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的小目标检测方法。
本发明实施例的技术方案，在针对待检测图像进行小目标检测时，首先取得与待检测图像对应的各个待检测子图，然后分别对每个待检测子图进行小目标检测，进而可以根据各个待检测子图的目标检测结果得到待检测图像的小目标检测结果。当待检测图像为高分辨率大尺寸图像时，即可解决针对高分辨率大尺寸图像进行小目标检测的技术问题，分别针对与待检测图像对应的每个待检测子图进行小目标检测以确定待检测图像的小目标检测结果，也能够提高针对高分辨率大尺寸图像进行小目标检测时的检测精度和检测速度。
附图说明
图1是本发明实施例一中的一种小目标检测方法的流程图；
图2是本发明实施例二中的一种小目标检测方法的流程图；
图3是本发明实施例二中的针对高分辨率大尺寸图像进行小目标检测的流程示例图；
图4是本发明实施例三中的对待目标检测图像进行数据重排的示例图；
图5是本发明实施例三中采用不同的特征提取方式分别对数据重排图像进行特征图提取的示例图；
图6是本发明实施例三中目标检测网络的整体网络结构示例图；
图7是本发明实施例四中的一种小目标检测方法的流程示例图；
图8是本发明实施例五中的一种小目标检测装置的结构示意图；
图9是本发明实施例六中的一种电子设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
如前所述，在待检测图像尺寸分辨率高而目标较小时，目标检测难度较高。
以卫星图像为代表的高分辨率图像为例，图像中很多目标尺寸远小于32×32像素(学术界公认的目标检测数据集MS COCO把不同尺寸目标划分为三个等级，分别为像素尺寸小于32×32，像素尺寸介于32×32和96×96之间，像素尺寸大于96×96)，目标越小检测难度越高。与此同时，高分辨率图像尺寸又非常大，一般大于4460×9561像素，甚至是16000×16000像素，直接进行检测时会导致很多小目标检测不到。
本公开实施例的小目标检测方法，能够提高针对高分辨率大尺寸图像进行小目标检测时的检测精度和检测速度。
实施例一
图1为本发明实施例一提供的一种小目标检测方法的流程图，本实施例可适用于针对高分辨率大尺寸图像进行小目标检测的情况，该方法可以由本发明实施例提供的小目标检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在电子设备中。
如图1所示，本实施例提供的小目标检测方法，具体包括：
S110、获取待检测图像，并确定与待检测图像对应的至少一个待检测子图。
待检测图像，指的是需要进行小目标检测的图像。本实施例对待检测图像的图像尺寸以及分辨率不作具体限定。可选的，待检测图像为需要进行小目标检测的高分辨率大尺寸图像，其图像尺寸大于4460×9561像素，或者大于16000×16000像素等。
待检测子图，指的是对待检测图像进行自适应切分后得到的需要进行小目标检测的图像。与待检测图像对应的待检测子图的数量可以是一个，也可以是多个。与待检测图像对应的至少一个待检测子图所包括的图像内容与所述待检测图像所包括的图像内容是一致的。与待检测图像对应的待检测子图的数量可以根据与待检测图像的尺寸以及目标检测网络标准输入模板图像的尺寸确定。其中，目标检测网络标准输入模板图像指的是符合目标检测网络的网络输入尺寸的模板图像，目标检测网络可以是任意一种用于进行小目标检测的检测网络。
作为一种可选的实施方式，确定与待检测图像对应的至少一个待检测子图，可以具体为：
计算待检测图像与目标检测网络标准输入模板图像的尺寸比例系数；在尺寸比例系数满足切分条件时，对待检测图像进行切分，确定与待检测图像对应的至少两个待检测子图；在尺寸比例系数不满足切分条件时，对待检测图像进行处理，确定与待检测图像对应的一个待检测子图；其中，待检测子图的尺寸与目标检测网络标准输入模板图像的尺寸相同。
根据待检测图像的尺寸和目标检测网络标准输入模板图像的尺寸，计算尺寸比例系数。例如，待检测图像的尺寸为A1×A2(像素)，目标检测网络标准输入模板图像的尺寸为B1×B2(像素)，可以将A1×A2(像素)与B1×B2(像素)的比值作为所述尺寸比例系数。对得到的所述尺寸比例系数进行分析，判断所述尺寸比例系数是否满足切分条件，并根据判断结果对待检测图像进行自适应切分，以得到与待检测图像对应的至少一个待检测子图。
例如，切分条件可以是尺寸比例系数不小于或者是大于预设比例系数阈值。以切分条件为尺寸比例系数不小于2为例，当所述尺寸比例系数满足切分条件时，也即得到的所述尺寸比例系数大于等于2时，按照目标检测网络标准输入模板图像的尺寸对待检测图像进行切分，得到多个与目标检测网络标准输入模板图像的尺寸相同的待检测子图；当得到当所述尺寸比例系数不满足切分条件时，也即得到的所述尺寸比例系数小于2时，按照目标检测网络标准输入模板图像的尺寸对待检测图像进行缩小处理，得到一个与目标检测网络标准输入模板图像的尺寸相同的待检测子图。
进一步的，作为一种可选的实施方式，计算所述待检测图像与目标检测网络标准输入模板图像的尺寸比例系数，可以具体为：
计算待检测图像与目标检测网络标准输入模板图像的图像宽比例系数和图像高比例系数，并对图像宽比例系数和图像高比例系数向上取整，分别得到图像宽修正比例系数和图像高修正比例系数；将图像宽修正比例系数和图像高修正比例系数中较大的一个比例系数作为所述尺寸比例系数；相应的，所述尺寸比例系数满足切分条件，可以具体为：如果所述尺寸比例系数大于预设比例系数阈值，则确定所述尺寸比例系数满足切分条件；所述尺寸比例系数不满足切分条件，可以具体为：如果所述尺寸比例系数小于等于所述预设比例系数阈值，则确定所述尺寸比例系数不满足切分条件。
假设，待检测图像的图像尺寸为img_w×img_h(像素)，目标检测网络标准输入模板图像的图像尺寸为net_w×net_h(像素)，其中，img_w为待检测图像的图像宽，img_h为待检测图像的图像高，net_w为目标检测网络标准输入模板图像的图像宽，net_h为目标检测网络标准输入模板图像的图像高。
图像宽比例系数，指的是待检测图像的图像宽与目标检测网络标准输入模板图像的图像宽的比值，也即图像宽比例系数w＝img_w/net_w；图像高比例系数，指的是待检测图像的图像高与目标检测网络标准输入模板图像的图像高的比值，也即图像高比例系数h＝img_h/net_h。
对图像宽比例系数w和图像高比例系数h向上取整，分别得到图像宽修正比例系数w'和图像高修正比例系数h'，并将图像宽修正比例系数w'和图像高修正比例系数h'中较大的一个比例系数a'(w'或h')作为所述尺寸比例系数。进而，可以将所述尺寸比例系数a'作为是否需要进行后续图像切分的判断条件。
根据尺寸比例系数a'判断是否需要对待检测图像进行图像切分，以预设比例系数阈值为2为例，当尺寸比例系数a'大于2时，需要对待检测图像进行图像切分，也即当待检测图像与目标检测网络标准输入模板图像一个对应边的比值大于2时，需要对待检测图像进行切分，确定与待检测图像对应的多个待检测子图；当尺寸比例系数a'小于等于2时，不需要对待检测图像进行切分，对待检测图像进行处理后确定与待检测图像对应的一个待检测子图。
进一步的，作为一种可选的实施方式，在尺寸比例系数满足切分条件时，对待检测图像进行切分，确定与待检测图像对应的至少两个待检测子图，可以具体为：
根据图像宽修正比例系数和图像高修正比例系数，确定待检测图像切分的图像单位尺寸，并根据图像单位尺寸确定所述待检测图像中的各个切分中心对齐点；以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，在待检测图像中进行切分，得到至少两个待确认子图；将所述至少两个待确认子图分别与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的至少两个待检测子图。
其中，图像单位尺寸的宽指的是待检测图像的图像宽与图像宽修正比例系数的商值，图像单位尺寸的高指的是待检测图像的图像高与图像高修正比例系数的商值。切分中心对齐点，指的是按照图像单位尺寸对待检测图像进行切分时得到的各个切分图像区域的中心点。
以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，在待检测图像中进行切分，得到多个待确认子图。其中，上下相邻或左右相邻的两个待确认子图之间可能存在重叠区域。由于各个切分中心对齐点是根据图像单位尺寸确定的，以每个切分中心对齐点为中心切分得到的待确认子图是根据目标检测网络标准输入模板图像的尺寸的切分的，而目标检测网络标准输入模板图像的尺寸是大于等于图像单位尺寸的，所以得到的待确认子图的尺寸是小于等于目标检测网络标准输入模板图像的尺寸的。其中，当待确认子图位于切分待检测图像的首行、末行、首列或末列时，待确认子图的尺寸可能会小于目标检测网络标准输入模板图像的尺寸，此时切分中心对齐点并非为待确认子图的中心。
针对得到的每个待确认子图，将其与目标检测网络标准输入模板图像居中对齐，生成对应的待检测子图。具体的，针对得到的每个待确认子图，可以将其与目标检测网络标准输入模板图像居中对齐，根据待确认子图与目标检测网络标准输入模板图像的尺寸计算待确认子图相对于目标检测网络标准输入模板图像的位置坐标，其中，位置坐标包括左上对齐点和右下对齐点，或者包括左下对齐点和右上对齐点，将待确认子图填充到目标检测网络标准输入模板图像中左上对齐点与右下对齐点之间的区域内，或者左下对齐点和右上对齐点之间的区域内。如果将待确认子图填充到目标检测网络标准输入模板图像中之后，目标检测网络标准输入模板图像的四周(上下左右任意一边)还存在空白区域，则还需在相应的空白区域中进行像素填充，如在空白区域中填充像素值为“0”的像素，以生成与待确认子图对应的待检测子图。
进一步的，作为一种可选的实施方式，以每个切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图，可以具体为：
以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，分别计算每个待确认子图在待检测图像中的坐标范围；根据每个待确认子图在待检测图像中的坐标范围，对待检测图像进行切分，得到至少两个待确认子图。
针对每个切分中心对齐点，以该切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸以及切分中心对齐点的坐标，计算相应的待确认子图的坐标范围。如果计算得到的坐标范围超出待检测图像中的坐标范围，例如计算得到的坐标值为负值，或者计算得到的坐标值大于待检测图像相应方向上的最大坐标值，则对计算得到的坐标范围进行调整，将超出的坐标范围限定在待检测图像相应的边界上，并将调整后的作为待确认子图在待检测图像中的坐标范围，进而可以根据待确认子图在待检测图像中的坐标范围对待检测图像进行切分，得到对应的待确认子图。
可选的，在尺寸比例系数满足切分条件时，对待检测图像进行自适应切分，按照先宽度方向再高度方向进行自适应切分，或者按照先高度方向再宽度方向进行自适应切分。以按照先宽度方向再高度方向进行自适应切分为例，可以通过两层循环来实现自适应切分，内循环在待检测图像的宽度方向进行，外循环在待检测图像高度方向进行，将每次内循环切分完成得到的待确认子图与目标检测网络标准输入模板图像居住对齐后生成待检测子图。可选的，将生成的多个待检测子图存储于待检测子图列表中进行小目标检测的批处理。
作为一种具体的实施方式，在尺寸比例系数满足切分条件时，对待检测图像进行自适应切分得到多个待检测子图的流程，可以包括：
a.设定切分计数器，宽度方向(即x坐标方向)计数器用i表示，高度方向(即y坐标方向)计数器用j表示，计数器从0开始最大分别为w'-1和h'-1。根据图像宽高修正比例系数(w',h')计算对待检测图像进行自适应切分的图像单位尺寸的宽高(c_w,c_h)，即依次以图像单位尺寸的宽高确定后续切分的切分中心对齐点。
b.外循环控制高度方向，当计y方向计数器j小于高度系数h'时继续进行内循环。当j大于等于h'时结束外循环将切分得到的待确认子图输出。
c.外循环计数器j控制选择不同的y方向偏移量计算，位置不同对应的图像高度方向居中和对齐的上下偏移量不同。当y等于0时，在待检测图像最上面一行进行切分；当y大于0且小于h'-1时，在待检测图像中间部分进行切分；当y等于h'-1时，在待检测图像最下面一行进行切分。
d.内循环控制宽度方向，当x方向计数器i小于w'时进行当前内循环。当i大于等于w'时退出当前内循环。当内循环的宽度计数器i置0时，外循环的高度计数器j加1，进行下一轮外循环控制。
e.内循环计数器i控制选择不同的x方向偏移量计算，位置不同对应的图像宽度方向居中和对齐的左右偏移量不同。当x等于0时，在待检测图像的最左边一列进行切分；当x大于0小于w'-1时，在待检测图像的中间部分进行切分；当x等于w'-1时，在待检测图像的最右边一列进行切分。
f.通过外循环计数器j控制y方向的偏移量，通过内循环计数器i控制x方向的偏移量。计算分别得到对待检测图像进行切分时的对齐坐标点，如左上对齐坐标点和右下对齐坐标点(也即待确认子图的左上点和右下点)，或者是左下对齐坐标点和右上对齐坐标点(也即待确认子图的左下点和右上点)，进而可以根据对齐坐标点输出待确认子图。
g.根据待确认子图的对齐坐标点和目标检测网络标准输入模板图像的对齐坐标点，将待确认子图填充到目标检测网络标准输入模板图像中，并在对目标检测网络标准输入模板图像的四周空白区域填充像素后，生成与待确认子图对应的待检测子图。
可选的，将完成切分和对齐转换的待检测子图存储于待检测子图列表中，作为一个batch(批)，进行后续的小目标检测。
进一步的，作为一种可选的实施方式，在尺寸比例系数不满足切分条件时，对待检测图像进行处理，确定与待检测图像对应的一个待检测子图，可以具体为：根据尺寸比例系数对待检测图像进行缩小处理，得到待检测缩小图像；将待检测缩小图像与目标检测网络标准输入模板图像居中对齐，生成与待检测图像对应的一个待检测子图。
首先根据尺寸比例系数a'对待检测图像进行缩小处理，得到待检测缩小图像；然后将待检测缩小图像与目标检测网络标准输入模板图像居中对齐，生成与待检测图像对应的待检测子图。具体的，根据待检测缩小图像与目标检测网络标准输入模板图像的尺寸计算待检测缩小图像相对于目标检测网络标准输入模板图像的位置坐标，其中，位置坐标包括左上对齐点和右下对齐点，或者包括左下对齐点和右上对齐点，将待检测缩小图像填充到目标检测网络标准输入模板图像中左上对齐点与右下对齐点之间的区域内，或者左下对齐点和右上对齐点之间的区域内。如果将待检测缩小图像填充到目标检测网络标准输入模板图像中之后，目标检测网络标准输入模板图像的四周(上下左右任意一边)还存在空白区域，则还需在相应的空白区域中进行像素填充，如在空白区域中填充像素值为“0”的像素，以生成与待检测缩小图像对应的待检测子图，也即与待检测图像对应的一个待检测子图。
S120、分别对每个待检测子图进行小目标检测。
针对生成的每个待检测子图分别进行小目标检测，得到与每个待检测子图对应的目标检测结果。其中，可以通过与待检测子图尺寸匹配的任意一种目标检测网络分别对每个待检测子图进行小目标检测。可选的，目标检测网络使用的目标检测算法可以是两阶段算法或单阶段算法，其中，两阶段算法的检测精度更高但实时性稍差，单阶段算法检测精度略有不足但实时性较好。
在待检测子图的数量为多个时，为了提高小目标检测的效率，可以以批处理的形式进行并行处理，以实现同时对多个待检测子图进行小目标检测。
S130、根据待检测子图的目标检测结果，确定待检测图像的目标检测结果。
在待检测子图的数量为多个时，综合多个待检测子图的目标检测结果，即可得到与待检测图像对应的目标检测结果。例如，可以将多个待检测子图的目标检测框还原至待检测图像中，通过对这些目标检测框进行置信度排序以及去重处理后，即可得到待检测图像的目标检测结果。
本发明实施例的技术方案，在针对待检测图像进行小目标检测时，首先取得与待检测图像对应的各个待检测子图，然后分别对每个待检测子图进行小目标检测，进而可以根据各个待检测子图的目标检测结果得到待检测图像的小目标检测结果。当待检测图像为高分辨率大尺寸图像时，即可解决针对高分辨率大尺寸图像进行小目标检测的技术问题，分别针对与待检测图像对应的每个待检测子图进行小目标检测以确定待检测图像的小目标检测结果，也能够提高针对高分辨率大尺寸图像进行小目标检测时的检测精度和检测速度。
在上述技术方案中，当待检测图像为高分辨率大尺寸图像时，对待检测图像进行自适应切分后生成与待检测图像对应的多个待检测子图，并通过与待检测子图尺寸匹配的目标检测网络分别对每个待检测子图进行小目标检测，相比于使用超大网络输入进行检测，检测精度高、检测速度快，而且不需要高性能的硬件条件支持。
实施例二
图2为本发明实施例二提供的一种小目标检测方法的流程图，本实施例在前述实施例的基础上进行具体化，其中，在能够确定与待检测图像对应的多个待检测子图的情况下，本实施例提供的小目标检测方法还包括：根据相邻的每两个待检测子图确定二次检测子图，并对二次检测子图进行小目标检测；相应的，根据所述待检测子图的目标检测结果，确定待检测图像的目标检测结果，可以具体为：根据待检测子图和二次检测子图的目标检测结果，确定待检测图像的目标检测结果。
如图2所示，本实施例提供的小目标检测方法，包括：
S210、获取待检测图像，并确定与待检测图像对应的至少两个待检测子图。
S220、分别对每个待检测子图进行小目标检测。
S230、根据相邻的每两个待检测子图确定二次检测子图，并对二次检测子图进行小目标检测。
无论以何种方式对待检测图像进行图像切分，都不能避免相邻的两个待检测子图相邻处或重叠处的目标被切分为两部分的问题。为了解决待检测子图相邻处或重叠处的目标被切分的多部分的问题，本实施例在针对每个待检测子图进行小目标检测的基础上再进行二次检测，以提升目标检测性能。
针对相邻的两个待检测子图，可以是在待检测图像宽度方向相邻的两个待检测子图，也可以是在待检测图像高度方向相邻的两个待检测子图，确定与这两个待检测图像对应的二次检测子图。其中，二次检测子图是根据相邻的两个待检测子图相邻处或重叠处的区域确定的，且二次检测子图中不重复存在与所述相邻的两个待检测子图对应的重叠区域。可选的，二次检测子图的尺寸与待检测子图的尺寸是相同的。
在针对相邻的每两个待检测子图确定二次检测子图之后，对相应的二次检测子图继续进行小目标检测，得到与二次检测子图对应的目标检测结果。
作为一种可选的实施方式，将根据相邻的每两个待检测子图确定二次检测子图，可以具体为：如果相邻的两个待检测子图满足重复检测条件，则根据所述相邻的两个待检测子图确定二次检测子图。
为了避免不必要的计算资源浪费，可以对相邻的两个待检测子图进行筛选，仅在必要时才对应生成二次检测子图，并对生成的二次检测子图进行小目标检测。
重复检测条件，指的是需要进行二次检测的条件，例如可以是相邻的两个待检测子图的相邻处或重叠处存在目标检测框。针对相邻的每两个待检测子图，当这两个相邻的待检测子图满足重复检测条件时，例如可以是这两个相邻的待检测子图的相邻处或重叠处存在目标检测框，才根据这两个相邻的待检测子图生成对应的二次检测子图。
作为一种可选的实施方式，相邻的两个待检测子图满足重复检测条件，可以具体为：
如果相邻的两个待检测子图中存在重合度大于预设重合度阈值的两个目标检测框，则确定所述相邻的两个待检测子图满足重复检测条件。
在对每个待检测子图进行小目标检测后，可以得到与每个待检测子图对应的目标检测框。针对相邻的两个待检测子图，对与这两个待检测子图对应的目标检测框进行重合判断，如果存在重合度大于预设重合度阈值(例如可以是50％或25％等)的两个目标检测框，则可以确定所述相邻的两个待检测子图满足重复检测条件。
作为一种可选的实施方式，根据所述相邻的两个待检测子图确定二次检测子图，可以具体为：在待检测图像中确定与所述相邻的两个待检测子图对应的目标区域图像；以所述目标区域图像的中心点为中心，按照目标检测网络标准输入模板图像的尺寸，在所述目标区域图像中切分出所述二次检测子图。
在针对相邻的两个待检测子图进行分析时，如果所述相邻的两个待检测子图满足重复检测条件，则可以在待检测图像中确定与所述相邻的两个待检测子图对应的目标区域图像，也即所述相邻的两个待检测子图的联合区域图像。在确定与所述相邻的两个待检测子图对应的目标区域图像之后，可以以目标区域图像的中心点为中心，并按照目标检测网络标准输入模板图像的尺寸，在目标区域图像中切分出与所述相邻的两个待检测子图对应的二次检测子图。
S240、根据待检测子图和二次检测子图的目标检测结果，确定待检测图像的目标检测结果。
在本实施例中，不仅会针对待检测图像进行自适应切分得到的多个待检测子图进行小目标检测，还会针对由相邻的两个待检测子图确定各个二次检测子图进行小目标检测。进而，在得到各个待检测子图的目标检测结果以及各个二次检测子图的目标检测结果之后，也即得到与各个待检测子图对应的目标检测框，以及与各个二次检测子图对应的目标检测框之后，可以综合待检测子图和二次检测子图的目标检测结果确定出待检测图像的目标检测结果。
作为一种可选的实施方式，根据所述待检测子图和所述二次检测子图的目标检测结果，确定所述待检测图像的目标检测结果，可以具体为：
将待检测子图中的目标检测框和二次检测子图中的目标检测框还原至待检测图像中；对待检测图像中的目标检测框进行筛选处理，得到待检测图像的目标检测结果。
将各个待检测子图的目标检测框和各个二次检测子图中的目标检测框还原至待检测图像中，并对还原至待检测图像中目标检测框进行筛选处理，以此得到待检测图像的目标检测结果。在对还原至待检测图像中目标检测框进行筛选处理时，可以对每个目标检测框的进行类别置信度排序，并对各个目标检测框进行去重处理，以此得到与待检测图像匹配的各个目标检测框，作为待检测图像进行小目标检测的最终检测结果。
可选的，在对还原至待检测图像中目标检测框进行筛选处理时，可以对所有回归至待检测图像中的目标检测框进行NMS(Non-Maximum Suppression，非极大值抑制去重处理)处理，避免待检测图中针对同一个目标存在多个目标检测框的问题。
采用本实施例提供的小目标检测方法在针对高分辨率大尺寸图像进行小目标检测时，处理流程可以如图3所示，将输入的高分辨率大尺寸图像进行自适应切分，得到与该高分辨率大尺寸图像对应的多个待检测子图，分别对多个待检测子图进行小目标检测后，继续根据相邻的两个待检测子图的相邻处或重叠处确定二次检测子图，并对各二次检测子图进行小目标检测，最后将待检测子图和二次检测子图的目标检测结果回归至高分辨率大尺寸图像中，并对所有回归至高分辨率大尺寸图像中的目标检测框进行NMS去重合并处理后，得到高分辨率大尺寸图像的小目标检测结果。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案，在针对待检测图像进行自适应切分得到的多个待检测子图进行小目标检测之后，继续针对相邻的两个待检测子图进行分析，判断是否需要进行二次检测，并在必要时根据相邻的两个待检测子图生成二次检测子图，继续对生成的二次检测子图进行小目标检测，以此实现了待检测子图相邻处的二次检测，解决了由于自适应切分待检测子图时将相邻待检测子图相邻处或重叠处的目标被切分成多部分而影响目标检测结果的问题，提升了整体的检测性能。
实施例三
本实施例在前述实施例的基础上，将对待检测子图以及二次检测子图进行小目标检测进行具体化。在本实施例中，在待目标检测图像包括所述待检测子图和所述二次检测子图时，对所述待目标检测图像进行小目标检测，可以具体为：调整所述待目标检测图像的图像尺寸和通道数量，得到数据重排图像；对数据重排图像进行特征提取，确定目标特征图；根据目标特征图，确定待目标检测图像对应的目标检测结果。
待目标检测图像的图像尺寸，指的是待目标检测图像宽高方向的尺寸；待目标检测图像的通道数量，指的是待目标检测图像深度方向的尺寸。以待目标检测图像为512*512(像素)的三通道图像为例，待目标检测图像的图像尺寸为512*512(像素)，待目标检测图像的通道数量为3。
对待目标检测图像的图像尺寸和通道数量进行调整，使待目标检测图像包括像素数据在宽高方向以及深度方向上进行重排列，得到数据重排图像。
可选的，调整待目标检测图像的图像尺寸和通道数量，得到数据重排图像，可以具体为：减小待目标检测图像的图像尺寸，增加待目标检测图像的通道数量，得到数据重排图像。
通过减小待目标检测图像的图像尺寸、增加待目标检测图像的通道数量的方式实现对待目标检测图像的像素数据重排列，既能保留原图空间结构信息又提升细粒度特征表示能力，加强了图像的特征提取能力以及空间定位能力。
可选的，通过一种将待目标检测图像的宽高信息转换为深度信息的DFR(DepthFeature Rearrangement Module，深度特征重组模块)模块来实现对待目标检测图像的数据重排操作，以加强特征提取能力和空间定位能力。
在像素数据重排列前后，待目标检测图像的图像尺寸与通道数量的乘积是相等的。例如，以待目标检测图像为512*512(像素)的3通道图像为例，可以将待目标检测图像的图像尺寸由512*512缩小到256*256，将待目标检测图像的通道数量由3通道扩展到12通道。
进一步的，作为一种可选的实施方式，待目标检测图像的图像尺寸包括宽度信息以及高度信息，调整所述待目标检测图像的图像尺寸和通道数量，得到数据重排图像，可以包括：
对所述待目标检测图像的像素数据进行划分，确定Z个待目标检测子图像，其中，所述待目标检测子图像与所述待目标检测图像的通道数量相同，所述待目标检测图像宽度信息以及高度信息的乘积与待目标检测子图像宽度信息以及高度信息的乘积的比值为Z，Z为大于1的整数；
将所述Z个待目标检测子图像在通道方向上进行组合，得到数据重排图像。
其中，对所述待目标检测图像的像素数据进行划分，可以是将待目标检测图像进行按区域切分，将每个区域的像素数据确定为一个待目标检测子图像，还可以是将符合预设数据筛选方式的多个像素数据，确定为一个待目标检测子图像的像素数据，分别确定Z个待目标检测子图像。其中，不同待目标检测子图像的像素数据不同。本公开对像素数据进行划分的方式不作限制。
其中，预设数据筛选方式，可以指的是保持待目标检测图像的通道数量不变的情况下，在待目标检测图像中按照预设的规则筛选像素数据的方式。例如，预设数据筛选方式可以是按照等间隔尺寸提取像素数据，或者按照不等间隔尺寸提取像素数据，其中，在包括多个提取方向时(例如，宽度信息方向以及高度信息方向)，不同提取方向上的等间隔尺寸可以不同，例如，沿宽度信息方向(行方向)按照间隔1个像素提取像素数据，沿高度信息方向(列方向)按照间隔0个像素提取像素数据。不同提取方向上的等间隔尺寸也可以相同。例如，均是按照间隔1个像素提取像素数据，以生成待目标检测子图像，本公开对数据筛选方式不做限制。
按照预设数据筛选方式，将所述待目标检测图像切割为多个待目标检测子图像；将所述多个待目标检测子图像按照通道组合的方式进行叠加，得到数据重排图像。
预设数据筛选方式，指的是保持通道数量不变的情况下在待目标检测图像中按照预设的规则筛选像素数据的方式。
按照预设数据筛选方式，将所述待目标检测图像进行切割，得到多个待目标检测子图像，其中，待目标检测子图像的通道数与待目标检测图像是相等的，待目标检测子图像的图像尺寸小于待目标检测图像。将得到的多个待目标检测子图像按照通道组合的方式进行叠加，得到数据重排图像，其中，数据重排图像的图像尺寸与待目标检测子图像是相等的，数据重排图像的通道数是多个待目标检测子图像的通道数之和。
其中，按照预设数据筛选方式生成的待目标检测子图像中，相邻两个像素数据在待目标检测图像中可以不相邻，举例来说，数据筛选方式可以包括按照预设间隔尺寸提取待目标检测图像的像素数据，待目标检测子图像中相邻两个像素数据在所述待目标检测图像中为具有所述预设间隔尺寸的两个像素数据。
其中，在确定待目标检测子图像时，提取的第一像素数据为已确定的待目标检测子图像不包括的像素数据，可以使得不同待目标检测子图像的像素数据不同。按照预设间隔尺寸提取像素数据可以为分别沿宽度信息方向以及沿长度信息方向按照预设间隔尺寸提取像素数据。
进一步的，按照预设数据筛选方式，将所述待目标检测图像切割为多个待目标检测子图像，可以具体为：将待目标检测图像按照预设间隔尺寸提取像素数据，生成多个待目标检测子图像。
在待目标检测图像中筛选像素数据生成待目标检测子图像时，可以按照预设间隔尺寸在待目标检测图像中提取像素数据，以生成待目标检测子图像。
如图4所示，在针对4*4(像素)3通道的待目标检测图像进行数据重排时，可以按照每间隔一个像素提取一个像素数据的方式生成待目标检测子图像，得到多个待目标检测子图像，并按照通道组合的方式进行叠加，得到2*2(像素)12通道的数据重排图像。具体的，可以通过DFR模块实现对待目标检测图像的数据重排，整体上是先进行图像数据宽高方向的筛选再进行深度方向上的叠加，实现对多通道图像的像素深度重排列。如图4所示的示例，图像宽高方向数据减少一半，深度方向数据增加四倍，既保留了原图空间结构信息又提升了细粒度特征表示。
作为一种可选的实施方式，对所述数据重排图像进行特征提取，确定目标特征图，可以具体为：采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；其中，不同特征提取方式的图像感受野不同；将提取到的各个特征图进行融合处理，得到与所述待目标检测图像对应的目标特征图。
并行地采用不同的特征提取方式分别对所述数据重排图像进行特征图提取，得到多个特征图。由于不同特征提取方式的图像感受野是不同的，所以得到的多个特征图是不同尺寸的。将各个不同尺寸的特征图进行融合处理，即可得到与待目标检测图像对应的目标特征图。
可选的，特征提取方式可以仅包括卷积特征提取方式，也可以仅包括池化特征提取方式，也可以既包括卷积特征提取方式又包括池化特征提取方式。
当卷积特征提取方式的卷积核大小不同(如分别为3*3、5*5、7*7、9*9)时，其图像感受野就不同；当池化特征提取方式的池化核的大小不同(如分别为3*3、5*5、7*7、9*9时，其图像感受野就不同。当既采用卷积特征提取方式又采用池化特征提取方式时，不同特征提取方式采用不同的核大小即可。
如图5所示，以输入为512*512*3(表示图像尺寸为512*512，通道数量为3)的待目标检测图像为例，经过DFR模块(网络层)的数据重排处理后，得到256*256*12的数据重排图像，然后采用不同的特征提取方式分别对所述数据重排图像进行特征图提取。以并行地采用不同的卷积特征提取方式对所述数据重排图像进行特征图提取为例，如经过四种不同卷积核3*3、5*5、7*7、9*9的分组卷积，扩大感受野，提取不同尺度的特征信息。然后经过路由(route)层在深度方向拼接得到48通道的特征图，实现多尺度特征信息的融合。其中，不同尺度卷积核的分组卷积既减少了运算量又能融合不同尺度特征信息，增强了网络的空间特征提取能力。
示例性的，以目标检测算法为单阶段算法为例，在针对待目标检测图像进行目标检测时，目标检测网络的整体网络结构可以如图6所示(图中向下箭头表示上采样，向上箭头表示下采样)，输入的待目标检测图像经过数据重排、特征图提取以及特征图融合的处理，实现下采样的同时提取更多的邻近区域不同通道之间特征信息，然后经过多级下采样、上采样进行多尺度特征融合以实现目标检测。
在上述技术方案中，针对待目标检测图像进行数据重排的操作可以作为网络层的操作出现(也即可以通过众核系统中的核心来处理)的，也可以作为网络层之前的预处理操作(也即可以通过CPU(Central Processing Unit，中央处理器)来处理)。当作为网络层的操作出现时后续要加特征融合层进行融合并通过GPU进行并行运算，也即通过众核系统中的核心对待目标检测图像进行像素数据重排列并进行特征图提取，处理速度更快。而作为网络层之前的预处理操作时，通过CPU进行像素数据重排列后再发送给核心进行特征提取，处理速度会相对慢一些，但也能增强图像的表达能力。
实施例四
图7为本发明实施例四提供的一种小目标检测方法的流程示例图，本实施例在前述实施例的基础上提供了一种具体的实施方式。
参照图7，将输入的高分辨率大尺寸图像进行自适应切分，得到待检测子图0_0、待检测子图0_1、待检测子图0_2、待检测子图0_3、待检测子图1_0、待检测子图1_1、待检测子图1_2以及待检测子图1_3，并对这些待检测子图进行小目标检测。图7中示例性的展示了左右相邻的待检测子图1_0和待检测子图1_1的小目标检测结果。关于待检测子图的自适应切分方法可以详见前述实施例，在此不再赘述。
假设，待检测子图1_0和待检测子图1_1的小目标检测结果分别为BBox_0和BBox_1两组，每一组BBox可能包含多个目标检测框，设目标检测框的表示格式为[center_x,center_y,b_w,b_h]，其中，center_x表示目标检测框中心点的x坐标，center_y表示目标检测框中心点的y坐标，b_w表示目标检测框的宽，b_h表示目标检测框的高。
下述详细解释根据相邻的待检测子图生成二次检测图像的步骤：
(1)目标检测框坐标转换。将相邻的两个待检测子图的目标检测框的表示格式[center_x,center_y,b_w,b_h]格式都转换为[xmin,ymin,xmax,ymax]，其中，xmin表示目标检测框x坐标的最小值，ymin表示目标检测框y坐标的最小值，xmax表示目标检测框x坐标的最大值，ymax表示目标检测框y坐标的最大值。
(2)将目标检测框按照坐标进行排序。其中，将相邻的两个待检测子图中的左侧子图以xmax列进行排序找到最右侧的目标检测框bbox_r(也即最靠近相邻的待检测子图的一个或多个目标检测框)，将相邻的两个待检测子图中的右侧子图以xmin列进行排序找到最左侧的目标检测框bbox_l(也即最靠近相邻的待检测子图的一个或多个目标检测框)。
若相邻的两个待检测子图为上下相邻的两个待检测子图，则可以将相邻的两个待检测子图中的上侧子图以ymin列进行排序找到最下侧的目标检测框bbox_d(也即最靠近相邻的待检测子图的一个或多个目标检测框)，将相邻的两个待检测子图中的下侧子图以ymax列进行排序找到最上侧的目标检测框bbox_u(也即最靠近相邻的待检测子图的一个或多个目标检测框)。
(3)对目标检测框bbox_r和bbox_l进行IOU(Intersection over Union，重合度)计算，若计算得到的重合度IOU大于预设重合度阈值(例如为0.25)，则可以认为是同一物体的两个重复目标检测框，小于预设重合度阈值则认为属于两个不同物体，不需要做二次检测。
对目标检测框bbox_u和bbox_d进行IOU计算，若计算得到的重合度IOU大于预设重合度阈值，则可以认为是同一物体的两个重复目标检测框，小于预设重合度阈值则认为属于两个不同物体，不需要做二次检测。
(4)根据相邻的两个待检测子图生成二次检测子图。若目标检测框bbox_r和bbox_l的IOU大于预设重合度阈值，或者目标检测框bbox_u和bbox_d的IOU大于预设重合度阈值，则根据相邻的两个待检测子图生成二次检测子图，并对二次检测子图进行小目标检测。其中，二次检测子图可以是以相邻的两个待检测子图的联合区域中心点为中心，以目标检测网络标准输入模板图像的宽高(net_w,net_h)为界限切分得到的图像块。
在得到各待检测子图和各二次检测子图的小目标检测结果之后，将各待检测子图和各二次检测子图对应的目标检测框回归至高分辨率大尺寸图像中，并对所有回归至高分辨率大尺寸图像中的目标检测框进行NMS去重处理后，即可得到高分辨率大尺寸图像的小目标检测结果。
将一张高分辨率大尺寸图像img(img_w,img_h)切分为多个待确认子图img_c(c_w,c_h)(其中，c_w为待确认子图的图像宽，c_h为待确认子图的图像高)，所有待确认子图都以中心坐标对齐的方式填充到目标检测网络标准输入模板图像IMG(net_w,net_h)内，生成多个待检测子图。多个待检测子图可以作为一个batch进行小目标检测得到与各个待检测子图对应的目标检测框信息，即[center_x,center_y,b_w,b_h,score,class_id]，其中，score标识目标检测框的置信度，class_id表示目标检测框的类别。此时，得到的目标检测框的信息均是相对于目标检测网络标准输入模板图像IMG(net_w,net_h)的。将目标检测框的信息回归至高分辨率大尺寸图像(原图)时，只需要对中心点坐标(center_x,center_y)进行两次参考坐标变换，不需要对目标检测框信息中包括的目标检测框宽高(b_w,b_h)、置信度和类别进行处理。
具体的，将待检测子图和二次检测子图的目标检测框回归至高分辨率大尺寸图像(原图)时的步骤可以包括:
(1)将目标检测框信息的参考坐标原点由IMG(0,0)转换为IMG中心点(net_w/2,net_h)，即将目标检测框信息由[center_x,center_y,b_w,b_h,score,class_id]转换为[center_x-net_w/2,center_y-net_h/2,b_w,b_h,score,class_id]。
(2)计算待确认子图img_c(c_w,c_h)的中心点和原图像坐标原点img(0,0)的相对关系(relation_x,relation_y)。
(3)将中心对齐的目标检测框信息加上待确认子图中心点相对于原图像坐标原点的距离，即将目标检测框信息由[center_x-net_w/2,center_y-net_h/2,b_w,b_h,score,class_id]转换为[center_x-net_w/2+relation_x,center_y-net_h/2+relation
_y,b_w,b_h,score,class_id]。
(4)在高分辨率大尺寸图像(原图)尺寸上对所有回归的目标检测框进行NMS处理，避免高分辨率大尺寸图像中针对同一个物体有多个检测框。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案提出了一种针对高分辨率大尺寸图像进行自适应切分的方法，将大图切分为子图，减小目标检测网络输入图像的大小，提升了目标检测速度和精度，也减轻硬件设备压力。上述技术方案还提出了一种针对高分辨率大尺寸图像进行高效地小目标检测的方法，结合高分辨率大尺寸图像自适应切分方法和改进的网络结构，将切分得到的多个待检测子图作为一个batch进行检测，针对相邻的待检测子图中目标检测框重合度高的情况进行了二次检测，实现了快速、准确地进行小目标检测。
实施例五
图8为本发明实施例五提供的一种小目标检测装置的结构示意图，本实施例可适用于针对高分辨率大尺寸图像进行小目标检测的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在电子设备中。如图8所示，该装置包括：待检测子图确定模块510、待检测子图目标检测模块520和目标检测结果确定模块530。其中，
待检测子图确定模块510，用于获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
待检测子图目标检测模块520，用于分别对每个所述待检测子图进行小目标检测；
目标检测结果确定模块530，用于根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
本发明实施例的技术方案，在针对待检测图像进行小目标检测时，首先取得与待检测图像对应的各个待检测子图，然后分别对每个待检测子图进行小目标检测，进而可以根据各个待检测子图的目标检测结果得到待检测图像的小目标检测结果。当待检测图像为高分辨率大尺寸图像时，即可解决针对高分辨率大尺寸图像进行小目标检测的技术问题，分别针对与待检测图像对应的每个待检测子图进行小目标检测以确定待检测图像的小目标检测结果，也能够提高针对高分辨率大尺寸图像进行小目标检测时的检测精度和检测速度。
进一步的，上述装置还包括：二次检测模块，用于根据相邻的每两个待检测子图确定二次检测子图，并对所述二次检测子图进行小目标检测；
相应的，目标检测结果确定模块530，具体用于根据所述待检测子图和所述二次检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
可选的，待检测子图确定模块510，用于计算所述待检测图像与目标检测网络标准输入模板图像的尺寸比例系数；在所述尺寸比例系数满足切分条件时，对所述待检测图像进行切分，确定与所述待检测图像对应的至少两个待检测子图；在所述尺寸比例系数不满足切分条件时，对所述待检测图像进行处理，确定与所述待检测图像对应的一个待检测子图；其中，所述待检测子图的尺寸与所述目标检测网络标准输入模板图像的尺寸相同。
可选的，待检测子图确定模块510，具体用于计算所述待检测图像与目标检测网络标准输入模板图像的图像宽比例系数和图像高比例系数，并对所述图像宽比例系数和所述图像高比例系数向上取整，分别得到图像宽修正比例系数和图像高修正比例系数；将所述图像宽修正比例系数和所述图像高修正比例系数中较大的一个比例系数作为所述尺寸比例系数；如果所述尺寸比例系数大于预设比例系数阈值，则确定所述尺寸比例系数满足切分条件；如果所述尺寸比例系数小于等于所述预设比例系数阈值，则确定所述尺寸比例系数不满足切分条件。
可选的，待检测子图确定模块510，具体用于根据所述图像宽修正比例系数和所述图像高修正比例系数，确定所述待检测图像切分的图像单位尺寸，并根据所述图像单位尺寸确定所述待检测图像中的各个切分中心对齐点；以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图；将所述至少两个待确认子图分别与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的至少两个待检测子图。
可选的，待检测子图确定模块510，在以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图时，具体用于以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，分别计算每个所述待确认子图在所述待检测图像中的坐标范围；根据每个所述待确认子图在所述待检测图像中的坐标范围，对所述待检测图像进行切分，得到所述至少两个待确认子图。
可选的，待检测子图确定模块510，在对所述待检测图像进行处理，确定与所述待检测图像对应的一个待检测子图时，具体用于根据所述尺寸比例系数对所述待检测图像进行缩小处理，得到待检测缩小图像；将所述待检测缩小图像与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的一个待检测子图。
可选的，所述二次检测模块，具体用于如果相邻的两个待检测子图满足重复检测条件，则根据所述相邻的两个待检测子图确定二次检测子图。
可选的，所述二次检测模块，具体用于如果相邻的两个待检测子图中存在重合度大于预设重合度阈值的两个目标检测框，则确定所述相邻的两个待检测子图满足重复检测条件。
可选的，所述二次检测模块，具体用于在所述待检测图像中确定与所述相邻的两个待检测子图对应的目标区域图像；以所述目标区域图像的中心点为中心，按照目标检测网络标准输入模板图像的尺寸，在所述目标区域图像中切分出所述二次检测子图。
进一步的，目标检测结果确定模块530，具体用于将所述待检测子图中的目标检测框和所述二次检测子图中的目标检测框还原至所述待检测图像中；对所述待检测图像中的目标检测框进行筛选处理，得到所述待检测图像的目标检测结果。
可选的，待目标检测图像包括所述待检测子图和所述二次检测子图；
相应的，待检测子图目标检测模块520，以及所述二次检测模块在对所述待目标检测图像进行小目标检测时，具体用于调整所述待目标检测图像的图像尺寸和通道数量，得到数据重排图像；对所述数据重排图像进行特征提取，确定目标特征图；根据所述目标特征图，确定所述待目标检测图像对应的目标检测结果。
可选的，待检测子图目标检测模块520，以及所述二次检测模块在对所述数据重排图像进行特征提取，确定目标特征图时，具体用于采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；其中，不同特征提取方式的图像感受野不同；将提取到的各个特征图进行融合处理，得到与所述待目标检测图像对应的目标特征图。
上述小目标检测装置可执行本发明任意实施例所提供的小目标检测方法，具备执行的小目标检测方法相应的功能模块和有益效果。
实施例六
图9为本发明实施例六提供的一种电子设备的硬件结构示意图。如图9所示，该电子设备包括：
一个或多个处理器610，图9中以一个处理器610为例；
存储器620。
所述电子设备中的处理器610、存储器620可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器620作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例中的一种小目标检测方法对应的程序指令，包括：
获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
分别对每个所述待检测子图进行小目标检测；
根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
处理器610通过运行存储在存储器620中的软件程序指令，从而执行芯片的各种功能应用以及数据处理，即实现上述方法任意实施例中的一种小目标检测方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据芯片的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由处理器执行时用于实现一种小目标检测方法，该方法包括：
获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
分别对每个所述待检测子图进行小目标检测；
根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
可选的，该计算机可执行指令在由处理器执行时还可以用于实现本发明任意实施例所提供的一种小目标检测方法的技术方案。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得芯片执行本发明各个实施例所述的方法。
值得注意的是，上述小目标检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种小目标检测方法，其特征在于，包括：
获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
分别对每个所述待检测子图进行小目标检测；
根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据相邻的每两个待检测子图确定二次检测子图，并对所述二次检测子图进行小目标检测；
其中，所述根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果，包括：
根据所述待检测子图和所述二次检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
3.根据权利要求1所述的方法，其特征在于，确定与所述待检测图像对应的至少一个待检测子图，包括：
计算所述待检测图像与目标检测网络标准输入模板图像的尺寸比例系数；
在所述尺寸比例系数满足切分条件时，对所述待检测图像进行切分，确定与所述待检测图像对应的至少两个待检测子图；
在所述尺寸比例系数不满足切分条件时，对所述待检测图像进行处理，确定与所述待检测图像对应的一个待检测子图；
其中，所述待检测子图的尺寸与所述目标检测网络标准输入模板图像的尺寸相同。
4.根据权利要求3所述的方法，其特征在于，计算所述待检测图像与目标检测网络标准输入模板图像的尺寸比例系数，包括：
计算所述待检测图像与目标检测网络标准输入模板图像的图像宽比例系数和图像高比例系数，并对所述图像宽比例系数和所述图像高比例系数向上取整，分别得到图像宽修正比例系数和图像高修正比例系数；
将所述图像宽修正比例系数和所述图像高修正比例系数中较大的一个比例系数作为所述尺寸比例系数；
所述尺寸比例系数满足切分条件，包括：
如果所述尺寸比例系数大于预设比例系数阈值，则确定所述尺寸比例系数满足切分条件；
所述尺寸比例系数不满足切分条件，包括：
如果所述尺寸比例系数小于等于所述预设比例系数阈值，则确定所述尺寸比例系数不满足切分条件。
5.根据权利要求4所述的方法，其特征在于，对所述待检测图像进行切分，确定与所述待检测图像对应的至少两个待检测子图，包括：
根据所述图像宽修正比例系数和所述图像高修正比例系数，确定所述待检测图像切分的图像单位尺寸，并根据所述图像单位尺寸确定所述待检测图像中的各个切分中心对齐点；
以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图；
将所述至少两个待确认子图分别与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的至少两个待检测子图。
6.根据权利要求5所述的方法，其特征在于，以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图，包括：
以每个所述切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，分别计算每个所述待确认子图在所述待检测图像中的坐标范围；
根据每个所述待确认子图在所述待检测图像中的坐标范围，对所述待检测图像进行切分，得到所述至少两个待确认子图。
7.根据权利要求4所述的方法，其特征在于，对所述待检测图像进行处理，确定与所述待检测图像对应的一个待检测子图，包括：
根据所述尺寸比例系数对所述待检测图像进行缩小处理，得到待检测缩小图像；
将所述待检测缩小图像与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的一个待检测子图。
8.根据权利要求2所述的方法，其特征在于，根据相邻的每两个待检测子图确定二次检测子图，包括：
如果相邻的两个待检测子图满足重复检测条件，则根据所述相邻的两个待检测子图确定二次检测子图。
9.根据权利要求8所述的方法，其特征在于，相邻的两个待检测子图满足重复检测条件，包括：
如果相邻的两个待检测子图中存在重合度大于预设重合度阈值的两个目标检测框，则确定所述相邻的两个待检测子图满足重复检测条件。
10.根据权利要求8所述的方法，其特征在于，根据所述相邻的两个待检测子图确定二次检测子图，包括：
在所述待检测图像中确定与所述相邻的两个待检测子图对应的目标区域图像；
以所述目标区域图像的中心点为中心，按照目标检测网络标准输入模板图像的尺寸，在所述目标区域图像中切分出所述二次检测子图。
11.根据权利要求2所述的方法，其特征在于，根据所述待检测子图和所述二次检测子图的目标检测结果，确定所述待检测图像的目标检测结果，包括：
将所述待检测子图中的目标检测框和所述二次检测子图中的目标检测框还原至所述待检测图像中；
对所述待检测图像中的目标检测框进行筛选处理，得到所述待检测图像的目标检测结果。
12.根据权利要求2-11任一项所述的方法，其特征在于，待目标检测图像包括所述待检测子图和所述二次检测子图；
对所述待目标检测图像进行小目标检测，包括：
调整所述待目标检测图像的图像尺寸和通道数量，得到数据重排图像；
对所述数据重排图像进行特征提取，确定目标特征图；
根据所述目标特征图，确定所述待目标检测图像对应的目标检测结果。
13.根据权利要求12所述的方法，其特征在于，对所述数据重排图像进行特征提取，确定目标特征图，包括：
采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；其中，不同特征提取方式的图像感受野不同；
将提取到的各个特征图进行融合处理，得到与所述待目标检测图像对应的目标特征图。
14.一种小目标检测装置，其特征在于，包括：
待检测子图确定模块，用于获取待检测图像，并确定与所述待检测图像对应的至少一个待检测子图；
待检测子图目标检测模块，用于分别对每个所述待检测子图进行小目标检测；
目标检测结果确定模块，用于根据所述待检测子图的目标检测结果，确定所述待检测图像的目标检测结果。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-13中任一所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605010.8A CN113221895B (zh) | 2021-05-31 | 2021-05-31 | 小目标检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605010.8A CN113221895B (zh) | 2021-05-31 | 2021-05-31 | 小目标检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221895A true CN113221895A (zh) | 2021-08-06 |
| CN113221895B CN113221895B (zh) | 2024-10-15 |
Family
ID=77081906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605010.8A Active CN113221895B (zh) | 2021-05-31 | 2021-05-31 | 小目标检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221895B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657234A (zh) * | 2021-08-10 | 2021-11-16 | 小叶子（北京）科技有限公司 | 图像识别方法、装置、存储介质及电子设备 |
| CN113705565A (zh) * | 2021-08-10 | 2021-11-26 | 北京中星天视科技有限公司 | 舰船检测方法、装置、电子设备和计算机可读介质 |
| CN114359926A (zh) * | 2021-12-31 | 2022-04-15 | 科大讯飞股份有限公司 | 教师批改标记的检测方法、电子设备以及存储介质 |
| WO2023207073A1 (zh) * | 2022-04-29 | 2023-11-02 | 浪潮电子信息产业股份有限公司 | 一种目标检测方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872477A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 检测图像中的对象的方法、装置，及包括该装置的系统 |
| CN111553339A (zh) * | 2019-02-11 | 2020-08-18 | 北京京东尚科信息技术有限公司 | 图像单元确定方法、小目标检测方法及计算机设备 |
| CN111783878A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 目标检测方法、装置、电子设备以及可读存储介质 |
| CN112215171A (zh) * | 2020-10-15 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN112308856A (zh) * | 2020-11-30 | 2021-02-02 | 深圳云天励飞技术股份有限公司 | 遥感图像的目标检测方法、装置、电子设备及介质 |
| CN112668577A (zh) * | 2020-12-30 | 2021-04-16 | 云南联合视觉科技有限公司 | 大尺度图像中目标物体的检测方法、终端及装置 |
-
2021
- 2021-05-31 CN CN202110605010.8A patent/CN113221895B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872477A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 检测图像中的对象的方法、装置，及包括该装置的系统 |
| CN111553339A (zh) * | 2019-02-11 | 2020-08-18 | 北京京东尚科信息技术有限公司 | 图像单元确定方法、小目标检测方法及计算机设备 |
| CN111783878A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 目标检测方法、装置、电子设备以及可读存储介质 |
| CN112215171A (zh) * | 2020-10-15 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN112308856A (zh) * | 2020-11-30 | 2021-02-02 | 深圳云天励飞技术股份有限公司 | 遥感图像的目标检测方法、装置、电子设备及介质 |
| CN112668577A (zh) * | 2020-12-30 | 2021-04-16 | 云南联合视觉科技有限公司 | 大尺度图像中目标物体的检测方法、终端及装置 |
Non-Patent Citations (3)
| Title |
|---|
| CRISTIANO PREMEBIDA ET AL.: "A Lidar and Vision-based Approach for Pedestrian and Vehicle Detection and Tracking", 《INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE》, 13 October 2007 (2007-10-13), pages 1044 - 1049 * |
| 天津滨海迅腾科技集团有限公司: "《TensorFlow项目式案例实战》", 31 January 2020, 天津大学出版社, pages: 107 - 108 * |
| 赵爽 等: "基于深度学习的无人机航拍车辆检测", 《计算机应用》, vol. 39, no. 2, 30 December 2019 (2019-12-30), pages 91 - 96 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657234A (zh) * | 2021-08-10 | 2021-11-16 | 小叶子（北京）科技有限公司 | 图像识别方法、装置、存储介质及电子设备 |
| CN113705565A (zh) * | 2021-08-10 | 2021-11-26 | 北京中星天视科技有限公司 | 舰船检测方法、装置、电子设备和计算机可读介质 |
| CN113657234B (zh) * | 2021-08-10 | 2024-04-26 | 小叶子（北京）科技有限公司 | 图像识别方法、装置、存储介质及电子设备 |
| CN114359926A (zh) * | 2021-12-31 | 2022-04-15 | 科大讯飞股份有限公司 | 教师批改标记的检测方法、电子设备以及存储介质 |
| WO2023207073A1 (zh) * | 2022-04-29 | 2023-11-02 | 浪潮电子信息产业股份有限公司 | 一种目标检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221895B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113221895B (zh) | 小目标检测方法、装置、设备及介质 | |
| CN111524150B (zh) | 图像处理的方法及装置 | |
| EP3889833A1 (en) | Method and apparatus for extracting a satellite image-based building footprint | |
| CN111582021A (zh) | 场景图像中的文本检测方法、装置及计算机设备 | |
| CN108197567B (zh) | 用于图像处理的方法、装置和计算机可读介质 | |
| CN110570434A (zh) | 一种图像分割标注方法和装置 | |
| CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统 | |
| CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
| CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CA3135111A1 (en) | Character positioning method and system for certificate document | |
| US9514526B2 (en) | Device and method for detecting angle of rotation from normal position of image | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 | |
| CN113221896B (zh) | 目标检测方法、装置、神经形态器件及介质 | |
| CN114511862B (zh) | 表格识别方法、装置及电子设备 | |
| CN115115535A (zh) | 深度图的去噪方法、装置、介质及设备 | |
| CN114708230A (zh) | 基于图像分析的车架质量检测方法、装置、设备及介质 | |
| CN113012132A (zh) | 一种图像相似度确定方法、装置及计算设备、存储介质 | |
| JP7107544B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN112926588B (zh) | 一种基于卷积网络的大角度车牌检测方法 | |
| CN111814788B (zh) | 车牌定位方法及其相关装置 | |
| CN116152382B (zh) | 结构平面布置图的数字化表征转化方法及装置、电子设备 | |
| CN112652059B (zh) | 基于Mesh R-CNN模型改进的目标检测与三维重构方法 | |
| CN116664597A (zh) | 图像实例分割结果优化方法、终端设备及存储介质 | |
| CN117975192A (zh) | 一种数据增强方法、装置及电子设备、存储介质 | |
| CN118314595A (zh) | 版式文档中公式的识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |