CN113221896A - 目标检测方法、装置、神经形态器件及介质 - Google Patents
目标检测方法、装置、神经形态器件及介质 Download PDFInfo
- Publication number
- CN113221896A CN113221896A CN202110605019.9A CN202110605019A CN113221896A CN 113221896 A CN113221896 A CN 113221896A CN 202110605019 A CN202110605019 A CN 202110605019A CN 113221896 A CN113221896 A CN 113221896A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- detected
- target detection
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 359
- 230000008707 rearrangement Effects 0.000 claims abstract description 103
- 238000000605 extraction Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 25
- 238000012937 correction Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种目标检测方法、装置、神经形态器件及介质。该方法包括：获取目标图像；调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。上述技术方案能够增加目标检测时的网络特征提取能力以及空间定位能力，进而提升了目标检测的速度和精度。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种目标检测方法、装置、神经形态器件设备及介质。
背景技术
随着科技的不断发展，人们对图像处理的需求量不断加大，应用的方面也更加广泛。其中，目标检测是图像处理的重要组成部分。如何提高目标检测的精度成为亟待解决的问题。
发明内容
本发明实施例提供一种目标检测方法、装置、神经形态器件设备及介质，能够提高目标检测的精度。
第一方面，本发明实施例提供了一种目标检测方法，包括：
获取目标图像；
调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
第二方面，本发明实施例还提供了一种目标检测装置，包括：
图像获取模块，用于获取目标图像；
图像重排模块，用于调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
目标检测模块，用于对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
第三方面，本发明实施例还提供了一种神经形态器件，包括众核系统，所述众核系统中包括图像重排核心、特征提取核心和目标检测输出核心；其中，
所述图像重排核心，用于调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
所述特征提取核心，用于对所述数据重排图像进行特征图提取；
所述目标检测输出核心，用于根据所述特征图进行目标检测。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的目标检测方法。
本发明实施例的技术方案，在针对目标图像进行目标检测时，对其图像尺寸和通道数量进行调整，得到对应的数据重排图像，进而对该数据重排图像进行特征图提取，以根据提取到的特征图进行目标检测，以此增加目标检测时的网络特征提取能力以及空间定位能力，进而提升了目标检测的精度。
附图说明
图1是本发明实施例一中的一种目标检测方法的流程图；
图2是本发明实施例一中的对目标图像进行数据重排的示例图；
图3是本发明实施例一中采用不同的特征提取方式分别对数据重排图像进行特征图提取的示例图；
图4是本发明实施例一中目标检测网络的整体网络结构示例图；
图5是本发明实施例二中的一种神经形态器件的结构示意图；
图6是本发明实施例三中的一种目标检测方法的流程图；
图7是本发明实施例三中的针对高分辨率大尺寸图像进行目标检测的流程示例图；
图8是本发明实施例三中的一种目标检测方法的流程示例图；
图9是本发明实施例四中的一种目标检测装置的结构示意图；
图10是本发明实施例五中的一种电子设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
相关技术中，目标检测算法通常分为两阶段算法和单阶段算法，两阶段算法检测精度更高但实时性较差，单阶段算法检测精度略有不足但实时性更好，然而，两类目标检测算法的网络特征提取能力以及空间定位能力均有待加强。
本公开实施例提供的目标检测方法，能够保证网络特征提取能力以及空间定位能力，提高目标检测的精度。
实施例一
图1为本发明实施例一提供的一种目标检测方法的流程图，本实施例可适用于提升目标检测算法的网络特征提取能力以及空间定位的情况，该方法可以由本发明实施例提供的目标检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在电子设备中；该方法也可以由包括众核系统的神经形态器件来执行。
如图1所示，本实施例提供的目标检测方法，具体包括：
S110、获取目标图像。
目标图像，指的是需要进行目标检测的图像，可以是原始图像，也可以是由原始图像切分得到的任意一个子图像，例如可以是由高分辨率大尺寸图像切分得到的任意一个子图像。
S120、调整所述目标图像的图像尺寸和通道数量，得到数据重排图像。
图像尺寸，指的是图像宽高方向的尺寸，例如，可以包括宽度信息以及高度信息，其中，图像尺寸可以通过像素来表示。通道数量，指的是图像深度方向的尺寸。以目标图像为512*512(像素)的三通道图像(如BGR三通道图像)为例，则目标图像的图像尺寸为512*512(像素)，目标图像的通道数量为3。
对目标图像的图像尺寸和通道数量进行调整，可以使得目标图像包括的像素数据在宽高方向以及深度方向(通道方向)上进行重排列，得到数据重排图像。其中，像素数据可以包括通道信息，例如，可以为1*1*3的数据块。
可选的，在对所述目标图像的图像尺寸和通道数量进行调整时，可以根据图像像素的重排需求对所述目标图像的图像尺寸和通道数量进行调整，以改变目标图像的图像像素的空间分布情况。
其中，在目标图像的像素数据重排列前后，目标图像的图像尺寸与通道数量的乘积是相等的。例如，以目标图像为512*512(像素)的3通道图像为例，可以将目标图像的图像尺寸由512*512缩小到256*256，将目标图像的通道数量由3通道扩展到12通道。
作为一种可选的实施方式，调整所述目标图像的图像尺寸和通道数量，得到数据重排图像，可以理解为：减小所述目标图像的图像尺寸，增加所述目标图像的通道数量，得到数据重排图像。
通过减小目标图像的图像尺寸、增加目标图像的通道数量的方式实现对目标图像的像素数据重排列，既能保留原图空间结构信息又提升细粒度特征表示能力，以此加强了图像的特征提取能力以及空间定位能力。
可选的，通过一种将目标图像的宽高信息转换为深度信息的DFR(Depth FeatureRearrangement Module，深度特征重组模块)模块来实现对目标图像的数据重排操作，减小目标图像的图像尺寸，增加目标图像的通道数量，以加强特征提取能力和空间定位能力。
例如，针对目标图像任意一个通道上的像素信息，可以将该通道上的像素信息划分至多个通道上，以生成与该通道对应的多个重组通道，达到减小目标图像的图像尺寸，增加目标图像的通道数量的效果。其中，像素信息可以理解为像素点，例如，1*1的像素点。
其中，目标图像的图像尺寸减小的比例或者目标图像的通道数量增加的比例，可以根据实际需求具体确定，本实施例对此不作具体限定。
进一步的，作为一种可选的实施方式，调整所述目标图像的图像尺寸和通道数量，得到数据重排图像，可以包括：
对所述目标图像的像素数据进行划分，确定Z个目标子图像，其中，所述目标子图像与所述目标图像的通道数量相同，所述目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为Z，Z为大于1的整数；
将所述Z个目标子图像在通道方向上进行组合，得到数据重排图像。
其中，对所述目标图像的像素数据进行划分，可以是将目标图像进行按区域切分，将每个区域的像素数据确定为一个目标子图像，还可以是将符合预设数据筛选方式的多个像素数据，确定为一个目标子图像的像素数据，分别确定Z个目标子图像。其中，不同目标子图像的像素数据不同。本公开对像素数据进行划分的方式不作限制。
其中，预设数据筛选方式，可以指的是保持目标图像的通道数量不变的情况下，在目标图像中按照预设的规则筛选像素数据的方式。例如，预设数据筛选方式可以是按照等间隔尺寸提取像素数据，或者按照不等间隔尺寸提取像素数据。其中，在包括多个提取方向时(例如，宽度信息方向以及高度信息方向)，不同提取方向上的等间隔尺寸可以不同，例如，沿宽度信息方向(行方向)按照间隔1个像素提取像素数据，沿高度信息方向(列方向)按照间隔0个像素提取像素数据。不同提取方向上的等间隔尺寸也可以相同。例如，均是按照间隔1个像素提取像素数据，以生成目标子图像，本公开对数据筛选方式不做限制。
按照预设数据筛选方式，将目标图像进行切割，得到多个目标子图像。目标子图像中的像素数据是保持原有空间位置特性进行组合的。其中，目标子图像的通道数与目标图像的通道数是相等的，目标子图像的图像尺寸小于目标图像的图像尺寸，例如，所述目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为Z。
其中，按照预设数据筛选方式生成的目标子图像中，相邻两个像素数据在目标图像中可以不相邻，举例来说，数据筛选方式可以包括按照预设间隔尺寸提取目标图像的像素数据，目标子图像中相邻两个像素数据在所述目标图像中为具有所述预设间隔尺寸的两个像素数据。
其中，在确定目标子图像时，提取的第一像素数据为已确定的目标子图像不包括的像素数据，可以使得不同目标子图像的像素数据不同。按照预设间隔尺寸提取像素数据可以为分别沿宽度信息方向以及沿长度信息方向按照预设间隔尺寸提取像素数据。
举例来说，目标图像的图像尺寸为4*4，通道数量为3，预设间隔尺寸为同行间隔1个像素、同列间隔1个像素时，目标图像第一行的第1、3个像素数据以及第三行的1、3个像素数据为生成第一个目标子图像的多个像素数据。目标图像第一行的第2、4个像素数据以及第三行的2、4个像素数据为生成第二个目标子图像的多个像素数据。目标图像第二行的第1、3个像素数据以及第四行的1、3个像素数据为生成第三个目标子图像的多个像素数据。目标图像第二行的第2、4个像素数据以及第四行的2、4个像素数据为生成第使四个目标子图像的多个像素数据。
其中，每个目标子图像中相邻两个像素数据，在目标图像中为具有预设间隔尺寸的两个像素数据。不同目标子图像的像素数据不同，目标子图像的数量可以是根据预设间隔尺寸确定的。本公开对对所述目标图像的像素数据进行划分的方式不作限制。
如前所述，像素数据包括通道信息，划分得到的目标子图像与所述目标图像的通道数量相同。对目标图像的像素数据进行划分，生成的目标子图像的图像尺寸小于目标图像的图像尺寸，目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为Z，Z为大于1的整数，例如，将目标图像划分为4个目标子图像，则目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为4。
其中，将所述Z个目标子图像在通道方向上进行组合，得到数据重排图像可以理解为：在通道方向上，依次叠加各目标子图像。其中，可以根据目标子图像中第一个像素数据在目标图像中的顺序，确定Z个目标子图像在通道方向上的叠加顺序。
将得到的多个目标子图像按照通道组合的方式进行叠加，得到数据重排图像，其中，数据重排图像的图像尺寸与目标子图像的图像尺寸是相等的，数据重排图像的通道数是多个目标子图像的通道数之和。其中，多个目标子图像按照通道组合的方式进行叠加时，每个目标子图的通道排列是与目标图像保持一致的。
其中，数据重排图像的图像尺寸与目标子图像的图像尺寸相同，数据重排图像的通道数量与目标图像通道数量的比值为Z。
举例来说，数据重排图像第一行第一个像素数据是根据第一个目标子图像第一行第一个像素数据、第二个目标子图像第一行第一个像素数据、第三个目标子图像第一行第一个像素数据以及第四个目标子图像第一行第一个像素数据组合确定的。
参照图2所示的示例，在针对4*4(像素)3通道的目标图像进行数据重排时，可以按照每间隔一个像素提取一个像素数据的方式生成目标子图像，得到多个目标子图像，并按照通道组合的方式进行叠加，得到2*2(像素)12通道的数据重排图像。
这样，在目标图像中筛选像素数据生成目标子图像时，可以按照预设间隔尺寸(如一个或多个像素)在目标图像中提取像素数据，以生成目标子图像。其中，按照预设数据筛选方式在目标图像中筛选出的像素数据顺序组合，可以得到对应的一个目标子图像。
在一些可选的实施例中，可以通过DFR模块实现对待目标检测图像的数据重排，整体上是先进行图像数据宽高方向的筛选再进行深度方向上的叠加，实现对多通道图像的像素深度重排列。参照图2所示的示例，目标图像的图像宽高方向数据减少一半，深度方向数据增加四倍，既保留了原图空间结构信息又提升了细粒度特征表示。
S130、对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
在得到数据重排图像之后，对所述数据重排图像进行特征图提取，进而可以根据提取到的特征图进行目标检测。
作为一种可选的实施方式，对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测，可以为：
并行地采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；将提取到的各个特征图进行融合处理，得到与所述目标图像对应的目标特征图，并根据所述目标特征图进行目标检测。
可选的，不同特征提取方式的图像感受野不同。
并行地采用不同的特征提取方式分别对目标图像进行特征图提取，得到多个特征图。由于不同特征提取方式的图像感受野是不同的，所以得到的多个特征图是不同尺寸的。将各个不同尺寸的特征图进行融合处理，即可得到与目标图像对应的目标特征图。
可选的，特征提取方式可以只包括卷积特征提取方式，可以只包括池化特征提取方式，也可以既包括卷积特征提取方式又包括池化特征提取方式。
当卷积特征提取方式的卷积核大小不同(如分别为3*3、5*5、7*7、9*9)时，其图像感受野就不同；当池化特征提取方式的池化核的大小不同(如分别为3*3、5*5、7*7、9*9时，其图像感受野就不同。当既采用卷积特征提取方式又采用池化特征提取方式时，不同特征提取方式采用不同的核大小即可。
如图3所示，以输入为512*512*3(表示图像尺寸为512*512，通道数量为3)的目标图像为例，经过DFR模块(网络层)的数据重排处理后，得到256*256*12的数据重排图像，然后采用不同的特征提取方式分别对所述数据重排图像进行特征图提取。以并行地采用不同的卷积特征提取方式对所述数据重排图像进行特征图提取为例，如经过四种不同卷积核3*3、5*5、7*7、9*9的分组卷积，扩大感受野，提取不同尺度的特征信息。然后经过路由(route)层在深度方向拼接得到48通道的特征图，实现多尺度特征信息的融合。其中，不同尺度卷积核的分组卷积既减少了运算量又能融合不同尺度特征信息，增强了网络的空间特征提取能力。
示例性的，以目标检测算法为单阶段算法为例，在针对目标图像进行目标检测时，目标检测网络的整体网络结构可以如图4所示(图中向下箭头表示上采样，向上箭头表示下采样)，输入的目标图像经过数据重排、特征图提取以及特征图融合的处理，实现下采样的同时提取更多的邻近区域不同通道之间特征信息，然后经过多级下采样、上采样进行多尺度特征融合以实现目标检测。
本发明实施例的技术方案，在针对目标图像进行目标检测时，首先对其图像尺寸和通道数量进行调整，得到对应的数据重排图像，进而对该数据重排图像进行特征图提取，以根据提取到的特征图进行目标检测，以此增加目标检测时的网络特征提取能力以及空间定位能力，进而提升了目标检测的速度和精度。
在上述技术方案中，针对目标图像进行数据重排的操作可以作为网络层的操作出现(也即可以通过众核系统中的核心来处理)的，也可以作为网络层之前的预处理操作(也即可以通过CPU(Central Processing Unit，中央处理器)来处理)。当作为网络层的操作出现时后续要加特征融合层进行融合并通过GPU进行并行运算，也即通过众核系统中的核心对目标图像进行像素数据重排列并进行特征图提取，处理速度更快。而作为网络层之前的预处理操作时，通过CPU进行像素数据重排列后再发送给核心进行特征提取，处理速度会相对慢一些，但也能增强图像的表达能力。
实施例二
图5为本发明实施例二提供的一种神经形态器件的结构示意图。本实施例提供的神经形态器件适用于处理目标检测。如图5所示，本发明实施例提供的神经形态器件2，包括：众核系统20，众核系统20中包括图像重排核心21、特征提取核心22和目标检测输出核心23。其中，
图像重排核心21，用于调整目标图像的图像尺寸和通道数量，得到数据重排图像；
特征提取核心22，用于对数据重排图像进行特征图提取；
目标检测输出核心23，用于根据特征图进行目标检测。
众核芯片中具有较多计算单元，可独立调度拥有完整计算能力的最小单元称为核心，核心具有自己的存储计算资源。单芯片可以有多个核心，多芯片联合工作可以看作是拥有更多的核心。其中，众核系统的核心可以分别独立运行程序指令，利用并行计算的能力，可以加快程序的运行速度，并可以提供多任务能力。需要指出的是，图5中神经形态器件2除众核系统20之外的器件未示出，众核系统20包括的其他核心独立运行程序指令所实现的功能本实施例也不作具体限定。
在本实施例中，在众核系统20包括的核心中选取多个核心分别独立运行程序指令，以实现运行程序相应的功能，具体包括用于执行图像重排操作的图像重排核心21，用于执行特征图提取的特征提取核心22，以及用于进行目标检测的目标检测输出核心23。
其中，图像重排核心21用于调整目标图像的图像尺寸和通道数量，得到数据重排图像。对目标图像的图像尺寸和通道数量进行调整，以使目标图像包括的像素数据在宽高方向以及深度方向上进行重排列，得到数据重排图像。在目标图像的像素数据重排列前后，目标图像的图像尺寸与通道数量的乘积是相等的。
可选的，图像重排核心21，用于对所述目标图像的像素数据进行划分，确定Z个目标子图像，其中，所述目标子图像与所述目标图像的通道数量相同，所述目标图像的图像尺寸与目标子图像的图像尺寸的比值为Z，Z为大于1的整数；
将所述Z个目标子图像在通道方向上进行组合，得到数据重排图像，
特征提取核心22，用于对数据重排图像进行特征图提取。目标检测输出核心23，用于根据特征图进行目标检测，确定目标检测框。
其中，图像重排核心21通过减小目标图像的图像尺寸、增加目标图像的通道数量的方式实现对目标图像的像素数据重排列，既能保留原图空间结构信息又提升细粒度特征表示能力，以此加强了图像的特征提取能力以及空间定位能力。
进一步的，图像重排核心21，用于将目标图像中符合数据筛选方式的多个像素数据，确定为一个目标子图像的像素数据，分别生成所述Z个目标子图像，
其中，不同目标子图像的像素数据不同。
按照预设数据筛选方式，将目标图像进行切割，得到多个目标子图像。目标子图像中的像素数据是保持原有空间位置特性进行组合的。其中，目标子图像的通道数与目标图像的通道数是相等的，目标子图像的图像尺寸小于目标图像的图像尺寸。将得到的多个目标子图像按照通道组合的方式进行叠加，得到数据重排图像，其中，数据重排图像的图像尺寸与目标子图像的图像尺寸是相等的，数据重排图像的通道数是多个目标子图像的通道数之和。
进一步的，所述数据筛选方式包括按照预设间隔尺寸提取目标图像的像素数据，目标子图像中相邻两个像素数据在所述目标图像中为具有所述预设间隔尺寸的两个像素数据。
在目标图像中筛选像素数据生成目标子图像时，可以按照预设间隔尺寸(如一个或多个像素)在目标图像中提取像素数据，以生成目标子图像。其中，按照预设数据筛选方式在目标图像中筛选出的像素数据顺序组合，即可得到对应的一个目标子图像。
作为一种可选的实施方式，众核系统20中特征提取核心22的数量为多个；其中，多个特征提取核心22，用于并行地采用不同的特征提取方式分别对数据重排图像进行特征图提取。相应的，众核系统20中还包括：特征融合核心24；特征融合核心24，用于将提取到的各个特征图进行融合处理，得到与目标图像对应的目标特征图；目标检测输出核心23，具体用于根据目标特征图进行目标检测。
其中，不同特征提取方式的图像感受野不同；
多个特征提取核心22，并行地采用不同的特征提取方式分别对目标图像进行特征图提取，得到多个特征图。由于不同特征提取方式的图像感受野是不同的，所以得到的多个特征图是不同尺寸的。特征融合核心24将各个不同尺寸的特征图进行融合处理，即可得到与目标图像对应的目标特征图。进而，目标检测输出核心23根据目标特征图进行目标检测，确定目标图像中的目标检测框。
可选的，特征提取方式可以只包括卷积特征提取方式，可以只包括池化特征提取方式，也可以既包括卷积特征提取方式又包括池化特征提取方式。
当卷积特征提取方式的卷积核大小不同(如分别为3*3、5*5、7*7、9*9)时，其图像感受野就不同；当池化特征提取方式的池化核的大小不同(如分别为3*3、5*5、7*7、9*9时，其图像感受野就不同。当既采用卷积特征提取方式又采用池化特征提取方式时，不同特征提取方式采用不同的核大小即可。
作为一种可选的实施方式，众核系统20中包括多个核心组，每个核心组中包括：图像重排核心、特征提取核心和目标检测输出核心；多个核心组，用于并行地对多个不同的目标图像进行目标检测。
在针对多个目标图像进行目标检测时，可以使用众核系统20中多个核心组并行地对这多个目标图像进行目标检测，每个核心组执行对一个目标图像的目标检测操作。
进一步的，每个核心组中包括：图像重排核心、目标检测输出核心、特征融合核心和多个特征提取核心。其中，在每个核心组针对一个目标图像进行目标检测时，图像重排核心调整目标图像的图像尺寸和通道数量，得到数据重排图像；多个特征提取核心并行地采用不同的特征提取方式分别对数据重排图像进行特征图提取；特征融合核心将提取到的各个特征图进行融合处理，得到与目标图像对应的目标特征图；目标检测输出核心根据目标特征图进行目标检测，确定目标图像的目标检测框。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
在上述技术方案中，通过众核系统中的核心对目标图像进行像素数据重排列并进行特征图提取，处理速度更快。通过多个特征提取核心并行地采用不同的特征提取方式分别对数据重排图像进行特征图提取，既可以充分提取多通道之间的空间特征信息，又可以扩大感受野加强多尺度特征融合，进一步加强网络特征提取能力和空间定位能力，提升目标检测的速度和精度。
实施例三
图6为本发明实施例三提供的一种目标检测方法的流程图，本实施例在前述实施例的基础上提供了一种具体的实施方式，适用于针对高分辨率大尺寸图像进行小目标检测的情况。在本实施方式中，目标图像可以具体为对待检测图像进行切分得到的子图像。
如图6所示，本实施例提供的目标检测方法，包括：
S310、获取待检测图像，并确定与待检测图像对应的至少一个待检测子图，将所述至少一个待检测子图分别作为目标图像。
本实施例对待检测图像的图像尺寸以及分辨率不作具体限定。可选的，待检测图像为需要进行小目标检测的高分辨率大尺寸图像，其图像尺寸大于4460×9561像素，或者大于16000×16000像素等。
待检测子图，指的是对待检测图像进行自适应切分后得到的需要进行小目标检测的图像。与待检测图像对应的待检测子图的数量可以是一个，也可以是多个。与待检测图像对应的至少一个待检测子图所包括的图像内容与所述待检测图像所包括的图像内容是一致的。与待检测图像对应的待检测子图的数量可以根据与待检测图像的尺寸以及目标检测网络标准输入模板图像的尺寸确定。其中，目标检测网络标准输入模板图像指的是符合目标检测网络的网络输入尺寸的模板图像，目标检测网络可以是任意一种用于进行小目标检测的检测网络。
作为一种可选的实施方式，确定与待检测图像对应的至少一个待检测子图，可以为：
计算待检测图像与目标检测网络标准输入模板图像的尺寸比例系数；在尺寸比例系数满足切分条件时，对待检测图像进行切分，确定与待检测图像对应的至少两个待检测子图；在尺寸比例系数不满足切分条件时，对待检测图像进行处理，确定与待检测图像对应的一个待检测子图；其中，待检测子图的尺寸与目标检测网络标准输入模板图像的尺寸相同。
根据待检测图像的尺寸和目标检测网络标准输入模板图像的尺寸，计算尺寸比例系数。例如，待检测图像的尺寸为A1×A2(像素)，目标检测网络标准输入模板图像的尺寸为B1×B2(像素)，可以将A1×A2(像素)与B1×B2(像素)的比值作为所述尺寸比例系数。对得到的所述尺寸比例系数进行分析，判断所述尺寸比例系数是否满足切分条件，并根据判断结果对待检测图像进行自适应切分，以得到与待检测图像对应的至少一个待检测子图。
例如，切分条件可以是尺寸比例系数不小于或者是大于预设比例系数阈值。以切分条件为尺寸比例系数不小于2为例，当所述尺寸比例系数满足切分条件时，也即得到的所述尺寸比例系数大于等于2时，按照目标检测网络标准输入模板图像的尺寸对待检测图像进行切分，得到多个与目标检测网络标准输入模板图像的尺寸相同的待检测子图；当得到当所述尺寸比例系数不满足切分条件时，也即得到的所述尺寸比例系数小于2时，按照目标检测网络标准输入模板图像的尺寸对待检测图像进行缩小处理，得到一个与目标检测网络标准输入模板图像的尺寸相同的待检测子图。
进一步的，作为一种可选的实施方式，计算所述待检测图像与目标检测网络标准输入模板图像的尺寸比例系数，可以为：
计算待检测图像与目标检测网络标准输入模板图像的图像宽比例系数和图像高比例系数，并对图像宽比例系数和图像高比例系数向上取整，分别得到图像宽修正比例系数和图像高修正比例系数；将图像宽修正比例系数和图像高修正比例系数中较大的一个比例系数作为所述尺寸比例系数；相应的，所述尺寸比例系数满足切分条件，可以具体为：如果所述尺寸比例系数大于预设比例系数阈值，则确定所述尺寸比例系数满足切分条件；所述尺寸比例系数不满足切分条件，可以具体为：如果所述尺寸比例系数小于等于所述预设比例系数阈值，则确定所述尺寸比例系数不满足切分条件。
假设，待检测图像的图像尺寸为img_w×img_h(像素)，目标检测网络标准输入模板图像的图像尺寸为net_w×net_h(像素)，其中，img_w为待检测图像的图像宽，img_h为待检测图像的图像高，net_w为目标检测网络标准输入模板图像的图像宽，net_h为目标检测网络标准输入模板图像的图像高。
图像宽比例系数，指的是待检测图像的图像宽与目标检测网络标准输入模板图像的图像宽的比值，也即图像宽比例系数w＝img_w/net_w；图像高比例系数，指的是待检测图像的图像高与目标检测网络标准输入模板图像的图像高的比值，也即图像高比例系数h＝img_h/net_h。
对图像宽比例系数w和图像高比例系数h向上取整，分别得到图像宽修正比例系数w'和图像高修正比例系数h'，并将图像宽修正比例系数w'和图像高修正比例系数h'中较大的一个比例系数a'(w'或h')作为所述尺寸比例系数。进而，可以将所述尺寸比例系数a'作为是否需要进行后续图像切分的判断条件。
根据尺寸比例系数a'判断是否需要对待检测图像进行图像切分，以预设比例系数阈值为2为例，当尺寸比例系数a'大于2时，需要对待检测图像进行图像切分，也即当待检测图像与目标检测网络标准输入模板图像一个对应边的比值大于2时，需要对待检测图像进行切分，确定与待检测图像对应的多个待检测子图；当尺寸比例系数a'小于等于2时，不需要对待检测图像进行切分，对待检测图像进行处理后确定与待检测图像对应的一个待检测子图。
进一步的，作为一种可选的实施方式，在尺寸比例系数满足切分条件时，对待检测图像进行切分，确定与待检测图像对应的至少两个待检测子图，可以为：
根据图像宽修正比例系数和图像高修正比例系数，确定待检测图像切分的图像单位尺寸，并根据图像单位尺寸确定所述待检测图像中的各个切分中心对齐点；以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，在待检测图像中进行切分，得到至少两个待确认子图；将所述至少两个待确认子图分别与所述目标检测网络标准输入模板图像居中对齐，生成与所述待检测图像对应的至少两个待检测子图。
其中，图像单位尺寸的宽指的是待检测图像的图像宽与图像宽修正比例系数的商值，图像单位尺寸的高指的是待检测图像的图像高与图像高修正比例系数的商值。切分中心对齐点，指的是按照图像单位尺寸对待检测图像进行切分时得到的各个切分图像区域的中心点。
以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，在待检测图像中进行切分，得到多个待确认子图。其中，上下相邻或左右相邻的两个待确认子图之间可能存在重叠区域。由于各个切分中心对齐点是根据图像单位尺寸确定的，以每个切分中心对齐点为中心切分得到的待确认子图是根据目标检测网络标准输入模板图像的尺寸的切分的，而目标检测网络标准输入模板图像的尺寸是大于等于图像单位尺寸的，所以得到的待确认子图的尺寸是小于等于目标检测网络标准输入模板图像的尺寸的。其中，当待确认子图位于切分待检测图像的首行、末行、首列或末列时，待确认子图的尺寸可能会小于目标检测网络标准输入模板图像的尺寸，此时切分中心对齐点并非为待确认子图的中心。
针对得到的每个待确认子图，将其与目标检测网络标准输入模板图像居中对齐，生成对应的待检测子图。具体的，针对得到的每个待确认子图，可以将其与目标检测网络标准输入模板图像居中对齐，根据待确认子图与目标检测网络标准输入模板图像的尺寸计算待确认子图相对于目标检测网络标准输入模板图像的位置坐标，其中，位置坐标包括左上对齐点和右下对齐点，或者包括左下对齐点和右上对齐点，将待确认子图填充到目标检测网络标准输入模板图像中左上对齐点与右下对齐点之间的区域内，或者左下对齐点和右上对齐点之间的区域内。如果将待确认子图填充到目标检测网络标准输入模板图像中之后，目标检测网络标准输入模板图像的四周(上下左右任意一边)还存在空白区域，则还需在相应的空白区域中进行像素填充，如在空白区域中填充像素值为“0”的像素，以生成与待确认子图对应的待检测子图。
进一步的，作为一种可选的实施方式，以每个切分中心对齐点为中心，按照所述目标检测网络标准输入模板图像的尺寸，在所述待检测图像中进行切分，得到至少两个待确认子图，可以具体为：
以每个切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸，分别计算每个待确认子图在待检测图像中的坐标范围；根据每个待确认子图在待检测图像中的坐标范围，对待检测图像进行切分，得到至少两个待确认子图。
针对每个切分中心对齐点，以该切分中心对齐点为中心，按照目标检测网络标准输入模板图像的尺寸以及切分中心对齐点的坐标，计算相应的待确认子图的坐标范围。如果计算得到的坐标范围超出待检测图像中的坐标范围，例如计算得到的坐标值为负值，或者计算得到的坐标值大于待检测图像相应方向上的最大坐标值，则对计算得到的坐标范围进行调整，将超出的坐标范围限定在待检测图像相应的边界上，并将调整后的作为待确认子图在待检测图像中的坐标范围，进而可以根据待确认子图在待检测图像中的坐标范围对待检测图像进行切分，得到对应的待确认子图。
可选的，在尺寸比例系数满足切分条件时，对待检测图像进行自适应切分，按照先宽度方向再高度方向进行自适应切分，或者按照先高度方向再宽度方向进行自适应切分。以按照先宽度方向再高度方向进行自适应切分为例，可以通过两层循环来实现自适应切分，内循环在待检测图像的宽度方向进行，外循环在待检测图像高度方向进行，将每次内循环切分完成得到的待确认子图与目标检测网络标准输入模板图像居住对齐后生成待检测子图。可选的，将生成的多个待检测子图存储于待检测子图列表中进行小目标检测的批处理。
作为一种具体的实施方式，在尺寸比例系数满足切分条件时，对待检测图像进行自适应切分得到多个待检测子图的流程，可以包括：
a.设定切分计数器，宽度方向(即x坐标方向)计数器用i表示，高度方向(即y坐标方向)计数器用j表示，计数器从0开始最大分别为w'-1和h'-1。根据图像宽高修正比例系数(w',h')计算对待检测图像进行自适应切分的图像单位尺寸的宽高(c_w,c_h)，即依次以图像单位尺寸的宽高确定后续切分的切分中心对齐点。
b.外循环控制高度方向，当计y方向计数器j小于高度系数h'时继续进行内循环。当j大于等于h'时结束外循环将切分得到的待确认子图输出。
c.外循环计数器j控制选择不同的y方向偏移量计算，位置不同对应的图像高度方向居中和对齐的上下偏移量不同。当y等于0时，在待检测图像最上面一行进行切分；当y大于0且小于h'-1时，在待检测图像中间部分进行切分；当y等于h'-1时，在待检测图像最下面一行进行切分。
d.内循环控制宽度方向，当x方向计数器i小于w'时进行当前内循环。当i大于等于w'时退出当前内循环。当内循环的宽度计数器i置0时，外循环的高度计数器j加1，进行下一轮外循环控制。
e.内循环计数器i控制选择不同的x方向偏移量计算，位置不同对应的图像宽度方向居中和对齐的左右偏移量不同。当x等于0时，在待检测图像的最左边一列进行切分；当x大于0小于w'-1时，在待检测图像的中间部分进行切分；当x等于w'-1时，在待检测图像的最右边一列进行切分。
f.通过外循环计数器j控制y方向的偏移量，通过内循环计数器i控制x方向的偏移量。计算分别得到对待检测图像进行切分时的对齐坐标点，如左上对齐坐标点和右下对齐坐标点(也即待确认子图的左上点和右下点)，或者是左下对齐坐标点和右上对齐坐标点(也即待确认子图的左下点和右上点)，进而可以根据对齐坐标点输出待确认子图。
g.根据待确认子图的对齐坐标点和目标检测网络标准输入模板图像的对齐坐标点，将待确认子图填充到目标检测网络标准输入模板图像中，并在对目标检测网络标准输入模板图像的四周空白区域填充像素后，生成与待确认子图对应的待检测子图。
可选的，将完成切分和对齐转换的待检测子图存储于待检测子图列表中，作为一个batch(批)，分别作为目标图像进行后续的小目标检测。
进一步的，作为一种可选的实施方式，在尺寸比例系数不满足切分条件时，对待检测图像进行处理，确定与待检测图像对应的一个待检测子图，可以具体为：根据尺寸比例系数对待检测图像进行缩小处理，得到待检测缩小图像；将待检测缩小图像与目标检测网络标准输入模板图像居中对齐，生成与待检测图像对应的一个待检测子图。
首先根据尺寸比例系数a'对待检测图像进行缩小处理，得到待检测缩小图像；然后将待检测缩小图像与目标检测网络标准输入模板图像居中对齐，生成与待检测图像对应的待检测子图。具体的，根据待检测缩小图像与目标检测网络标准输入模板图像的尺寸计算待检测缩小图像相对于目标检测网络标准输入模板图像的位置坐标，其中，位置坐标包括左上对齐点和右下对齐点，或者包括左下对齐点和右上对齐点，将待检测缩小图像填充到目标检测网络标准输入模板图像中左上对齐点与右下对齐点之间的区域内，或者左下对齐点和右上对齐点之间的区域内。如果将待检测缩小图像填充到目标检测网络标准输入模板图像中之后，目标检测网络标准输入模板图像的四周(上下左右任意一边)还存在空白区域，则还需在相应的空白区域中进行像素填充，如在空白区域中填充像素值为“0”的像素，以生成与待检测缩小图像对应的待检测子图，也即与待检测图像对应的一个待检测子图。
S320、针对每个目标图像，调整目标图像的图像尺寸和通道数量，得到数据重排图像，并对所述数据重排图像进行特征图提取，根据所述特征图进行目标检测。
在目标图像的数量为多个时，为了提高目标检测的效率，可以以批处理的形式进行并行处理，以实现同时对多个目标图像进行目标检测。可选的，通过众核系统中的多个核心组并行地对多个目标图像进行目标检测，确定各个目标图像的目标检测框。
S330、根据所述目标图像的目标检测结果确定待检测图像的目标检测结果。
在目标图像的数量为多个时，综合多个目标图像的目标检测结果，即可得到与待检测图像对应的目标检测结果。例如，可以将多个目标图像的目标检测框还原至待检测图像中，通过对这些目标检测框进行置信度排序以及去重处理后，即可得到待检测图像的目标检测结果。
本发明实施例的技术方案，在针对待检测图像进行目标检测时，首先取得与待检测图像对应的各个待检测子图，分别作为目标图像进行目标检测，进而可以根据各个目标图像的目标检测结果得到待检测图像的目标检测结果。当待检测图像为高分辨率大尺寸图像时，即可解决针对高分辨率大尺寸图像进行目标检测的技术问题，分别针对与待检测图像对应的每个待检测子图(也即目标图像)进行目标检测以确定待检测图像的目标检测结果，也能够提高针对高分辨率大尺寸图像进行目标检测时的检测精度和检测速度。
在上述技术方案中，当待检测图像为高分辨率大尺寸图像时，对待检测图像进行自适应切分后生成与待检测图像对应的多个待检测子图，并通过与待检测子图尺寸匹配的目标检测网络分别对每个待检测子图进行目标检测，相比于使用超大网络输入进行检测，检测精度高、检测速度快，而且不需要高性能的硬件条件支持。
进一步的，在能够确定与待检测图像对应的多个待检测子图的情况下，本实施例提供的目标检测方法还包括：根据相邻的每两个待检测子图确定二次检测子图，并将所述二次检测子图作为目标图像，对所述目标图像进行目标检测。进而，可以根据待检测子图和二次检测子图的目标检测结果，确定待检测图像的目标检测结果。
无论以何种方式对待检测图像进行图像切分，都不能避免相邻的两个待检测子图相邻处或重叠处的目标被切分为两部分的问题。为了解决待检测子图相邻处或重叠处的目标被切分的多部分的问题，本实施例在针对每个待检测子图进行目标检测的基础上再进行二次检测，以提升目标检测性能。
针对相邻的两个待检测子图，可以是在待检测图像宽度方向相邻的两个待检测子图，也可以是在待检测图像高度方向相邻的两个待检测子图，确定与这两个待检测图像对应的二次检测子图。其中，二次检测子图是根据相邻的两个待检测子图相邻处或重叠处的区域确定的，且二次检测子图中不重复存在与所述相邻的两个待检测子图对应的重叠区域。可选的，二次检测子图的尺寸与待检测子图的尺寸是相同的。
在针对相邻的每两个待检测子图确定二次检测子图之后，将相应的二次检测子图作为目标图像继续进行目标检测，得到与二次检测子图对应的目标检测结果。
在本实施例中，不仅会针对待检测图像进行自适应切分得到的多个待检测子图进行目标检测，还会针对由相邻的两个待检测子图确定各个二次检测子图进行目标检测。进而，在得到各个待检测子图的目标检测结果以及各个二次检测子图的目标检测结果之后，也即得到与各个待检测子图对应的目标检测框，以及与各个二次检测子图对应的目标检测框之后，可以综合待检测子图和二次检测子图的目标检测结果确定出待检测图像的目标检测结果。
作为一种可选的实施方式，将根据相邻的每两个待检测子图确定二次检测子图，可以具体为：如果相邻的两个待检测子图满足重复检测条件，则根据所述相邻的两个待检测子图确定二次检测子图。
为了避免不必要的计算资源浪费，可以对相邻的两个待检测子图进行筛选，仅在必要时才对应生成二次检测子图，并对生成的二次检测子图进行小目标检测。
重复检测条件，指的是需要进行二次检测的条件，例如可以是相邻的两个待检测子图的相邻处或重叠处存在目标检测框。针对相邻的每两个待检测子图，当这两个相邻的待检测子图满足重复检测条件时，例如可以是这两个相邻的待检测子图的相邻处或重叠处存在目标检测框，才根据这两个相邻的待检测子图生成对应的二次检测子图。
作为一种可选的实施方式，相邻的两个待检测子图满足重复检测条件，可以具体为：如果相邻的两个待检测子图中存在重合度大于预设重合度阈值的两个目标检测框，则确定所述相邻的两个待检测子图满足重复检测条件。
在对每个待检测子图进行目标检测后，可以得到与每个待检测子图对应的目标检测框。针对相邻的两个待检测子图，对与这两个待检测子图对应的目标检测框进行重合判断，如果存在重合度大于预设重合度阈值(例如可以是50％或25％等)的两个目标检测框，则可以确定所述相邻的两个待检测子图满足重复检测条件。
作为一种可选的实施方式，根据相邻的两个待检测子图确定二次检测子图，可以具体为：在待检测图像中确定与相邻的两个待检测子图对应的目标区域图像；以目标区域图像的中心点为中心，按照目标检测网络标准输入模板图像的尺寸，在目标区域图像中切分出所述二次检测子图。
在针对相邻的两个待检测子图进行分析时，如果相邻的两个待检测子图满足重复检测条件，则可以在待检测图像中确定与所述相邻的两个待检测子图对应的目标区域图像，也即所述相邻的两个待检测子图的联合区域图像。在确定与所述相邻的两个待检测子图对应的目标区域图像之后，可以以目标区域图像的中心点为中心，并按照目标检测网络标准输入模板图像的尺寸，在目标区域图像中切分出与所述相邻的两个待检测子图对应的二次检测子图。
作为一种可选的实施方式，根据待检测子图和二次检测子图的目标检测结果，确定待检测图像的目标检测结果，可以具体为：将待检测子图中的目标检测框和二次检测子图中的目标检测框还原至待检测图像中；对待检测图像中的目标检测框进行筛选处理，得到待检测图像的目标检测结果。
将各个待检测子图的目标检测框和各个二次检测子图中的目标检测框还原至待检测图像中，并对还原至待检测图像中目标检测框进行筛选处理，以此得到待检测图像的目标检测结果。在对还原至待检测图像中目标检测框进行筛选处理时，可以对每个目标检测框的进行类别置信度排序，并对各个目标检测框进行去重处理，以此得到与待检测图像匹配的各个目标检测框，作为待检测图像进行小目标检测的最终检测结果。
可选的，在对还原至待检测图像中目标检测框进行筛选处理时，可以对所有回归至待检测图像中的目标检测框进行NMS(Non-Maximum Suppression，非极大值抑制去重处理)处理，避免待检测图中针对同一个目标存在多个目标检测框的问题。
采用本实施例提供的目标检测方法在针对高分辨率大尺寸图像进行小目标检测时，处理流程可以如图7所示，将输入的高分辨率大尺寸图像进行自适应切分，得到与该高分辨率大尺寸图像对应的多个待检测子图，分别对多个待检测子图进行小目标检测后，继续根据相邻的两个待检测子图的相邻处或重叠处确定二次检测子图，并对各二次检测子图进行目标检测，最后将待检测子图和二次检测子图的目标检测结果回归至高分辨率大尺寸图像中，并对所有回归至高分辨率大尺寸图像中的目标检测框进行NMS去重合并处理后，得到高分辨率大尺寸图像的目标检测结果。
上述技术方案，在针对待检测图像进行自适应切分得到的多个待检测子图进行小目标检测之后，继续针对相邻的两个待检测子图进行分析，判断是否需要进行二次检测，并在必要时根据相邻的两个待检测子图生成二次检测子图，继续对生成的二次检测子图进行目标检测，以此实现了待检测子图相邻处的二次检测，解决了由于自适应切分待检测子图时将相邻待检测子图相邻处或重叠处的目标被切分成多部分而影响目标检测结果的问题，提升了整体的检测性能。
图8示出了本实施例提供的目标检测方法的一种具体实施方式。参照图8，将输入的高分辨率大尺寸图像进行自适应切分，得到待检测子图0_0、待检测子图0_1、待检测子图0_2、待检测子图0_3、待检测子图1_0、待检测子图1_1、待检测子图1_2以及待检测子图1_3，并对这些待检测子图进行小目标检测。图8中示例性的展示了左右相邻的待检测子图1_0和待检测子图1_1的小目标检测结果。关于待检测子图的自适应切分方法可以详见前述实施例，在此不再赘述。
假设，待检测子图1_0和待检测子图1_1的小目标检测结果分别为BBox_0和BBox_1两组，每一组BBox可能包含多个目标检测框，设目标检测框的表示格式为[center_x,center_y,b_w,b_h]，其中，center_x表示目标检测框中心点的x坐标，center_y表示目标检测框中心点的y坐标，b_w表示目标检测框的宽，b_h表示目标检测框的高。
下述详细解释根据相邻的待检测子图生成二次检测图像的步骤：
(1)目标检测框坐标转换。将相邻的两个待检测子图的目标检测框的表示格式[center_x,center_y,b_w,b_h]格式都转换为[xmin,ymin,xmax,ymax]，其中，xmin表示目标检测框x坐标的最小值，ymin表示目标检测框y坐标的最小值，xmax表示目标检测框x坐标的最大值，ymax表示目标检测框y坐标的最大值。
(2)将目标检测框按照坐标进行排序。其中，将相邻的两个待检测子图中的左侧子图以xmax列进行排序找到最右侧的目标检测框bbox_r(也即最靠近相邻的待检测子图的一个或多个目标检测框)，将相邻的两个待检测子图中的右侧子图以xmin列进行排序找到最左侧的目标检测框bbox_l(也即最靠近相邻的待检测子图的一个或多个目标检测框)。
若相邻的两个待检测子图为上下相邻的两个待检测子图，则可以将相邻的两个待检测子图中的上侧子图以ymin列进行排序找到最下侧的目标检测框bbox_d(也即最靠近相邻的待检测子图的一个或多个目标检测框)，将相邻的两个待检测子图中的下侧子图以ymax列进行排序找到最上侧的目标检测框bbox_u(也即最靠近相邻的待检测子图的一个或多个目标检测框)。
(3)对目标检测框bbox_r和bbox_l进行IOU(Intersection over Union，重合度)计算，若计算得到的重合度IOU大于预设重合度阈值(例如为0.25)，则可以认为是同一物体的两个重复目标检测框，小于预设重合度阈值则认为属于两个不同物体，不需要做二次检测。
对目标检测框bbox_u和bbox_d进行IOU计算，若计算得到的重合度IOU大于预设重合度阈值，则可以认为是同一物体的两个重复目标检测框，小于预设重合度阈值则认为属于两个不同物体，不需要做二次检测。
(4)根据相邻的两个待检测子图生成二次检测子图。若目标检测框bbox_r和bbox_l的IOU大于预设重合度阈值，或者目标检测框bbox_u和bbox_d的IOU大于预设重合度阈值，则根据相邻的两个待检测子图生成二次检测子图，并作为目标图像进行目标检测。其中，二次检测子图可以是以相邻的两个待检测子图的联合区域中心点为中心，以目标检测网络标准输入模板图像的宽高(net_w,net_h)为界限切分得到的图像块。
在得到各待检测子图和各二次检测子图的目标检测结果之后，将各待检测子图和各二次检测子图对应的目标检测框回归至高分辨率大尺寸图像中，并对所有回归至高分辨率大尺寸图像中的目标检测框进行NMS去重处理后，即可得到高分辨率大尺寸图像的目标检测结果。
将一张高分辨率大尺寸图像img(img_w,img_h)切分为多个待确认子图img_c(c_w,c_h)(其中，c_w为待确认子图的图像宽，c_h为待确认子图的图像高)，所有待确认子图都以中心坐标对齐的方式填充到目标检测网络标准输入模板图像IMG(net_w,net_h)内，生成多个待检测子图。多个待检测子图可以作为一个batch进行目标检测得到与各个待检测子图对应的目标检测框信息，即[center_x,center_y,b_w,b_h,score,class_id]，其中，score标识目标检测框的置信度，class_id表示目标检测框的类别。此时，得到的目标检测框的信息均是相对于目标检测网络标准输入模板图像IMG(net_w,net_h)的。将目标检测框的信息回归至高分辨率大尺寸图像(原图)时，只需要对中心点坐标(center_x,center_y)进行两次参考坐标变换，不需要对目标检测框信息中包括的目标检测框宽高(b_w,b_h)、置信度和类别进行处理。
具体的，将待检测子图和二次检测子图的目标检测框回归至高分辨率大尺寸图像(原图)时的步骤可以包括:
(1)将目标检测框信息的参考坐标原点由IMG(0,0)转换为IMG中心点(net_w/2,net_h)，即将目标检测框信息由[center_x,center_y,b_w,b_h,score,class_id]转换为[center_x-net_w/2,center_y-net_h/2,b_w,b_h,score,class_id]。
(2)计算待确认子图img_c(c_w,c_h)的中心点和原图像坐标原点img(0,0)的相对关系(relation_x,relation_y)。
(3)将中心对齐的目标检测框信息加上待确认子图中心点相对于原图像坐标原点的距离，即将目标检测框信息由[center_x-net_w/2,center_y-net_h/2,b_w,b_h,score,class_id]转换为[center_x-net_w/2+relation_x,center_y-net_h/2+relation_y,b_w,b_h,score,class_id]。
(4)在高分辨率大尺寸图像(原图)尺寸上对所有回归的目标检测框进行NMS处理，避免高分辨率大尺寸图像中针对同一个物体有多个检测框。
上述技术方案提出了一种针对高分辨率大尺寸图像进行自适应切分的方法，将大图切分为子图，减小目标检测网络输入图像的大小，提升了目标检测速度和精度，也减轻硬件设备压力。上述技术方案还提出了一种针对高分辨率大尺寸图像进行高效地小目标检测的方法，结合高分辨率大尺寸图像自适应切分方法和改进的网络结构，将切分得到的多个待检测子图作为一个batch进行检测，针对相邻的待检测子图中目标检测框重合度高的情况进行了二次检测，实现了快速、准确地进行目标检测。
实施例四
图9为本发明实施例四提供的一种目标检测装置的结构示意图，本实施例可适用于提升目标检测算法的网络特征提取能力以及空间定位的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在电子设备中。如图9所示，该装置包括：图像获取模块410、图像重排模块420和目标检测模块430。其中，
图像获取模块410，用于获取目标图像；
图像重排模块420，用于调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
目标检测模块430，用于对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
本发明实施例的技术方案，在针对目标图像进行目标检测时，首先对其图像尺寸和通道数量进行调整，得到对应的数据重排图像，进而对该数据重排图像进行特征图提取，以根据提取到的特征图进行目标检测，以此增加目标检测时的网络特征提取能力以及空间定位能力，进而提升了目标检测的速度和精度。
可选的，图像重排模块420，具体用于减小所述目标图像的图像尺寸，增加所述目标图像的通道数量，得到数据重排图像。
可选的，图像重排模块420，具体用于按照预设数据筛选方式，将所述目标图像切割为多个目标子图像；将所述多个目标子图像进行以通道组合的方式进行叠加，得到数据重排图像。
可选的，图像重排模块420，具体用于将所述目标图像按照预设间隔尺寸提取像素数据，生成多个目标子图像。
可选的，目标检测模块430，具体用于并行地采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；将提取到的各个特征图进行融合处理，得到与所述目标图像对应的目标特征图，并根据所述目标特征图进行目标检测。
可选的，不同特征提取方式的图像感受野不同。
可选的，所述特征提取方式包括：卷积特征提取方式和/或池化特征提取方式。
上述目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行的目标检测方法相应的功能模块和有益效果。
实施例五
图10为本发明实施例五提供的一种电子设备的硬件结构示意图。如图10所示，该电子设备包括：
一个或多个处理器510，图10中以一个处理器510为例；
存储器520。
所述电子设备中的处理器510、存储器520可以通过总线或者其他方式连接，图10中以通过总线连接为例。
存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例中的一种目标检测方法对应的程序指令，包括：获取目标图像；调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
处理器510通过运行存储在存储器520中的软件程序指令，从而执行芯片的各种功能应用以及数据处理，即实现上述方法任意实施例中的一种目标检测方法。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据芯片的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由处理器执行时用于实现一种目标检测方法，该方法包括：
获取目标图像；调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
可选的，该计算机可执行指令在由处理器执行时还可以用于实现本发明任意实施例所提供的一种目标检测方法的技术方案。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得芯片执行本发明各个实施例所述的方法。
值得注意的是，上述目标检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种目标检测方法，其特征在于，包括：
获取目标图像；
调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
2.根据权利要求1所述的方法，其特征在于，所述图像尺寸包括宽度信息以及高度信息，其中，所述调整所述目标图像的图像尺寸和通道数量，得到数据重排图像，包括：
对所述目标图像的像素数据进行划分，确定Z个目标子图像，其中，所述目标子图像与所述目标图像的通道数量相同，所述目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为Z，Z为大于1的整数；
将所述Z个目标子图像在通道方向上进行组合，得到数据重排图像。
3.根据权利要求2所述的方法，其特征在于，对所述目标图像的像素数据进行划分，确定Z个目标子图像，包括：
将目标图像中符合数据筛选方式的多个像素数据，确定为一个目标子图像的像素数据，分别生成所述Z个目标子图像，
其中，不同目标子图像的像素数据不同。
4.根据权利要求3所述的方法，其特征在于，其中，所述数据筛选方式包括按照预设间隔尺寸提取目标图像的像素数据，目标子图像中相邻两个像素数据在所述目标图像中为具有所述预设间隔尺寸的两个像素数据。
5.根据权利要求1所述的方法，其特征在于，对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测，包括：
并行地采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；
将提取到的各个特征图进行融合处理，得到与所述目标图像对应的目标特征图，并根据所述目标特征图进行目标检测。
6.根据权利要求5所述的方法，其特征在于，不同特征提取方式的图像感受野不同；和/或，
所述特征提取方式包括：卷积特征提取方式和/或池化特征提取方式。
7.一种神经形态器件，包括众核系统，其特征在于，所述众核系统中包括图像重排核心、特征提取核心和目标检测输出核心；其中，
所述图像重排核心，用于调整目标图像的图像尺寸和通道数量，得到数据重排图像；
所述特征提取核心，用于对所述数据重排图像进行特征图提取；
所述目标检测输出核心，用于根据所述特征图进行目标检测。
8.根据权利要求7所述的神经形态器件，其特征在于，所述图像尺寸包括宽度信息以及高度信息，
所述图像重排核心，用于对所述目标图像的像素数据进行划分，确定Z个目标子图像，其中，所述目标子图像与所述目标图像的通道数量相同，所述目标图像宽度信息以及高度信息的乘积与目标子图像宽度信息以及高度信息的乘积的比值为Z，Z为大于1的整数；
将所述Z个目标子图像在通道方向上进行组合，得到数据重排图像。
9.根据权利要求7所述的神经形态器件，其特征在于，所述特征提取核心的数量为多个；
多个所述特征提取核心，用于并行地采用不同的特征提取方式分别对所述数据重排图像进行特征图提取；
所述众核系统还包括：特征融合核心；所述特征融合核心，用于将提取到的各个特征图进行融合处理，得到与所述目标图像对应的目标特征图；
所述目标检测输出核心，用于根据所述目标特征图进行目标检测。
10.根据权利要求9所述的神经形态器件，其特征在于，不同特征提取方式的图像感受野不同；和/或，
所述特征提取方式包括：卷积特征提取方式和/或池化特征提取方式。
11.根据权利要求7所述的神经形态器件，其特征在于，所述众核系统包括多个核心组，每个所述核心组中包括：图像重排核心、特征提取核心和目标检测输出核心；
多个所述核心组，用于并行地对多个不同的目标图像进行目标检测。
12.一种目标检测装置，其特征在于，包括：
图像获取模块，用于获取目标图像；
图像重排模块，用于调整所述目标图像的图像尺寸和通道数量，得到数据重排图像；
目标检测模块，用于对所述数据重排图像进行特征图提取，并根据所述特征图进行目标检测。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605019.9A CN113221896B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、装置、神经形态器件及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605019.9A CN113221896B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、装置、神经形态器件及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221896A true CN113221896A (zh) | 2021-08-06 |
| CN113221896B CN113221896B (zh) | 2024-10-15 |
Family
ID=77081940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605019.9A Active CN113221896B (zh) | 2021-05-31 | 2021-05-31 | 目标检测方法、装置、神经形态器件及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221896B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309837A (zh) * | 2019-07-05 | 2019-10-08 | 北京迈格威科技有限公司 | 基于卷积神经网络特征图的数据处理方法及图像处理方法 |
| CN110705588A (zh) * | 2019-08-30 | 2020-01-17 | 中国电子科技集团公司第十五研究所 | 基于通道重排的轻量级目标检测模型及目标检测方法 |
| CN111831354A (zh) * | 2020-07-09 | 2020-10-27 | 北京灵汐科技有限公司 | 数据精度配置方法、装置、芯片、芯片阵列、设备及介质 |
| CN111831355A (zh) * | 2020-07-09 | 2020-10-27 | 北京灵汐科技有限公司 | 权重精度配置方法、装置、设备及存储介质 |
| CN112308856A (zh) * | 2020-11-30 | 2021-02-02 | 深圳云天励飞技术股份有限公司 | 遥感图像的目标检测方法、装置、电子设备及介质 |
| CN112801018A (zh) * | 2021-02-07 | 2021-05-14 | 广州大学 | 一种跨场景目标自动识别与追踪方法及应用 |
-
2021
- 2021-05-31 CN CN202110605019.9A patent/CN113221896B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309837A (zh) * | 2019-07-05 | 2019-10-08 | 北京迈格威科技有限公司 | 基于卷积神经网络特征图的数据处理方法及图像处理方法 |
| CN110705588A (zh) * | 2019-08-30 | 2020-01-17 | 中国电子科技集团公司第十五研究所 | 基于通道重排的轻量级目标检测模型及目标检测方法 |
| CN111831354A (zh) * | 2020-07-09 | 2020-10-27 | 北京灵汐科技有限公司 | 数据精度配置方法、装置、芯片、芯片阵列、设备及介质 |
| CN111831355A (zh) * | 2020-07-09 | 2020-10-27 | 北京灵汐科技有限公司 | 权重精度配置方法、装置、设备及存储介质 |
| CN112308856A (zh) * | 2020-11-30 | 2021-02-02 | 深圳云天励飞技术股份有限公司 | 遥感图像的目标检测方法、装置、电子设备及介质 |
| CN112801018A (zh) * | 2021-02-07 | 2021-05-14 | 广州大学 | 一种跨场景目标自动识别与追踪方法及应用 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENG HUI ET AL.: "Fast and Accurate Single Image Super-Resolution via Information Distillation Network", 《COMPUTER VISION FOUNDATION》, 31 December 2018 (2018-12-31), pages 723 - 731 * |
| 高照: "基于深度学习的遥感图像目标检测方法研究", 《中国优秀硕士学位论文全文数据 工程科技Ⅱ辑》, 15 April 2021 (2021-04-15), pages 1 - 4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221896B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113221895B (zh) | 小目标检测方法、装置、设备及介质 | |
| CN111524150B (zh) | 图像处理的方法及装置 | |
| CN110543858A (zh) | 多模态自适应融合的三维目标检测方法 | |
| CN110334709B (zh) | 基于端到端多任务深度学习的车牌检测方法 | |
| CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统 | |
| CN108197567B (zh) | 用于图像处理的方法、装置和计算机可读介质 | |
| CN110991560A (zh) | 一种结合上下文信息的目标检测方法及系统 | |
| CN112749741B (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN112132164B (zh) | 目标检测方法、系统、计算机装置及存储介质 | |
| CN112101113B (zh) | 一种轻量化的无人机图像小目标检测方法 | |
| CN114332133A (zh) | 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统 | |
| CN116542991A (zh) | 一种用于裂缝图像分割的网络架构及其训练方法和分割方法 | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 | |
| CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| Nguyen et al. | Boundary extraction and simplification of a surface defined by a sparse 3D volume | |
| CN113221896B (zh) | 目标检测方法、装置、神经形态器件及介质 | |
| CN114241249B (zh) | 基于目标检测算法与卷积神经网络的图像分类方法和系统 | |
| CN114445848A (zh) | 一种获取电气图纸中元器件识别位置的方法及系统 | |
| CN113012132A (zh) | 一种图像相似度确定方法、装置及计算设备、存储介质 | |
| CN111179283A (zh) | 图像语义分割方法及装置、存储介质 | |
| CN112926588B (zh) | 一种基于卷积网络的大角度车牌检测方法 | |
| CN112652059B (zh) | 基于Mesh R-CNN模型改进的目标检测与三维重构方法 | |
| CN112257586B (zh) | 目标检测中的真值框选择方法、装置、存储介质及设备 | |
| CN116703782A (zh) | 用于处理图像阴影的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |