CN117094994A - 滑窗参数确定方法、图像识别方法及装置 - Google Patents
滑窗参数确定方法、图像识别方法及装置 Download PDFInfo
- Publication number
- CN117094994A CN117094994A CN202311345618.7A CN202311345618A CN117094994A CN 117094994 A CN117094994 A CN 117094994A CN 202311345618 A CN202311345618 A CN 202311345618A CN 117094994 A CN117094994 A CN 117094994A
- Authority
- CN
- China
- Prior art keywords
- target
- sliding window
- size
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims description 90
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种滑窗参数确定方法、图像识别方法及装置,涉及图像处理技术领域,方法包括:获取目标图像样本,获取目标图像样本包括的目标对象样本的目标尺寸,根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定针对每个目标区域的目标滑动窗口的滑窗参数,滑窗参数用于确定对待处理图像进行图像切割的滑动窗口。针对目标区域获取对应的目标滑动窗口,目标滑动窗口的滑窗参数和目标对象样本的目标尺寸相关联,基于由此获取的滑窗参数构建滑动窗口,使用滑动窗口切割待处理图像,可以得到符合要求的目标子图像,且目标子图像的个数少,处理效率高。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种滑窗参数确定方法、图像识别方法及装置。
背景技术
在使用目标检测模型对图像中包括的对象(比如人、车辆或者其他对象)进行检测时,需要确保输入目标检测模型中的图像的尺寸,满足目标检测模型可处理图像的尺寸要求。在图像尺寸比较大的情况下,现有的算力无法承载将整张大分辨率图像输入目标检测模型进行对象检测,因此需要先将图像切割成符合尺寸要求的小图像,再通过目标检测模型进行对象检测。
在相关技术中,可以将大分辨率图像进行缩小处理,将缩小的图像输入目标检测模型,进行缩小图像进行对象检测,或者按照尺寸固定的滑动窗口切割图像,以得到多个符合尺寸要求的小图像,再根据小图像进行对象检测。
但是,对大分辨率的图像进行缩小处理,会导致图像中的部分图像信息丢失,而按照固定的滑动窗口切割图像,可能会将图像中尺寸较大的对象切割至多个小图像中,进而导致无法成功检测到大尺寸对象。即,相关技术中,存在无法准确的切割待检测图像的问题。
发明内容
本申请实施例提供一种滑窗参数确定方法、图像识别方法及装置,以解决在先技术中无法准确的切割待检测图像的问题。
第一方面,本申请实施例提供了一种滑窗参数确定方法,包括:
获取目标图像样本;
获取所述目标图像样本包括的目标对象样本的目标尺寸;
根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域;
根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数;
其中,所述滑窗参数用于构建期望滑动窗口,以根据期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;所述目标检测模型用于检测所述目标子图像中包括的目标对象。
第二方面,本申请实施例提供了一种图像识别方法,包括:
获取滑窗参数;
根据滑窗参数构建期望滑动窗口;
根据期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
将多个所述目标子图像输入所述目标检测模型,得到所述待处理图像中包括的目标对象;
其中,所述滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数。
第三方面,本申请实施例提供了一种滑窗参数确定装置,所述装置包括:
第一获取模块,用于获取目标图像样本;
第二获取模块,用于获取所述目标图像样本包括的目标对象样本的目标尺寸;
第一划分模块,用于根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域;
第一确定模块,用于根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数;其中,所述滑窗参数用于构建滑动窗口,以根据滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;所述目标检测模型用于检测所述目标子图像中包括的目标对象。
第四方面,本申请实施例提供了一种图像识别装置,包括:
第三获取模块,用于获取滑窗参数;其中,所述滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数;
第一构建模块,用于根据滑窗参数构建期望滑动窗口;
第四获取模块,用于根据滑窗切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
第五获取模块,用于将多个所述目标子图像输入所述目标检测模型,得到所述待处理图像中包括的目标对象。
第五方面,本申请实施例还提供了一种电子设备,包括处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现所述第一方面或第二方面的方法。
第六方面,本申请实施例还提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行所述第一方面或第二方面的方法。
综上,在本实施例中,通过获取目标图像样本,根据目标图像样本中目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,然后针对每个目标区域,根据其中目标对象样本的目标尺寸,确定目标区域的目标滑动窗口的滑窗参数。相当于根据不同目标尺寸,确定出不同滑窗参数的目标滑动窗口,这些目标滑动窗口和对应目标区域中目标对象样本的目标尺寸是相适配的,由此,通过滑窗参数构建滑动窗口,基于滑动窗口切割待处理图像,可以得到满足要求的目标子图像,且根据本实施例的方法得到的子目标图像的个数少,提高了数据处理效率,降低了对处理设备的算力要求。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获取其他的附图。
图1是本申请实施例提供的一种滑窗参数确定方法步骤流程图;
图2是本申请实施例提供的另一种滑窗参数确定方法步骤流程;
图3是本申请实施例提供的对目标图像样本进行处理的结果示意图;
图4是本申请实施例提供的一种去除重叠目标的结果示意图;
图5是本申请实施例提供的一种获取新的目标对象样本的效果示意图;
图6是本申请实施例提供的一种目标对象样本的聚类结果示意图;
图7是本申请实施例提供的一种目标对象样本的聚类结果标注示意图;
图8是本申请实施例提供的一种目标区域分布示意图;
图9是本申请实施例提供的另一种目标区域分布示意图;
图10是本发明实施例提供的一种图像识别方法的步骤流程图;
图11是本发明实施例通的一种滑窗参数确定方法的步骤流程图;
图12是本发明实施例通的一种图像识别方法的步骤流程图;
图13是本发明实施例通的一种滑窗参数确定装置的结构示意图;
图14是本发明实施例通的又一种图像识别装置的结构示意图;
图15是本发明实施例提供的另一种电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
下面结合附图,通过具体的实施例对本申请实施例提供的图像处理方法进行详细地说明。
图1是本申请实施例提供的一种滑窗参数确定方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、获取目标图像样本。
在本步骤中,通过图像采集设备采集得到目标图像样本。
示例地,在获取目标图像样本后,通过离线处理方法对目标图像样本进行处理,得到目标滑动窗口的滑窗参数。
步骤102,获取目标图像样本包括的目标对象样本的目标尺寸。
在本步骤中,目标对象样本为目标图像样本中的对象样本。示例地,目标对象样本可以为目标图像样本中的行人、车辆或者其他对象。
在一个实施例中,按照预设的缩放比例对目标图像样本进行缩放处理,使用目标检测模型对缩放后的目标图像样本进行对象识别,确定出目标图像样本包括的多个目标对象样本。其中,目标对象样本具备对应的目标尺寸。
进一步的,使用目标预测模型检测出目标图像样本中的目标对象样本,并用矩形框标识出目标对象样本,其中,矩形框的尺寸,即为对应目标对象样本的目标尺寸。
步骤103,根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域。
在本步骤中,目标区域是目标图像样本中的区域,每个目标区域中包括多个目标对象样本。
在一个实施例中,根据目标对象样本的目标尺寸,将目标对象样本划分为多个尺寸类别,将同一个尺寸的目标对象样本划分为同一个区域,由此得到多个目标区域。
步骤104,根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定针对每个目标区域的目标滑动窗口的滑窗参数。
其中,滑窗参数用于构建期望滑动窗口,以根据期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;目标检测模型用于检测目标子图像中包括的目标对象。
其中,期望滑动窗口,是用于对待处理图像进行图像切割的滑动窗口。
在一个实施例中,滑窗参数可以包括:目标区域的起始点位置,目标区域的目标区域的结束点位置,滑动窗口的目标滑动窗口尺寸,滑动窗口的缩放比例,以及滑动窗口在滑动过程,相邻两个滑动窗口之间的重叠比例值。
在本实施例中,获取目标图像样本后,对目标图像样本进行离线处理,得到目标图像样本中每个目标区域的目标滑动窗口的滑窗参数。
在根据图像进行对象识别的应用场景中,用于对图像中的对象进行对象识别的目标检测模型,对输入图像的输入尺寸有要求。而实际应用中的高性能图像采集设备,采集图像的尺寸通常比较大。比如,已像素表示图像尺寸,对于实际应用中的高性能图像采集设备采集的图像,其单边像素可以达到15000到32000之间,图像中单个对象(比如行人)的数量可超过200个,单个对象的尺寸可达到800*1600左右。由于算力限制,目标监测模型无法处理这些超大尺寸的图像,需要对图像进行切割以得到小图像,再对小图像进行对象识别。相关技术中,通过固定尺寸的滑动窗口切割图像,这会导致将图像中大尺寸的对象切分到两个子图像中,导致无法对大尺寸的对象进行识别,影响对象识别效果,比如,在一些图像中,单个大尺寸的对象(行人)的尺寸可以达到800×1600左右,而小尺寸的对象可以达到45×90。使用尺寸大于800×1600的滑动窗口切割图像,虽然可以将大尺寸的对象切分至一个子图像中,但切割出的子图像尺寸太大,无法准确识别出小尺寸对象。若使用小尺寸的滑动窗口切割图像,则会将大尺寸的对象切分到两个子图像中。即相关技术的图像处理方法,无法准确的切割待检测图像。
综上,在本实施例中,通过获取目标图像样本,根据目标图像样本中目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,然后针对每个目标区域,根据其中目标对象样本的目标尺寸,确定目标区域的目标滑动窗口的滑窗参数。相当于根据不同目标尺寸,确定出不同滑窗参数的目标滑动窗口,这些目标滑动窗口和对应目标区域中目标对象样本的目标尺寸是相适配的,由此,通过滑窗参数构建滑动窗口,基于滑动窗口切割待处理图像,可以得到满足要求的目标子图像,不会出现相关技术中对整个待处理图像,使用尺寸固定的滑动窗口进行图像切割,导致切割结果不符合要求的问题。
另外,相对于先将待处理图像缩放到不同尺寸,对每个尺寸的缩放图像,使用固定尺寸的滑动窗口进行图像切割的方法,本实施例根据目标图像样本确定出针对各目标尺寸的目标滑动窗口,根据目标滑动窗口的滑窗参数确定用于切割待处理图像的滑动窗口,不需要对待处理图像进行多次缩放后,再进行多次切割,减少了切割得到的子目标图像的个数,提高了数据处理效率,降低了对处理设备的算力要求。
图2是本发明实施例提供的另一个滑窗参数确定方法的步骤流程图,参照图2,滑窗参数确定方法可以包括如下步骤:
步骤201,获取目标图像样本。
获取目标图像样本的方法,在前述步骤101中已作说明,此处不再赘述。
步骤202,根据多个不同的预设缩放比例,对目标图像样本进行图像缩放处理,得到多个不同尺寸的缩放目标图像样本。
示例地,根据经验数据确定预设缩放比例。比如,可以将预设缩放比例设定为0.1、0.2、0.4、0.6,或者其他缩放比例值。比如,按照0.1的缩放比例对目标图像样本进行图像缩放处理,相当于将图像尺寸缩小至之前的十分之一。
需要说明的是,对图像样本进行图像缩放处理后,得到不同尺寸的缩放目标图像样本的分辨率不同。
步骤203,根据预设目标滑动窗口切割缩放目标图像样本,得到多个子目标图像样本。
示例地,对于同一个缩放目标图像样本,预设目标滑动窗口的尺寸相同,按照预设的方向滑动预设目标滑动窗口,将缩放目标图像样本切割为多个子目标图像样本。
进一步的,每个子目标图像样本的尺寸,为目标检测模型可以识别的图像的尺寸。
在一个实施例中,目标图像样本如图3(1)所示,对图像样本进行缩放处理后,得到的不同尺寸的缩放目标图像样本如图3(2)所示,对图像样本进行切割后,得到的子目标图像样本如图3(3)所示。在图3所示的实施例中,目标对象为行人,用于检测目标对象样本的目标检测模型为行人检测器。将子目标图像输入图3(4)所示的行人检测器,得到各子目标图像中的行人对象,检测结果如图3(5)所示,将检测结果映射至目标图像样本中,得到目标图像样本中的目标对象样本(图中未示出)。进一步的,参照图3所示的实施例,得导的目标图像样本中具备多个目标对象样本,其中,每个目标对象样本以矩形框的形式进行标注。
步骤204,根据多个子目标图像样本,得到目标图像样本包括的目标对象样本的目标尺寸。
示例地,获取子目标图像样本中目标对象样本的初始对象尺寸,以及子目标图像样本所在的缩放目标图像样本的预设缩放比例,根据该预设缩放比例和目标对象样本的初始对象尺寸,得到目标对象样本在目标图像样本中的目标尺寸。
对目标图像样本进行缩放处理,根据预设目标滑动窗口切割根据不同预设的缩放比例得到的缩放目标图像样本,由此得到多个子目标图像样本,根据这多个子目标图像样本,可以准确确定出目标图像样本中包括的至少部分目标对象样本,进而得到目标图像样本包括的至少部分目标对象样本的目标尺寸。
在一个实施例中,步骤204中根据多个子目标图像样本,得到目标图像样本包括的目标对象样本的目标尺寸,可以包括如下子步骤:
子步骤2041,将多个目标子图像样本输入目标检测模型,获得每个子目标图像样本中包括的目标对象样本,以及目标对象样本在对应目标子图像样本中的初始对象尺寸。
具体的,将子图像样本输入目标检测模型,目标检测模型识别出子目标图像样本中的目标对象样本,并用矩形框将目标对象样本标注出来,矩形框具备对应的尺寸,矩形框的尺寸,即为目标对象样本在对应子图像样本中的初始对象尺寸。
子步骤2042,根据目标对象样本的初始对象样本尺寸,以及与目标对象样本所在子目标图像样本所对应的预设缩放比例,获取目标对象样本在目标图像样本中的目标尺寸。
示例地,通过将多个子图像样本中的每个子图像样本输入目标检测模型,确定子图像样本中目标对象样本,并用矩形框标注出目标对象样本,其中,矩形框的尺寸,为对应目标对象样本在对应的子图像样本中的尺寸,具体的,子图像中的矩形框和矩形框标注出的目标对象样本如图3(4)所示。
下面对获取目标对象样本在目标图像样本中的目标尺寸的方法,进行进一步的示例性说明:根据目标对象样本在对应的子图像样本中的尺寸,以及与子图像样本所在的目标缩放图像样本的预设缩放比值,对目标对象样本在对应的子图像样本中的尺寸进行还原,得到目标对象样本的目标尺寸。比如,目标对象样本在对应的子图像样本中的尺寸为80×160,对应的预设缩放比例为0.1,则根据预设缩放比例对目标对象样本在对应的子图像样本中的尺寸进行还原,得到目标对象样本的目标尺寸为800×1600。需要说明的是,本实施例中的尺寸用分辨率表示。
需要说明的是,目标对象样本是目标子图像样本中的对象样本,目标子图像样本是从缩放目标图像样本中分割得到的,而缩放目标图像样本是按照预设缩放比例,对目标图像样本进行缩放得到的。因此,目标子图像样本中的目标对象样本,是目标图像样本中的对象。
在确定子目标图像样本中的目标对象样本后,可以将其映射至目标图像样本中。
具体的,在使用预设滑动窗口切割缩放目标图像样本时,记录滑动窗口在目标缩放目标图像样本中的位置,该位置即为切割得到的子目标图像样本在目标图像样本中的位置。进一步的,滑动窗口在目标缩放目标图像样本中的位置,包括滑动窗口的起始点坐标,起始点坐标可以为滑动窗口的角点。
在使用目标检测模型识别子目标图像样本中的目标对象样本后,得到标识目标对象样本的矩形框,矩形框在子目标图像样本中的位置,即为目标对象样本在子目标图像样本中的位置。
根据目标对象样本在子目标图像样本中的位置,以及子目标图像样本在目标缩放图像样本中的位置,可以确定出目标对象样本在目标缩放图像样本中的位置。
根据与目标缩放图像样本对应的预设缩放比例,对目标对象样本在目标缩放图像样本中的位置进行缩放处理,得到目标对象样本在目标图像样本中的位置。
根据目标对象样本在目标缩放图像样本中的位置,以及目标对象样本在目标图像样本中的目标尺寸,将目标对象样本映射至目标图像样本中。
每个目标缩放图像样本具备对应的目标对象,将各目标缩放图像样本对应的目标对象样本映射至目标图像样本后,可能会存在多个目标对象样本产生重叠的现象。对产生重叠的目标对象样本,可以通过非极大值抑制处理,去除重叠目标,进而得到目标映射结果。示例地,对图3所示的目标图像样本进行映射和区重叠处理后,得到的目标映射结果,该目标映射结果即为最终得到的目标对象样本。
下面结合图4,对根据非极大值抑制处理,去除重叠目标的方法进行进一步说明。如图4所示,使用滑动窗口A、滑动窗口B,和滑动窗口C对目标图像样本进行切割,其中,滑动窗口A和滑动窗口B切割得到的子目标图像样本中,包含了同一个目标对象样本,该目标对象样本如图4中位于滑动窗口A和滑动窗口B对应的子目标图像样本中的五角星图案。将这两个子目标图像样本中的五角星图案映射会目标图像样本中后,因为数据处理误差等原因,两个五角星图案存在较大部分的重叠,通过非极大值抑制处理,去除其中的一个五角星图案,得到非极大值抑制处理的结果,该结果即为目标映射结果。
步骤205,对目标对象样本的目标尺寸进行聚类,得到多个尺寸类别。
示例地,通过目标检测模型识别目标样本对象中的目标对象样本,并用矩形框表示各目标对象样本,矩形框的尺寸,即为对应目标对象样本的目标尺寸。对于不同大小的目标尺寸,使用不同颜色的矩形框表示。根据矩形框的颜色进行聚类,将相同颜色的矩形框归为一类,由此得到多个尺寸类别,每个类别对应有目标尺寸。
示例地,通过目标检测模型识别目标样本对象中的目标对象样本,并用矩形框表示各目标对象样本,矩形框的尺寸即为对应目标对象的目标尺寸,矩形框的坐标即为对应目标对象样本的对象坐标,根据对象坐标进行聚类,得到初步的聚类结果,然后选择出同一个聚类结果中目标尺寸比较多的目标对象样本,将这些目标对象样本归为一类,得到与这些目标对象样本的目标尺寸对应的尺寸类别。
步骤206,获取目标对象样本的目标对象样本坐标。
在本步骤中,将目标图像样本输入目标检测模型,得到目标图像样本中,目标对象样本的目标对象样本坐标。
步骤207,根据尺寸类别,以及属于尺寸类别的目标对象样本的目标对象样本坐标,确定针对尺寸类别的目标区域。
示例地,针对每个尺寸类别,根据属于该尺寸类别的目标对象样本的目标对象样本坐标,构建出覆盖属于该尺寸类别的至少部分目标对象样本的区域,该区域即为针对该尺寸类别的目标区域。
步骤208,根据针对每个尺寸类别的目标区域,得到目标图像样本的多个目标区域。
通过对目标对象样本的目标尺寸进行聚类,可以快速得到多个尺寸类别,根据目标对象样本坐标和尺寸类别,可以在目标图像样本中,准确确定出与尺寸类别对应的目标区域。
在本步骤中,每个尺寸类别均具备对应的一个目标区域,则多个尺寸类别对应的多个目标区域,构成目标图像样本中的多个目标区域。
步骤209,根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定针对每个目标区域的目标滑动窗口的滑窗参数;
其中,滑窗参数用于构建滑动窗口,以根据滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;目标检测模型用于检测目标子图像中包括的目标对象。
本步骤的方法,在前述步骤104中已作说明,此处不再赘述。
综上,在本实施例中,对目标图像样本进行切割,得到多个目标图像样本,然后获取子图像样本中目标对象样本的目标尺寸,通过对目标对象样本的目标尺寸进行聚类,进而得到多个尺寸类别,根据目标对象样本的目标对象样本坐标和尺寸类别,确定针对尺寸类别的目标区域,由此得到的目标区域中包括的目标对象样本的尺寸类别相同,其目标尺寸也属于同一类。根据目标区域和其中的目标对象样本的目标尺寸,确定目标滑动窗口的滑窗参数,这些滑窗参数所对应的目标滑动窗口,和对应目标区域中的目标对象样本的尺寸类别相适配,基于由此确定的滑窗参数构建切割待处理图像的滑动窗口。基于滑动窗口切割待处理图像,可以准确的将待处理图像中与滑动窗口对应的区域,切割成符合要求的目标子图像,解决了相关技术中无法准确切割图像的问题。另外,相对于对待处理图像进行多尺度的缩放处理,对处理后的图像进行切割的方法,本实施例无需对待处理图像进行缩放处理后再切割,减少了目标子图像的个数,从而降低了数据处理量,提高了数据处理效率。
在一个实施例中,根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,可以包括如下步骤:
子步骤210,获取在目标图像样本的每个预设区域中,目标对象样本的对象样本分布密度。
示例地,可以将目标图像样本划分为多个预设区域,每个预设区域设定有对应的预设密度阈值。示例地,每个预设区域的预设密道阈值可以相等,也可以不相等。通过统计每个预设区域中目标对象样本的个数,根据个数和对应预设区域的面积的比值,得到目标对象样本的对象样本分布密度。
子步骤211,在确定每个预设区域中目标对象样本的对象样本分布密度,小于与预设区域对应的预设密度阈值的情况下,获取新的图像样本。
其中,新的图像样本和目标图像样本,是通过相同拍摄角度和相同拍摄范围的图像采集设备采集或者同一个图像采集设备得到的,因此新图像样本和目标图像样本的坐标系完全一致。
在本步骤中,在确定每个预设区域中目标对象样本的对象样本分布密度,小于与预设区域对应的预设密度阈值的情况下,说明目标对象样本在目标图像样本中的分布密度还处于较稀疏状态,不满足后续确定滑动窗口的要求。
在一个实施例中,在确定每个预设区域中目标对象样本的对象样本分布密度,大于或等于与预设区域对应的预设密度阈值的情况下,对累积目标图像样本中的目标对象样本的目标尺寸进行聚类,得到多个尺寸类别。
每个预设区域中目标对象样本的对象样本分布密度,大于或等于与预设区域对应的预设密度阈值,说明说明目标图像样本中,对象样本均匀且比较密集。
子步骤212,将新的图像样本中的对象样本映射到目标图像样本中,得到新的目标对象样本。
其中,新的目标对象样本具备对应的目标尺寸。
示例地,通过目标检测模型,获取新的图像样本中的对象样本的对象坐标和对象尺寸。将对象样本在新的图像样本中的对象坐标,作为其在目标图像样本中的坐标,将对象样本在新的图像样本中的对象尺寸,作为其在目标图像样本中的坐标,实现将对象样本映射到目标图像样本中,得到新的目标对象样本。
在一个实施例中,目标图像样本和新的目标图像样本的对应的坐标系相同,例如,都是以图像的左上角点为原点,以沿着图像宽度的方向为X轴,以沿着图像长度的方向为Y轴,构建坐标系。在这种情况下,将新的图像样本中的对象样本映射到目标图像样本中,相当于把新的目标图像样本中的对象样本,和目标图像样本中的目标对象样本,叠加道一个坐标系中。
步骤213,根据新的目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域。
示例的,在确定新的对象样本分布密度大于或等于对应的预设密度阈值的情况下,对新的目标对象样本的目标尺寸进行聚类,得到多个尺寸类别。在确定新的对象样本分布密度小于对应的预设密度阈值的情况下,继续获取其他的图像样本,进而获取更多的目标对象样本,直至最新新的目标对象样本的对象样本分布密度大于或等于对应的预设密度阈值的情况下,然后对最新新的目标对象样本的目标尺寸进行聚类,得到多个尺寸类别。
下面结合图5,对获取新的目标对象样本的方法进行进一步示例性说明,如图5所示,对图5(1)所示的单帧图像样本,其中的对象样本分布不均匀,且比较稀疏,对象样本的对象样本分布密度不够大。在这种情况下,确定多个时刻点检测得到的单帧图像,例如图5(2)和图5(3),然后将单帧图像样本中的对象样本进行累加得到如图5(4)所示的图像样本,由此得到的图像样本中的对象样本分布均匀且比较密集。
需要说明的是,图5中示出的只是部分单帧图像,在本方案中,进行累加的单帧图像样本的个数,可以大于图中示出的3幅。
在本步骤中,在确定新的对象样本分布密度小于对应的预设密度阈值的情况下,获取新的图像样本,根据新的图像样本中的对象样本得到新的目标对象样本,然后进行聚类以得到尺寸类别。相当于获取了多帧图像样本的对象检测结果,然后把多帧图像样本的对象样本进行累加,以使对象样本分布密度符合要求。根据对象样本累加后的目标对象样本进行聚类,可以得到准确的尺寸类别。
在一个实施例中,在步骤210之后,还包括:
步骤214,在确定每个预设区域中目标对象样本的对象样本分布密度,大于或等于与预设区域对应的预设密度阈值的情况下,对目标对象样本进行聚类,得到多个尺寸类别。
在一个实施例中,步骤212可以包括如下子步骤:
子步骤2121,获取每个对象样本在新的图像样本中的第一对象坐标。
示例地,根据目标检测模型,得到新的图像样本中,每个对象样本的第一对象坐标。
子步骤2122,根据每个对象样本的第一对象坐标,将每个对象样本映射至目标图像样本中,得到新的目标对象样本。
在本步骤中,将对象样本在在新的图像样本中的第一对象坐标,作为对象样本在目标样本图像中的坐标,将对象样本映射至目标图像样本中。
根据每个对象样本的第一对象坐标,将对象样本映射至目标图像样本中,可以实现新的图像样本中的对象样本在目标图像样本中的累加,进而获取满足预设密度阈值的目标对象样本。
在一个实施例中,滑窗参数包括目标滑动窗口的目标滑动窗口尺寸;对应地,步骤209可以包括如下子步骤:
子步骤2091,根据目标对象样本的目标尺寸,以及预设标准对象的标准尺寸,获取目标尺寸和标准尺寸之间的第一尺寸比值。
示例地,对目标对象样本的目标尺寸和预设标准对象的标准尺寸进行比值运算,获取目标尺寸和标准尺寸之间的第一尺寸比值。
具体的,可以对计算得到的第一尺寸比例进行四舍五入的方式处理,以减少第一尺寸比值的种类,提高数据处理效率。
示例地,可以根据预设对象识别数据集中的数据,获取预设标准对象的标准尺寸。
例如,在一个实施例中,目标对象为行人,预设对象识别数据库为行人识别数据集CityPerson,该数据库中包含了四种规格的标准对象,具体的,不同规格的标准对象的高度标准分别为:大尺寸标准对象的目标高度h满足:h≥100,中尺寸标准对象的目标高度h满足:75≤h<100,小尺寸标准对象的目标高度h满足:50≤h<75,极小尺寸标准对象的目标高度h满足h<50。
在另一个实施例中,预设对象识别数据库为COCO数据集,在该数据集中,大目标的面积>96×96,中目标的面积范围为[32×32, 96×96],小目标的面积<32×32。
参照这两个预设对象识别数据中不同规格的标准对象,以及与每个标准对象对应的尺寸,在一个实施例中,将行人的标准像素点高度设置为100,即,在该实施例中,将预设标准对象(行人)的标准尺寸设置为100。
在一个实施例中,参照图6,使用不同颜色或大小的矩形框,标识不同第一尺寸比值的目标对象样本。需要说明的是,同一颜色的目标对象样本分布在同一个目标区域内,且相邻第一尺寸比例值的目标对象样本所分布的目标区域之间,可能存在交叉。
具体的,根据目标对象样本对应的颜色进行聚类,去除聚类结果中的噪声点,统计具有相同第一尺寸比例值的目标对象样本所属目标区域的区域坐标,其中,各区域坐标至少包括目标区域的起始点和终点。示例地,目标区域为矩形,起始点和终点可以为矩形对角线中的两个端点。
在另一个实施例中,参照图7,使用数据标识不同第一尺寸比值的目标对象样本。
其中,目标图像样本中的目标对象样本的第一尺寸比例值,和目标对象样本与图像采集设备之间的距离,以及图像采集设备拍摄目标图像样本的角度相关。因此,对同一个目标对象样本,当其在移动的过程中,其在目标图像样本中的位置和第一尺寸比例值都会发生变化。
子步骤2092,根据第一尺寸比值,以及针对目标检测模型的输入尺寸,获取针对目标区域的目标滑动窗口的目标滑动窗口尺寸;
具体的,目标检测模型的输入尺寸,可以是目标模型可以处理的输入图像的最大尺寸,也可以是小于该最大尺寸的任意尺寸。
示例地,获取第一尺寸比例值的平方,对第一尺寸比例值的平方和预设尺寸进行乘积运算,得到目标滑动窗口的目标滑动窗口尺寸。进一步的,根据如下方法,得到目标滑动窗口的目标滑动窗口尺寸S:
S= rh2×s_input
其中,rh为第一尺寸比例值,s_input为预设尺寸。
示例地,目标检测器对应的预设尺寸s_input=800×1440,当 rh =1时,采用S=800×1440的目标滑动窗口,切割与rh =1对应的目标区域。当rh =2时,采用S=1600×2880的目标滑动窗口,切割与rh =2对应的目标区域。
进一步的,将切割得到的目标子图像样本输入目标检测器时,进行尺度缩放,缩放后的目标子图像样本的面积S’=1/ rh 2×S。由此,在在进行尺度缩放后,目标子图像仍以800×1440的大小输入目标检测器。
获取目标尺寸和标准尺寸之间的第一比例值,根据第一比例值和目标检测模型的输入尺寸,可以得到满足目标检测模型的输入尺寸要求的目标滑动窗口尺寸。
在一个实施例中,子步骤2092,可以包括如下子步骤:
子步骤2093,根据第一尺寸比值,获取目标区域的初始滑动窗口的初始滑窗尺寸。
示例地,根据如下方法,得到目标滑动窗口的滑窗尺寸S,该滑窗尺寸S,即为目标区域的初始滑窗尺寸:
S= rh2×s_input
其中,rh为第一尺寸比例值,s_input为预设尺寸。
子步骤2094,按照第一预设方向滑动初始滑动窗口,得到滑动区域。
在本步骤中,第一预设方向为与第二预设方向垂直的方向,图片尺寸和实际尺寸的比值,沿着第二预设方向递增或递减。
子步骤2095,根据滑动区域所包含的至少部分目标区域的第一尺寸比值,确定目标滑动窗口尺寸。
示例地,至少部分的目标区域的区域个数为1,则直接根据第一尺寸比值确定目标滑动窗口尺寸。
比如,在一个实施例中,第一尺寸比值为1,根据该第一尺寸比值计算得到的目标滑动窗口对应的滑动区域,只覆盖了第一尺寸比值为1的目标对象样本所属的第一目标区域,或者覆盖了第一尺寸比值为1的目标对象样本所属的第一目标区域,以及其他目标区域的一部分,则直接根据第一尺寸比例值1,确定出目标滑动窗口的目标滑动窗口尺寸。
示例地,至少部分的目标区域的区域个数大于或等于3,则从各目标区域的第一尺寸比值中确定出第二尺寸比值,并根据第二尺寸比值确定目标滑动窗口尺寸。
示例地,确定在沿着第二预设方向上,目标滑动窗口和不同第一尺寸比值的目标区域的交并关系。其中,第二预设方向,为图像尺寸和实际尺寸的比值沿着该方向递增或递减的方向。
在第二预设方向上,目标滑动窗口完全覆盖至少部分的目标区域的情况下,表示该目标滑动窗口完全覆盖该至少部分的目标滑动窗口。
其中,若目标滑动窗口只覆盖了某个目标区域的情况下,则目标滑动窗口不包含该目标区域。
比如,参照图8,对于第一尺寸为1的第一目标区域T1,根据该第一尺寸比值计算得到的目标滑动窗口W1对应的滑动区域,可以覆盖第一尺寸比值为1的目标对象样本所属的第一目标区域T1,以及部分第一尺寸比值为2的目标对象样本所属的第二目标区域T2,则直接根据第一尺寸比值,确定该目标滑动窗口的滑窗尺寸。
比如,参照图9,未处理的目标区域中,最小的目标区域的第一尺寸比值为4,根据该第一尺寸比值计算得到的目标滑动窗口W2对应的滑动区域,覆盖了第一尺寸比值为4的目标对象样本所属的第四目标区域T3、第一尺寸比值为5的目标对象样本所属的第五目标区域T4,以及第一尺寸比值为6的目标对象样本所属的第六目标区域T5。则对根据第一尺寸比值4计算出的目标滑动窗口进行调整,具体的:从第一尺寸比值4、第一尺寸比值5和第一尺寸比值6中确定出一个中间值(等于5),将该中间值作为第二尺寸比值,根据第二尺寸比值重新确定目标滑动窗口。在图9中,第一尺寸为3的第三目标区域未示出。
需要说明的是,图8和图9只是对目标滑动窗口和目标区域的简单示意图,在本实施例的实际应用中,目标图像样本为照片形式,且照片中目标对象样本的分布密度可能比图8和图9示出的分布密度更大。
在一个实施例中,子步骤2093,可以包括如下子步骤:
子步骤2096,从目标区域中,确定出未确定滑动窗口的待处理区域。
示例地,多个目标区域包括:与第一尺寸比值1对应的第一目标区域,与第一尺寸比值2对应的第二目标区域,与第一尺寸比值3对应的第三目标区域,以及与与第一尺寸比值4对应的第四目标区域。
其中根据第一尺寸比值1确定出的目标滑动窗口,只完全覆盖了第一目标区域,则该目标滑动窗口为针对第一目标区域的滑动窗口。
其中,第二目标区域、第三目标区域和第四目标区域,为未确定滑动窗口的待处理区域。
子步骤2097,从待处理区域中,确定出目标待处理区域,目标待处理区域对应的第一尺寸比值,小于其他待处理区域对应的第一尺寸比值。
示例地,第二目标区域、第三目标区域和第四目标区域,为未确定滑动窗口的待处理区域,这三个目标区域对应的第一尺寸比值分别为2、3、4,其中,第二目标区域的第一尺寸比值最小,则第二目标区域为目标待处理区域。
子步骤2098,根据目标待处理区域对应的第一尺寸比值,获取初始滑动窗口的初始滑动窗口尺寸。
示例地,目标待处理区域为第二目标区域,与其对应的第一尺寸比值为2,则根据第一尺寸比值2确定初始滑动窗口。
在一个实施例中,子步骤2095,可以包括如下子步骤:
子步骤2099,从滑动区域所包含的每个目标区域的第一尺寸比值中,确定出第二尺寸比值。
在一个实施例中,从每个目标区域的第一尺寸比值中,确定出第一尺寸比值的中间值,将该中间值作为第二尺寸比值。
子步骤2100,根据第二尺寸比值,确定目标滑动窗口尺寸。
示例地,根据第二尺寸比值,以及与目标检测模型对应的预设尺寸,确定目标滑动窗口尺寸。
在本实施例中,从第一尺寸比值中确定出第二尺寸比值,根据第二尺寸比值确定目标滑动窗口尺寸,相当于对根据第一尺寸比值确定的滑动窗口进行调整,得到新的滑动窗口,该滑动窗口即为针对根据第一尺寸比值确定的滑动窗口包含的至少部分目标区域的目标滑动窗口。通过滑动窗口的更新,提高了目标滑动窗口的准确性。
在一个实施例中,滑窗参数包括目标滑动窗口的缩放比例值。
其中,滑窗缩放比例用于在根据目标滑动窗口得到待处理图像的初始子图像后,根据缩放比例值对初始子图像进行缩放处理,以得到与初始子图像对应的目标子图像。
对应地,步骤209可以包括如下子步骤:
子步骤2101,根据第一尺寸比值,获取针对目标滑动窗口的缩放比例值。
示例地,将第一尺寸比值的倒数,作为目标滑动窗口的缩放比例值。例如,在一个实施例中,第一尺寸比值为2,根据该第一尺寸比值确定的目标滑动窗口的目标滑动窗口尺寸S=1600×2880,对应地,根据该目标滑动窗口得到的初始子图像的尺寸也等于1600×2880,则根据缩放比例值1/2,对初始子图像进行缩放处理,得到缩放后的目标子图像尺寸为800×1440。
在一个实施例中,滑窗参数还包括目标滑动窗口的目标区域的起始点位置和目标区域的结束点位置;
对应地,步骤209可以包括如下子步骤:
子步骤2102,获取至少部分目标区域的初始区域坐标。
在一个实施例中,目标区域为矩形区域,目标区域的起始区域坐标,可以包括对角线上两个点的坐标。也可以包括其他能唯一确定目标区域位置的点的坐标。
子步骤2103,根据至少部分目标区域的初始区域坐标,确定至少部分目标区域的外接矩形;
具体的,外接矩形的第一矩形边和第二矩形边,与第一预设方向平行,第一预设方向是目标滑动窗口滑动的方向。
子步骤2104,将外接矩形第一角点的第一角点坐标,和外接矩形的第二角点的第二角点坐标,分别作为目标滑动窗口的目标区域的起始点位置和结束点位置;
其中,第一角点和第二角点为外接矩形对角线的两个端点,或者是第一矩形边的两个端点,或者是第二矩形边的两个端点。
在一个实施例中,每个目标区域为矩形,每个目标区域包括互相平行的第一边和第二边,各目标区域的第一边和第二边彼此平行。比如,第一目标区域的第一边和第二边,与第二目标区域的第一边和第二边平行。其中,第一边和第二边,与第一预设方向平行,第一预设方向是目标滑动窗口滑动的方向。
各个目标区域的起始点均为左上角点、均为左下角点、均为右上角点,或者均为右下角点。按照与第一预设方向垂直的第二预设方向,对各个目标区域的进行排序,构成如表1所示的坐标排序数组,其中,区域号越小,对应的目标区域的第一尺寸比值越小。
表1
示例地,以目标图像样本的左下角点为原点,沿着第一预设方向构建X轴,沿着第二预设方向的方向构建Y轴,以获得笛卡尔坐标系。并获取在该坐标系下,各区域的起始点坐标和结束点坐标。
具体的,在表1中,(x11,y11)和(x12,y12)分别表示区域号为1的区域的起始点的横坐标和纵坐标,以及结束点的横坐标和纵坐标,(x21,y21)和(x22,y22)分别表示区域号为2的区域的起始点的横坐标和纵坐标,以及结束点的横坐标和纵坐标。(x31,y31)和(x32,y32)分别表示区域号为3的区域的起始点的横坐标和纵坐标,以及结束点的横坐标和纵坐标。(x41,y41)和(x42,y42)分别表示区域号为4的区域的起始点的横坐标和纵坐标,以及结束点的横坐标和纵坐标。(x51,y51)和(x52,y52)分别表示区域号为5的区域的起始点的横坐标和纵坐标,以及结束点的横坐标和纵坐标。
在一个实施例中,在确定出某个目标区域对应的目标滑动窗口后,将该目标区域的数据从坐标排序数组中删除,得到动态更新的坐标排序数组。由此,每次确定目标滑动窗口时,都可以从坐标排序数组中确定出序号最小的目标区域,基于该目标区域的第一尺寸比值,确定目标滑动窗口的目标滑动窗口参数。
在本实施例中,通过获取至少部分目标区域的外接矩形,将该外接矩形中对角线上的两个端点作为目标滑动窗口的目标区域的起始点位置和结束点位置,或者将外接矩形中第一矩形边的两个端点,作为目标滑动窗口的目标区域的起始点位置和结束点位置,或者将将外接矩形中第二矩形边的两个端点,作为目标滑动窗口的目标区域的起始点位置和结束点位置。可以准确确定出目标滑动窗口的目标区域的起始点位置和结束点位置,由此,目标滑动窗口在滑动时,滑动过的滑动区域,覆盖了外接矩形的区域,因为外接矩形包括至少部分目标区域,所以由此确定出的目标区域的起始点位置和结束点位置,可以确保目标滑动窗口的滑动区域,可以覆盖至少部分目标区域。
在一个实施例中,滑窗参数包括:将目标滑动窗口沿着第一预设方向滑动时,相邻两个目标滑动窗口之间的重叠比例值;
对应地,步骤209可以包括如下子步骤:
子步骤2105,从至少部分目标区域的第一尺寸比值中,确定出第三尺寸比值,第第三尺寸比值大于第一尺寸比值中的其他第一尺寸比值。
比如,第四目标区域、第五目标区域和第六目标区域,对应的第一尺寸比值分别为4、5、6,根据第四目标区域的第一尺寸比值4确定出的目标滑动窗口,沿着第一预设方向滑过的滑动区域,可以覆盖第五目标区域和第六目标区域,则从这三个第一尺寸比值中,确定出的第三尺寸比值为6。
子步骤2106,根据第二尺寸比值、第三尺寸比值、预设标准对象的标准尺寸,以及目标检测模型的输入尺寸,获取重叠比例值。
示例地,获取第三尺寸比值和预设标准对象的标准尺寸的第一乘积,第二尺寸比值和目标检测模型的输入尺寸的第二乘积,对第一乘积和第二乘积进行比值运算,然后乘以预设系数,得到重叠比例值。
进一步的,根据如下方法获取重叠比例值overlap_r:
overlap_r=α×(rmax_w×object_w)/(rw×slide_w)。
其中rmax_w第三尺寸比值, rw表示第二尺寸比值, object_w为预设标准对象的标准尺寸, slide_w为目标检测模型的输入尺寸,α为预设系数,预设系数可以根据经验值得到。在一个实施例中,预设标准对象的标准尺寸object_w为50,目标检测模型的输入尺寸slide_w为1440。
示例地,第一目标区域对于的第一尺寸比值为1,根据该值确定出的目标滑动窗口,只完全覆盖了第一目标区域,则overlap_r=α×(1×object_w)/(1×slide_w)。
示例地,第四目标区域、第五目标区域和第六目标区域,对应的第一尺寸比值分别为4、5、6,根据第四目标区域的第一尺寸比值4确定出的目标滑动窗口,沿着第一预设方向滑过的滑动区域,可以覆盖第五目标区域和第六目标区域,则从这三个第一尺寸比值中,确定出的第二尺寸比值为5,第三尺寸比值为6,则预设三个目标区域对应的目标滑动窗口的重叠比例值overlap_r=α×(6×object_w)/(5×slide_w)。
本申请实施例还提供了一种图像识别方法,方法基于前述实施例及可选实施例获取的滑窗参数构建期望滑动窗口,根据期望滑动窗口切割图像以得到目标子图像,然后将目标子图像输入目标检测模型,得到待处理图像中包括的目标对象。
图10是本发明实施例提供的一种图像识别方法。参照图10,方法可以包括如下步骤:
步骤301,获取滑窗参数。
其中,滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数。
获取滑窗参数的方法,在前述实施例中已作说明,此处不再赘述。
步骤302,根据滑窗参数构建期望滑动窗口。
在本步骤中,与滑窗参数对应的滑窗,即为构建得到的滑窗。
步骤303,根据期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
示例地,沿着第一预设方向移动滑窗,得到多个和滑窗对应的子图像,这些子图像即为对待处理图像进行切割所得到的目标子图像。
步骤304,将目标子图像输入目标检测模型,得到待处理图像中包括的目标对象。
在本步骤中,将将目标子图像输入目标检测模型,目标检测模型输出待处理图像中包括的目标对象。
在一个实施例中,通过离线处理,得到目标样本图像对应的目标滑动窗口的滑窗参数,使用滑窗参数切割待处理图像,得到目标子图像,然后根据目标检测模型处理目标子图像,得到目标对象,并将目标子图像中的目标对象映射至待处理图像中,得到最终检测结果,并将检测结果输出至上层应用端进行使用。
在一个实施例中,在实际部署中,通过精确划分结果对图像进行快速划分;该切分模式能在有效保证目标检测精度的情况下,尽量减少子图像数据,以加速目标检测,让目标检测速度提升近10倍;同时该方法降低了超大分辨率图像对硬件设备的要求,提高该目标检测系统的性价比。
综上,在本实施例中,基于滑窗参数构建期望滑动窗口,基于期望滑动窗口切割待处理图像,得到目标子图像,而滑窗参数是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数。由此,基于滑动窗口切割待处理图像,可以准确的将待处理图像中与滑动窗口对应的区域,切割成符合要求的目标子图像,解决了相关技术中无法准确切割图像的问题。另外,相对于对待处理图像进行多尺度的缩放处理,对处理后的图像进行切割的方法,本实施例无需对待处理图像进行缩放处理后再切割,减少了目标子图像的个数,从而降低了数据处理量,提高了数据处理效率。
在一个实施例中,目标滑动窗口的滑窗参数包括:目标滑动窗口的目标滑动窗口尺寸、目标区域的起始点位置、目标区域的结束点位置、重叠比例值,以及缩放比例值;
对应地,步骤303可以包括如下子步骤:
子步骤3031,以目标区域的起始点位置为期望滑动窗口的起始点,沿着第一预设方向滑动目标滑动窗口,并在目标区域的结束点位置处停止滑动,将与目标滑动窗口对应的目标区域切割为多个初始子图像;每个初始子图像的尺寸和目标滑动窗口尺寸相同,相邻两个期望滑动窗口之间重叠区域与期望滑动窗口的目标滑动窗口尺寸的比值,等于重叠比例值。
示例地,在滑动窗口沿着第一预设方向滑动过程中,根据目标区域的起始点位置,确定第一个目标滑动窗口位置,根据第一个目标滑动窗口的位置,以及滑动窗口重叠比例值,确定出第二个目标滑动窗口,基于该方法,依次确定第二个目标滑动窗口之后的所有滑动窗口位置。其中,最后一个目标滑动窗口的位置和目标区域的结束点位置相对于。
其中,每个目标滑动窗口对应的待处理图像的区域,即为初始子图像的区域。
子步骤3032,根据缩放比例值对初始子图像进行缩放处理,获得与初始子图像对应的目标子图像。
在本步骤中,目标子图像为需要输入目标检测模型进行对象检测的子图像。
图11是本发明实施例提供的有一个图像处理方法的步骤流程图。参照图11,方法包括如下步骤:
步骤S11,获取目标图像样本。
在本步骤中,目标图像样本为大分辨的图像。其中,采集目标图像样本的图像采集设备,和采集待处理图像样本的图像设备可以为同一个,且其拍摄两类图像的角度及拍摄区域相同。
步骤S12,采用多种预设缩放比例,对目标图像样本进行缩放处理,得到多张缩放目标图像样本。
其中,预设缩放比例,可以根据经验数据确定。例如,预设缩放比例可以为0.2、0.2、0.3、0.4,或者其他缩放比例。
步骤S13,使用固定尺寸的预设滑动窗口切割多张缩放目标图像样本,得到多个子目标图像样本。
示例地,针对使用每个预设缩放比例得到的缩放目标图像样本,使用同一个尺寸的预设滑动窗口,对其进行切割处理,得到多个子目标图像样本。
步骤S14,使用目标检测器对多个目标子图像样本进行对象检测,得到目标对象样本。
示例地,将多个子目标图像样本输入目标检测器,得到目标对象样本。
步骤S15,对目标对象样本进行后处理。
示例地,对目标对象样本进行非极大值抑制处理,去除目标图样样本中的重叠目标对象。
步骤S16,统计预设区域中目标对象样本的个数。
示例地,可以将目标图像样本划分为多个预设区域,针对各预设区域,分别统计其中目标对象样本的个数。
步骤S17,根据个数获取目标对象样本的对象样本分布密度。
示例地,根据目标对象样本的个数,和对应预设区域的尺寸,得到目标对象样本的对象样本分布密度。
步骤S18,确定对象样本分布密度是否小于预设密度阈值,是则返回步骤S11,否则进入步骤S19。
示例地,可以根据用户需求设定预设密度阈值,例如,可以将预设密度阈值设定为0.9。
步骤S19,计算目标样本对象的目标尺寸和预设标准对象的标准尺寸之间的第一尺寸比值。
示例地,对目标样本对象的目标尺寸和预设标准对象的标准尺寸进行比值运算,得到第一尺寸比值。
步骤S20,获取第一尺寸比值分布情况。
具体的,获取第一尺寸比例值在目标图像样本中的分布情况。进一步的,分布情况包括:各第一尺寸比例值对应的目标对象样本,在目标图像样本中的位置。
步骤S21,根据第一尺寸比值分布情况,获取多个目标区域,以及与各目标区域对应的目标滑动窗口的滑窗参数。
示例地,根据第一尺寸比例值,对目标对象样本进行聚类。其中,每个第一尺寸比例值对应有目标对象样本的目标尺寸,由此,聚类得到的结果,可以是与目标尺寸对应的尺寸类别。
进一步的,根据聚类结果确定多个目标区域,针对每个目标区域,根据目标区域对应的第一尺寸比例值,确定对应的目标滑动窗口的滑窗参数。
在一个实施例中,对目标图像样本中的目标对象样本进行滤波处理,然后对处理后的目标对象样本进行聚类。
参照图12,图像识别方法还可以包括:
步骤S31,获取待处理图像。
其中,待处理图像为大分辨率的图像,目标检测模型无法直接处理待处理图像,需要对其进行切割以得到目标子图像,使用目标检测模型对目标子图像进行对象识别。
步骤S32,基于滑窗参数,对待处理图像中的预设目标区域进行分割,得到多个目标子图像。
具体的,根据滑窗参数确定滑动窗口,使用滑动窗口对待处理图像进行切割,得到多个目标子图像。
进一步的,使用滑动窗口,对待处理图像中,与滑动窗口对应的目标区域进行切割,得到多个目标子图像。
步骤S33,对目标子图像进行预处理。
示例地,采用平均滤波法,去除目标图像中的噪声。
步骤S34,对预处理后的目标子图像进行对象检测。
示例地,将目标子图像输入目标检测模型,实现对目标子图像的对象检测。
步骤S35,对检测得到的目标对象进行后处理。
示例地,使用非极大值抑制处理方法,对待处理图像中的目标对象进行处理,去除其中的对象重叠区域。
步骤S36,输出检测结果。
示例地,可以将检测结果输出至用户终端,以供用户直观获取对待处理图片中目标对象的检测结果。
参考图13,其示出了本申请实施例提供的一种滑窗参数确定装置,滑窗参数确定装置40包括:
第一获取模块401,用于获取目标图像样本;
第二获取模块402,用于获取目标图像样本包括的目标对象样本的目标尺寸;
第一划分模块403,用于根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域;
第一确定模块404,用于根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定针对每个目标区域的目标滑动窗口的滑窗参数;其中,滑窗参数用于构建滑动窗口,以根据滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;目标检测模型用于检测目标子图像中包括的目标对象。
可选地,第一划分模块403,可以包括:
聚类子模块,用于对目标对象样本的目标尺寸进行聚类,得到多个尺寸类别;
第一获取子模块,用于获取目标对象样本的目标对象样本坐标;
第一确定子模块,用于根据尺寸类别,以及属于尺寸类别的目标对象样本的目标对象样本坐标,确定针对尺寸类别的目标区域;
第二获取子模块,用于根据针对每个尺寸类别的目标区域,得到目标图像样本的多个目标区域。
可选地,第一划分模块403,可以包括:
第三获取子模块,用于获取在目标图像样本的每个预设区域中,目标对象样本的对象样本分布密度;
第四获取子模块,用于在确定每个预设区域中目标对象样本的对象样本分布密度,小于与预设区域对应的预设密度阈值的情况下,获取新的图像样本;
第五获取单元,用于将新的图像样本中的对象样本映射到目标图像样本中,得到新的目标对象样本;新的目标对象样本具备对应的目标尺寸。
第六获取单元,用于对新的目标对象样本的目标尺寸进行聚类,得到多个尺寸类别。
可选地,第一划分模块403还可以包括:
第七获取子模块,用于在获取在目标图像样本的每个预设区域中,目标对象样本的对象样本分布密度之后,在确定每个预设区域中目标对象样本的对象样本分布密度,大于或等于与预设区域对应的预设密度阈值的情况下,对目标对象样本进行聚类,得到多个尺寸类别。
可选地,第五获取单元,包括:
第五获取子单元,用于获取每个对象样本在新的图像样本中的第一对象坐标;
第六获取子单元,用于根据每个对象样本的第一对象坐标,将每个对象样本映射至目标图像样本中,得到新的目标对象样本。
可选地,滑窗参数包括目标滑动窗口的目标滑动窗口尺寸;
第一确定模块404可以包括:
第八获取子模块,用于根据目标对象样本的目标尺寸,以及预设标准对象的标准尺寸,获取目标尺寸和标准尺寸之间的第一尺寸比值;
第九获取子模块,用于根据第一尺寸比值,以及针对目标检测模型的输入尺寸,获取针对目标区域的目标滑动窗口的目标滑动窗口尺寸。
可选地,第九获取子模块可以包括:
第四获取单元,用于根据第一尺寸比值,获取目标区域的初始滑动窗口的初始滑动窗口尺寸;
第五获取单元,用于按照第一预设方向滑动初始滑动窗口,得到与初始滑动窗口尺寸对应的滑动区域;
第一确定单元,用于根据滑动区域所包含的至少部分目标区域的第一尺寸比值,确定目标滑动窗口尺寸。
可选地,第四获取单元,可以包括:
第二确定单元,用于从目标区域中,确定出未确定滑动窗口的待处理区域;
第三确定单元,用于从待处理区域中,确定出目标待处理区域,目标待处理区域对应的第一尺寸比值,小于其他待处理区域对应的第一尺寸比值;
第六获取单元,用于根据目标待处理区域对应的第一尺寸比值,获取初始滑动窗口的初始滑动窗口尺寸。
可选地,第一确定单元,可以包括:
第一确定子单元,用于从滑动区域所包含的每个目标区域的第一尺寸比值中,确定出第二尺寸比值;
第二确定子单元,用于根据第二尺寸比值,确定目标滑动窗口尺寸。
可选地,滑窗参数包括目标滑动窗口的缩放比例值;
对应地,第一确定模块404,可以包括:
第五获取子模块,用于根据第一尺寸比值,获取针对目标滑动窗口的缩放比例值。
可选地,滑窗参数还包括目标滑动窗口的目标区域的起始点位置和目标区域的结束点位置;
第一确定模块404,可以包括:
第十获取子模块,用于获取至少部分目标区域的初始区域坐标;
第二确定子模块,用于根据至少部分目标区域的初始区域坐标,确定至少部分目标区域的外接矩形,外接矩形的第一矩形边和第二矩形边,与第一预设方向平行,第一预设方向是目标滑动窗口滑动的方向;
第十一获取子模块,用于将外接矩形第一角点的第一角点坐标,和外接矩形的第二角点的第二角点坐标,分别作为目标滑动窗口的目标区域的起始点位置和结束点位置;
其中,第一角点和第二角点为外接矩形对角线的两个端点,或者是第一矩形边的两个端点,或者是第二矩形边的两个端点。
可选地,滑窗参数包括:将目标滑动窗口沿着第一预设方向滑动时,相邻两个目标滑动窗口之间的重叠比例值;
第一确定模块404,可以包括:
第三确定子模块,用于从至少部分目标区域的第一尺寸比值中,确定出第三尺寸比值,第第三尺寸比值大于第一尺寸比值中的其他第一尺寸比值;
第十二获取子模块,用于根据第二尺寸比值、第三尺寸比值、预设标准对象的标准尺寸,以及目标检测模型的输入尺寸,获取重叠比例值。
可选地,第二获取模块402,可以包括:
第十三获取子模块,用于根据多个不同的预设缩放比例,对目标图像样本进行图像缩放处理,得到多个不同尺寸的缩放目标图像样本;
第十四获取子模块,用于根据预设滑动窗口切割缩放目标图像样本,得到多个子目标图像样本;
第十五获取子模块,用于根据多个子目标图像样本,得到目标图像样本包括的目标对象样本的目标尺寸。
可选地,第十五获取子模块,可以包括:
第七获取单元,用于将多个目标子图像样本输入目标检测模型,获得每个子目标图像样本中包括的目标对象样本,以及目标对象样本在对应目标子图像样本中的初始对象尺寸;
第八获取单元,用于根据目标对象样本的初始对象样本尺寸,以及与目标对象样本所在子目标图像样本所对应的预设缩放比例,获取目标对象样本在目标图像样本中的目标尺寸。
综上,在本实施例中,通过获取目标图像样本,根据目标图像样本中目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,然后针对每个目标区域,根据其中目标对象样本的目标尺寸,确定目标区域的目标滑动窗口的滑窗参数。相当于根据不同目标尺寸,确定出不同滑窗参数的目标滑动窗口,这些目标滑动窗口和对应目标区域中目标对象样本的目标尺寸是相适配的,由此,通过滑窗参数构建滑动窗口,基于滑动窗口切割待处理图像,可以得到满足要求的目标子图像,不会出现相关技术中对整个待处理图像,使用尺寸固定的滑动窗口进行图像切割,导致切割结果不符合要求的问题。
另外,相对于先将待处理图像缩放到不同尺寸,对每个尺寸的缩放图像,使用固定尺寸的滑动窗口进行图像切割的方法,本实施例根据目标图像样本确定出针对各目标尺寸的目标滑动窗口,根据目标滑动窗口的滑窗参数确定用于切割待处理图像的滑动窗口,不需要对待处理图像进行多次缩放后,再进行多次切割,减少了切割得到的子目标图像的个数,提高了数据处理效率,降低了对处理设备的算力要求。
参考图14,其示出了本申请实施例提供的一种图像识别装置,图像识别装置50包括:
第三获取模块501,用于获取滑窗参数;其中,滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数;
第一构建模块502,用于根据滑窗参数构建期望滑动窗口;
第四获取模块503,用于根据期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
第五获取模块504,用于将多个目标子图像输入目标检测模型,得到待处理图像中包括的目标对象。
可选地,目标滑动窗口的滑窗参数包括:目标滑动窗口的目标滑动窗口尺寸、目标区域的起始点位置、目标区域的结束点位置、重叠比例值,以及缩放比例值;
第四获取模块503,可以包括:
切割子模块,用于根据目标区域的起始点位置、目标区域的结束点位置和重叠比例值,沿着第一预设方向滑动目标滑动窗口,将与目标滑动窗口对应的目标区域切割为多个初始子图像,每个初始子图像的尺寸和目标滑动窗口尺寸相同;
第十二获取子模块,用于根据缩放比例值对初始子图像进行缩放处理,获得与初始子图像对应的目标子图像。
综上,在本实施例中,对目标图像样本进行切割,得到多个目标图像样本,然后获取子图像样本中目标对象样本的目标尺寸,通过对目标对象样本的目标尺寸进行聚类,进而得到多个尺寸类别,根据目标对象样本的目标对象样本坐标和尺寸类别,确定针对尺寸类别的目标区域,由此得到的目标区域中包括的目标对象样本的尺寸类别相同,其目标尺寸也属于同一类。根据目标区域和其中的目标对象样本的目标尺寸,确定目标滑动窗口的滑窗参数,这些滑窗参数所对应的目标滑动窗口,和对应目标区域中的目标对象样本的尺寸类别相适配,基于由此确定的滑窗参数构建切割待处理图像的滑动窗口。基于滑动窗口切割待处理图像,可以准确的将待处理图像中与滑动窗口对应的区域,切割成符合要求的目标子图像,解决了相关技术中无法准确切割图像的问题。另外,相对于对待处理图像进行多尺度的缩放处理,对处理后的图像进行切割的方法,本实施例无需对待处理图像进行缩放处理后再切割,减少了目标子图像的个数,从而降低了数据处理量,提高了数据处理效率。
图15是根据一示例性实施例示出的一种电子设备700的框图。例如,电子设备700可以被提供为一服务器。参照图15,电子设备700包括处理组件722,其进一步包括一个或多个处理器,以及由存储器732所代表的存储器资源,用于存储可由处理组件722的执行的指令,例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件722被配置为执行指令,以执行本申请实施例提供的方法。
电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理,一个有线或无线网络接口750被配置为将电子设备700连接到网络,和一个输入输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本申请实施例还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现的方法。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
以上对本申请所提供的一种滑窗参数确定方法、图像识别方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (20)
1.一种滑窗参数确定方法,其特征在于,包括:
获取目标图像样本;
获取所述目标图像样本包括的目标对象样本的目标尺寸;
根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域;
根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数;
其中,所述滑窗参数用于构建期望滑动窗口,以根据所述期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;所述目标检测模型用于检测所述目标子图像中包括的目标对象。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,包括:
对所述目标对象样本的目标尺寸进行聚类,得到多个尺寸类别;
获取目标对象样本的目标对象样本坐标;
根据尺寸类别,以及属于所述尺寸类别的目标对象样本的目标对象样本坐标,确定针对所述尺寸类别的目标区域;
根据针对每个尺寸类别的目标区域,得到所述目标图像样本的多个目标区域。
3.根据权利要求1所述的方法,其特征在于,根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,包括:
获取在所述目标图像样本的每个预设区域中,所述目标对象样本的对象样本分布密度;
在确定所述每个预设区域中目标对象样本的对象样本分布密度,小于与预设区域对应的预设密度阈值的情况下,获取新的图像样本;
将所述新的图像样本中的对象样本映射到所述目标图像样本中,得到新的目标对象样本,新的目标对象样本具备对应的目标尺寸;
根据所述新的目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域。
4.根据权利要求3所述的方法,其特征在于,在获取在所述目标图像样本的每个预设区域中,所述目标对象样本的对象样本分布密度之后,还包括:
在确定每个预设区域中目标对象样本的对象样本分布密度,大于或等于与预设区域对应的预设密度阈值的情况下,对所述目标对象样本进行聚类,得到多个尺寸类别。
5.根据权利要求4所述的方法,其特征在于,将所述新的图像样本中的对象样本映射到所述目标图像样本中,得到新的目标对象样本,包括:
获取对象样本在所述新的图像样本中的第一对象坐标;
根据所述对象样本的第一对象坐标,将所述对象样本映射至所述目标图像样本中,得到所述新的目标对象样本。
6.根据权利要求1所述的方法,其特征在于,所述滑窗参数包括目标滑动窗口的目标滑动窗口尺寸;
所述根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数,包括:
根据所述目标对象样本的目标尺寸,以及预设标准对象的标准尺寸,获取所述目标尺寸和所述标准尺寸之间的第一尺寸比值;
根据所述第一尺寸比值,以及针对所述目标检测模型的输入尺寸,获取针对所述目标区域的目标滑动窗口的目标滑动窗口尺寸。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一尺寸比值,以及针对所述目标检测模型的输入尺寸,获取针对所述目标区域的目标滑动窗口的目标滑动窗口尺寸,包括:
根据第一尺寸比值,获取所述目标区域的初始滑动窗口的初始滑动窗口尺寸;
按照第一预设方向滑动初始滑动窗口,得到与初始滑动窗口尺寸对应的滑动区域;
根据所述滑动区域所包含的至少部分目标区域的第一尺寸比值,确定所述目标滑动窗口尺寸。
8.根据权利要求7所述的方法,其特征在于,所述根据第一尺寸比值,获取所述目标区域的初始滑动窗口的初始滑动窗口尺寸,包括:
从所述目标区域中,确定出未确定滑动窗口的待处理区域;
从所述待处理区域中,确定出目标待处理区域,目标待处理区域对应的第一尺寸比值,小于其他待处理区域对应的第一尺寸比值;
根据所述目标待处理区域对应的第一尺寸比值,获取所述初始滑动窗口的初始滑动窗口尺寸。
9.根据权利要求7所述的方法,其特征在于, 根据所述滑动区域所包含的至少部分目标区域的第一尺寸比值,确定所述目标滑动窗口尺寸,包括:
从所述滑动区域所包含的每个目标区域的第一尺寸比值中,确定出第二尺寸比值;
根据所述第二尺寸比值,确定所述目标滑动窗口尺寸。
10.根据权利要求6所述的方法,其特征在于,所述滑窗参数包括所述目标滑动窗口的缩放比例值;
所述根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数,包括:
根据所述第一尺寸比值,获取针对所述目标滑动窗口的缩放比例值。
11.根据权利要求7所述的方法,其特征在于,所述滑窗参数还包括所述目标滑动窗口的目标区域的起始点位置和目标区域的结束点位置;
所述根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数,包括:
获取所述至少部分目标区域的初始区域坐标;
根据所述至少部分目标区域的初始区域坐标,确定所述至少部分目标区域的外接矩形,所述外接矩形的第一矩形边和第二矩形边,与所述第一预设方向平行,所述第一预设方向是所述目标滑动窗口滑动的方向;
将所述外接矩形第一角点的第一角点坐标,和所述外接矩形的第二角点的第二角点坐标,分别作为所述目标滑动窗口的目标区域的起始点位置和结束点位置;
其中,所述第一角点和所述第二角点分别为所述外接矩形对角线的两个端点,或者分别是所述第一矩形边的两个端点,或者分别是所述第二矩形边的两个端点。
12.根据权利要求9所述的方法,其特征在于,所述滑窗参数包括:将所述目标滑动窗口沿着第一预设方向滑动时,相邻两个目标滑动窗口之间的重叠比例值;
所述根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数,包括:
从至少部分目标区域的第一尺寸比值中,确定出第三尺寸比值,所述第三尺寸比值大于所述第一尺寸比值中的其他第一尺寸比值;
根据所述第二尺寸比值、所述第三尺寸比值、预设标准对象的标准尺寸,以及所述目标检测模型的输入尺寸,获取所述重叠比例值。
13.根据权利要求1所述的方法,其特征在于,所述获取所述目标图像样本包括的目标对象样本的目标尺寸,包括:
根据多个不同的预设缩放比例,对所述目标图像样本进行图像缩放处理,得到多个不同尺寸的缩放目标图像样本;
根据预设滑动窗口切割所述缩放目标图像样本,得到多个子目标图像样本;
根据所述多个子目标图像样本,得到所述目标图像样本包括的目标对象样本的目标尺寸。
14.根据权利要求13所述的方法,其特征在于,所述根据所述多个子目标图像样本,得到所述目标图像样本包括的目标对象样本的目标尺寸,包括:
将所述多个目标子图像样本输入所述目标检测模型,获得每个子目标图像样本中包括的目标对象样本,以及目标对象样本在对应目标子图像样本中的初始对象尺寸;
根据目标对象样本的初始对象样本尺寸,以及与所述目标对象样本所在子目标图像样本所对应的预设缩放比例,获取目标对象样本在所述目标图像样本中的目标尺寸。
15.一种图像识别方法,其特征在于,包括
获取滑窗参数;
根据所述滑窗参数构建期望滑动窗口;
根据所述期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
将多个所述目标子图像输入所述目标检测模型,得到所述待处理图像中包括的目标对象;
其中,所述滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据目标区域和所述目标区域中目标对象样本的目标尺寸,确定出的针对目标区域的目标滑动窗口的参数。
16.根据权利要求15所述的方法,其特征在于,所述目标滑动窗口的滑窗参数包括:目标区域的起始点位置,目标区域的结束点位置,所述目标滑动窗口的目标滑动窗口尺寸、重叠比例值,以及缩放比例值;
所述期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像,包括:
以目标区域的起始点位置为期望滑动窗口的起始点,沿着第一预设方向滑动所述目标滑动窗口,并在所述目标区域的结束点位置处停止滑动,将与所述目标滑动窗口对应的目标区域切割为多个初始子图像;每个初始子图像的尺寸和所述目标滑动窗口尺寸相同,相邻两个期望滑动窗口之间重叠区域与期望滑动窗口的目标滑动窗口尺寸的比值,等于所述重叠比例值;
根据所述缩放比例值对所述初始子图像进行缩放处理,获得与所述初始子图像对应的目标子图像。
17.一种滑窗参数确定装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标图像样本;
第二获取模块,用于获取所述目标图像样本包括的目标对象样本的目标尺寸;
第一划分模块,用于根据所述目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域;
第一确定模块,用于根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定针对所述每个目标区域的目标滑动窗口的滑窗参数;其中,所述滑窗参数用于构建期望滑动窗口,以根据所述期望滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;所述目标检测模型用于检测所述目标子图像中包括的目标对象。
18.一种图像识别装置,其特征在于,包括
第三获取模块,用于获取滑窗参数;其中,所述滑窗参数,是根据目标对象样本的目标尺寸,从目标图像样本中划分得到多个目标区域,并根据每个目标区域和所述每个目标区域中目标对象样本的目标尺寸,确定出的针对每个目标区域的目标滑动窗口的参数;
第一构建模块,用于根据所述滑窗参数构建期望滑动窗口;
第四获取模块,用于根据所述滑动窗口切割待处理图像,得到多个满足目标检测模型处理要求的目标子图像;
第五获取模块,用于将多个所述目标子图像输入所述目标检测模型,得到所述待处理图像中包括的目标对象。
19.一种电子设备,其特征在于,包括:处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至16中任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至16中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311345618.7A CN117094994B (zh) | 2023-10-17 | 2023-10-17 | 滑窗参数确定方法、图像识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311345618.7A CN117094994B (zh) | 2023-10-17 | 2023-10-17 | 滑窗参数确定方法、图像识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117094994A true CN117094994A (zh) | 2023-11-21 |
CN117094994B CN117094994B (zh) | 2024-02-09 |
Family
ID=88783668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311345618.7A Active CN117094994B (zh) | 2023-10-17 | 2023-10-17 | 滑窗参数确定方法、图像识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117094994B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008900A (zh) * | 2019-04-02 | 2019-07-12 | 北京市遥感信息研究所 | 一种由区域到目标的可见光遥感图像候选目标提取方法 |
CN110781839A (zh) * | 2019-10-29 | 2020-02-11 | 北京环境特性研究所 | 一种基于滑窗的大尺寸图像中小目标识别方法 |
CN115187940A (zh) * | 2022-06-09 | 2022-10-14 | 中汽创智科技有限公司 | 一种用于车辆的图像检测方法和装置 |
US20230196705A1 (en) * | 2020-08-18 | 2023-06-22 | Molchip Technology (shanghai) Co., Ltd. | Method and apparatus for improving video target detection performance in surveillance edge computing |
-
2023
- 2023-10-17 CN CN202311345618.7A patent/CN117094994B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008900A (zh) * | 2019-04-02 | 2019-07-12 | 北京市遥感信息研究所 | 一种由区域到目标的可见光遥感图像候选目标提取方法 |
CN110781839A (zh) * | 2019-10-29 | 2020-02-11 | 北京环境特性研究所 | 一种基于滑窗的大尺寸图像中小目标识别方法 |
US20230196705A1 (en) * | 2020-08-18 | 2023-06-22 | Molchip Technology (shanghai) Co., Ltd. | Method and apparatus for improving video target detection performance in surveillance edge computing |
CN115187940A (zh) * | 2022-06-09 | 2022-10-14 | 中汽创智科技有限公司 | 一种用于车辆的图像检测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117094994B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
CN107909544B (zh) | 一种图像校正方法及系统 | |
CN115578616A (zh) | 多尺度物体实例分割模型的训练方法、分割方法和装置 | |
CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
CN111932545A (zh) | 图像处理方法、目标计数方法及其相关装置 | |
JP6542230B2 (ja) | 投影ひずみを補正するための方法及びシステム | |
KR101903523B1 (ko) | 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법 | |
CN113177941B (zh) | 一种钢卷边裂识别方法、系统、介质和终端 | |
CN117094994B (zh) | 滑窗参数确定方法、图像识别方法及装置 | |
Fang et al. | 1-D barcode localization in complex background | |
CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
CN111179287A (zh) | 人像实例分割方法、装置、设备及存储介质 | |
CN113657370B (zh) | 一种文字识别方法及其相关设备 | |
CN113362227B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
CN115424181A (zh) | 目标对象的检测方法和装置 | |
CN115249024A (zh) | 条码识别方法、装置、存储介质及计算机设备 | |
CN114419428A (zh) | 一种目标检测方法、目标检测装置和计算机可读存储介质 | |
CN114511862A (zh) | 表格识别方法、装置及电子设备 | |
CN114445848A (zh) | 一种获取电气图纸中元器件识别位置的方法及系统 | |
CN110473245A (zh) | 一种深度图像文件筛选方法及系统 | |
CN114255344A (zh) | 安检图像切分方法、装置、电子设备及计算机可读介质 | |
CN111950659B (zh) | 双层车牌图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |