CN113111960A - 图像处理方法和装置以及目标检测模型的训练方法和系统 - Google Patents

Abstract

本发明提供了一种图像处理方法和装置以及目标检测模型的训练方法和系统，其中，图像处理方法包括：统计第一原始图像中显示的各类别目标对象的数量，并根据各类别目标对象的数量计算其对应的重采样次数；获取第一预设缩放比例，并将第一原始图像按第一预设缩放比例缩放后获取第一待裁图像，对各类别目标对象中的每个目标对象，在第一待裁图像上裁取出完全包含其的正样本图像块；汇集裁取出的所有正样本图像块进入样本图像池，作为第一类的待训练样本图像。本发明解决了现有技术中对像素尺寸较大的原图像的处理方法不合理而最终导致模型训练的精度过低或者难度过大的问题。

Description

图像处理方法和装置以及目标检测模型的训练方法和系统

技术领域

本发明涉及图像处理以及模型训练技术领域，具体而言，涉及一种图像处理方法和装置以及目标检测模型的训练方法和系统。

背景技术

随着影像学技术的不断发展，取像设备所拍摄的视频或图像的清晰度逐步提升，但随之而来的问题，是视频或图像的像素尺寸越来越大，从而对处理其的GPU内存的要求越来越高。

在对深度学习模型进行训练时，综合考量模型训练效率以及经济性的成本控制，通常需要先行对像素尺寸较大的图像进行处理，之后再将处理后的图像作为样本图像输入深度学习模型进行训练。

相关技术中，对像素尺寸较大的原图像处理方法：

一种是直接将原图像进行放缩到预设尺寸，原图像的直接缩小可能会导致其中的目标对象变化过小而因像素缺失无法被精准识别，进而造成后期模型训练的精度过低；而原图像的直接放大可能会增加后续对目标对象的检测负担，提高模型训练的难度；

另一种方法是直接在原图像上随机裁取数个图像块作为深度学习模型的输入样本进行训练，该种方法的弊端是由于在原图像上裁取图像块后的剩余部分不会作为模型的输入样本，从而存在深度学习模型的输入样本不能包含原图像的全部原始数据信息的问题，进而影响了模型训练的精度。

发明内容

本发明的主要目的在于提供一种图像处理方法和装置以及目标检测模型的训练方法和系统，以解决现有技术中对像素尺寸较大的原图像的处理方法不合理而最终导致模型训练的精度过低或者难度过大的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种图像处理方法，包括：步骤S1，统计第一原始图像中显示的各类别目标对象的数量，并根据各类别目标对象的数量计算其对应的重采样次数k；步骤S2，获取第一预设缩放比例r，并将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，对各类别目标对象中的每个目标对象，在第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个目标对象的次数为其所属类别对应的重采样次数k；步骤S3，汇集裁取出的所有正样本图像块进入样本图像池，作为第一类的待训练样本图像。

进一步地，步骤S1包括：步骤S11，在各类别目标对象中选取数量最多者作为基础对象，设置其对应的重采样次数k的数值为1；步骤S12，其余类别的目标对象的重采样次数k按照公式(1)计算获得，公式(1)为：k＝Y/X，其中，Y为作为基础对象的目标对象的数量，X为其余类别的目标对象的数量；当其余类别的目标对象的重采样次数k为小数时，对其进行上取整数或下取整数或按预设条件取整数。

进一步地，按预设条件取整数包括：步骤S121，在0至1之间选取任意一个纯小数作为比较值；步骤S122，判断比较值与其余类别的目标对象的重采样次数k的小数部分之间的大小关系，当比较值小于小数部分时，对重采样次数k进行上取整数，当比较值大于小数部分时，对重采样次数k进行下取整数。

进一步地，对于其余类别的目标对象中的每一类目标对象进行重采样次数k的计算时，均执行一次步骤S121，选取数值不同的纯小数作为比较值。

进一步地，在步骤S2中，获取第一预设缩放比例r包括：步骤S21，设置各类别目标对象的像素高度裁取阈值范围；步骤S22，按照公式(2)计算获得第一预设缩放比例r，公式(2)为：r＝P/Q，其中，P为目标对象所属类别对应的像素高度裁取阈值范围中的任意值，Q为目标对象在第一原始图像中的实际测量像素高度。

进一步地，各目标对象的类别包括：行人，对应于行人的像素高度裁取阈值范围为[40,160]；非机动车辆，对应于非机动车辆的像素高度裁取阈值范围为[60,180]；机动车辆，对应于机动车辆的像素高度裁取阈值范围为[80,400]。

进一步地，对于每个目标对象的裁取，均在其所属类别对应的像素高度裁取阈值范围中进行一次取值后计算出第一预设缩放比例r，基于该第一预设缩放比例r获取第一待裁图像后完成裁取。

进一步地，第一原始图像为多张，对于多张第一原始图像，逐一按步骤S1至步骤S3完成对第一原始图像的处理。

进一步地，正样本图像块的像素宽度和像素高度均为32的倍数，正样本图像块的像素宽度大于等于32且小于等于1024；正样本图像块的像素高度大于等于32且小于等于1024。

进一步地，图像处理方法还包括：步骤S4，按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式在第二待裁图像上依次裁取出多个负样本图像块，其中，负样本图像块与正样本图像块的大小相等；步骤S5，筛除多个负样本图像块中包含有完整的目标对象的负样本图像块，汇集剩余的负样本图像块进入样本图像池，作为第二类的待训练样本图像。

进一步地，在步骤S4中，当裁取了整数个负样本图像块后，在沿第二待裁图像的宽度和/或高度方向上有不足一次负样本图像块裁取的截余部分，则对第二待裁图像进行一次包含有截余部分的反向裁取，以获取符合尺寸规格的负样本图像块。

进一步地，第二预设缩放比例f取值范围为[0.6,1.4]。

根据本发明的另一方面，提供了一种目标检测模型的训练方法，包括：按预定条件选取待训练样本图像形成待训练样本图像集，并将待训练样本图像集输入目标检测模型进行训练，待训练样本图像使用上述的图像处理方法获得。

进一步地，按预定条件选取待训练样本图像包括：在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64。

进一步地，按预定条件选取待训练样本图像包括：选取样本图像池中的正样本图像块进入待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的第一原始图像上裁取的正样本图像块，当样本图像池中的所有正样本图像块少于预定数量时，用样本图像池中的负样本图像块补充至预定数量。

根据本发明的另一方面，提供了一种图像处理装置，包括：正样本生成模块，用于统计第一原始图像中显示的各类别目标对象的数量，并根据各类别目标对象的数量计算其对应的重采样次数k；以及获取第一预设缩放比例r，并将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，对各类别目标对象中的每个目标对象，在第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个目标对象的次数为其所属类别对应的重采样次数k；以及汇集裁取出的所有正样本图像块进入样本图像池，作为第一类的待训练样本图像；负样本生成模块，用于按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式连续在第二待裁图像上依次裁取出多个负样本图像块，其中，负样本图像块与正样本图像块的大小相等；以及筛除多个负样本图像块中包含有完整的目标对象的负样本图像块，汇集剩余的负样本图像块进入样本图像池，作为第二类的待训练样本图像。

根据本发明的另一方面，提供了一种目标检测模型的训练系统，包括：图像处理装置，图像处理装置为上述的图像处理装置；样本选取装置，用于按预定条件选取待训练样本图像形成待训练样本图像集，其中，待训练样本图像通过图像处理装置生成；目标检测模型，用于接收待训练样本图像集并进行训练。

进一步地，按预定条件选取待训练样本图像包括：在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64；或选取样本图像池中的正样本图像块进入待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的第一原始图像上裁取的正样本图像块，当样本图像池中的所有正样本图像块少于预定数量时，用样本图像池中的负样本图像块补充至预定数量。

应用本发明提供的图像处理方法，作为一种目标检测模型训练过程中的图像数据增强方法，即解决了因图像的像素尺寸过大而不能直接作为模型训练图像样本输入的问题，又避免了因现有的图像处理方法的不合理而导致后期对模型训练的精度过低或者难度过大的问题。

具体而言，通过对统计第一原始图像中显示的各类别目标对象的数量，可以对第一原始图像中的所有目标对象有效识别和计数，有利于后续针对性地对每个目标对象有效裁取。将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，可以确保在第一原始图像上裁取得到的正样本图像块包含有完整的目标对象的同时，能够控制正样本图像块的像素尺寸在合理范围，进而有利于作为待训练样本图像输入目标检测模型后快速精确地进行模型训练，提升模型训练的精度并降低模型训练的难度。而计算各类别目标对象对应的重采样次数k，裁取每个目标对象的次数为其所属类别对应的重采样次数k，使得第一原始图像中的各类目标对象被裁取的次数相同，从而保证待训练样本图像的包含目标对象的均衡性，进一步提升训练完成的目标检测模型的鲁棒性。此外，利用本发明提供的图像处理方法，确保了第一原始图像中出现的所有目标对象均被裁取包含在不同的正样本图像块中而汇入样本图像池，保证了获取目标对象的原始数据信息的完整性。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明的一种可选实施例的图像处理方法的流程图；

图2示出了一种可选实施例的用于本发明的图像处理方法的第一原始图像或第二原始图像；

图3示出了实施例一的对图2的第一原始图像按第一缩放比例放缩后获取的第一待裁图像，且框选出要裁取的包含有目标对象(行人)的正样本图像块；

图4示出了图3中框选的目标对象(行人)被裁取下形成的正样本图像块；

图5示出了实施例二的对图2的第一原始图像按第一缩放比例放缩后获取的第一待裁图像，且框选出要裁取的包含有目标对象(非机动车辆)的正样本图像块；

图6示出了图5中框选的目标对象(非机动车辆1)被裁取下形成的正样本图像块；

图7示出了实施例三的对图2的第一原始图像按第一缩放比例放缩后获取的第一待裁图像，且框选出要裁取的包含有目标对象(非机动车辆2)的的正样本图像块；

图8示出了图7中框选的目标对象(非机动车辆2)被裁取下形成的正样本图像块；

图9示出了实施例四的对图2的第一原始图像按第一缩放比例放缩后获取的第一待裁图像，且框选出要裁取的包含有目标对象(机动车辆)的的正样本图像块；

图10示出了图9中框选的目标对象(机动车辆)被裁取下形成的正样本图像块；

图11示出了一种可选实施例的对图2的第二原始图像按第二预设缩放比例缩放后获取的第二待裁图像，且框选出要裁取的负图像样本块；

图12示出了筛除掉图11中的包含有完整的目标对象的负图像样本块后汇集入样本图像池的剩余负图像样本块。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”、“和”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决现有技术中对像素尺寸较大的原图像的处理方法不合理而最终导致模型训练的精度过低或者难度过大的问题，本发明提供了一种图像处理方法和装置以及目标检测模型的训练方法和系统，其中，图像处理装置能够实现本发明的图像处理方法，目标检测模型的训练方法使用的是图像处理方法处理后得到的待训练样本图像输入目标检测模型进行模型训练；目标检测模型的系统包括图像处理装置和目标检测模型。

需要说明的是，本发明的目标检测模型的训练方法以训练目标检测模型为例的深度学习模型，但不仅局限于此。

本发明的图像处理方法可以应用于行人流量统计、车流量统计等领域，图示实施例以道路交通场景为例，也就是说第一原始图像和第二原始图像均以来源于取像设备拍摄到的道路交通的视频流中的帧图像或者抓拍图像。

图1是根据本发明实施例的图像处理方法的流程图。如图1所示，该图像处理方法包括步骤如下：步骤S1，统计第一原始图像中显示的各类别目标对象的数量，并根据各类别目标对象的数量计算其对应的重采样次数k；步骤S2，获取第一预设缩放比例r，并将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，对各类别目标对象中的每个目标对象，在第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个目标对象的次数为其所属类别对应的重采样次数k；步骤S3，汇集裁取出的所有正样本图像块进入样本图像池，作为第一类的待训练样本图像。

应用本发明的图像处理方法，作为一种目标检测模型训练过程中的图像数据增强方法，即解决了因图像的像素尺寸过大而不能直接作为模型训练图像样本输入的问题，又避免了因现有的图像处理方法的不合理而导致后期对模型训练的精度过低或者难度过大的问题。

具体而言，通过对统计第一原始图像中显示的各类别目标对象的数量，可以对第一原始图像中的所有目标对象有效识别和计数，有利于后续针对性地对每个目标对象有效裁取。将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，可以确保在第一原始图像上裁取得到的正样本图像块包含有完整的目标对象的同时，能够控制正样本图像块的像素尺寸在合理范围，进而有利于作为待训练样本图像输入目标检测模型后快速精确地进行模型训练，提升模型训练的精度并降低模型训练的难度。而计算各类别目标对象对应的重采样次数k，裁取每个目标对象的次数为其所属类别对应的重采样次数k，使得第一原始图像中的各类目标对象被裁取的次数相同，从而保证待训练样本图像的包含目标对象的均衡性，进一步提升训练完成的目标检测模型的鲁棒性。此外，利用本发明提供的图像处理方法，确保了第一原始图像中出现的所有目标对象均被裁取包含在不同的正样本图像块中而汇入样本图像池，保证了获取目标对象的原始数据信息的完整性。

其中，在步骤S2中，获取第一预设缩放比例r包括：步骤S21，设置各类别目标对象的像素高度裁取阈值范围；步骤S22，按照公式(2)计算获得第一预设缩放比例r，公式(2)为：r＝P/Q，其中，P为目标对象所属类别对应的像素高度裁取阈值范围中的任意值，Q为目标对象在第一原始图像中的实际测量像素高度。这样，得到的第一预设缩放比例r能够将第一原始图像缩放到合理的像素尺寸，既能够避免因对第一原始图像放缩过度而丢失第一原始图像中的过多数据信息，同时能够确保裁取出的正样本图像块能够包含完整的目标对象。

可选地，第一原始图像中包含的各目标对象的类别主要包括行人、非机动车辆和机动车辆，其中，为了得到具有良好效果的第一待裁图像，对应于行人的像素高度裁取阈值范围为[40,160]，对应于非机动车辆的像素高度裁取阈值范围为[60,180]；对应于机动车辆的像素高度裁取阈值范围为[80,400]。其中，非机动车辆包括：自行车、电动自行车、滑板车、平衡车、电摩等；机动车辆包括：摩托车、汽车、电动汽车等。进一步可选地，当机动车辆为摩托车时，其像素高度裁取阈值范围为[80,180]，当机动车辆为汽车或电动汽车时，其像素高度裁取阈值范围为[180,400]。

当然，在计算第一预设缩放比例r时，也可以为目标对象所属类别对应的像素宽度裁取阈值范围内的任意取值与目标对象在第一原始图像中的实际测量像素宽度的比值。

图2为用于本发明的图像处理方法一张作为第一原始图像的示例；在图2中，目标对象的类别包括2个行人、3辆非机动车辆(1辆自行车和2辆电动自行车)、2辆机动车辆(小型汽车)，其中，第一原始图像中凡是能看到人脸的均用黑色图像块进行遮挡，其余图示均做此处理。

可选地，在第一待裁图像上裁取的正样本图像块，其像素宽度和像素高度均为32的倍数，这是为了有利于提高后期的计算效率。

同时为了降低服务器内存GPU的运行负担，进一步可选地，正样本图像块的像素宽度大于等于32且小于等于1024；正样本图像块的像素高度大于等于32且小于等于1024。

优选地，本发明的裁取的正样本图像块的像素尺寸(像素宽度×像素高度)通常为：480×480或512×512或640×640。

还需要说明的是，为了确保裁取的多个正样本图像块所包含目标对象具备均衡性，从而确保最终训练出的目标检测模型稳定准确，需要尽可能使第一原始图像中的各类目标对象被裁取的次数相同，从而对于各类别目标对象中，目标对象的数量少的类别，需要对该类别中的目标对象进行重采样，即多次裁取该类别中包含同一目标对象的正样本图像块，而本发明对于重采样次数k的计算如下：步骤S1包括：步骤S11，在各类别目标对象中选取数量最多者作为基础对象，设置其对应的重采样次数k的数值为1；步骤S12，其余类别的目标对象的重采样次数k按照公式(1)计算获得，公式(1)为：k＝Y/X，其中，Y为作为基础对象的目标对象的数量，X为其余类别的目标对象的数量；当其余类别的目标对象的重采样次数k为小数时，对其进行上取整数或下取整数或按预设条件取整数。

具体地，按预设条件取整数包括：步骤S121，在0至1之间选取任意一个纯小数作为比较值；步骤S122，判断比较值与其余类别的目标对象的重采样次数k的小数部分之间的大小关系，当比较值小于小数部分时，对重采样次数k进行上取整数，当比较值大于小数部分时，对重采样次数k进行下取整数。

可选地，对于其余类别的目标对象中的每一类目标对象进行重采样次数k的计算时，均执行一次步骤S121，选取数值不同的纯小数作为比较值。这样是为了确保算法步骤的多样性以及合理性。

还需要说明的是，对于每个目标对象的裁取，均在其所属类别对应的像素高度裁取阈值范围中进行一次取值后计算出第一预设缩放比例r，基于该第一预设缩放比例r获取第一待裁图像后完成裁取。这样保证了裁取到的正样本图像块的多样性，有利于确保训练完成的目标检测模型更接近于实际。

可选地，第一原始图像为多张，对于多张第一原始图像，逐一按步骤S1至步骤S3完成对第一原始图像的处理。这样能够确保正样本图像块充足，且避免了裁取过多数量的正样本图像块。当正样本图像块不满足数量要求时，可以一张张增加。当然，也可以根据正样本图像块的需求数量计算出需要的第一原始图像的数量，然后进行一次性裁取汇集。第一原始图像为不同的多张时，能够确保正样本图像块包含目标对象的多样性，从而确保训练完成的目标检测模型的鲁棒性。

实施例一

针对目标对象-行人，在本实施例中，对应于行人的像素高度裁取阈值范围为[40,160]，通过公式(2)：r＝P/Q计算第一预设缩放比例r，在行人所属类别对应的像素高度裁取阈值范围中取值119，行人在第一原始图像中的实际测量像素高度Q为131，则计算出第一预设缩放比例r为0.9084；因此，对图2的第一原始图像按第一预设缩放比例r等于0.9084放缩后得到图3的第一待裁图像，如图3所示，白色线框框选的部分即为裁取的正样本图像块，其包含有完整的行人，在本实施例中，正样本图像块的像素尺寸为512×512，其裁取位置随机。在图2中，目标对象的数量最多的是非机动车辆，其数量为3，因此，设置非机动车辆为基础对象，其对应的重采样次数k的数值为1；作为基础对象的非机动车辆的，数量Y为3，行人的数量为2，通过公式(1)计算行人对应的重采样次数k为1.5；此时行人对应的重采样次数k为小数，其小数部分的值为0.5，0至1之间选取任意一个纯小数作为比较值，本实施例中选取的比较值为0.6，比较值大于行人对应的重采样次数k的小数部分，对行人对应的重采样次数k下取整数为1；因此，在图3的第一待裁图像中，裁取每个行人的次数为1次，即针对每个行人裁取出包含其的正样本图像块为1个，本实施例中的行人的数量为2人，则裁取出包含行人的正图像样本为2个，如图4所示，仅给出其中1个正图像样本的图示。

实施例二

针对目标对象-非机动车辆，在本实施例中，对应于非机动车辆的像素高度裁取阈值范围为[60,180]，通过公式(2)：r＝P/Q计算第一预设缩放比例r，在非机动车辆所属类别对应的像素高度裁取阈值范围中取值136，图2中非机动车辆(图中左下角的自行车)在第一原始图像中的实际测量像素高度Q为337，则计算出第一预设缩放比例r为0.4036；因此，对图2的第一原始图像按第一预设缩放比例r等于0.4036放缩后得到图5的第一待裁图像，如图5所示，白色线框框选的部分即为裁取的正样本图像块，其包含有完整的非机动车辆(自行车)，在本实施例中，正样本图像块的像素尺寸为512×512，其裁取位置随机。在图2中，目标对象的数量最多的是非机动车辆，其数量为3，因此，设置非机动车辆为基础对象，其对应的重采样次数k的数值为1；因此，在图5的第一待裁图像中，裁取每个非机动车辆的次数为1次，即针对每个非机动车辆裁取出包含其的正样本图像块为1个，本实施例中的非机动车辆的数量为3辆，包括自行车1辆、电动自行车2辆，则裁取出包含非机动车辆的正图像样本为3个，如图6所示，仅给出其中1个正图像样本的图示，即包含自行车的正图像样本。需要补充说明的是，在第一原始图像中若包含有驾乘人员骑行的非机动车辆或机动车辆时，实际测量像素高度Q的测量可包含驾乘人员，在本实施例中，未包含驾乘人员，仅测量了非机动车辆(自行车)本身的像素高度。

实施例三

针对目标对象-非机动车辆，在本实施例中，对应于非机动车辆的像素高度裁取阈值范围为[60,180]，通过公式(2)：r＝P/Q计算第一预设缩放比例r，在非机动车辆所属类别对应的像素高度裁取阈值范围中取值82，图2中非机动车辆(图中中部偏上的电动自行车)在第一原始图像中的实际测量像素高度Q为160，则计算出第一预设缩放比例r为0.5125；因此，对图2的第一原始图像按第一预设缩放比例r等于0.5125放缩后得到图7的第一待裁图像，如图7所示，白色线框框选的部分即为裁取的正样本图像块，其包含有完整的非机动车辆(电动自行车)，在本实施例中，正样本图像块的像素尺寸为512×512，其裁取位置随机。在图2中，目标对象的数量最多的是非机动车辆，其数量为3，因此，设置非机动车辆为基础对象，其对应的重采样次数k的数值为1；因此，在图7的第一待裁图像中，裁取每个非机动车辆的次数为1次，即针对每个非机动车辆裁取出包含其的正样本图像块为1个，本实施例中的非机动车辆的数量为2辆，包括自行车1辆、电动自行车2辆，则裁取出包含非机动车辆的正图像样本为3个，如图8所示，仅给出其中1个正图像样本的图示，即包含电动自行车的正图像样本。需要补充说明的是，在第一原始图像中若包含有驾乘人员骑行的非机动车辆或机动车辆时，实际测量像素高度Q的测量可包含驾乘人员，在本实施例中，未包含驾乘人员，仅测量了非机动车辆(电动自行车)本身的像素高度。

实施例四

针对目标对象-机动车辆，在本实施例中，对应于机动车辆的像素高度裁取阈值范围为[80,400]，通过公式(2)：r＝P/Q计算第一预设缩放比例r，在机动车辆所属类别对应的像素高度裁取阈值范围中取值182，机动车辆(图中右侧中部的汽车)在第一原始图像中的实际测量像素高度Q为378，则计算出第一预设缩放比例r为0.4815；因此，对图2的第一原始图像按第一预设缩放比例r等于0.4815放缩后得到图9的第一待裁图像，如图9所示，白色线框框选的部分即为裁取的正样本图像块，其包含有完整的激动车辆(汽车)，在本实施例中，正样本图像块的像素尺寸为512×512，其裁取位置随机。在图2中，目标对象的数量最多的是非机动车辆，其数量为3，因此，设置非机动车辆为基础对象，其对应的重采样次数k的数值为1；作为基础对象的非机动车辆的，数量Y为3，机动车辆的数量为2，通过公式(1)计算行人对应的重采样次数k为1.5；此时行人对应的重采样次数k为小数，其小数部分的值为0.5，0至1之间选取任意一个纯小数作为比较值，本实施例中选取的比较值为0.41，比较值小于行人对应的重采样次数k的小数部分，对行人对应的重采样次数k上取整数为2；因此，在图9的第一待裁图像中，裁取每辆机动车辆的次数为2次，即针对每辆机动车辆裁取出包含其的正样本图像块为2个，本实施例中的汽车的数量为2辆，则裁取出包含汽车的正图像样本为4个，如图10所示，仅给出其中1个正图像样本的图示。

综合上述的四个实施例则，共裁取获得的正图像样本12个，将其汇集进入样本图像池，作为第一类的待训练样本图像。

如图1和图11所示，图像处理方法还包括：步骤S4，按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式在第二待裁图像上依次裁取出多个负样本图像块，其中，负样本图像块与正样本图像块的大小相等；步骤S5，筛除多个负样本图像块中包含有完整的目标对象的负样本图像块，汇集剩余的负样本图像块进入样本图像池，作为第二类的待训练样本图像。这样，有效地增加了待训练样本图像的多样性，使得后期目标检测模型的训练更接近复杂的实际情况，鲁棒性更高。

需要说明的是，在本发明的第二原始图像与第一原始图像相同，即选取同样的图像作为原始图像，这样是为了确保正样本图像块和负样本图像块共同包含了尽可能多的原始图像的数据信息，避免了丢失大量的周围环境信息，确保了数据的完整性，从而确保了目标检测模型的训练可靠性。当然，同样为了增加待训练样本图像的多样性，第二原始图像也可以选取与第一原始图像不同的图像。

可选地，第二预设缩放比例f取值范围为[0.6,1.4]，其取值是随机的，根据第二原始图像的像素尺寸，当其高于预设值时，对其进行缩小处理，则第二预设缩放比例f在[0.6,1]之间取值，这样是为了减轻服务器的内存GPU负担，提升训练效率；反之，当第二原始图像的像素尺寸低于预设值时，对其放大处理，则第二预设缩放比例f在[1,1.4]之间取值，这样是为了提升裁取的负图像样本块的清晰度。预设值优选范围为512×512至1024×1024。

本实施例中，第二预设缩放比例f取值为1，即图11的第二待裁图像与图2的第二原始图像的像素尺寸相同。如图11所示，在第二待裁图像上以矩阵排布的方式在第二待裁图像上依次裁取出多个负样本图像块，即沿第二待裁图像的宽度方向和高度方向依次裁取整数个负样本图像块，如图11中白色实线框即为对负样本图像块的裁取框。

需要说明的是，负样本图像块与正样本图像块的大小相等，即两者的像素尺寸相同，为了便于正样本图像块与负样本图像块的混合，在对两者选取时，能够达到公平公正。

当裁取了整数个负样本图像块后，在沿第二待裁图像的宽度和/或高度方向上有不足一次负样本图像块裁取的截余部分，则对第二待裁图像进行一次包含有截余部分的反向裁取，以获取符合尺寸规格的负样本图像块。如图11所示，图中黑色虚线框即为反向裁取负样本图像块的裁取框。如图11所示，完整的白色实线框为6个，完整的黑色虚线框为6个，因此本实施例中裁取到负样本图像块12个；筛除掉12个负样本图像块中包含有完整的目标对象的1个负样本图像块(图11中第一排左起第二个白色实线框)，则剩余的负图像样本块为11个，如图12所示，筛除掉图11中的包含有完整的目标对象的共1个负图像样本块后剩余的11个负图像样本块汇集入样本图像池。

本发明还提供了一种目标检测模型的训练方法，包括：按预定条件选取待训练样本图像形成待训练样本图像集，并将待训练样本图像集输入目标检测模型进行训练，待训练样本图像使用上述的图像处理方法获得。

可选地，按预定条件选取待训练样本图像包括：在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64。优选为32。

可选地，按预定条件选取待训练样本图像包括：选取样本图像池中的正样本图像块进入待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的第一原始图像上裁取的正样本图像块，当样本图像池中的所有正样本图像块少于预定数量时，用样本图像池中的负样本图像块补充至预定数量。

此外，需要补充说明的是，当样本图像池中的所有的正样本图像块和负样本图像块的数量均达不到预定数量时，可以选取新的第二原始图像实施步骤S4和步骤S5中的操作，补充样本图像池中负样本图像块的数量。

本发明还提供了一种图像处理装置，包括正样本生成模块和负样本生成模块正样本生成模块，用于统计第一原始图像中显示的各类别目标对象的数量，并根据各类别目标对象的数量计算其对应的重采样次数k；以及获取第一预设缩放比例r，并将第一原始图像按第一预设缩放比例r缩放后获取第一待裁图像，对各类别目标对象中的每个目标对象，在第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个目标对象的次数为其所属类别对应的重采样次数k；以及汇集裁取出的所有正样本图像块进入样本图像池，作为第一类的待训练样本图像；负样本生成模块用于按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式连续在第二待裁图像上依次裁取出多个负样本图像块，其中，负样本图像块与正样本图像块的大小相等；以及筛除多个负样本图像块中包含有完整的目标对象的负样本图像块，汇集剩余的负样本图像块进入样本图像池，作为第二类的待训练样本图像。

本发明还提供了一种目标检测模型的训练系统，包括图像处理装置、样本选取装置和目标检测模型，图像处理装置为上述的图像处理装置；样本选取装置用于按预定条件选取待训练样本图像形成待训练样本图像集，其中，待训练样本图像通过图像处理装置生成；目标检测模型用于接收待训练样本图像集并进行训练。

可选地，按预定条件选取待训练样本图像包括：在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64；或选取样本图像池中的正样本图像块进入待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的第一原始图像上裁取的正样本图像块，当样本图像池中的所有正样本图像块少于预定数量时，用样本图像池中的负样本图像块补充至预定数量。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

步骤S1，统计第一原始图像中显示的各类别目标对象的数量，并根据各类别所述目标对象的数量计算其对应的重采样次数k；

步骤S2，获取第一预设缩放比例r，并将所述第一原始图像按所述第一预设缩放比例r缩放后获取第一待裁图像，对各类别所述目标对象中的每个所述目标对象，在所述第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个所述目标对象的次数为其所属类别对应的所述重采样次数k；

步骤S3，汇集裁取出的所有所述正样本图像块进入样本图像池，作为第一类的待训练样本图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述步骤S1包括：

步骤S11，在各类别所述目标对象中选取数量最多者作为基础对象，设置其对应的所述重采样次数k的数值为1；

步骤S12，其余类别的所述目标对象的重采样次数k按照公式(1)计算获得，所述公式(1)为：k＝Y/X，其中，Y为作为所述基础对象的所述目标对象的数量，X为其余类别的所述目标对象的数量；

当其余类别的所述目标对象的重采样次数k为小数时，对其进行上取整数或下取整数或按预设条件取整数。

3.根据权利要求2所述的图像处理方法，其特征在于，按所述预设条件取整数包括：

步骤S121，在0至1之间选取任意一个纯小数作为比较值；

步骤S122，判断所述比较值与其余类别的所述目标对象的重采样次数k的小数部分之间的大小关系，当所述比较值小于所述小数部分时，对所述重采样次数k进行上取整数，当所述比较值大于所述小数部分时，对所述重采样次数k进行下取整数。

4.根据权利要求3所述的图像处理方法，其特征在于，对于其余类别的所述目标对象中的每一类所述目标对象进行重采样次数k的计算时，均执行一次所述步骤S121，选取数值不同的纯小数作为所述比较值。

5.根据权利要求1所述的图像处理方法，其特征在于，在所述步骤S2中，获取所述第一预设缩放比例r包括：

步骤S21，设置各类别所述目标对象的像素高度裁取阈值范围；

步骤S22，按照公式(2)计算获得所述第一预设缩放比例r，所述公式(2)为：r＝P/Q，其中，P为所述目标对象所属类别对应的所述像素高度裁取阈值范围中的任意值，Q为所述目标对象在所述第一原始图像中的实际测量像素高度。

6.根据权利要求5所述的图像处理方法，其特征在于，各所述目标对象的类别包括：

行人，对应于所述行人的所述像素高度裁取阈值范围为[40,160]；

非机动车辆，对应于所述非机动车辆的所述像素高度裁取阈值范围为[60,180]；

机动车辆，对应于所述机动车辆的所述像素高度裁取阈值范围为[80,400]。

7.根据权利要求5所述的图像处理方法，其特征在于，对于每个所述目标对象的裁取，均在其所属类别对应的所述像素高度裁取阈值范围中进行一次取值后计算出所述第一预设缩放比例r，基于该第一预设缩放比例r获取所述第一待裁图像后完成裁取。

8.根据权利要求1所述的图像处理方法，其特征在于，所述第一原始图像为多张，对于多张所述第一原始图像，逐一按所述步骤S1至所述步骤S3完成对所述第一原始图像的处理。

9.根据权利要求1所述的图像处理方法，其特征在于，

所述正样本图像块的像素宽度和像素高度均为32的倍数，

所述正样本图像块的像素宽度大于等于32且小于等于1024；

所述正样本图像块的像素高度大于等于32且小于等于1024。

10.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，还包括：

步骤S4，按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式在所述第二待裁图像上依次裁取出多个负样本图像块，其中，所述负样本图像块与所述正样本图像块的大小相等；

步骤S5，筛除多个所述负样本图像块中包含有完整的所述目标对象的所述负样本图像块，汇集剩余的所述负样本图像块进入样本图像池，作为第二类的待训练样本图像。

11.根据权利要求10所述的图像处理方法，其特征在于，在所述步骤S4中，当裁取了整数个所述负样本图像块后，在沿所述第二待裁图像的宽度和/或高度方向上有不足一次所述负样本图像块裁取的截余部分，则对所述第二待裁图像进行一次包含有所述截余部分的反向裁取，以获取符合尺寸规格的所述负样本图像块。

12.根据权利要求10所述的图像处理方法，其特征在于，所述第二预设缩放比例f取值范围为[0.6,1.4]。

13.一种目标检测模型的训练方法，其特征在于，包括：按预定条件选取待训练样本图像形成待训练样本图像集，并将所述待训练样本图像集输入目标检测模型进行训练，所述待训练样本图像使用权利要求1至12中任一项所述的图像处理方法获得。

14.根据权利要求13所述的目标检测模型的训练方法，其特征在于，按预定条件选取待训练样本图像包括：在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64。

15.根据权利要求13所述的目标检测模型的训练方法，其特征在于，按预定条件选取待训练样本图像包括：选取所述样本图像池中的正样本图像块进入所述待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的所述第一原始图像上裁取的正样本图像块，当所述样本图像池中的所有正样本图像块少于所述预定数量时，用所述样本图像池中的负样本图像块补充至所述预定数量。

16.一种图像处理装置，其特征在于，包括：

正样本生成模块，用于统计第一原始图像中显示的各类别目标对象的数量，并根据各类别所述目标对象的数量计算其对应的重采样次数k；以及获取第一预设缩放比例r，并将所述第一原始图像按所述第一预设缩放比例r缩放后获取第一待裁图像，对各类别所述目标对象中的每个所述目标对象，在所述第一待裁图像上裁取出完全包含其的正样本图像块，其中，裁取每个所述目标对象的次数为其所属类别对应的所述重采样次数k；以及汇集裁取出的所有所述正样本图像块进入样本图像池，作为第一类的待训练样本图像；

负样本生成模块，用于按第二预设缩放比例f缩放第二原始图像后获取第二待裁图像，并以矩阵排布的方式连续在所述第二待裁图像上依次裁取出多个负样本图像块，其中，所述负样本图像块与所述正样本图像块的大小相等；以及筛除多个所述负样本图像块中包含有完整的所述目标对象的所述负样本图像块，汇集剩余的所述负样本图像块进入样本图像池，作为第二类的待训练样本图像。

17.一种目标检测模型的训练系统，其特征在于，包括：

图像处理装置，所述图像处理装置为权利要求17中所述的图像处理装置；

样本选取装置，用于按预定条件选取待训练样本图像形成待训练样本图像集，其中，所述待训练样本图像通过所述图像处理装置生成；

目标检测模型，用于接收所述待训练样本图像集并进行训练。

18.根据权利要求17所述的目标检测模型的训练系统，其特征在于，按预定条件选取待训练样本图像包括：

在样本图像池中选取正样本图像块的数量和选取负样本图像块的数量的比例大于等于2且小于等于5，且选取两者之和大于等于16小于等于64；或

选取所述样本图像池中的正样本图像块进入所述待训练样本图像集直至达到预定数量，且优先选取由统计有各类别目标对象的数量更少的所述第一原始图像上裁取的正样本图像块，当所述样本图像池中的所有正样本图像块少于所述预定数量时，用所述样本图像池中的负样本图像块补充至所述预定数量。

Images