CN112836768A - 一种数据平衡方法和系统、计算机设备和介质 - Google Patents

一种数据平衡方法和系统、计算机设备和介质 Download PDF

Info

Publication number
CN112836768A
CN112836768A CN202110251372.1A CN202110251372A CN112836768A CN 112836768 A CN112836768 A CN 112836768A CN 202110251372 A CN202110251372 A CN 202110251372A CN 112836768 A CN112836768 A CN 112836768A
Authority
CN
China
Prior art keywords
target detection
sample
frame
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110251372.1A
Other languages
English (en)
Other versions
CN112836768B (zh
Inventor
雷青
舒培贵
郭睿
王震
许程
李丹
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Electronic System Engineering
Original Assignee
Beijing Institute of Electronic System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Electronic System Engineering filed Critical Beijing Institute of Electronic System Engineering
Priority to CN202110251372.1A priority Critical patent/CN112836768B/zh
Publication of CN112836768A publication Critical patent/CN112836768A/zh
Application granted granted Critical
Publication of CN112836768B publication Critical patent/CN112836768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Abstract

本发明公开了一种样本数量不均衡的数据平衡方法和系统、计算机设备和介质,数据平衡方法包括:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像,第一数量大于第二数量至少一个数量级;利用第一样本图像训练和预测预设置的检测模型,并根据检测模型输出的检测结果删除冗余的第一样本图像;再根据第二样本图像获取第二目标检测拟合曲线和第二目标检测增强范围,并随机搜索各样本图像的空白区域,并将第二目标检测框随机合成到空白区域以生成第二样本增强图像。本发明提供的实施例一方面删除冗余的第一样本图像,另一方面增强第二样本图像以实现数据平衡。

Description

一种数据平衡方法和系统、计算机设备和介质
技术领域
本发明涉及深度学习技术领域,特别是涉及一种样本数量不均衡的数据平衡方法和系统、计算机设备和介质。
背景技术
深度学习中经典假设中往往假定训练样本各类别是同等级数量,即各类样本数目是均衡的,但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说,不平衡样本会导致训练模型侧重样本数目较多的类别,而“轻视”样本数目较少类别,这样模型在测试数据上的泛化能力就会受到影响。
发明内容
为了解决上述问题至少之一,本发明第一个实施例提供一种样本数量不均衡的数据平衡方法,包括:
S1:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
S2:利用所述训练样本训练预设置的检测模型,利用训练后的检测模型预测所述测试样本并输出检测结果,根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
S3:按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
S4:根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线,其中,所述第一数量大于所述第二数量至少一个数量级;
S5:根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
S6:根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在一些可选的实施例中,所述S3进一步包括:
S31:按照预设置的第二比例从所述测试样本的各样本图像中随机选择待删除的第一目标置信框;
S32:使用所述待删除的第一目标置信框对应的样本图像的各通道均值覆盖所述待删除的第一目标置信框。
在一些可选的实施例中,所述第二目标检测拟合曲线为:
Figure BDA0002966208710000021
其中,h为线性回归后形成的第二目标检测拟合框的高度,x为所述第二目标检测拟合框距离原点最近点的横坐标值,y为所述距离原点最近点的纵坐标值,w为所述第二目标检测拟合框的宽度,a和b为线性回归拟合的参数。
在一些可选的实施例中,所述第二目标检测增强范围为:
h’=h±Δα;
其中,h’为扰动后形成的第二目标检测增强框的高度,h为所述第二目标检测拟合框的高度,Δα为预设置的扰动阈值。
在一些可选的实施例中,在所述S3之后,在所述S6之前,所述数据平衡方法还包括:获取各样本图像中所述第一目标检测框的检测框数量;
所述S6进一步包括:
S61:根据所述第二目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域;
S62:将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在一些可选的实施例中,所述S61进一步包括:
S611:对所述第二目标检测框进行图像增强变换以获取第二图像增强目标检测框;
S612:根据所述第二图像增强目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域;
所述S62进一步包括:将所述第二图像增强目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在一些可选的实施例中,所述S611进一步包括:
对所述第二目标检测框进行加噪声、调整图像灰度值、调整图像亮度值中的至少一个以获取第二图像增强目标检测框。
本发明第二个实施例提供一种实现如第一个实施例所述的数据平衡方法的数据平衡系统,包括:
第一目标检测框获取单元,被配置为根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
模型训练和测试单元,被配置为利用所述训练样本训练预设置的检测模型,并利用训练后的检测模型预测所述测试样本并输出检测结果;
第一目标置信框获取单元,被配置为根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
第一目标平衡单元,被配置为按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
第二目标检测框获取单元,被配置为根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,其中,所述第一数量大于所述第二数量至少一个数量级;
第二目标拟合单元,被配置为根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线;
第二目标扰动单元,被配置为根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
第二目标增强单元,被配置为根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
本发明第三个实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一个实施例所述的方法。
本发明第四个实施例提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一个实施例所述的方法。
本发明的有益效果如下:
本发明针对目前现有的问题,制定一种样本数量不均衡的数据平衡方法和系统、计算机设备和介质,针对样本数量相差至少一个数量级的样本不均衡问题,通过随机删除多样本的置信度高的冗余样本,同时对少样本进行数据增强,以实现多样本和少样本的样本数量平衡,从而弥补了现有技术中存在的问题,能够改善待训练模型的泛化能力,进而提高训练模型的预测准确性,具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明的一个实施例所述数据平衡方法的流程图;
图2示出本发明的一个实施例所述第一目标置信框删除的流程图;
图3示出本发明的一个实施例所述第二目标检测框的分布示意图;
图4示出本发明的一个实施例所述第二目标检测框的算法增强示意图;
图5示出本发明的一个实施例所述第二目标检测框的合成增强示意图;
图6示出本发明的一个实施例所述数据平衡系统的框图;
图7示出本发明的另一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
在现有技术中,训练样本数量的差异超过至少一个数量级时,训练样本直接影响待训练模型的泛化能力和分类准确能力。例如,训练集中A类别目标有100个目标框样本,B类别目标只有1个目标框样本,A类别目标和B类别目标的数量相差一个数量级。在不考虑样本不平衡的很多情况下,学习算法可能会使分类器放弃B类目标的预测,因为把所有样本都分为正便可获得高达99%的训练分类准确率。
针对上述问题,如图1所示,本发明的一个实施例提供了一种样本数量不均衡的数据平衡方法,包括:S1:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;S2:利用所述训练样本训练预设置的检测模型,利用训练后的检测模型预测所述测试样本并输出检测结果,根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;S3:按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;S4:根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线,其中,所述第一数量大于所述第二数量至少一个数量级;S5:根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;S6:根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在本实施例中,针对样本数量相差至少一个数量级的样本不均衡问题,首先使用多样本训练预设置的检测模型并利用该检测模型识别各测试样本以获取满足置信度阈值的第一目标置信框,再根据一定比例删除冗余的第一目标置信框从而在保证多样本特征的同时减少多样本的冗余量;同时,针对少样本进行线性回归获取第二目标检测拟合曲线并加扰动获取第二目标检测增强范围,再根据少样本的第二目标检测框和第二目标检测增强范围对样本图像进行随机搜索以获取空白区域,并将第二目标检测框通过该空白区域进行合成以实现少样本的数据增强,从而实现多样本和少样本的样本数量平衡,有效弥补了现有技术中存在的问题,能够改善待训练模型的泛化能力,进而提高训练模型的预测准确性,具有广泛的应用前景。
在一个具体的示例中,以5000张已标注有车辆和锥桶的样本图像为例进行说明,其中,第一目标检测框为车辆,在5000张样本图像中,有10000个标注为车辆的目标检测框,即有10000个车辆的第一样本图像;同理,第二目标检测框为锥桶,在5000张样本图像中,有100个标注为锥桶的目标检测框,即有100个锥桶的第二样本图像;在本实施例中,车辆为多样本,锥桶为少样本,并且车辆和锥桶的数量相差一个数量级以上。如果使用现有样本图像训练待训练模型则直接影响该模型的预测准确性。
以本示例进行数据平衡处理,首先对多样本的车辆进行处理,具体的:
S1:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本。
在本实施例中,第一比例为40%,从5000张样本图像中筛选出包含车辆的样本图像,例如4920张,按照40%的比例将4920张样本划分为1968张训练样本和2952张测试样本。
S2:利用所述训练样本训练预设置的检测模型,利用训练后的检测模型预测所述测试样本并输出检测结果,根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框。
在本实施例中,利用1968张训练样本训练预设置的检测模型,然后通过训练后的检测模型对2952张测试样本进行预测并输出检测结果。将置信度阈值设置为0.9,根据检测结果将置信度大于0.9的车辆的目标框筛选出来作为第一目标置信框,在本实施例中,2952张测试样本中,第一目标置信框为4000个。
值得说明的是,本实施例的检测模型可以为现有检测模型,也可以为待训练的模型,在本步骤中,仅使用包括车辆的训练样本训练该模型并利用训练后的模型识别测试样本以筛选满足置信度阈值的第一目标置信框。
S3:按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框。
在本实施例中,第二比例为50%,即按照50%的比例随机删除2000个置信度大于0.9的第一目标置信框。
在一个可选的实施例中,如图2所示,所述S3进一步包括:
S31:按照预设置的第二比例从所述测试样本的各样本图像中随机选择待删除的第一目标置信框。
在本实施例中,按照50%的比例从测试样本中随机选择2000个置信度大于0.9的第一目标置信框作为待删除的第一目标置信框。
S32:使用所述待删除的第一目标置信框对应的样本图像的各通道均值覆盖所述待删除的第一目标置信框。
在本实施例中,针对每个包括第一目标置信框的样本图像,获取该样本图像的各通道均值,并利用获取的各通道均值覆盖待删除的第一目标置信框,即利用各通道均值覆盖的方式删除选中的第一目标置信框。
根据上述步骤,将多样本车辆的冗余样本删除,从而实现减少多样本的样本数量。
值得说明的是,本实施例仅用于说明本申请的具体实施方式,并为限定删除第一目标置信框的方法,本领域技术人员应当根据实际应用需求选择合适的方式进行删除,以满足降低多样本的样本数量为设计准则,在此不再赘述。
其次,对少样本的锥桶进行数据增强,具体的:
S4:根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线。
在本实施例中,如图3所示,以样本图像的图像中心点作为坐标原点,矩形框1为样本图像,矩形框2和3为锥桶的第二目标检测框的位置,其中(xi,yi)是第二目标检测框靠近原点的坐标值,wi是第二目标检测框的宽度,hi是第二目标检测框的高度。通过100个第二样本图像和其在样本图像中的坐标位置进行线性回归获取第二目标检测拟合曲线。
在一个可选的实施例中,如图4所示,所述第二目标检测拟合曲线为:
Figure BDA0002966208710000071
其中,h为线性回归后形成的第二目标检测拟合框的高度,x为所述第二目标检测拟合框距离原点最近点的横坐标值,y为所述距离原点最近点的纵坐标值,w为所述第二目标检测拟合框的宽度,a和b为线性回归拟合的参数。
在本实施例中,如图4所示,坐标原点为样本图像的下边界中点,x轴为样本图像下边界,y轴为样本图像中心线向上方向,每个坐标点1标识一个第二样本图像在坐标轴上的高度值,线段2为根据上述公式获取的第二目标检测拟合曲线。
S5:根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围。
在本实施例中,通过设置扰动阈值增加锥桶样本的样本尺寸的多样性。
在一个可选的实施例中,如图4所示,所述第二目标检测增强范围为:
h’=h±Δα; (2)
其中,h’为扰动后形成的第二目标检测增强框的高度,h为所述第二目标检测拟合框的高度,Δα为预设置的扰动阈值。
在本实施例中,如图4所示,线段3和线段4为根据上述公式在第二目标检测拟合曲线的基础上增加扰动获得的第二目标检测拟合框的高度值的上限和下限,即形成第二目标检测增强范围。
S6:根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在本实施例中,利用第二目标检测增强范围中的点在5000张样本图像中随机搜索,即将第二目标检测增强范围中的点带入到公式2中,并以第二目标检测框的尺寸为基础进行搜索,若样本图像中存在该尺寸的空白区域则进行标记,若该尺寸范围内存在第一样本的车辆图像或第二样本的锥桶图像则不做标记,从而搜索出适于合成第二目标检测框的空白区域,以用于后续对第二样本的数据增强。
考虑到多样本和少样本的样本数量的均衡,在一个可选的实施例中,在所述S3之后,在所述S6之前,所述数据平衡方法还包括:获取各样本图像中所述第一目标检测框的检测框数量;所述S6进一步包括:S61:根据所述第二目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域;S62:将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在本实施例中,在对多样本进行冗余图像删除后,进一步获取各样本图像中第一目标检测框的数量,例如在5000张样本图像的10000个车辆图像中,删除了2000个冗余图像,则还剩下8000个车辆图像。
同时,根据多样本的样本数量,对少样本进行增强。
第一,对第二目标检测框进行图像增强变换以获取第二图像增强目标检测框。具体的,对所述第二目标检测框进行加噪声、调整图像灰度值、调整图像亮度值中的至少一个以获取第二图像增强目标检测框。
在本实施例中,通过对第二目标检测框进行图像变换以进一步增强锥桶样本的丰富度,例如通过对100个第二样本图像进行加噪声、调整图像灰度值、调整图像亮度值等一种或多种变换进行图像增强,从而获取第二图像增强目标检测框,即对少样本的样本图像进行图像增强。
第二,根据所述第二图像增强目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域。
在本实施例中,使用图像增强后获取的第二图像增强目标检测框和第二目标检测增强范围在各样本图像中搜索出空白区域,即在少样本进行图像增强的基础上,通过线性回归和加扰动进一步在算法上增强了少样本。
第三,将所述第二图像增强目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在本实施例中,使用对少样本进行图像增强和算法增强后,进一步将少样本合成到样本图像中以实现第三次数据增强,如图5所示,将锥桶进行图像增强和算法增强后随机合成到样本图像中,即本实施例对少样本分别进行图像增强、算法增强和合成增强获得具有与多样本相同数量的增强样本。从而解决了现有技术中存在的问题,能够改善待训练模型的泛化能力,进而提高训练模型的预测准确性,具有广泛的应用前景。
与上述实施例提供的数据平衡方法相对应,本申请的一个实施例还提供一种实现上述数据平衡方法的数据平衡系统,由于本申请实施例提供的数据平衡系统与上述几种实施例提供的数据平衡方法相对应,因此在前实施方式也适用于本实施例提供的数据平衡系统,在本实施例中不再详细描述。
如图6所示,本申请的一个实施例还提供一种实现上述数据平衡方法的数据平衡系统,包括:
第一目标检测框获取单元,被配置为根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
模型训练和测试单元,被配置为利用所述训练样本训练预设置的检测模型,并利用训练后的检测模型预测所述测试样本并输出检测结果;
第一目标置信框获取单元,被配置为根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
第一目标平衡单元,被配置为按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
第二目标检测框获取单元,被配置为根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,其中,所述第一数量大于所述第二数量至少一个数量级;
第二目标拟合单元,被配置为根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线;
第二目标扰动单元,被配置为根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
第二目标增强单元,被配置为根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在本实施例中,针对样本数量相差至少一个数量级的样本不均衡问题,首先使用多样本训练预设置的检测模型并利用该检测模型识别各测试样本以获取满足置信度阈值的第一目标置信框,再根据一定比例删除冗余的第一目标置信框从而在保证多样本特征的同时减少多样本的冗余量;同时,针对少样本进行线性回归获取第二目标检测拟合曲线并加扰动获取第二目标检测增强范围,再根据少样本的第二目标检测框和第二目标检测增强范围对样本图像进行随机搜索以获取空白区域,并将第二目标检测框通过该空白区域进行合成以实现少样本的数据增强,从而实现多样本和少样本的样本数量平衡,有效弥补了现有技术中存在的问题,能够改善待训练模型的泛化能力,进而提高训练模型的预测准确性,具有广泛的应用前景。
本发明的另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现:S1:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
S2:利用所述训练样本训练预设置的检测模型,利用训练后的检测模型预测所述测试样本并输出检测结果,根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
S3:按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
S4:根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线,其中,所述第一数量大于所述第二数量至少一个数量级;
S5:根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
S6:根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
在实际应用中,所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图7所示,本发明的另一个实施例提供的一种计算机设备的结构示意图。图7显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图7中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种样本数量不均衡的数据平衡方法。
本发明针对目前现有的问题,制定一种样本数量不均衡的数据平衡方法和系统、计算机设备和介质,针对样本数量相差至少一个数量级的样本不均衡问题,通过随机删除多样本的置信度高的冗余样本,同时对少样本进行数据增强,以实现多样本和少样本的样本数量平衡,从而弥补了现有技术中存在的问题,能够改善待训练模型的泛化能力,进而提高训练模型的预测准确性,具有广泛的应用前景。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种样本数量不均衡的数据平衡方法,其特征在于,包括:
S1:根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
S2:利用所述训练样本训练预设置的检测模型,利用训练后的检测模型预测所述测试样本并输出检测结果,根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
S3:按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
S4:根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线,其中,所述第一数量大于所述第二数量至少一个数量级;
S5:根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
S6:根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
2.根据权利要求1所述的数据平衡方法,其特征在于,所述S3进一步包括:
S31:按照预设置的第二比例从所述测试样本的各样本图像中随机选择待删除的第一目标置信框;
S32:使用所述待删除的第一目标置信框对应的样本图像的各通道均值覆盖所述待删除的第一目标置信框。
3.根据权利要求1所述的数据平衡方法,其特征在于,所述第二目标检测拟合曲线为:
Figure FDA0002966208700000011
其中,h为线性回归后形成的第二目标检测拟合框的高度,x为所述第二目标检测拟合框距离原点最近点的横坐标值,y为所述距离原点最近点的纵坐标值,w为所述第二目标检测拟合框的宽度,a和b为线性回归拟合的参数。
4.根据权利要求3所述的数据平衡方法,其特征在于,所述第二目标检测增强范围为:
h’=h±Δα;
其中,h’为扰动后形成的第二目标检测增强框的高度,h为所述第二目标检测拟合框的高度,Δα为预设置的扰动阈值。
5.根据权利要求4所述的数据平衡方法,其特征在于,
在所述S3之后,在所述S6之前,所述数据平衡方法还包括:获取各样本图像中所述第一目标检测框的检测框数量;
所述S6进一步包括:
S61:根据所述第二目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域;
S62:将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
6.根据权利要求5所述的数据平衡方法,其特征在于,
所述S61进一步包括:
S611:对所述第二目标检测框进行图像增强变换以获取第二图像增强目标检测框;
S612:根据所述第二图像增强目标检测框和第二目标检测增强范围从各样本图像中随机搜索所述检测框数量的空白区域;
所述S62进一步包括:将所述第二图像增强目标检测框随机合成到所述空白区域以生成第二样本增强图像。
7.根据权利要求6所述的数据平衡方法,其特征在于,所述S611进一步包括:
对所述第二目标检测框进行加噪声、调整图像灰度值、调整图像亮度值中的至少一个以获取第二图像增强目标检测框。
8.一种实现如权利要求1-7中任一项所述的数据平衡方法的数据平衡系统,其特征在于,包括:
第一目标检测框获取单元,被配置为根据第一目标检测框从已标注的样本图像中获取第一数量的第一样本图像,按照预设置的第一比例将包含所述第一目标检测框的样本图像划分为训练样本和测试样本;
模型训练和测试单元,被配置为利用所述训练样本训练预设置的检测模型,并利用训练后的检测模型预测所述测试样本并输出检测结果;
第一目标置信框获取单元,被配置为根据所述检测结果筛选出满足预设置的置信度阈值的第一目标置信框;
第一目标平衡单元,被配置为按照预设置的第二比例从所述测试样本的各样本图像中随机删除所述第一目标置信框;
第二目标检测框获取单元,被配置为根据第二目标检测框从已标注的样本图像中获取第二数量的第二样本图像和该第二样本图像在对应的样本图像中的坐标位置,其中,所述第一数量大于所述第二数量至少一个数量级;
第二目标拟合单元,被配置为根据所述第二数量的第二样本图像和坐标位置进行线性回归以获取第二目标检测拟合曲线;
第二目标扰动单元,被配置为根据预设置的扰动阈值对所述第二目标检测拟合曲线进行扰动以获取第二目标检测增强范围;
第二目标增强单元,被配置为根据所述第二目标检测框和第二目标检测增强范围随机搜索各样本图像的空白区域,并将所述第二目标检测框随机合成到所述空白区域以生成第二样本增强图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法。
CN202110251372.1A 2021-03-08 2021-03-08 一种数据平衡方法和系统、计算机设备和介质 Active CN112836768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251372.1A CN112836768B (zh) 2021-03-08 2021-03-08 一种数据平衡方法和系统、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251372.1A CN112836768B (zh) 2021-03-08 2021-03-08 一种数据平衡方法和系统、计算机设备和介质

Publications (2)

Publication Number Publication Date
CN112836768A true CN112836768A (zh) 2021-05-25
CN112836768B CN112836768B (zh) 2022-07-19

Family

ID=75929704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251372.1A Active CN112836768B (zh) 2021-03-08 2021-03-08 一种数据平衡方法和系统、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN112836768B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113658273A (zh) * 2021-08-19 2021-11-16 上海新氦类脑智能科技有限公司 一种基于空间感知的场景自适应目标定位方法和系统
CN113658273B (zh) * 2021-08-19 2024-04-26 上海新氦类脑智能科技有限公司 一种基于空间感知的场景自适应目标定位方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079841A (zh) * 2019-12-17 2020-04-28 深圳奇迹智慧网络有限公司 目标识别的训练方法、装置、计算机设备和存储介质
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN111598091A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及计算可读存储介质
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN112348765A (zh) * 2020-10-23 2021-02-09 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN111079841A (zh) * 2019-12-17 2020-04-28 深圳奇迹智慧网络有限公司 目标识别的训练方法、装置、计算机设备和存储介质
CN111598091A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及计算可读存储介质
CN111739016A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN112348765A (zh) * 2020-10-23 2021-02-09 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
黄景林 等: "《基于深度学习与不平衡样本集的输电线路故障分类》", 《智慧电力》 *
黄景林 等: "《基于深度学习与不平衡样本集的输电线路故障分类》", 《智慧电力》, 28 February 2021 (2021-02-28), pages 114 - 119 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281780A (zh) * 2021-05-27 2021-08-20 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113281780B (zh) * 2021-05-27 2024-04-30 北京地平线信息技术有限公司 对图像数据进行标注的方法、装置及电子设备
CN113658273A (zh) * 2021-08-19 2021-11-16 上海新氦类脑智能科技有限公司 一种基于空间感知的场景自适应目标定位方法和系统
CN113658273B (zh) * 2021-08-19 2024-04-26 上海新氦类脑智能科技有限公司 一种基于空间感知的场景自适应目标定位方法和系统

Also Published As

Publication number Publication date
CN112836768B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN109117831B (zh) 物体检测网络的训练方法和装置
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
US20190087685A1 (en) Method and apparatus for recommending sample data
CN110717919A (zh) 图像处理方法、装置、介质和计算设备
CN107492383B (zh) 直播内容的筛选方法、装置、设备及存储介质
CN110942011B (zh) 一种视频事件识别方法、系统、电子设备及介质
CN112906823A (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN110781849A (zh) 一种图像处理方法、装置、设备及存储介质
CN112836768B (zh) 一种数据平衡方法和系统、计算机设备和介质
CN111382643B (zh) 一种手势检测方法、装置、设备及存储介质
US10346716B2 (en) Fast joint template machining
Heiß et al. In-distribution interpretability for challenging modalities
Fomin et al. Object detection on docking images with deep convolutional network
JP6880494B2 (ja) 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール
US11244443B2 (en) Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
CN114708462A (zh) 多数据训练的检测模型生成方法、系统、设备及存储介质
CN116415020A (zh) 一种图像检索的方法、装置、电子设备及存储介质
CN113962900A (zh) 复杂背景下红外弱小目标检测方法、装置、设备及介质
CN113658222A (zh) 一种车辆检测跟踪方法及装置
US20090322747A1 (en) Graphics processing with hidden surface removal
CN115700838A (zh) 用于图像识别模型的训练方法及其装置、图像识别方法
US20130067192A1 (en) Data Object Profiling During Program Execution
CN112766294A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110717575B (zh) 无帧缓冲器的卷积神经网络系统与方法
CN109241862A (zh) 目标区域确定方法和系统、计算机设备、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant