CN113191451A - 图像数据集处理方法和目标检测模型训练方法 - Google Patents
图像数据集处理方法和目标检测模型训练方法 Download PDFInfo
- Publication number
- CN113191451A CN113191451A CN202110555366.5A CN202110555366A CN113191451A CN 113191451 A CN113191451 A CN 113191451A CN 202110555366 A CN202110555366 A CN 202110555366A CN 113191451 A CN113191451 A CN 113191451A
- Authority
- CN
- China
- Prior art keywords
- interval
- pixel size
- target object
- scaling
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000011144 upstream manufacturing Methods 0.000 claims description 15
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像数据集处理方法和一种目标检测模型训练方法,其中,图像数据集处理方法包括统计图像数据集内样本图像中属于某类别的目标对象及其像素尺寸,在像素尺寸‑数量曲线上设定检测区域,绘制与平均数量值与像素尺寸‑数量曲线的交点;沿像素尺寸‑数量曲线分出多个区间,计算各区间对应的缩放概率集,根据缩放概率集按预设的算法步骤判定对各区间内的目标对象的像素尺寸缩放的处理方式。本发明解决了现有技术中的训练后的目标检测模型会在对不同数量的各类像素尺寸的目标对象检测时,存在明显的偏重误差以及不同的检测精度,进而造成训练后的目标检测模型的鲁棒性很差的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种作为训练目标检测模型输入的图像数据集的处理方法。
背景技术
目标检测是一种基于目标几何和统计特征的图像理解算法,目标检测是将目标对象的定位和识别合二为一,例如:基于计算机视觉算法,检测出图像中不同类别的目标对象,即以矩形框标注出目标的位置,并识别出目标对象的类别。
目标检测模型的训练过程中,当在检测场景采集样本图像的数量受到限制时,为了增加图像数据集中样本图像的目标对象的多样性,相关技术中,通常对已采集到的样本图像进行放缩处理后混入到原图像数据集,再将扩充规模后的图像数据集用于对目标检测模型的训练。
用上述方法得到的图像数据集中,虽然样本图像的目标对象的数量得以丰富,但是目标对象的像素尺寸的分布未进行合理规划,不同像素尺寸的目标对象的数量参差不齐,这样,目标检测模型对数量较多的一类像素尺寸的目标对象的记忆性会远远优于数量较少的一类像素尺寸的目标对象的记忆性,从而导致训练后的目标检测模型会在对不同数量的各类像素尺寸的目标对象检测时,存在明显的偏重误差以及不同的检测精度,进而造成训练后的目标检测模型的鲁棒性很差。
发明内容
本发明的主要目的在于提供一种图像数据集处理方法和一种目标检测模型训练方法,以解决现有技术中的用于目标检测模型训练的图像数据集中的样本图像的目标对象的像素尺寸的分布未进行合理规划,从而导致训练后的目标检测模型会在对不同数量的各类像素尺寸的目标对象检测时,存在明显的偏重误差以及不同的检测精度,进而造成训练后的目标检测模型的鲁棒性很差的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种图像数据集处理方法,包括:步骤S1,统计图像数据集内所有样本图像中属于类别R的目标对象的数量,以及各目标对象的像素尺寸,并根据两者绘制出像素尺寸-数量曲线Q2;步骤S2,设定像素尺寸-数量曲线Q2上目标对象的像素尺寸坐标Xa和Xb之间的区域为检测区间,计算像素尺寸在检测区间内的目标对象的平均数量值并绘制与平均数量值对应的曲线Q1,以形成像素尺寸-数量的统计曲线图;步骤S3,在统计曲线图上标定平均数量值对应的曲线Q1与像素尺寸-数量曲线Q2的全部交点,并统计各交点对应的像素尺寸坐标集合为{X1,X2,X3···Xn},根据像素尺寸坐标Xa和Xb,以及像素尺寸坐标集合{X1,X2,X3···Xn},沿像素尺寸-数量曲线Q2进行分区,分出的区间集合φ为{(0,Xa),(X1,X2),(X2,X3)···(Xn,Xb),(Xb,X+∞)},分别计算区间集合φ中各区间对应的缩放概率集P;步骤S4,顺次对各区间内的像素尺寸-数量曲线Q2的所有坐标点所对应的目标对象的像素尺寸进行缩放处理,并根据缩放概率集P按预设的算法步骤判定处理方式,处理方式包括:方式A:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;或方式B:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;或方式C:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例在其所在的本区间所对应的像素尺寸的范围内进行缩放;或方式D:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到检测区间所对应的像素尺寸的范围内。
进一步地,在步骤S3中,区间集合φ中各区间的坐标点的个数构成的目标对象数量集合M为{m1,m2,m3···mi···mλ},缩放概率集P为{Pi 1,Pi 2},其中,i为区间集合φ的区间的第数;λ为区间集合φ的区间的总个数;Pi 1表示第i区间内的坐标点对应的目标对象的像素尺寸向与其所在区间相邻的上游区间所对应的像素尺寸的范围内缩小的概率;Pi 2表示第i区间内的坐标点对应的目标对象的像素尺寸向与其所在区间相邻的下游区间所对应的像素尺寸的范围内放大的概率;缩放概率集P通过公式组(1)计算取得:
公式组(1)中,P1 3表示第一区间内的所述坐标点对应的所述目标对象的像素尺寸向所述检测区间所对应的像素尺寸的范围内放大的概率;Pλ 3表示最后区间内的所述坐标点对应的所述目标对象的像素尺寸向所述检测区间所对应的像素尺寸的范围内缩小的概率。
进一步地,在步骤S4中,预设的算法步骤包括:步骤S41,在概率均匀分布区间[0,1]中任意一个数值作为标定基准值;步骤S42,比较标定基准值与Pi 1和/或Pi 2的大小关系;当标定基准值小于或等于Pi 1时,将第i区间内的各坐标点对应的目标对象的像素尺寸缩小到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;当标定基准值大于Pi 1,且小于或等于Pi 1+Pi 2时,将第i区间内的各坐标点对应的目标对象的像素尺寸放大到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;当标定基准值大于Pi 1+Pi 2时,将第i区间内的各坐标点对应的目标对象的像素尺寸在其所在的本区间所对应的像素尺寸的范围内进行缩放。
进一步地,预设缩放比例为在缩放到的目标区间所对应的全部像素尺寸中的任意一个取值与本区间的各坐标点对应的目标对象的像素尺寸的比值。
进一步地,通过对目标对象所在的样本图像按预设缩放比例缩放后实现对目标对象的等比例缩放。
其中,Z为属于类别R的目标对象的数量。
进一步地,目标对象的像素尺寸为其在样本图像中的高度像素或宽度像素。
进一步地,像素尺寸-数量曲线Q2以属于类别R的目标对象的数量为纵坐标,属于类别R的目标对象的像素尺寸为横坐标,以离散坐标点标定的形式绘制成。
进一步地,类别R包括行人、动物、机动车辆或非机动车辆。
根据本发明的另一方面,提供了一种目标检测模型训练方法,通过上述的图像数据集处理方法得到的图像数据集对待训练的目标检测模型进行训练。
应用本发明的技术方案,通过对图像数据集内的所有样本图像中不同类别的目标对象分类,并根据此类目标对象的像素尺寸进行归集整理,即将相同的像素尺寸的多个目标对象汇聚在一起后根据像素尺寸的数值以及其对应的目标对象的数量绘制出像素尺寸-数量曲线Q2。进一步根据像素尺寸的数值沿像素尺寸-数量曲线Q2进行分区,分出的区间集合φ,并将位于检测区间之外的全部目标对象的像素尺寸合理地规划缩放到检测区间所对应的像素尺寸范围内的不同区间,同时对检测区间的像素尺寸范围内的目标对象的像素尺寸在多个区间内进行缩放调整,最终达到的效果是使得处理后的图像数据集中,所有的目标对象的像素尺寸均位于检测区间所对应的像素尺寸范围内,且使得落于检测区间内的各区间的目标对象的数量达到均衡性,也就是接近平均数量值实现对图像数据集的优化处理,经过优化处理后的图像数据集输入目标检测模型进行训练,目标检测模型能够均衡地对各种像素尺寸的目标对象深刻记忆,有利于目标检测模型训练精度的提升,使得训练后的目标检测模型识能够准确地识别出待测图像中预捕捉的像素尺寸范围的目标对象,而且还会大大地降低目标检测模型对待测图像中目标对象的误报率,提高目标检测模型的鲁棒性。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了根据本发明的一种可选实施例的图像数据集处理方法的流程图;
图2示出了根据本发明的一种可选实施例的图像数据集处理方法中生成的像素尺寸-数量的统计曲线图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”、“和”、“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决现有技术中的用于目标检测模型训练的图像数据集中的样本图像的目标对象的像素尺寸的分布未进行合理规划,从而导致训练后的目标检测模型会在对不同数量的各类像素尺寸的目标对象检测时,存在明显的偏重误差以及不同的检测精度,进而造成训练后的目标检测模型的鲁棒性很差的问题,本发明提供了一种图像数据集处理方法和一种目标检测模型训练方法,其中,目标检测模型训练方法通过上述和下述的图像数据集处理方法得到的图像数据集对待训练的目标检测模型进行训练。
图1是根据本发明实施例的图像数据集处理方法的流程图。如图1所示并结合图2中的本发明实施例的图像数据集处理方法中生成的像素尺寸-数量的统计曲线图。可见,该方法包括步骤如下:
步骤S1,统计图像数据集内所有样本图像中属于类别R的目标对象的数量,以及各目标对象的像素尺寸,并根据两者绘制出像素尺寸-数量曲线Q2;
步骤S2,设定像素尺寸-数量曲线Q2上目标对象的像素尺寸坐标Xa和Xb之间的区域为检测区间,计算像素尺寸在检测区间内的目标对象的平均数量值并绘制与平均数量值对应的曲线Q1,以形成像素尺寸-数量的统计曲线图;
步骤S3,在统计曲线图上标定平均数量值对应的曲线Q1与像素尺寸-数量曲线Q2的全部交点,并统计各交点对应的像素尺寸坐标集合为{X1,X2,X3···Xn},根据像素尺寸坐标Xa和Xb,以及像素尺寸坐标集合{X1,X2,X3···Xn},沿像素尺寸-数量曲线Q2进行分区,分出的区间集合φ为{(0,Xa),(X1,X2),(X2,X3)···(Xn,Xb),(Xb,X+∞)},分别计算区间集合φ中各区间对应的缩放概率集P;以及
步骤S4,顺次对各区间内的像素尺寸-数量曲线Q2的所有坐标点所对应的目标对象的像素尺寸进行缩放处理,并根据缩放概率集P按预设的算法步骤判定处理方式,处理方式包括:方式A:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;或方式B:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;或方式C:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例在其所在的本区间所对应的像素尺寸的范围内进行缩放;或方式D:遍历区间内的所有坐标点,将各坐标点对应的目标对象的像素尺寸按预设缩放比例缩放到检测区间所对应的像素尺寸的范围内。
由此可知,通过对图像数据集内的所有样本图像中不同类别的目标对象分类,并根据此类目标对象的像素尺寸进行归集整理,即将相同的像素尺寸的多个目标对象汇聚在一起后根据像素尺寸的数值以及其对应的目标对象的数量绘制出像素尺寸-数量曲线Q2。进一步根据像素尺寸的数值沿像素尺寸-数量曲线Q2进行分区,分出的区间集合φ,并将位于检测区间之外的全部目标对象的像素尺寸合理地规划缩放到检测区间所对应的像素尺寸范围内的不同区间,同时对检测区间的像素尺寸范围内的目标对象的像素尺寸在多个区间内进行缩放调整,最终达到的效果是使得处理后的图像数据集中,所有的目标对象的像素尺寸均位于检测区间所对应的像素尺寸范围内,且使得落于检测区间内的各区间的目标对象的数量达到均衡性,也就是接近平均数量值实现对图像数据集的优化处理,经过优化处理后的图像数据集输入目标检测模型进行训练,目标检测模型能够均衡地对各种像素尺寸的目标对象深刻记忆,有利于目标检测模型训练精度的提升,使得训练后的目标检测模型识能够准确地识别出待测图像中预捕捉的像素尺寸范围的目标对象,而且还会大大地降低目标检测模型对待测图像中目标对象的误报率,提高目标检测模型的鲁棒性。
在步骤S3中,区间集合φ中各区间的坐标点的个数构成的目标对象数量集合M为{m1,m2,m3···mi···mλ},缩放概率集P为{Pi 1,Pi 2},其中,i为区间集合φ的区间的第数;λ为区间集合φ的区间的总个数;Pi 1表示第i区间内的坐标点对应的目标对象的像素尺寸向与其所在区间相邻的上游区间所对应的像素尺寸的范围内缩小的概率;Pi 2表示第i区间内的坐标点对应的目标对象的像素尺寸向与其所在区间相邻的下游区间所对应的像素尺寸的范围内放大的概率;缩放概率集P通过公式组(1)计算取得:
公式组(1)中,P1 3表示第一区间内的所述坐标点对应的所述目标对象的像素尺寸向所述检测区间所对应的像素尺寸的范围内放大的概率;
在步骤S4中,预设的算法步骤包括:步骤S41,在概率均匀分布区间[0,1]中任意一个数值作为标定基准值;步骤S42,比较标定基准值与Pi 1和/或Pi 2的大小关系;当标定基准值小于或等于Pi 1时,将第i区间内的各坐标点对应的目标对象的像素尺寸缩小到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;当标定基准值大于Pi 1,且小于或等于Pi 1+Pi 2时,将第i区间内的各坐标点对应的目标对象的像素尺寸放大到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;当标定基准值大于Pi 1+Pi 2时,将第i区间内的各坐标点对应的目标对象的像素尺寸在其所在的本区间所对应的像素尺寸的范围内进行缩放。
结合上述技术方案可以看出,本发明的实施例给出了一种优选的对目标对象的分区缩放方式,即根据步骤S3中的技术方案能够计算出区间集合φ的任意一区间的缩放概率集P,即获取{Pi 1,Pi 2},利用已知的{Pi 1,Pi 2}按照步骤S41和步骤S42的技术方案可以获知该区间内的各目标对象的缩放去向。
需要说明的是,在公式组(1)中,P1 1=0,表示对区间集合φ的第一区间,尺寸像素的范围在(0,Xa)的所有目标对象不会向其邻近的上游区间放缩,这是因为第一区间没有邻近的上游区间;因此,尺寸像素的范围在(0,Xa)的目标对象只能向与其相邻的下游空间放大,即放大到第二区间(X1,X2),或者向检测区间(Xa,Xb)放大,故P1 3=1-P1 2。因此,对于第一区间(0,Xa)对应的目标对象采用步骤S1中的方式A处理,且手段是放大,或者采用方式D处理,且手段是放大。此外,由于对目标对象进行像素尺寸的放大需要利用周围像素进行差值,而周围像素并不是样本图像中原有像素,从而目标对象放大比例越大,需要增加的无关的周围像素越多,对目标检测模型的训练精度影响越大,同时考虑到为了避免尺寸像素的范围在(0,Xa)的目标对象的缺失,从而不将第一区间(0,Xa)对应的目标对象舍弃,因此,对于第一区间(0,Xa)对应的目标对象,本发明的采用的优选处理方式是将尺寸像素的范围在(0,Xa)的目标对象全部放大到与其相邻的下游区间,即放大到第二区间(X1,X2)。当然,当第一区间(0,Xa)对应的目标对象全部放大到第二区间(X1,X2),且第二区间(X1,X2)原有的对应的目标对象全部放缩到其他区间后,第二区间(X1,X2)内的目标对象的数量仍然大于平均数量值此时,对于第一区间(0,Xa)对应的目标对象,采用的优选处理方式是放大到检测区间(Xa,Xb)。
还需要说明的是,在公式组(1)中,表示对区间集合φ的最后区间,尺寸像素的范围在(Xb,X+∞)的所有目标对象不会向与其相邻的下游区间放大,这是因为最后区间没有邻近的下游区间;因此,尺寸像素的范围在(Xb,X+∞)的目标对象只能向与其相邻的上游空间缩小,或者向检测区间(Xa,Xb)缩小,故因此,对于最后区间(Xb,X+∞)对应的目标对象采用步骤S1中的方式B处理,且手段是缩小,或者采用方式D处理,且手段是缩小。此外,对目标对象进行像素尺寸的缩小会损失样本图像中记录的原始信息,但相比于增加的无关的周围像素,其对目标检测模型的训练精度影响略小,同时考虑到为了避免尺寸像素的范围在(Xb,X+∞)的目标对象的缺失,从而不将最后区间(Xb,X+∞)对应的目标对象舍弃,因此,对于最后区间(Xb,X+∞)对应的目标对象,本发明的采用的优选处理方式是将尺寸像素的范围在(Xb,X+∞)的目标对象全部缩小到与其相邻的上游区间,即缩小到倒数第二区间(Xn,Xb)。当然,当最后区间(Xb,X+∞)对应的目标对象全部缩小倒数第二区间(Xn,Xb),且倒数第二区间(Xn,Xb)原有的对应的目标对象全部放缩到其他区间后,倒数第二区间(Xn,Xb)内的目标对象的数量仍然大于平均数量值此时,对于最后区间(Xb,X+∞)对应的目标对象,采用的优选处理方式是缩小到检测区间(Xa,Xb)。
进一步地,在公式组(1)中,表示对区间集合φ的第二区间,也就是说,尺寸像素的范围在(X1,X2)的目标对象不会向与其相邻的上游区间缩小,那样会造成缩小后的目标对象的像素尺寸不落入检测区间(Xa,Xb),不满足预设条件,因此,对于尺寸像素的范围在(X1,X2)的目标对象的处理方式只能是在本区间内缩放或者向与其相邻的下游空间放大,即采用步骤S1中的方式A处理,且手段是放大,或者方式C处理。
在公式组(1)中,表示对区间集合φ的倒数第二区间,也就是说,尺寸像素的范围在(Xn,Xb)的目标对象不会向与其相邻的下游区间放大,那样会造成放大后的目标对象的像素尺寸不落入检测区间(Xa,Xb),不满足预设条件,因此,对于尺寸像素的范围在(Xn,Xb)的目标对象的处理方式只能是在本区间内缩放或者向与其相邻的上游空间缩小,即采用步骤S1中的方式B处理,且手段是缩小,或者方式C处理。
在公式组(1)中,λ为区间集合φ的区间的总个数;n则是区间集合φ落在检测区间(Xa,Xb)内的区间的个数,λ=n+2正是表示区间集合φ的区间的总个数等于区间集合φ落在检测区间(Xa,Xb)内的区间的个数加上第一区间(0,Xa)和最后区间(Xb,X+∞)。
对于区间集合φ的第i区间,其中,i为取值范围在[3,λ-2]的正整数;Pi 1+Pi 2=η,η∈(0,1],当η等于1时,表示尺寸像素的范围在第i区间(Xi-1,Xi)对应的目标对象向第i-1区间(Xi-2,Xi-1)缩小,或向第i+1区间(Xi,Xi+1)放大;当η∈(0,1)时,表示尺寸像素的范围在第i区间(Xi-1,Xi)对应的目标对象向第i-1区间(Xi-2,Xi-1)缩小,或向第i+1区间(Xi,Xi+1)放大,或在本区间(Xi-1,Xi)缩放。
下面对于公式组(1)中的公式:中的各项进行说明,上述公式左边的计算式表示整个区间集合φ经过目标对象的缩放调整后,落入第i区间的目标对象的个数,其正好等于平均数量值其中,表示第i+1区间(Xi,Xi+1)向第i区间(Xi-1,Xi)缩小的目标对象的数量,表示第i-1区间(Xi-2,Xi-1)向第i区间(Xi-1,Xi)放大的目标对象的数量,表示第一区间(X1,X2)中向第i区间(Xi-1,Xi)放大的目标对象的数量,表示最后区间(Xb,X+∞)中向第i区间(Xi-1,Xi)缩小的目标对象的数量,mi表示第i区间(Xi-1,Xi)中固有的目标对象的数量,Pi 1·mi表示第i区间(Xi-1,Xi)中向与其相邻的上游区间,即第i-1区间(Xi-2,Xi-1)缩小的目标对象的数量,Pi 2·mi表示第i区间(Xi-1,Xi)中向与其相邻的下游区间,即第i+1区间(Xi,Xi+1)放大的目标对象的数量。
在本实施例中,可选地,预设缩放比例为在缩放到的目标区间所对应的全部像素尺寸中的任意一个取值与本区间的各坐标点对应的目标对象的像素尺寸的比值。这样对于每一个目标对象的缩小或者放大,均进行一次预设缩放比例的计算,这样不仅确保了目标对象的数量在检测区间(Xa,Xb)内分布均匀,还能够确保目标对象的像素尺寸的多样性。
可选地,通过对目标对象所在的样本图像按预设缩放比例缩放后实现对目标对象的等比例缩放。这样,当同一样本图像包含多个目标对象的情况下,通过多次对样本图像按预设缩放比例缩放后再识别出放缩后的目标对象即可。
其中,Z为属于类别R的目标对象的数量。公示(2)中默认Xb大于Xa。
可选地,目标对象的像素尺寸为其在样本图像中的高度像素或宽度像素。在发明的图示实施例中,如图2所示,目标对象像素尺寸为其在样本图像中的高度像素。
如图2所示,像素尺寸-数量曲线Q2以属于类别R的目标对象的数量为纵坐标,属于类别R的目标对象的像素尺寸为横坐标,以离散坐标点标定的形式绘制成。也就是说,像素尺寸-数量曲线Q2是多个离散坐标点通过平滑曲线连接形成,每个离散坐标点对应着纵坐标的目标对象的数量以及对应着横坐标的目标对象的像素尺寸均为正整数。
可选地,类别R包括行人、动物、机动车辆或非机动车辆。
以本实施例为例,如图2所示,平均数量值对应的曲线Q1为一条平行于X轴的线段,其左右两个端点对应的X轴的取值正是Xa和Xb,即检测区间的两端,取值分别为100和240;曲线Q1与像素尺寸-数量曲线Q2的交点为4个,4个交点对应的X轴的取值分别是X1、X2、X3、X4,分别是112、140、191和218;平均数量值由公式(2)计算为71,其中,像素尺寸-数量曲线Q2与X轴之间的面积即为类别R的目标对象的数量Z,本实施例中类别R为行人。因此,区间集合φ被分为7个区间,其中检测区间(Xa,Xb)除第一区间和最后区间外,包含5个区间,第一区间为(1,100)、第二区间为(100,112)、第三区间为(112,140)、第四区间为(140,191)、第五区间为(191,218)、第六区间为(218,240),最后区间为(240,400);相邻两区间的端点值可以选择性地归属于两个区间中的任意一个中。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像数据集处理方法,其特征在于,包括:
步骤S1,统计图像数据集内所有样本图像中属于类别R的目标对象的数量,以及各所述目标对象的像素尺寸,并根据两者绘制出像素尺寸-数量曲线Q2;
步骤S2,设定所述像素尺寸-数量曲线Q2上所述目标对象的像素尺寸坐标Xa和Xb之间的区域为检测区间,计算像素尺寸在所述检测区间内的所述目标对象的平均数量值并绘制与所述平均数量值对应的曲线Q1,以形成像素尺寸-数量的统计曲线图;
步骤S3,在所述统计曲线图上标定所述平均数量值对应的曲线Q1与所述像素尺寸-数量曲线Q2的全部交点,并统计各交点对应的像素尺寸坐标集合为{X1,X2,X3…Xn},根据所述像素尺寸坐标Xa和Xb,以及所述像素尺寸坐标集合{X1,X2,X3…Xn},沿所述像素尺寸-数量曲线Q2进行分区,分出的区间集合φ为{(0,Xa),(X1,X2),(X2,X3)…(Xn,Xb),(Xb,X+∞)},分别计算所述区间集合φ中各区间对应的缩放概率集P;
步骤S4,顺次对各所述区间内的所述像素尺寸-数量曲线Q2的所有坐标点所对应的所述目标对象的像素尺寸进行缩放处理,并根据所述缩放概率集P按预设的算法步骤判定处理方式,所述处理方式包括:
方式A:遍历所述区间内的所有所述坐标点,将各所述坐标点对应的所述目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;或
方式B:遍历所述区间内的所有所述坐标点,将各所述坐标点对应的所述目标对象的像素尺寸按预设缩放比例缩放到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;或
方式C:遍历所述区间内的所有所述坐标点,将各所述坐标点对应的所述目标对象的像素尺寸按预设缩放比例在其所在的本区间所对应的像素尺寸的范围内进行缩放;或
方式D:遍历所述区间内的所有所述坐标点,将各所述坐标点对应的所述目标对象的像素尺寸按预设缩放比例缩放到所述检测区间所对应的像素尺寸的范围内。
2.根据权利要求1所述的图像数据集处理方法,其特征在于,在所述步骤S3中,
所述区间集合φ中各所述区间的坐标点的个数构成的目标对象数量集合M为{m1,m2,m3…mi…mλ},所述缩放概率集P为{Pi 1,Pi 2},其中,
i为所述区间集合φ的区间的第数;
λ为所述区间集合φ的区间的总个数;
Pi 1表示第i区间内的所述坐标点对应的所述目标对象的像素尺寸向与其所在区间相邻的上游区间所对应的像素尺寸的范围内缩小的概率;
Pi 2表示第i区间内的所述坐标点对应的所述目标对象的像素尺寸向与其所在区间相邻的下游区间所对应的像素尺寸的范围内放大的概率;
所述缩放概率集P通过公式组(1)计算取得:
公式组(1)中,
P1 3表示第一区间内的所述坐标点对应的所述目标对象的像素尺寸向所述检测区间所对应的像素尺寸的范围内放大的概率;
3.根据权利要求2所述的图像数据集处理方法,其特征在于,在所述步骤S4中,所述预设的算法步骤包括:
步骤S41,在概率均匀分布区间[0,1]中任意一个数值作为标定基准值;
步骤S42,比较所述标定基准值与Pi 1和/或Pi 2的大小关系;
当所述标定基准值小于或等于Pi 1时,将所述第i区间内的各所述坐标点对应的所述目标对象的像素尺寸缩小到与其所在区间相邻的上游区间所对应的像素尺寸的范围内;
当所述标定基准值大于Pi 1,且小于或等于Pi 1+Pi 2时,将所述第i区间内的各所述坐标点对应的所述目标对象的像素尺寸放大到与其所在区间相邻的下游区间所对应的像素尺寸的范围内;
当所述标定基准值大于Pi 1+Pi 2时,将所述第i区间内的各所述坐标点对应的所述目标对象的像素尺寸在其所在的本区间所对应的像素尺寸的范围内进行缩放。
4.根据权利要求1所述的图像数据集处理方法,其特征在于,所述预设缩放比例为在缩放到的目标区间所对应的全部像素尺寸中的任意一个取值与本区间的各所述坐标点对应的所述目标对象的像素尺寸的比值。
5.根据权利要求1所述的图像数据集处理方法,其特征在于,通过对所述目标对象所在的所述样本图像按所述预设缩放比例缩放后实现对所述目标对象的等比例缩放。
7.根据权利要求1至6中任一项所述的图像数据集处理方法,其特征在于,所述目标对象的像素尺寸为其在所述样本图像中的高度像素或宽度像素。
8.根据权利要求1至6中任一项所述的图像数据集处理方法,其特征在于,所述像素尺寸-数量曲线Q2以属于所述类别R的所述目标对象的数量为纵坐标,属于所述类别R的所述目标对象的像素尺寸为横坐标,以离散坐标点标定的形式绘制成。
9.根据权利要求1至6中任一项所述的图像数据集处理方法,其特征在于,所述类别R包括行人、动物、机动车辆或非机动车辆。
10.一种目标检测模型训练方法,其特征在于,通过使用权利要求1至9所述的图像数据集处理方法得到的图像数据集对待训练的目标检测模型进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110555366.5A CN113191451B (zh) | 2021-05-21 | 2021-05-21 | 图像数据集处理方法和目标检测模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110555366.5A CN113191451B (zh) | 2021-05-21 | 2021-05-21 | 图像数据集处理方法和目标检测模型训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191451A true CN113191451A (zh) | 2021-07-30 |
CN113191451B CN113191451B (zh) | 2024-04-09 |
Family
ID=76984616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110555366.5A Active CN113191451B (zh) | 2021-05-21 | 2021-05-21 | 图像数据集处理方法和目标检测模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191451B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118314131A (zh) * | 2024-06-06 | 2024-07-09 | 中海油田服务股份有限公司 | 基于电成像测井图像的数据处理方法、装置以及计算设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018003212A1 (ja) * | 2016-06-30 | 2018-01-04 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
CN107578021A (zh) * | 2017-09-13 | 2018-01-12 | 北京文安智能技术股份有限公司 | 基于深度学习网络的行人检测方法、装置及系统 |
CN108108739A (zh) * | 2017-12-18 | 2018-06-01 | 上海联影医疗科技有限公司 | 图像目标区域的检测方法、装置、x射线系统及存储介质 |
CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
CN110163287A (zh) * | 2019-05-24 | 2019-08-23 | 三亚中科遥感研究所 | 一种中尺度涡检测方法及装置 |
CN111860236A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 一种基于迁移学习的小样本遥感目标检测方法及系统 |
CN112001912A (zh) * | 2020-08-27 | 2020-11-27 | 北京百度网讯科技有限公司 | 目标检测方法和装置、计算机系统和可读存储介质 |
CN112130142A (zh) * | 2020-09-25 | 2020-12-25 | 中南大学 | 一种复杂运动目标微多普勒特征提取方法及系统 |
CN112348765A (zh) * | 2020-10-23 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 数据增强方法、装置、计算机可读存储介质及终端设备 |
-
2021
- 2021-05-21 CN CN202110555366.5A patent/CN113191451B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018003212A1 (ja) * | 2016-06-30 | 2018-01-04 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
CN107578021A (zh) * | 2017-09-13 | 2018-01-12 | 北京文安智能技术股份有限公司 | 基于深度学习网络的行人检测方法、装置及系统 |
CN108108739A (zh) * | 2017-12-18 | 2018-06-01 | 上海联影医疗科技有限公司 | 图像目标区域的检测方法、装置、x射线系统及存储介质 |
CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
CN110163287A (zh) * | 2019-05-24 | 2019-08-23 | 三亚中科遥感研究所 | 一种中尺度涡检测方法及装置 |
CN111860236A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 一种基于迁移学习的小样本遥感目标检测方法及系统 |
CN112001912A (zh) * | 2020-08-27 | 2020-11-27 | 北京百度网讯科技有限公司 | 目标检测方法和装置、计算机系统和可读存储介质 |
CN112130142A (zh) * | 2020-09-25 | 2020-12-25 | 中南大学 | 一种复杂运动目标微多普勒特征提取方法及系统 |
CN112348765A (zh) * | 2020-10-23 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 数据增强方法、装置、计算机可读存储介质及终端设备 |
Non-Patent Citations (4)
Title |
---|
XIAODONG ZHANG等: "Geospatial Object Detection on High Resolution Remote Sensing Imagery Based on Double Multi-Scale Feature Pyramid Network", 《REMOTE SENSING》, vol. 11, pages 1 - 27 * |
ZHIWEI WEI等: "AMRNET: CHIP AUGMENTATION IN AERIAL IMAGE OBJECT DETECTION", 《ARXIV:2009.07168V2》, pages 1 - 5 * |
杜鑫磊: "自然环境下基于改进YOLOv3网络的交通标志识别研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 2021, pages 035 - 392 * |
陆保国等: "光学遥感影像飞机目标识别与分类方法", 《指挥信息系统与技术》, vol. 11, no. 5, pages 78 - 82 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118314131A (zh) * | 2024-06-06 | 2024-07-09 | 中海油田服务股份有限公司 | 基于电成像测井图像的数据处理方法、装置以及计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113191451B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657629B (zh) | 一种文本行提取方法及装置 | |
CN109829437B (zh) | 图像处理方法、文本识别方法、装置和电子系统 | |
WO2021218314A1 (zh) | 基于位置定位的事件识别方法、装置、设备及存储介质 | |
CN112050821B (zh) | 一种车道线聚合方法 | |
CN105793892B (zh) | 一种图像处理方法、装置及摄像设备 | |
CN105354841B (zh) | 一种快速遥感影像匹配方法及系统 | |
CN113112480B (zh) | 视频场景变换检测方法、存储介质和电子设备 | |
CN110645980B (zh) | 一种室内外一体化定位导航方法及其系统 | |
CN109784290A (zh) | 一种目标检测方法、装置、设备及可读存储介质 | |
CN104408463B (zh) | 一种高分辨率建设用地图斑识别方法 | |
CN110634137A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN110659658B (zh) | 一种目标检测方法及其装置 | |
Hinz et al. | Car detection in aerial thermal images by local and global evidence accumulation | |
CN111339839A (zh) | 一种密集型目标检测计量方法 | |
CN110033492B (zh) | 摄像机标定方法及终端 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN109376689B (zh) | 人群分析方法及装置 | |
CN114821102A (zh) | 密集柑橘数量检测方法、设备、存储介质及装置 | |
CN106778587A (zh) | 基于无人机影像的飞行状态检测方法及装置 | |
CN113191451A (zh) | 图像数据集处理方法和目标检测模型训练方法 | |
CN111259833A (zh) | 一种基于交通图像的车辆计数方法 | |
CN114638862A (zh) | 一种视觉跟踪方法及跟踪装置 | |
CN112733624A (zh) | 室内密集场景的人流密度检测方法、系统存储介质及终端 | |
CN116912517B (zh) | 相机视野边界的检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Country or region after: China Address after: 1602, 16th Floor, Building 4, Zone 4, No. 81 Beiqing Road, Haidian District, Beijing, 100094 Applicant after: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Unit 801, Unit 5, No. 2 Building, 9 Yuan, Fenghao East Road, Haidian District, Beijing 100094 Applicant before: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |
|
GR01 | Patent grant | ||
GR01 | Patent grant |