CN116109891A - 图像数据扩增方法、装置、计算设备及存储介质 - Google Patents

图像数据扩增方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN116109891A
CN116109891A CN202310142885.8A CN202310142885A CN116109891A CN 116109891 A CN116109891 A CN 116109891A CN 202310142885 A CN202310142885 A CN 202310142885A CN 116109891 A CN116109891 A CN 116109891A
Authority
CN
China
Prior art keywords
point
picture
points
pixel
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310142885.8A
Other languages
English (en)
Other versions
CN116109891B (zh
Inventor
张冬明
张勇东
鲁鼎煜
靳国庆
郭俊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Sports Club Co Ltd
Original Assignee
People Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by People Co Ltd filed Critical People Co Ltd
Priority to CN202310142885.8A priority Critical patent/CN116109891B/zh
Publication of CN116109891A publication Critical patent/CN116109891A/zh
Application granted granted Critical
Publication of CN116109891B publication Critical patent/CN116109891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种图像数据扩增方法、装置、计算设备及存储介质。方法包括:获取包含柔性目标的基准图片;确定基准图片的基准点选取区,从基准点选取区中提取第一数量的第一像素点作为基准点;针对基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得扩增图片至基准图片的映射函数;针对扩增图片中任一第二像素点,基于映射函数确定第二像素点映射的第一像素点,根据该第一像素点的像素值生成该第二像素点的像素值以生成扩增图片。采用本方案,能够获得柔性目标在柔性变形后的扩增图片,提高柔性目标的样本多样性,提升模型的泛化能力以及检测精度。

Description

图像数据扩增方法、装置、计算设备及存储介质
技术领域
本发明涉及人工智能技术领域,具体涉及一种图像数据扩增方法、装置、计算设备及存储介质。
背景技术
随着科技及社会的不断发展,人工智能技术也取得了快速发展。其中,图像目标检测技术作为一种重要的人工智能技术,被越来越多地应用在商标侵权分析及财产保护、智能交通系统、图像内容分析等场景中。
图像目标检测技术具体是基于深度学习算法等来训练目标检测模型,通过目标检测模型进行目标检测。为了提升目标检测模型的检测精度以及泛化能力,通常需要大量的样本来对模型进行训练。图像数据扩增是一种能够基于已有图像样本来生成新的图像样本的方法,通过对样本集进行图像数据扩增能够扩大样本集,从而提升目标检测模型的检测精度以及泛化能力。
然而,发明人在实施过程中发现,现有技术中存在如下缺陷;现有技术采用的图像数据扩增方法主要为:对图像进行添加噪音、裁剪、翻转、旋转、颜色变化,以及对比度变化等。然而,现有技术的该种方法仅仅能够实现刚性变换,针对于柔性目标会存在样本多样性差的弊端,从而降低模型的泛化能力以及检测精度。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像数据扩增方法、装置、计算设备及存储介质。
根据本发明的一个方面,提供了一种图像数据扩增方法,包括:
获取包含柔性目标的基准图片;
确定所述基准图片中的基准点选取区,从所述基准点选取区中提取第一数量的第一像素点作为基准点;
针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;
采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得所述扩增图片至基准图片的映射函数;
针对扩增图片中的任一第二像素点,基于所述映射函数从所述基准图片中确定出该第二像素点映射的第一像素点,根据所述映射的第一像素点的像素值生成该第二像素点的像素值,以生成所述扩增图片。
在一种可选的实施方式中,所述从所述基准点选取区中提取第一数量的像素点作为基准点进一步包括:
将所述基准点选取区进行网格化处理,并确定网格交点;
针对于任一网格交点,若该网格交点与基准点选取区边界的距离大于第一距离阈值,则将该网格交点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,所述从所述基准点选取区中提取第一数量的第一像素点作为基准点进一步包括:
采用角点检测算法检测所述基准点选取区中的角点;
针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,所述对该基准点进行位置偏移后生成变形点进一步包括:
确定偏移量取值范围,
采用随机算法从所述偏移量取值范围中获取目标偏移量,利用所述目标偏移量对该基准点进行位置偏移后生成变形点。
在一种可选的实施方式中,在所述生成所述扩增图片之后,所述方法还包括:
确定所述基准图片中的柔性目标标注框包含的区域,并将所述柔性目标标注框包含的区域分割为柔性目标区域以及背景区域;
根据所述映射函数,从所述扩增图片的第二像素点中确定出目标第二像素点;其中,目标第二像素点与所述基准图片中的柔性目标区域内的第一像素点具有映射关系;
基于所述目标第二像素点在扩增图片中的坐标生成所述扩增图片中的柔性目标标注框。
在一种可选的实施方式中,在所述生成所述扩增图片之后,所述方法还包括:
统计基准图片中柔性目标标注框包含的区域内第一像素点的第二数量,以及统计基准图片中的柔性目标标注框内用于映射第二像素点的第一像素点的第三数量;
判断所述第三数量与所述第二数量的比值是否小于预设阈值;
若是,则舍弃生成的扩增图片。
在一种可选的实施方式中,所述获取包含柔性目标的基准图片进一步包括:
获取包含柔性目标的初始图片;
对所述初始图片进行刚性变换后获得所述基准图片。
根据本发明的另一方面,提供了一种图像数据扩增装置,包括:
获取模块,用于获取包含柔性目标的基准图片;
提取模块,用于确定所述基准图片中的基准点选取区,从所述基准点选取区中提取第一数量的第一像素点作为基准点;
形变模块,用于针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;
映射模块,用于采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得所述扩增图片至基准图片的映射函数;
生成模块,用于针对扩增图片中的任一第二像素点,基于所述映射函数从所述基准图片中确定出该第二像素点映射的第一像素点,根据所述映射的第一像素点的像素值生成该第二像素点的像素值,以生成所述扩增图片。
在一种可选的实施方式中,提取模块用于:将所述基准点选取区进行网格化处理,并确定网格交点;
针对于任一网格交点,若该网格交点与基准点选取区边界的距离大于第一距离阈值,则将该网格交点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,提取模块用于:采用角点检测算法检测所述基准点选取区中的角点;
针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,形变模块用于:确定偏移量取值范围,
采用随机算法从所述偏移量取值范围中获取目标偏移量,利用所述目标偏移量对该基准点进行位置偏移后生成变形点。
在一种可选的实施方式中,该装置还包括:标注模块,用于确定所述基准图片中的柔性目标标注框包含的区域,并将所述柔性目标标注框包含的区域分割为柔性目标区域以及背景区域;
根据所述映射函数,从所述扩增图片的第二像素点中确定出目标第二像素点;其中,目标第二像素点与所述基准图片中的柔性目标区域内的第一像素点具有映射关系;
基于所述目标第二像素点在扩增图片中的坐标生成所述扩增图片中的柔性目标标注框。
在一种可选的实施方式中,该装置还包括:校验模块,用于统计基准图片中柔性目标标注框包含的区域内第一像素点的第二数量,以及统计基准图片中的柔性目标标注框内用于映射第二像素点的第一像素点的第三数量;
判断所述第三数量与所述第二数量的比值是否小于预设阈值;
若是,则舍弃生成的扩增图片。
在一种可选的实施方式中,获取模块用于:获取包含柔性目标的初始图片;
对所述初始图片进行刚性变换后获得所述基准图片。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述图像数据扩增方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行上述图像数据扩增方法对应的操作。
本发明公开的图像数据扩增方法、装置、计算设备及存储介质中:获取包含柔性目标的基准图片;确定基准图片中的基准点选取区,从基准点选取区中提取第一数量的第一像素点作为基准点;针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得扩增图片至基准图片的映射函数;针对扩增图片中的任一第二像素点,基于映射函数从基准图片中确定出该第二像素点映射的第一像素点,根据映射的第一像素点的像素值生成该第二像素点的像素值,以生成扩增图片。采用本方案能够获得柔性目标的柔性变形后的扩增图片,提高柔性目标的样本多样性,从而提升模型的泛化能力以及检测精度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种图像数据扩增方法的流程示意图;
图2示出了本发明实施例提供的一种基准点选取区的示意图;
图3示出了本发明实施例提供的一种候选基准点的示意图;
图4示出了本发明实施例提供的又一种候选基准点的示意图;
图5示出了本发明实施例提供的一种扩增图像的示意图;
图6示出了本发明实施例提供的又一种图像数据扩增方法的流程示意图;
图7示出了本发明实施例提供的再一种图像数据扩增方法的流程示意图;
图8示出了本发明实施例提供的一种图像数据扩增装置的结构示意图;
图9示出了本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的一种图像数据扩增方法的流程示意图。
其中,本实施例中的流程图不用于对执行步骤的顺序进行限定。根据需要,还可以对该流程图中的部分步骤进行添加或删减。
如图1所示,该方法具体包括如下步骤:
步骤S110,获取包含柔性目标的基准图片。
基准图片是包含在样本集中的图片,该基准图片可以是原始采集到的图片,如从相应图片库或开源网站等采集到的图片,该基准图片也可以是通过对原始采集到的图片进行裁剪、翻转等刚性变形后得到的图片等等。
基准图片中包含有柔性目标,该柔性目标是目标受力后自身不能恢复原来形状的物体,即目标受力后形状发生变换的物体。该柔性目标包括但不限于:位于衣物等柔性材料上的商标、标志、标语等,还可以是旗帜等等。
步骤S120,确定基准图片中的基准点选取区。
为便于后续快速地提取基准点以及控制基准图片的变形区域等,本步骤进一步确定出基准图片中的基准点选取区。该基准点选取区是基准图片中的部分或全部区域,也是后续提取出基准点的区域。
在一种可选的实施方式中,可以根据样本集所训练的模型执行的任务不同来确定基准点选取区。例如,若模型用于执行柔性目标分类任务,则基准图片中的基准点选取区可以为整个基准图片;若模型用于执行检测图片中柔性目标位置及目标分类任务,则基准图片的基准点选取区可以为基准图片中柔性目标的标注框内区域。
进一步可选的,为了避免基准图片变形后发生外溢,即形变点不在原图像范围内,则本实施方式中可以对上述基准点选取区进行相应地扩展处理。例如,可以在上述确定的基准点选取区上沿区域四边向外扩展预设数量像素,该预设数量可以为4~16。则后续基于扩展后的基准点选取区选取基准点。以图2为例,图2中虚线框区域为柔性目标的标注框内区域,在向外扩展预设数量像素后获得图2中实线框区域为最终的基准点选取区。
步骤S130,从基准点选取区中提取第一数量的第一像素点作为基准点。
为达到对基准图片中柔性目标变形的目的,需要对基准图片的不同区域施加不同的位移,从而达到为基准图片的扭曲形变。为了简化本发明实施例的实施过程,提升本方法的整体执行效率,本步骤具体是从基准图片的基准点选取区中提取部分第一像素点作为基准点,其中,基准图片中的像素点为第一像素点。后续以提取出的基准点进行变形。其中,提取出的基准点的数量为第一数量。
在一种可选的实施方式中,可以通过如下方式中的一种或多种的组合来从基准点选取区中提取基准点:
提取方式一:将基准点选取区进行网格化处理,并确定网格交点,针对于任一网格交点,若该网格交点与基准点选取区边界的距离大于第一距离阈值,则将该网格交点作为候选基准点,提取第一数量的候选基准点像素点作为基准点。本提取方式中,是基于网格化处理后的网格交点来得到候选基准点,网格化处理过程简单易行,基准点提取效率高。
如图3所示,基准点选取区进行网格化处理后得到4*4的网格,由于位于边缘的网格交点与基准点选取区边界的距离小于或等于第一距离阈值,即临近基准点选取区边界,为避免变形溢出,本实施例中将该类临近基准点选取区边界的网格交点不作为候选基准点,而仅保留与基准点选取区边界的距离大于第一距离阈值的网格交点作为候选基准点。在从候选基准点中提取第一数量的像素点作为基准点时,可以采用随机算法,随机从候选基准点中提取第一数量的点作为基准点。
提取方式二:采用角点检测算法检测基准点选取区中的角点,针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点,提取第一数量的候选基准点作为基准点。本提取方式中,是通过SIFT(Scale-invariantfeature transform,尺度不变特征转换)、SURF(Speeded Up Robust Features,加速鲁棒性特征)、ORB(Oriented FAST and Rotated BRIEF)等角点检测算法来检测基准点选取区中的角点,该角点是基准点选取区中的关键点,基于该角点来得到候选基准点能够便于后续的变形控制。
如图4所示,图4中白点便是基准点选取区中的角点。本提取方式中剔除临近基准点选取区边界的角点,而仅保留与基准点选取区边界的距离大于第二距离阈值的角点作为候选基准点。在从候选基准点中提取第一数量的点作为基准点时,可以采用随机算法,随机从候选基准点中提取第一数量的点作为基准点。
提取方式三:采用角点检测以及网格化处理相结合的提取方式。具体地,采用角点检测算法检测基准点选取区中的角点,针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点。判断当前候选基准点的数量是否小于第一数量,若是,则将基准点选取区进行网格化处理,并确定网格交点,选取与基准点选取区边界的距离大于第一距离阈值作为候选基准点。
此外,在通过提取方式二得到的候选基准点的数量小于第一数量的情况下,还可以对基准点选取区进行上采样处理,基于上采样处理后的结果进行角点检测,以达到提高候选基准点数量的目的。
在又一种可选的实施方式中,本发明实施例是通过薄板样条插值算法来模拟柔性目标的变形,在第一数量为3时,仅能实现基准图片的平面变换,而当第一数量大于3时可以实现基准图片的曲面变形,由此,本发明实施例中的第一数量大于3。此外,在基准点较多时,会产生较为复杂的变形,从而增加本方法的处理压力,增加处理成本及处理时间,鉴于此,本发明实施例中的第一数量处于预设范围内,优选地,第一数量为5~17。
在提取出基准点后,获取各个基准点的坐标数据,该坐标数据通常为X轴及Y轴的坐标值。
步骤S140,针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点。
每个基准点进行位置偏移后得到相应的变形点,不同基准点的位置偏移不同步。在进行位置偏移后会得到多个变形点对,每个变形点对中包含一个基准点以及由该基准点生成的变形点,并记录变形点的坐标。
在一种可选的实施方式中,为了避免基准图片产生严重的变形,本发明实施例中预先生成有偏移量的取值范围,即预先确定偏移量取值范围,采用随机算法从偏移量取值范围中获取目标偏移量,利用目标偏移量对该基准点进行位置偏移后生成变形点。例如每个基准点的X坐标、Y坐标的偏移量范围为[-off,off],则随机从[-off,off]中确定出X坐标的目标偏移量off_1,以及随机从[-off,off]中确定出Y坐标的目标偏移量off_2,并在基准点A的X坐标上偏移off_1得到变形点Q的X坐标,在基准点A的Y坐标上偏移off_2得到变形点Q的Y坐标。
步骤S150,采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得扩增图片至基准图片的映射函数。
薄板样条插值算法(Thin Plate Spline,简称TPS)是一种2D插值算法,其能够模拟薄板的变形情况,通过薄板样条插值算法能够在两张图片中存在一些相互对应的控制点的情况下,将其中一个图片进行特定的变形后使两张图片的控制点重合。鉴于薄板样条插值算法的该特性,本发明实施例将基准图片以及基于该基准图片变形后生成的扩增图片作为一组有对应控制点的两张图片,将基准点作为基准图片中的控制点,将变形点作为扩增图片中的控制点,将变形点对中的基准点以及变形点作为两个具有对应关系的控制点。则本步骤在实施时,具体是将各个变形点对中基准点以及变形点的坐标输入至由薄板样条插值算法构成的处理器中,该处理器会输出扩增图片至基准图片的映射函数,该映射函数又可以称为转换函数。
步骤S160,针对扩增图片中的任一第二像素点,基于映射函数从基准图片中确定出该第二像素点映射的第一像素点,根据映射的第一像素点的像素值生成该第二像素点的像素值,以生成扩增图片。
扩增图片中的像素点为第二像素点,在步骤S150后第二像素点在扩增图片中的坐标已知,但各个第二像素点的像素值未知,由此通过本步骤来确定出各个第二像素点的像素值。
具体地,针对扩增图片中的任一第二像素点,利用映射函数对该像素点的坐标进行处理后得到该第二像素点的映射坐标,从而将基准图片中该映射坐标对应的第一像素点作为该第二像素点映射的第一像素点,并根据该第一像素点的像素值生成该第二像素点的像素值。可选的,若映射坐标与某第一像素点坐标一致,则将该第一像素点作为作为第二像素点映射的第一像素点;若映射坐标与各个第一像素点坐标均不一致,则将映射坐标附近的多个第一像素点作为该第二像素点映射的第一像素点,并将该多个第一像素点的插值像素值生成该第二像素点的像素值。以图5为例,P1为基准图片,通过本发明实施例的处理能够基于基准图片P1得到柔性变形后的扩增图片P2以及扩增图片P3。
由此可见,本实施例通过选取基准图片中的基准点,并对基准点偏移后得到变形点,继而通过薄板样条插值算法对基准点及变形点处理后得到扩增图片至基准图片的映射函数,从而通过映射函数得到扩增图片。采用本方案能够获得柔性目标的柔性变形后的扩增图片,提高柔性目标的样本多样性,从而提升模型的泛化能力以及检测精度。
图6示出了本发明实施例提供的又一种图像数据扩增方法的流程示意图。
其中,本实施例中的流程图不用于对执行步骤的顺序进行限定。根据需要,还可以对该流程图中的部分步骤进行添加或删减。
如图6所示,该方法具体包括如下步骤:
步骤S610,基于基准图片生成扩增图片。
本步骤可参照其他实施例中生成扩增图片的实施方式,在此不作赘述。
步骤S620,确定基准图片中的柔性目标标注框包含的区域,并将柔性目标标注框包含的区域分割为柔性目标区域以及背景区域。
在模型执行目标检测任务时,会标注出图片中柔性目标所处的位置,例如利用标注框标注出图片中的商标等。在基准图片经变形后得到扩增图片后,由于扩增图片中柔性目标相较于基准图片的柔性目标已经发生了变形,由此基准图片中的柔性目标标注框已无法适配扩增图片,在该情况下,通过步骤S620-步骤S640来实现扩增图片中柔性目标标注框的自动生成。
具体地,首先确定基准图片中的柔性目标标注框包含的区域。基准图片中柔性目标标注框为标注出基准图片中柔性目标的标注框。该标注框内包含的区域不仅包含了柔性目标还包含了背景部分,则本步骤将柔性目标标注框包含的区域分割为柔性目标区域以及背景区域。其中,柔性目标区域为标注框内柔性目标部分,背景区域为标注框内除柔性目标部分以外的部分。
在一种可选的实施方式中,为简化柔性目标区域以及背景区域的分割过程,可以对基准图片中的柔性目标标注框包含的区域进行二值化处理,基于二值化处理后的二值化图像来进行分割。例如,可以采用大津算法对基准图片中的柔性目标标注框包含的区域进行二值化处理,大津算法可以如公式1所示:
g=max[w0(t)×(u0(t)-u)2+w1(t)×(u1(t)-u)2]      (公式1)
公式1应用在本发明中,g为柔性目标和背景的类间方差,t为柔性目标和背景的分割阈值,w0(t)为柔性目标的像素点数占基准图片中的柔性目标标注框包含的区域总像素的比例,u0(t)为柔性目标的平均灰度,w0(t)为背景的像素点数占基准图片中的柔性目标标注框包含的区域总像素的比例,u0(t)为背景的平均灰度。通过使公式1取不同的t值使g最大,最终得到的t即为最终的分割阈值,进而获得图像中标志区域掩码。
步骤S630,根据映射函数,从扩增图片的第二像素点中确定出目标第二像素点;其中,目标第二像素点与基准图片中的柔性目标区域内的第一像素点具有映射关系。
若扩增图片中某第二像素点映射的第一像素点位于柔性目标区域内,则将该第二像素点作为目标第二像素点。
步骤S640,基于目标第二像素点在扩增图片中的坐标生成扩增图片中的柔性目标标注框。
目标第二像素点便是扩增图片中柔性目标中的点,则基于目标第二像素点在扩增图片中的坐标生成扩增图片中的柔性目标标注框。
在一种可选的实施方式中,统计所有目标第二像素点中横坐标最小值X_min、横坐标最大值X_max,纵坐标最小值Y_min以及纵坐标最大值Y_max,将<X_min,Y_min>、<X_min,Y_max>、<X_max,Y_min>、<X_max,Y_max>作为扩增图片中的柔性目标标注框的四个顶点。在具体标注时,可以记录扩增图片中柔性目标标注框左上角以及右下角的坐标位置;也可以记录扩增图片中柔性目标标注框左上角的坐标位置以及柔性目标标注框的高度等等。
此外,在一种可选的实施方式中,由于实际的场景中柔性目标发生过于剧烈柔性形变的情况较少,由此为了保障模型对常规情况的预测精度,本发明实施例在获得扩增图片之后,进一步地剔除柔性目标剧烈形变的扩增图片。
具体地,统计基准图片中柔性目标标注框包含的区域内像素点的第二数量,以及统计基准图片中的柔性目标标注框内用于映射目标第二像素点的第一像素点的第三数量;判断第三数量与第二数量的比值是否小于预设阈值;若是,则舍弃生成的扩增图片。其中,基准图片中柔性目标标注框包含的区域内像素点的总数量为第二数量,基准图片中柔性目标标注框内的与第二像素点存在映射关系的第一像素点的数量为第三数量,若第三数量与第二数量的比值小于预设阈值,则表明该扩增图片相较于基准图片发生了较为剧烈的形变,由此将该扩增图片作为无效扩增图片。
由此可见,本发明实施例在生成扩增图片后还进一步地自动生成扩增图片中柔性目标标注框,从而无需人工对扩增图片进行标注,提升扩增图片的标注效率以及降低标注成本;而且,在生成扩增图片之后,进一步地对扩增图片进行校验,以剔除变形程度过大的扩增图片。
图7示出了本发明实施例提供的再一种图像数据扩增方法的流程示意图。
其中,本实施例中的流程图不用于对执行步骤的顺序进行限定。根据需要,还可以对该流程图中的部分步骤进行添加或删减。
如图7所示,该方法具体包括如下步骤:
步骤S710,获取包含柔性目标的初始图片。
该初始图片可以是从图片库或相关网站获取到的包含柔性目标的图片。
步骤S720,对初始图片进行刚性变换后获得基准图片。
为了进一步地提升样本集的多样性以及模型的泛化能力,本发明实施例可以对初始图片进行刚性变换得到基准图片,以便于后续对基准图片进行进一步地柔性变形,从而使得最终获得的扩增图片糅合了刚性变换以及柔性变形。
具体地,对初始图片进行刚性变换,该刚性变换是指不改变图片中目标形状的变换,该刚性变换包括但不限于:裁剪、旋转、噪声、颜色改变、对比度改变、仿射变换等等。
在一种可选的实施方式中,在获得基准图片之后,可以进一步地自动生成基准图片的柔性目标标注框。具体地,确定初始图片中的柔性目标标注框包含的区域,并将该柔性目标标注框包含的区域分割为柔性目标区域以及背景区域;确定初始图片中柔性目标区域中各像素点在基准图片中的坐标,根据初始图片中柔性目标区域中各像素点在基准图片中的坐标,自动生成基准图片中的柔性目标标注框。
步骤S730,对基准图片进行柔性变形后得到扩增图片。
本步骤的具体实施过程可参照其他实施例中扩增图片的生成方式,在此不作赘述。
由此可见,本发明实施例获得的扩增图片中糅合有刚性变换以及柔性变形,从而进一步提升样本集的多样性以及模型的泛化能力。
图8示出了本发明实施例提供的一种图像数据扩增装置的结构示意图。如图8所示,该装置800包括:获取模块810、提取模块820、形变模块830、映射模块840、生成模块850。
获取模块810,用于获取包含柔性目标的基准图片;
提取模块820,用于确定所述基准图片中的基准点选取区,从所述基准点选取区中提取第一数量的第一像素点作为基准点;
形变模块830,用于针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;
映射模块840,用于采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得所述扩增图片至基准图片的映射函数;
生成模块850,用于针对扩增图片中的任一第二像素点,基于所述映射函数从所述基准图片中确定出该第二像素点映射的第一像素点,根据所述映射的第一像素点的像素值生成该第二像素点的像素值,以生成所述扩增图片。
在一种可选的实施方式中,提取模块用于:将所述基准点选取区进行网格化处理,并确定网格交点;
针对于任一网格交点,若该网格交点与基准点选取区边界的距离大于第一距离阈值,则将该网格交点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,提取模块用于:采用角点检测算法检测所述基准点选取区中的角点;
针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点;
提取第一数量的候选基准点作为基准点。
在一种可选的实施方式中,形变模块用于:确定偏移量取值范围,
采用随机算法从所述偏移量取值范围中获取目标偏移量,利用所述目标偏移量对该基准点进行位置偏移后生成变形点。
在一种可选的实施方式中,该装置还包括:标注模块,用于确定所述基准图片中的柔性目标标注框包含的区域,并将所述柔性目标标注框包含的区域分割为柔性目标区域以及背景区域;
根据所述映射函数,从所述扩增图片的第二像素点中确定出目标第二像素点;其中,目标第二像素点与所述基准图片中的柔性目标区域内的第一像素点具有映射关系;
基于所述目标第二像素点在扩增图片中的坐标生成所述扩增图片中的柔性目标标注框。
在一种可选的实施方式中,该装置还包括:校验模块,用于统计基准图片中柔性目标标注框包含的区域内像素点的第二数量,以及统计基准图片中的柔性目标标注框内用于映射目标第二像素点的第一像素点的第三数量;
判断所述第三数量与所述第二数量的比值是否小于预设阈值;
若是,则舍弃生成的扩增图片。
在一种可选的实施方式中,获取模块用于:获取包含柔性目标的初始图片;
对所述初始图片进行刚性变换后获得所述基准图片。
由此可见,本实施例通过选取基准图片中的基准点,并对基准点偏移后得到变形点,继而通过薄板样条插值算法对基准点及变形点处理后得到基准图片至扩增图片的映射函数,从而通过映射函数得到扩增图片。采用本方案能够获得柔性目标的柔性变形后的扩增图片,提高柔性目标的样本多样性,从而提升模型的泛化能力以及检测精度。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的方法。
图9示出了本发明实施例提供的一种计算设备的结构示意图。本发明具体实施例并不对计算设备的具体实现做限定。
如图9所示,该计算设备可以包括:处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。
其中:处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。通信接口904,用于与其它设备比如客户端或其它服务器等的网元通信。处理器902,用于执行程序910,具体可以执行上述方法实施例中的相关步骤。
具体地,程序910可以包括程序代码,该程序代码包括计算机操作指令。
处理器902可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器906,用于存放程序910。存储器906可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序910具体可以用于使得处理器902执行上述方法实施例中的方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (10)

1.一种图像数据扩增方法,其特征在于,包括:
获取包含柔性目标的基准图片;
确定所述基准图片中的基准点选取区,从所述基准点选取区中提取第一数量的第一像素点作为基准点;
针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;
采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得扩增图片至基准图片的映射函数;
针对扩增图片中的任一第二像素点,基于所述映射函数从所述基准图片中确定出该第二像素点映射的第一像素点,根据所述映射的第一像素点的像素值生成该第二像素点的像素值,以生成所述扩增图片。
2.根据权利要求1所述的方法,其特征在于,所述从所述基准点选取区中提取第一数量的第一像素点作为基准点进一步包括:
将所述基准点选取区进行网格化处理,并确定网格交点;
针对于任一网格交点,若该网格交点与基准点选取区边界的距离大于第一距离阈值,则将该网格交点作为候选基准点;
提取第一数量的候选基准点作为基准点。
3.根据权利要求1所述的方法,其特征在于,所述从所述基准点选取区中提取第一数量的第一像素点作为基准点进一步包括:
采用角点检测算法检测所述基准点选取区中的角点;
针对于任一角点,若该角点与基准点选取区边界的距离大于第二距离阈值,则将该角点作为候选基准点;
提取第一数量的候选基准点作为基准点。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述对该基准点进行位置偏移后生成变形点进一步包括:
确定偏移量取值范围,
采用随机算法从所述偏移量取值范围中获取目标偏移量,利用所述目标偏移量对该基准点进行位置偏移后生成变形点。
5.根据权利要求1-3中任一项所述的方法,其特征在于,在所述生成所述扩增图片之后,所述方法还包括:
确定所述基准图片中的柔性目标标注框包含的区域,并将所述柔性目标标注框包含的区域分割为柔性目标区域以及背景区域;
根据所述映射函数,从所述扩增图片的第二像素点中确定出目标第二像素点;其中,目标第二像素点与所述基准图片中的柔性目标区域内的第一像素点具有映射关系;
基于所述目标第二像素点在扩增图片中的坐标生成所述扩增图片中的柔性目标标注框。
6.根据权利要求5所述的方法,其特征在于,在所述生成所述扩增图片之后,所述方法还包括:
统计基准图片中柔性目标标注框包含的区域内第一像素点的第二数量,以及统计基准图片中的柔性目标标注框内用于映射第二像素点的第一像素点的第三数量;
判断所述第三数量与所述第二数量的比值是否小于预设阈值;
若是,则舍弃生成的扩增图片。
7.根据权利要求1-3中任一项所述的方法,其特征在于,所述获取包含柔性目标的基准图片进一步包括:
获取包含柔性目标的初始图片;
对所述初始图片进行刚性变换后获得所述基准图片。
8.一种图像数据扩增装置,其特征在于,包括:
获取模块,用于获取包含柔性目标的基准图片;
提取模块,用于确定所述基准图片中的基准点选取区,从所述基准点选取区中提取第一数量的第一像素点作为基准点;
形变模块,用于针对于任一基准点,对该基准点进行位置偏移后生成变形点,并生成变形点对;其中,每个变形点对中包含一个基准点以及由该基准点生成的变形点;
映射模块,用于采用薄板样条插值算法对各个变形点对中基准点以及变形点的坐标进行处理后,获得扩增图片至基准图片的映射函数;
生成模块,用于针对扩增图片中的任一第二像素点,基于所述映射函数从所述基准图片中确定出该第二像素点映射的第一像素点,根据所述映射的第一像素点的像素值生成该第二像素点的像素值,以生成所述扩增图片。
9.一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像数据扩增方法对应的操作。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的图像数据扩增方法对应的操作。
CN202310142885.8A 2023-02-08 2023-02-08 图像数据扩增方法、装置、计算设备及存储介质 Active CN116109891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310142885.8A CN116109891B (zh) 2023-02-08 2023-02-08 图像数据扩增方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310142885.8A CN116109891B (zh) 2023-02-08 2023-02-08 图像数据扩增方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN116109891A true CN116109891A (zh) 2023-05-12
CN116109891B CN116109891B (zh) 2023-07-25

Family

ID=86255999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310142885.8A Active CN116109891B (zh) 2023-02-08 2023-02-08 图像数据扩增方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN116109891B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301623A1 (en) * 2011-12-20 2014-10-09 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
CN107146208A (zh) * 2017-04-27 2017-09-08 扬州大学 基于薄板样条基函数优化的非完备模型局部变形的恢复方法
CN109544468A (zh) * 2018-10-26 2019-03-29 浙江师范大学 一种图像数据扩增方法
CN111402179A (zh) * 2020-03-12 2020-07-10 南昌航空大学 结合对抗自编码器和生成对抗网络的图像合成方法及系统
US20210118139A1 (en) * 2018-05-30 2021-04-22 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN112767239A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种样本自动生成方法、系统、设备和存储介质
WO2022012085A1 (zh) * 2020-07-15 2022-01-20 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301623A1 (en) * 2011-12-20 2014-10-09 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
CN107146208A (zh) * 2017-04-27 2017-09-08 扬州大学 基于薄板样条基函数优化的非完备模型局部变形的恢复方法
US20210118139A1 (en) * 2018-05-30 2021-04-22 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN109544468A (zh) * 2018-10-26 2019-03-29 浙江师范大学 一种图像数据扩增方法
CN111402179A (zh) * 2020-03-12 2020-07-10 南昌航空大学 结合对抗自编码器和生成对抗网络的图像合成方法及系统
WO2022012085A1 (zh) * 2020-07-15 2022-01-20 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN112767239A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种样本自动生成方法、系统、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEXANDER BUSLAEV等: "Albumentations:Fast and Flexible Image Augmentations", 《INFORMATION》, pages 1 - 20 *
王黛薇: "基于变异分析的医疗图像扩增系统设计与实现", 《中国优秀硕士学位论文全文数据库(基础科学辑)》, pages 1 - 89 *

Also Published As

Publication number Publication date
CN116109891B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN103279952B (zh) 一种目标跟踪方法和装置
TW201732651A (zh) 一種單詞的分割方法和裝置
CN109816694B (zh) 目标跟踪方法、装置及电子设备
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
JP5832656B2 (ja) 画像中のテキストの検出を容易にする方法及び装置
CN109271842A (zh) 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
CN114359665A (zh) 全任务人脸识别模型的训练方法及装置、人脸识别方法
JP2009163682A (ja) 画像識別装置及びプログラム
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN109190662A (zh) 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN114882204A (zh) 船名自动识别方法
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CA3131590C (en) Golf ball set-top detection method, system and storage medium
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
US7440636B2 (en) Method and apparatus for image processing
CN116109891B (zh) 图像数据扩增方法、装置、计算设备及存储介质
KR20110087620A (ko) 레이아웃 기반의 인쇄매체 페이지 인식방법
CN111797832A (zh) 一种图像感兴趣区域自动生成方法及系统及图像处理方法
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、系统、终端和存储介质
CN110223319B (zh) 基于改进几何粒子滤波的动态目标实时跟踪方法和系统
CN116012674B (zh) 一种旗帜目标检测方法和装置
CN111738250B (zh) 文本检测方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant