CN112446886A - 图像处理方法及相关产品 - Google Patents
图像处理方法及相关产品 Download PDFInfo
- Publication number
- CN112446886A CN112446886A CN201910813581.3A CN201910813581A CN112446886A CN 112446886 A CN112446886 A CN 112446886A CN 201910813581 A CN201910813581 A CN 201910813581A CN 112446886 A CN112446886 A CN 112446886A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- area
- pasting
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 40
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000003190 augmentative effect Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000012163 sequencing technique Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法及相关产品,其中,该方法包括:从待处理图像中确定M个参考粘贴位置,M为正整数;从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像,从而使得稀缺目标的数量得到平衡,提升训练样本的丰富度,进而提高对稀有目标检测时的准确性。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法及相关产品。
背景技术
随着人工智能技术的不断发展,在目标检测方面也得到了快速发展。目标检测是指找出图像中所有感兴趣的目标,确定它们的大小和位置,是计算机视觉中最重要的问题之一。目标检测的应用十分广泛,包括车辆行人检测、人脸检测、军事目标检测等。近年来,深度学习方法在目标检测任务中取得了极大的成功,是目前最重要、使用最广泛的一种目标检测技术。
使用深度学习方法解决目标检测问题时,训练数据的质量是影响检测性能的一个重要因素。例如,如果训练数据太少,或者过于片面,不能反映实际中的多种情况,往往会导致模型过拟合,缺少泛化能力。又如,实际采集的训练数据常常出现目标物体数量不平衡的情况,某一类或几类的目标远远少于其他类别,这会导致这些稀缺目标的检测准确率很低。
发明内容
本申请实施例提供一种图像处理方法及相关产品,能够提升对稀有目标检测时的准确性。
第一方面,本申请实施例的提供了一种图像处理方法,所述方法包括:
一种图像处理方法,其特征在于,所述方法包括:
从待处理图像中确定M个参考粘贴位置,M为正整数;
从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;
将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。
结合第一方面,在第一方面的第一种可能的实现方式中,在从待处理图像中确定M个参考粘贴位置之前,所述方法还包括:
对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述第一区域,不出现在所述第二区域;
所述从待处理图像中确定M个参考粘贴位置,包括:
从所述第一区域的图像块中确定M个参考粘贴位置。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述第一区域的图像块为道路区域的图像块,所述第二区域的图像块为非道路区域的图像块;所述对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,包括:
对所述待处理图像进行分割,得到道路区域的图像块和非道路区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述道路区域,不出现在所述非道路区域;
所述从所述第一区域的图像块中确定M个参考粘贴位置,包括:
从所述道路区域的图像块中确定M个参考粘贴位置。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置,包括:
根据所述参考粘贴位置的面积和N个真实目标的面积,从所述M个参考粘贴位置中确定出所述目标粘贴位置,所述真实目标为所述待处理图像中的对象,N为正整数。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述根据所述参考粘贴位置的面积和所述N个真实目标的面积,从所述M个参考粘贴位置中确定出所述目标粘贴位置,包括:
获取所述每个参考粘贴位置覆盖所述第一区域的图像块的覆盖面积,得到M个目标覆盖面积;
根据所述每个参考粘贴位置的面积、所述M个目标覆盖面积,确定出与每个参考粘贴位置的区域覆盖率,得到M个第一覆盖率;
根据所述M个第一覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,所述方法还包括:根据第一参考粘贴位置的面积与所述N个真实目标的面积,确定所述第一参考粘贴位置对所述N个真实目标的覆盖率,得到N个第三覆盖率,所述第一参考粘贴位置为所述M个参考粘贴位置中的任一个;
将所述N个第三覆盖率中的最大值确定为与所述第一参考粘贴位置对应的真实覆盖率,得到与所述第一参考粘贴位置对应的第二覆盖率;
重复上述获取第一参考粘贴位置的第二覆盖率的步骤,直至获取每个参考粘贴位置对应的真实覆盖率,得到M个第二覆盖率;
所述根据所述M个第一覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置,包括:
根据所述M个第一覆盖率和所述M个第二覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述根据所述M个第一覆盖率和所述M个第二覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置,包括:
将所述M个参考粘贴位置根据对应的第一覆盖率按照预设排序方法进行排序,得到目标序列;
将所述目标序列中的参考粘贴位置的第二覆盖率按照所述目标序列的序列顺序,与预设覆盖率阈值进行比对,确定出目标第二覆盖率,将所述目标第二覆盖率对应的参考粘贴位置作为所述目标粘贴位置,所述目标第二覆盖率为第一个小于所述预设覆盖率阈值的第二覆盖率。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述方法还包括:
响应于所述目标序列中的参考粘贴位置的第二覆盖率均不小于所述预设覆盖率阈值,确定目标粘贴位置为空。
结合第一方面至第一方面的第七种可能的实现方式中的任意一种可能的实现方式,在第一方面的第八种可能的实现方式中,所述将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像,包括:
确定所述预设图像块中所述需要增广的目标的第一掩膜图;所述第一掩模图为二值图;
对所述第一掩膜图进行滤波,以使得所述第一掩模图中需要增广的目标的边缘模糊,得到第二掩膜图;
根据所述第二掩膜图,将所述需要增广的目标粘贴到所述目标粘贴位置,得到所述目标图像。
结合第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,所述根据所述第二掩膜图,将所述需要增广的目标粘贴到所述目标粘贴位置,得到所述目标图像,包括:
获取所述预设图像块中需要增广的目标的每个像素点的像素值,以及所述目标粘贴位置处每个像素点的参考像素值;
根据所述需要增广的目标的每个像素点的像素值、所述目标粘贴位置处每个像素点的参考像素值以及所述第二掩膜图中每个像素点的像素值,确定出所述目标粘贴位置的每个像素点的目标像素值;
将所述目标粘贴位置处的每个像素点的参考像素值替换为对应的目标像素值,得到所述目标图像。
结合第一方面至第一方面的第九种可能的实现方式中的任意一种可能的实现方式,在第一方面的第十种可能的实现方式中,所述预设图像块中除需要增广的目标以外的部分为透明。
结合第一方面至第一方面的第十种可能的实现方式中的任意一种可能的实现方式,在第一方面的第十一种可能的实现方式中,所述方法还包括:
将所述目标图像和所述待处理图像作为训练样本集中的训练样本,用于对待训练的神经网络进行训练。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括第一确定单元、第二确定单元和粘贴单元,其中,
所述第一确定单元,用于从待处理图像中确定M个参考粘贴位置,M为正整数;
所述第二确定单元,用于从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;
所述粘贴单元,用于将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。
结合第二方面,在第二方面的第一种可能的实现方式中,所述装置还包括分割单元,所述分割单元用于:在从待处理图像中确定M个参考粘贴位置之前,
对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述第一区域,不出现在所述第二区域;
所述第一确定单元用于:
从所述第一区域的图像块中确定M个参考粘贴位置。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述第一区域的图像块为道路区域的图像块,所述第二区域的图像块为非道路区域的图像块;所述分割单元用于:
对所述待处理图像进行分割,得到道路区域的图像块和非道路区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述道路区域,不出现在所述非道路区域;
所述第一确定单元用于:
从所述道路区域的图像块中确定M个参考粘贴位置。
结合第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述第二确定单元用于:
根据所述参考粘贴位置的面积和N个真实目标的面积,从所述M个参考粘贴位置中确定出所述目标粘贴位置,所述真实目标为所述待处理图像中的对象,N为正整数。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述第二确定单元用于:
获取所述每个参考粘贴位置覆盖所述第一区域的图像块的覆盖面积,得到M个目标覆盖面积;
根据所述每个参考粘贴位置的面积、所述M个目标覆盖面积,确定出与每个参考粘贴位置的区域覆盖率,得到M个第一覆盖率;
根据所述M个第一覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置。
结合第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,所述第二确定单元还用于:根据第一参考粘贴位置的面积与所述N个真实目标的面积,确定所述第一参考粘贴位置对所述N个真实目标的覆盖率,得到N个第三覆盖率,所述第一参考粘贴位置为所述M个参考粘贴位置中的任一个;
将所述N个第三覆盖率中的最大值确定为与所述第一参考粘贴位置对应的真实覆盖率,得到与所述第一参考粘贴位置对应的第二覆盖率;
重复上述获取第一参考粘贴位置的第二覆盖率的步骤,直至获取每个参考粘贴位置对应的真实覆盖率,得到M个第二覆盖率;
在所述根据所述M个第一覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置方面,所述第二确定单元用于:
根据所述M个第一覆盖率和所述M个第二覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置。
结合第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,在所述根据所述M个第一覆盖率和所述M个第二覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置方面,所述第二确定单元用于:
将所述M个参考粘贴位置根据对应的第一覆盖率按照预设排序方法进行排序,得到目标序列;
将所述目标序列中的参考粘贴位置的第二覆盖率按照所述目标序列的序列顺序,与预设覆盖率阈值进行比对,确定出目标第二覆盖率,将所述目标第二覆盖率对应的参考粘贴位置作为所述目标粘贴位置,所述目标第二覆盖率为第一个小于所述预设覆盖率阈值的第二覆盖率。
结合第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,所述第二确定单元还用于:
响应于所述目标序列中的参考粘贴位置的第二覆盖率均不小于所述预设覆盖率阈值,确定目标粘贴位置为空。
结合第二方面至第二方面的第七种可能的实现方式中的任意一种可能的实现方式,在第二方面的第八种可能的实现方式中,所述粘贴单元用于:
确定所述预设图像块中所述需要增广的目标的第一掩膜图;所述第一掩模图为二值图;
对所述第一掩膜图进行滤波,以使得所述第一掩模图中需要增广的目标的边缘模糊,得到第二掩膜图;
根据所述第二掩膜图,将所述需要增广的目标粘贴到所述目标粘贴位置,得到所述目标图像。
结合第二方面的第八种可能的实现方式,在第二方面的第九种可能的实现方式中,在所述根据所述第二掩膜图,将所述需要增广的目标粘贴到所述目标粘贴位置,得到所述目标图像方面,所述粘贴单元用于:
获取所述预设图像块中需要增广的目标的每个像素点的像素值,以及所述目标粘贴位置处每个像素点的参考像素值;
根据所述需要增广的目标的每个像素点的像素值、所述目标粘贴位置处每个像素点的参考像素值以及所述第二掩膜图中每个像素点的像素值,确定出所述目标粘贴位置的每个像素点的目标像素值;
将所述目标粘贴位置处的每个像素点的参考像素值替换为对应的目标像素值,得到所述目标图像。
结合第二方面至第二方面的第九种可能的实现方式中的任意一种可能的实现方式,在第二方面的第十种可能的实现方式中,所述预设图像块中除需要增广的目标以外的部分为透明。
结合第二方面至第二方面的第十种可能的实现方式中的任意一种可能的实现方式,在第二方面的第十一种可能的实现方式中,所述装置还包括构建单元,所述构建单元用于:
将所述目标图像和所述待处理图像作为训练样本集中的训练样本,用于对待训练的神经网络进行训练。
本申请实施例的第三方面提供一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中所描述的部分或全部的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,至少具有如下有益效果:
本申请实施例中,从待处理图像中确定M个参考粘贴位置,M为正整数,从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置,所述预设图像块中包括所述待处理图像中需要增广的目标,将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。因此,采用本申请实施例提供的图像处理方法可以在实际训练数据中的稀缺目标远远少于其他类别时,通过在待处理图像(也就是训练数据)中粘贴包含了稀缺目标(也就是需要增广的目标)预设图像块,来对训练数据进行增广,使得稀缺目标的数量得到平衡,从而提升训练样本的丰富度,进而提高对稀有目标检测时的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供了一种图像处理方法的示意图;
图2为本申请实施例提供了一种图像处理方法的流程示意图;
图3A为本申请实施例提供了应用于道路图像场景中的图像处理方法的流程示意图;
图3B为本申请实施例提供了一种视差图转换方法示意图;
图4为本申请实施例提供的一种终端的结构示意图;
图5为本申请实施例提供了一种图像处理装置的结构示意图;
图6为本申请实施例提供了另一种图像处理装置的结构示意图;
图7为本申请实施例提供了另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子装置。
为了更好的理解本申请实施例的图像处理方法,下面首先对现有的采用样本集对模型进行训练的样本进行简要介绍。现有的样本通常具有如下特征:第一,训练数据太少,或者过于片面,不能反映实际中的多种情况,往往会导致模型过拟合,缺少泛化能力。第二,实际采集的训练数据常常出现目标物体数量不平衡的情况,某一类或几类的物体远远少于其他类别,这会导致这些稀缺类别的检测准确率很低。现有方案解决上述问题的办法通常是人工采集更多、更全面的数据,但数据采集和标注需要很大的人工成本。另一种方法是数据增广技术,数据增广技术是指通过算法对现有数据进行变换、合成,达到扩充现有的数据集的目的。现有的数据增广技术主要是针对整张图片进行的,例如水平翻转、对比度变换、增加噪声等。这些方法的缺点是,只能在一定程度上模拟环境整体变化,而不能模拟目标姿态、朝向等变化,而且这些方法不能解决目标的数量不平衡的问题。
下面对本申请实施例提供的一种图像处理方法的进行简要介绍。请参阅图1,图1为本申请实施例提供了一种图像处理方法的示意图。如图1所示,将待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,在第一区域的图像块中确定M个参考粘贴位置,从M个参考粘贴位置中确定出预设图像块的目标粘贴位置,预设图像块包括待处理图像中需要增广的目标,需要增广的目标例如可以为:人的图像、红绿灯的图像等,将预设图像块粘贴到目标粘贴位置,得到目标图像,因此,采用本申请实施例提供的图像处理方法可以再实际训练数据中的稀缺目标远远少于其他类别时,通过在待处理图像(也就是训练数据)中粘贴包含了稀缺目标(也就是需要增广的目标)预设图像块,来对训练数据进行增广,使得稀有目标的数量得到平衡,从而提升训练样本的丰富度,进而提高对稀有目标检测时的准确性。
请参阅图2,图2为本申请实施例提供了一种图像处理方法的流程示意图。如图2所示,图像处理方法包括步骤201-203,具体如下:
201、从待处理图像中确定M个参考粘贴位置,M为正整数。
可选的,可以从待处理图像中通过随机选取的方法,得到M个参考粘贴位置。
202、从M个参考粘贴位置中确定出预设图像块的目标粘贴位置,预设图像块中包括待处理图像中需要增广的目标。
其中,待处理图像中需要增广的目标,例如,人的图像、红绿灯的图像等。预设图像块中除需要增广的目标以外的部分为透明。
需要说明的是,在确定目标粘贴位置时,若预设图像块中除需要增广的目标以外的部分不透明,即背景部分不透明(需要增广的目标为前景),需要根据预设图像块的面积来确定目标粘贴位置;若预设图像块中除需要增广的目标以外的部分为透明,即背景部分透明,则直接可以根据需要增广的目标的面积作为预设图像块的面积来进行目标粘贴位置的确定。
可选的,为了更好的切合数据增广,可以对预设图像块的大小进行调整,从而可以得到不同大小的预设图像块,可以提升需要增广的目标的丰富度。一种可能的获取预设图像块的变换方法为:
记变换前的预设图像块的短边为Lmin,长边为Lmax,固定长宽比调整大小,记调整后短边为L'min,长边为L'max。另记预设图像块类别为c。变换方法如下:
1)随机选择短边长度L∈U[ac,bc];
其中ac,bc,Mc是与类别相关的超参数。超参数可以理解为在对数据进行机器学习之前设定的数据,类别可以理解为图像块的类别,例如,人、车、障碍物等。
203、将预设图像块粘贴到目标粘贴位置,得到目标图像。
可选的,将预设图像块张贴到目标粘贴位置时,可以将待处理图像在该目标粘贴位置的图像抠出,使之成为空白图像块,然后再将预设图像块粘贴到该目标粘贴位置。
本示例中,从待处理图像中确定M个参考粘贴位置,M为正整数,从M个参考粘贴位置中确定出预设图像块的目标粘贴位置,预设图像块中包括待处理图像中需要增广的目标,将预设图像块粘贴到目标粘贴位置,得到目标图像。因此,采用本申请实施例提供的图像处理方法可以在实际训练数据中的稀缺目标远远少于其他类别时,通过在待处理图像(也就是训练数据)中粘贴包含了稀缺目标(也就是需要增广的目标)预设图像块,来对训练数据进行增广,使得稀有目标的数量得到平衡,从而提升训练样本的丰富度,进而提高对稀有目标检测时的准确性。
在一个可能的实施例中,在确定M个参考粘贴位置之前,还可以对待处理图像进行分割,一种可能的对待处理图像进行分割的方法包括:对待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,待处理图像中需要增广的目标出现在第一区域,不出现在第二区域。
其中,对待处理图像进行分割的方法可以为:采用V-视差图的方法进行分割等。也可以采用其它分割方法,此处不作具体限定。待处理图像可以为包括汽车行驶车道的图像等。第一区域的图像块可以为道路区域的图像块,道路区域的图像块可以理解为汽车行驶的车道所在区域的图像块,第一区域的图像块可以为非道路区域的图像块,非道路区域图像块可以理解为区别与道路区域图像块的图像块。当然,第一区域的图像块和第二区域的图像块还可以是其它的图像块,第一区域为需要增广的目标会出现的区域,例如,在用户购物场景中,第一区域的图像块为购物环境中的商场区域,第二区域的图像块为非商场区域,需要增广的目标例如可以为人等;在图片中元素增广场景中,可以将图片中需要增广的元素会出现的区域的图像块确定为第一区域的图像块,将需要增广的元素不会出现的区域的图像块确定为第二区域的图像块,当然还可以是其它的场景,此处仅为举例说明,不作具体限定。
可选的,从待处理图像中确定M个参考粘贴位置时,可以从第一区域的图像块中确定M个参考粘贴位置,在第一区域的图像块为道路区域的图像块时,则从道路区域的图像块中确定出M个参考粘贴位置。
本示例中,通过对待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,从第一区域的图像块中确定出M个参考粘贴位置(需要增广的目标出现在第一区域,不出现在第二区域),能够一定程度上提升图像增广时的有效性。
在一个可能的实施例中,一种可能的从M个参考粘贴位置中确定出预设图像块的目标粘贴位置方法包括:根据参考粘贴位置的面积和N个真实目标的面积,从M个参考粘贴位置中确定出目标粘贴位置,真实目标为待处理图像中的对象,N为正整数。
其中,可以根据参考粘贴位置在待处理图像中的覆盖面积,根据覆盖面积来确定出覆盖率,根据覆盖率从M个参考粘贴位置中确定出目标粘贴位置。
本示例中,通过参考粘贴位置的面积和真实目标的面积,确定出目标粘贴位置,可以从面积的角度出发对粘贴位置进行确定,面积可以较为真实的反映出粘贴的效果,从而可以一定程度上提升确定目标粘贴位置时的准确性。
在一个可能的实施例中,一种可能的根据参考粘贴位置的面积和N个真实目标的面积,从M个参考粘贴位置中确定出目标粘贴位置的方法包括步骤A1-A3,具体如下:
A1、获取每个参考粘贴位置覆盖第一区域的图像块的覆盖面积,得到M个目标覆盖面积;
A2、根据每个参考粘贴位置的面积、M个目标覆盖面积,确定出与每个参考粘贴位置的区域覆盖率,得到M个第一覆盖率;
A3、根据M个第一覆盖率,从M个参考粘贴位置中确定出目标粘贴位置。
其中,参考粘贴位置覆盖道路区域图像块的覆盖面积可以理解为,参考粘贴位置与道路之间重合的面积。
可以根据M个第一覆盖率和每个参考粘贴位置的面积与真实目标之间的真实覆盖率,从M个参考粘贴位置中确定出目标粘贴位置。
可选的,一种可能的确定地面区域覆盖率的方法为:
采用地面区域覆盖率公式,计算得到地面区域覆盖率,具体如下:
其中,α为地面区域覆盖率,area(BF∩R)为目标覆盖面积,area(BF)为参考粘贴位置的面积。
本示例中,通过参考粘贴位置与第一区域的图像块的覆盖面积,得到M个第一覆盖率,根据该M个第一覆盖率,从M个参考粘贴位置中确定出目标粘贴位置,由于覆盖率能够真实的反映出参考粘贴位置与第一区域的图像块的重合度,从而可以提升目标粘贴位置确定时的准确性。
在一个可能的实施例中,一种可能的获取参考粘贴位置相对于真实目标的覆盖率(第二覆盖率)的方法包括步骤B1-B3,具体如下:
B1、根据第一参考粘贴位置的面积与N个真实目标的面积,确定第一参考粘贴位置对N个真实目标的覆盖率,得到N个第三覆盖率,第一参考粘贴位置为M个参考粘贴位置中的任一个;
B2、将N个第三覆盖率中的最大值确定为与第一参考粘贴位置对应的真实覆盖率,得到与第一参考粘贴位置对应的第二覆盖率;
B3、重复上述获取第一参考粘贴位置的第二覆盖率的步骤,直至获取每个参考粘贴位置对应的真实覆盖率,得到M个第二覆盖率。
可选的,真实目标的个数可以用N来表示,N为正整数,一种可能的确定真实目标的覆盖率,得到第三覆盖率的方法为:
采用真实目标覆盖率公式,计算得到第三覆盖率,具体如下:
其中,β为第三覆盖率,area(Bi T)为第i个真实目标的面积,area(BF∩Bi T)为第一参考粘贴位置与第i个真实目标的覆盖面积,为取最大值,第i个真实目标可以理解为N个真实目标中的第i个真实目标,N为正整数,可以理解为N个真实目标覆盖率中的最大值。
上述公式可以理解为,求取一个参考粘贴位置与所有的真实目标的覆盖率,将覆盖率最大值作为该参考粘贴位置的真实覆盖率。
可选的,根据M个第一覆盖率,从M个参考粘贴位置中确定出目标粘贴位置具体可以为:根据M个第一覆盖率和M个第二覆盖率,从M个参考粘贴位置中确定出目标粘贴位置。
其中,可以采用第二覆盖率对参考粘贴位置进行排序,并根据参考粘贴位置对应的第二覆盖率是否小于预设覆盖率阈值,从M个参考粘贴位置中确定出目标粘贴位置。
本示例中,通过第三覆盖率计算公式,可以准确的确定出第三覆盖率,并根据第三覆盖率确定出第二覆盖率,根据第二覆盖率和第一覆盖率确定出目标粘贴位置,因此,能够一定程度上提升目标粘贴位置确定时的准确性。
在一个可能的实施例中,一种可能的根据M个第一覆盖率和M个第二覆盖率,从M个参考粘贴位置中确定出目标粘贴位置的方法包括步骤C1-C2,具体如下:
C1、将M个参考粘贴位置根据对应的第一覆盖率按照预设排序方法进行排序,得到目标序列;
C2、将目标序列中的参考粘贴位置的第二覆盖率按照目标序列的序列顺序,与预设覆盖率阈值进行比对,确定出目标第二覆盖率,将目标第二覆盖率对应的参考粘贴位置作为目标粘贴位置,目标第二覆盖率为第一个小于预设覆盖率阈值的第二覆盖率。
其中,预设排序方法可以为,按照第一覆盖率从大到小的顺序,进行排序。也可以按照从小到大的顺序进行排序。如果M个参考粘贴位置根据对应的第一覆盖率是按照从大到小的顺序排列的话,那么比对的顺序就是从前到后逐个与预设覆盖率阈值进行比对;如果M个参考粘贴位置根据对应的第一覆盖率是按照从小到大的顺序排列的话,那么比对的顺序就是从后到前逐个与预设覆盖率阈值进行比对。
可选的,按照从大到小的顺序进行排序,得到目标序列。在目标序列中,每个参考粘贴位置具有一个与其对应的序列号,例如,K1至KM,其中,K1为目标序列中,位于序列头部的参考粘贴位置的序列号,KM为序列尾部的参考粘贴位置的序列号。
可选的,将目标序列中的参考粘贴位置的第二覆盖率按照目标序列的序列顺序,与预设覆盖率阈值进行比对可以理解为,依次将序列号为K1至KM的参考粘贴位置的第二覆盖率与预设覆盖率阈值进行比对。
可选的,响应于目标序列中的参考粘贴位置的第二覆盖率均不小于预设覆盖率阈值,确定目标粘贴位置为空。目标粘贴位置为空可以理解为,待处理图像中不存在预设图像块的粘贴位置,此时,则可以丢弃该预设图像块。
本示例中,根据第一覆盖率和第二覆盖率,来确定出目标粘贴位置,通过第一覆盖率对M个参考粘贴位置进行排序,根据第二覆盖率来确定出目标粘贴位置,能够提升确定目标粘贴位置时的效率。
在一个可能的实施例中,一种可能的将预设图像块粘贴到目标粘贴位置,得到目标图像的方法包括步骤D1-D3,具体如下:
D1、确定预设图像块中需要增广的目标的第一掩膜图;第一掩模图为二值图;
D2、对第一掩膜图进行滤波,以使得第一掩模图中需要增广的目标的边缘模糊,得到第二掩膜图;
D3、根据第二掩膜图,将需要增广的目标粘贴到目标粘贴位置,得到目标图像。
其中,该二值图为前景/背景二值图,可以理解为,前景图像为1,背景图像为0,前景图像可以理解为包括的需要增广的目标的图像区域。
对第一掩膜图进行滤波的方法可以为均值滤波、高斯滤波、泊松滤波等。对第一掩膜图进行滤波后,需要增广的目标的边缘(即是0和1之间的数)变换会模糊,从而在将目标粘贴到目标粘贴位置后,可以使得目标能够更好的与待处理图像进行融合,提升粘贴的效果。
可以根据第二掩膜图的像素点的像素值以及需要增广的目标的像素点的像素值,将该目标粘贴到待处理图像,得到目标图像。
在一个可能的实施例中,一种可能的根据第二掩膜图,将需要增广的目标粘贴到目标粘贴位置,得到目标图像的方法包括步骤E1-E3,具体如下:
E1、获取预设图像块中需要增广的目标的每个像素点的像素值,以及目标粘贴位置处每个像素点的参考像素值;
E2、根据需要增广的目标的每个像素点的像素值、目标粘贴位置处每个像素点的参考像素值以及第二掩膜图中每个像素点的像素值,确定出目标粘贴位置的每个像素点的目标像素值;
E3、将目标粘贴位置处的每个像素点的参考像素值替换为对应的目标像素值,得到目标图像。
可选的,确定目标像素值的方法可以为:
通过像素值确定公式,确定出目标像素值。像素值确定公式为:
本示例中,通过像素值确定公式,确定出目标粘贴位置的目标像素值,像素值确定公式,可以将需要增广的目标能够很好的与待处理图像中的环境进行融合,从而可以一定程度上提升对预设图像块进行粘贴时的粘贴效果,从而提升目标图像的真实性。
在一个可能的实施例中,还可以将目标图像和待处理图像作为训练样本集中的训练样本,对待训练的神经网络进行训练。因此,采用目标图像和待处理图像作为训练样本对待训练神经网络进行训练,能够增加目标图像作为训练样本,目标图像中包含稀缺目标(需要增广的目标),使得稀缺目标的数量得到平衡,提升了样本的丰富度,从而提升了对待训练神经网络训练的准确性,进而提高了采用训练后的神经网络对稀有目标检测时的准确性。
请参阅图3A,图3A为本申请实施例提供了应用于道路图像场景中的图像处理方法的流程示意图。如图3A所示,图像处理方法包括步骤301-304,具体如下:
301、将待处理图像进行分割,得到道路区域图像块和非道路区域图像块;
可选的,一种可能的将待处理图像进行分割,得到道路区域图像块和非道路区域图像块的方法包括步骤F1-F4,具体如下:
F1、获取待处理图像的参考视差图。
可选的,获取待处理图像的视差图的方法可以为:通过视差图计算模型,获取待处理图像的视差图。
其中,视差图计算模型可以通过机器学习模块进行建立,一种可能的视差图计算模型建立方式为:视差图计算模型为一种通过有监督学习模型而训练得到的检测模型,视差图计算模型中的有监督学习模型例如可以是人工神经网络法中权重模型等,视差图计算模型的一种建立方法为:首先将样本进行特征提取,得到特征集,然后将特征集输入训练模型中,训练模型根据训练模型中的算法进行学习,该算法例如可以是梯度下降法、牛顿算法、共轭梯度算法等,最后输出视差图,以此方法,通过对大量的样本的学习,最终得到视差图计算模型,其中,样本为待处理图像与视差图。
F2、采用预设的转换方法,将参考视差图转化为V视差图。
其中,V视差图与参考视差图的高度相同,V视差图的宽度为256,宽度上的值代表视差值。一个可能的示例,将参考视差图转化为V视差图的方法如下:
如图3B所示,左侧为视差图示例,宽8,高5.右侧为计算出的V视差图。对左侧视差图的每一行像素值进行计数,以第一行为例,像素值为0的像素为1个,在V视差图的对应行的第0列记录值为0;像素值为1的像素为6个,在V视差图的对应行的第1列的记录值为6;像素值为2的像素个数为0个,在V视差图的对应行的第2列的记录值为0;像素值为3的像素个数为1个,在V视差图的对应行的第3列的记录值为1;……。因为像素值的范围为0-255,那么V视差图的宽度为255,高度与视差图相同。
F3、对V视差图进行直线拟合,得到区域分割线。
可选的,直线拟合的方法可以为RANSAC直线拟合法。可将区域分割线表示为:v=Ad+B,其中,v为像素行坐标,d为视差值。
F4、根据区域分割线进行分割,得到道路区域图像块和非道路区域图像块。
可选的,根据区域分割曲线,可以采用如下方式进行分割,具体为:
其中,Iroad为地面区域图像块的视差值,Inotroad为非地面区域图像块的视差值,thresh为常量,可以根据历史数据或经验值设定。thresh用于降低图像中的噪声。
302、从道路区域图像块和非道路区域图像块中,获取M个参考粘贴位置,M为正整数;
可参见如图2所示的方法所提供的参考粘贴位置的获取方法,此处不再赘述。
303、从M个参考粘贴位置中确定出预设图像块的目标粘贴位置;
可参见如图2所示的方法所提供的目标粘贴位置的获取方法,此处不再赘述。
304、获取预设图像块的掩膜图,根据掩膜图,将预设图像块粘贴到目标粘贴位置,得到目标图像。
根据掩膜图将预设图像块粘贴到目标粘贴位置的方法可以参见前述实施例中将预设图像块粘贴到目标粘贴位置的方法,此处不再赘述。
本示例中,通过像素值确定公式,确定出目标粘贴位置的目标像素值,像素值确定公式,可以将预设图像块能够较好的与待处理图像中的环境进行融合,从而可以一定程度上提升对预设图像块进行粘贴时的粘贴效果,从而提升目标图像的真实性。
与上述实施例一致的,请参阅图4,图4为本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、输入设备、输出设备和存储器,处理器、输入设备、输出设备和存储器相互连接,其中,存储器用于存储计算机程序,计算机程序包括程序指令,处理器被配置用于调用程序指令,上述程序包括用于执行以下步骤的指令;
从待处理图像中确定M个参考粘贴位置,M为正整数;
从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;
将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。
本示例中,从待处理图像中确定M个参考粘贴位置,M为正整数,从M个参考粘贴位置中确定出预设图像块的目标粘贴位置,预设图像块中包括待处理图像中需要增广的目标,将预设图像块粘贴到目标粘贴位置,得到目标图像。因此,采用本申请实施例提供的图像处理方法可以在实际训练数据中的稀缺目标远远少于其他类别时,通过在待处理图像(也就是训练数据)中粘贴包含了稀缺目标(也就是需要增广的目标)预设图像块,来对训练数据进行增广,使得稀缺目标的数量得到平衡,从而提升训练样本的丰富度,进而提高对稀有目标检测时的准确性。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图5,图5为本申请实施例提供了一种图像处理装置的结构示意图。图像处理装置包括第一确定单元501、第二确定单元502和粘贴单元503,其中,
第一确定单元501,用于从待处理图像中确定M个参考粘贴位置,M为正整数;
第二确定单元502,用于从M个参考粘贴位置中确定出预设图像块的目标粘贴位置;预设图像块中包括待处理图像中需要增广的目标;
粘贴单元503,用于将预设图像块粘贴到目标粘贴位置,得到目标图像。
可选的,如图6所示,图像处理装置还包括分割单元504,所述分割单元504用于:在从待处理图像中确定M个参考粘贴位置之前,
对待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,待处理图像中需要增广的目标出现在第一区域,不出现在第二区域;
第一确定单元501用于:
从第一区域的图像块中确定M个参考粘贴位置。
可选的,第一区域的图像块为道路区域的图像块,第二区域的图像块为非道路区域的图像块;所述分割单元504用于:
对待处理图像进行分割,得到道路区域的图像块和非道路区域的图像块,其中,待处理图像中需要增广的目标出现在道路区域,不出现在非道路区域;
第一确定单元501用于:
从道路区域的图像块中确定M个参考粘贴位置。
可选的,第二确定单元502用于:
根据参考粘贴位置的面积和N个真实目标的面积,从M个参考粘贴位置中确定出目标粘贴位置,真实目标为待处理图像中的对象,N为正整数。
可选的,第二确定单元502用于:
获取每个参考粘贴位置覆盖第一区域的图像块的覆盖面积,得到M个目标覆盖面积;
根据每个参考粘贴位置的面积、M个目标覆盖面积,确定出与每个参考粘贴位置的区域覆盖率,得到M个第一覆盖率;
根据M个第一覆盖率,从M个参考粘贴位置中确定出目标粘贴位置。
可选的,第二确定单元502还用于:根据第一参考粘贴位置的面积与N个真实目标的面积,确定第一参考粘贴位置对N个真实目标的覆盖率,得到N个第三覆盖率,第一参考粘贴位置为M个参考粘贴位置中的任一个;
将N个第三覆盖率中的最大值确定为与第一参考粘贴位置对应的真实覆盖率,得到与第一参考粘贴位置对应的第二覆盖率;
重复上述获取第一参考粘贴位置的第二覆盖率的步骤,直至获取每个参考粘贴位置对应的真实覆盖率,得到M个第二覆盖率;
在根据M个第一覆盖率,从M个参考粘贴位置中确定出目标粘贴位置方面,第二确定单元502用于:
根据M个第一覆盖率和M个第二覆盖率,从M个参考粘贴位置中确定出目标粘贴位置。
可选的,在根据M个第一覆盖率和M个第二覆盖率,从M个参考粘贴位置中确定出目标粘贴位置方面,第二确定单元502用于:
将M个参考粘贴位置根据对应的第一覆盖率按照预设排序方法进行排序,得到目标序列;
将目标序列中的参考粘贴位置的第二覆盖率按照目标序列的序列顺序,与预设覆盖率阈值进行比对,确定出目标第二覆盖率,将目标第二覆盖率对应的参考粘贴位置作为目标粘贴位置,目标第二覆盖率为第一个小于预设覆盖率阈值的第二覆盖率。
可选的,第二确定单元502还用于:
响应于所述目标序列中的参考粘贴位置的第二覆盖率均不小于所述预设覆盖率阈值,确定目标粘贴位置为空。
可选的,粘贴单元503用于:
确定预设图像块中需要增广的目标的第一掩膜图;第一掩模图为二值图;
对第一掩膜图进行滤波,以使得第一掩模图中需要增广的目标的边缘模糊,得到第二掩膜图;
根据第二掩膜图,将需要增广的目标粘贴到目标粘贴位置,得到目标图像。
可选的,在根据第二掩膜图,将需要增广的目标粘贴到目标粘贴位置,得到目标图像方面,粘贴单元503用于:
获取预设图像块中需要增广的目标的每个像素点的像素值,以及目标粘贴位置处每个像素点的参考像素值;
根据需要增广的目标的每个像素点的像素值、目标粘贴位置处每个像素点的参考像素值以及第二掩膜图中每个像素点的像素值,确定出目标粘贴位置的每个像素点的目标像素值;
将目标粘贴位置处的每个像素点的参考像素值替换为对应的目标像素值,得到目标图像。
可选的,预设图像块中除需要增广的目标以外的部分为透明。
可选的,如图7所示,图像处理装置还包括构建单元505,所述构建单元505用于:
将目标图像和待处理图像作为训练样本集中的训练样本,用于对待训练的神经网络进行训练。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
从待处理图像中确定M个参考粘贴位置,M为正整数;
从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;
将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,在从待处理图像中确定M个参考粘贴位置之前,所述方法还包括:
对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述第一区域,不出现在所述第二区域;
所述从待处理图像中确定M个参考粘贴位置,包括:
从所述第一区域的图像块中确定M个参考粘贴位置。
3.根据权利要求2所述的方法,其特征在于,所述第一区域的图像块为道路区域的图像块,所述第二区域的图像块为非道路区域的图像块;所述对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,包括:
对所述待处理图像进行分割,得到道路区域的图像块和非道路区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述道路区域,不出现在所述非道路区域;
所述从所述第一区域的图像块中确定M个参考粘贴位置,包括:
从所述道路区域的图像块中确定M个参考粘贴位置。
4.根据权利要求2或3所述的方法,其特征在于,从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置,包括:
根据所述参考粘贴位置的面积和N个真实目标的面积,从所述M个参考粘贴位置中确定出所述目标粘贴位置,所述真实目标为所述待处理图像中的对象,N为正整数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述参考粘贴位置的面积和所述N个真实目标的面积,从所述M个参考粘贴位置中确定出所述目标粘贴位置,包括:
获取所述每个参考粘贴位置覆盖所述第一区域的图像块的覆盖面积,得到M个目标覆盖面积;
根据所述每个参考粘贴位置的面积、所述M个目标覆盖面积,确定出与每个参考粘贴位置的区域覆盖率,得到M个第一覆盖率;
根据所述M个第一覆盖率,从所述M个参考粘贴位置中确定出所述目标粘贴位置。
6.一种图像处理装置,其特征在于,所述装置包括第一确定单元、第二确定单元和粘贴单元,其中,
所述第一确定单元,用于从待处理图像中确定M个参考粘贴位置,M为正整数;
所述第二确定单元,用于从所述M个参考粘贴位置中确定出预设图像块的目标粘贴位置;所述预设图像块中包括所述待处理图像中需要增广的目标;
所述粘贴单元,用于将所述预设图像块粘贴到所述目标粘贴位置,得到目标图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括分割单元,所述分割单元用于:在从待处理图像中确定M个参考粘贴位置之前,
对所述待处理图像进行分割,得到第一区域的图像块和第二区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述第一区域,不出现在所述第二区域;
所述第一确定单元用于:
从所述第一区域的图像块中确定M个参考粘贴位置。
8.根据权利要求7所述的装置,其特征在于,所述第一区域的图像块为道路区域的图像块,所述第二区域的图像块为非道路区域的图像块;所述分割单元用于:
对所述待处理图像进行分割,得到道路区域的图像块和非道路区域的图像块,其中,所述待处理图像中需要增广的目标出现在所述道路区域,不出现在所述非道路区域;
所述第一确定单元用于:
从所述道路区域的图像块中确定M个参考粘贴位置。
9.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910813581.3A CN112446886A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910813581.3A CN112446886A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112446886A true CN112446886A (zh) | 2021-03-05 |
Family
ID=74741873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910813581.3A Pending CN112446886A (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446886A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1826724A1 (en) * | 2006-02-28 | 2007-08-29 | Microsoft Corporation | Object-level image editing using tiles of image data |
JP2008090611A (ja) * | 2006-10-02 | 2008-04-17 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
CN201101196Y (zh) * | 2007-10-18 | 2008-08-20 | 李碧华 | 可播放宗教音乐的护身符 |
CN102013086A (zh) * | 2009-09-03 | 2011-04-13 | 索尼公司 | 图像处理设备和方法,以及程序 |
CN102034256A (zh) * | 2010-11-15 | 2011-04-27 | 拓维信息系统股份有限公司 | 一种基于边界跟踪和伪彩着色的手机动漫人物创作方法 |
CN108681727A (zh) * | 2018-07-11 | 2018-10-19 | 天津天瞳威势电子科技有限公司 | 一种基于视觉的交通标示识别方法及装置 |
CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技(深圳)有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
CN109614900A (zh) * | 2018-11-29 | 2019-04-12 | 深圳和而泰数据资源与云技术有限公司 | 图像检测方法及装置 |
CN109934163A (zh) * | 2018-12-27 | 2019-06-25 | 北京航空航天大学 | 一种基于场景先验和特征再融合的航空图像车辆检测方法 |
CN110097091A (zh) * | 2019-04-10 | 2019-08-06 | 东南大学 | 训练与推理数据分布不一致条件下的图像细粒度识别方法 |
CN110163640A (zh) * | 2018-02-12 | 2019-08-23 | 华为技术有限公司 | 一种在视频中植入广告的方法及计算机设备 |
-
2019
- 2019-08-30 CN CN201910813581.3A patent/CN112446886A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1826724A1 (en) * | 2006-02-28 | 2007-08-29 | Microsoft Corporation | Object-level image editing using tiles of image data |
JP2008090611A (ja) * | 2006-10-02 | 2008-04-17 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
CN201101196Y (zh) * | 2007-10-18 | 2008-08-20 | 李碧华 | 可播放宗教音乐的护身符 |
CN102013086A (zh) * | 2009-09-03 | 2011-04-13 | 索尼公司 | 图像处理设备和方法,以及程序 |
CN102034256A (zh) * | 2010-11-15 | 2011-04-27 | 拓维信息系统股份有限公司 | 一种基于边界跟踪和伪彩着色的手机动漫人物创作方法 |
CN110163640A (zh) * | 2018-02-12 | 2019-08-23 | 华为技术有限公司 | 一种在视频中植入广告的方法及计算机设备 |
CN108681727A (zh) * | 2018-07-11 | 2018-10-19 | 天津天瞳威势电子科技有限公司 | 一种基于视觉的交通标示识别方法及装置 |
CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技(深圳)有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
CN109614900A (zh) * | 2018-11-29 | 2019-04-12 | 深圳和而泰数据资源与云技术有限公司 | 图像检测方法及装置 |
CN109934163A (zh) * | 2018-12-27 | 2019-06-25 | 北京航空航天大学 | 一种基于场景先验和特征再融合的航空图像车辆检测方法 |
CN110097091A (zh) * | 2019-04-10 | 2019-08-06 | 东南大学 | 训练与推理数据分布不一致条件下的图像细粒度识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN112417953B (zh) | 道路状况检测和地图数据更新方法、装置、系统及设备 | |
CN104268498B (zh) | 一种二维码的识别方法及终端 | |
EP3506200A1 (en) | Image segmentation method, apparatus, and fully convolutional network system | |
CN110390314B (zh) | 一种视觉感知方法及设备 | |
CN111640130A (zh) | 表格还原方法及装置 | |
CN108764039B (zh) | 神经网络、遥感影像的建筑物提取方法、介质及计算设备 | |
CN107529659B (zh) | 安全带佩戴检测方法、装置及电子设备 | |
CN111563516B (zh) | 行人掩码与三维场景融合显示的方法、终端及存储介质 | |
CN108010065A (zh) | 低空目标快速检测方法及装置、存储介质及电子终端 | |
CN111191582A (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
CN111881846B (zh) | 图像处理方法和相关装置、设备、存储介质 | |
CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
CN116052105A (zh) | 路面裂缝识别分类及面积计算方法、系统、设备及终端 | |
KR101725501B1 (ko) | 문자 인식 방법 및 장치 | |
CN111753610A (zh) | 天气识别方法及装置 | |
CN113870196A (zh) | 一种基于锚点切图的图像处理方法、装置、设备和介质 | |
CN112215188A (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
CN112446886A (zh) | 图像处理方法及相关产品 | |
CN116543308A (zh) | 一种基于多模型融合的滑坡检测预警模型及预警方法 | |
CN107480648B (zh) | 一种自然场景文字检测的方法 | |
WO2022156652A1 (zh) | 交通工具运动状态评估方法、装置、设备以及介质 | |
CN112818743B (zh) | 图像识别的方法、装置、电子设备及计算机存储介质 | |
CN111444756B (zh) | 危险行驶场景辨识平台、方法及存储介质 | |
CN114120056A (zh) | 小目标识别方法、装置、电子设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |