CN112837251A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN112837251A CN112837251A CN202011639915.9A CN202011639915A CN112837251A CN 112837251 A CN112837251 A CN 112837251A CN 202011639915 A CN202011639915 A CN 202011639915A CN 112837251 A CN112837251 A CN 112837251A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- mask
- module
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 69
- 238000001914 filtration Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000190070 Sarracenia purpurea Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Abstract
本申请实施例公开了一种图像处理方法及装置,该方法包括:获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度后得到的图像;根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像;基于权重图像,对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像。根据本申请的实施例,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
Description
技术领域
本申请实施例涉及图像处理领域,尤其涉及一种图像处理方法及装置。
背景技术
随着互联网技术的不断发展,对图像进行去除阴影处理受到了越来越多的关注。去除阴影处理可以采用去影模型来实现,去影模型的训练需要大量相互对应的同一对象的阴影图像与非阴影图像作为训练数据。目前,通常采用拍摄的方式来获取作为训练数据的阴影图像与非阴影图像。而拍摄一个对象的阴影图像与非阴影图像需要严格控制相机、光源和拍摄对象保持一致,导致训练数据的获取成本高,而且这样得到的训练数据的种类和数量有限。
在实现本申请过程中,申请人发现相关技术中至少存在如下问题:获取阴影图像与非阴影图像的效率低、种类少、成本高。
发明内容
本申请实施例提供一种图像处理方法及装置,以解决获取阴影图像与非阴影图像的效率低、种类少、成本高的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种图像处理方法,该方法可以包括:
获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度得到的图像;
根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像;
基于权重图像对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像,第一图像和第一阴影图像用于训练去影模型。
第二方面,本申请实施例提供了一种图像处理装置,该装置可以包括:
获取模块,用于获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度得到的图像;
调节模块,用于根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像;
融合模块,用于基于权重图像对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像,第一图像和第一阴影图像用于训练去影模型。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
本申请实施例中,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
附图说明
从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请,其中,相同或相似的附图标记表示相同或相似的特征。
图1为本申请实施例提供的图像处理方法的一种应用场景示意图;
图2为本申请实施例提供的一种图像处理方法的流程图;
图3为本申请实施例提供的一种第一图像的示意图;
图4为本申请实施例提供的一种目标灰度图像的示意图;
图5为本申请实施例提供的一种第一阴影图像示意图;
图6为本申请实施例提供的一种第二阴影图像示意图;
图7为本申请实施例提供的一种实现图像处理的方法流程图;
图8为本申请实施例提供的一种图像处理装置结构示意图;
图9为本申请实施例提供的一种电子设备的硬件结构示意图;
图10为本申请实施例提供的另一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像处理方法至少可以应用于下述应用场景中,下面进行说明。
如图1所示,去除阴影处理可以采用去影模型来实现。去影模型的训练需要大量相互对应的同一对象的阴影图像与非阴影图像作为训练数据。具体地,可以利用去影模型21去除阴影图像212中的阴影,得到去除阴影的图像218,根据去除阴影的图像218与非阴影图像214调节去影模型的训练参数,直至满足训练停止条件,得到训练好的去影模型。从而可以使用训练好的去影模型来去除其它图像中的阴影。
针对相关技术出现的问题,本申请实施例提供一种图像处理方法、装置、电子设备及存储介质,以解决相关技术中获取阴影图像与非阴影图像的效率低、种类少、成本高的问题。
本申请实施例提供的方法,除了可以应用到上述应用场景之外,还可以应用到任何需要获取相互对应的阴影图像和非阴影图像的场景中。
通过本申请实施例提供的方法,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,可以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
基于上述应用场景,下面对本申请实施例提供的图像处理方法进行详细说明。
图2为本申请实施例提供的一种图像处理方法的流程图。
如图2所示,该图像处理方法可以包括步骤210-步骤230,该方法应用于图像处理装置,具体如下所示:
步骤210,获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度后得到的图像。
步骤220,根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像。
步骤230,基于权重图像,对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像。
本申请提供的图像处理方法,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
下面,对步骤210-步骤230的内容分别进行描述:
首先,涉及步骤210。
作为本申请的一种实现方式,为了保证掩码图像的多样性,在步骤210之前,还可以包括以下步骤:
获取第三图像,第三图像中包括目标对象;从第三图像中提取目标对象对应的二值化图像;对二值化图像进行编辑处理,得到掩码图像;
其中,编辑处理包括下述中的至少一项:裁剪、翻转、旋转、缩放和平移。
在得到掩码图像之前,可以获取包括目标对象的第三图像。从第三图像中提取目标对象(例如眼镜、手机、水杯等等)对应的二值化图像,二值化图像中的像素值为255的像素点所在的区域可以用于表示阴影区域,二值化图像中的像素值为0的像素点所在的区域可以用于表示无阴影区域。
然后对二值化图像进行例如裁剪、翻转、旋转、缩放、平移、仿射变换等的编辑处理,得到掩码图像,以扩充掩码图像的多样性。
这里,通过从包括目标对象的第三图像中提取目标对象对应的二值化图像,对二值化图像进行编辑处理,能够得到大量彼此之间不相同的掩码图像。
其中,第一图像为红绿蓝色彩模式,上述涉及到的获取第二图像的步骤中,具体可以包括以下步骤:
将第一图像由红绿蓝色彩模式转换为色调饱和度明度模式;在色调饱和度明度模式下,降低第一图像的明度,得到第二图像;将第二图像由色调饱和度明度模式转换为红绿蓝色彩模式。
将第一图像(即如图3所示的无阴影图像)由红绿蓝色彩模式(RGB)转为色调饱和度明度模式(HSV),并随机降低第一图像的明度,得到色调饱和度明度模式的第二图像,再将第二图像由色调饱和度明度模式转换为红绿蓝色彩模式。
HSV是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型。HSV中颜色的参数分别是:色调(H),饱和度(S),明度(V)。
其次,涉及步骤220。
根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像。其中,步骤220中,具体可以包括以下步骤:
在第一随机数大于预设阈值的情况下,对掩码图像进行归一化处理,得到权重图像,权重图像用于表示第一图像中像素点对应的权重值。
其中,掩码图像中像素点的像素值的可以为0或255。通过归一化处理可以将像素值同比例压缩至(0,1)的区间内。
示例性地,随机生成一个0~1之间的第一随机数,判断第一随机数是否大于预设阈值(如0.5),在第一随机数大于预设阈值(如0.5)的情况下,对掩码图像进行归一化处理,得到用于表示第一图像中像素点对应的权重值权重图像。
其中,在第一随机数小于或等于预设阈值的情况下,在上述涉及到的对掩码图像进行归一化处理,得到权重图像的步骤之前,还可以包括以下步骤:
对掩码图像进行图像柔化处理,得到目标灰度图像;相应地,上述涉及到的对掩码图像进行归一化处理,得到权重图像的步骤中,具体可以包括以下步骤:对目标灰度图像进行归一化处理,得到权重图像。
其中,目标灰度图像中像素点的像素值的范围可以为(0,255)。归一化处理可以为将范围为(0,255)的像素值同比例压缩至范围为(0,1)的像素值。得到的目标灰度图像可以如图4所示,图4中的像素点的值均在(0,1)的区间内。
其中,掩码图像包括第一区域和第二区域,上述涉及到的对掩码图像进行图像柔化处理,得到目标灰度图像的步骤中,具体可以包括以下步骤:
对掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;第一区域中的像素点的第一像素值与第二区域中的像素点的第二像素值不相同;对第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像,第三区域与第一区域相对应;对第二灰度图像进行均值滤波处理,得到目标灰度图像。
具体地,该步骤可以由3步组成,分别是边缘柔化、掩码图像区域内柔化以及掩码图像整体柔化。下面分别进行说明:
首先,对掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;第一区域中的像素点的第一像素值与第二区域中的像素点的第二像素值不相同。其中第一区域可以用于表示阴影区域,该第一区域内的像素点的像素值可以为255,相应地,第二区域可以用于表示非阴影区域,该第二区域内的像素点的像素值可以为0。
其中对掩码图像中的第一区域的边缘轮廓进行均值滤波处理可以采用随机均值滤波核的均值滤波方式。
其中,均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素,即以目标像素为中心的周围N(如8个)个像素,构成一个滤波模板,即包括目标像素本身,再用模板中的全体像素的平均值来更新原来像素值。其中,N为正整数,N可以用于表征上述涉及到的均值滤波核。
示例性地,对于像素大于预设像素阈值的图像,均值滤波核范围取值可以在1~1000之间;对于像素小于预设像素阈值的图像,均值滤波核范围取值可以在1~100之间。
其次,对第一灰度图像中的与第一区域相对应的第三区域进行图像柔化处理,得到第二灰度图像。即对掩码图像区域内的第三区域进行柔化。
最后,对第二灰度图像进行均值滤波处理,得到更加平滑的目标灰度图像,其中均值滤波核的取值范围可以为100~300。
由此,可以通过对掩码图像进行图像柔化处理,得到多种多样的目标灰度图像。
其中,上述涉及到的对第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像的步骤中,具体可以包括下述中的至少一项:
将第一像素值降低至第三像素值;基于随机形状将第一像素值更新为第四像素值,对第四像素值进行均值滤波处理;将第一像素值更新为第五像素值,基于二维高斯分布和/或二维均匀分布生成第五像素值。
第一,将第三区域中的像素点的第一像素值降低至第三像素值。
示例性地,将阴影蒙版中强度值为255的像素随机变换到20~200之间。
第二,基于随机形状将将第三区域中的像素点的第一像素值更新为第四像素值,对第四像素值进行均值滤波处理。
示例性地,在第一灰度图像中的第三区域内任意生成随机形状,并用黑色填充。对黑色填充区域采用较大均值滤波核的均值滤波处理,均值滤波核的取值范围可以在2000~5000之间。
第三,将第三区域中的像素点的第一像素值更新为第五像素值,第五像素值基于二维高斯分布和/或二维均匀分布生成。
示例性地,随机采用二维高斯分布、二维均匀分布或者两者组合生成第五像素值,将第三区域中的像素点的第一像素值更新为第五像素值。
最后,涉及步骤230。
基于权重图像对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像。
可以基于权重图像对降低第一图像的明度后得到的第二图像以及第一图像进行加权融合处理,得到合成后的第一阴影图像。得到的第一阴影图像可以如图5所示。
其中,第一图像和第一阴影图像可以用于训练去影模型。由此,通过上述实施例能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
在一种可能的实施例中,在步骤230之后,还可以包括以下步骤:
根据随机生成的第二随机数调节第一阴影图像中的多个单通道的分量像素值,生成第一图像的第二阴影图像。
示例性地,随机生成一个0~1之间的第二随机数,判断第二随机数是否大于0.8,若小于0.8,则输出第一阴影图像;若大于0.8,则随即调节第一阴影图像的中的多个单通道(R、G、B)的分量像素值,对三通道中的一个或多个通道的分量像素值随机加减0~10,输出合成的第二阴影图像,第二阴影图像可以如图6所示。
由此,可以通过随机生成的第二随机数调节第一阴影图像中的多个单通道的分量像素值,生成彩色的第二阴影图像。
其中,第二阴影图像可以用于训练去影模型,由此能够大量的生成成对像素级别对齐的第一图像和第二阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
综上,在本申请实施例中,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行加载图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例,说明本申请实施例提供的图像处理方法。
另外,基于上述图像处理方法,本申请实施例还提供了一种是实现图像处理的方法,具体结合图7进行详细说明。
图7为本申请实施例提供的一种实现图像处理的方法流程图,如图7所示,可以包括步骤710-步骤790,该方法应用于图像处理装置,具体如下所示:
步骤710,获取包括目标对象第三图像,从第三图像中提取目标对象对应的二值化图像。
步骤720,对二值化图像进行编辑处理,得到掩码图像。
具体地,对步骤710中的二值化图像进行编辑处理,得到掩码图像。
步骤730,判断第一随机数是否大于第一阈值。
若是,则执行步骤740;若否,则执行步骤750。
步骤740,对掩码图像进行图像柔化处理,得到目标灰度图像。
步骤750,进行归一化处理,得到权重图像。
若第一随机数大于第一阈值,则对目标灰度图像进行归一化处理,得到权重图像;若第一随机数小于或等于第一阈值,则对掩码图像进行归一化处理,得到权重图像。
步骤760,基于权重图像对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像。其中,在基于权重图像对第一图像和第二图像进行加权融合处理的步骤之前,可以获取第一图像;以及降低获取到的第一图像的明度,得到第二图像。
步骤770,判断第二随机数是否大于第二阈值。
若是,则执行步骤780;若否,则执行步骤790。
步骤780,调节第一阴影图像中的多个单通道的分量像素值,生成第一图像的第二阴影图像。
步骤790,结束。
综上,在本申请实施例中,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
另外,基于上述图像处理方法,本申请实施例还提供了一种图像处理装置,具体结合图8进行详细说明。
图8为本申请实施例提供的一种图像处理装置结构示意图。
如图8所示,该图像处理装置800可以包括:
获取模块810,用于获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度后得到的图像。
调节模块820,用于根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像。
融合模块830,用于基于权重图像,对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像,第一图像和第一阴影图像用于训练去影模型。
在一种可能的实施例中,调节模块820,还用于根据随机生成的第二随机数调节第一阴影图像中的多个单通道的分量像素值,生成第一图像的第二阴影图像。
在一种可能的实施例中,调节模块820,包括:
归一化模块,用于在第一随机数大于预设阈值的情况下,对掩码图像进行归一化处理,得到权重图像,权重图像用于表示第一图像中像素点对应的权重值。
在一种可能的实施例中,在第一随机数小于或等于预设阈值的情况下,该图像处理装置800还可以包括:
柔化模块,用于对掩码图像进行图像柔化处理,得到目标灰度图像。
归一化模块,具体用于:对目标灰度图像进行归一化处理,得到权重图像。
在一种可能的实施例中,掩码图像包括第一区域和第二区域,柔化模块,可以包括:
滤波模块,用于对掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;第一区域中的像素点的第一像素值与第二区域中的像素点的第二像素值不相同。
柔化模块,具体用于:对第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像,第三区域与第一区域相对应。
滤波模块,还用于对第二灰度图像进行均值滤波处理,得到目标灰度图像。
在一种可能的实施例中,获取模块810,还用于获取第三图像,第三图像中包括目标对象。
该图像处理装置800还可以包括:提取模块,用于从第三图像中提取目标对象对应的二值化图像。
编辑模块,用于对二值化图像进行编辑处理,得到掩码图像。
其中,编辑处理包括下述中的至少一项:裁剪、翻转、旋转、缩放和平移。
综上,本申请实施例提供的图像处理装置,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
本申请实施例中的图像处理装置,可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图2-图7的方法实施例中图像处理装置实现的各个过程,为避免重复,这里不再赘述。
可选地,如图9所示,本申请实施例还提供一种电子设备900,包括处理器901,存储器902,存储在存储器902上并可在处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述聊天群组的创建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图10为本申请实施例提供的另一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010以及电源1011等部件。其中,输入单元1004可以包括图形处理器10041和麦克风10042;显示单元1006可以包括显示面板10061;用户输入单元1007可以包括触控面板10071以及其他输入设备10072;存储器1009可以包括应用程序和操作系统。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源1011可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
处理器1010,用于获取第一图像、第二图像和掩码图像,第二图像为降低第一图像的明度后得到的图像。
处理器1010,还用于根据随机生成的第一随机数调节掩码图像的像素值,得到权重图像。
处理器1010,还用于基于权重图像,对第一图像和第二图像进行加权融合处理,生成第一图像的第一阴影图像,第一图像和第一阴影图像用于训练去影模型。
可选地,处理器1010,用于根据随机生成的第二随机数调节第一阴影图像中的多个单通道的分量像素值,生成第一图像的第二阴影图像。
可选地,处理器1010,还用于在第一随机数大于预设阈值的情况下,对掩码图像进行归一化处理,得到权重图像,权重图像用于表示第一图像中像素点对应的权重值。
可选地,处理器1010,还用于对掩码图像进行图像柔化处理,得到目标灰度图像。
处理器1010,具体用于:对目标灰度图像进行归一化处理,得到权重图像。
可选地,处理器1010,用于对掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;第一区域中的像素点的第一像素值与第二区域中的像素点的第二像素值不相同。
处理器1010,具体用于:对第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像,第三区域与第一区域相对应。
处理器1010,还用于对第二灰度图像进行均值滤波处理,得到目标灰度图像。
可选地,处理器1010,用于获取第三图像,第三图像中包括目标对象。
处理器1010,还用于从第三图像中提取目标对象对应的二值化图像。
处理器1010,还用于对二值化图像进行编辑处理,得到掩码图像。
其中,编辑处理包括下述中的至少一项:裁剪、翻转、旋转、缩放和平移。
本申请实施例中,通过基于权重图像对第一图像和降低第一图像的明度得到的第二图像进行加权融合处理生成第一阴影图像,由于权重图像是根据随机生成的第一随机数调节掩码图像的像素值得到的,所以可以得到多种多样的权重图像;又由于权重图像的数量和种类众多,所以能够根据不同的权重系数对第一图像合成阴影,因此合成的第一阴影图像的数量和种类也很多。由此,能够大量的生成成对像素级别对齐的第一图像和第一阴影图像,以用作去影模型的训练样本,从而有效提高去影模型的去影能力。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取第一图像、第二图像和掩码图像,所述第二图像为降低所述第一图像的明度后得到的图像;
根据随机生成的第一随机数调节所述掩码图像的像素值,得到权重图像;
基于所述权重图像,对所述第一图像和所述第二图像进行加权融合处理,生成所述第一图像的第一阴影图像。
2.根据权利要求1所述的方法,其特征在于,在所述生成所述第一图像的第一阴影图像之后,所述方法还包括:
根据随机生成的第二随机数调节所述第一阴影图像中的多个单通道的分量像素值,生成所述第一图像的第二阴影图像。
3.根据权利要求1所述的方法,其特征在于,所述根据随机生成的第一随机数调节所述掩码图像的像素值,得到权重图像,包括:
在所述第一随机数大于预设阈值的情况下,对所述掩码图像进行归一化处理,得到所述权重图像,所述权重图像用于表示所述第一图像中像素点对应的权重值。
4.根据权利要求3所述的方法,其特征在于,在所述第一随机数小于或等于所述预设阈值的情况下,在所述对所述掩码图像进行归一化处理,得到所述权重图像之前,所述方法还包括:
对所述掩码图像进行图像柔化处理,得到目标灰度图像;
所述对所述掩码图像进行归一化处理,得到所述权重图像,包括:
对所述目标灰度图像进行归一化处理,得到所述权重图像。
5.根据权利要求4所述的方法,其特征在于,所述掩码图像包括第一区域和第二区域,所述对所述掩码图像进行图像柔化处理,得到目标灰度图像,包括:
对所述掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;所述第一区域中的像素点的第一像素值与所述第二区域中的像素点的第二像素值不相同;
对所述第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像,所述第三区域与所述第一区域相对应;
对所述第二灰度图像进行均值滤波处理,得到所述目标灰度图像。
6.根据权利要求1所述的方法,其特征在于,在所述获取第一图像、第二图像和掩码图像之前,所述方法还包括:
获取第三图像,所述第三图像中包括目标对象;
从所述第三图像中提取所述目标对象对应的二值化图像;
对所述二值化图像进行编辑处理,得到所述掩码图像;
其中,所述编辑处理包括下述中的至少一项:裁剪、翻转、旋转、缩放和平移。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取第一图像、第二图像和掩码图像,所述第二图像为降低所述第一图像的明度后得到的图像;
调节模块,用于根据随机生成的第一随机数调节所述掩码图像的像素值,得到权重图像;
融合模块,用于基于所述权重图像,对所述第一图像和所述第二图像进行加权融合处理,生成所述第一图像的第一阴影图像,所述第一图像和所述第一阴影图像用于训练去影模型。
8.根据权利要求7所述的装置,其特征在于,所述调节模块,还用于根据随机生成的第二随机数调节所述第一阴影图像中的多个单通道的分量像素值,生成所述第一图像的第二阴影图像。
9.根据权利要求7所述的装置,其特征在于,所述调节模块,包括:
归一化模块,用于在所述第一随机数大于预设阈值的情况下,对所述掩码图像进行归一化处理,得到所述权重图像,所述权重图像用于表示所述第一图像中像素点对应的权重值。
10.根据权利要求9所述的装置,其特征在于,在所述第一随机数小于或等于所述预设阈值的情况下,所述装置还包括:
柔化模块,用于对所述掩码图像进行图像柔化处理,得到目标灰度图像;
所述归一化模块,具体用于:对所述目标灰度图像进行归一化处理,得到所述权重图像。
11.根据权利要求10所述的装置,其特征在于,所述掩码图像包括第一区域和第二区域,所述柔化模块,包括:
滤波模块,用于对所述掩码图像中的第一区域的边缘轮廓进行均值滤波处理,得到第一灰度图像;所述第一区域中的像素点的第一像素值与所述第二区域中的像素点的第二像素值不相同;
所述柔化模块,具体用于:对所述第一灰度图像中的第三区域进行图像柔化处理,得到第二灰度图像,所述第三区域与所述第一区域相对应;
所述滤波模块,还用于对所述第二灰度图像进行均值滤波处理,得到所述目标灰度图像。
12.根据权利要求7所述的装置,其特征在于,所述获取模块,还用于获取第三图像,所述第三图像中包括目标对象;
所述装置还包括:
提取模块,用于从所述第三图像中提取所述目标对象对应的二值化图像;
编辑模块,用于对所述二值化图像进行编辑处理,得到所述掩码图像;
其中,所述编辑处理包括下述中的至少一项:裁剪、翻转、旋转、缩放和平移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011639915.9A CN112837251B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011639915.9A CN112837251B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112837251A true CN112837251A (zh) | 2021-05-25 |
CN112837251B CN112837251B (zh) | 2024-04-02 |
Family
ID=75926833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011639915.9A Active CN112837251B (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112837251B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486941A (zh) * | 2021-06-30 | 2021-10-08 | 广州方硅信息技术有限公司 | 直播图像的训练样本生成方法、模型训练方法及电子设备 |
CN114626468A (zh) * | 2022-03-17 | 2022-06-14 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
CN116523803A (zh) * | 2023-07-04 | 2023-08-01 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196888A (ja) * | 1998-12-25 | 2000-07-14 | Copyer Co Ltd | 画像処理方法および画像生成装置 |
US20040234312A1 (en) * | 2003-05-20 | 2004-11-25 | Software 2000 Ltd. | Bit mask generation system |
WO2018023916A1 (zh) * | 2016-08-01 | 2018-02-08 | 北京大学深圳研究生院 | 一种彩色图像去阴影方法和应用 |
CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
CN111192218A (zh) * | 2019-12-31 | 2020-05-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111652822A (zh) * | 2020-06-11 | 2020-09-11 | 西安理工大学 | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 |
-
2020
- 2020-12-31 CN CN202011639915.9A patent/CN112837251B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196888A (ja) * | 1998-12-25 | 2000-07-14 | Copyer Co Ltd | 画像処理方法および画像生成装置 |
US20040234312A1 (en) * | 2003-05-20 | 2004-11-25 | Software 2000 Ltd. | Bit mask generation system |
WO2018023916A1 (zh) * | 2016-08-01 | 2018-02-08 | 北京大学深圳研究生院 | 一种彩色图像去阴影方法和应用 |
CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
CN111192218A (zh) * | 2019-12-31 | 2020-05-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111652822A (zh) * | 2020-06-11 | 2020-09-11 | 西安理工大学 | 一种基于生成对抗网络的单幅图像阴影去除方法及系统 |
Non-Patent Citations (1)
Title |
---|
吴文;万毅;: "基于低尺度细节恢复的单幅图像阴影去除方法", 电子学报, no. 07, 15 July 2020 (2020-07-15) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486941A (zh) * | 2021-06-30 | 2021-10-08 | 广州方硅信息技术有限公司 | 直播图像的训练样本生成方法、模型训练方法及电子设备 |
CN113486941B (zh) * | 2021-06-30 | 2023-04-07 | 广州方硅信息技术有限公司 | 直播图像的训练样本生成方法、模型训练方法及电子设备 |
CN114626468A (zh) * | 2022-03-17 | 2022-06-14 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
CN114626468B (zh) * | 2022-03-17 | 2024-02-09 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
CN116523803A (zh) * | 2023-07-04 | 2023-08-01 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
CN116523803B (zh) * | 2023-07-04 | 2023-11-14 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112837251B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112837251B (zh) | 图像处理方法及装置 | |
Gupta et al. | Minimum mean brightness error contrast enhancement of color images using adaptive gamma correction with color preserving framework | |
CN107507160B (zh) | 一种图像融合方法、终端及计算机可读存储介质 | |
CN110689500A (zh) | 一种人脸图像的处理方法、装置、电子设备及存储介质 | |
CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
CN114529490B (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
CN109816694A (zh) | 目标跟踪方法、装置及电子设备 | |
CN109214996A (zh) | 一种图像处理方法及装置 | |
CN108447040A (zh) | 直方图均衡化方法、装置及终端设备 | |
CN113870100A (zh) | 图像处理方法和电子设备 | |
CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN110473156B (zh) | 图像信息的处理方法、装置、存储介质及电子设备 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
Kwok et al. | Single-scale center-surround Retinex based restoration of low-illumination images with edge enhancement | |
CN113658118A (zh) | 图像噪声程度估计方法、装置、电子设备及存储介质 | |
Liu et al. | An adaptive tone mapping algorithm based on gaussian filter | |
CN110140150B (zh) | 一种图像处理方法、装置以及终端设备 | |
CN112734658A (zh) | 图像增强方法、装置及电子设备 | |
CN112446848A (zh) | 图像处理方法、装置及电子设备 | |
US20170330504A1 (en) | Image processing apparatus and image processing method | |
CN112862726B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN113658294B (zh) | 图像处理方法、装置及存储介质 | |
CN113709370B (zh) | 图像生成方法、装置、电子设备及可读存储介质 | |
CN114219744B (zh) | 图像生成方法、装置、设备及存储介质 | |
CN111383237B (zh) | 一种图像分析方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |