CN111415299B - 一种高分辨率图像风格迁移方法 - Google Patents
一种高分辨率图像风格迁移方法 Download PDFInfo
- Publication number
- CN111415299B CN111415299B CN202010221492.2A CN202010221492A CN111415299B CN 111415299 B CN111415299 B CN 111415299B CN 202010221492 A CN202010221492 A CN 202010221492A CN 111415299 B CN111415299 B CN 111415299B
- Authority
- CN
- China
- Prior art keywords
- image
- style migration
- image data
- sequence
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 76
- 230000005012 migration Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 18
- 230000007704 transition Effects 0.000 abstract description 7
- 230000000052 comparative effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种高分辨率图像风格迁移方法，通过向原始图像填充像素后，再切割成多个图像小片，在每个图像小片的四周再扩展像素点，接着将图像小片按行列的顺序依次编号，得到图像小片位置序列；然后将图像小片打乱后进行排序，形成新的图像小片序列，并生成图像小片串图；再对图像小片串图进行切割，形成个图像数据块进行风格迁移，最后将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时相邻图像小片之间利用边缘融合算法进行边缘融合，最终获得图像风格迁移结果图像。本发明可以进行高分辨率图像风格迁移，图像风格迁移后边界的拼接过渡自然，而且有效地提升风格迁移整体效果，具有适用性强的特点。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种高分辨率图像风格迁移方法。
背景技术
图像风格迁移是一个长期的研究课题，在神经网络风格迁移(NST)出现之前，计算机图形学的相关研究已经扩展到非真实感渲染(NPR)的领域。在计算机视觉领域，风格迁移通常被认为是纹理合成的问题，广泛应用于网络社交、用户辅助创作、娱乐应用创作等领域。2015年Gatys等提出了一种基于神经网络的风格迁移方法，开创性地将深度学习方法应用于图像风格迁移中。Gatys等人的方法在时间复杂度上较高，每一张图像都需要进行上千次的迭代优化。随后，为了加速Gatys等人的方法，(2016年)Johnson等人提出通过相同的目标函数，训练一个前馈型卷积神经网络，每次只需要将原图像输入到前馈网络即可得到风格图像，相比Gatys等人的方法可以做到近1000倍的加速效果，能够实时地进行风格迁移，成为目前图像风格迁移的主流算法。该算法对中低分辨率图像支持较好，然而在计算资源一定的情况下，面对如汽车制造设计、高清装饰画生成等需要高清甚至超高清的图像分辨率要求的应用场景时，将无法处理。解决高分辨率图像风格迁移的方法有两种：一种，可以通过增加硬件资源来提升算力，满足特定计算要求，但会增加成本、技术等开销，且不具通用型；另一种，可以通过对计算方法的改进来解决：通过将原始图像分成若干图像数据块，将数据块分别进行快速风格迁移，再合并生成结果。这种方法可以在不改变硬件配置的条件下，支持高分辨率图像风格迁移，具有通用型，这种方法的图像数据块划分是个关键，如果对图像进行常规的数据分块后直接进行图像风格迁移，会导致风格迁移的整体效果不是很理想，而且边界的拼接处存在风格迁移不理想的，拼接过渡不自然的问题。
发明内容
本发明的目的在于，提供一种高分辨率图像风格迁移方法。本发明不需要太多的计算资源及计算硬件即可进行高分辨率图像风格迁移，图像风格迁移后边界的拼接过渡自然，而且有效地提升风格迁移整体效果，具有适用性强的特点。
为解决上述技术问题，本发明提供的技术方案如下：一种高分辨率图像风格迁移方法，按下述步骤进行：
a、在n×m个像素的原始图像的最右边以及最下边填充最小的Pw和Ph个像素使得图像能够切割成L×L个图像小片，在每个图像小片的四周再扩展P个像素点，即图像小片的宽为(n+Pw)/L+2P，高为(m+Ph)/L+2P；
b、将图像小片按行列的顺序依次编号，得到图像小片位置序列{1，2，3，……，L×L}；然后将图像小片打乱后重新排序，形成新的图像小片序列，用向量T记录，并生成新的图像小片串图。
c、根据计算机计算能力的大小划分图像数据块的数量K，使计算机能够独立处理一个图像数据块，每个图像数据块包含图像小片串图中(L×L)/K个图像小片；
d、将所有图像数据块依次进行图像风格迁移处理，然后利用向量T将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时，相邻图像小片之间利用边缘融合算法进行边缘融合，获得图像风格迁移结果图像。
上述的高分辨率图像风格迁移方法，所述步骤b中，首先求出每个图像小片与原始图像的直方图差值，根据直方图差值进行将图像小片排序，生成图像小片串图；
所述步骤c中，以镜像方式分别从图像小片串图的首、尾同时进行切割，切割出的部分共同形成一个图像数据块，以此形成K个图像数据块，每个图像数据块包括(L×L)/K个图像小片。
前述的高分辨率图像风格迁移方法，所述步骤c中，以镜像方式分别从图像小片串图的首、尾同时进行切割，形成K个图像数据块，若无法切割成整数块时，最后剩余部分单独形成一个图像数据块。
前述的高分辨率图像风格迁移方法，所述步骤d中，在进行边缘融合之后，再去除最右边填充的Pw个像素以及在最下边填充的Ph个像素，最终获得获得图像风格迁移结果图像。
前述的高分辨率图像风格迁移方法，所述边缘融合算法具体是，在相邻的图像小片重叠区域中，从第一片图像小片上选择原图像小片上某一位置的像素点P1，从第二片图像小片上选择落在图像小片扩展P个像素点范围区域内且与像素点P1相重叠的像素点P2,再采用加权平均的方法进行边缘融合得到该位置上融合后的像素点P3，
P3＝(1-a)×P1+a×P2，
其中，a为权重系数，
seam为重叠区域的像素，i为从左往右或从上往下的当前像素位置值，取值范围为0到2seam。
与现有技术相比，本发明通过向原始图像填充像素后，再切割成多个图像小片，在每个图像小片的四周再扩展像素点，接着将图像小片按行列的顺序依次编号，得到图像小片位置序列；然后将图像小片打乱后进行排序，形成新的图像小片序列，并生成图像小片串图，再根据计算机计算能力的大小对图像小片串图进行切割，形成若干个图像数据块，使计算机能够独立处理一个图像数据块，以此通过对单独的图像数据块依次进行图像风格迁移处理，从而不需要增加硬件资源或其他提高计算机计算能力的手段，就可以使计算机能够进行高分辨率图像风格迁移，最后利用图像小片序列将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时相邻图像小片之间利用边缘融合算法进行边缘融合，最终获得图像风格迁移结果图像。本发明可以使图像风格迁移后边界的拼接过渡自然，而且能够有效地提升风格迁移整体效果，具有适用性强的特点；本发明还可以在普通的计算机上实现任意分辨率图像的风格迁移，具体的，例如在ThinkPad L460(inteli7处理器，8G内存)的计算机上，可以实现分辨率在3000×3000pixels以上的图像风格迁移，而常规方法无法实现在普通计算机上进行图像风格迁移，因此大大的降低了高分辨率图像风格迁移的硬件要求。此外，本发明还具体的优选了直方图差值的排序方式，根据直方图差值进行排序，形成新的图像小片序列，再以镜像方式分别从图像小片串图的首、尾同时进行切割，切割出的部分共同形成一个图像数据块，以此形成K个图像数据块，每个图像数据块包括(L×L)/K个图像小片，使得排序以及图像数据块的形成更加的具有规律性和有序性，大大的方便了计算机的处理，使得在不需要高配置计算机的情况下能更好的进行图像的风格迁移；本发明还在原始图像的最右边及最下边填充若干像素，使得原始图像无论如何切割都能使得图像小片保持一致，方便随机重排形成图像数据块，便于计算机进行处理，无需消耗更多的计算资源。本发明利用加权平均的方法进行边缘融合，有效地提高了边缘融合的效果。
附图说明
图1是本发明实施例2的步骤逻辑图；
图2是本发明实施例2中步骤a的示意图；
图3是本发明实施例2中步骤b中图像小片随机排列示意图；
图4是本发明实施例2中步骤b中图像数据块示意图；
图5是本发明实施例2中步骤b中图像数据块切割示意图；
图6是本发明实施例2中步骤d的示意图；
图7是边缘融合算法示意图；
图8是中低分辨率图像风格迁移效果图；
图9是高分辨率图像的风格迁移效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例1：一种高分辨率图像风格迁移方法，本实施例中的硬件采用英特尔XeonE5-2620 CPU，配备一块英伟达Tesla K80；操作系统使用CentOs 7.4.1708操作系统，基于开源深度学习框架TensorFlow，版本为1.8.0，CUDA版本为9.0.176，按图1所示步骤进行：
a、在网络上自行下载的风格图，像素大小不限；原始图像也来源于自行下载的网络图片，首先在n×m个像素的原始图像的最右边以及最下边填充最小的Pw和Ph个像素使得图像能够切割成L×L个图像小片，在每个图像小片的四周再扩展P个像素点，即图像小片的宽为(n+Pw)/L+2P，高为(m+Ph)/L+2P；
b、将图像小片按行列的顺序依次编号，得到图像小片位置序列{1，2，3，……，L×L}；然后将图像小片打乱后重新排序，形成新的图像小片序列，用向量T记录，并生成图像小片串图。
c、根据计算机计算能力的大小划分图像数据块的数量K，使计算机能够以最优的计算能力独立处理一个数据块，然后将图像小片串图进行切割，以此形成K个图像数据块，每个图像数据块包括(L×L)/K个图像小片；
d、将所有图像数据块依次进行图像分格迁移(图像分格迁移为本领域技术人员所掌握的常规技术手段，即背景技术中Gatys等人提出来的神经网络风格迁移方法。其通过卷积神经网络来执行纹理合成和样式转移，利用VGG16模型提取内容特征和风格特征，再利用内容损失经过梯度下降法方法还原图像内容，通过Gram矩阵计算损失值经过梯度下降法方法还原图像风格，经过多次迭代计算最后得到风格化后图片。2016年Johnson等人提出的快速风格迁移方法基于Gatys的基础上，设计出一个前馈网络，损失网络就是VGG16，将原始图片输入到前馈网络中去，然后生成一张图片，通过梯度下降的方法计算出内容损失值和风格损失值，然后不断地优化生成图片最后得到风格化后的图片。目前该方法已成为主流的图像风格迁移方法，被广泛应用)处理，本实施例中图像分格迁移处理的模型为基于cocotrain2014数据集训练迁移模型，然后利用向量T将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时相邻图像小片之间利用边缘融合算法进行边缘融合，获得图像风格迁移结果图像。
实施例2：一种高分辨率图像风格迁移方法，本实施例中的硬件采用英特尔XeonE5-2620 CPU，配备一块英伟达Tesla K80；操作系统使用CentOs 7.4.1708操作系统，基于开源深度学习框架TensorFlow，版本为1.8.0，CUDA版本为9.0.176，按图1所示步骤进行：
a、在网络上自行下载的风格图，像素大小不限；原图图像也来源于自行下载的网络图片，如图2所示，首先在n×m个像素的原始图像G的最右边填充最少Pw个像素以及最下边填充最少Ph个像素，使得在L无法被n或m整除时，能被n+Pw及m+Ph整除，即图像小片的宽为(n+Pw)/L+2P，高为(m+Ph)/L+2P；
b、如图2所示，将图像小片按行列(从左往右，从上往下)的顺序依次编号，得到图像小片位置序列{1，2，3，……L×L}；如图3所示，然后求出每个图像小片与原始图像的直方图差值，并根据直方图差值进行排序，形成新的图像小片序列，用向量T记录，根据向量T将图像小片进行排列，生成图像小片串图；
其中，直方图差值排序是基于直方图均衡的乱序算法中根据直方图相似度从而进行图像片的排序，直方图相似度计算原理如下：
在数字图像处理中，图像的每个位置对应一个数值，统计每个数值所对应的像素点个数可以得到图像的直方图。基于直方图的图像相似度算法是从图像颜色特征和统计学方面来研究图像相似度。它描述的是每一个像素在图像中出现的频次，对于一幅数字图像，以像素出现的频次作为颜色直方图的纵坐标，以颜色值作为横坐标；通过这种方式就可以描绘出该图像的直方图：
其中，h[ck]表示第k种像素在图像中出现的频次，M和N表示图像的宽和高，W表示图像的像素数；
通过度量两幅图像的相关性来计算图像的相似度，最终根据计算出的数值来判断图像的相似度：
c、根据计算机计算能力的大小划分数据块数量K，使计算机能够独立处理一个数据块，如图4所示，以镜像方式分别从图像小片串图的首、尾同时进行切割，切割出的部分共同形成一个图像数据块，以此形成K个图像数据块，每个图像数据块包括(L×L)/K个图像小片；如图5所示，若无法切割成整数块时，最后剩余部分单独形成一个图像数据块；
d、将所有图像数据块依次进行图像分格迁移处理，图像分格迁移处理的模型为基于coco train2014数据集训练迁移模型，如图6所示，然后利用随机序列T将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时，相邻图像小片之间利用边缘融合算法进行边缘融合；所述边缘融合算法具体是，如图7所示，图像小片是在原始图像切割后的四周进行P个像素的扩展，因此两个图像小片拼接时，会有2P个像素宽是重叠的，居中取2seam个像素宽的重叠区(Seam≤P，seam为重叠区域的像素)，在相邻的相邻图像小片重叠区域中，从图像小片1上选择原图像小片上某一位置的像素点P1，从图像小片2上选择落在图像小片扩展P个像素点范围区域内且与像素点P1相重叠的像素点P2,再采用加权平均的方法进行边缘融合得到该位置上融合后的像素点P3，
P3＝(1-a)×P1+a×P2，
其中，a为权重系数，
seam为重叠区域的像素，i为从左往右或从上往下的当前像素位置值，取值范围为0到2seam；
最后去除最右边填充的Pw个像素以及在最下边填充的Ph个像素，获得图像风格迁移结果图像。
对比例1：正常整体处理方法(受限于计算能力及计算硬件较高，适合中低分辨率图像，计算机资源有限时无法对高分辨率图像进行整体风格迁移)。
对比例2：常规数据分块处理(受限于计算能力及计算硬件较低，适合所有分辨率图像，通过常规的图像数据分块后，进行图像的风格迁移，最后拼接结果)。
申请人对本发明实施例2和对比例1以及对比例2进行图像风格迁移测试，选取了两幅1000×1000pixels分辨率内容图像，风格图为网络下载获取，分辨率大小不限，经过图像风格迁移后，得到如图8所示的图像风格迁移效果图。从图8可以看出，本发明得到的图像风格迁移与对比例1中的整理处理方法得到的图像风格迁移图非常的接近，而对比例2中采用常规数据分块方法整体风格化效果较差，拼接处也比较明显(见框线)，本发明整体风格化和拼接处理的效果明显提升，基本与正常整体处理方法的效果一致。
申请人再次提高图像的分辨率，采用了两幅3000×3000pixels分辨率内容图像，风格图为网络下载获取，分辨率大小不限。对比例1已经无法实现，通过实施例中的方法和对比例2中常规数据分块处理方法进行图像风格迁移，经过图像风格迁移后，得到如图9所示的高分辨率图像的风格迁移效果图，从图9中可以明显的看出，对比例2中图像风格迁移后生成的风格迁移图，可以看到天空、树木、牛的颜色、纹理都有局部的失真和扭曲，马的身体和车身的局部颜色过渡不自然、纹理发生了扭曲，图像的局部区域没有被风格化，出现边界拼接效应，导致生成的迁移图像效果很不理想(见框线)。而本发明实施例2图像风格迁移后生成的风格迁移图，可以看到保留了云朵、马的头部、车的形状和颜色，生成的风格化图像整体风格过渡自然美观，且没有明显的边界效应，相比对比例2的效果有了大大的提高。
综上所述，本发明不需要太多的计算资源及计算硬件即可进行高分辨率图像风格迁移，图像风格迁移后边界的拼接过渡自然，而且有效地提升风格迁移整体效果，具有适用性强的特点。
Claims (5)
1.一种高分辨率图像风格迁移方法，其特征在于：按下述步骤进行：
a、在n×m个像素的原始图像的最右边以及最下边填充最小的Pw和Ph个像素使得图像能够切割成L×L个图像小片，在每个图像小片的四周再扩展P个像素点，即图像小片的宽为(n+Pw)/L+2P，高为(m+Ph)/L+2P；
b、将图像小片按行列的顺序依次编号，得到图像小片位置序列{1，2，3，……，L×L}；然后将图像小片打乱后重新排序，形成新的图像小片序列，用向量T记录，并生成新的图像小片串图；
c、根据计算机计算能力的大小划分图像数据块的数量K，使计算机能够独立处理一个图像数据块，每个图像数据块包含图像小片串图中(L×L)/K个图像小片；
d、将所有图像数据块依次进行图像风格迁移处理，然后利用向量T将处理后的图像数据块中的图像小片进行原始位置恢复，恢复时，相邻图像小片之间利用边缘融合算法进行边缘融合，获得图像风格迁移结果图像。
2.根据权利要求1所述的高分辨率图像风格迁移方法，其特征在于：所述步骤b中，首先求出每个图像小片与原始图像的直方图差值，根据直方图差值进行将图像小片排序，生成图像小片串图；
所述步骤c中，以镜像方式分别从图像小片串图的首、尾同时进行切割，切割出的部分共同形成一个图像数据块，以此形成K个图像数据块，每个图像数据块包括(L×L)/K个图像小片。
3.根据权利要求2所述的高分辨率图像风格迁移方法，其特征在于：所述步骤c中，以镜像方式分别从图像小片串图的首、尾同时进行切割，形成K个图像数据块，若无法切割成整数块时，最后剩余部分单独形成一个图像数据块。
4.根据权利要求1所述的高分辨率图像风格迁移方法，其特征在于：所述步骤d中，在进行边缘融合之后，再去除最右边填充的Pw个像素以及在最下边填充的Ph个像素，最终获得图像风格迁移结果图像。
5.根据权利要求1所述的高分辨率图像风格迁移方法，其特征在于：所述边缘融合算法具体是，在相邻的相邻图像小片重叠区域中，从第一片图像小片上选择原图像小片上某一位置的像素点P1，从第二片图像小片上选择落在图像小片扩展P个像素点范围区域内且与像素点P1相重叠的像素点P2,再采用加权平均的方法进行边缘融合得到该位置上融合后的像素点P3，
P3＝(1-a)×P1+a×P2，
其中，a为权重系数，
seam为重叠区域的像素，i为从左往右或从上往下的当前像素位置值，取值范围为0到2seam。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010221492.2A CN111415299B (zh) | 2020-03-26 | 2020-03-26 | 一种高分辨率图像风格迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010221492.2A CN111415299B (zh) | 2020-03-26 | 2020-03-26 | 一种高分辨率图像风格迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111415299A CN111415299A (zh) | 2020-07-14 |
| CN111415299B true CN111415299B (zh) | 2023-03-28 |
Family
ID=71494660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010221492.2A Active CN111415299B (zh) | 2020-03-26 | 2020-03-26 | 一种高分辨率图像风格迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415299B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932445B (zh) * | 2020-07-27 | 2024-07-16 | 广州市百果园信息技术有限公司 | 对风格迁移网络的压缩方法及风格迁移方法、装置和系统 |
| CN112132923A (zh) * | 2020-09-24 | 2020-12-25 | 杭州火烧云科技有限公司 | 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统 |
| CN112215854B (zh) * | 2020-10-19 | 2024-07-12 | 珠海金山数字网络科技有限公司 | 一种图像处理的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130075957A (ko) * | 2011-12-28 | 2013-07-08 | 한국기초과학지원연구원 | 초해상도 영상복원 장치 및 방법 |
| CN106651766A (zh) * | 2016-12-30 | 2017-05-10 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的图像风格迁移方法 |
| CN108038821A (zh) * | 2017-11-20 | 2018-05-15 | 河海大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109272467A (zh) * | 2018-09-25 | 2019-01-25 | 南京大学 | 一种基于多尺度边缘线索的层次化图像分割方法 |
| CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| CN110855638A (zh) * | 2019-10-28 | 2020-02-28 | 中国资源卫星应用中心 | 一种基于云计算的遥感卫星数据解压缩处理系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565757B2 (en) * | 2017-06-09 | 2020-02-18 | Adobe Inc. | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
-
2020
- 2020-03-26 CN CN202010221492.2A patent/CN111415299B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130075957A (ko) * | 2011-12-28 | 2013-07-08 | 한국기초과학지원연구원 | 초해상도 영상복원 장치 및 방법 |
| CN106651766A (zh) * | 2016-12-30 | 2017-05-10 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的图像风格迁移方法 |
| CN108038821A (zh) * | 2017-11-20 | 2018-05-15 | 河海大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109272467A (zh) * | 2018-09-25 | 2019-01-25 | 南京大学 | 一种基于多尺度边缘线索的层次化图像分割方法 |
| CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
| CN110310222A (zh) * | 2019-06-20 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种图像风格迁移方法、装置、电子设备及存储介质 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110855638A (zh) * | 2019-10-28 | 2020-02-28 | 中国资源卫星应用中心 | 一种基于云计算的遥感卫星数据解压缩处理系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王晓宇 ; 朱一峰 ; 郗金洋 ; 王尧 ; 段锦 ; .基于密集连接生成对抗网络的图像颜色迁移.液晶与显示.2020,(03),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111415299A (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415299B (zh) | 一种高分辨率图像风格迁移方法 | |
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| CN111127346B (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| CN110781895B (zh) | 一种基于卷积神经网络的图像语义分割方法 | |
| CN107492070A (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN109767386A (zh) | 一种基于深度学习的快速图像超分辨率重建方法 | |
| CN108665463A (zh) | 一种基于对抗式生成网络的宫颈细胞图像分割方法 | |
| US20030026504A1 (en) | Apparatus and method of building an electronic database for resolution synthesis | |
| CN103578085B (zh) | 基于可变块的图像空洞区域修补方法 | |
| CN110503610B (zh) | 一种基于gan网络的图像雨雪痕迹去除方法 | |
| CN109360170B (zh) | 基于高级特征的人脸修复方法 | |
| CN111986075A (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN105931180A (zh) | 利用显著信息引导的图像不规则马赛克拼接方法 | |
| CN113034355B (zh) | 一种基于深度学习的肖像图像双下巴去除方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN112949754B (zh) | 一种基于图像融合的文本识别数据合成方法 | |
| CN107492082A (zh) | 一种利用边缘统计特征的mrf样本块图像修复方法 | |
| CN107564023A (zh) | 一种cbct牙齿分割及建模算法 | |
| CN111445387B (zh) | 一种基于图像块随机重排的高分辨率图像风格迁移方法 | |
| KR20020008245A (ko) | 정밀한 수치표고모형의 자동생성을 위한 지능적 보간법 | |
| CN112561844B (zh) | 一种融合纹理结构的数码迷彩图案自动生成方法 | |
| JPH0830787A (ja) | 画像領域分割方法及び画像領域統合方法 | |
| JP2001148009A (ja) | 画像処理装置及び画像処理プログラムを格納した記憶媒体 | |
| CN111064905A (zh) | 面向自动驾驶的视频场景转换方法 | |
| CN112529771B (zh) | 一种人像风格迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |