CN114092321A - 一种图像处理装置及方法 - Google Patents
一种图像处理装置及方法 Download PDFInfo
- Publication number
- CN114092321A CN114092321A CN202111435173.2A CN202111435173A CN114092321A CN 114092321 A CN114092321 A CN 114092321A CN 202111435173 A CN202111435173 A CN 202111435173A CN 114092321 A CN114092321 A CN 114092321A
- Authority
- CN
- China
- Prior art keywords
- picture
- edge
- style
- pictures
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012800 visualization Methods 0.000 claims abstract description 17
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 230000008676 import Effects 0.000 claims abstract description 8
- 238000003708 edge detection Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 2
- 230000005012 migration Effects 0.000 abstract description 16
- 238000013508 migration Methods 0.000 abstract description 15
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010422 painting Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供了一种图像处理装置，其包括用于图片导入的图片导入模块、对图片进行缩放处理的预处理模块；用于加载和运行预训练神经网络模型的加载及运行模块；用于内容图片边缘检测模块及渲染的美化模块；以及用于将边缘美化的风格化后的图片可视化的可视化模块；该图像处理方法包括步骤一：内容图片和风格图片的导入和预处理；步骤二：预训练神经网络模型的加载以及运行；步骤三：内容图片的边缘检测；步骤四：经边缘细节美化的风格化后的图片的可视化；本发明能够利用用户加载的风格图片对用户指定的内容图片进行快速风格迁移，并附加边缘细节渲染功能，可实现对风格迁移后图片的自动美化，且可根据客户需要加载任意风格和类型的图片。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种图像处理装置及方法，尤其涉及图片的任意风格迁移。
背景技术
艺术风格化的图案可以广泛应用于文创、纺织、日用品等不同产业，是工业仿真设计、美工设计等领域的重要工作。目前这一工作依靠设计师人工绘制完成，对专业要求高，且设计耗时长。尤其对缺少设计师的中小微企业，设计和生产带有原创图案的产品存在困难。依靠计算机图像处理技术自动实现风格图片的生成成为可行方案。
在神经网络之前，图像风格迁移程序采用的思路是分析一种风格的图像，为这种风格建立一个数学统计模型；再改变要做迁移的图像使它的风格符合建立的模型。该种方法可以取得不同的效果。但是，风格图像的特征量需要人为构造和定义，且不同风格图像的特征往往不同。因此，基于传统方法的风格迁移的模型应用十分有限。
随着神经网络的发展，机器在某些视觉感知的关键领域，比如物体和人脸识别等有着接近于人类甚至超越人类的表现。处理图像任务最有效的一种深度神经网络就是卷积神经网络。卷积神经网络由多个网络层组成的前馈神经网络，每个网络层包含了许多用于处理视觉信息的计算单元(神经元)。每一层的计算单元可以被理解为一个图片过滤器的集合，每一层都可以提取图片的不同的特定特征。通过多个层的特征相关性，可以捕获图片的纹理信息，从而实现风格的自动辨识。由此，并不需要人工定义特征统计量来描述风格，就可以实现风格的自动提取。虽然已有少数图像处理软件如Prisma基于神经风格迁移实现了用户上传图像的艺术风格化，但是只能使用软件内置的少数图片进行风格迁移，这是因为其对每种风格都需要预训练一个模型，而训练一个深度学习模型是一个耗费人力物力的过程，从而软件中无法提供任意风格的迁移。因此现有的软件也不能满足企业的定制化应用需求。
该装置的发明旨在实现任意图像的任意风格快速迁移，从而可以为缺少设计师的中小微企业提供独立原创设计的平台，也可用于为设计师提供所需风格图案的基础素材，提高设计效率。
发明内容
为了解决现有图像处理软件不能对任意图像按用户指定的任意风格进行快速生成的问题，本发明提出一种图像处理装置及方法，该图像处理装置是基于神经风格迁移的任意艺术风格图片自动生成装置，该发明可以利用用户加载的风格图片对用户指定的内容图片进行快速风格迁移，并附加边缘细节渲染功能，实现对风格迁移后图片的自动美化。
一种图像处理装置，其为基于神经风格迁移的任意艺术风格图片自动生成装置，其包括：用于图片导入的图片导入模块、对图片进行缩放处理的预处理模块；用于加载和运行预训练神经网络模型的加载及运行模块；用于内容图片边缘检测模块及渲染的美化模块；以及用于将边缘美化的风格化后的图片可视化的可视化模块。
进一步的，所述图片导入模块基于tensorflow，其导入图片为张量，所述预处理模块按最长边伸缩至512像素等宽高比缩放内容图片和风格图片。
进一步的，所述加载及运行模块为通过从tensorflow-hub上在线加载任意风格快速迁移的预训练神经网络模型并分别将内容图片和风格图片的张量作为加载模型的第一个和第二个输入参数，输出风格化图片的四维张量表达。
进一步的，所述边缘检测模块基于opencv读取内容图片，并按最长边伸缩至512像素等宽高比缩放内容图片，其调用canny边缘检测算法，自动识别内容图片边缘，得到边缘检测后图像的黑白图像，并用255减去边缘检测后图像各像素点，得到反色图像，其按照用户设定的拓宽像素参数d，将识别边缘点的上面d个像素点和下面d个像素点置零；所述美化模块对步骤二输出的风格化图片，寻找对应边缘检测后反色图像像素值为0的像素点，将RGB三个通道的对应像素值均置零，从而实现边缘的渲染。
进一步的，所述可视化模块的选择图像通道为RGB以实现图片的可视化。
该图像处理装置的图像处理方法主要包括以下步骤：
步骤一：内容图片和风格图片的导入和预处理；
步骤二：预训练神经网络模型的加载以及运行；
步骤三：内容图片的边缘检测；
步骤四：经边缘细节美化的风格化后的图片的可视化；
进一步的，所述步骤一中，内容图片是指需要进行风格化处理的图片，图片中的主体经过处理后需要得到保留；风格图片是指提供艺术风格的图片，图片中的具体物体轮廓不需要保留；导入图片后，需要对内容图片和风格图片进行伸缩变化，并处理成四维张量，以满足预训练神经网络模型的输入规格要求。
进一步的，所述步骤二中，从Tensorflow-hub上加载开源的预训练的任意图像风格化模块，并输入对应内容图片和风格图片的四维张量，得到输出的风格化后的图片的四维张量表达。
进一步的，所述步骤三中，运用Canny边缘检测算法对内容图片的边缘进行检测和提取，并根据用户指定的边缘线宽度，对边缘线宽度进行调整，并最终得到维度和内容图片一致的边缘线表示四维张量。
进一步的，所述步骤四中，将风格化后的图片的张量表达和边缘线表示张量进行融合，并基于张量结果进行图像可视化。
与现有技术相比，本发明的有益效果为：
1本发明能够利用用户加载的风格图片对用户指定的内容图片进行快速风格迁移，并附加边缘细节渲染功能，可实现对风格迁移后图片的自动美化。
2本发明的风格图片为用户根据需要加载的任意风格的图片，其风格和类型不受限制。
附图说明
图1为根据本发明实施例的图像处理方法流程图；
图2为根据本发明实施例的图片处理装置初始化界面示意图；
图3为根据本发明实施例1的图片处理装置界面示意图。
具体实施方式
下面将通过实施例和附图，对本发明进行进一步说明。
本发明提出一种图像处理装置，其为基于神经风格迁移的任意艺术风格图片自动生成装置，该发明可以利用用户加载的风格图片对用户指定的内容图片进行快速风格迁移，并附加边缘细节渲染功能，实现对风格迁移后图片的自动美化，包括：用于图片导入的图片导入模块、对图片进行缩放处理的预处理模块；用于加载和运行预训练神经网络模型的加载及运行模块；用于内容图片边缘检测模块及渲染的美化模块；以及用于将边缘美化的风格化后的图片可视化的可视化模块。
所述图片导入模块基于tensorflow，其导入图片为张量，所述预处理模块按最长边伸缩至512像素等宽高比缩放内容图片和风格图片。
所述加载及运行模块为通过从tensorflow-hub上在线加载任意风格快速迁移的预训练神经网络模型并分别将内容图片和风格图片的张量作为加载模型的第一个和第二个输入参数，输出风格化图片的四维张量表达。
所述边缘检测模块基于opencv读取内容图片，并按最长边伸缩至512像素等宽高比缩放内容图片，其调用canny边缘检测算法，自动识别内容图片边缘，得到边缘检测后图像的黑白图像，并用255减去边缘检测后图像各像素点，得到反色图像，其按照用户设定的拓宽像素参数d，将识别边缘点的上面d个像素点和下面d个像素点置零；所述美化模块对步骤二输出的风格化图片，寻找对应边缘检测后反色图像像素值为0的像素点，将RGB三个通道的对应像素值均置零，从而实现边缘的渲染。
所述可视化模块的选择图像通道为RGB以实现图片的可视化。
如图1所示，该图像处理装置的处理方法包括以下步骤：
步骤一：内容图片和风格图片的导入和预处理。示例性的，在该步骤是基于tensorflow，导入图片为张量，并按最长边伸缩至512像素等宽高比缩放内容图片和风格图片。
步骤二：预训练神经网络模型的加载以及运行。示例性的，该步骤可以从tensorflow-hub上在线加载任意风格快速迁移的预训练模型，并分别将内容图片和风格图片的张量作为加载模型的第一个和第二个输入参数，输出风格化图片的四维张量表达。
步骤三：内容图片的边缘检测。示例性的，该步骤是基于opencv读取内容图片，并按最长边伸缩至512像素等宽高比缩放内容图片。调用canny边缘检测算法，自动识别内容图片边缘，得到边缘检测后图像的黑白图像。用255减去边缘检测后图像各像素点，得到反色图像。按照用户设定的拓宽像素参数d，将识别边缘点的上面d个像素点和下面d个像素点置零。对步骤二输出的风格化图片，寻找对应边缘检测后反色图像像素值为0的像素点，将RGB三个通道的对应像素值均置零。从而实现边缘的渲染。
步骤四：经边缘细节美化的风格化后的图片的可视化。示例性的，该步骤选择图像通道为RGB，实现最终图片的可视化。
如图1所示，示例性给出该图像处理装置的初始化界面，包括选择内容图片，可将欲处理的内容图片在其对应路径中进行选择，并在图片内容预览框中呈现内容图片的预览，还包括选择风格图片，可将欲施行的风格图片在其对应路径中进行选择，并在风格图片预览框中呈现风格图片的预览，在内容预览框和风格图片预览框的下方设置有线条粗细参数设置框，可对其线条粗细进行设置，以及在线条粗细参数设置下方设置有细节保留参数设置，可对图片的细节参数进行设置，其可以设置下限值与下限值，该界面下方设置有运行指令，以对上述图片进行执行处理，处理后的内容图片被风格图片风格化后，在界面的该初始化界面还包括有结果保存路径选择，可以根据需要将处理后的图片保存至相应路径。在初始化界面还是只有风格化图片展示窗口，风格化图片为内容图片经过风格图片风格渲染处理，或继而并对其进行边缘美化后的图片。
该图像处理装置和方法可以适用于内容图片为文字图片、照片包括人物、动物、山水、植物、建筑等，风格图片为水墨画、油画、迷彩图、铅笔图或者实物图等。
实施例1
如图3所示，内容图片为文字，风格图片为图画，则经该装置处理后，其风格化图片为填充有风格图片颜色或者内容的文字，以及该内容图片的文字背景也被渲染为与风格图片色调或者风格近似的背景内容，值得注意的是，风格化图片的大小可以与原内容图片不一致，或其长款比与原内容图片不一致，风格化图片的大小或者长宽比可以根据需要进行生成，同时，内容图片中的文字可根据需要进行一定程度的变形，例如变更文字内容的长宽比或者字体等，其渲染之后与风格图片类似，但该效果不等同于填充，而是就风格图片的类型、风格、色彩对内容图片进行渲染。
实施例2
本实施例中，内容图片为建筑或交通工具等实物照片，风格图片为水墨画，则经该装置渲染处理后，风格化图片的建筑或交通工具为水墨画风格，且该建筑或交通工具所在背景也点缀有水墨画色彩。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种图像处理装置，其特征在于：其包括：用于图片导入的图片导入模块、对图片进行缩放处理的预处理模块；用于加载和运行预训练神经网络模型的加载及运行模块；用于内容图片边缘检测模块及渲染的美化模块；以及用于将边缘美化的风格化后的图片可视化的可视化模块。
2.根据权利要求1所述的图像处理装置，其特征在于：所述图片导入模块基于tensorflow，其导入图片为张量，所述预处理模块按最长边伸缩至512像素等宽高比缩放内容图片和风格图片。
3.根据权利要求2所述的图像处理装置，其特征在于：所述加载及运行模块为通过从tensorflow-hub上在线加载任意风格快速迁移的预训练神经网络模型并分别将内容图片和风格图片的张量作为加载模型的第一个和第二个输入参数，输出风格化图片的四维张量表达。
4.根据权利要求3所述的图像处理装置，其特征在于：所述边缘检测模块基于opencv读取内容图片，并按最长边伸缩至512像素等宽高比缩放内容图片，其调用canny边缘检测算法，自动识别内容图片边缘，得到边缘检测后图像的黑白图像，并用255减去边缘检测后图像各像素点，得到反色图像，其按照用户设定的拓宽像素参数d，将识别边缘点的上面d个像素点和下面d个像素点置零；所述美化模块对步骤二输出的风格化图片，寻找对应边缘检测后反色图像像素值为0的像素点，将RGB三个通道的对应像素值均置零，从而实现边缘的渲染。
5.根据权利要求3所述的图像处理装置，其特征在于：所述可视化模块的选择图像通道为RGB以实现图片的可视化。
6.一种图像处理方法，其特征在于：包括以下步骤：
步骤一：内容图片和风格图片的导入和预处理；
步骤二：预训练神经网络模型的加载以及运行；
步骤三：内容图片的边缘检测；
步骤四：经边缘细节美化的风格化后的图片的可视化。
7.根据权利要求6所述的图像处理方法，其特征在于：所述步骤一中，内容图片是指需要进行风格化处理的图片，图片中的主体经过处理后需要得到保留；风格图片是指提供艺术风格的图片，图片中的具体物体轮廓不需要保留；导入图片后，需要对内容图片和风格图片进行伸缩变化，并处理成四维张量，以满足预训练神经网络模型的输入规格要求。
8.根据权利要求7所述的图像处理方法，其特征在于：所述步骤二中，从Tensorflow-hub上加载开源的预训练的任意图像风格化模块，并输入对应内容图片和风格图片的四维张量，得到输出的风格化后的图片的四维张量表达。
9.根据权利要求8所述的图像处理方法，其特征在于：所述步骤三中，运用Canny边缘检测算法对内容图片的边缘进行检测和提取，并根据用户指定的边缘线宽度，对边缘线宽度进行调整，并最终得到维度和内容图片一致的边缘线表示四维张量。
10.根据权利要求9所述的图像处理方法，其特征在于：所述步骤四中，将风格化后的图片的张量表达和边缘线表示张量进行融合，并基于张量结果进行图像可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435173.2A CN114092321A (zh) | 2021-11-29 | 2021-11-29 | 一种图像处理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435173.2A CN114092321A (zh) | 2021-11-29 | 2021-11-29 | 一种图像处理装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092321A true CN114092321A (zh) | 2022-02-25 |
Family
ID=80305754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111435173.2A Pending CN114092321A (zh) | 2021-11-29 | 2021-11-29 | 一种图像处理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092321A (zh) |
-
2021
- 2021-11-29 CN CN202111435173.2A patent/CN114092321A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200286273A1 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
| Frans | Outline colorization through tandem adversarial networks | |
| CN110334585A (zh) | 表格识别方法、装置、计算机设备和存储介质 | |
| Žeger et al. | Grayscale image colorization methods: Overview and evaluation | |
| Semmo et al. | Image stylization by interactive oil paint filtering | |
| US20150310305A1 (en) | Learning painting styles for painterly rendering | |
| US20170251144A1 (en) | Method and System for Analog/Digital Image Simplification and Stylization | |
| CN108319894A (zh) | 基于深度学习的水果识别方法及装置 | |
| CN110097616B (zh) | 一种联合绘画方法、装置、终端设备及可读存储介质 | |
| Zhang et al. | Inkthetics: a comprehensive computational model for aesthetic evaluation of Chinese ink paintings | |
| Mould et al. | Developing and applying a benchmark for evaluating image stylization | |
| Sasaki et al. | Learning to restore deteriorated line drawing | |
| Zhang et al. | Generating manga from illustrations via mimicking manga creation workflow | |
| US9020255B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| Wu et al. | Generating pointillism paintings based on Seurat's color composition | |
| Lee et al. | Emotion-inspired painterly rendering | |
| JP2014044595A (ja) | 線画着色システム | |
| Zhu et al. | Sand painting conversion based on detail preservation | |
| Garcia‐Dorado et al. | Image stylisation: from predefined to personalised | |
| Shakeri et al. | Saliency-based artistic abstraction with deep learning and regression trees | |
| Gao et al. | PencilArt: a chromatic penciling style generation framework | |
| CN114092321A (zh) | 一种图像处理装置及方法 | |
| CN112927321B (zh) | 基于神经网络的图像智能设计方法、装置、设备及存储介质 | |
| Jolly et al. | Bringing monochrome to life: A GAN-based approach to colorizing black and white images | |
| US20220157030A1 (en) | High Quality AR Cosmetics Simulation via Image Filtering Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |