CN116128717B - 一种基于神经网络的图像风格迁移方法 - Google Patents

一种基于神经网络的图像风格迁移方法 Download PDF

Info

Publication number
CN116128717B
CN116128717B CN202310404577.8A CN202310404577A CN116128717B CN 116128717 B CN116128717 B CN 116128717B CN 202310404577 A CN202310404577 A CN 202310404577A CN 116128717 B CN116128717 B CN 116128717B
Authority
CN
China
Prior art keywords
image
migrated
neural network
migration
style migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310404577.8A
Other languages
English (en)
Other versions
CN116128717A (zh
Inventor
魏强
漆光聪
易明权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Guanxiang Science And Technology Co ltd
Original Assignee
Sichuan Guanxiang Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Guanxiang Science And Technology Co ltd filed Critical Sichuan Guanxiang Science And Technology Co ltd
Priority to CN202310404577.8A priority Critical patent/CN116128717B/zh
Publication of CN116128717A publication Critical patent/CN116128717A/zh
Application granted granted Critical
Publication of CN116128717B publication Critical patent/CN116128717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于神经网络的图像风格迁移方法，包括以下步骤：S1：获取待迁移图像，并对待迁移图像进行预处理，得到最新迁移图像；S2：提取最新迁移图像的轮廓；S3：构建图像处理神经网络，将最新迁移图像的轮廓输入至图像处理神经网络，完成图像风格迁移。本发明对待迁移图像进行预处理，在预处理完成之后再使用神经网络进行图片的风格迁移。本发明采用了图像处理和神经网络的算法，避免了直接进行风格迁移原始图片中的关键信息过于突兀或者是被风格化掉的问题，大大提高了计算出的图像与目标风格图片的相似度。同时还可以缩减神经网络风格化完成所需的轮次，因此减少了整个计算的运行时间，提高了图像分析效率。

Description

一种基于神经网络的图像风格迁移方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于神经网络的图像风格迁移方法。
背景技术
风格迁移实现来自一个图像的风格信息被迁移到另一图像，以基于风格图像的风格属性来转换内容图像。例如，来自绘画的图像的画笔笔划和颜色信息可以被迁移到照片，以使用来自绘画的画笔笔划和颜色信息来生成包括照片的原始内容的该照片的风格化版本。近年来，由神经网络所引领的人工智能技术浪潮，开始越来越广泛地应用到社会各个领域，尤其是在在计算机视觉领域，图像风格迁移作为一种新技术领域，迅速成为人工智能研究领域的热门话题之一。图像风格迁移可用于基于不同风格与纹理特征的新图片的合成，在艺术设计领域具有广阔的市场。然而，现有技术中，在提取图片内容的同时，难以实现图像风格的切换，导致合成图片质量不高。
发明内容
本发明为了解决上述问题，提出了一种基于神经网络的图像风格迁移方法。
本发明的技术方案是：一种基于神经网络的图像风格迁移方法，包括以下步骤：
S1：获取待迁移图像，并对待迁移图像进行预处理，得到最新迁移图像；
S2：提取最新迁移图像的轮廓；
S3：构建图像处理神经网络，将最新迁移图像的轮廓输入至图像处理神经网络，完成图像风格迁移。
进一步地，所述步骤S1包括以下子步骤：
S11：获取待迁移图像，对待迁移图像进行二值化处理，得到二值化图像；
S12：对待迁移图像进行分块，获取待迁移图像中各个区块的亮度值；
S13：根据二值化图像设定目标亮度阈值，将待迁移图像中小于目标亮度阈值的区块剔除，得到最新迁移图像。
进一步地，所述步骤S11中，对待迁移图像进行二值化处理的具体方法为：设置灰度阈值，将待迁移图像中灰度值小于灰度阈值的像素点的灰度值赋为1，将待迁移图像中灰度值大于或等于灰度阈值的像素点的灰度值赋为0，得到二值化图像。
进一步地，所述步骤S12中，获取待迁移图像中各个区块的亮度值的具体方法为：在各个区块中，将待迁移图像分解为红色通道、绿色通道和蓝色通道，计算三个颜色通道中各个像素点值的相对标准偏差，将各个像素点值的相对标准偏差的平均值作为各个区块的亮度值。
进一步地，所述步骤S13中，目标亮度阈值P的计算公式为：
Figure SMS_1
式中，K表示超调因子，G σ(•)表示标准差为σ的高斯函数，p max表示二值化图像的亮度最大值，p min表示二值化图像的亮度最小值。
进一步地，所述步骤S2中，提取最新迁移图像的轮廓的具体方法为：设定轮廓提取区间，计算最新迁移图像中各个像素点的边界值，将属于轮廓提取区间的边界值对应的像素点区域作为最新迁移图像的轮廓。
进一步地，所述步骤S2中，各个像素点的边界值
Figure SMS_2
的计算公式为：
Figure SMS_3
式中，μ表示像素点的标准差，m表示像素点的灰度，m′表示各个像素点的灰度的均值，e为指数函数。
进一步地，所述步骤S3中，图像处理神经网络包括依次连接的图像输入层、双隐层、风格迁移层和输出层；
所述图像输入层用于将最新迁移图像的轮廓输入至图像处理神经网络；
所述双隐层用于对图像处理神经网络进行激活处理；
所述风格迁移层用于进行风格迁移；
所述输出层用于输出图像风格迁移结果。
进一步地，所述双隐层进行激活处理的激活函数F的表达式为：
Figure SMS_4
式中，α n表示双隐层中第n个神经元的权重，y n表示双隐层中第n个神经元的学习速率，N为神经元总数。
本发明的有益效果是：本发明对待迁移图像进行预处理，在预处理完成之后再使用神经网络进行图片的风格迁移。本发明采用了图像处理和神经网络的算法，避免了直接进行风格迁移原始图片中的关键信息过于突兀或者是被风格化掉的问题，大大提高了计算出的图像与目标风格图片的相似度。同时还可以缩减神经网络风格化完成所需的轮次，因此减少了整个计算的运行时间，提高了图像分析效率。
附图说明
图1为基于神经网络的图像风格迁移方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于神经网络的图像风格迁移方法，包括以下步骤：
S1：获取待迁移图像，并对待迁移图像进行预处理，得到最新迁移图像；
S2：提取最新迁移图像的轮廓；
S3：构建图像处理神经网络，将最新迁移图像的轮廓输入至图像处理神经网络，完成图像风格迁移。
在本发明实施例中，步骤S1包括以下子步骤：
S11：获取待迁移图像，对待迁移图像进行二值化处理，得到二值化图像；
S12：对待迁移图像进行分块，获取待迁移图像中各个区块的亮度值；
S13：根据二值化图像设定目标亮度阈值，将待迁移图像中小于目标亮度阈值的区块剔除，得到最新迁移图像。
在本发明实施例中，步骤S11中，对待迁移图像进行二值化处理的具体方法为：设置灰度阈值，将待迁移图像中灰度值小于灰度阈值的像素点的灰度值赋为1，将待迁移图像中灰度值大于或等于灰度阈值的像素点的灰度值赋为0，得到二值化图像。
在本发明实施例中，步骤S12中，获取待迁移图像中各个区块的亮度值的具体方法为：在各个区块中，将待迁移图像分解为红色通道、绿色通道和蓝色通道，计算三个颜色通道中各个像素点值的相对标准偏差，将各个像素点值的相对标准偏差的平均值作为各个区块的亮度值。
在本发明实施例中，步骤S13中，目标亮度阈值P的计算公式为：
Figure SMS_5
式中，K表示超调因子，G σ(•)表示标准差为σ的高斯函数，p max表示二值化图像的亮度最大值，p min表示二值化图像的亮度最小值。
在本发明实施例中，步骤S2中，提取最新迁移图像的轮廓的具体方法为：设定轮廓提取区间，计算最新迁移图像中各个像素点的边界值，将属于轮廓提取区间的边界值对应的像素点区域作为最新迁移图像的轮廓。
在本发明实施例中，步骤S2中，各个像素点的边界值
Figure SMS_6
的计算公式为：
Figure SMS_7
式中，μ表示像素点的标准差，m表示像素点的灰度，m′表示各个像素点的灰度的均值，e为指数函数。
在本发明实施例中，步骤S3中，图像处理神经网络包括依次连接的图像输入层、双隐层、风格迁移层和输出层；
图像输入层用于将最新迁移图像的轮廓输入至图像处理神经网络；
双隐层用于对图像处理神经网络进行激活处理；
风格迁移层用于进行风格迁移；
输出层用于输出图像风格迁移结果。
在本发明实施例中，双隐层进行激活处理的激活函数F的表达式为：
Figure SMS_8
式中，α n表示双隐层中第n个神经元的权重，y n表示双隐层中第n个神经元的学习速率，N为神经元总数。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于神经网络的图像风格迁移方法，其特征在于，包括以下步骤：
S1：获取待迁移图像，并对待迁移图像进行预处理，得到最新迁移图像；
S2：提取最新迁移图像的轮廓；
S3：构建图像处理神经网络，将最新迁移图像的轮廓输入至图像处理神经网络，完成图像风格迁移；
所述步骤S1包括以下子步骤：
S11：获取待迁移图像，对待迁移图像进行二值化处理，得到二值化图像；
S12：对待迁移图像进行分块，获取待迁移图像中各个区块的亮度值；
S13：根据二值化图像设定目标亮度阈值，将待迁移图像中小于目标亮度阈值的区块剔除，得到最新迁移图像；
所述步骤S13中，目标亮度阈值P的计算公式为：
Figure QLYQS_1
式中，K表示超调因子，G σ(•)表示标准差为σ的高斯函数，p max表示二值化图像的亮度最大值，p min表示二值化图像的亮度最小值。
2.根据权利要求1所述的基于神经网络的图像风格迁移方法，其特征在于，所述步骤S11中，对待迁移图像进行二值化处理的具体方法为：设置灰度阈值，将待迁移图像中灰度值小于灰度阈值的像素点的灰度值赋为1，将待迁移图像中灰度值大于或等于灰度阈值的像素点的灰度值赋为0，得到二值化图像。
3.根据权利要求1所述的基于神经网络的图像风格迁移方法，其特征在于，所述步骤S12中，获取待迁移图像中各个区块的亮度值的具体方法为：在各个区块中，将待迁移图像分解为红色通道、绿色通道和蓝色通道，计算三个颜色通道中各个像素点值的相对标准偏差，将各个像素点值的相对标准偏差的平均值作为各个区块的亮度值。
4.根据权利要求1所述的基于神经网络的图像风格迁移方法，其特征在于，所述步骤S2中，提取最新迁移图像的轮廓的具体方法为：设定轮廓提取区间，计算最新迁移图像中各个像素点的边界值，将属于轮廓提取区间的边界值对应的像素点区域作为最新迁移图像的轮廓。
5.根据权利要求4所述的基于神经网络的图像风格迁移方法，其特征在于，所述步骤S2中，各个像素点的边界值
Figure QLYQS_2
的计算公式为：
Figure QLYQS_3
式中，μ表示像素点的标准差，m表示像素点的灰度，m′表示各个像素点的灰度的均值，e为指数函数。
6.根据权利要求1所述的基于神经网络的图像风格迁移方法，其特征在于，所述步骤S3中，图像处理神经网络包括依次连接的图像输入层、双隐层、风格迁移层和输出层；
所述图像输入层用于将最新迁移图像的轮廓输入至图像处理神经网络；
所述双隐层用于对图像处理神经网络进行激活处理；
所述风格迁移层用于进行风格迁移；
所述输出层用于输出图像风格迁移结果。
7.根据权利要求6所述的基于神经网络的图像风格迁移方法，其特征在于，所述双隐层进行激活处理的激活函数F的表达式为：
Figure QLYQS_4
式中，α n表示双隐层中第n个神经元的权重，y n表示双隐层中第n个神经元的学习速率，N为神经元总数。
CN202310404577.8A 2023-04-17 2023-04-17 一种基于神经网络的图像风格迁移方法 Active CN116128717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310404577.8A CN116128717B (zh) 2023-04-17 2023-04-17 一种基于神经网络的图像风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310404577.8A CN116128717B (zh) 2023-04-17 2023-04-17 一种基于神经网络的图像风格迁移方法

Publications (2)

Publication Number Publication Date
CN116128717A CN116128717A (zh) 2023-05-16
CN116128717B true CN116128717B (zh) 2023-06-23

Family

ID=86308510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310404577.8A Active CN116128717B (zh) 2023-04-17 2023-04-17 一种基于神经网络的图像风格迁移方法

Country Status (1)

Country Link
CN (1) CN116128717B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163508A (zh) * 2020-09-25 2021-01-01 中国电子科技集团公司第十五研究所 一种基于真实场景的文字识别方法、系统及ocr终端
CN112613392A (zh) * 2020-12-18 2021-04-06 北京新能源汽车技术创新中心有限公司 基于语义分割的车道线检测方法、装置、系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069825B (zh) * 2015-08-14 2018-06-12 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN108205813B (zh) * 2016-12-16 2022-06-03 微软技术许可有限责任公司 基于学习网络的图像风格化
US20190213705A1 (en) * 2017-12-08 2019-07-11 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
CN108460757B (zh) * 2018-02-11 2020-04-14 深圳市鑫信腾科技有限公司 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN108305232B (zh) * 2018-03-01 2019-07-12 电子科技大学 一种单帧高动态范围图像生成方法
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
JP7469738B2 (ja) * 2020-03-30 2024-04-17 ブラザー工業株式会社 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法
CN111667400B (zh) * 2020-05-30 2021-03-30 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法
CN113609984A (zh) * 2021-08-05 2021-11-05 国网山东省电力公司德州市陵城区供电公司 一种指针式仪表读数识别方法、装置及电子设备
CN114445268A (zh) * 2022-01-29 2022-05-06 大连工业大学 一种基于深度学习的服装风格迁移方法及系统
CN114943869B (zh) * 2022-03-30 2023-06-30 中国民用航空飞行学院 风格迁移增强的机场目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163508A (zh) * 2020-09-25 2021-01-01 中国电子科技集团公司第十五研究所 一种基于真实场景的文字识别方法、系统及ocr终端
CN112613392A (zh) * 2020-12-18 2021-04-06 北京新能源汽车技术创新中心有限公司 基于语义分割的车道线检测方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN116128717A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
Li et al. Example-based image colorization using locality consistent sparse representation
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN110163884B (zh) 一种基于全连接深度学习神经网络的单个图像分割方法
CN110309806B (zh) 一种基于视频图像处理的手势识别系统及其方法
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN112465842B (zh) 基于U-net网络的多通道视网膜血管图像分割方法
CN110992374A (zh) 一种基于深度学习的头发精细化分割方法及系统
CN108710883A (zh) 一种采用轮廓检测的完整显著性物体检测方法
CN111429416B (zh) 一种人脸色素斑识别方法、装置及电子设备
CN116128717B (zh) 一种基于神经网络的图像风格迁移方法
CN112598013A (zh) 基于神经网络的计算机视觉处理方法
CN108898045B (zh) 基于深度学习的手势识别的多标签图像预处理方法
CN110766614B (zh) 一种无线扫描笔的图像预处理方法和系统
CN106780637B (zh) 一种基于脉冲神经膜系统的快速并行图像细化方法
CN114419341B (zh) 一种基于迁移学习改进的卷积神经网络图像识别方法
CN109376746A (zh) 一种图片识别方法及系统
CN111754459B (zh) 基于统计深度特征的染色伪造图像检测方法及电子装置
Liu et al. Palette-based recoloring of natural images under different illumination
CN113223098A (zh) 图像颜色分类的预处理优化方法
CN112381810A (zh) 一种肺炎图像识别方法、装置及计算设备
CN112270220B (zh) 一种基于深度学习的缝纫手势识别方法
Parihar et al. UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks
CN113379634B (zh) 一种基于两阶段图像上下文识别网络及单图像阴影去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant