CN107886550A - 图像编辑传播方法和系统 - Google Patents
图像编辑传播方法和系统 Download PDFInfo
- Publication number
- CN107886550A CN107886550A CN201711085845.5A CN201711085845A CN107886550A CN 107886550 A CN107886550 A CN 107886550A CN 201711085845 A CN201711085845 A CN 201711085845A CN 107886550 A CN107886550 A CN 107886550A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- point
- pixel
- zone list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明提供了一种图像编辑传播方法和系统，该方法包括：运用区域生长法分离出需要编辑传播的前景图像，通过在YUV空间进行彩色线条标记以确定待传播的颜色，并保持背景颜色不变。然后根据图论理论重构图像数据的局部特征，计算目标区域内所有像素点与最佳标记点的关联程度，关联程度用影响因子表示。然后将影响因子映射到U与V通道，实现颜色传播。本发明对标记颜色及标记位置都具有较好的鲁棒性，并且在使用少量标记线条的情况下，能够实现良好的编辑传播效果。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，具体地，涉及图像编辑传播方法和系统，尤其是基于区域生长法和图论理论的图像编辑传播方法。
背景技术
随着计算机图形学及机器视觉的快速发展，现代社会对于先进图像编辑算法的需求 也越来越大。当前，图像编辑传播技术是计算机图像处理及视频处理的研究热点之一。其理论基础涉及计算机视觉、计算机图形学、模式识别、图像分割、机器学习等诸多学 科，受到众多学者关注。图像编辑传播方法是一项源自实践、面向应用的技术，作为一 种计算机辅助技术已被广泛应用于各个领域，如影视娱乐，医学影像、遥感图像、图像 通信等。
图像编辑传播方法在初期主要运用于图像彩色化。图像彩色化技术是用来给黑白图 像及视频上色，一般认为是由Markle于1970年发明，最初用于处理阿波罗登月计划得到的月球图像。发展至今，已经衍生到对彩色图像进行二次染色的阶段。随着计算机图 形学的发展，彩色化处理技术主要形成了两类：一类是基于局部颜色扩散的方法，另一 类是基于颜色转移的方法。第一类是事先在图像上做彩色标记，然后将标记颜色编辑传 播到需要染色的目标区域。第二类是在选定参考图像的前提下，将全局颜色转移到目标 图像上。图像彩色化技术的一大进步来源于Welsh等人的研究，Welsh等人改进了 Reinhard的颜色转移算法，即在选定参考图像的前提下，将参考图像的全局颜色转移到 目标图像上，从而实现了半自动化的彩色化技术。Chang等人对图像和视频进行全局颜 色分类，执行颜色转移算法。Xiao和Ma等人提出了一种梯度保持的优化算法，用来 解决全局颜色的转移问题以及局部颜色的保真度问题。Sheng等人利用Gabor小波滤 波器来构建各个像素的特征向量，基于非局部思想，达到对不相邻纹理像素进行着色的 目的。
目前比较流行的图像编辑传播技术是基于局部颜色扩散的方法，该方法主要采用人 工标记线条的形式，半自动的完成颜色扩散的需求。该方法最早由Levin提出，将图像彩色化处理过程看成一个求解全局优化的过程，并提出了邻近像素点亮度值接近，色度 值也相近的假设。但是，该方法对人工标记的线条很敏感，如果标记线条位置不佳或标 记线条数量太少，都会导致染色效果不佳。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种图像编辑传播方法和系统。
根据本发明提供的图像编辑传播方法，包括：
将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑传播图像的Y、 U、V通道分量；
在YUV空间下的待编辑传播图像上标记至少一条标记线，所述标记线的颜色作为待传递的颜色；
采用区域生长法将待编辑传播图像分为前景图像和背景图像；
根据图论理论构建前景图像中待染色像素点与从所述标记线上选取的标记点之间的 相似关系图，重构所述标记点与待染色像素点之间的关联程度；
根据所述标记点与待染色像素点之间的关联程度，获取在YUV空间下前景图像的Y通道权值，并映射到U通道和V通道，得到所述前景图像的Y通道、U通道、V通道 的权值；
将所述前景图像的Y通道、U通道、V通道的权值转换为所述前景图像的RGB值， 得到RGB空间下的前景图像。
可选地，所述采用区域生长法将待编辑传播图像分为前景图像和背景图像，包括：
步骤S1：扫描待编辑传播图像，确定区域列表，设置所述区域列表对应区域的初始灰度均值为初始种子点的Y通道分量；
步骤S2：获取所述初始种子点八邻域的亮度值与所述区域列表对应区域的灰度均值 间的差值σ，确定所述差值σ小于预设的亮度阈值时，则将对应邻域坐标添加至待编辑传播的区域列表中，得到更新后的区域列表。
步骤S3：获取所述更新后的区域列表对应区域的灰度均值；
步骤S4：从所述区域列表中选取任一未作为种子点的像素点作为种子点，获取所述 种子点的八邻域的亮度值与新的区域列表对应区域的灰度均值间的差值，若所述差值小 于预设的亮度阈值时，则将该种子点八邻域的像素点坐标添加至对应区域的区域列表中， 得到更新后的区域列表，返回执行步骤S3；若所述差值大于等于预设的亮度阈值时，则执行步骤S5；
步骤S5：判断是否遍历所述区域列表中所有像素点；若否则执行步骤S4，若是， 则执行步骤S6；
步骤S6：输出最终的区域列表，根据所述最终的区域列表分离出待编辑传播图像的 前景图像和背景图像。
可选地，所述将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑传 播图像的Y、U、V通道分量，包括：
假设所述待编辑传播图像在RGB空间下红色R、绿色G、蓝色B三色的取值范围 为：0-255，从RGB空间转换为YUV空间的转换公式如下：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615-0.515G-0.100B；
式中：Y表示亮度信号、U和V分别表示两个色度信号。
可选地，所述初始种子点为根据最大相似性原则从所述标记线上选取的最佳标记点；
假设标记线条上所有像素点都属于同一集合Q，对集合Q中任意像素点ti，都有 ti∈Q，则像素点ti与集合Q的相似度函数为：
f(ti,Q)＝w1×simh(ti)+w2×sims(ti)
其中：
式中：ui表示像素点ti的色度值，表示集合Q中所有像素点的色度均值；vi表示像素点ti的饱和度值，表示集合Q中所有像素点的饱和度均值；w1和w2是预 先设定好的系数，且w1远大于w2；k表示集合Q中像素点的总个数。
可选地，所述根据图论理论构建前景图像中待染色像素点与从所述标记线上选取的 标记点之间的相似关系图，包括：
在前景图像中待染色像素点与从所述标记线上选取的标记点之间的相似关系图中， 用节点表示图像像素，节点之间的权值表示两像素点之间的关联程度；在所述相似关系 图中标注任意节点i和节点j之间的关联程度。
可选地，所述重构所述标记点与待染色像素点之间的关联程度，包括：
根据图论理论确定优化目标函数，根据所述优化目标函数获得最佳染色点在Y通道 的关联程度，其中，优化目标函数如下：
式中：yi表示最佳染色点的亮度分量，yj表示待染色点的亮度分量，Wij表示待染色点与最佳标记点的Y通道的关联度。
根据本发明提供的图像编辑传播系统，包括：
第一转换模块，用于将待编辑传播图像从RGB空间转换为YUV空间，得到所述待 编辑传播图像的Y、U、V通道分量；
标记模块，用于在YUV空间下的待编辑传播图像上标记至少一条标记线，所述标记线的颜色作为待传递的颜色；
分离模块，用于采用区域生长法将待编辑传播图像分为前景图像和背景图像；
关联度构建模块，用于根据图论理论构建前景图像中待染色像素点与从所述标记线 上选取的标记点之间的相似关系图，重构所述标记点与待染色像素点之间的关联程度；
映射模块，用于根据所述标记点与待染色像素点之间的关联程度，获取在YUV空间下前景图像的Y通道权值，并映射到U通道和V通道，得到所述前景图像的Y通道、 U通道、V通道的权值；
第二转换模块，用于将所述前景图像的Y通道、U通道、V通道的权值转换为所述 前景图像的RGB值，得到RGB空间下的前景图像。
可选地，所述分离模块，具体用于：
步骤S1：扫描待编辑传播图像，确定区域列表，设置所述区域列表对应区域的初始灰度均值为初始种子点的Y通道分量；
步骤S2：获取所述初始种子点八邻域的亮度值与所述区域列表对应区域的灰度均值 间的差值σ，确定所述差值σ小于预设的亮度阈值时，则将对应邻域坐标添加至待编辑传播的区域列表中，得到更新后的区域列表。
步骤S3：获取所述更新后的区域列表对应区域的灰度均值；
步骤S4：从所述区域列表中选取任一未作为种子点的像素点作为种子点，获取所述 种子点的八邻域的亮度值与新的区域列表对应区域的灰度均值间的差值，若所述差值小 于预设的亮度阈值时，则将该种子点八邻域的像素点坐标添加至对应区域的区域列表中， 得到更新后的区域列表，返回执行步骤S3；若所述差值大于等于预设的亮度阈值时，则执行步骤S5；
步骤S5：判断是否遍历所述区域列表中所有像素点；若否则执行步骤S4，若是， 则执行步骤S6；
步骤S6：输出最终的区域列表，根据所述最终的区域列表分离出待编辑传播图像的 前景图像和背景图像；其中，所述待编辑传播图像的像素点坐标出现在所述最终的区域列表中的部分为前景图像。
可选地，所述第一转换模块，具体用于：
假设所述待编辑传播图像在RGB空间下红色R、绿色G、蓝色B三色的取值范围 为：0-255，从RGB空间转换为YUV空间的转换公式如下：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615-0.515G-0.100B；
式中：Y表示亮度信号、U和V分别表示两个色度信号。
可选地，所述初始种子点为根据最大相似性原则从所述标记线上选取的最佳标记点；
假设标记线条上所有像素点都属于同一集合Q，对集合Q中任意像素点ti，都有 ti∈Q，则像素点ti与集合Q的相似度函数为：
f(ti,Q)＝w1×simh(ti)+w2×sims(ti)
其中：
式中：ui表示像素点ti的色度值，表示集合Q中所有像素点的色度均值；vi表 示像素点ti的饱和度值，表示集合Q中所有像素点的饱和度均值；w1和w2是预先 设定好的系数，且w1远大于w2；k表示集合Q中像素点的总个数。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的图像编辑传播方法，通过将待编辑传播图像从RGB空间转换为YUV空间，采用区域生长法将待编辑传播图像分为前景图像和背景图像；根据图论理论构建 前景图像中待染色像素点与从所述标记线上选取的最佳标记点之间的相似关系图，重构 所述标记点与待染色像素点之间的关联程度；根据所述标记点与待染色像素点之间的关 联程度，获取在YUV空间下前景图像的Y通道权值，并映射到U通道和V通道，得 到所述前景图像的Y通道、U通道、V通道的权值；将所述前景图像的Y通道、U通 道、V通道的权值转换为所述前景图像的RGB值，得到RGB空间下的前景图像。从而 对标记颜色及标记位置都具有较好的鲁棒性，并且在使用少量标记线条的情况下，能够 实现良好的编辑传播效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的图像编辑传播方法的流程示意图；
图2为根据图论理论构建的相似关系图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。
图1为本发明提供的图像编辑传播方法的流程示意图，如图1所示，本发明中 的方法可以包括：将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑 传播图像的Y、U、V通道分量；在YUV空间下的待编辑传播图像上标记至少一条标 记线，所述标记线的颜色作为待传递的颜色；采用区域生长法将待编辑传播图像分为前 景图像和背景图像；根据图论理论构建前景图像中待染色像素点与从所述标记线上选取 的标记点之间的相似关系图，重构所述标记点与待染色像素点之间的关联程度；根据所 述标记点与待染色像素点之间的关联程度，获取在YUV空间下前景图像的Y通道权值， 并映射到U通道和V通道，得到所述前景图像的Y通道、U通道、V通道的权值；将 所述前景图像的Y通道、U通道、V通道的权值转换为所述前景图像的RGB值，得到 RGB空间下的前景图像。
本实施中，将待编辑传播图像从RGB空间转换到YUV空间。在RGB颜色空间中， 任意色光f都可以用R、G、B三色按照不同分量相加混合产生，这种色彩表示方法称 为RGB色彩空间。RGB颜色空间最大的优点就是直观，但由于这三个分量高度相关， 在图像处理邻域中，一般不采用这种模式。而在YUV空间中，亮度信号Y和色度信号 U、V是分离的，这样不仅避免了三个通道之间相互干扰，而且还降低了色度的采样率 对图像质量的影响。
其中，所述采用区域生长法将待编辑传播图像分为前景图像和背景图像，包括如下 步骤：
步骤S1：扫描待编辑传播图像，确定区域列表，设置所述区域列表对应区域的初始灰度均值为初始种子点的Y通道分量；
步骤S2：获取所述初始种子点八邻域的亮度值与所述区域列表对应区域的灰度均值 间的差值σ，确定所述差值σ小于预设的亮度阈值时，则将对应邻域坐标添加至待编辑传播的区域列表中，得到更新后的区域列表。
步骤S3：获取所述更新后的区域列表对应区域的灰度均值；
步骤S4：从所述区域列表中选取任一未作为种子点的像素点作为种子点，获取所述 种子点的八邻域的亮度值与新的区域列表对应区域的灰度均值间的差值，若所述差值小 于预设的亮度阈值时，则将该种子点八邻域的像素点坐标添加至对应区域的区域列表中， 得到更新后的区域列表，返回执行步骤S3；若所述差值大于等于预设的亮度阈值时，则执行步骤S5；
具体的，分别计算种子点八邻域亮度值与区域灰度均值之间的差值σ：其中，Y(xn,yn)表示种子点八邻域的亮度值，表示的是种子 点所在区域所有像素点在Y通道的均值，根据公式计算，sum表示种子点 所在区域内所有像素点的Y分量之和，n表示种子点所在区域内所有像素点的个数。若 σ小于最大亮度阈值T，则判定该邻域点与种子点属于同一区域，将其坐标加入种子点 所在列表。同时，更新更新区域均值及区域列表V。根据多次实验经验，最大亮度阈 值T设为64。
步骤S5：判断是否遍历所述区域列表中所有像素点；若否则执行步骤S4，若是， 则执行步骤S6；
步骤S6：输出最终的区域列表，根据所述最终的区域列表分离出待编辑传播图像的 前景图像和背景图像；其中，所述待编辑传播图像的像素点坐标出现在所述最终的区域列表中的部分为前景图像。
本实施例中，通过计算种子点八邻域与区域灰度均值之间的差值σ。若σ小于最大亮度阈值T(T＝64)，则更新区域列表V。然后更新种子点坐标。使用区域列表中下 一轮像素坐标作为种子点的新坐标。同时，使用更新后的区域灰度均值循环遍历区 域列表，直到目标区域检测结束。
采用本实施例中的方法，可以分离出图像前景与背景，前景作为后续步骤中待编辑 传播部分，背景颜色保持不变。
具体的，假设所述待编辑传播图像在RGB空间下红色R、绿色G、蓝色B三色的 取值范围为：0-255，从RGB空间转换为YUV空间的转换公式如下：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615-0.515G-0.100B；
式中：Y表示亮度信号、U和V分别表示两个色度信号。
进一步地，所述初始种子点为根据最大相似性原则从所述标记线上选取的最佳标记 点；
假设标记线条上所有像素点都属于同一集合Q，对集合Q中任意像素点ti，都有 ti∈Q，则像素点ti与集合Q的相似度函数为：
f(ti,Q)＝w1×simh(ti)+w2×sims(ti)
其中：
式中：ui表示像素点ti的色度值，表示集合Q中所有像素点的色度均值；vi表示像素点ti的饱和度值，表示集合Q中所有像素点的饱和度均值；w1和w2是预 先设定好的系数，且w1远大于w2；k表示集合Q中像素点的总个数。
本实施例中，根据最大相似性原则选出最佳种子点，作为区域生长的初始种子点，避免了因初始种子点选取过多造成的时间消耗。同时，本发明采用了自适应区域灰度均 值作为区域生长的判断准则，使区域生长法的判断结果更为准确。
如图2所示，在前景图像中待染色像素点与从所述标记线上选取的标记点之间的相 似关系图中，用节点表示图像像素，节点之间的权值表示两像素点之间的关联程度；在所述相似关系图中标注任意节点i和节点j之间的关联程度。例如，在图2中，节点与 节点之间有线段相连，则表示两节点之间存在关联性。节点i和节点j之间的关联程度 用权值Wij表示，Wij越大，关联性越大。如图2中，节点A与节点B的关联程度为 0.2，而节点A与节点C不关联。
本实施例中，用了图论理论重构像素之间的结构特征，使得种子点与邻域之间的结 构关系在图像编辑传播过程中得到较好的保持。
具体的，根据图论理论确定优化目标函数，根据所述优化目标函数获得最佳染色点 在Y通道的关联程度，其中，优化目标函数如下：
式中：yi表示最佳染色点的亮度分量，yj表示待染色点的亮度分量，Wij表示待染色点与最佳标记点的Y通道的关联度。
表1本文方法与传统区域生长法分离出前景的运行时间对比
| 图片 | 传统方法时间(s) | 本文方法时间(s) |
| leaf | 1.68 | 0.72 |
| dog | 2.16 | 1.16 |
| flower | 3.27 | 1.42 |
从表1的运行时间对比表可以得出，本文方法与传统的区域生长法相比，在图像前景提取部分大大缩短了运行时间，降低了整个程序的时间成本。
为了定量衡量本发明的实验效果，本文采用峰值信噪比(PSNR)及染色错误率作为评价图像染色标准，衡量处理过的图像品质。PSNR计算公式如下：
其中，I(i,j)是原图像，I’(i,j)是彩色化结果图像。M和N是原图像的尺寸。 实验证明，本发明在标记颜色及标记位置等方面，均有良好的鲁棒性。并且，在使用少 量标记线条的情况下，也能够达到比较好的编辑传播效果。
需要说明的是，本发明提供的所述图像编辑传播方法中的步骤，可以利用所述图像 编辑传播系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所 述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实 现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及 其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其 各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将 用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结 构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改， 这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。
Claims (10)
1.一种图像编辑传播方法，其特征在于，包括：
将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑传播图像的Y、U、V通道分量；
在YUV空间下的待编辑传播图像上标记至少一条标记线，所述标记线的颜色作为待传递的颜色；
采用区域生长法将待编辑传播图像分为前景图像和背景图像；
根据图论理论构建前景图像中待染色像素点与从所述标记线上选取的标记点之间的相似关系图，重构所述标记点与待染色像素点之间的关联程度；
根据所述标记点与待染色像素点之间的关联程度，获取在YUV空间下前景图像的Y通道权值，并映射到U通道和V通道，得到所述前景图像的Y通道、U通道、V通道的权值；
将所述前景图像的Y通道、U通道、V通道的权值转换为所述前景图像的RGB值，得到RGB空间下的前景图像。
2.根据权利要求1所述的图像编辑传播方法，其特征在于，所述采用区域生长法将待编辑传播图像分为前景图像和背景图像，包括：
步骤S1：扫描待编辑传播图像，确定区域列表，设置所述区域列表对应区域的初始灰度均值为初始种子点的Y通道分量；
步骤S2：获取所述初始种子点八邻域的亮度值与所述区域列表对应区域的灰度均值间的差值σ，确定所述差值σ小于预设的亮度阈值时，则将对应邻域坐标添加至待编辑传播的区域列表中，得到更新后的区域列表。
步骤S3：获取所述更新后的区域列表对应区域的灰度均值；
步骤S4：从所述区域列表中选取任一未作为种子点的像素点作为种子点，获取所述种子点的八邻域的亮度值与新的区域列表对应区域的灰度均值间的差值，若所述差值小于预设的亮度阈值时，则将该种子点八邻域的像素点坐标添加至对应区域的区域列表中，得到更新后的区域列表，返回执行步骤S3；若所述差值大于等于预设的亮度阈值时，则执行步骤S5；
步骤S5：判断是否遍历所述区域列表中所有像素点；若否则执行步骤S4，若是，则执行步骤S6；
步骤S6：输出最终的区域列表，根据所述最终的区域列表分离出待编辑传播图像的前景图像和背景图像。
3.根据权利要求1所述的图像编辑传播方法，其特征在于，所述将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑传播图像的Y、U、V通道分量，包括：
假设所述待编辑传播图像在RGB空间下红色R、绿色G、蓝色B三色的取值范围为：0-255，从RGB空间转换为YUV空间的转换公式如下：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615-0.515G-0.100B；
式中：Y表示亮度信号、U和V分别表示两个色度信号。
4.根据权利要求2所述的图像编辑传播方法，其特征在于，所述初始种子点为根据最大相似性原则从所述标记线上选取的最佳标记点；
假设标记线条上所有像素点都属于同一集合Q，对集合Q中任意像素点ti，都有ti∈Q，则像素点ti与集合Q的相似度函数为：
f(ti,Q)＝w1×simh(ti)+w2×sims(ti)
其中：
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mfrac>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>u</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
<mo>;</mo>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
</mrow>
式中：ui表示像素点ti的色度值，表示集合Q中所有像素点的色度均值；vi表示像素点ti的饱和度值，表示集合Q中所有像素点的饱和度均值；w1和w2是预先设定好的系数，且w1远大于w2；k表示集合Q中像素点的总个数。
5.根据权利要求1所述的图像编辑传播方法，其特征在于，所述根据图论理论构建前景图像中待染色像素点与从所述标记线上选取的标记点之间的相似关系图，包括：
在前景图像中待染色像素点与从所述标记线上选取的标记点之间的相似关系图中，用节点表示图像像素，节点之间的权值表示两像素点之间的关联程度；在所述相似关系图中标注任意节点i和节点j之间的关联程度。
6.根据权利要求1所述的图像编辑传播方法，其特征在于，所述重构所述标记点与待染色像素点之间的关联程度，包括：
根据图论理论确定优化目标函数，根据所述优化目标函数获得最佳染色点在Y通道的关联程度，其中，优化目标函数如下：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<msub>
<mi>W</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
式中：yi表示最佳染色点的亮度分量，yj表示待染色点的亮度分量，Wij表示待染色点与最佳标记点的Y通道的关联度。
7.一种图像编辑传播系统，其特征在于，包括：
第一转换模块，用于将待编辑传播图像从RGB空间转换为YUV空间，得到所述待编辑传播图像的Y、U、V通道分量；
标记模块，用于在YUV空间下的待编辑传播图像上标记至少一条标记线，所述标记线的颜色作为待传递的颜色；
分离模块，用于采用区域生长法将待编辑传播图像分为前景图像和背景图像；
关联度构建模块，用于根据图论理论构建前景图像中待染色像素点与从所述标记线上选取的标记点之间的相似关系图，重构所述标记点与待染色像素点之间的关联程度；
映射模块，用于根据所述标记点与待染色像素点之间的关联程度，获取在YUV空间下前景图像的Y通道权值，并映射到U通道和V通道，得到所述前景图像的Y通道、U通道、V通道的权值；
第二转换模块，用于将所述前景图像的Y通道、U通道、V通道的权值转换为所述前景图像的RGB值，得到RGB空间下的前景图像。
8.根据权利要求7所述的图像编辑传播系统，其特征在于，所述分离模块，具体用于：
步骤S1：扫描待编辑传播图像，确定区域列表，设置所述区域列表对应区域的初始灰度均值为初始种子点的Y通道分量；
步骤S2：获取所述初始种子点八邻域的亮度值与所述区域列表对应区域的灰度均值间的差值σ，确定所述差值σ小于预设的亮度阈值时，则将对应邻域坐标添加至待编辑传播的区域列表中，得到更新后的区域列表。
步骤S3：获取所述更新后的区域列表对应区域的灰度均值；
步骤S4：从所述区域列表中选取任一未作为种子点的像素点作为种子点，获取所述种子点的八邻域的亮度值与新的区域列表对应区域的灰度均值间的差值，若所述差值小于预设的亮度阈值时，则将该种子点八邻域的像素点坐标添加至对应区域的区域列表中，得到更新后的区域列表，返回执行步骤S3；若所述差值大于等于预设的亮度阈值时，则执行步骤S5；
步骤S5：判断是否遍历所述区域列表中所有像素点；若否则执行步骤S4，若是，则执行步骤S6；
步骤S6：输出最终的区域列表，根据所述最终的区域列表分离出待编辑传播图像的前景图像和背景图像；其中，所述待编辑传播图像的像素点坐标出现在所述最终的区域列表中的部分为前景图像。
9.根据权利要求7所述的图像编辑传播方法，其特征在于，所述第一转换模块，具体用于：
假设所述待编辑传播图像在RGB空间下红色R、绿色G、蓝色B三色的取值范围为：0-255，从RGB空间转换为YUV空间的转换公式如下：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615-0.515G-0.100B；
式中：Y表示亮度信号、U和V分别表示两个色度信号。
10.根据权利要求8所述的图像编辑传播方法，其特征在于，所述初始种子点为根据最大相似性原则从所述标记线上选取的最佳标记点；
假设标记线条上所有像素点都属于同一集合Q，对集合Q中任意像素点ti，都有ti∈Q，则像素点ti与集合Q的相似度函数为：
f(ti,Q)＝w1×simh(ti)+w2×sims(ti)
其中：
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mfrac>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>u</mi>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
<mo>;</mo>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mover>
<mi>v</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
</mrow>
式中：ui表示像素点ti的色度值，表示集合Q中所有像素点的色度均值；vi表示像素点ti的饱和度值，表示集合Q中所有像素点的饱和度均值；w1和w2是预先设定好的系数，且w1远大于w2；k表示集合Q中像素点的总个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711085845.5A CN107886550B (zh) | 2017-11-07 | 2017-11-07 | 图像编辑传播方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711085845.5A CN107886550B (zh) | 2017-11-07 | 2017-11-07 | 图像编辑传播方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886550A true CN107886550A (zh) | 2018-04-06 |
| CN107886550B CN107886550B (zh) | 2021-10-19 |
Family
ID=61779120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711085845.5A Active CN107886550B (zh) | 2017-11-07 | 2017-11-07 | 图像编辑传播方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107886550B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI825410B (zh) * | 2020-04-28 | 2023-12-11 | 大陸商深圳市思坦科技有限公司 | 影像處理方法、裝置、攝影設備和儲存介質 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101334836A (zh) * | 2008-07-30 | 2008-12-31 | 电子科技大学 | 一种融合色彩、尺寸和纹理特征的车牌定位方法 |
| WO2009143651A1 (en) * | 2008-05-29 | 2009-12-03 | Carestream Health, Inc. | Fast image segmentation using region merging with a k-nearest neighbor graph |
| CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
| CN101853333A (zh) * | 2010-05-26 | 2010-10-06 | 中国科学院遥感应用研究所 | 医疗机器人导航定位图像中的标记拾取方法 |
| CN102013021A (zh) * | 2010-08-19 | 2011-04-13 | 汪建 | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 |
| CN102201125A (zh) * | 2011-04-14 | 2011-09-28 | 浙江大学 | 一种三维成像声纳的数据可视化方法 |
| CN102244757A (zh) * | 2011-06-07 | 2011-11-16 | 北京邮电大学 | 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法 |
| CN103065285A (zh) * | 2012-12-30 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 图像数据的去雾方法及装置 |
| CN103810722A (zh) * | 2014-02-27 | 2014-05-21 | 云南大学 | 结合改进的lbp纹理和色度信息的运动目标检测方法 |
| CN103942812A (zh) * | 2014-03-12 | 2014-07-23 | 华南理工大学 | 基于混合高斯与边缘检测的运动目标检测方法 |
| CN105787934A (zh) * | 2016-02-19 | 2016-07-20 | 福州大学 | 一种基于图论和区域增长的粘连细胞分割算法 |
| CN106101561A (zh) * | 2016-08-09 | 2016-11-09 | 青岛海信移动通信技术股份有限公司 | 摄像头对焦检测方法及装置 |
| CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
| CN107248159A (zh) * | 2017-08-04 | 2017-10-13 | 河海大学常州校区 | 一种基于双目视觉的金属工件缺陷检测方法 |
-
2017
- 2017-11-07 CN CN201711085845.5A patent/CN107886550B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009143651A1 (en) * | 2008-05-29 | 2009-12-03 | Carestream Health, Inc. | Fast image segmentation using region merging with a k-nearest neighbor graph |
| CN101334836A (zh) * | 2008-07-30 | 2008-12-31 | 电子科技大学 | 一种融合色彩、尺寸和纹理特征的车牌定位方法 |
| CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
| CN101853333A (zh) * | 2010-05-26 | 2010-10-06 | 中国科学院遥感应用研究所 | 医疗机器人导航定位图像中的标记拾取方法 |
| CN102013021A (zh) * | 2010-08-19 | 2011-04-13 | 汪建 | 基于颜色和区域生长的茶叶嫩芽分割和识别方法 |
| CN102201125A (zh) * | 2011-04-14 | 2011-09-28 | 浙江大学 | 一种三维成像声纳的数据可视化方法 |
| CN102244757A (zh) * | 2011-06-07 | 2011-11-16 | 北京邮电大学 | 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法 |
| CN103065285A (zh) * | 2012-12-30 | 2013-04-24 | 信帧电子技术（北京）有限公司 | 图像数据的去雾方法及装置 |
| CN103810722A (zh) * | 2014-02-27 | 2014-05-21 | 云南大学 | 结合改进的lbp纹理和色度信息的运动目标检测方法 |
| CN103942812A (zh) * | 2014-03-12 | 2014-07-23 | 华南理工大学 | 基于混合高斯与边缘检测的运动目标检测方法 |
| CN105787934A (zh) * | 2016-02-19 | 2016-07-20 | 福州大学 | 一种基于图论和区域增长的粘连细胞分割算法 |
| CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
| CN106101561A (zh) * | 2016-08-09 | 2016-11-09 | 青岛海信移动通信技术股份有限公司 | 摄像头对焦检测方法及装置 |
| CN107248159A (zh) * | 2017-08-04 | 2017-10-13 | 河海大学常州校区 | 一种基于双目视觉的金属工件缺陷检测方法 |
Non-Patent Citations (10)
| Title |
|---|
| XIAOPEI LIU 等: "Intrinsic Colorization", 《ACM TRANSACTIONS ON GRAPHICS》 * |
| YING CHEN 等: "Image colourisation using linear neighbourhood propagation and weighted smoothing", 《IET IMAGE PROCESSING》 * |
| 吕建平 等: "基于分水岭和种子生长的彩色图像分割", 《西安邮电大学学报》 * |
| 宗盖盖: "基于局部颜色扩散的图像彩色化算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 张娜: "简牍图像增强与分割的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 牟涛 等: "一种融合区域生长与图论的图像分割方法", 《计算机工程与应用》 * |
| 蒋苏蓉: "色度空间上基于子块区域生长的彩色图像分割方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 赵许平: "恶性肿瘤智能放疗生物靶区勾画系统研发", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 陈颖 等: "过度分割与流行保持的图像彩色化", 《中国科技论文》 * |
| 高乐莲: "基于颜色扩散的图像编辑传播在机械设计中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI825410B (zh) * | 2020-04-28 | 2023-12-11 | 大陸商深圳市思坦科技有限公司 | 影像處理方法、裝置、攝影設備和儲存介質 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107886550B (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105631880B (zh) | 车道线分割方法和装置 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN106056155B (zh) | 基于边界信息融合的超像素分割方法 | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN110414387A (zh) | 一种基于道路分割的车道线多任务学习检测方法 | |
| CN104052979B (zh) | 用于图像处理的装置和技术 | |
| CN113379764A (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
| CN104537625A (zh) | 一种基于方向标志位的Bayer彩色图像插值方法 | |
| CN109920018A (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN104217440B (zh) | 一种从遥感图像中提取建成区的方法 | |
| CN107730568B (zh) | 基于权重学习的着色方法和装置 | |
| CN108537239A (zh) | 一种图像显著性目标检测的方法 | |
| CN110533583B (zh) | 一种基于宫颈液基细胞的自适应图像增广系统 | |
| CN108304786A (zh) | 一种基于二值化卷积神经网络的行人检测方法 | |
| CN105868683A (zh) | 台标识别方法及装置 | |
| CN110298893A (zh) | 一种行人衣着颜色识别模型的生成方法及装置 | |
| CN112862943B (zh) | 虚拟模型渲染方法、装置、存储介质及电子设备 | |
| CN114777792A (zh) | 路径规划方法、装置、计算机可读介质及电子设备 | |
| CN110163864A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN110910372A (zh) | 基于深度卷积神经网络的匀光板缺陷检测方法 | |
| CN113012096A (zh) | 显示屏子像素定位及亮度提取方法、设备以及存储介质 | |
| US7689060B2 (en) | Digital image processing method transforming a matrix representation of pixels into a vector representation | |
| CN112927252B (zh) | 一种新增建设用地监测方法及装置 | |
| RU2004121993A (ru) | Сегментация изображений с использщованием метода водораздела |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |