CN104899856B - 图像处理方法及装置 - Google Patents

Abstract

本发明提供一种图像处理方法及图像处理装置，该图像处理方法包括步骤：根据处理图像的颜色，生成处理图像的第一遮罩轮廓线；对第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；根据所廓带状区域的像素的颜色，在轮廓带状区域内生成一处理图像的第二遮罩轮廓线；根据处理图像的第二遮罩轮廓线上像素的颜色以及位置，生成处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色；以及根据第二遮罩轮廓线包围区域内的像素的消隐颜色，对处理图像进行图像处理。本发明还提供一种图像处理装置。本发明的图像处理方法及图像处理装置可很好的对图像中的标志和文字进行消隐处理。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理领域，特别是涉及一种图像处理方法及装置。

背景技术

图像中经常会包含一些敏感的图标和文字，如何消除图像中这类敏感信息并且使处理后的图像看起来没有修改的痕迹一直是图像处理领域关注的问题。

传统处理该问题的方法即为熟知的打马赛克。这种方法简单高效，能够将信息有效地进行隐藏，但是修改痕迹明显，在一些情况下反而会引起观看者的好奇。近些年来，图像自动补全成为了计算机视觉和计算机图形学领域的研究热点。

图像自动补全能够将待补全区域用图像中其他部分的内容进行没有瑕疵的填补，特别是纹理特征明显的区域能够获得很好的补全效果。著名的图像处理软件AdobePhotoshop在较新的版本中提供了图像自动补全的功能，该功能即为图像补全领域性能最好的一种算法的高效实现。然而，即便是最好的图像补全方法，很多时候补全效果也会存在瑕疵，特别是对结构性比较强的区域的补全。因此将图像的消隐问题看作是补全，很多时候的效果也不尽如人意。

由于图像消隐的主要对象是一些标志和文字，这些对象的周围经常会出现某一较为单一的色彩。例如，车牌号周围、标志牌周围都是某一单一色彩。通常情况下，需要手工标注出需要消隐的区域，而手工标注不会特别精确，会影响消隐效果。

发明内容

本发明实施例提供一种图像处理方法，以解决现有的图像处理方法不能很好的对图像中的标志和文字进行消隐处理。

本发明实施例还提供一种图像处理装置，以解决现有的图像处理装置不能很好的对图像中的标志和文字进行消隐处理。

为解决上述问题，本发明提供的技术方案如下：

提供一种图像处理方法，其包括步骤：

根据处理图像的颜色，生成所述处理图像的第一遮罩轮廓线；

对所述第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；

根据所述轮廓带状区域的像素的颜色，在所述轮廓带状区域内生成一所述处理图像的第二遮罩轮廓线；

根据所述第二遮罩轮廓线上像素的颜色以及位置，生成所述第二遮罩轮廓线包围区域内的像素的消隐颜色；以及

根据所述第二遮罩轮廓线包围区域内的像素的消隐颜色，对所述处理图像进行图像处理。

还提供一种图像处理装置，其包括：

第一遮罩轮廓线生成模块，用于根据处理图像的颜色，生成所述处理图像的第一遮罩轮廓线；

轮廓带状区域确定模块，用于对所述第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；

第二遮罩轮廓线生成模块，用于根据所述轮廓带状区域的像素的颜色，在所述轮廓带状区域内生成一所述处理图像的第二遮罩轮廓线；

消隐颜色生成模块，用于根据所述第二遮罩轮廓线上像素的颜色以及位置，生成所述第二遮罩轮廓线包围区域内的像素的消隐颜色；以及

图像处理模块，用于根据所述第二遮罩轮廓线包围区域内的像素的消隐颜色，对所述处理图像进行图像处理。

相较于现有技术的图像处理方法及图像处理装置，本发明的图像处理方法及图像处理装置根据轮廓带状区域的像素的颜色确定第二遮罩轮廓线，使得进行图像处理的遮罩轮廓线内的区域更加精确，可很好的对图像中的标志和文字进行消隐处理；解决了现有的图像处理方法和图像处理装置对图像中的标志和文字进行消隐处理时容易出现瑕疵的技术问题。

附图说明

图1为本发明的图像处理方法及装置所在的电子设备的工作环境结构示意图；

图2为本发明的图像处理装置的优选实施例的结构示意图；

图3为本发明的图像处理装置的优选实施例的第一遮罩轮廓线生成模块的结构示意图；

图4为本发明的图像处理装置的优选实施例的轮廓带状区域确定模块的结构示意图；

图4A为本发明的图像处理装置的优选实施例的轮廓带状区域确定模块进行像素扩展的示意图；

图5为本发明的图像处理装置的优选实施例的第二遮罩轮廓线生成模块的结构示意图；

图5A-图5E为本发明的图像处理装置的优选实施例的第二遮罩轮廓线生成模块生成轮廓带状区域中的路径的示意图；

图6为本发明的图像处理装置的优选实施例的消隐颜色生成模块的结构示意图；

图7为本发明的图像处理方法的优选实施例的流程图；

图8为本发明的图像处理方法的优选实施例的步骤S701的流程图；

图9为本发明的图像处理方法的优选实施例的步骤S702的流程图；

图10为本发明的图像处理方法的优选实施例的步骤S703的流程图；

图11为本发明的图像处理方法的优选实施例的步骤S704的流程图；

图12A-图12I为采用本发明的图像处理方法及装置的具体实施例的效果示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

而且，要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到可以对该配置进行许多修改，而不脱离要求保护的主题的范围或精神。

图1和随后的讨论提供了对实现本发明所述的图像处理方法及装置所在的电子设备的工作环境的简短、概括的描述。图1的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备112包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图1图示了包括本发明的图像处理装置的一个或多个实施例的电子设备112的实例。在一种配置中，电子设备112包括至少一个处理单元116和存储器118。根据电子设备的确切配置和类型，存储器118可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图1中由虚线114图示。

在其他实施例中，电子设备112可以包括附加特征和/或功能。例如，设备112还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图1中由存储装置120图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置120中。存储装置120还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器118中由例如处理单元116执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器118和存储装置120是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备112访问的任何其他介质。任意这样的计算机存储介质可以是电子设备112的一部分。

电子设备112还可以包括允许电子设备112与其他设备通信的通信连接126。通信连接126可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备112连接到其他电子设备的其他接口。通信连接126可以包括有线连接或无线连接。通信连接126可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备112可以包括输入设备124，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备112中也可以包括输出设备122，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备124和输出设备122可以经由有线连接、无线连接或其任意组合连接到电子设备112。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备112的输入设备124或输出设备122。

电子设备112的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备112的组件可以通过网络互连。例如，存储器118可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络128访问的电子设备130可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备112可以访问电子设备130并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备112可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备112处执行并且一些指令可以在电子设备130处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

请参照图2，图2为本发明的图像处理装置的优选实施例的结构示意图。本优选实施例的图像处理装置20可设置在上述电子设备112中。该图像处理装置20包括第一遮罩轮廓线生成模块21、轮廓带状区域确定模块22、第二遮罩轮廓线生成模块23、消隐颜色生成模块24以及图像处理模块25。其中第一遮罩轮廓线生成模块21用于根据处理图像的颜色，生成处理图像的第一遮罩轮廓线；轮廓带状区域确定模块22用于对第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；第二遮罩轮廓线生成模块23用于根据轮廓带状区域的像素的颜色，在轮廓带状区域内生成一处理图像的第二遮罩轮廓线；消隐颜色生成模块24用于根据第二遮罩轮廓线上像素的颜色以及位置，生成第二遮罩轮廓线包围区域内的像素的消隐颜色；图像处理模块25用于根据第二遮罩轮廓线包围区域内的像素的消隐颜色，对该处理图像进行图像处理。

下面详细说明本优选实施例的图像处理装置的各模块的具体工作流程。

一、第一遮罩轮廓线生成模块21根据处理图像的颜色，生成处理图像的第一遮罩轮廓线。

请参照图3，图3为本发明的图像处理装置的优选实施例的第一遮罩轮廓线生成模块的结构示意图。该第一遮罩轮廓线生成模块21包括处理图像颜色获取单元211和第一遮罩轮廓线生成单元212，处理图像颜色获取单元211用于获取处理图像的处理部分的颜色；第一遮罩轮廓线生成单元212用于根据处理图像的处理部分的颜色，使用图像边缘检测算法，生成处理图像的第一遮罩轮廓线。

首先处理图像颜色获取单元211会获取处理图像的处理部分的颜色，处理图像的处理部分即为处理图像上需要进行消隐操作的部分。然后第一遮罩轮廓线生成单元212会根据处理图像的处理部分的颜色，使用图像边缘检测算法，生成处理图像的第一遮罩轮廓线；这里的图像边缘检测算法可以是Roberts算子边缘检测算法、Prewitt算子边缘检测算法、Sobel算子边缘检测算法或Laplacian算子边缘检测算法等。这样获取了表示处理图像的处理部分的第一遮罩轮廓线，即处理图像的处理部分均位于第一遮罩轮廓线内。

二、轮廓带状区域确定模块22对第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域。

请参照图4，图4为本发明的图像处理装置的优选实施例的轮廓带状区域确定模块的结构示意图。该轮廓带状区域确定模块22包括梯度方向获取单元221以及轮廓带状区域确定单元222。其中梯度方向获取单元221用于获取第一遮罩轮廓线上每个像素的梯度方向，轮廓带状区域确定单元222用于在第一遮罩轮廓线上每个像素的梯度方向上进行像素扩展，得到轮廓带状区域。

首先梯度方向获取单元221获取第一遮罩轮廓线上每个像素的梯度方向，像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向。随后轮廓带状区域确定单元222在第一遮罩轮廓线上的每个像素的梯度方向上进行像素扩展，即轮廓带状区域确定单元222沿每个像素的梯度方向分别向第一遮罩轮廓线的内侧和第一遮罩轮廓线的外侧进行像素扩展。如图4A所示，图中的D为第一遮罩轮廓线，D_内为第一遮罩轮廓线的内侧轮廓，D_外为第一遮罩轮廓线的外侧轮廓，可沿第一遮罩轮廓线上像素的梯度方向向第一遮罩轮廓线的内侧扩展15个像素，获得第一遮罩轮廓线的内侧轮廓(即将扩展到内侧的像素点依次用平滑的曲线连接起来形成该内侧轮廓)；沿第一遮罩轮廓线上像素的梯度方向向第一遮罩轮廓线的外侧扩展15个像素，获得第一遮罩轮廓线的外侧轮廓(即将扩展到外侧的像素点依次用平滑的曲线连接起来形成该外侧轮廓)；内侧轮廓和外侧轮廓之间的区域形成轮廓带状区域(图中用阴影表示)。

三、第二遮罩轮廓线生成模块23根据轮廓带状区域的像素的颜色，在轮廓带状区域内生成一处理图像的第二遮罩轮廓线。

请参照图5，图5为本发明的图像处理装置的优选实施例的第二遮罩轮廓线生成模块的结构示意图。该第二遮罩轮廓线生成模块23包括分割单元231、集合设定单元232、路径获取单元233以及第二遮罩轮廓线生成单元234。分割单元321用于沿第一遮罩轮廓线上的一像素的梯度方向对轮廓带状区域进行分割；集合设定单元232用于设定与分割线相邻的一侧的像素作为起点集合，与分割线相邻的另一侧的像素作为终点集合；路径获取单元233用于根据起点集合和终点集合，使用深度搜索方法获取所有的轮廓带状区域的所有路径；第二遮罩轮廓线生成单元234用于根据轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为处理图像的第二遮罩轮廓线。

首先分割单元231在第一遮罩轮廓线上任选一像素，沿该像素的梯度方向对轮廓带状区域进行分割；分割后的轮廓带状区域如图5A所示。然后集合设定单元232将分割线F相邻一侧的像素作为起点集合S，与分割线F相邻的另一侧的像素作为终点集合E，如图5B所示，分割线F上侧的所有相邻像素组成起点集合S，分割线F下侧的所有相邻像素组成终点集合E。

随后路径获取单元233根据该起点集合S和终点集合E，对已分割开的轮廓带状区域建立一个图模型，相当于将图5B中的圆环状的轮廓带状区域拉直，拉直之后的图模型如图5C所示；轮廓带状区域内的每一个像素均为图模型中的结点，轮廓带状区域中相邻像素对应的图模型的结点相互连接。建立轮廓带状区域的图模型之后，路径获取单元233使用深度搜索方法获取该轮廓带状区域的图模型中的从起点集合S到终点集合E的所有路径(图5D中所示为轮廓带状区域的图模型中的一条路径，图5E中为轮廓带状区域的一条路径)。

这里的深度搜索方法是指沿着起点集合S中的某个结点开始，向终点集合E的方向进行搜索，如不能继续向终端集合E深入搜索(如搜索到终点集合E中的结点或搜索到轮廓带状区域的边界)，则返回到前一个结点，继续搜索与该结点相邻的其他结点，直至返回到开始的起点集合S中的结点；然后选择起点集合S中的另一个结点开始，向终点集合E的方向进行搜索直至完成起点集合S中的所有结点的搜索。这样即可获取轮廓带状区域的图模型中的从起点集合S到终点集合E的所有路径。

然后第二遮罩轮廓线生成单元234根据轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为处理图像的优化后的图像遮罩。路径的颜色路径能量通过下式进行计算：

其中，表示从起点集合S到终点集合E的一条路径；p表示路径上的像素点；R(p)表示路径上的像素点的红色灰度值；G(p)表示路径上的像素点的绿色灰度值；B(p)表示路径上的像素点的蓝色灰度值；表示路径的颜色路径能量；Kr、Kg、Kb为向量K的三个分量，用公式表示为：

K向量为路径上所有像素的平均颜色灰度向量，因此Kr为路径上的所有像素点的红色灰度均值；Kg为路径上的所有像素点的绿色灰度均值；Kb为路径上的所有像素点的蓝色灰度均值。

对于任一路径，影响其颜色路径能量的因素包括路径的像素数量以及路径上的像素的总体颜色灰度差。因此颜色路径能量最小的路径不是仅以路径上的像素少为目标，而是以路径上的像素少的情况下，各像素之间的颜色还需要尽可能接近。这时一个二值优化问题，通过使用迭代优化的方法逐渐靠近可以得出该颜色路径能量最小的路径。

如可通过下面的算法得到颜色路径能量最小的路径：

1、先设K＝(0,0,0)，Emin表示路径的最小颜色路径能量(初始值设置一极大值)，Ω₀用于存储该最小颜色路径能量的路径。

2、以现有的K为基础，对于起点集合S中的每一个像素，作为起点采用单源最短路径迪杰斯特拉算法找到一条到达终点集合E中的像素的路径能量最小的路径。对于起点集合S中的每一个像素均计算出一条最优路径，这些最优路径中能量值最小的一条作为最终的最优路径Ω，同时得到新的路径能量值EN。

3、如EN<ENmin,则将最优路径Ω存储到Ω₀。由存储的Ω₀计算出新的K＝(Kr,Kg,Kb)作为路径上所有像素的平均颜色灰度向量的新的估值。转到步骤2用新的K值继续计算最优路径Ω和路径能量值EN。如EN≥ENmin，则停止迭代，取现有Ω₀作为颜色路径能量最小的路径。

四、消隐颜色生成模块24根据处理图像的第二遮罩轮廓线上像素的颜色以及位置，生成第二遮罩轮廓线包围区域内的像素的消隐颜色。

请参照图6，图6为本发明的图像处理装置的优选实施例的消隐颜色生成模块的结构示意图。该消隐颜色生成模块24包括三角剖分单元241、坐标获取单元242、顶点颜色获取单元243以及消隐颜色生成单元244。三角剖分单元241用于对处理图像的第二遮罩轮廓线内的区域进行三角剖分，得到多个剖分三角形；坐标获取单元242用于根据处理图像的第二遮罩轮廓线上像素的坐标，获取所有剖分三角形的顶点像素的坐标；顶点颜色获取单元243用于根据处理图像的第二遮罩轮廓线上像素的颜色、处理图像的第二遮罩轮廓线上像素的坐标、以及所有所述剖分三角形的顶点像素的坐标，得到所有剖分三角形的顶点像素的颜色；消隐颜色生成单元244用于根据所有剖分三角形的顶点像素的颜色，生成处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。

首先三角剖分单元241对处理图像的第二遮罩轮廓线内的区域进行三角剖分，这样第二遮罩轮廓线内的区域被剖分为多个剖分三角形。这些剖分三角形大部分完全位于第二遮罩轮廓线包围的区域内，部分剖分三角形的顶点与第二遮罩轮廓线相交。随后坐标获取单元242根据处理图像的第二遮罩轮廓线上像素的坐标，直接获取与第二遮罩轮廓线相交的剖分三角形的顶点像素的坐标，并通过这些与第二遮罩轮廓线相交的剖分三角形的顶点像素的坐标，计算出所有的剖分三角形的顶点像素的坐标。然后顶点颜色获取单元243根据处理图像的第二遮罩轮廓线上像素的颜色、处理图像的第二遮罩轮廓线上像素的坐标、以及所有剖分三角形的顶点像素的坐标，得到所有剖分三角形的顶点像素的颜色。最后消隐颜色生成单元244根据所有剖分三角形的顶点像素的颜色，通过线性插值的算法，生成处理图像的第二遮罩轮廓线内的像素的消隐颜色。即与顶点像素相邻的像素的消隐颜色应与顶点像素的颜色相似，第二遮罩轮廓线内的像素的消隐颜色也应与相邻像素的消隐颜色相似，这样生成的消隐颜色可将处理图像的处理部分(第二遮罩轮廓线包围区域内的部分像素)不被用户发现的完全消隐掉。

五、最后图像处理模块25根据消隐颜色生成模块24生成的处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色，对处理图像进行图像处理(如图像消隐处理)。

这样即完成了本优选实施例的图像处理装置20的图像处理过程。

本优选实施例的图像处理装置根据轮廓带状区域的像素的颜色确定第二遮罩轮廓线，使得进行图像处理的遮罩轮廓线内的区域更加精确，可很好的对图像中的标志和文字进行消隐处理。

本发明还提供一种图像处理方法，请参照图2和图7，图7为本发明的图像处理方法的优选实施例的流程图。本优选实施例的图像处理方法可使用上述的图像处理装置的优选实施例进行实施，该图像处理方法包括：

步骤S701，根据处理图像的颜色，生成处理图像的第一遮罩轮廓线；

步骤S702，对第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；

步骤S703，根据轮廓带状区域的像素的颜色，在轮廓带状区域内生成一处理图像的第二遮罩轮廓线；

步骤S704，根据处理图像的第二遮罩轮廓线上像素的颜色以及位置，生成处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色；

步骤S705，根据处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色，对该处理图像进行图像处理；

本优选实施例的图像处理方法结束于步骤S705。

下面详细说明本优选实施例的图像处理方法的各步骤的具体流程。

请参照图3和图8，图8为本发明的图像处理方法的优选实施例的步骤S701的流程图。第一遮罩轮廓线生成模块21根据处理图像的颜色，生成处理图像的第一遮罩轮廓线，包括：

步骤S7011，获取处理图像的处理部分的颜色；

步骤S7012，根据处理图像的处理部分的颜色，使用图像边缘检测算法，生成处理图像的第一遮罩轮廓线。

在步骤S7011中，第一遮罩轮廓线生成模块21的处理图像颜色获取单元211会获取处理图像的处理部分的颜色，处理图像的处理部分即为处理图像上需要进行消隐操作的部分。随后转到步骤S7012。

在步骤S7012中，第一遮罩轮廓线生成模块21的第一遮罩轮廓线生成单元212会根据处理图像的处理部分的颜色，使用图像边缘检测算法，生成处理图像的第一遮罩轮廓线；这里的图像边缘检测算法可以是Roberts算子边缘检测算法、Prewitt算子边缘检测算法、Sobel算子边缘检测算法或Laplacian算子边缘检测算法等。这样获取了表示处理图像的处理部分的第一遮罩轮廓线，即处理图像的处理部分均位于第一遮罩轮廓线内。随后转到步骤S702。

请参照图4和图9，图9为本发明的图像处理方法的优选实施例的步骤S702的流程图。轮廓带状区域确定模块22对第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域，包括：

步骤S7021，获取第一遮罩轮廓线上每个像素的梯度方向；

步骤S7022，在第一遮罩轮廓线上每个像素的梯度方向上进行像素扩展，得到轮廓带状区域。

在步骤S7021中，轮廓带状区域确定模块22的梯度方向获取单元221获取第一遮罩轮廓线上每个像素的梯度方向，像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向。随后转到步骤S7022。

在步骤S7022中，轮廓带状区域确定模块21的轮廓带状区域确定单元222在第一遮罩轮廓线上的每个像素的梯度方向上进行像素扩展，即轮廓带状区域确定单元222沿每个像素的梯度方向分别向第一遮罩轮廓线的内侧和第一遮罩轮廓线的外侧进行像素扩展。如图4A所示，图中的D为第一遮罩轮廓线，D_内为第一遮罩轮廓线的内侧轮廓，D_外为第一遮罩轮廓线的外侧轮廓，可沿第一遮罩轮廓线上的梯度方向向第一遮罩轮廓线的内侧扩展15个像素，获得第一遮罩轮廓线的内侧轮廓(即将扩展到内侧的像素点依次用平滑的曲线连接起来形成该内侧轮廓)；沿第一遮罩轮廓线上像素的梯度方向向第一遮罩轮廓线的外侧扩展15个像素，获得第一遮罩轮廓线的外侧轮廓(即将扩展到外侧的像素点依次用平滑的曲线连接起来形成该外侧轮廓)；内侧轮廓和外侧轮廓之间的区域形成轮廓带状区域(图中用阴影表示)。随后转到步骤S703。

请参照图5和图10，图10为本发明的图像处理方法的优选实施例的步骤S703的流程图。第二遮罩轮廓线生成模块23根据轮廓带状区域的像素的颜色，在轮廓带状区域内生成一处理图像的第二遮罩轮廓线，包括：

步骤S7031，沿第一遮罩轮廓线上的一像素的梯度方向对轮廓带状区域进行分割；

步骤S7032，设定与分割线相邻的一侧的像素作为起点集合，与分割线相邻的另一侧的像素作为终点集合；

步骤S7033，根据起点集合和终点集合，使用深度搜索方法获取所有的轮廓带状区域的所有路径；

步骤S7034，根据轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为处理图像的第二遮罩轮廓线。

在步骤S7031中，第二遮罩轮廓线生成模块23的分割单元231在第一遮罩轮廓线上任选一像素，沿该像素的梯度方向对轮廓带状区域进行分割；分割后的轮廓带状区域如图5A所示。随后转到步骤S7032。

在步骤S7032中，第二遮罩轮廓线生成模块23的集合设定单元232将分割线F相邻一侧的像素作为起点集合S，与分割线F相邻的另一侧的像素作为终点E集合，如图5B所示，分割线F上侧的所有相邻像素组成起点集合S，分割线F下侧的所有相邻像素组成终点集合E。随后转到步骤S7033。

在步骤S7033中，第二遮罩轮廓线生成模块23的路径获取单元233根据该起点集合S和终点集合E，对已分割开的轮廓带状区域建立一个图模型，相当于将图5B中的圆环状的轮廓带状区域拉直，拉直之后的图模型如图5C所示；轮廓带状区域内的每一个像素均为图模型中的结点，轮廓带状区域中相邻像素对应的图模型的结点相互连接。建立轮廓带状区域的图模型之后，路径获取单元233使用深度搜索方法获取该轮廓带状区域的图模型中的从起点集合S到终点集合E的所有路径(图5D中所示为轮廓带状区域的图模型中的一条路径，图5E中为轮廓带状区域的一条路径)。

这里的深度搜索方法是指沿着起点集合S中的某个结点开始，向终点集合E的方向进行搜索，如不能继续向终端集合E深入搜索(如搜索到终点集合E中的结点或搜索到轮廓带状区域的边界)，则返回到前一个结点，继续搜索与该结点相邻的其他结点，直至返回到开始的起点集合S中的结点；然后选择起点集合S中的另一个结点开始，向终点集合E的方向进行搜索直至完成起点集合S中的所有结点的搜索。这样即可获取轮廓带状区域的图模型中的从起点集合S到终点集合E的所有路径。随后转到步骤S7034。

在步骤S7034中，第二遮罩轮廓线生成模块23的第二遮罩轮廓线生成单元234根据轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为处理图像的优化后的图像遮罩。路径的颜色路径能量通过下式进行计算：

其中，表示从起点集合S到终点集合E的一条路径；p表示路径上的像素点；R(p)表示路径上的像素点的红色灰度值；G(p)表示路径上的像素点的绿色灰度值；B(p)表示路径上的像素点的蓝色灰度值；表示路径的颜色路径能量；Kr、Kg、Kb为向量K的三个分量，用公式表示为：

K向量为路径上所有像素的平均颜色灰度向量，因此Kr为路径上的所有像素点的红色灰度均值；Kg为路径上的所有像素点的绿色灰度均值；Kb为路径上的所有像素点的蓝色灰度均值。

对于任一路径，影响其颜色路径能量的因素包括路径的像素数量以及路径上的像素的总体颜色灰度差。因此颜色路径能量最小的路径不是仅以路径上的像素少为目标，而是以路径上的像素少的情况下，各像素之间的颜色还需要尽可能接近。这时一个二值优化问题，通过使用迭代优化的方法逐渐靠近可以得出该颜色路径能量最小的路径。随后转到步骤S704。

请参照图6和图11，图11为本发明的图像处理方法的优选实施例的步骤S704的流程图。消隐颜色生成模块24根据处理图像的第二遮罩轮廓线上像素的颜色以及位置，生成第二遮罩轮廓线包围区域内的像素的消隐颜色，包括：

步骤S7041，对处理图像的第二遮罩轮廓线内的区域进行三角剖分，得到多个剖分三角形；

步骤S7042，根据处理图像的第二遮罩轮廓线上像素的坐标，获取所有剖分三角形的顶点像素的坐标；

步骤S7043，根据处理图像的第二遮罩轮廓线上像素的颜色、处理图像的第二遮罩轮廓线上像素的坐标、以及所有剖分三角形的顶点像素的坐标，得到所有剖分三角形的顶点像素的颜色；

步骤S7044，根据所有剖分三角形的顶点像素的颜色，生成处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。

在步骤S7041中，消隐颜色生成模块24的三角剖分单元241对处理图像的第二遮罩轮廓线内的区域进行三角剖分，这样第二遮罩轮廓线内的区域被剖分为多个剖分三角形。这些剖分三角形大部分完全位于第二遮罩轮廓线包围的区域内，部分剖分三角形的顶点与第二遮罩轮廓线相交。随后转到步骤S7042。

在步骤S7042中，消隐颜色生成模块24的坐标获取单元242根据处理图像的第二遮罩轮廓线上像素的坐标，直接获取与第二遮罩轮廓线相交的剖分三角形的顶点像素的坐标，并通过这些与第二遮罩轮廓线相交的剖分三角形的顶点像素的坐标，计算出所有的剖分三角形的顶点像素的坐标。随后转到步骤S7043。

在步骤S7043中，消隐颜色生成模块24的顶点颜色获取单元243根据处理图像的第二遮罩轮廓线上像素的颜色、处理图像的第二遮罩轮廓线上像素的坐标、以及所有剖分三角形的顶点像素的坐标，得到所有剖分三角形的顶点像素的颜色。随后转到步骤S7044。

在步骤S7044中，消隐颜色生成模块24的消隐颜色生成单元244根据所有剖分三角形的顶点像素的颜色，通过线性插值的算法，生成处理图像的第二遮罩轮廓线内的像素的消隐颜色。即与顶点像素相邻的像素的消隐颜色应与顶点像素的颜色相似，第二遮罩轮廓线内的像素的消隐颜色也应与相邻像素的消隐颜色相似，这样生成的消隐颜色可将处理图像的处理部分(第二遮罩轮廓线包围区域内的部分像素)不被用户发现的完全消隐掉。随后转到步骤S705。

在步骤S705中，最后图像处理模块25根据消隐颜色生成模块24生成的处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色，对处理图像进行图像处理(如图像消隐处理)。

这样即完成了本优选实施例的图像处理方法的图像处理过程。

本优选实施例的图像处理方法根据轮廓带状区域的像素的颜色确定第二遮罩轮廓线，使得进行图像处理的遮罩轮廓线内的区域更加精确，可很好的对图像中的标志和文字进行消隐处理。

下面通过一具体实施例说明本发明的图像处理方法及装置的实施效果。请参照图图12A-图12I，图12A-图12I为采用本发明的图像处理方法及装置的具体实施例的效果示意图。

其中图12A至图12C需要消隐图像中的“水”字，首先根据处理图像中“水”字的第一遮罩轮廓线，获取一轮廓带状区域，如图12A所示；随后根据该轮廓带状区域中像素的颜色，在轮廓带状区域中生成一第二遮罩轮廓线，如图12B所示；最后根据该第二遮罩轮廓线的坐标以及颜色，获取相应的进行图像消隐处理的像素颜色，并使用该像素颜色对处理图像进行图像消隐处理，处理后的图像如图12C所示。从图12C中可见，该消隐操作位置精确，处理后完全没有处理痕迹。

其中图12D至图12F需要消隐图像中的“疗”字，首先根据处理图像中“疗”字的第一遮罩轮廓线，获取一轮廓带状区域，如图12D所示；随后根据该轮廓带状区域中像素的颜色，在轮廓带状区域中生成一第二遮罩轮廓线，如图12E所示；最后根据该第二遮罩轮廓线的坐标以及颜色，获取相应的进行图像消隐处理的像素颜色，并使用该像素颜色对处理图像进行图像消隐处理，处理后的图像如图12F所示。从图12F中可见，该消隐操作位置精确，处理后完全没有处理痕迹。

其中图12G至图12I需要消隐图像中最左边的标志，首先根据处理图像中的需要消隐的标志的第一遮罩轮廓线，获取一轮廓带状区域，如图12G所示；随后根据该轮廓带状区域中像素的颜色，在轮廓带状区域中生成一第二遮罩轮廓线，如图12H所示；最后根据该第二遮罩轮廓线的坐标以及颜色，获取相应的进行图像消隐处理的像素颜色，并使用该像素颜色对处理图像进行图像消隐处理，处理后的图像如图12I所示。从图12I可见，该方法对标志的消隐操作的效果与对文字的消隐操作的效果相同。

本发明的图像处理方法及图像处理装置根据轮廓带状区域的像素的颜色确定第二遮罩轮廓线，使得进行图像处理的遮罩轮廓线内的区域更加精确，可很好的对图像中的标志和文字进行消隐处理；解决了现有的图像处理方法和图像处理装置对图像中的标志和文字进行消隐处理时容易出现瑕疵的技术问题。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，包括步骤：

根据处理图像的颜色，生成所述处理图像的第一遮罩轮廓线；

对所述第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；

根据所述轮廓带状区域的像素的颜色，在所述轮廓带状区域内生成一所述处理图像的第二遮罩轮廓线；

根据所述第二遮罩轮廓线上像素的颜色以及位置，生成所述第二遮罩轮廓线包围区域内的像素的消隐颜色；以及

根据所述第二遮罩轮廓线包围区域内的像素的消隐颜色，对所述处理图像进行图像处理。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据处理图像的颜色，生成所述处理图像的第一遮罩轮廓线的步骤包括：

获取处理图像的处理部分的颜色；以及

根据所述处理图像的处理部分的颜色，使用图像边缘检测算法，生成所述处理图像的第一遮罩轮廓线。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域的步骤包括：

获取所述第一遮罩轮廓线上每个像素的梯度方向，其中像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向；以及

在所述第一遮罩轮廓线上每个像素的梯度方向上进行像素扩展，得到所述轮廓带状区域。

4.根据权利要求3所述的图像处理方法，其特征在于，所述在所述第一遮罩轮廓线上每个像素的梯度方向上进行像素扩展的步骤包括：

沿所述像素的梯度方向分别向所述第一遮罩轮廓线的内侧和所述第一遮罩轮廓线的外侧进行像素扩展。

5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述轮廓带状区域的像素的颜色，在所述轮廓带状区域内生成一所述处理图像的第二遮罩轮廓线的步骤包括：

沿所述第一遮罩轮廓线上的一像素的梯度方向对所述轮廓带状区域进行分割，其中像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向；

设定与分割线相邻的一侧的像素作为起点集合，与所述分割线相邻的另一侧的像素作为终点集合；

根据所述起点集合和所述终点集合，使用深度搜索方法获取所述轮廓带状区域的所有路径；以及

根据所述轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为所述处理图像的第二遮罩轮廓线。

6.根据权利要求5所述的图像处理方法，其特征在于，所述路径的颜色路径能量为：

其中，表示从所述起点集合到所述终点集合的一条路径；p表示所述路径上的像素点；R(p)表示所述路径上的像素点的红色灰度值；G(p)表示所述路径上的像素点的绿色灰度值；B(p)表示所述路径上的像素点的蓝色灰度值；表示所述路径的颜色路径能量；Kr为所述路径上的所有像素点的红色灰度均值；Kg为所述路径上的所有像素点的绿色灰度均值；Kb为所述路径上的所有像素点的蓝色灰度均值，Kr、Kg、Kb为向量K的三个分量。

7.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第二遮罩轮廓线上像素的颜色以及位置，确定所述第二遮罩轮廓线包围区域内的像素的消隐颜色的步骤包括：

对所述处理图像的第二遮罩轮廓线内的区域进行三角剖分，得到多个剖分三角形，

根据所述处理图像的第二遮罩轮廓线上像素的坐标，获取所有所述剖分三角形的顶点像素的坐标；

根据所述处理图像的第二遮罩轮廓线上像素的颜色、所述处理图像的第二遮罩轮廓线上像素的坐标、以及所述所有所述剖分三角形的顶点像素的坐标，得到所有所述剖分三角形的顶点像素的颜色；以及

根据所述所有所述剖分三角形的顶点像素的颜色，生成所述处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。

8.根据权利要求7所述的图像处理方法，其特征在于，根据所述所有所述剖分三角形的顶点像素的颜色，采用线性插值的算法，生成所述处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。

9.一种图像处理装置，其特征在于，包括：

第一遮罩轮廓线生成模块，用于根据处理图像的颜色，生成所述处理图像的第一遮罩轮廓线；

轮廓带状区域确定模块，用于对所述第一遮罩轮廓线中的像素进行扩展，确定一轮廓带状区域；

第二遮罩轮廓线生成模块，用于根据所述轮廓带状区域的像素的颜色，在所述轮廓带状区域内生成一所述处理图像的第二遮罩轮廓线；

消隐颜色生成模块，用于根据所述第二遮罩轮廓线上像素的颜色以及位置，生成所述第二遮罩轮廓线包围区域内的像素的消隐颜色；以及

图像处理模块，用于根据所述第二遮罩轮廓线包围区域内的像素的消隐颜色，对所述处理图像进行图像处理。

10.根据权利要求9所述的图像处理装置，其特征在于，所述第一遮罩轮廓线生成模块包括：

处理图像颜色获取单元，用于获取处理图像的处理部分的颜色；以及

第一遮罩轮廓线生成单元，用于根据所述处理图像的处理部分的颜色，使用图像边缘检测算法，生成所述处理图像的第一遮罩轮廓线。

11.根据权利要求9所述的图像处理装置，其特征在于，所述轮廓带状区域确定模块包括：

梯度方向获取单元，用于获取所述第一遮罩轮廓线上每个像素的梯度方向，其中像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向；以及

轮廓带状区域确定单元，用于在所述第一遮罩轮廓线上每个像素的梯度方向上进行像素扩展，得到所述轮廓带状区域。

12.根据权利要求11所述的图像处理装置，其特征在于，所述轮廓带状区域确定单元沿所述像素的梯度方向分别向所述第一遮罩轮廓线的内侧和所述第一遮罩轮廓线的外侧进行像素扩展。

13.根据权利要求9所述的图像处理装置，其特征在于，所述第二遮罩轮廓线生成模块包括：

分割单元，用于沿所述第一遮罩轮廓线上的一像素的梯度方向对所述轮廓带状区域进行分割，其中像素的梯度方向是指与第一遮罩轮廓线所表示的曲线在像素所表示的点的位置上的切线垂直的方向；

集合设定单元，用于设定与分割线相邻的一侧的像素作为起点集合，与所述分割线相邻的另一侧的像素作为终点集合；

路径获取单元，用于根据所述起点集合和所述终点集合，使用深度搜索方法获取所述轮廓带状区域的所有路径；以及

第二遮罩轮廓线生成单元，用于根据所述轮廓带状区域的像素的颜色，选取颜色路径能量最小的路径作为所述处理图像的第二遮罩轮廓线。

14.根据权利要求13所述的图像处理装置，其特征在于，所述路径的颜色路径能量为：

其中，表示从所述起点集合到所述终点集合的一条路径；p表示所述路径上的像素点；R(p)表示所述路径上的像素点的红色灰度值；G(p)表示所述路径上的像素点的绿色灰度值；B(p)表示所述路径上的像素点的蓝色灰度值；表示所述路径的颜色路径能量；Kr为所述路径上的所有像素点的红色灰度均值；Kg为所述路径上的所有像素点的绿色灰度均值；Kb为所述路径上的所有像素点的蓝色灰度均值，Kr、Kg、Kb为向量K的三个分量。

15.根据权利要求9所述的图像处理装置，其特征在于，所述消隐颜色生成模块包括：

三角剖分单元，用于对所述处理图像的第二遮罩轮廓线内的区域进行三角剖分，得到多个剖分三角形；

坐标获取单元，用于根据所述处理图像的第二遮罩轮廓线上像素的坐标，获取所有所述剖分三角形的顶点像素的坐标；

顶点颜色获取单元，用于根据所述处理图像的第二遮罩轮廓线上像素的颜色、所述处理图像的第二遮罩轮廓线上像素的坐标、以及所述所有所述剖分三角形的顶点像素的坐标，得到所有所述剖分三角形的顶点像素的颜色；以及

消隐颜色生成单元，用于根据所述所有所述剖分三角形的顶点像素的颜色，生成所述处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。

16.根据权利要求15所述的图像处理装置，其特征在于，所述消隐颜色生成单元根据所述所有所述剖分三角形的顶点像素的颜色，采用线性插值的算法，生成所述处理图像的第二遮罩轮廓线包围区域内的像素的消隐颜色。