CN110019898A

CN110019898A - 一种动漫图像处理系统

Info

Publication number: CN110019898A
Application number: CN201710686636.XA
Authority: CN
Inventors: 龚晨
Original assignee: Aisino Corp
Current assignee: Aisino Corp
Priority date: 2017-08-08
Filing date: 2017-08-08
Publication date: 2019-07-16

Abstract

本发明实施例提供一种动漫图像处理系统，属于图像处理技术领域，包括图像特征提取模块、图像数据存储模块、图像检索模块和用户接口模块；其中，所述图像特征提取模块用于基于图像内容提取图像的特征并生成特征向量，所述图像数据存储模块用于存储图像的特征信息，所述图像检索模块用于根据图像的特征向量从所述图像数据存储模块中查找与所述特征向量匹配的特征信息所对应的图像，所述用户接口模块用于接收用户输入的图像并输出匹配到的图像。本申请的动漫图像处理系统，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理进而形成设计者需要的素材。

Description

一种动漫图像处理系统

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种动漫图像处理系统。

背景技术

随着近几年动漫产业的迅速发展，动漫图像的制作和处理尤为重要。通常动漫图像的设计来源于现实图片，通过专门的图像软件制作而成，当然也有很多能工巧匠通过手绘方式制作漫画。目前，动漫处理领域的发展体现在如下几个方面：首先，图像采集领域，高分辨率、高帧数的图像传感器不断应用在摄像设备中，导致系统中的图像处理任务艰巨，数据运算量很大，对于以DSP和FPGA为核心的图像处理系统提出了更高要求；其次，图像制作工具发展很快，Photoshop、Flash等图像处理工具的升级和更新对于创造更好的动漫素材提供了帮助；最后，对于动漫制作者来说，他们在制作动漫前需要检索素材来获取创作灵感，但是目前的动漫图像检索系统还是依靠文本方式来检索，即用户需要输入文件名或者关键词来获取所需的资源，这种方式对于动漫图像检索来说，往往效果不好，人工录入描述信息需要耗费巨大的人力物力。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种动漫图像处理系统，用以克服现有技术中动漫图像素材获取依靠文本方式检索，效率低，检索到的图像效果差的缺陷，达到自动生成动漫图像素材的效果。

基于上述目的，本发明提供一种动漫图像处理系统，包括图像特征提取模块、图像数据存储模块、图像检索模块和用户接口模块；

所述图像特征提取模块用于基于图像内容提取图像的特征并生成特征向量，所述图像数据存储模块用于存储图像的特征向量信息，所述图像检索模块用于在用户需要获取动漫图像时，根据用户输入的图像的特征向量从所述图像数据存储模块中查找与所述特征向量匹配的特征向量信息所对应的图像，所述用户接口模块用于接收用户输入的图像并输出匹配到的图像。

进一步地，在本发明一具体实施例中，所述图像特征提取模块用于提取图像的底层特征。

进一步地，在本发明一具体实施例中，所述底层特征包括颜色特征、纹理特征和形态特征。

进一步地，在本发明一具体实施例中，所述图像特征提取模块通过下式将图像转换为灰度图像：

Gray＝0.3*R+0.59*G+0.11*B

其中，灰度级别数目为256。

进一步地，在本发明一具体实施例中，所述图像特征提取模块在通过高斯-拉普拉斯算子提取边缘特征的过程中，先对图像进行消噪平滑处理，以减小噪声对图像边缘的影响，然后再对图像进行边缘提取。

进一步地，在本发明一具体实施例中，所述图像数据存储模块包括图像库、特征信息库和索引库，所述图像库用于存储图像，所述特征信息库用于存储图像的特征信息，所述索引库用于存储所述特征信息库中的特征信息与所述图像库中对应的图像的索引关系。

进一步地，在本发明一具体实施例中，还包括图像采集模块，所述图像采集模块用于获取素材图像。

进一步地，在本发明一具体实施例中，还包括图像预处理模块，所述图像预处理模块用于对素材图像进行预处理和压缩编码。

进一步地，在本发明一具体实施例中，所述图像检索模块利用相似性匹配算法对图像进行多种特征的综合匹配，并根据所述多种特征的权重综合出相似性的数值。

进一步地，在本发明一具体实施例中，所述用户接口模块还用于将匹配到的图像与图像背景合成，输出经过图像处理的最终动漫图像，所述图像背景为用户预先设置的图像背景。

由以上技术方案可见，本发明实施例的动漫图像处理系统，包括图像特征提取模块、图像数据存储模块、图像检索模块和用户接口模块；所述图像特征提取模块用于基于图像内容提取图像的特征并生成特征向量，所述图像数据存储模块用于存储图像的特征信息，所述图像检索模块用于根据图像的特征向量从所述图像数据存储模块中查找与所述特征向量匹配的特征信息所对应的图像，所述用户接口模块用于接收用户输入的图像并输出匹配到的图像。本申请的动漫图像处理系统，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理进而形成设计者需要的素材。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的动漫图像处理系统的结构示意图；

图2为本发明实施例二的动漫图像处理系统的结构示意图；

图3为动漫图像颜色特征提取的流程图；

图4为动漫图像纹理特征提取的流程图；

图5为动漫图像形态特征提取的流程图。

具体实施方式

目前，对于图像处理系统，存在以下问题：

(1)图像采集方面：高分辨率、高帧数的图像传感器不断应用在摄像设备中，导致系统中的图像处理任务艰巨，数据运算量很大，对于以DSP和FPGA为核心的图像处理系统提出了更高要求。图像传感器的分辨率和帧数很高，但处理器的处理能力需要通过软件进行优化。

(2)图像检索方面：图像检索是图像处理系统非常重要的环节，当用户检索到自己所需的图像后，再利用专业工具进行处理。目前，动漫图像检索还是依靠录入文件名或者文件描述信息，检索效率低下。根据内容的图像搜索策略成为近几年的研究重点，在指纹识别、人脸识别和医学图像等领域都有应用，但在动漫行业还未得到应用。基于内容的动漫图像检索技术通过提取动漫图像的底层特征来区分不同的图像，用户可以迅速找到自己需要的资源，提高了工作效率。

基于内容的图像检索是根据颜色(color)、形状(shape)或纹理(texture)等特征以及这些特征的组合，自动抽取特征，将该图像的特征信息与图像数据库中的信息进行比对分析，利用某种匹配算法确定相似度，并将检索到的图像信息按相似度由高到低的顺序返回给用户。根据内容的图像搜索策略(Content-based Image Retrieval,CBIR)的达成依照现存的两个关键方法：特征提取和匹配。对于CBIR，已有一些文章进行详细的论述，但是对于用户而言，只是实现了检索到与用户提交图像最相似的图像，后续的处理及其他功能还未得到整合和优化。

(3)图像处理方面：当用户检索到自己所需的图像资源后，需要利用专业的图像工具进行图像处理。随着动漫行业的快速发展，针对图像制作方面，专业图像软件可以提供更丰富和完善的图像处理功能，为动漫设计者设计更好的动漫奠定了良好的基础。但是目前的图像处理工具较多，用户在选择时会遇到很多专业问题，很多专业工具的功能用户不一定完全掌握，此时如果开发一个动漫图像处理系统，系统具有一定的预处理功能，就可以简化图像处理的难度，提高设计者的工作效率。

因此，基于以上分析，提出一种动漫图像处理系统。系统应该具有图像采集、图像检索和图像处理等功能，是一个综合性的开发系统。用户在使用时，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理形成设计者需要的素材。

有鉴于此，本申请实施例提供一种动漫图像处理系统，包括图像特征提取模块、图像数据存储模块、图像检索模块和用户接口模块；

所述图像特征提取模块用于基于图像内容提取图像的特征并生成特征向量，所述图像数据存储模块用于存储图像的特征信息，所述图像检索模块用于根据图像的特征向量从所述图像数据存储模块中查找与所述特征向量匹配的特征信息所对应的图像，所述用户接口模块用于接收用户输入的图像并输出匹配到的图像。

本申请的动漫图像处理系统，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理进而形成设计者需要的素材。

当然，实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

如图1所示，为本发明实施例一的动漫图像处理系统的结构示意图。在本实施例中，所述动漫图像处理系统包括图像特征提取模块101、图像数据存储模块102、图像检索模块103和用户接口模块104；其中，所述图像特征提取模块101用于基于图像内容提取图像的特征并生成特征向量，所述图像数据存储模块102用于存储图像的特征信息，所述图像检索模块103用于根据图像的特征向量从所述图像数据存储模块中查找与所述特征向量匹配的特征信息所对应的图像，所述用户接口模块104用于接收用户输入的图像并输出匹配到的图像。本实施例的动漫图像处理系统，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理进而形成设计者需要的素材。

在本实施例中，所述图像特征提取模块101用于提取图像的底层特征，包括颜色特征、纹理特征和形态特征。颜色特征是图像最鲜明的特征信息，是用户第一眼就能发现的最直观的信息；纹理特征体现了图像的局部空间特征，包括图像的轮廓、边缘等信息，主要用来描述图像中两个像素点之间的关系，包括相关度、方向性以及粗糙度；形状特征用来描述图像中各对象的整体结构特点。

具体的，对于颜色特征提取，采用颜色矩的策略主要是针对色度关于长度的分配表现数据，其表现了像素特性和空间特性之间的关系和某部分像素特点排布以及全部像素特点排布的相互关系，获取的数据信息测算方式简单，所涉及的区域较小，并且达到较好的处理效用。

对于纹理特征提取，系统主要通过灰度共生阵列方法实现纹理特征提取。灰度的共生阵列方案主要考量集合方位的像素的灰度关联性，并且将像素产生时的灰度标准概率实现纹理特点表述，此外能够数字化地表现画面的纹理特点。图像的纹理特点描述种类很多，系统根据动漫图像的特点，测算和选取惯性阵列、熵、能量值以及相关特性这四个特点即可完成图像纹理特点的准确描述。

对于形态特征提取，系统采用高斯-拉普拉斯算子提取边缘特征，首先对图像进行消噪平滑处理，减小了噪声对图像边缘的影响，然后再对图像进行边缘提取。

对颜色、纹理和形态特征提取后，数字化将图像特征转换为多个维度的特征矢量，存储在数据存储模块102中。

所述图像数据存储模块102包括图像库、特征信息库和索引库，所述图像库用于存储图像，所述特征信息库用于存储图像的特征信息，所述索引库用于存储所述特征信息库中的特征信息与所述图像库中对应的图像的索引关系，这样可以减小数据库的压力。用户在检索时，系统只需要获取用户输入图像的特征信息，并与特征信息库中的特征信息匹配，匹配成功后根据索引库中的索引关系从所述图像库中查找对应的图片，减少了系统的运算量，从而减小数据库的压力。

此外，所述用户接口模块104支持bmp、jpeg等多种格式的数据，用户还可以通过所述用户接口模块104调用MATLAB功能对输出的图像继续进行处理，以获得满意的动漫素材。

本实施例的动漫图像处理系统，可以进行基于内容的图像检索，当检索到所需图像时，利用系统自带的功能进行图像预处理，然后再使用专业图像工具进行优化处理进而形成设计者需要的素材。

如图2所示，为本发明实施例二的动漫图像处理系统的结构示意图。在实施例一的基础上，本实施例还包括图像采集模块105和图像预处理模块106。所述图像采集模块105用于获取素材图像，并利用FPGA或者DSP对获取到的素材图像进行处理，以便后来利用图像制作工具进行处理。所述图像预处理模块106用于对素材图像进行预处理和压缩编码，图像采集模块105采集的图像，往往作为动漫的素材，在使用之前，需要利用专用软件进行处理。图像预处理模块106主要用于动漫图像的预处理以及压缩编码等操作，其中预处理主要是指图像变换、图像增强和图像恢复。图像变换是指一种域的变换，包括时域处理和频域处理；图像增强是指增强图像的对比度，改善图像的显示效果；图像恢复是指恢复原先的图像；图像压缩编码是指根据ISO和ITU制定的标准对图像进行压缩编码。

对于动漫图像中的背景一般由摄像器材拍摄，经过简单的处理保存起来，对于动漫图像素材需要在图像数据存储模块102中进行搜索。系统采用基于内容的图像检索方式，用户需要提供需要检索的动漫图像模板，图像经过预处理后进行特征提取，然后系统进行图像检索并按照相似度由高到低的顺序将结果反馈给用户，或者只将相识度最高的结果反馈给用户，用户得到检索结果后与图像背景进行合成，经过图像处理得到最终的动漫图像。

图3为动漫图像颜色特征提取的流程图，对于颜色特征提取，采用颜色矩的策略主要是针对色度关于长度的分配表现数据，其表现了像素特性和空间特性之间的关系和某部分像素特点排布以及全部像素特点排布的相互关系，获取的数据信息测算方式简单，所涉及的区域较小，并且达到较好的处理效用。选用根据颜色和空间实现卡通画面搜索的方式，这种方式主要针对画面的空间依据长方形的特点进行分布，并且针对各个分布给出对应的色度特征选取的部分，因而实现色度分布的主要特征矢量模块的排布；针对图像的相似程度测量时，仅需要把两种图像所包括的颜色分布主要特征的序列依据整幅图像实现搜索。这样的方式较为简便，并且能够精准和变换地实现画面的颜色特点表示，进而提升搜索的精准程度。

本实施例选用整幅图像以及子图像实现以为阵列，二维中心矩阵的划分。将三维中心矩阵S用作卡通图画或者其子区间的色度主要特征实现特征的指引，其中，以为中心矩阵，二维中心矩阵以及三维中心矩阵，各自表述整个图画以及子区域图画之中的速度平均值，标准方差结果以及三次根的非对称特点，能够采用如下的式子进行表示：

此中A表述整个画面的像素个数综合(图画分布面积Area),p_ij表述整个画面的空间二维坐标形式(i,j)所综合构建的HSV像素结果。采用该方式能够建立色度的主要特点矢量Vector(E,σ,S)进行整幅图画以及局部图画中的的表现两幅图画以及两幅图画中相应子区域的近似结果能够采用所相对的色度排布特点实现相似程度的衡量，进而能够获取这样的近似解析式：

D(Q,I)＝D(Vector_Q,Vector_I)＝W_E|E_Q-E_I|+W_σ|σ_Q-σ_I|+W_S|S_Q-S_I|，

其中，Q代表所搜索的画面，I代表服务装置中的摸个画面。W_E代表色度排布的均值参量部分的值，W_Q表述色度排布的标准方差模块的权值，W_S表达速度排布的三次根值的不对称的特征的权重结果。E_Q与E_I分别代表两幅画面的色度特性排布的均值量，σ_Q与σ_I和两幅画面的色度排布标准方差结果相对应，S_Q与S_I表述了两幅画面的颜色排布与三次根值结果的不对称分量值。

式子中的权重结果采用以下方案实现调控。譬如画面数据集合都是在相同光照的标准之下得到，因而能够给出W_E＞W_σ,W_E＞W_S；若画面的信息集合中的图画都是在相应的光照条件下得到的，则能够进行以下的设定；若图画信息集合中的画面在不同状况之下的光照标准下得到相应的户外的图画，则色度的分布均值也许包括了不稳定的消息，因而可以设定一个值较小的结果。

通常状况下，大众对整幅图画的核心模块更加有兴趣(产生兴趣的模块就是目标模块),因而把核心部分和间隔部分位置较为接近的模块的值设定为较大的结果则是科学的(由于人眼的习惯为对目标的捕捉更加明确)，若用户所感到有趣的区域不在核心部分，则能够依据边缘搜素和目标检索的方式进行目标的方位确定，并且针对图像中有趣部分的中间模块实现修饰，将目标的运动部分和转动部分的变换和搜索结果对接，得到大众通常所关注的不同背景之中的同类部分(即目标部分),即由于不同画面背景的差异，包含的目标相应，大众将其归结为和标准相似的画面，并且依据视觉模块的心理特点和实验方式将各个部分的权重结果进行相应的给定：

W＝(W₁,W₂,W₃,W₄,W₅,W₆,W₇,W₈,W₉)

＝(0.28,0.26,0.13,0.1,0.09,0.04,0.04,0.04,0.02)

此外在现实的采用中，需要根据块的尺寸进行科学地划分，若由于块过大就减弱分块的作用，则不能够充分表述速度的排布特点，分块的尺寸都会对搜索的过程产生影响。此外简约的分块方式也包含很对不足。首先，该方式将图像中的主要部分分割在不同的块之中，对图像的整体特性产生影响，并且也削弱了画面的搜索精准程度；此外，人眼首要关心的区域为图像的核心部分，但是以上的分块方式并没有给出主题结果。进而由于没有充分考量各个模块之间的相互联系，也没有削弱图像的转换或者主要部分的位置特点所给出的作用。

图4为动漫图像纹理特征提取的流程图，系统主要通过灰度共生阵列方法实现纹理特征提取。灰度的共生阵列方案主要考量集合方位的像素的灰度关联性，并且将像素产生时的灰度标准概率实现纹理特点表述，此外能够数字化地表现画面的纹理特点。图像的纹理特点描述种类很多，系统根据动漫图像的特点，测算和选取惯性阵列、熵、能量值以及相关特性这四个特点即可完成图像纹理特点的准确描述。

图像纹理特征提取的步骤如下：

步骤1：通过下列公式将图像转换为灰度图像，灰度级别数目256。

Gray＝0.3*R+0.59*G+0.11*B

步骤2：基于图像特征的变换范围是从O至255,总共256个级别,依据此特点得到的像素数目为256×256。依据人眼的特点,很多卡通画面的类似程度主要采用一些较为糙的纹理特点搜构建的，过于细微的纹理使得人眼没有办法获取，因而增大了计算数量,因而为了削弱计算的繁杂程度，本文在获取共生阵列之前，需要将初始的画面实现压缩。本课题将卡通画面变换为八个层次的灰度图画，因而所获取的灰度共生阵列的层次数目能够极大程度地削弱灰度共生矩阵的计算繁杂程度。

步骤3：构建4个阶数为8×8的阵列,其功能是放置几个不同方向(0度，45度，90度，135度)的共生阵列，进而,选取一个契合的像素简短部分，并且依据灰度的共生阵列的方位和某个选定的方位给出对应，在本课题中进行间隔的预设：d＝l。

步骤4：从上一步的统筹结果中,能够获取整个图像的关于4个方位的灰度共生阵列，并且针对各个灰度共生阵列采用纹理特点进行获取，统筹关于灰度共生阵列的特点上构建的纹理特点参数，此外给出纹理特点的一致特性，纹理特点对比特性以及纹理的相关特点，选取Q1、Q2、Q3、Q4表述：

步骤5：采用卡通画面的四个模块以及四个纹理特性值，构建相应的4×4的矩阵,最终采用各种纹理特性值的平均结果μ_i和标准的方差结果δ_i采用为本文的纹理特点。

F＝(μ₁,μ₂,μ₃,μ₄,δ₁,δ₂,δ₃,δ₄)

基于上述的八个分量结果的物理特点和获取结果的不同,采用归一化的原理构建。进行搜索能够选用欧式距离实现测量,测算出搜索的动漫画面和画面集合中的相似程度进行比较之后，依据相似程度的大小实现排列，并且得到多个检索值，进而选取共生矩阵的方式得到纹理特点的方法易于完成，并且测算的数量小，特征获取的速度较快，此外特征矢量的层次较少，给出画面的空间空间依赖特带你，表现得到纹理状态下的像素灰度关联。并且依据灰度共生阵列的方式，得到画面的底层纹理特点。

图5为动漫图像形态特征提取的流程图，对于形态特征提取，系统采用高斯-拉普拉斯算子提取边缘特征，首先对图像进行消噪平滑处理，减小了噪声对图像边缘的影响，然后再对图像进行边缘提取。在使用高斯-拉普拉斯模板进行图像边缘提取时，发现图像内部有一些噪声。为了提高图像提取的效果，设定了阈值，当某一像素点的灰度大于该阈值，并且当它与周围像素点存在一定的灰度突变时，把这个像素点视为边缘点进行加强，反之，则视为噪声进行消除。

优选的，对于图像检索，用户提交检索图样后，进行图像特征提取，然后需要与图像特征库中的信息进行比对分析，从而找到与用户所交图像相似度最高的图像。其中，相似性匹配模块就是利用某种算法进行图像比对分析的。系统在分析时采用相似度函数，距离度量可采用不同距离，常用的有Lp距离、余弦距离等，这里选择最简单的欧氏距离作为距离度量。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种动漫图像处理系统，其特征在于，包括图像特征提取模块、图像数据存储模块、图像检索模块和用户接口模块；

2.根据权利要求1所述的动漫图像处理系统，其特征在于，所述图像特征提取模块用于提取图像的底层特征。

3.根据权利要求2所述的动漫图像处理系统，其特征在于，所述底层特征包括颜色特征、纹理特征和形态特征。

4.根据权利要求3所述的动漫图像处理系统，其特征在于，所述图像特征提取模块通过下式将图像转换为灰度图像：

Gray＝0.3*R+0.59*G+0.11*B

其中，灰度级别数目为256。

5.根据权利要求3所述的动漫图像处理系统，其特征在于，所述图像特征提取模块在通过高斯-拉普拉斯算子提取边缘特征的过程中，先对图像进行消噪平滑处理，以减小噪声对图像边缘的影响，然后再对图像进行边缘提取。

6.根据权利要求1所述动漫图像处理系统，其特征在于，所述图像数据存储模块包括图像库、特征信息库和索引库，所述图像库用于存储图像，所述特征信息库用于存储图像的特征信息，所述索引库用于存储所述特征信息库中的特征信息与所述图像库中对应的图像的索引关系。

7.根据权利要求1所述动漫图像处理系统，其特征在于，还包括图像采集模块，所述图像采集模块用于获取素材图像。

8.根据权利要求7所述动漫图像处理系统，其特征在于，还包括图像预处理模块，所述图像预处理模块用于对素材图像进行预处理和压缩编码。

9.根据权利要求1所述动漫图像处理系统，其特征在于，所述图像检索模块利用相似性匹配算法对图像进行多种特征的综合匹配，并根据所述多种特征的权重综合出相似性的数值。

10.根据权利要求1所述动漫图像处理系统，其特征在于，所述用户接口模块还用于将匹配到的图像与图像背景合成，输出经过图像处理的最终动漫图像，所述图像背景为用户预先设置的图像背景。