CN109255807A - 一种图像信息处理方法及服务器、计算机存储介质 - Google Patents

Abstract

本发明公开了一种图像信息处理方法及服务器、计算机存储介质，其中，所述方法包括：获取第一图像；分割所述第一图像，得到至少两个第一子图像；对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；将标签信息和形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

Description

一种图像信息处理方法及服务器、计算机存储介质

技术领域

本发明涉及信息处理技术，尤其涉及一种图像信息处理方法及服务器、计算机存储介质。

背景技术

图像信息处理领域中，可以采用专业的图像编辑软件，如photoshop等对图像信息进行编辑，也可以采用大众的图像编辑软件，如美图秀秀等对图像信息进行编辑。除此之外，还可以采用其它图像编辑工具利用图像优化算法实现对图像信息的编辑。

专业的图像编辑软件，并不是普通用户可以驾轻就熟使用的图像编辑工具，虽然可以达到不错的图像编辑处理效果，但是适用性比较窄；而大众的图像编辑软件，对于普通用户来说更加简单易上手，适用性比较广泛，但是图像编辑处理效果通常是简单的拼接，导致图像编辑处理效果一般，或者，利用已有的模板来自动生成，并不能随心所欲得到用户需要的个性化图像编辑处理效果。至于其它图像编辑工具，也存在各种各样的问题。

一个需要解决的问题是：用户可能会随性的画一个草图，希望得到具备丰富纹理的个性化图像编辑处理效果。其中，所谓纹理指：图像信息中的彩色图案或者线型等。以物体表面的纹理而言，可以为物体表面呈现凹凸不平的沟纹或花纹。

然而，相关技术中，对于该问题，尚无有效解决方案。

发明内容

有鉴于此，本发明实施例提供了一种图像信息处理方法及服务器、计算机存储介质，至少解决了现有技术存在的问题。

本发明实施例的技术方案是这样实现的：

本发明实施例的一种图像信息处理方法，所述方法包括：

获取第一图像；

分割所述第一图像，得到至少两个第一子图像；

对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；

对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；

提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；

将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；

将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

上述方案中，对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值；

当所述边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

上述方案中，对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值；

当所述边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。

上述方案中，对所述图像边界信息中缺失的部分进行形状补全，包括：

根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果；

将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象；

根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

上述方案中，所述方法还包括：

将所述每一个第一子图像的轴线作为基准方向；

获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点；

将所述特征点的切线方向作为像素点方向轨迹的参考方向；

将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向；

根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

上述方案中，将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息，包括：

根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息；

根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

上述方案中，将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像，包括：

根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息；

将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

本发明实施例的一种服务器，所述服务器包括：

获取单元，用于获取第一图像；

分割单元，用于分割所述第一图像，得到至少两个第一子图像；

标注单元，用于对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；

补全处理单元，用于对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；

提取单元，用于提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；

比对单元，用于将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；

合成单元，用于将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

上述方案中，所述补全处理单元，进一步用于：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值；

当所述边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

上述方案中，所述补全处理单元，进一步用于：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值；

当所述边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。

上述方案中，所述补全处理单元，进一步用于：

根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果；

将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象；

根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

上述方案中，所述服务器还包括：方向场生成单元；

所述方向场生成单元，用于：

将所述每一个第一子图像的轴线作为基准方向；

获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点；

将所述特征点的切线方向作为像素点方向轨迹的参考方向；

将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向；

根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

上述方案中，所述比对单元，进一步用于：

根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息；

根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

上述方案中，所述合成单元，进一步用于：

根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息；

将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

本发明实施例的一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于上述方案中任一项所述的图像信息处理方法。

本发明实施例的图像信息处理方法，包括：获取第一图像；分割所述第一图像，得到至少两个第一子图像；对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

采用本发明实施例，不需要专业的图像编辑软件，也可以得到不错的图像编辑处理效果，而且，对于用户可能随性画的一个草图，即便草图上没有任何纹理信息，通过本发明实施例的图像编辑策略，如将第一图像分割为第一子图像、对第一子图像进行图像标注、图像补全等，经对第一图像的优化处理后，再进行将标注得到的标签信息和形状特征描述参数与已构建的纹理库进行比对，可以得到对应的纹理信息。从而将添加纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到第二图像。本发明实施例提供的图像编辑策略，对于普通用户来说更加简单易上手，还可以得到具备丰富纹理的个性化图像编辑处理效果。

附图说明

图1为采用本发明实施例的图像处理策略所得到的处理前和处理后图像的对比示意图；

图2为本发明实施例中进行信息交互的各方硬件实体的示意图；

图3为本发明实施例一方法实现流程示意图；

图4-5为应用本发明实施例的方向场生成的示意图；

图6为本发明实施例一系统架构组成示意图；、

图7为应用本发明实施例一应用场景中分割、标注的示意图；

图8为应用本发明实施例一图像处理流程的示意图。

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

在下面的详细说明中，陈述了众多的具体细节，以便彻底理解本发明。不过，对于本领域的普通技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细说明公开的公知方法、过程、组件、电路和网络，以避免不必要地使实施例的各个方面模糊不清。

另外，本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等，不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如，第一操作可以被称为第二操作，第二操作也可以被称为第一操作，而不脱离本发明的范围，第一操作和第二操作都是操作，只是二者并不是相同的操作而已。

本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本发明实施例中的步骤描述只是可选的顺序组合，并不代表本发明实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本发明的限制。

本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。

本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如，本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable Media Player)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图2为本发明实施例中进行信息交互的各方硬件实体的示意图，图2中包括：终端设备1和服务器2。其中，终端设备1由终端设备11-14构成，终端设备通过有线网络或者无线网络与服务器进行信息交互。终端设备包括手机、台式机、PC机、一体机等类型。采用本发明实施例，比如，终端设备通过所安装的一个应用输入手绘的草图，该草图是用户随机画的一个不包括任何纹理信息的图，如图1中A1所指示区域中的图像所示。该应用不限于图像编辑应用，也可以是记事本应用等，比如，突然想到一个特别好的构思，用户在图像编辑应用或记事本应用上实时画了个草图。当然，也可以是用户将已经在纸张上画好的一个草图，通过图像采集工具，如照相机应用将该草图拍下来。无论哪一种应用，或者不需要应用，只要终端设备本身具备图像采集功能，那么，就可以将在终端上实时画的草图，或者通过其他渠道得到的已有草图，通过终端设备与服务器的通信交互，将获取的草图发送给服务器侧进行处理，以通过服务器侧的图像编辑处理逻辑得到如图1中A2所指示区域中的图像，该图像具备纹理信息。从而，将用户随意的一个草图，经图像处理后得到具备丰富纹理的个性化图像编辑处理效果。其中，所谓纹理指：图像信息中的彩色图案或者线型等。以物体表面的纹理而言，可以为物体表面呈现凹凸不平的沟纹或花纹。

在服务器侧执行的该图像编辑处理逻辑10如图2所示，处理逻辑10包括：S1、获取第一图像，分割所述第一图像，得到至少两个第一子图像。S2、对至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征标签信息所标注的每一个第一子图像的特征。S3、对至少两个第一子图像中所缺失的图像边界信息进行补全处理后，提取至少两个第一子图像中每一个第一子图像的轴线，根据每一个第一子图像的轴线得到待合成第二图像的中轴线，将标签信息和形状特征描述参数与已构建的纹理库进行比对，得到对应每一个第一子图像的纹理信息。S4、将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

上述图2的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图2所述的系统结构，基于上述图2所述的系统架构，提出本发明方法各个实施例。

本发明实施例的图像信息处理方法中，如图3所示，该方法包括：获取第一图像(101)。分割所述第一图像，比如使用图像动态分割算法实现草图分割，可以得到至少两个第一子图像(102)。对所述至少两个第一子图像分别进行标注(103)，比如，对图像进行语义标注。以图1中A1所指示区域中的人物肖像为例，语义标注可以是人物肖像的脸、脖子、手臂等等，通过对图像进行语义标注可以得到标签信息(1041)，进一步，还可以通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征(1042)，比如，从所述标签信息所标注的对象中提取出用于形状特征描述参数，形状特征描述符可以是三角形或圆形等等，由于服务器作为机器，区别于用户本身，实际上并不知道是脸还是其它部分，那么，机器是通过形状特征描述符来识别当前是脸还是其它部分。

本实施例中，可以使用形状特征描述符做初步的语义标注，如若不满意，再进行标注的人工修正处理。

本实施例中，可以对所述至少两个第一子图像中所缺失的图像边界信息(如线段、弧度等)进行补全处理(105)。比如，由于用户所绘制的草图边界往往并不完整，因此，对后续的纹理合成等带来困难。1)对于小的缺口，使用边缘抽取和连接算法进行补全，比如，提取图像边缘(包括直线和/或弧线等)，根据提取的图像边缘可以判断出所缺失的部分是一个圆，则需要通过连接算法将缺失的部分补全为一个圆。即使用基于Canny算子的图像边缘提取算法提取图像边缘，判断所有两个相近但不相连的边缘端点之间的距离，如果小于一定阈值，就将其自动连接在一起。2)对于大的缺失，则需要借助结构对称等信息进行智能补全或人工辅助补全，即使用形状特征描述符做局部形状的相似性匹配，匹配度高的局部形状则被认为是相似形状，进而使用边缘相对完整的形状补全另外一个形状。比如，服务器作为机器，区别于用户本身，实际上是不知道当前为什么形状的，那么，就需要通过形状描述符进行相似度匹配，比如，三角形和三角形的相似度为70％，三角形和圆的相似度为40％，则，说明当前形状应该为三角形。

本发明实施例中，还可以先不予以切割。具体的，采取上述补全处理的处理逻辑，即分别采用对于小的缺失和对于大的缺失两种不同的逻辑，针对未切割的第一图像作为目标对象进行处理。也就是说，无论是对未切割的第一图像，还是针对切割第一图像所得到的第一子图像，都可以采用同样的补全处理的处理逻辑。对未切割的第一图像中缺失部分执行补全处理后，可以对其进行切割，以便对切割得到的第二子图像进行标注。以图1中A1所指示区域中的人物肖像为例，语义标注可以是人物肖像的脸、脖子、手臂等等，通过对图像进行语义标注可以得到标签信息，进一步，还可以通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征。

本发明实施例中，还可以提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线(106)，以便后续根据所述中轴线生成方向场。将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息(107)，将添加纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像(108)。也就是说，可以将标签信息和形状特征描述参数与已构建的纹理库比对，得到纹理信息；以中轴线为基准生成方向场后，基于方向场进行纹理合成，从而得到带有方向的纹理，根据带有方向的纹理得到的第二图像能体现出更加丰富纹理的图像处理效果。

采用本发明实施例，第一图像是用户输入的草图(没有任何纹理信息)，在服务器对该第一图像进行分割(如图像碎片化)、标注和补全后，从服务器已经构建的纹理库中得到相应的纹理信息，再将分割后(如图像碎片化)的图像重新合成为一副第二图像(具备用户所需的纹理信息)。进一步的，本实施例中，还可以生成方向场以得到具备方向场的纹理信息。

本发明实施例中，针对上述纹理分析和优化处理，不需要原图具有明显的纹理特征，即便用户输入的图像为不带有任何纹理信息的草图，依然可以得到所需的纹理信息。由于是得到具备方向场的纹理信息，因此，后续根据该具备方向场的纹理信息所得到的纹理并不是简单的合成重复性的纹理，从而，可以合成得到带有方向的复杂纹理效果，实现语义丰富的纹理合成结果(或称为实现更加丰富纹理的图像处理效果)。与已有纹理库的比对，得到复杂纹理的效果，可以体现出多个图像的艺术风格，而不是仅仅合成单一风格的图像处理效果。

本发明实施例中，可以提取图像边界信息，判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值。当该边缘端点间的距离小于指定阈值时，则图像边界信息中缺失的部分符合第一策略，具体的，第一策略可以为边界信息缺失部分实现自动连接策略。然后，根据该第一策略对图像边界信息中缺失的部分进行边缘端点的自动连接，从而，实现了对至少两个第一子图像中所缺失的图像边界信息的补全处理。比如，服务器作为机器，区别于用户本身，实际上是不知道当前为什么形状的，那么，就需要通过形状描述符进行相似度匹配，比如，圆形和圆形的相似度为70％，圆形和矩形的相似度为40％，则，说明当前形状应该为圆形，则用圆形对另一个缺失部分进行形状补全。一个实际应用中，用户所绘制的草图边界往往并不完整，对后续的纹理合成等带来困难。对于小的缺口，使用边缘抽取和连接算法进行补全，即使用基于Canny算子的图像边缘提取算法提取图像边缘，判断所有两个相近但不相连的边缘端点之间的距离，如果小于一定阈值，就将其自动连接在一起。

本发明实施例中，也可以提取所述图像边界信息，判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值。当该边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，具体的，第二策略可以为将边界信息缺失部分按照形状特征描述参数(如形状特征描述符)实现局部形状相似匹配的策略。然后，根据该第二策略则对图像边界信息中缺失的部分进行形状补全。一个实际应用中，用户所绘制的草图边界往往并不完整，对后续的纹理合成等带来困难。对于大的缺失，则需要借助结构对称等信息进行智能补全或人工辅助补全，即使用形状特征描述符Shape Context做局部形状的相似性匹配，匹配度高的局部形状则被认为是相似形状，进而使用边缘相对完整的形状补全另外一个形状。

本发明实施例中，在对图像边界信息中缺失的部分进行形状补全的过程中，可以根据形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果，将至少两个匹配结果中相似性匹配高的局部形状确定为补全对象，该补全对象为边缘相对完整的形状。根据该补全对象对所述图像边界信息中缺失的部分进行形状补全。一个实际应用中，由于，补全对象是匹配结果中相似性匹配高的局部形状，比如，通过形状描述符进行相似度匹配，比如，三角形和三角形的相似度为70％，三角形和圆的相似度为40％，则，说明缺失部分需要补全的形状是三角形，则用三角形进行形状补全处理。即：使用补全对象这一边缘相对完整的形状来补全另外一个形状(该形状为本实施例中图像边界信息中缺失的部分)，这种形状补全处理利用的是结构对称的原理。

本发明实施例中，还可以将所述每一个第一子图像的轴线作为基准方向，也就是说，将基准方向作为待合成纹理所在的纹理主方向。获取每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点(或称为种子点)。将特征点的切线方向作为像素点方向轨迹的参考方向，将每一个第一子图像的每一个像素点，根据该像素点方向轨迹进行调和差值运算，得到每一个像素点的方向。之后，根据上述基准方向、上述参考方向和/或上述每一个像素点的方向生成方向场信息。

在一个实施例中，如图4所示，获取第一子图像A(第一子图像A为圆形)中的像素点(像素点为至少一个，以离散形式分别于第一子图像A中)，根据至少一个像素点汇聚倾向确定第一子图像A的主方向B。获取位于该主方向上的像素点。之后，如图5所示，获取主方向B所在线段上的像素点，将该线段上的像素点的切线方向作为种子点方向。种子点可以为该第一子图像A中的特征点。确定了种子点方向后，能大体知道该第一子图像A中各个像素点大致所在的方向轨迹C，然后，基于该方向轨迹C，运用调和差值运算，再具体定位出该第一子图像A中每一个像素点的方向，最终，基于这些信息(基准方向、种子点方向、每一个像素点的方向)生成方向场信息。需要指出的是，在确定种子点方向时，由于切线方向是二向的，因此，为了平滑过渡，在进行后续调和插值运算时需要选择扭曲较小的方向作为最终的像素点方向。

一实际应用中，根据草图轮廓，采用中轴线提取算法得到每个对象的轴线，作为其主方向；从个性化考虑，允许手工画线来标注纹理方向，利用该线上像素点的切线方向作为种子点方向。利用调和插值求该对象中每个像素点的方向。注意切线方向是二向的，在进行调和插值的时候需要选择扭曲较小的方向。

本发明实施例中，可以根据标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息，根据形状特征描述参数，从该至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。从而，通过将标签信息和形状特征描述参数与已构建的纹理库进行比对，得到了对应上述每一个第一子图像的纹理信息。将添加的纹理信息的每一个第一子图像，以中轴线进行纹理合成，可以得到第二图像。具体的，可以根据方向场信息和对应每一个第一子图像的纹理信息得到带有方向的纹理信息，将该带有方向的纹理信息以所述中轴线进行纹理合成，得到第二图像。

一实际应用中，可以根据草图中用户标注的对象标签和提取的形状特征描述参数在纹理库中搜索得到待合成的纹理。具体为先根据对象标签搜索得到大量的候选纹理，再根据形状特征描述参数得到相对精确的纹理用于后续纹理合成。接着，利用上一步得到的方向场信息对原有的纹理合成算法，如Graph-cut算法进行扩充，使得合成纹理的主方向沿着草图所期望的方向进行延伸，比如，以中轴线为例，方向延伸可以是从中轴线开始发散，比如，向左延伸发散或向右延伸发散。同时对方向场的奇点(或称为转折点)精心考虑，在奇点处尽量选择纹理结构性不强的部分，避免奇点对形状的扭曲。

本发明实施例的一种图像信息处理系统，如图6所示，包括：终端41和服务器42，其中，终端设备可以将在终端上实时画的草图，或者通过其他渠道得到的已有草图，通过终端设备与服务器的通信交互，将获取的草图发送给服务器侧进行处理，以通过服务器侧的图像编辑处理逻辑得到如图1中A2所指示区域中的图像，该图像具备纹理信息。从而，将用户随意的一个草图，经图像处理后得到具备丰富纹理的个性化图像编辑处理效果。本实施例中，服务器42包括：获取单元421，用于获取第一图像；分割单元422，用于分割所述第一图像，得到至少两个第一子图像；标注单元423，用于对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；补全处理单元424，用于对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；提取单元425，用于提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；比对单元426，用于将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；合成单元427，用于将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

采用本发明实施例，第一图像是用户输入的草图(没有任何纹理信息)，在服务器对该第一图像进行分割(如图像碎片化)、标注和补全后，从服务器已经构建的纹理库中得到相应的纹理信息，再将分割后(如图像碎片化)的图像重新合成为一副第二图像(具备用户所需的纹理信息)。进一步的，本实施例中，还可以生成方向场以得到具备方向场的纹理信息。

本发明实施例中，补全处理单元，进一步用于：提取所述图像边界信息，判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值。当边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

本发明实施例中，补全处理单元，进一步用于：提取所述图像边界信息，判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值。当边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。一个示例中，补全处理单元，可以根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果，将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象。根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

本发明实施例中，服务器还包括：方向场生成单元。方向场生成单元，用于：将所述每一个第一子图像的轴线作为基准方向，获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点。将所述特征点的切线方向作为像素点方向轨迹的参考方向，将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向。根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

本发明实施例中，所述比对单元，进一步用于：根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息，根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

本发明实施例中，所述合成单元，进一步用于：根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息，将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

本发明实施例的一种计算机存储介质，可以是包括计算机程序的存储器，上述计算机程序可由数据处理装置的处理器执行，以完成前述实施例中方法所述步骤。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。

该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行如下图像信息处理方法的步骤。

该计算机可读存储介质位于服务器侧时，包括如下内容：

一实施例中，该计算机程序被处理器运行时，执行：

获取第一图像；

分割所述第一图像，得到至少两个第一子图像；

对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；

对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；

提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；

将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；

将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

一实施例中，该计算机程序被处理器运行时，执行：

对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值；

当所述边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

一实施例中，该计算机程序被处理器运行时，执行：

对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值；

当所述边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。

一实施例中，该计算机程序被处理器运行时，执行：

根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果；

将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象；

根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

一实施例中，该计算机程序被处理器运行时，执行：

将所述每一个第一子图像的轴线作为基准方向；

获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点；

将所述特征点的切线方向作为像素点方向轨迹的参考方向；

将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向；

根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

一实施例中，该计算机程序被处理器运行时，执行：

根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息；

根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

一实施例中，该计算机程序被处理器运行时，执行：

根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息；

将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

当然，不排除该计算机存储介质位于终端侧的情况，只要执行上述图像信息处理方法的步骤不会导致终端耗电，或者占用终端资源等即可。

这里需要指出的是：以上涉及终端和服务器项的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。对于本发明终端和服务器实施例中未披露的技术细节，请参照本发明方法流程描述的实施例所描述内容。

以一个现实应用场景为例对本发明实施例阐述如下：

采用本发明实施例，可以基于用户随手画的一张草图自动生成一张具备艺术风格的图像。可以在无任何纹理信息的草图输入基础上生成具体丰富纹理的艺术图像。此外，艺术图像常常使用纹理信息来表达丰富的语义，例如梵高的《星空》中纹理的方向。传统的纹理合成方法倾向于合成重复性的纹理，不能合成带有方向的复杂纹理，所以，如何合成带有方向的纹理，实现语义丰富的纹理合成结果是需要解决的技术难度。由于，基于草图的交互方式相比于文本等方式更直观地描述用户需求，其自由度高和表现力丰富，因此，越来越受到关注。本应用场景中，采用维也纳分离派艺术风格为例，其特点是以相似的精制图样为特征，强调结构、有象征意义的碎片，并把这些碎片有机组合在一起，特别适合计算机的自动生成，从而达到输入草图、输出是具有维也纳分离派风格的图像的图像处理效果。包括：对草图进行分割、标注与补全；然后构建一个具有维也纳分离派风格的纹理库；最后生成方向场，进行基于方向场的纹理合成，确保合成结果既语义合理又视觉美观。

如图8所示的一个图像处理流程中，包括如下步骤：

步骤301-302、输入草图，草图的分割。

步骤303、对草图进行语义标注，可以使用形状特征描述符(Shape Context)做初步语义标注，再人工修正。

步骤304、对草图进行补全，可以使用边缘抽取和连接算法补全草图的小缺口；借助结构对称等信息进行大缺口的智能补全。

步骤305、生成方向场，可以使用中轴线提取算法得到每个对象的轴线，作为其主方向；再利用调和插值求该对象中每个像素点的方向。

步骤306、得到所生成的方向场，可以使用草图对象标签和形状搜索纹理库；再利用方向场信息对原有的Graph-cut纹理合成算法进行扩充。用草图对象标签和形状搜索纹理库；再利用方向场信息对原有的Graph-cut纹理合成算法进行扩充。

步骤307、输出维也纳分离派风格的图像。

后续，具体对本应用场景中的具体处理机制进行描述。

(一)草图的分割、标注与补全

首先使用图像动态分割算法实现草图分割。然后使用形状特征描述符ShapeContext做初步的语义标注，如若不满意，再进行人工修正标注。

用户所绘制的草图边界往往并不完整，对后续的纹理合成等带来困难。对于小的缺口，使用边缘抽取和连接算法进行补全，即使用基于Canny算子的图像边缘提取算法提取图像边缘，判断所有两个相近但不相连的边缘端点之间的距离，如果小于一定阈值，就将其自动连接在一起。而对于大的缺失，则需要借助结构对称等信息进行智能补全或人工辅助补全，即使用Shape Context做局部形状的相似性匹配，匹配度高的局部形状则被认为是相似形状，进而使用边缘相对完整的形状补全另外一个形状。

(二)维也纳分离派风格的纹理库构建

构建了一个小型的维也纳分离派风格纹理库，包括200幅纹理图像、图像的标签、颜色直方图、Gabor特征、位置信息和纹理之间的关系。同时，记录纹理的Shape Context形状特征描述符，便于匹配最佳的草图轮廓。

如图7所示，如D1-D3所标识的不同区域中，D1标识区域中的图像为克里姆特的一个作品，D2标识区域中的图像为图像分割结果及标注结果，D3标识区域中的图像为纹理库元素。具体构建方法是，搜集尽可能全的克里姆特的作品；使用分水岭算法对每幅作品进行图像分割，对于分割不准确的部分人工纠正，然后对分割后的对象进行人工标注，如D2标识区域中的图像中的图像分割结果及标注结果所示；接着对每个对象提取颜色直方图、Gabor特征、形状特征描述符、位置信息和纹理之间的关系，用于后续草图对象匹配和纹理合成。

(三)方向场生成

根据草图轮廓，采用中轴线提取算法得到每个对象的轴线，作为其主方向；从个性化考虑，允许手工画线来标注纹理方向，利用该线上点的切线方向作为种子点方向。利用调和插值求该对象中每个像素点的方向。注意切线方向是二向的，在进行调和插值的时候需要选择扭曲较小的方向。

(四)纹理合成

根据草图中用户标注的对象标签和提取的形状特征描述符在纹理库中搜索得到待合成的纹理。具体为先根据对象标签搜索得到大量的候选纹理，再根据形状特征描述符得到相对精确的纹理用于后续纹理合成。接着，利用第三步得到的方向场信息对原有的Graph-cut纹理合成算法进行扩充，使得合成纹理的主方向沿着草图所期望的方向进行延伸，同时对方向场的奇点精心考虑，在奇点处尽量选择纹理结构性不强的部分，避免奇点对形状的扭曲。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像信息处理方法，其特征在于，所述方法包括：

获取第一图像；

分割所述第一图像，得到至少两个第一子图像；

对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；

对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；

提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；

将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；

将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

2.根据权利要求1所述的方法，其特征在于，对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值；

当所述边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

3.根据权利要求1所述的方法，其特征在于，对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理，包括：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值；

当所述边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。

4.根据权利要求3所述的方法，其特征在于，对所述图像边界信息中缺失的部分进行形状补全，包括：

根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果；

将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象；

根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

将所述每一个第一子图像的轴线作为基准方向；

获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点；

将所述特征点的切线方向作为像素点方向轨迹的参考方向；

将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向；

根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

6.根据权利要求5所述的方法，其特征在于，将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息，包括：

根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息；

根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

7.根据权利要求6所述的方法，其特征在于，将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像，包括：

根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息；

将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

8.一种服务器，其特征在于，所述服务器包括：

获取单元，用于获取第一图像；

分割单元，用于分割所述第一图像，得到至少两个第一子图像；

标注单元，用于对所述至少两个第一子图像分别进行标注，得到标签信息，通过形状特征描述参数表征所述标签信息所标注的每一个第一子图像的特征；

补全处理单元，用于对所述至少两个第一子图像中所缺失的图像边界信息进行补全处理；

提取单元，用于提取所述至少两个第一子图像中每一个第一子图像的轴线，根据所述每一个第一子图像的轴线得到待合成第二图像的中轴线；

比对单元，用于将所述标签信息和所述形状特征描述参数与已构建的纹理库进行比对，得到对应所述每一个第一子图像的纹理信息；

合成单元，用于将添加所述纹理信息的每一个第一子图像以所述中轴线进行纹理合成，得到所述第二图像。

9.根据权利要求8所述的服务器，其特征在于，所述补全处理单元，进一步用于：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否小于指定阈值；

当所述边缘端点间的距离小于指定阈值时，所述图像边界信息中缺失的部分符合第一策略，则对所述图像边界信息中缺失的部分进行边缘端点的自动连接。

10.根据权利要求8所述的服务器，其特征在于，所述补全处理单元，进一步用于：

提取所述图像边界信息；

判断所述图像边界信息中所有两个相近但不相连的边缘端点间的距离是否大于等于指定阈值；

当所述边缘端点间的距离大于等于指定阈值时，所述图像边界信息中缺失的部分符合第二策略，则对所述图像边界信息中缺失的部分进行形状补全。

11.根据权利要求10所述的服务器，其特征在于，所述补全处理单元，进一步用于：

根据所述形状特征描述参数执行局部形状的相似性匹配，得到至少两个匹配结果；

将所述至少两个匹配结果中相似性匹配高的局部形状确定为补全对象；

根据所述补全对象对所述图像边界信息中缺失的部分进行形状补全。

12.根据权利要求8至11任一项所述的服务器，其特征在于，所述服务器还包括：方向场生成单元；

所述方向场生成单元，用于：

将所述每一个第一子图像的轴线作为基准方向；

获取所述每一个第一子图像中位于所述基准方向上的像素点，将位于所述基准方向上的像素点作为特征点；

将所述特征点的切线方向作为像素点方向轨迹的参考方向；

将所述每一个第一子图像的每一个像素点，根据所述像素点方向轨迹进行调和差值运算，得到每一个像素点的方向；

根据所述基准方向、所述参考方向和/或所述每一个像素点的方向生成方向场信息。

13.根据权利要求12所述的服务器，其特征在于，所述比对单元，进一步用于：

根据所述标签信息在所述纹理库中进行查询，得到至少一个候选纹理信息；

根据所述形状特征描述参数，从所述至少一个候选纹理信息中比对得到对应所述每一个第一子图像的纹理信息。

14.根据权利要求13所述的服务器，其特征在于，所述合成单元，进一步用于：

根据所述方向场信息和对应所述每一个第一子图像的纹理信息得到带有方向的纹理信息；

将所述带有方向的纹理信息以所述中轴线进行纹理合成，得到所述第二图像。

15.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至7任一项所述的图像信息处理方法。