CN106557783B - 一种漫画主要角色的自动提取系统及方法 - Google Patents

Abstract

本发明提供的一种漫画主要角色的自动提取方法,首先通过漫画人脸检测和识别技术,再结合统计学方法,从漫画角色在整部漫画中出现的次数、分布的离散程度以及漫画人脸区域面积的平均大小三个方面，综合衡量漫画角色的重要程度，从而提取出一部漫画的主要角色。本发明简单有效，可以较为准确地提取出一部漫画的所有主要角色，增强了对漫画内容的理解。

Description

一种漫画主要角色的自动提取系统及方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种漫画主要角色的自动提取系统及方法。

背景技术

漫画是由一系列排好顺序的静态图片组成，用来讲故事的艺术表现形式，其中包括背景，文字，漫画角色，视觉特效等基本元素。随着专业漫画制作工具和移动互联网设备的发展，漫画内容尤其是电子漫画，呈现出爆炸式增长的趋势，在一个国家文化产业中的占比越来越重要。面对日益增长的漫画内容，针对漫画内容提出的各种需求以及管理也变得越来越重要。例如，传统的基于元数据(漫画名称，作者名等信息)的检索方式已经不能满足用户的需求，而基于内容(漫画角色，文字，背景图等信息)的漫画检索则能够提供更加精准，方便和快捷的检索体验。另外，电子漫画内容的增多也使得盗版打击方面的工作不能仅仅依靠人工的方式，而需要一种能够自动识别相似漫画的方法或者装置。这些都建立在对漫画内容理解的基础之上。

当前针对漫画内容理解的研究主要集中在，漫画文字的提取，漫画角色和漫画版面的识别方面，主要是为了适应移动端阅读的需要，把适合传统PC端阅读的漫画按照分镜进行识别和分割。例如文献“C.Rigaud et al.Robust Frame and TextExtraction FromComic Books.Lecture Note in Computer Science,2011”提出一种漫画帧和文字提取方法。近几年的研究开始关注漫画基本元素之间的联系，例如文献“C.Rigaud et al.Speechballoon and speaker association for comicsand mangaunderstanding.ICDAR,2015”提出一种关联漫画角色和文字的方法，在漫画角色和文字之间搭建了一座“语义”的桥梁，使得从语义层面理解漫画角色成为可能。对于一部漫画而言，漫画内容的理解需要对漫画角色，漫画文字，特效背景以及分镜等基本元素进行理解，其中漫画角色尤其是主要角色的重要性不言而喻，漫画内容的理解离不开对于漫画主要角色的理解，而对于漫画主要角色理解的第一步就是要提取出漫画主要角色。但是当前在漫画主要角色的自动提取方面，国内外还鲜有人研究。

发明内容

本发明的目的在于提供一种漫画主要角色的自动提取系统及方法，解决了现有技术存在的问题。

为了达到上述目的，本发明采用的技术方案具体是：

本发明提供的一种漫画主要角色的自动提取方法，包括以下步骤：

S1，输入一部完整的漫画数据包，利用Viola-Jones检测框架，训练漫画人脸的级联分类器，以此来检测漫画人脸，并截取检测到的每个漫画人脸的区域图片，同时将每个漫画人脸的区域设定为四边形；

S2，对步骤S1中所截取的所有漫画人脸区域图片进行编号，并将与漫画人脸区域对应的图片编号、位置坐标以及该漫画人脸出现在整部漫画中的页码，输入信息数据库；

S3，对步骤S1中检测到的所有漫画人脸做聚类处理，聚类处理的结果为定义每一类人脸为漫画中的一个角色；

S4，统计步骤S3每个角色分类下的所有漫画人脸的个数；

S5，针对步骤S3中的每个角色，计算每个角色的变异系数；

S6，根据步骤S2中的人脸区域坐标，计算每个角色人脸区域的平均面积；

S7，根据步骤S4中每个角色的人脸个数、步骤S5中每个角色对应的映射数组的变异系数和步骤S6中每个角色人脸区域的平均面积，计算每个角色在整部漫画中的综合权重值；

S8，对步骤S7中计算的综合权重值，按照从大到小的顺序排序，依次输出综合权重值对应的角色人脸图片，即可得到一部漫画的所有主要角色。

优选地，步骤S2中所述的人脸区域位置坐标,是指漫画人脸区域四边形的左上坐标(x1,y1)和右下坐标(x2,y2)或四边形区域的右上坐标(x1,y1)和左下坐标(x2,y2)。

优选地，步骤S3中所述的第i个漫画角色人脸的个数为C_i，其中，0<i<N,N表示漫画角色个数，i取正整数。

优选地，步骤S5中所述第i个漫画角色的变异系数为CV_i，其数学定义为：

其中，S_i表示第i个漫画角色在所有页出现人脸个数的标准差，表示第i个漫画角色在所有页出现人脸个数的平均值。

优选地，所述第i个漫画角色在所有页出现人脸个数的标准差S_i的数学定义为：

优选地，第i个漫画角色在所有页出现人脸个数的平均值的数学定义为：

其中，X_ij为第i个漫画角色在第j页出现的人脸个数。

优选地，所述步骤S6中每个角色人脸区域的平均面积为AA_i，其数学定义为：

其中，x_ik表示第i个漫画角色的第k个人脸区域的面积。

优选地，所述步骤S7中每个角色在整部漫画中的综合权重值W_i，其数学定义为：

其中0<γ≤α≤β<1，且α+β+γ＝1，0<i<N,N表示漫画角色个数，i取正整数。

一种漫画主要角色的自动提取系统，包括漫画人脸检测模块、漫画人脸识别模块、漫画角色权重计算模块和漫画角色权重排序模块；其中，所述漫画人脸检测模块，用于接收一部漫画的电子图像文件，检测图片中所有的漫画人脸信息；所述漫画人脸识别模块，用于对检测到的全部人脸进行聚类处理，使每一个分类对应一个漫画角色；所述漫画角色权重计算模块用于计算每个角色在整部漫画中的综合权重；所述漫画角色权重排序模块，用于将每个角色的权重值按照从大到小的顺序排序，并依次输出权重值对应的漫画人脸。

优选地，所述漫画角色权重计算模块包括角色人脸统计模块，角色离散程度计算模块，角色人脸面积计算模块；其中，所述角色人脸统计模块，用于统计每个角色在整部漫画中的人脸个数；所述离散程度计算模块，用于计算每个角色在整部漫画中人脸分布的离散程度；所述角色人脸面积计算模块，用于计算每个人脸区域的面积和每个角色所有人脸面积的平均值。

与现有技术相比，本发明的有益效果是：

本发明提供的一种漫画主要角色的自动提取方法,首先通过漫画人脸检测和识别技术,再结合统计学方法,从漫画角色在整部漫画中出现的次数、分布的离散程度以及漫画人脸区域面积的平均大小三个方面，综合衡量漫画角色的重要程度，从而提取出一部漫画的主要角色。本发明简单有效地、自动地、且可以较为准确地提取出一部漫画的所有主要角色，增强了对漫画内容的理解。本发明涉及的漫画主要角色的自动提取方法填补了目前这方面的技术空缺。

附图说明

图1是漫画角色自动提取系统结构图；

图2是漫画角色自动提取流程图。

具体实施方式

为了克服上述现有技术的不足，本发明提供一种漫画主要角色的自动提取系统和方法，通过漫画人脸检测和识别技术，结合统计学方法，从漫画角色在整部漫画中出现的次数，分布的离散程度以及漫画人脸区域面积的平均大小三个方面，综合衡量漫画角色的重要程度，从而提取出一部漫画的主要角色。本发明简单有效，可以较为准确地提取出一部漫画的所有主要角色，增强了对漫画内容的理解。

一种漫画主要角色的自动提取方法，具体包括如下步骤：

1)输入一部完整的漫画数据包，检测数据包中所有的漫画人脸，并截取检测到的每个漫画人脸的区域图片；

2)将步骤1)中截取所得的每个漫画人脸区域图片对应的编号、人脸区域的位置坐标以及该漫画人脸出现在整部漫画中的页码，写入信息数据库；

3)使用漫画人脸识别方法对步骤1)中检测到的所有人脸做聚类处理，聚类处理的结果为定义每一类人脸为漫画中的一个角色；

4)统计步骤3)中每个角色所有人脸的个数，写入信息数据库；

5)针对步骤3)中的每个角色，将其分类下的所有人脸在漫画中出现的页码做映射处理，形成每个角色对于整部漫画的一个映射数组；

6)针对步骤5)中每个角色的映射数组，计算映射数组的变异系数；

7)根据步骤2)中记录的人脸区域位置坐标，计算该人脸区域的面积，再结合步骤3)的每个角色，计算每个角色人脸区域的平均面积；

8)根据步骤4)中每个角色的人脸个数、步骤6)中每个角色对应的映射数组的变异系数和步骤7)中每个角色人脸区域的平均面积，计算每个角色在整部漫画中的综合权重；

9)对步骤8)中计算的综合权重，按照从大到小的顺序排序，依次输出综合权重对应的角色人脸图片，即可得到一部漫画的所有主要角色；

进一步地，在步骤1)中所述的漫画人脸检测过程，利用Viola-Jones检测框架，训练漫画人脸的级联分类器，以此来检测漫画人脸。另外，检测区域设定为四边形。

进一步地，在步骤2)中所述的人脸区域位置坐标，只需要存储检测四边形的左上顶点和右下顶点，或者右上顶点和左下顶点的位置坐标；

进一步地，在步骤3)中所述的漫画人脸识别过程，通过比较两个人脸图片CMR-HOG特征向量之间的距离，比较其相似度，来判断两个人脸图片是否同一个角色。

进一步地，在步骤4)中所述的角色人脸个数，定义C_i为第i个漫画角色的人脸个数,0<i<N,N表示漫画角色个数，i取正整数。

进一步地，在步骤5)中具体的映射方法为：定义X_ij为第i个漫画角色在第j页出现的人脸个数，其中0<i<N，0<j<n，m>＝0，N表示漫画角色个数，n表示一部漫画的总页数，i，j和m取正整数。具体地，若某个角色在第j页有m个人脸图片，则X_ij＝m。

进一步地，在步骤6)中所述的变异系数是统计学中用来衡量一组样本离散程度的重要指标，定义CV_i为第i个漫画角色的变异系数，其中0<i<N,N表示漫画角色个数，i取正整数。其数学定义为：

其中，S_i表示第i个漫画角色在所有页出现人脸个数的标准差，表示第i个漫画角色在所有页出现人脸个数的平均值。

在实际应用中，使用n对总体离散程度的估计往往偏小，若以n-1代替n，则是无偏的。因此S_i的数学定义为：

进一步，在步骤7)中所述的每个角色人脸区域的平均面积在一定程度上代表一组样本的整体水平，定义AA_i为第i个漫画角色的人脸平均面积，其中0<i<N,N表示漫画角色个数，i取正整数。其数学定义为：

其中，x_ik表示第i个漫画角色的第k个人脸区域的面积。另外，如果记录的是四边形区域的左上坐标(x1,y1)和右下坐标(x2,y2)，那么人脸区域面积x_ik＝(x2-x1)*(y2-y1)，如果记录的是四边形区域的右上坐标(x1,y1)和左下坐标(x2,y2)，那么人脸区域面积x_ik＝(x1-x2)*(y2-y1)。

进一步地，在步骤8)中所述综合权重，定义W_i为第i个漫画角色的综合权重，其中0<i<N,N表示漫画角色个数，i取正整数。其数学定义为：

α表示每个角色的人脸个数相对综合权重的权重系数，β表示每个角色人脸个数映射数组的变异系数相对综合权重的权重系数，γ表示每个角色人脸区域的平均面积相对综合权重的权重系数，0<γ≤α≤β<1，且α+β+γ＝1，和分别表示第i个漫画角色人脸个数，人脸个数对应映射数组的变异系数和人脸区域平均面积使用均值化法进行无量纲化处理的结果。

权重系数可以在具体操作中，根据需要进行调整，但是一般认为漫画角色的离散程度重要性大于漫画人脸的个数，漫画人脸个数的重要性大于漫画人脸区域平均面积。

进一步地，在步骤9)中所述的综合权重越大，代表漫画角色在漫画中的重要性越高，由此，综合权重最高的即为一部漫画的第一主角，综合权重第二高的是第二主角，依此类推。另外，可以根据需要具体指定输出的主角个数。

本发明还提供一种实现上述漫画主要角色自动提取方法的系统，如图1所示，包括漫画人脸检测模块，漫画人脸识别模块，漫画角色权重计算模块和漫画角色权重排序模块。

漫画人脸检测模块，用于接收一部漫画的电子图像文件，检测图片中所有的漫画人脸，并记录检测人脸四边形区域的位置坐标，检测人脸在整部漫画中的页码等信息；

漫画人脸识别模块，用于对检测到的全部人脸进行聚类处理，聚类处理结果的每一个分类对应一个漫画角色。

漫画角色权重计算模块包括角色人脸统计模块，角色离散程度计算模块，角色人脸面积计算模块；

角色人脸统计模块，用于统计每个角色在整部漫画中的人脸个数；

离散程度计算模块，用于计算每个角色在整部漫画中人脸分布的离散程度；

角色人脸面积计算模块，用于计算每个人脸区域的面积，和每个角色所有人脸面积的平均值。

漫画角色权重排序模块，用于将每个角色的权重按照从大到小的顺序排序，并依次输出权重对应的漫画人脸。

实施例

如图2所示，本实施例的具体步骤如下：

1)输入一部漫画的电子图像文件(例如：jpg、png等格式的文件)，这些文件是由纸质漫画逐页扫描得到或者由漫画出版商提供的图像格式的漫画包。通过收集漫画人脸的正负样本数据，训练得到一个级联的漫画人脸检测分类器，以此用来检测输入漫画图像的所有漫画人脸区域，将该漫画人脸区域设置为四边形。

2)将步骤1)中检测到的所有漫画人脸区域图片、漫画人脸区域上的左上顶点和右下顶点的位置坐标以及漫画人脸在整部漫画中的页码保存到如表1所示的漫画人脸信息表。

表1

3)对步骤1)中检测到的所有人脸做聚类处理，其流程为：针对每一个检测到的人脸图片，建立与之对应的中心化多区域模型(CMR)，模型层级选取为6，然后使用方向梯度直方图(HOG)描述每一个模型的特性，最后使用Adaboost算法建立的决策树弱分类器得到每一个模型特性的CMR-HOG向量，通过比较漫画人脸图片对应的CMR-HOG向量之间的距离，就能判断两个漫画人脸图片是否同属一个漫画角色。具体地，首先创建一个本地漫画人脸数据库，数据库一开始为空，用步骤1)中检测到的人脸依次与本地漫画人脸数据库中的人脸进行对比，比较漫画人脸图片对应的CMR-HOG向量之间的距离。如果在本地漫画人脸数据库中找到匹配的人脸图片，则将比较的人脸图片编号写入匹配人脸图片的similarIds属性，同时将匹配人脸图片的repeat属性对应的值加1；如果在本地漫画人脸数据库中没有找到匹配的人脸图片，则将比较的人脸图片存入本地漫画人脸数据库，依次类推，直到所有的人脸都完成对比。

4)根据步骤3)，统计本地漫画人脸数据库的人脸图片个数，其中的每个人脸图片对应漫画中的一个角色，每个人脸图片的repeat属性对应的值即为该角色在整部漫画中出现的次数。

5)对步骤4)中每个人脸图片及其相似图片在整部漫画中出现的页码做映射处理，生成每个角色对应的映射数组。定义X_i＝{X_i1,...,X_ij,...,X_in}为第i个漫画角色的映射数组，其中0<i<N,N表示漫画角色个数，n表示一部漫画的总页数，X_ij表示第i个漫画角色在第j页出现的次数，特别地，如果漫画角色在第j页中出现的次数为0，则X_ij＝0。具体地，假设一部漫画一共有10页，其中某个角色在该部漫画中出现的页码分别是1,2,2,3,5，那么该角色对应的映射数组即为{1,2,1,0,1,0,0,0,0,0}。

6)根据步骤5)得到的每个角色的映射数组，分别计算其变异系数。在统计学中，标准差和变异系数都是表征一组样本离散程度的重要指标。标准差主要适用于均值相等或者接近的样本之间的离散程度比较，而变异系数则可用于均值不同的样本之间的离散程度比较。定义CV_i为第i个漫画角色的变异系数，其中0<i<N,N表示漫画角色个数，i取正整数。其数学公式定义为：

其中S_i为样本标准差， 为样本均值，

具体地，根据步骤4)中假设得到的映射数组{1,2,1,0,1,0,0,0,0,0}，其均值为(1+2+1+1)/10＝0.5，标准差为0.707，那么该映射数组的变异系数为0.707/0.5＝1.414。

7)根据步骤2)中记录的漫画人脸区域左上和右下位置坐标，可以计算每个漫画人脸区域的面积，其数学公式定义为：x_ik＝(x2-x1)*(y2-y1)，由此，结合步骤3)中生成的本地漫画人脸数据库，即可求得每个角色漫画人脸区域面积的平均值。

8)根据步骤4)，步骤6)和步骤7)中的方法，分别可以求得第i个漫画角色在整部漫画中出现的人脸个数，分布的离散程度以及漫画人脸区域面积的平均值，这里分别用C_i，CV_i和AA_i表示，其中0<i<N,N表示漫画角色个数，i取正整数。由此可以得到第i个漫画角色的综合权重W_i，其数学公式定义为：其中α，β和γ分别为漫画角色的人脸个数，人脸个数对应映射数组的变异系数和人脸区域平均面积相对综合权重的权重系数，0<γ≤α≤β<1，且α+β+γ＝1。权重系数可以根据需要进行调整，但是一般认为漫画角色在整部漫画中离散程度的重要性大于漫画角色的人脸个数，而漫画角色人脸个数的重要性大于人脸区域平均大小。具体地，设置β＝0.5，α＝0.3，γ＝0.2。由于人脸个数，变异系数和平均面积三个指标的单位各不相同，直接将它们用于综合评价是没有意义的，所以需要通过无量纲化处理将指标转化为无量纲的相对数。和分别表示第i个漫画角色人脸个数，人脸个数对应映射数组的变异系数和人脸区域平均面积使用均值化法进行无量纲化处理的结果。

9)对步骤8)求得的每个漫画角色的综合权重按照从大到小顺序排序，依次输出综合权重对应的漫画人脸图片，即可得到一部漫画的所有主要角色。特别地，可以由用户指定输出的漫画主要角色个数。具体地，设置角色个数N＝5。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解。在不脱离本发明及其所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种漫画主要角色的自动提取方法，其特征在于，包括以下步骤：

S1，输入一部完整的漫画数据包，利用Viola-Jones检测框架，训练漫画人脸的级联分类器，以此来检测漫画人脸，并截取检测到的每个漫画人脸的区域图片，同时将每个漫画人脸的区域设定为四边形；

S2，对步骤S1中所截取的所有漫画人脸区域图片进行编号，并将与漫画人脸区域对应的图片编号、位置坐标以及该漫画人脸出现在整部漫画中的页码，输入信息数据库；

S3，对步骤S1中检测到的所有漫画人脸做聚类处理，聚类处理的结果为定义每一类人脸为漫画中的一个角色；

S4，统计步骤S3每个角色分类下的所有漫画人脸的个数C_i；

S5，针对步骤S3中的每个角色，计算每个角色的变异系数CV_i；

S6，根据步骤S2中的人脸区域坐标，计算每个角色人脸区域的平均面积AA_i；

S7，根据步骤S4中每个角色的人脸个数、步骤S5中每个角色对应的映射数组的变异系数和步骤S6中每个角色人脸区域的平均面积，计算每个角色在整部漫画中的综合权重值W_i；

S8，对步骤S7中计算的综合权重值W_i，按照从大到小的顺序排序，依次输出综合权重值W_i对应的角色人脸图片，即可得到一部漫画的所有主要角色。

2.根据权利要求1所述的一种漫画主要角色的自动提取方法，其特征在于：步骤S2中所述的人脸区域位置坐标，是指漫画人脸区域四边形的左上坐标(x1,y1)和右下坐标(x2,y2)或四边形区域的右上坐标(x1,y1)和左下坐标(x2,y2)。

3.根据权利要求1所述的一种漫画主要角色的自动提取方法，其特征在于：S4中所述的每个角色分类下的所有漫画人脸的个数为C_i，其中，0＜i＜N，N表示漫画角色个数，i取正整数。

4.根据权利要求1所述的一种漫画主要角色的自动提取方法，其特征在于：S5中所述每个角色的变异系数为CV_i，其数学定义为：

其中，S_i表示第i个漫画角色在所有页出现人脸个数的标准差，表示第i个漫画角色在所有页出现人脸个数的平均值。

5.根据权利要求4所述的一种漫画主要角色的自动提取方法，其特征在于：所述第i个漫画角色在所有页出现人脸个数的标准差S_i的数学定义为：

其中，X_ij表示第i个漫画角色在第j页出现的次数。

6.根据权利要求4所述的一种漫画主要角色的自动提取方法，其特征在于：第i个漫画角色在所有页出现人脸个数的平均值的数学定义为：

其中，X_ij为第i个漫画角色在第j页出现的人脸个数。

7.根据权利要求1所述的一种漫画主要角色的自动提取方法，其特征在于：所述步骤S6中每个角色人脸区域的平均面积为AA_i，其数学定义为：

其中，x_ik表示第i个漫画角色的第k个人脸区域的面积。

8.根据权利要求1所述的一种漫画主要角色的自动提取方法，其特征在于：所述步骤S7中每个角色在整部漫画中的综合权重值W_i，其数学定义为：

其中0＜γ≤α≤β＜1，且α+β+γ＝1，0＜i＜N,N表示漫画角色个数，i取正整数。

9.一种漫画主要角色的自动提取系统，其特征在于：包括漫画人脸检测模块、漫画人脸识别模块、漫画角色权重计算模块和漫画角色权重排序模块；其中，所述漫画人脸检测模块，用于接收一部漫画的电子图像文件，检测图片中所有的漫画人脸信息；所述漫画人脸识别模块，用于对检测到的全部人脸进行聚类处理，使每一个分类对应一个漫画角色；所述漫画角色权重计算模块用于计算每个角色在整部漫画中的综合权重；所述漫画角色权重排序模块，用于将每个角色的权重值按照从大到小的顺序排序，并依次输出权重值对应的漫画人脸；

所述漫画角色权重计算模块包括角色人脸统计模块，角色离散程度计算模块，角色人脸面积计算模块；其中，所述角色人脸统计模块，用于统计每个角色在整部漫画中的人脸个数；所述离散程度计算模块，用于计算每个角色在整部漫画中人脸分布的离散程度；所述角色人脸面积计算模块，用于计算每个人脸区域的面积和每个角色所有人脸面积的平均值；

漫画人脸检测模块用于输入一部完整的漫画数据包，利用Viola-Jones检测框架，训练漫画人脸的级联分类器，以此来检测漫画人脸，并截取检测到的每个漫画人脸的区域图片，同时将每个漫画人脸的区域设定为四边形；

漫画人脸识别模块用于对所截取的所有漫画人脸区域图片进行编号，并将与漫画人脸区域对应的图片编号、位置坐标以及该漫画人脸出现在整部漫画中的页码，输入信息数据库；

对检测到的所有漫画人脸做聚类处理，聚类处理的结果为定义每一类人脸为漫画中的一个角色；

漫画角色权重计算模块用于统计每个角色分类下的所有漫画人脸的个数；针对中的每个角色，计算每个角色的变异系数；根据人脸区域坐标，计算每个角色人脸区域的平均面积；根据每个角色的人脸个数、步骤S5中每个角色对应的映射数组的变异系数和步骤S6中每个角色人脸区域的平均面积，计算每个角色在整部漫画中的综合权重值；

漫画角色权重排序模块用于对计算的综合权重值，按照从大到小的顺序排序，依次输出综合权重值对应的角色人脸图片，即可得到一部漫画的所有主要角色。