CN110378871B - 基于姿势特征的游戏人物原画拷贝检测方法 - Google Patents

Abstract

本发明提出了一种基于姿势特征的游戏人物原画拷贝检测方法。首先通过角点检测人物的肩部拐点对图像进行基础旋转矫正，并使用自下而上的行人检测方法提取人物姿态的关键点，作为姿势特征向量。然后，采用面部浓缩法对面部关键点进行代表点的计算，并通过使用局部坐标描述关键点。最后通过置信度加权计算相似度，根据阈值判断检测图像是否是原始作品的拷贝。实验结果表明，该检测算法对游戏人物原画的旋转、缩放、颜色配饰武器替换等攻击具有良好的鲁棒性。从拷贝检测的准确度来看，整体性能优于其它方法。

Description

基于姿势特征的游戏人物原画拷贝检测方法

技术领域

本发明研究的是拷贝检测这一领域，提出了一种基于姿势特征的游戏人物原画拷贝检测方法，该方法能根据一幅游戏人物原画对游戏图像库进行搜索，找到经过各种 攻击变换之后的拷贝图像。

背景技术

游戏原画指以游戏文本的设定内容，对人物、装备或饰品、怪物等进行创作绘画的图像，是动画创作中物体在运动过程中的关键动作画面。用于游戏制作和游戏上线 后展示给玩家。

近年来，游戏作为新兴产业创造了巨大的经济价值，同时很多优秀的游戏原画作品被拷贝改动后用来牟利，因侵权引发的法律问题也随之出现。仅仅靠人眼的主观判 断是否拷贝不具有说服力，所以我们需要一种能够判定是否拷贝的有依据的客观方法。

Wu提出基于内容的拷贝检测(content based copy detection,CBCD)方法，该方法 通过从图像中提取某种特征，以特征之间的相似度作为判断依据。这些特征一般是图像内容的不变特征，经过拷贝改动攻击后仍然能保持鲁棒性，所以CBCD适用于内容 改动较多的游戏人物原画拷贝检测。

CBCD的拷贝检测主要分为两大类：(1)基于全局分块的颜色或纹理分布的拷贝 检测算法。这类特征用于匹配的前提是拷贝变化是全局统一的线性变化(如亮度提高)。 (2)基于图像局部关节点的拷贝检测算法，其侧重于对图像的任意局部遮挡等非线 性变化。其特征匹配算法的前提是拷贝变化不会改变关节点的空间分布顺序。

近年来，随着PS等图像编辑软件的普及，用户经常少量修改游戏人物原画的内容，使得图像内容被拷贝后存在多种变化模式。例如：加入文字，旋转，JPEG压缩， 放缩，人物的服装颜色、纹理和发型、装饰、武器的改变等。

多种拷贝变化的出现对传统的这两大类算法提出了新的挑战，但图像的颜色、纹理、局部特征点等底层特征无法应对多种变化情况。

游戏人物原画的拷贝改动一般都是简单的颜色改变和装饰替换。人物姿势一般不变，因为改变人物姿势将会花费大量的精力重新进行人物建模和服装、武器设计上面， 拷贝侵权的不法分子不愿如此麻烦。所以我们选取姿态特征作为拷贝检测的根据。

姿势特征是图像的高层特征，游戏人物的形状复杂，且装饰和武器等比较多，一旦拷贝改动是替换人物的服装，姿势也会发生很大的改变。近年来行人检测的研究发 展迅速，它能够标记出行人的重要关节点，即姿势特征。而且提取的姿势特征与人物 的服装、配饰等图像中其他的内容无关。但该方法只适用于直立的人，当图像中的人 物旋转角度超过15°时难以保证大部分关节点准确和稳定。

发明内容

游戏创造了巨大经济价值，随之而来的是游戏原画拷贝的侵权问题。已有的拷贝检测方法采用底层特征进行图像内容匹配，该类方法难以应用于多种不同形式的游戏 人物原画拷贝，因此，本发明的目的在于解决现有技术中存在的上述问题，并提出了 一种基于姿态特征的拷贝检测方法。

本发明的发明构思是：首先通过角点检测人物的肩部拐点对图像进行基础旋转矫正，并使用自下而上的行人检测方法提取人物姿势的关节点，作为姿势特征向量。然 后，采用面部浓缩法对面部关节点进行代表点的计算，并通过使用极坐标描述关节点。 最后通过置信度加权计算相似度，根据阈值判断检测图像是否是原始作品的拷贝。

本发明的技术方案步骤如下：

基于姿势特征的游戏人物原画拷贝检测方法，其步骤如下：

步骤1：分别针对测试图和原图，通过SUSAN角点检测方法找到图像中游戏人 物的肩部拐点，计算将游戏人物旋转端正所需的旋转角度，进行基础旋转校正；

步骤2：通过行人检测方法对校正后的测试图和原图，分别进行姿势特征的关节点提取，得到若干个面部关节点和若干个身体关节点；

步骤3：分别针对测试图和原图，采用面部浓缩法将每个图像中的所有面部关节点浓缩为1个面部代表点，然后将面部代表点和其他身体关节点组成该图像中游戏人 物的姿势关节点集合；

步骤4：针对测试图和原图的姿势关节点集合，分别使用极坐标描述关节点，并 对原图和测试图的极坐标进行归一化处理；

步骤5：基于原图与测试图的归一化后的姿势关节点集合，根据关节点的置信度加权计算两个点集之间的偏差距离；

步骤6：根据偏差距离阈值判断测试图是否是原图的拷贝，当偏差距离小于阈值时，将测试图中的游戏人物判定为原图游戏人物的拷贝图像。

基于上述技术方案，各步骤可以采用如下优选方式实现。各优选方式若无冲突均可进行相互组合，不构成限制。

优选的，步骤1具体过程如下：

依次针对测试图和原图使用SUSAN角点检测方法，根据模板运算后得到 USAN区面积最小的区域作为角点，由此找到图像中左侧的角点M(x₁,y₁)和图像 中右侧的角点N(x₂,y₂)，从而计算旋转角度θ：

当y₂＞y₁时，将图像顺时针旋转调整θ角度使游戏人物姿态端正直立；当y₁＞y₂时，将图像逆时针旋转调整θ角度使游戏人物姿态端正直立。

优选的，步骤2具体过程如下：

依次针对测试图和原图，使用行人检测方法进行姿势特征的关节点提取，得到笛卡尔坐标系下按顺序排列的18个代表姿势特征的关键点集 B＝{(X₀,Y₀,C₀),(X₁,Y₁,C₁),……，(X₁₇,Y₁₇,C₁₇)}，其中(X_i,Y_i)表示第i个关节点的坐标， C_i表示第i个关节点的置信度；关键点集中的18个关节点按顺序分别表示游戏人物的 鼻子、颈部、右肩膀、右肘部、右手腕、左肩膀、左肘部、左手腕、右臀部、右膝盖、 右脚踝、左臀部、左膝盖、左脚踝、右眼睛、左眼睛、右耳朵、左耳朵。

优选的，步骤3具体过程如下：

依次针对测试图和原图，对面部的5个关节点进行融合浓缩，使用关节点置 信度加权计算出一个更为准确的面部代表点(X₀',Y₀',C₀')：

其中X_i、Y_i、C_i分别是第i个关节点的x坐标值、y坐标值、置信度；X₀'、 Y₀'、C₀'分别是面部代表点的x坐标值、y坐标值、置信度；

将得到的面部代表点与同一图像中其他身体关节点组成新的关键点集 N＝{(X₀',Y₀',C₀'),(X₁,Y₁,C₁),……，(X₁₃,Y₁₃,C₁₃)}，作为该图像中游戏人物的姿势关 节点集合。

优选的，步骤4具体过程如下：

首先在笛卡尔坐标系下，依次针对测试图和原图，计算关节点的置信度加权中心点作为极点P：

式中：X_P、Y_P、C_P分别是极点P的x坐标值、y坐标值、置信度；

将极点P到姿势关节点集合N中置信度最大点方向的射线作为轴线，使用极坐 标重新描述关节点，得到极坐标表示的姿势关节点集合 N'＝{(ρ₀,θ₀,C₀'),(ρ₁,θ₁,C₁),…(ρ₁₃,θ₁₃,C₁₃)}，其中ρ_i、θ_i分别是第i个关节点的极径、 极角，i＝0,1,…,13；

根据极点P到距离极点最远关节点的距离，分别对原图和测试图的极径进行归一化的处理，使得两张图像的极径统一至相同尺度的[0,1]区间，原图和测试图各自得到 最终的关节点局部特征描述N_normal＝{(ρ₀',θ₀,C₀'),(ρ₁',θ₁,C₁),…(ρ₁₃',θ₁₃,C₁₃)}，ρ_i'是 第i个关节点归一化后的极径。

优选的，步骤5具体过程如下：

根据置信度加权计算原图与测试图之间的偏差距离，如下式：

其中，F和G分别是归一化后的原图的姿势特征向量和归一化后的测试图的 姿势特征向量，

是原图的第i个关键点的置信度，

表示原图第i个关节点归 一化后的极径，

表示原图第i个关节点的极角度，

表示测试图第i个关节点 归一化后的极径，

表示测试图第i个关节点的极角度。

优选的，步骤6具体过程如下：

设置偏差距离阈值为0.17，当偏差距离小于0.17时，将测试图中的游戏人物 判定为原图游戏人物的拷贝图像，且偏差距离越小说明是拷贝图像的可能性越大。

本发明的有益效果：

本发明提出了一种可以有效抵抗旋转攻击和内容替换攻击的游戏人物原画图像拷贝检测方法。该方法通过将基于角点检测的旋转校正、游戏人物原画的姿势特征提 取、面部浓缩、旋转不变性的姿势向量描述引入拷贝检测，从而使得拷贝检测结果更 加准确。该方法在我们的测试集上的实验表现出良好的性能，与已有算法相比，可以 抵抗旋转和替换的攻击，并且保证较高的检测精度。

附图说明

图1为基于姿势特征的游戏人物原画拷贝检测方法步骤示意图。

图2为算法流程图。

图3为人像偏转模型。

图4为关节点的输出格式。

图5为姿势特征关节点的极坐标表示。

图6为不同阈值下的查全率和查准率曲线图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。基于姿势特征的游戏人物原画拷贝检测方法，其具体步骤描述如图1中S1～S6所示，下面结合附图2对 各步骤的具体实现过程进行具体描述。

步骤1：如图2所示，本实施例的测试图和原图的游戏人物均具有一定的倾斜角度，人物姿态部端正，因此需要分别针对测试图和原图，通过SUSAN角点检测方法 找到图像中游戏人物的肩部拐点，计算将游戏人物旋转端正所需的旋转角度，进行基 础旋转校正。本步骤具体过程如下：

依次针对测试图和原图使用SUSAN角点检测方法，根据模板运算后得到 USAN区面积最小的区域作为角点，人像偏转模型如图2所示。由此找到图像中 左侧的角点M(x₁,y₁)和图像中右侧的角点N(x₂,y₂)，在本实施例中由于图像中的 游戏人物是面朝用户的视向的，因此角点M(x₁,y₁)实际代表人物的右肩拐点，而 角点N(x₂,y₂)实际代表人物的左肩拐点。根据角点M和N即可计算将游戏人物 旋转端正所需的旋转角度θ，如下式：

旋转方向可以根据两个角点的纵坐标值得大小来确定：当y₂＞y₁时，将图像顺时针旋转调整θ角度使游戏人物姿态端正直立；当y₁＞y₂时，将图像逆时针旋转调整θ角 度使游戏人物姿态端正直立；当y₁＝y₂时无需调整。需注意，本实施例处理的图像中 游戏人物的左右倾斜角度限制在0～90°范围内。

步骤2：通过行人检测方法对校正后的测试图和原图，分别进行姿势特征的关节点提取，针对每张图像中的游戏人物得到若干个面部关节点和若干个身体关节点。本 步骤具体过程如下：

本实施例中所采用的行人检测方法参见文献 Cao Z,Simon T,Wei S E,etal.Realtime Multi-Person 2D Pose Estimation using Part Af finity Fields[J].2016.通过该行人检测方法针对测试图和原图，依次进行姿势特征的关 节点提取，可以得到笛卡尔坐标系下按顺序排列的18个代表姿势特征的关键点集 B＝{(X₀,Y₀,C₀),(X₁,Y₁,C₁),……，(X₁₇,Y₁₇,C₁₇)}，其中(X_i,Y_i)表示第i个关节点的坐标， C_i表示第i个关节点的置信度，i＝0,1,…,17。关键点集中的18个关节点与下标i的对 应关系为：{0，“鼻子”}，{1，“颈部”}，{2，“右肩膀”}，{3，“右肘部”}，{4， “右手腕”}，{5，“左肩膀”}，{6，“左肘部”}，{7，“左手腕”}，{8，“右臀部”}， {9，“右膝盖”}，{10，“右脚踝”}，{11，“左臀部”}，{12，“左膝盖”}，{13，“左 脚踝”}，{14，“右眼睛”}，{15，“左眼睛”}，{16，“右耳朵”}，{17，“左耳朵”}，如图4所示。

步骤3：在上一步得到的关键点集之中，面部具有5个关节点，分别为{0，“鼻子”}，{14，“右眼睛”}，{15，“左眼睛”}，{16，“右耳朵”}，{17，“左耳朵”}。过多的 面部关节点不适合于描述游戏人物的姿势特征，因此需要分别针对测试图和原图，采 用面部浓缩法将每个图像中的所有面部关节点浓缩为1个面部代表点，然后将面部代 表点和其他身体关节点组成该图像中游戏人物的姿势关节点集合。本步骤具体过程如 下：

针对测试图，对面部的5个关节点进行融合浓缩，使用关节点置信度加权计 算出一个更为准确的面部代表点(X₀',Y₀',C₀')：

其中X_i、Y_i、C_i分别是第i个关节点的x坐标值、y坐标值、置信度分数值；X₀'、Y₀'、C₀'分别是面部代表点的x坐标值、y坐标值、置信度分数值。

将得到的面部代表点与同一图像中其他身体关节点组成新的关键点集 N＝{(X₀',Y₀',C₀'),(X₁,Y₁,C₁),……，(X₁₃,Y₁₃,C₁₃)}，作为该测试图中游戏人物的姿 势关节点集合，更适合描述姿势特征。

同样的，针对原图中18个代表姿势特征的关键点集，也进行相同的面部5 个关节点融合浓缩，形成中游戏人物的姿势关节点集合N。

步骤4：为了便于进行图像的相似度对比，需要将测试图和原图中的游戏人物姿势关节点集合从笛卡尔坐标系变换成极坐标系表示，分别使用极坐标描述关节点。同 时，需要对原图和测试图的极坐标进行归一化处理，使两者之间排除因图像大小导致 的差异。本步骤具体过程如下：

首先在笛卡尔坐标系下，依次针对测试图和原图的姿势关节点集合，计算每个姿势关节点集合中所有关节点的置信度加权中心点，作为极点P：

式中：X_P、Y_P、C_P分别是极点P的x坐标值、y坐标值、置信度；

为了形成极坐标系，需要将固定两个关节点之间的连线方向作为轴线方向。由于并不是所有关节点定位都十分准确，所以我们更倾向于选择置信度大的关节点。在本 发明中，如图5所示，将极点P到姿势关节点集合N中置信度最大点方向的射线作为 轴线，使用极坐标重新描述集合N中的各关节点，得到极坐标表示的姿势关节点集合 N'＝{(ρ₀,θ₀,C₀'),(ρ₁,θ₁,C₁),…(ρ₁₃,θ₁₃,C₁₃)}，其中ρ_i、θ_i分别是第i个关节点的极径、 极角，i＝0,1,…,13。经过变换后的图像具有旋转不变性。

由于原图和检测图可能存在图像尺寸和人物在图中位置的不同，因此需要根据极点P到距离极点最远关节点的最大距离L，分别对原图和测试图的极径进行归一化的 处理，使得原图和测试图的最大距离L均统一成1，而极点P到其他关节点的距离则 被归一化成小于1的数值，由此两张图像的极径被统一至相同尺度的[0,1]区间，消除 了图像尺寸和人物位置不同造成的差异。经过归一化，原图和测试图各自得到最终的 关节点局部特征描述向量：N_no_rmal＝{(ρ₀',θ₀,C₀'),(ρ₁',θ₁,C₁),…(ρ₁₃',θ₁₃,C₁₃)}，ρ_i'是 第i个关节点归一化后的极径，i＝0,1,…,13。我们将上述经过归一化后的原图的姿势关 节点集合N_normal和归一化后的测试图的姿势关节点集合N_normal分别记为F和G。

步骤5：基于原图与测试图的归一化后的姿势关节点集合，根据关节点的置信度加权计算两个点集之间的偏差距离。本步骤具体过程如下：

根据置信度加权计算原图与测试图之间的偏差距离D，如下式：

其中，D(F,G)表示姿势关节点集合F和G之间的偏差距离，F和G分别是 归一化后的原图的姿势特征向量和归一化后的测试图的姿势特征向量。

是原 图的第i个关键点的置信度，即前述的C₀'(i＝0)和C_i(i＝1,2,…,13)；

表示原 图第i个关节点归一化后的极径，即原图的姿势关节点集合F中的ρ_i'；

表示 原图第i个关节点的极角度，即原图的姿势关节点集合F中的θ_i；

表示测试 图第i个关节点归一化后的极径，即测试图的姿势关节点集合G中的ρ_i'；

表 示测试图第i个关节点的极角度，即测试图的姿势关节点集合G中的θ_i。

步骤6：根据上述步骤得到的偏差距离D，即可以通过其值的大小判断测试图和 原图中游戏人物图像的相似度。原图与测试图像的偏差距离越小说明是拷贝图像的可 能性越大，因此可以设置一个偏差距离阈值来判断测试图是否是原图的拷贝，当偏差 距离小于阈值时，将测试图中的游戏人物判定为原图游戏人物的拷贝图像。查全率和 查准率是拷贝检测算法中的两项重要性能指标，是衡量整个拷贝检测算法性能的重要 依据，最优临界阈值α表示此时具有最大的查全率和查准率。查全率和查准率的定义 如下面公式所示：

本实施例中，以游戏人物原画使用本发明算法来查询测试图像库，测试图像 库中的样本预先标记了其与原画之间是否拷贝的标签。通过设置不同的偏差距离 阈值α，从而得到不同阈值情况下的查准率(Precision)和查全率(Recall)曲线 图(如图6所示)，可以看出当阈值α大概在0.17时，结果最为理想，所以取0.17 作为最优阈值。在实际的检测样本输入时，可以设置判定条件为：当偏差距离小 于0.17时，将测试图中的游戏人物判定为原图游戏人物的拷贝图像，且偏差距 离越小说明是拷贝图像的可能性越大；当偏差距离不小于0.17时，判定为非拷 贝图像。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。 有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以 做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案， 均落在本发明的保护范围内。

Claims (6)

1.一种基于姿势特征的游戏人物原画拷贝检测方法，其特征在于，步骤如下：

步骤1：分别针对测试图和原图，通过SUSAN角点检测方法找到图像中游戏人物的肩部拐点，计算将游戏人物旋转端正所需的旋转角度，进行基础旋转校正；

步骤2：通过行人检测方法对校正后的测试图和原图，分别进行姿势特征的关节点提取，得到5个面部关节点和18个身体关节点；

步骤3：分别针对测试图和原图，采用面部浓缩法将每个图像中的所有面部关节点浓缩为1个面部代表点，然后将面部代表点和其他身体关节点组成该图像中游戏人物的姿势关节点集合；

步骤4：针对测试图和原图的姿势关节点集合，分别使用极坐标描述关节点，并对原图和测试图的极坐标进行归一化处理；

步骤5：基于原图与测试图的归一化后的姿势关节点集合，根据关节点的置信度加权计算两个点集之间的偏差距离；

步骤6：根据偏差距离阈值判断测试图是否是原图的拷贝，当偏差距离小于阈值时，将测试图中的游戏人物判定为原图游戏人物的拷贝图像；

所述步骤1具体过程如下：

依次针对测试图和原图使用SUSAN角点检测方法，根据模板运算后得到USAN区面积最小的区域作为角点，由此找到图像中左侧的角点M(x₁,y₁)和图像中右侧的角点N(x₂,y₂)，从而计算旋转角度θ：

当y₂>y₁时，将图像顺时针旋转调整θ角度使游戏人物姿态端正直立；当y₁>y₂时，将图像逆时针旋转调整θ角度使游戏人物姿态端正直立。

2.根据权利要求1所述的基于姿势特征的游戏人物原画拷贝检测方法，其特征在于步骤2具体过程如下：

依次针对测试图和原图，使用行人检测方法进行姿势特征的关节点提取，得到笛卡尔坐标系下按顺序排列的18个代表姿势特征的关键点集B＝{(X₀,Y₀,C₀),(X₁,Y₁,C₁),……，(X₁₇,Y₁₇,C₁₇)}，其中(X_i,Y_i)表示第i个关节点的坐标，C_i表示第i个关节点的置信度；关键点集中的18个关节点按顺序分别表示游戏人物的鼻子、颈部、右肩膀、右肘部、右手腕、左肩膀、左肘部、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、右眼睛、左眼睛、右耳朵、左耳朵。

3.根据权利要求2所述的基于姿势特征的游戏人物原画拷贝检测方法，其特征在于步骤3具体过程如下：

依次针对测试图和原图，对面部的5个关节点进行融合浓缩，使用关节点置信度加权计算出一个面部代表点(X₀',Y₀',C₀')：

其中X_i、Y_i、C_i分别是第i个关节点的x坐标值、y坐标值、置信度；X₀'、Y₀'、C₀'分别是面部代表点的x坐标值、y坐标值、置信度；

将得到的面部代表点与同一图像中其他身体关节点组成新的关键点集N”＝{(X₀',Y₀',C₀'),(X₁,Y₁,C₁),……，(X₁₃,Y₁₃,C₁₃)}，作为该图像中游戏人物的姿势关节点集合。

4.根据权利要求3所述的基于姿势特征的游戏人物原画拷贝检测方法，其特征在于步骤4具体过程如下：

首先在笛卡尔坐标系下，依次针对测试图和原图，计算关节点的置信度加权中心点作为极点P：

式中：X_P、Y_P、C_P分别是极点P的x坐标值、y坐标值、置信度；

将极点P到姿势关节点集合N中置信度最大点方向的射线作为轴线，使用极坐标重新描述关节点，得到极坐标表示的姿势关节点集合N'＝{(ρ₀,θ₀,C₀'),(ρ₁,θ₁,C₁),…(ρ₁₃,θ₁₃,C₁₃)}，其中ρ_i、θ_i分别是第i个关节点的极径、极角，i＝0,1,…,13；

根据极点P到距离极点最远关节点的距离，分别对原图和测试图的极径进行归一化的处理，使得两张图像的极径统一至相同尺度的[0,1]区间，原图和测试图各自得到最终的关节点局部特征描述N_normal＝{(ρ₀',θ₀,C₀'),(ρ₁',θ₁,C₁),…(ρ₁₃',θ₁₃,C₁₃)}，ρ_i'是第i个关节点归一化后的极径。

5.根据权利要求4所述的基于姿势特征的游戏人物原画拷贝检测方法，其特征在于步骤5具体过程如下：

根据置信度加权计算原图与测试图之间的偏差距离，如下式：

其中，

是原图的第i个关键点的置信度，

表示原图第i个关节点归一化后的极径，

表示原图第i个关节点的极角度，

表示测试图第i个关节点归一化后的极径，

表示测试图第i个关节点的极角度。

6.根据权利要求5所述的基于姿势特征的游戏人物原画拷贝检测方法，其特征在于步骤6具体过程如下：

设置偏差距离阈值为0.17，当偏差距离小于0.17时，将测试图中的游戏人物判定为原图游戏人物的拷贝图像，且偏差距离越小说明是拷贝图像的可能性越大。

Images