人脸校验方法、装置、服务器及可读存储介质
技术领域
本说明书实施例涉及数据处理技术领域,尤其涉及一种人脸校验方法、装置、服务器及可读存储介质。
背景技术
随着人脸识别技术的飞速发展,人脸识别技术越来越多的应用在人们的日常生活中,人脸识别技术应用在例如车站的刷脸进站,超市的刷脸付钱和手机APP的刷脸登录等场景中。
现有技术中,人脸识别设备例如LOT刷脸机具面临着人脸伪造攻击,即通过通用的面具或者照片、视频进行刷脸校验的攻击,针对此类攻击,通常是通过引入的结构光3D摄像头进行防御,即通过对采集的3D图像进行活体检测即可判断用户是否为活体。
发明内容
本说明书实施例提供了一种人脸校验方法、装置、服务器及可读存储介质,提高人脸校验的准确度,在人脸校验提高的基础上能够有效提高提高对抗人脸伪造攻击的性能。
本说明书实施例第一方面提供了一种人脸校验方法,包括:
对采集的二维人脸图像进行人脸识别,得到人脸识别结果;
若所述人脸识别结果表征人脸识别成功,则对所述二维人脸图像进行三维重建,得到重建三维人脸图像;
对采集的原始三维人脸图像进行活体检测,得到活体检测结果;
若所述活体检测结果表征所述原始三维人脸图像中的用户为活体,则将所述重建三维人脸图像和所述原始三维人脸图像相似度比对,得到比对结果;
根据所述比对结果,确定所述二维人脸图像中的用户是否为目标用户。
本说明书实施例第二方面提供了一种人脸校验设备,包括:
人脸识别单元,用于对采集的二维人脸图像进行人脸识别,得到人脸识别结果;
三维重建单元,若所述人脸识别结果表征人脸识别成功,用于对所述二维人脸图像进行三维重建,得到重建三维人脸图像;
活体检测单元,用于对采集的原始三维人脸图像进行活体检测,得到活体检测结果;
相似度比对单元,若所述活体检测结果表征所述原始三维人脸图像中的用户为活体,用于将所述重建三维人脸图像和所述原始三维人脸图像相似度比对,得到比对结果;
人脸校验单元,用于根据所述比对结果,确定所述二维人脸图像中的用户是否为目标用户。
本说明书实施例第三方面还提供了一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述人脸校验方法的步骤。
本说明书实施例第四方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时上述人脸校验方法的步骤。
本说明书实施例的有益效果如下:
基于上述技术方案,由于在人脸识别成功且活体检测成功这两种条件下,再将所述重建三维人脸图像和所述原始三维人脸图像进行相似度比对,根据得到的所述比对结果,确定所述二维人脸图像中的用户是否为目标用户,如此,通过人脸识别成功且活体检测成功这两种条件作为约束条件,能够确保后续需要进行相似度比对的人脸数据的准确性,即使得所述重建三维人脸图像和所述原始三维人脸图像的准确性较高,将所述重建三维人脸图像作为比对样本,然后再进行相似比对,能够促使得到的所述比对结果的准确度也随之提高;以及在所述比对结果准确度较高的基础上,其确定出所述二维人脸图像中的用户是否为目标用户的准确度也会随之提高,进而提高人脸校验的准确度,在人脸校验提高的基础上能够有效提高对抗人脸伪造攻击的性能。
而且,通过三维人脸图像进行相似度对比,其三维人脸图像携带的数据的维度更多,在相似度比对过程中需要将每个维度的数据均进行相似度比对,如此,若数据的维度越多,其进行相似比对而得到的所述比对结果的准确度也会越高,促使所述比对结果的准确度进一步提高,在所述比对结果准确度进一步提高的基础上,其确定出所述二维人脸图像中的用户是否为目标用户的准确度也会进一步提高,即能够进一步提高人脸校验的准确度,在人脸校验进一步提高的基础上能够进一步提高对抗人脸伪造攻击的性能。
附图说明
图1为本说明书实施例中人脸校验方法的方法流程图;
图2为本说明书实施例中人脸校验装置的结构示意图;
图3为本说明书实施例中服务器的结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明,应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明,而不是对本说明书技术方案的限定,在不冲突的情况下,本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面,如图1所示,本说明书实施例提供一种人脸校验方法,包括:
S102、对采集的二维人脸图像进行人脸识别,得到人脸识别结果;
S104、若所述人脸识别结果表征人脸识别成功,则对所述二维人脸图像进行三维重建,得到重建三维人脸图像;
S106、对采集的原始三维人脸图像进行活体检测,得到活体检测结果;
S108、若所述活体检测结果表征所述原始三维人脸图像中的用户为活体,则将所述重建三维人脸图像和所述原始三维人脸图像相似度比对,得到比对结果;
S110、根据所述比对结果,确定所述二维人脸图像中的用户是否为目标用户。
其中,在步骤S102中,可以通过二维摄像设备进行图像采集,从而采集到所述二维人脸图像,再通过人脸识别算法对所述二维人脸图像进行人脸识别,得到所述人脸识别结果,其中,所述摄像设备可以为摄像头、云台、摄像机和数码相机等。
具体来讲,获取所述二维人脸图像之后,可以对所述二维人脸图像进行人脸识别,得到人脸识别值;判断所述人脸识别值是否不小于人脸设定阈值,得到人脸判断结果;根据所述人脸判断结果,确定所述人脸识别结果。
本说明书实施例中,在对所述二维人脸图像进行人脸识别过程中,可以首先对所述二维人脸图像进行图像预处理,得到所述预处理二维人脸图像,然后使用所述人脸识别算法对所述预处理二维人脸图像进行人脸识别,得到所述人脸识别结果。
本说明书实施例中,所述人脸设定阈值可以根据实际情况设定,也可以由人工或设备自行设定,所述人脸设定阈值可以为不小于80%且小于1的值,例如为80%、85%和90%等,当然,所述人脸设定阈值也可以设置为小于80%的值,本说明书不作具体限制。
本说明书实施例中,所述人脸识别算法包括基于人脸特征点的识别算法(feature-based recognition algorithms)、基于整幅人脸图像的识别算法(appearance-based recognition algorithms)、基于模板的识别算法(template-based recognitionalgorithms)、利用神经网络进行识别的算法(recognition algorithms using neuralnetwork)和利用支持向量机进行识别的算法等识别算法,本说明书不作具体限制。
具体地,通过对所述二维人脸图像进行图像预处理,能够移除所述二维人脸图像的平均亮度值,降低光照对人脸识别算法的影响,提高在使用人脸识别算法对所述预处理二维人脸图像进行人脸识别的识别精确度。
本说明书实施例中,在所述二维人脸图像进行图像预处理时,由于所述二维人脸图像为原始图像,使得所述二维人脸图像中包含有人脸区域、背景和噪声,如此,可以首先对所述二维人脸图像依次进行人脸检测、人脸校准和去除图像背景处理,得到人脸处理图像,以降低所述二维人脸图像中背景和噪声数据对识别算法的影响,使得在对预处理二维人脸图像进行人脸识别时提高识别的精确度。
进一步地,在得到所述二维人脸图像之后,还可以根据所述人脸处理图像中的所有像素值,确定出所述人脸处理图像对应的像素均值;根据所述像素均值,确定出所述人脸处理图像中每个像素对应的方差;利用所述像素均值和每个像素对应的方差对每个像素进行归一化处理,得到每个像素的归一化数据;根据每个像素的归一化数据,得到所述预处理二维人脸图像。
当然,在得到所述预处理二维人脸图像时,可以采用上述一种或多种方式对所述二维人脸图像进行处理,从而得到所述预处理二维人脸图像。
具体地,在所述二维人脸图像进行图像预处理时,在所述人脸处理图像上进行均值和方差的计算,在所述人脸处理图像中的所有像素上求出均值m,然后在求出均值m的基础上求出所述人脸处理图像中每个像素对应的方差s,然后在所述人脸处理图像中的每个像素上进行均值方差的归一化操作,得到每个像素的归一化数据,通过归一化操作能够移除所述二维人脸图像中的平均亮度值,降低光照对算法的影响,提高在使用算法对所述预处理二维人脸图像进行人脸识别计算的计算精确度。
本说明书实施例中,在对所述二维人脸图像进行人脸识别,得到所述人脸识别值之后,判断所述人脸识别值是否不小于人脸设定阈值,若得到的所述人脸判断结果表征所述人脸识别值不小于所述人脸设定阈值,则确定所述人脸识别结果表征人脸识别成功,即能够识别出所述二维人脸图像中的用户,然后执行步骤S104,;若得到的所述人脸判断结果表征所述人脸识别值小于所述人脸设定阈值,则确定所述人脸识别结果表征人脸识别失败,即未能识别出所述二维人脸图像中的用户,然后不再进行其它操作。
例如,以二维人脸图像a1为例,若通过人脸识别算法计算出a1中用户为a11的概率为85%,而所述人脸设定阈值为90%,此时,由于85%<90%,使得所述人脸识别算法未能识别出a11,即确定a1的人脸识别结果表征人脸识别失败,则不再进行其它操作。
又例如,以二维人脸图像a2为例,若通过人脸识别算法计算出a2中的用户为a21的概率为95%,而所述人脸设定阈值为90%,此时,由于95%>90%,使得所述人脸识别算法能够识别出a21,即针对a2的人脸识别结果表征人脸识别成功,然后执行步骤S104。
若所述人脸识别结果表征人脸识别成功,则执行步骤S104,在该步骤中,可以使用三维重建算法对所述人脸图像进行三维重建,得到所述重建三维人脸图像。
本说明书实施例中,所述三维重建算法包括基于TensorFlow实现的单幅图像的彩色3D重建(Im2Avatar)算法、3-SWEEP算法、3D-GAN算法等算法,本说明书不作具体限制。
具体来讲,在使用Im2Avatar算法进行三维重建时,可以对所述二维人脸图像进行编解码,然后再将编解码后的数据进行形状学习、表面色彩学习和细节构造,最后将学习后的数据和细节构造后的数据进行组合,得到所述重建三维人脸数据。
接下来执行步骤S106,在该步骤中,可以使用三维摄像装置进行图像采集,得到所述原始三维人脸图像;对所述原始三维人脸图像进行活体检测,得到所述活体检测结果,其中,所述三维摄像装置可以是3D摄像头和3D相机等。
本说明书实施例中,步骤S106可以与步骤S102同时执行,也可以在执行步骤S102之前或之后执行;进一步地,所述二维摄像装置和所述三维摄像装置可以设置在同一LOT设备上,也可以设置在相连的两个LOT设备上,本说明书不作具体限制。
本说明书实施例中,在执行步骤S102和S106过程中,可以在设定时间和设定区域中采集所述二维人脸图像和所述原始三维人脸图像,例如可以在商店出口出的刷脸设备上的2D摄像头和3D摄像头实时采集设定区域的二维人脸图像和三维人脸图像,所述设定区域可以根据实际情况进行设定,也可以由设备或人工进行设定;同理,所述设定时间可以是根据实际情况进行设定,也可以由设备或人工进行设定,所述设定时间例如可以为1秒(s)、2s和4s等,本说明书不作具体限制。
本说明书实施例中,在对所述原始三维人脸图像进行人脸识别过程中,可以首先对所述原始三维人脸图像进行图像预处理,得到所述预处理三维人脸图像,然后使用活体检测算法对所述预处理三维人脸图像进行活体检测,得到所述活体检测结果。
具体来讲,对所述原始三维人脸图像进行图像预处理的实施过程,可以参考步骤S102中的对所述二维人脸图像进行图像预处理的叙述,为了说明书的简洁,在此就不再赘述了。
本说明书实施例中,在进行活体检测过程中,可以对所述原始三维人脸图像进行活体检测,得到活体检测值;检测所述活体检测值是否小于活体设定值,得到检测结果;根据所述检测结果,确定所述活体检测结果;其中,在对所述原始三维人脸图像进行活体检测时,可以使用所述活体检测算法对所述原始三维人脸图像进行活体检测。
具体来讲,若所述检测结果表征所述活体检测值小于所述活体设定阈值,则确定所述活体检测结果为所述原始三维人脸图像中的用户为活体;若所述检测结果表征活体检测值不小于所述活体设定阈值,则确定所述活体检测结果为所述原始三维人脸图像中的用户为非活体。
本说明书实施例中,若所述活体检测结果为所述原始三维人脸图像中的用户为活体,则执行步骤S108;若所述活体检测结果为所述原始三维人脸图像中的用户为非活体,则针对此次人脸识别不再进行操作。
本说明书实施例中,所述原始三维人脸图像的数量可以为一幅或多幅图像,且所述原始三维人脸图像与所述活体检测算法所需要的图像数量相匹配,即所述原始三维人脸图像的数量不小于所述活体检测算法所需要的图像数量,例如,若所述活体检测算法需要2幅图像,则所述原始三维人脸图像的数量不小于2幅。
本说明书实施例中,所述活体设定阈值可以根据实际情况设定,也可以由人工或设备自行设定,所述活体设定阈值可以为不小于80%且小于1的值,例如为80%、85%和90%等,当然,所述活体设定阈值也可以设置为小于80%的值,本说明书不作具体限制。
本说明书实施例中,所述活体检测算法例如可以是反欺骗(anti spoofing)算法、图像失真分析(image distortion analysis)算法和颜色纹理(colour texture)算法等。
具体来讲,若所述活体设定阈值用T表示,则对所述原始三维人脸图像进行活体检测而得到的活体检测值用S表示,检测S是否小于T,若S<T,则判定所述原始三维人脸图像中的用户为活体,接着执行步骤S108;若S≥T,则判定所述原始三维人脸图像中的用户为非活体,此时,针对此次人脸识别不再进行操作。
若所述活体检测结果表征所述原始三维人脸图像中的用户为活体,则执行步骤S108,可以直接将所述重建三维人脸图像和所述原始三维人脸图像进行整体对比,得到所述对比结果;还可以将所述重建三维人脸图像的重建三维结构数据和所述原始三维人脸图像的原始三维结构数据进行相似度比对,得到所述比对结果。
此时,通过对所述重建三维结构数据和所述原始三维结构数据进行相似度比对,由于三维结构数据携带的数据的维度更多,由于每个维度的数据均需要进行相似度比对,使得在数据维度更多的基础上,进行相似度比对而得到的所述比对结果的精确度会较高。
具体来讲,在将所述重建三维人脸图像和所述原始三维人脸图像进行整体对比过程中,可以将所述重建三维人脸图像和所述原始三维人脸图像输入到相似度算法中进行相似度计算,得到图像相似度;判断所述图像相似度是否不小于设定相似度,得到相似度判断结果;根据所述相似度判断结果,确定所述对比结果。
同样,在将所述重建三维结构数据和所述原始三维结构数据进行相似度比对过程中,可以将所述重建三维结构数据和所述原始三维结构数据输入到所述相似度算法中进行相似度计算,得到图像相似度;判断所述图像相似度是否不小于设定相似度,得到相似度判断结果;根据所述相似度判断结果,确定所述对比结果。
具体地,若所述相似度判断结果表征所述图像相似度不小于所述设定相似度,则确定所述对比结果表征对比成功;若所述相似度判断结果表征所述图像相似度小于所述设定相似度,则确定所述对比结果表征对比失败。
本说明书实施例中,所述相似度算法可以为余弦算法、欧式距离算法和感知哈希算法(Perceptual hash algorithm)等算法;进一步地,所述设定相似度可以根据实际情况设定,也可以由人工或设备自行设定,所述设定相似度可以为不小于75%且小于1的值,例如为75%、80%和90%等,当然,所述设定相似度也可以设置为小于75%的值,本说明书不作具体限制。
接下来执行步骤S110,若所述对比结果表征对比成功,则确定所述二维人脸图像中的用户为目标用户;若所述对比结果表征对比失败,则确定所述二维人脸图像中的用户不为目标用户。
本说明书实施例中,所述人脸校验方法的整体流程如下:首先执行S1、通过2D摄像装置获取人脸图像,并进行人脸识别;若人脸识别成功,则执行步骤S2、通过Im2Avatar等深度学习算法,对人脸图像进行3D重建,得到重建3D人脸图像;若人脸识别失败,则执行步骤S3、人脸校验过程失败,针对此次人脸校验不进行任何操作;在执行步骤S1的同时,执行步骤S4、通过3D摄像装置采集原始3D人脸图像并进行活体检测,判断3D人脸图像中的用户是否为活体;若不是活体,则执行步骤S3;若是活体,则执行步骤S5、使用重建3D人脸图像和原始3D人脸图像进行相似度比对;若比对结果,则执行步骤S6,确定人脸图像中的用户为目标用户,即人脸校验成功;若比对失败,则执行步骤S7、确认所述人脸图像中的用户不为目标用户,即人脸校验失败。
例如,以采集的原始三维人脸图像为a3为例,对a3进行活体检测,得到活体检测值为S,且S<T(所述活体设定值),则判定a3中的用户为活体;然后获取a3的原始三维结构数据用a3-1表示;相应地,以所述二维人脸图像为a2为例,a2对应的人脸识别值为95%且所述人脸设定阈值为90%,此时,由于95%>90%,则对a2进行三维重建,得到重建三维人脸图像为a22,并获取a22的重建三维结构数据用a22-1表示,若使用感知哈希算法进行相似度计算,则使用均值哈希算法分别对a3-1和a22-1进行哈希计算,依次得到哈希值为a3-2和a22-2,然后计算出a3-2和a22-2的相似度用S1表示;判断S1是否大于所述设定相似度用S2表示,若S1≥S2,则确定所述对比结果表征对比成功,进而可以确定a2中的a21为目标用户;若S1<S2,则确定所述对比结果表征对比失败,进而确定a2中a21不为目标用户。
现有技术为了提高人脸伪造攻击的性能,通常是通过3D摄像头进行防御,即通过对采集的3D图像进行活体检测即可判断用户是否为活体,通过判断是否为活体进行人脸校验,而在人脸校验过程中没有有对比样本,导致会降低人脸校验的准确度。
而本说明书实施例中,由于在人脸识别成功且活体检测成功这两种条件下,再将所述重建三维人脸图像和所述原始三维人脸图像进行相似度比对,根据得到的所述比对结果,确定所述二维人脸图像中的用户是否为目标用户,如此,通过人脸识别成功且活体检测成功这两种条件作为约束条件,能够确保后续需要进行相似度比对的人脸数据的准确性,即使得所述重建三维人脸图像和所述原始三维人脸图像的准确性较高,将所述重建三维人脸图像作为比对样本,然后再进行相似比对,能够促使得到的所述比对结果的准确度也随之提高;以及在所述比对结果准确度较高的基础上,其确定出所述二维人脸图像中的用户是否为目标用户的准确度也会随之提高,进而提高人脸校验的准确度,在人脸校验提高的基础上能够有效提高对抗人脸伪造攻击的性能。
而且,通过三维人脸图像进行相似度对比,其三维人脸图像携带的数据的维度更多,在相似度比对过程中需要将每个维度的数据均进行相似度比对,如此,若数据的维度越多,其进行相似比对而得到的所述比对结果的准确度也会越高,促使所述比对结果的准确度进一步提高,在所述比对结果准确度进一步提高的基础上,其确定出所述二维人脸图像中的用户是否为目标用户的准确度也会进一步提高,即能够进一步提高人脸校验的准确度,在人脸校验进一步提高的基础上能够进一步提高对抗人脸伪造攻击的性能
第二方面,基于与第一方面的同一发明构思,本说明书实施例提供一种人脸校验设备,如图2所示,包括:
人脸识别单元201,用于对采集的二维人脸图像进行人脸识别,得到人脸识别结果;
三维重建单元202,若所述人脸识别结果表征人脸识别成功,用于对所述二维人脸图像进行三维重建,得到重建三维人脸图像;
活体检测单元203,用于对采集的原始三维人脸图像进行活体检测,得到活体检测结果;
相似度比对单元204,若所述活体检测结果表征所述原始三维人脸图像中的用户为活体,用于将所述重建三维人脸图像和所述原始三维人脸图像相似度比对,得到比对结果;
人脸校验单元205,用于根据所述比对结果,确定所述二维人脸图像中的用户是否为目标用户。
在一种可选方式中,相似度比对单元204,用于将所述重建三维人脸图像的重建三维结构数据和所述原始三维人脸图像的原始三维结构数据进行相似度比对,得到所述比对结果。
在一种可选方式中,相似度比对单元204,用于将所述重建三维结构数据和所述原始三维结构数据输入到相似度算法中进行相似度计算,得到图像相似度;判断所述图像相似度是否不小于设定相似度,得到相似度判断结果;根据所述相似度判断结果,确定所述对比结果。
在一种可选方式中,相似度比对单元204,若所述相似度判断结果表征所述图像相似度不小于所述设定相似度,用于确定所述对比结果表征对比成功;若所述相似度判断结果表征所述图像相似度小于所述设定相似度,用于确定所述对比结果表征对比失败。
在一种可选方式中,人脸识别单元201,用于对所述二维人脸图像进行人脸识别,得到人脸识别值;判断所述人脸识别值是否不小于人脸设定阈值,得到人脸判断结果;根据所述人脸判断结果,确定所述人脸识别结果。
在一种可选方式中,活体检测单元203,用于通过三维摄像装置进行图像采集,得到所述原始三维人脸图像;对所述原始三维人脸图像进行活体检测,得到所述活体检测结果。
在一种可选方式中,活体检测单元203,用于对所述原始三维人脸图像进行活体检测,得到活体检测值;检测所述活体检测值是否小于活体设定值,得到检测结果;根据所述检测结果,确定所述活体检测结果。
第三方面,基于与前述实施例中人脸校验方法同样的发明构思,本说明书实施例还提供一种服务器,如图3所示,包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序,所述处理器302执行所述程序时实现前文所述人脸校验方法的任一方法的步骤。
其中,在图3中,总线架构(用总线300来代表),总线300可以包括任意数量的互联的总线和桥,总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理,而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
第四方面,基于与前述实施例中人脸校验方法的发明构思,本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文所述人脸校验方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然,本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样,倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内,则本说明书也意图包含这些改动和变型在内。