CN111222571B - 图像特效的处理方法、装置、电子设备及存储介质 - Google Patents
图像特效的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111222571B CN111222571B CN202010010907.1A CN202010010907A CN111222571B CN 111222571 B CN111222571 B CN 111222571B CN 202010010907 A CN202010010907 A CN 202010010907A CN 111222571 B CN111222571 B CN 111222571B
- Authority
- CN
- China
- Prior art keywords
- image
- special effect
- detected
- matching
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像特效的处理方法、装置、设备及存储介质;方法包括:通过客户端获取待处理图像;响应于在所述客户端中接收到的针对所述待处理图像的特效操作,在所述待处理图像中生成对应的特效,以形成待检测图像;将所述待检测图像与包括所述特效的模板图像进行匹配;当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端的用户账号所关联的分享平台,通过本发明,能够对特效功能进行自动化检测。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种图像特效的处理方法、装置、设备及存储介质。
背景技术
随着图像处理技术的发展,用户对于多媒体内容的多样性要求日渐增高,用户会在编辑图像或者视频时使用开发商提供的各种各样的特效功能,使多媒体内容更加丰富多彩,因此,特效功能是否可以在实际应用中准确实现是保障用户体验的关键因素。
在相关技术中,通常从特效功能的实现代码层面判断特效功能是否准确,但是这种方案的效率无法保证,并且受到代码分析人员的技术水平的制约,检测的精度也难以保证。
发明内容
本发明实施例提供一种图像特效的处理方法、装置、电子设备及存储介质,能够对特效功能的准确性进行高效和精确的检测。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种图像特效的处理方法,包括:
通过客户端获取待处理图像;
响应于在所述客户端中接收到的针对所述待处理图像的特效操作,在所述待处理图像中生成对应的特效,以形成待检测图像;
将所述待检测图像与包括所述特效的模板图像进行匹配;
当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端所关联的分享平台。
本发明实施例提供一种图像特效的处理装置,包括:
图像获取模块,用于通过客户端获取待处理图像;
特效生成模块,用于响应于在所述客户端中接收到的针对所述待处理图像的特效操作,在所述待处理图像中生成对应的特效,以形成待检测图像;
匹配模块,用于将所述待检测图像与包括所述特效的模板图像进行匹配;
图像发送模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端所关联的分享平台。
在上述方案中,所述匹配模块,还用于:
通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:
对所述待检测图像和所述模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;
对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;
分别确定所述第一特效图像的至少两个子区域的特征、以及所述第二特效图像的至少两个子区域的特征;
当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口;所述匹配模块,还用于:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
所述图像发送模块,还用于:
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
在上述方案中,所述匹配模块,还用于:
分别确定所述第一特效图像和所述第二特效图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;
分别确定所述第一特效图像和所述第二特效图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述第一特效图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述第一特效图像的子区域的特征,并确定所述第二特效图像中与所述第一特效图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述第二特效图像的子区域的特征。
在上述方案中,所述匹配模块,还用于:
将所述第一特效图像和所述第二特效图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述第一特效图像和所述第二特效图像的同样位置的子区域之间的哈希感知值;
对所述第一特效图像与所述第二特效图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述第一特效图像与所述第二特效图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述第一特效图像和所述第二特效图像之间同样位置的子区域之间的颜色相似度;
对所述第一特效图像与所述第二特效图像的所有子区域之间的颜色相似度进行平均处理,得到所述第一特效图像与所述第二特效图像之间的颜色相似度;
当所述第一特效图像与所述第二特效图像之间的哈希感知值满足不超过哈希感知阈值的第一条件,且所述第一特效图像与所述第二特效图像之间的颜色相似度满足不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述匹配模块,还用于:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定所述匹配结果的准确率;
将所述匹配结果的准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
在上述方案中,所述图像发送模块,还用于:
当通过匹配确定所述待检测图像中特效的显示效果符合所述特效操作的设定时,执行以下处理:
发送所述待检测图像至分享平台中与所述客户端的用户账号存在关联关系的用户账号;或者
发送所述待检测图像至与分享平台中与所述待处理图像匹配的用户账号;
其中,所述与所述待处理图像匹配的用户账号的用户画像包括偏好所述待处理图像的属性。
在上述方案中,所述图像获取模块,还用于:
通过客户端获取待处理视频,对所述待处理视频进行解码以及抽帧得到至少一个视频帧以作为所述待处理图像;
所述图像发送模块,还用于:
将所述至少一个视频帧对应的待检测图像进行编码形成待分享视频;
发送所述待分享视频到所述客户端所关联的分享平台。
本发明实施例提供一种图像特效的处理方法,包括:
通过测试工具获取待处理图像;
响应于在所述测试工具中接收的针对客户端中的特效功能的测试操作,调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像;
将所述待检测图像与包括所述特效的模板图像进行匹配;
当通过匹配确定所述待检测图像中被准确添加有所述特效时,输出所述客户端中的所述特效功能测试通过的结果。
在上述方案中,所述通过测试工具获取待处理图像,包括:
通过测试工具获取待处理视频,对所述待处理视频进行解码以及抽帧得到至少一个视频帧以作为所述待处理图像;
所述调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像,包括:
当所述测试操作指定了待测试的特效功能时,通过调用所述客户端的相应的待测试的特效功能在所述待处理图像中生成待测试特效,以形成待检测图像;
当所述测试操作未指定待测试的特效功能时,通过依次调用所述客户端中的多个待测试的特效功能,在所述待处理图像的每个副本中生成待测试特效,以形成与调用的特效功能的数量对应的待检测图像。
在上述方案中,所述方法还包括:
触发应用发布服务器上线包括测试通过的特效功能的客户端版本,并
向安装有所述客户端的历史版本的设备推送新版本更新通知。
在上述方案中,所述模板图像是在所述待处理图像中正确添加特效后形成;所述将所述待检测图像与包括所述特效的模板图像进行匹配,包括:
通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下匹配处理:
对所述待检测图像和所述模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;
分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征;
当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口;所述通过调用服务器的对应匹配处理的接口执行以下处理,包括:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
所述方法还包括:
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
在上述方案中,所述分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征,包括:
分别确定所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;
分别确定所述待检测图像和所述模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述待检测图像的子区域的特征,并确定所述模板图像中与所述待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述模板图像的子区域的特征。
在上述方案中,所述当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配,包括:
将所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述待检测图像和所述模板图像的同样位置的子区域之间的哈希感知值;
对所述待检测图像与所述模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述待检测图像与所述模板图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述待检测图像和所述模板图像之间同样位置的子区域之间的颜色相似度;
对所述待检测图像与所述模板图像的所有子区域之间的颜色相似度进行平均处理,得到所述待检测图像与所述模板图像之间的颜色相似度;
当所述待检测图像与所述模板图像之间的哈希感知值、和所述待检测图像与所述模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述方法还包括:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定对应包括第一条件和第二条件的匹配条件的准确率;
将所述匹配结果的准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
本发明实施例提供一种图像特效的处理装置,包括:
图像获取模块,用于通过测试工具获取待处理图像;
特效生成模块,用于响应于在所述测试工具中接收的针对客户端中的特效功能的测试操作,调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像;
匹配模块,用于将所述待检测图像与包括所述特效的模板图像进行匹配;
结果输出模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,输出所述客户端中的所述特效功能测试通过的结果。
在上述方案中,所述图像获取模块,还用于:
通过测试工具获取待处理视频,对所述待处理视频进行解码以及抽帧得到至少一个视频帧以作为所述待处理图像;
所述特效生成模块,还用于:
当所述测试操作指定了待测试的特效功能时,通过调用所述客户端的相应的待测试的特效功能在所述待处理图像中生成待测试特效,以形成待检测图像;
当所述测试操作未指定待测试的特效功能时,通过依次调用所述客户端中的多个待测试的特效功能,在所述待处理图像的每个副本中生成待测试特效,以形成与调用的特效功能的数量对应的待检测图像。
在上述方案中,所述装置还包括:特效上线模块,用于:
触发应用发布服务器上线包括测试通过的特效功能的客户端版本,并
向安装有所述客户端的历史版本的设备推送新版本更新通知。
在上述方案中,所述模板图像是在所述待处理图像中正确添加特效后形成;所述匹配模块,还用于:
通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下匹配处理:
对所述待检测图像和所述模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;
分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征;
当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口;所述匹配模块,还用于:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
在上述方案中,所述匹配模块,还用于:
分别确定所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;
分别确定所述待检测图像和所述模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述待检测图像的子区域的特征,并确定所述模板图像中与所述待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述模板图像的子区域的特征。
在上述方案中,所述匹配模块,还用于:
将所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述待检测图像和所述模板图像的同样位置的子区域之间的哈希感知值;
对所述待检测图像和所述模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述待检测图像与所述模板图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述待检测图像和所述模板图像之间同样位置的子区域之间的颜色相似度;
对所述待检测图像和所述模板图像的所有子区域之间的颜色相似度进行平均处理,得到所述待检测图像与所述模板图像之间的颜色相似度;
当所述待检测图像和所述模板图像的之间的哈希感知值、和所述待检测图像和所述模板图像的之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述匹配模块,还用于:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定所述匹配结果的准确率;
将所述匹配结果的准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
在上述方案中,所述通过测试工具获取待处理图像,包括:
通过测试工具获取待处理视频,对所述待处理视频进行解码以及抽帧得到至少一个视频帧以作为所述待处理图像。
本发明实施例提供一种图像特效的处理方法,包括:
获取待处理图像;
在所述待处理图像中生成特效,以形成待检测图像;
将所述待处理图像与包括所述特效的模板图像进行匹配;
当通过匹配确定所述待检测图像中被准确添加有所述特效时,确定在所述待处理图像中生成的特效准确。
在上述方案中,所述将所述待检测图像与包括所述特效的模板图像进行匹配,包括:
通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:
对所述待检测图像、以及所述模板图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;
分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征;
当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口;所述通过调用服务器的对应匹配处理的接口执行以下处理,包括:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
所述方法还包括:
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
在上述方案中,所述分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征,包括:
分别确定所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;
分别确定所述待检测图像和所述模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述待检测图像的子区域的特征,并确定所述模板图像中与所述待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述模板图像的子区域的特征。
在上述方案中,所述当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配,包括:
将所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述待检测图像和所述模板图像的同样位置的子区域之间的哈希感知值;
对所述待检测图像和所述模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述待检测图像与所述模板图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述待检测图像和所述模板图像之间同样位置的子区域之间的颜色相似度;
对所述待检测图像和所述模板图像的所有子区域之间的颜色相似度进行平均处理,得到所述待检测图像与所述模板图像之间的颜色相似度;
当所述待检测图像和所述模板图像之间的哈希感知值、和所述待检测图像和所述模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述方法还包括:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定所述匹配结果的准确率;
将所述匹配结果的准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
本发明实施例提供一种图像特效的处理装置,包括:
图像获取模块,用于获取待处理图像;
特效生成模块,用于在所述待处理图像中生成特效,以形成待检测图像;
匹配模块,用于将所述待处理图像与包括所述特效的模板图像进行匹配;
特效确定模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,确定在所述待处理图像中生成的特效准确。
在上述方案中,所述匹配模块,还用于:
通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:
对所述待检测图像、以及所述模板图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;
分别确定所述待检测图像的至少两个子区域的特征、以及所述模板图像的至少两个子区域的特征;
当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口;所述匹配模块,还用于:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
在上述方案中,所述匹配模块,还用于:
分别确定所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;
分别确定所述待检测图像和所述模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述待检测图像的子区域的特征,并确定所述模板图像中与所述待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述模板图像的子区域的特征。
在上述方案中,所述匹配模块,还用于:
将所述待检测图像和所述模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述待检测图像和所述模板图像的同样位置的子区域之间的哈希感知值;
对所述待检测图像和所述模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述待检测图像与所述模板图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述待检测图像和所述模板图像之间同样位置的子区域之间的颜色相似度;
对所述待检测图像和所述模板图像的所有子区域之间的颜色相似度进行平均处理,得到所述待检测图像与所述模板图像之间的颜色相似度;
当所述待检测图像和所述模板图像之间的哈希感知值、和所述待检测图像和所述模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
在上述方案中,所述匹配模块,还用于:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定所述匹配结果的准确率;
将所述匹配结果的准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
本发明实施例提供一种电子设备,包括
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的图像特效的处理方法。
本发明实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的图像特效的处理方法。
本发明实施例具有以下有益效果:
通过将待检测图像与模板图像进行匹配的方式,从视觉层面检测待检测图像中的特效是否被准确添加,从而提高特效自动化检测的准确度。
附图说明
图1A-1C是本发明实施例提供的图像特效的处理系统100的一个可选的结构示意图;
图2A-2C是本发明实施例提供的图像特效的处理设备的一个可选的结构示意图;
图3A-3C是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图;
图4A-4B是本发明实施例提供的图像特效的处理方法中分割示意图;
图5A-5B是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图;
图6A-6B是本发明实施例提供的图像特效的处理方法中分割示意图;
图7是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图。
图8是本发明实施例提供的输入视频中某一帧的示意图;
图9是本发明实施例提供的模板帧示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)添加特效:是指视频或者图像在后期制作的过程中,通过画面扭曲、添加动画或者滤镜等技术手段和方法获得最终视频画面或者图像的技术。
2)宿主设备:安装有用于实施特效功能的客户端的硬件设备。
3)交易(Transaction),等同于计算机术语“事务”,交易包括了需要提交到区块链网络执行的操作,并非单指商业语境中的交易,鉴于在区块链技术中约定俗成地使用了“交易”这一术语,本发明实施例遵循了这一习惯。
例如,部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用;调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录,并对区块链的状态数据库进行操作,包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。
4)区块链(Blockchain),是由区块(Block)形成的加密的、链式的交易的存储结构。
5)区块链网络(Blockchain Network),通过共识的方式将新区块纳入区块链的一系列的节点的集合。
6)账本(Ledger),是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。其中,区块链是以文件系统中的文件的形式来记录交易;状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易,用于支持对区块链中交易的快速查询。
7)智能合约(Smart Contracts),也称为链码(Chaincode)或应用代码,部署在区块链网络的节点中的程序,节点执行接收的交易中所调用的智能合约,来对状态数据库的键值对数据进行更新或查询的操作。
8)共识(Consensus),是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(PoW,Proof of Work)、权益证明(PoS,Proof of Stake)、股份授权证明(DPoS,Delegated Proof-of-Stake)、消逝时间量证明(PoET,Proof of Elapsed Time)等。
相关技术中的自动化测试基本停留在用户界面和代码层面,比如从代码判断代码预期所实现的功能是否完善,或者从用户界面的层面判断业务逻辑是否正确,对于图像或者视频从应用层面上是否添加特效,尚无解决方法,相关技术中的自动化测试并不能够判断特效功能在图形层面上是否正确,比如,不能判断在某个图像或者视频上添加了特效后是否真的呈现了特效所对应的效果,相关技术中,这类效果只能通过人工肉眼来判断,较耗费人力,基于此,本发明实施例提出了一种图像特效的处理方法,其是完全自动化的校验测试方案,能够自动的对图形层面上的效果进行相似度匹配计算,从而判断特效是否准确呈现,具体是通过计算视频中每一帧的不同区域的相似度来判断视频添加的特效是否正确,首先设计一种固定的输入视频(待检测视频),使用该视频来添加特效(生成模板视频和待检测视频),其中,模板视频时经过认证具备可靠性的视频,对该待检测视频校验的方法是对其按照固定间隔进行抽帧,然后对每一帧分割成多个小区域,对这些小区域计算相对于模板视频的哈希感知值和颜色相似度,从而确定该帧的特效是否准确生效,进一步通过这两个值的平均值来判定该添加了特效的待检测视频中的特效是否准确生效,该校验方法可以用于特效功能的自动化测试中。
本发明实施例提供一种图像特效的处理方法、装置、设备和存储介质,能够对特效功能进行自动化检测,下面说明本发明实施例提供的电子设备的示例性应用,本发明实施例提供的电子设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。
下面,将说明设备实施为终端时示例性应用。参见图1A,图1A是本发明实施例提供的图像特效的处理系统100的一个可选的架构示意图,包括:用户终端400-A、服务器200、网络300、分享平台500,用户终端400-A(示例性示出了用户终端400-A-1和用户终端400-A-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。通过安装在用户终端400-A-1上的客户端获取到待处理图像,并在待处理图像中生成特效,以形成待检测图像,将待检测图像发送至服务器200,由服务器200对待检测图像和模板图像进行匹配校验,或者直接通过客户端进行本地匹配校验,当通过匹配确定待检测图像中被准确添加有特效时,发送待检测图像到客户端所关联的分享平台500,经由分享平台500将待检测图像发送至用户终端400-A-2。
参见图2A,图2A是本发明实施例提供的本发明实施例提供的图像特效的处理设备的一个可选的结构示意图,图2A所示的用户终端400-A包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2A中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的图像特效的处理装置455可以采用软件方式实现,图2A示出了存储在存储器450中的图像特效的处理装置455,其可以是程序和插件等形式的软件,包括以下软件模块:图像获取模块4551、特效生成模块4552、匹配模块4553和图像发送模块4554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分库,将在下文中说明各个模块的功能。
在另一些实施例中,本发明实施例提供的图像特效的处理装置可以采用硬件方式实现,作为示例,本发明实施例提供的图像特效的处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的图像特效的处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Pro grammable Gate Array)或其他电子元件。
下面将结合本发明实施例提供的用户终端400-A的示例性应用和实施,说明本发明实施例提供的图像特效的处理方法。
参见图3A,图3A是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图3A示出的步骤进行说明。
在步骤101中,通过客户端获取待处理图像。
在一些实施例中,待处理图像可以是通过客户端拍摄的图像、根据用户的选择指令所选取的被存储的图像,还可以是对视频进行解码以及抽帧处理得到的视频帧,对于视频而言,对其进行特效渲染处理可以是对视频的所有帧进行特效渲染处理,可以是对视频的部分帧进行特效渲染处理,当待处理图像是视频帧时,其仍然可以仅是与模板图像进行匹配,当需要被渲染的视频帧的数目超过视频帧数目阈值时,可以对已经抽取得到的视频帧进行进一步的抽帧处理,从而仅对有限数目的待检测图像进行匹配处理,当与模板图像匹配的待检测图像的数目超过数目阈值或者匹配分数的平均值超过匹配分数阈值时,确定待检测视频中被准确添加有特效。
在步骤102中,响应于在客户端中接收到的针对待处理图像的特效操作,在待处理图像中生成对应的特效,以形成待检测图像。
这里的特效包括对待处理图像进行变换,在待处理图像的前景或者背景中添加动画或者滤镜等等。
在步骤103A中,通过调用客户端的宿主设备的接口,将待检测图像与包括特效的模板图像进行匹配。
在步骤103B中,通过调用服务器的对应匹配处理的接口,将待检测图像与包括特效的模板图像进行匹配。
参见图3B,图3B是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图3B示出的步骤1031-1034进行说明。在步骤103A或者103B中,将待检测图像与包括特效的模板图像进行匹配,可以通过步骤1031-步骤1034实现。
在步骤1031中,对待检测图像和模板图像进行特效检测处理,得到待检测图像中的第一特效图像、以及模板图像中的第二特效图像。
在步骤1032中,对第一特效图像、以及第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域。
在步骤1033中,分别确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征。
在步骤1034中,当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,对待检测图像和模板图像所进行的特效检测处理,可以将特效从待检测图像和模板图像中分离出来,这样在后续匹配计算中仅需要对分离出的特效进行匹配处理,这里被分离出的特效可以是背景特效或者是前景特效,背景特效可以施加在基于绿布得到的待处理图像中,使待处理图像中的对象可以有丰富的呈现场景,前景特效可以是贴纸或者动画,可以是施加在待处理图像上的装饰物,以丰富图像的内容呈现多样性。
在一些实施例中,在对第一特效图像和第二特效图像进行分割处理时,分割处理的机制是相同的,即分割方式、分割得到的子区域形状以及分割得到的子区域的数目是相同的,参见图4A-4B,图4A是本发明实施例提供的图像特效的处理方法中分割示意图,这里的待处理图像可以是普通人像,所分离出的第一特效图像和第二特效图像可以是墨镜贴纸,在图4A是对待检测图像的第一特效图像进行分割,图4B是对模板图像的第二特效图像进行分割,图4A-4B中所显示的仅是一种分割方式,图4A中第一特效图像的方格(3,2)和第二特效图像的方格(3,2)即互相属于第一特效图像和第二特效图像中同样位置的子区域,这里的子区域还可以是其他形状,例如多边形或者圆形,或者不规则形状,只需要保证第一特效图像的分割结果和第二特效图像的分割结果相同。在进行分割之前,还可以定位第一特效图像和第二特效图像分别在待检测图像和模板图像内的位置以及确定第一特效图像和第二特效图像的尺寸,以从各个维度上确定第一特效图像和第二特效图像匹配一致。
在一些实施例中,假设在经过分割之后,分别得到了第一特效图像的第一子区域、第二子区域、以及第二特效图像的第一子区域、第二子区域,第一特效图像的第一子区域和第二特效图像的第一子区域属于同样位置的子区域,第一特效图像的第二子区域和第二特效图像的第二子区域属于同样位置的子区域,对于同样位置的子区域,分别获取各个子区域的特征,当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;通过调用服务器的对应匹配处理的接口执行以下处理(这里的以下处理可以是将待检测图像与包括特效的模板图像进行匹配,可以是步骤1031-1034的处理步骤),可以通过下述技术方案实现,通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;在进行完匹配处理之后,还可以执行下述步骤:当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在一些实施例中,服务器的对应匹配处理的接口可以为区块链网络中共识节点的接口,通过共识节点的接口可以向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;基于智能合约的标识获取对应匹配处理的智能合约,调用对应匹配处理的智能合约可以执行对应匹配处理的逻辑,交易中还携带有待检测图像,从而针对待检测图像执行对应匹配处理的逻辑,在进行完匹配处理之后,当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效,通过共识节点调用智能合约来执行,共识节点执行智能合约的结果需要获得其他节点的共识才能有效,从而保证了数据可靠性和一致性。
在一些实施例中,分别确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征,可以通过下述技术方案实现,分别确定第一特效图像和第二特效图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定第一特效图像和第二特效图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定第一特效图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为第一特效图像的子区域的特征,并确定第二特效图像中与第一特效图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为第二特效图像的子区域的特征。
在一些实施例中,通过对每个子区域生成一个指纹字符串,并比较不同子区域的指纹字符串,两个指纹字符串的结果越接近,表征两个子区域越相似,调整待检测图像和模板图像中同样位置的子区域的尺寸,以使同样位置的子区域的尺寸的像素值为标准像素值;对经过调整后的同样位置的子区域进行灰度转化处理,以分别确定第一特效图像和第二特效图像中同样位置的子区域内对应各个像素的灰度值;确定第一特效图像和第二特效图像中同样位置的子区域内的灰度平均值;针对第一特效图像和第二特效图像中同样位置的子区域分别执行以下处理:将子区域内每个像素的灰度与该子区域内的灰度平均值进行比较,将灰度不小于灰度平均值的像素标记为1,灰度小于灰度平均值的像素标记为0,以确定子区域内各个像素的比较结果;将子区域内各个像素的比较结果,按顺序组合成位数为标准像素值的整数,作为该子区域的指纹字符串,这里可以将子区域缩小到8x8的尺寸,总共64个像素,从而去除子区域内图像的细节,而只保留结构、明暗等基本信息,再一次摒弃不同尺寸、比例带来的图像差异,将缩小后的图像转为64级灰度,即所有像素点总共只有64种颜色,计算所有64个像素的灰度平均值,将每个像素的灰度,与平均值进行比较,大于或等于平均值的像素的值记为1,小于平均值的像素的值记为0,将0和1组合在一起,就构成了一个64位的整数作为该子区域的指纹,组合的次序并不重要,只要保证所有子区域都采用同样次序即可,得到各个子区域的指纹字符串以后,就可以对比不同的子区域的指纹字符串,从而确定64位中有多少位是不一样的,这等同于计算汉明距离(Hamming distance),如果不相同的数据位不超过5,可以说明两个子区域很相似,如果大于10,可以说明这是两个子区域呈现效果差距很大。
在一些实施例中,除了通过指纹字符串作为子区域的特征,还可以获取颜色平均值作为子区域的特征,分别确定第一特效图像和第二特效图像中同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定第一特效图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为第一特效图像的子区域的特征,并确定第二特效图像中与第一特效图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为第二特效图像的子区域的特征,对于第一子区域而言,第一子区域分别对应有红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵,红色平均值为红色向量矩阵中各个值相加后除以值个数得到的平均值,绿色平均值为绿色向量矩阵中各个值相加后除以值个数得到的平均值,蓝色平均值为蓝色向量矩阵中各个值相加后除以值个数得到的平均值,以作为第一子区域的特征。
在一些实施例中,当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配,可以通过下述技术方案实现,将第一特效图像和第二特效图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为第一特效图像和第二特效图像的同样位置的子区域之间的哈希感知值;对第一特效图像与第二特效图像的所有子区域之间的哈希感知值进行加权平均处理,得到第一特效图像与第二特效图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定第一特效图像和第二特效图像之间同样位置的子区域之间的颜色相似度;对第一特效图像与第二特效图像的所有子区域之间的颜色相似度进行平均处理,得到第一特效图像与第二特效图像之间的颜色相似度;当第一特效图像与第二特效图像之间的哈希感知值满足不超过哈希感知阈值的第一条件,且第一特效图像与第二特效图像之间的颜色相似度满足不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在一些实施例中,基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定第一特效图像和第二特效图像之间同样位置的子区域之间的颜色相似度,可以通过下述技术方案实现,分别确定待检测图像的任一子区域与模板图像的同样位置的子区域之间的红色平均值的差值、绿色平均值的差值以及蓝色平均值的差值;分别确定红色平均值的差值、绿色平均值的差值以及蓝色平均值的差值与最大红色平均值、最大绿色平均值以及最大蓝色平均值的比值;最大红色平均值是第一特效图像中第一子区域的红色平均值、与第二特效图像中第一子区域的红色平均值中较大的值,作为最大红色平均值,对所得到的对应最大红色平均值、最大绿色平均值以及最大蓝色平均值的比值进行平均处理,以确定待检测图像和模板图像之间同样位置的子区域的颜色相似损失值;基于颜色相似度与颜色相似损失值之间的负相关关系,确定待检测图像和模板图像之间同样位置的子区域的颜色相似度。
在一些实施例中,在进行匹配之前还需要获取匹配条件,匹配条件包括第一条件和第二条件,查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定对应包括第一条件和第二条件的匹配条件的准确率;将准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
在一些实施例中,通过调用服务器的查询接口来查询针对特效的历史测试数据,历史测试数据中包括特效以及对应特效的测试记录,测试记录中记载了测试特效所使用的匹配条件,对应匹配条件和被测特效的测试结果,以及通过比较测试结果和真实结果所得到的准确率,当匹配条件越容易满足,则测试结果和真实结果差距越大,则准确率越低,当匹配条件难以满足,则测试结果和真实结果差距极小,虽然准确率较高,但是过滤掉了很多虽然在数据上存在一定差距但是在肉眼上无法识别其中区别的特效实现结果,因此,这里除了限定最高准确率之外,还可以限定测试结果的留存率,这里的留存率为测试结果为与模板图像匹配的待检测图像在参与测试的所有待检测图像的数目占比,在留存率大于留存率阈值的前提下,选择最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件,这里的测试结果可以是在某一匹配条件下的所有测试结果,每条测试结果中包括测试次数、每次测试所得到的匹配结果,对应的真实结果以及准确率,在进行完匹配处理后,将匹配结果和真实结果进行比较,这里的真实结果可以是来自于用户的反馈,例如当用户发现特效没有按照预期生效时,用户可以对此进行反馈,即真实结果为待检测图像和模板图像不匹配,当匹配结果也是待检测图像和模板图像不匹配,则该匹配结果准确,基于多个匹配结果和对应真实结果之间的比较,可以确定对应匹配条件的准确率,同理,这里的匹配结果还可以是待检测图像和模板图像匹配,则该匹配结果与真实结果不符合,即该匹配结果不准确,基于获取的所有匹配结果,以及对应的真实结果,可以确定对应匹配条件的准确率,某一匹配条件下,匹配结果和真实结果相符合的测试次数与所有测试次数的比值即为对应该匹配条件的准确率。
在步骤104中,当通过匹配确定待检测图像中被准确添加有特效时,发送待检测图像到客户端所关联的分享平台。
参见图3C,基于图3A,图3C是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图3C示出的步骤1041、1041A和1041B进行说明。在步骤104中,当通过匹配确定待检测图像中被准确添加有特效时,发送待检测图像到客户端所关联的分享平台,可以通过步骤1041实现,步骤1041可以通过步骤1041A或者1041B实现。
在步骤1041中,当通过匹配确定待检测图像中特效的显示效果符合特效操作的设定时,执行以下步骤1041A或者1041B。
在步骤1041A中,发送待检测图像至分享平台中与客户端的用户账号存在关联关系的用户账号。
在步骤1041B中,发送待检测图像至与分享平台中与待处理图像匹配的用户账号;其中,与待处理图像匹配的用户账号的用户画像包括偏好待处理图像的属性。
在一些实施例中,当通过匹配确定待检测图像中特效的显示效果符合特效操作的设定时,发送待检测图像至分享平台中与客户端的用户账号存在关联关系的用户账号;或者,发送待检测图像至与分享平台中与待处理图像匹配的用户账号;其中,与待处理图像匹配的用户账号的用户画像包括偏好待处理图像的属性,当匹配结果表征待检测图像和模板图像相似匹配时,即表征待检测图像中特效的显示效果符合特效操作的设定,这里的设定包括特效视觉层面的显示尺寸、显示位置以及对应特效的形态,与客户端的用户账号存在关联关系的用户账号可以是存在订阅关系或者关注关系的用户账号,与待处理图像匹配的用户账号可以是该待处理图像符合用户账号的用户画像,用户画像包括偏好待处理图像的属性,待处理图像可以是一个风景图像,则偏好待处理图像的属性可以是风景,风景是用户画像中的一个标签。
在一些实施例中,通过客户端获取待处理图像,可以通过以下技术方案实现,通过客户端获取待处理视频,对待处理视频进行解码以及抽帧得到至少一个视频帧以作为待处理图像;发送待检测图像到客户端所关联的分享平台,可以通过以下技术方案实现,将至少一个视频帧对应的待检测图像进行编码形成待分享视频;发送待分享视频到客户端所关联的分享平台。
在一些实施例中,这里除了直接获取待处理图像之外,还可以获取待处理视频,将待处理视频抽帧作为待处理图像,对于待处理视频而言,可以根据抽帧选择指令,将所有帧作为待处理图像,也可以根据抽帧选择指令中的时间段来选择对应时间段的帧作为待处理图像,在发送待检测图像至分享平台的过程中,可以将至少一个视频帧对应的待检测图像进行编码形成待分享视频,再发送待分享视频到客户端所关联的分享平台,这里也可以参考发送待检测图像的技术方案,将待分享视频发送至分享平台中与客户端的用户账号存在关联关系的用户账号;或者,发送待分享视频至与分享平台中与待分享视频匹配的用户账号;其中,与待分享视频匹配的用户账号的用户画像包括偏好待分享视频的属性。
在一些实施例中,在在待处理图像中生成对应的特效之前,当服务器的对应特效查询处理的接口为区块链网络中共识节点的接口时,通过调用服务器的对应匹配处理的接口还可以执行以下技术方案,向区块链网络发送查询交易,其中,查询交易指示了用于查询区块链网络中账本的智能合约,以使区块链网络中的共识节点通过执行智能合约的方式来查询账本,得到账本中存储的特效文件;或者根据特效的标识,从特效数据库中查询标识对应的特效文件,并确定查询到的特效文件的哈希值;从区块链网络中查询标识对应的哈希值,当所查询到的哈希值与确定的哈希值一致时,确定查询到的特效文件未经篡改。
在一些实施例中,在在待处理图像中生成对应的特效之前,可以通过调用区块链网络中共识节点的接口来查询存储在区块链网络中的特效文件,特效文件存储在区块链网络中可以防止特效文件被黑客恶意篡改,导致其所生成的特效和预期效果不一致,从而在用户使用时降低用户体验。
下面,继续说明设备实施为测试工具终端时示例性应用。参见图1B,图1B是本发明实施例提供的图像特效的处理系统100的一个可选的架构示意图,包括:测试工具终端400-B、服务器200、网络300、上线平台600,测试工具终端400-B通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。通过测试工具终端400-B获取到待处理图像,并在待处理图像中生成特效,以形成待检测图像,将待检测图像发送至服务器,由服务器对待检测图像和模板图像进行匹配校验,或者直接通过测试工具终端400-B进行本地匹配校验,当通过匹配确定待检测图像中被准确添加有特效时,输出客户端中的特效功能测试通过的结果,并触发上线平台上线包括测试通过的特效功能的客户端版本,并且向安装有客户端的历史版本的用户终端400-A-1和400-A-2推送新版本更新通知。
参见图2B,图2B是本发明实施例提供的本发明实施例提供的图像特效的处理设备的一个可选的结构示意图,除了进行说明的内容,测试工具终端400-B与本发明实施例提供的用户终端400-A的结构一致,本发明实施例提供的图像特效的处理装置455可以采用软件方式实现,图2B示出了存储在存储器450中的图像特效的处理装置455,其可以是程序和插件等形式的软件,包括以下软件模块:图像获取模块4551、特效生成模块4552、匹配模块4553、结果输出模块4555和特效上线模块4556,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分库,将在下文中说明各个模块的功能。
下面将结合本发明实施例提供的测试工具终端400-B的示例性应用和实施,说明本发明实施例提供的图像特效的处理方法。
参见图5A,图5A是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图5A示出的步骤进行说明。
在步骤201中,通过测试工具获取待处理图像。
在一些实施例中,待处理图像可以是通过客户端拍摄的图像、所选取的被存储的图像,还可以是对视频进行解码以及抽帧处理得到的视频帧,对于视频而言,对其进行特效渲染处理可以是对视频的所有帧进行特效渲染处理,可以是对视频的部分帧进行特效渲染处理,当待处理图像是视频帧时,其仍然可以仅是与模板图像进行匹配,当需要被渲染的视频帧的数目超过视频帧数目阈值时,可以对已经抽取得到的视频帧进行进一步的抽帧处理,从而仅对有限数目的待检测图像进行匹配处理,当与模板图像匹配的待检测图像的数目超过数目阈值或者匹配分数的平均值超过匹配分数阈值时,确定待检测视频中被准确添加有特效。
在步骤202中,响应于在测试工具中接收的针对客户端中的特效功能的测试操作,调用客户端中的特效功能在待处理图像中生成特效,以形成待检测图像。
这里的特效包括对待处理图像进行变换,在待处理图像的前景或者背景中添加动画或者滤镜等等。
在一些实施例中,通过测试工具获取待处理图像,可以通过以下技术方案实现,通过测试工具获取待处理视频,对待处理视频进行解码以及抽帧得到至少一个视频帧以作为待处理图像;调用客户端中的特效功能在待处理图像中生成特效,以形成待检测图像,可以通过以下技术方案实现,当测试操作指定了待测试的特效功能时,通过调用客户端的相应的待测试的特效功能在待处理图像中生成待测试特效,以形成待检测图像;当测试操作未指定待测试的特效功能时,通过依次调用客户端中的多个待测试的特效功能,在待处理图像的每个副本中生成待测试特效,以形成与调用的特效功能的数量对应的待检测图像。
在一些实施例中,对于指定了待测试的特效功能的测试操作,仅针对指定的待测试的特效功能进行测试,对于未指定待测试的特效功能的测试操作,依次调用客户端中的全部待测试的特效功能生成待测试特效,还可以设定默认对于未指定待测试的特效功能的测试操作,调用客户端中收到用户反馈最多的特效功能生成待测试特效,以尽量节约测试资源。
在步骤203A中,通过调用客户端的宿主设备的接口,将待检测图像与包括特效的模板图像进行匹配。
在步骤203B中,通过调用服务器的对应匹配处理的接口,将待检测图像与包括特效的模板图像进行匹配。
参见图5B,图5B是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图5B示出的步骤2031-2034进行说明,模板图像是在待处理图像中正确添加特效后形成,在步骤203A或者203B中,将待检测图像与包括特效的模板图像进行匹配,可以通过步骤2031-步骤2034实现。
在步骤2031中,对待检测图像和模板图像进行相同的分割处理,得到待检测图像的至少两个子区域、以及模板图像的至少两个子区域。
在步骤2032中,分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征。
在步骤2033中,当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,这里的模板图像是对相同的待处理图像正确添加特效,具备可靠性的图像,这里将模板图像设定为也是与待检测图像一致,也是基于相同的待处理图像得到,可以提高对特效是否准确添加进行更准确的识别,同时可以适用于类型更加多样的特效,不仅仅是背景或者前景特效,还有对待处理图像本身进行变换的特效,比如对待处理图像进行旋转,扭曲,施加鱼眼效果等等。
在一些实施例中,为了取得更优的测试效果,可以在测试场景下对待处理图像进行设计,例如,将待处理图像设计为一个固定图像,可以是多个纯色区域拼接起来的,保证每个相邻区域的颜色对比度超过颜色对比度阈值,使得进行相似匹配时,对除特效之外的其他变量进行控制,从而取得更优的测试效果。
在一些实施例中,在对待检测图像和模板图像进行分割处理时,分割处理的机制是相同的,即分割方式、分割得到的子区域形状以及分割得到的子区域的数目是相同的,参见图6A-6B,图6A-6B是本发明实施例提供的图像特效的处理方法中分割示意图,这里的待处理图像可以是普通人像,所添加的特效可以是墨镜贴纸,在图6A是对待检测图像进行分割,图6B是对模板图像进行分割,图6A-6B中所显示的仅是一种分割方式,图6A中待检测图像的方格(3,2)和图6B中模板图像的方格(3,2)即互相属于待检测图像和模板图像中同样位置的子区域,这里的子区域还可以是其他形状,例如多边形或者圆形,或者不规则形状,只需要保证待检测图像的分割结果和模板图像的分割结果相同。
在一些实施例中,还可以使用上述实施例中,在用户终端的使用场景下,对待检测图像和模板图像进行特效检测处理,得到待检测图像中的第一特效图像、以及模板图像中的第二特效图像。对第一特效图像、以及第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域。分别确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征。当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,对待检测图像和模板图像所进行的特效检测处理,可以将特效从待检测图像和模板图像中分离出来,这样在后续匹配计算中仅需要对分离出的特效进行匹配处理,可以节约计算量资源。
在一些实施例中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;通过调用服务器的对应匹配处理的接口执行以下处理(这里的以下处理可以是将待检测图像与包括特效的模板图像进行匹配,可以是步骤2031-2033的处理步骤),可以通过下述技术方案实现,通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;在进行完匹配处理之后,还可以执行下述步骤:当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在一些实施例中,分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征,可以通过以下技术方案实现,分别确定待检测图像和模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定待检测图像和模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为待检测图像的子区域的特征,并确定模板图像中与待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为模板图像的子区域的特征。
这里的具体实现说明可以参考上述确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征的具体实现过程,区别仅在于这里的子区域是直接对待处理图像和模板图像进行相同分割得到的。
在一些实施例中,当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配,具体可以通过以下技术方案实现:将待检测图像和模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为待检测图像和模板图像的同样位置的子区域之间的哈希感知值;对待检测图像和模板图像所有子区域之间的哈希感知值进行加权平均处理,得到待检测图像与模板图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定待检测图像和模板图像之间同样位置的子区域之间的颜色相似度;对待检测图像和模板图像所有子区域之间的颜色相似度进行平均处理,得到待检测图像与模板图像之间的颜色相似度;当待检测图像和模板图像之间的哈希感知值、和待检测图像和模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在一些实施例中,基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定待检测图像和模板图像之间同样位置的子区域之间的颜色相似度,可以通过下述技术方案实现,分别确定待检测图像的任一子区域与模板图像的同样位置的子区域之间的红色平均值的差值、绿色平均值的差值以及蓝色平均值的差值;分别确定红色平均值的差值、绿色平均值的差值以及蓝色平均值的差值与最大红色平均值、最大绿色平均值以及最大蓝色平均值的比值;最大红色平均值是待检测图像中第一子区域的红色平均值、与模板图像中第一子区域的红色平均值中较大的值,作为最大红色平均值,对所得到的对应最大红色平均值、最大绿色平均值以及最大蓝色平均值的比值进行平均处理,以确定待检测图像和模板图像之间同样位置的子区域的颜色相似损失值;基于颜色相似度与颜色相似损失值之间的负相关关系,确定待检测图像和模板图像之间同样位置的子区域的颜色相似度。
在一些实施例中,在进行匹配之前还需要获取匹配条件,匹配条件包括第一条件和第二条件,查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定对应包括第一条件和第二条件的匹配条件的准确率;将准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
在步骤204中,当通过匹配确定待检测图像中被准确添加有特效时,输出客户端中的特效功能测试通过的结果。
在一些实施例中,在输出客户端中的特效功能测试通过的结果之后,还可以触发应用发布服务器上线包括测试通过的特效功能的客户端版本,并向安装有客户端的历史版本的设备推送新版本更新通知。
下面,将说明设备实施为服务器时示例性应用。参见图1C,图1C是本发明实施例提供的图像特效的处理系统100的一个可选的架构示意图,包括:用户终端400-A、测试工具终端400-B、服务器200、网络300、分享平台500,上线平台600、用户终端400-A(示例性示出了用户终端400-A-1和用户终端400-A-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。通过安装在用户终端400-A-1上的客户端获取到待处理图像,并在待处理图像中生成特效,以形成待检测图像,将待检测图像发送至服务器200,由服务器200对待检测图像和模板图像进行匹配校验,当通过匹配确定待检测图像中被准确添加有特效时,发送待检测图像到客户端所关联的分享平台500,经由分享平台500将待检测图像发送至用户终端400-A-2,通过测试工具终端400-B获取到待处理图像,并在待处理图像中生成特效,以形成待检测图像,将待检测图像发送至服务器,由服务器200对待检测图像和模板图像进行匹配校验,当通过匹配确定待检测图像中被准确添加有特效时,输出客户端中的特效功能测试通过的结果,并触发上线平台600上线包括测试通过的特效功能的客户端版本,并且向安装有客户端的历史版本的用户终端400-A-1和400-A-2推送新版本更新通知。
参见图2C,图2C是本发明实施例提供的本发明实施例提供的图像特效的处理设备的一个可选的结构示意图,图2C所示的服务器200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解,总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2C中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统251,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口220包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块253,用于经由一个或多个与用户接口230相关联的输出装置231(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块254,用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的图像特效的处理装置255可以采用软件方式实现,图2C示出了存储在存储器250中的图像特效的处理装置255,其可以是程序和插件等形式的软件,包括以下软件模块:图像获取模块4551、特效生成模块4552、匹配模块4553和特效确定模块2554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分库,将在下文中说明各个模块的功能。
下面将结合本发明实施例提供的服务器200的示例性应用和实施,说明本发明实施例提供的图像特效的处理方法。
参见图7,图7是本发明实施例提供的图像特效的处理方法的一个可选的流程示意图,将结合图7示出的步骤301-304进行说明。
在步骤301中,获取待处理图像。
在步骤302中,在待处理图像中生成特效,以形成待检测图像。
在步骤303中,将待处理图像与包括特效的模板图像进行匹配。
在一些实施例中,模板图像是在待处理图像中正确添加特效后形成,步骤303中将待检测图像与包括特效的模板图像进行匹配,可以通过以下技术方案实现,通过调用客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:对待检测图像、以及模板图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征;当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征,可以通过以下技术方案实现,分别确定待检测图像和模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定待检测图像和模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为待检测图像的子区域的特征,并确定模板图像中与待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为模板图像的子区域的特征。
在一些实施例中,当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配,可以通过以下技术方案实现,将待检测图像和模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为待检测图像和模板图像的同样位置的子区域之间的哈希感知值;对待检测图像和模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到待检测图像与模板图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定待检测图像和模板图像之间同样位置的子区域之间的颜色相似度;对待检测图像和模板图像的所有子区域之间的颜色相似度进行平均处理,得到待检测图像与模板图像之间的颜色相似度;当待检测图像和模板图像之间的哈希感知值、和待检测图像和模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在一些实施例中,步骤303中将待检测图像与包括特效的模板图像进行匹配,可以通过以下技术方案实现,通过调用客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:对待检测图像和模板图像进行特效检测处理,得到待检测图像中的第一特效图像、以及模板图像中的第二特效图像;对第一特效图像、以及第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;分别确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征;当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在一些实施例中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;通过调用服务器的对应匹配处理的接口执行以下处理,可以通过以下技术方案实现,通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;之后执行以下步骤,当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在一些实施例中,还可以在进行匹配之前执行以下技术方案,查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定匹配结果的准确率;将匹配结果的准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
在步骤304中,当通过匹配确定待检测图像中被准确添加有特效时,确定在待处理图像中生成的特效准确。
下面详细说明本发明实施例提供的图像特效的处理方法在用户终端的使用场景下的应用,用户在上传分享多媒体文件时往往会对图像或者视频进行编辑,以图像为例,对待处理图像进行特效渲染,并将待处理图像与包括相同特效的模板图像进行相似度匹配,这里相似度匹配的过程中可以将待处理图像和模板图像进行特效检测,将特效与待处理图像分离作为第一特效图像,同样对将模板图像中的特效分离出来作为第二特效图像,将第一特效图像和第二特效图像进行相同机制的分割,并分别比对同样位置的子区域的相似度,得到多个子区域的相似度,从而得到第一特效图像和第二特效图像的相似度,当第一特效图像和第二特效图像的相似度之间的相似度超过相似度阈值时,即认为待检测图像中的特效是准确呈现的,这里模板图像中的特效是经过提前认证的被准确添加的特效,这种自动化检测方式对于用户上传图像的场景而言,可以使得在用户编辑上传的过程中,客户端不需要对特效效果进行提前预览,对终端内存资源以及计算资源的占用大幅降低,对于用户体验而言,用户会感受到即时编辑即时上传的处理速度,而省略了预览过程。
下面继续详细说明本发明实施例提供的图像特效的处理方法在用户终端的使用场景下的应用,以视频为例,获取待处理视频,对待处理视频进行解码抽帧,对需要进行特效渲染的视频帧进行特效渲染得到多帧待检测图像,与上述处理方式类似,将特效渲染后得到的多帧待检测图像与包括相同特效的模板图像进行匹配,得到各帧待检测图像与模板图像的相似度(匹配分数),进而对各帧待检测图像与模板图像的相似度相加求平均,得到相似度的平均值作为待检测视频与模板图像进行匹配的相似度,超过相似度阈值(匹配分数阈值)时,即认为待检测视频中的特效是准确呈现的,还可以确认单帧待检测图像相对于模板图像的相似度,将超过相似度阈值的帧确认为其中的特效是准确呈现的,当特效准确呈现的帧的数目超过数目阈值时,即认为待检测视频中的特效是准确呈现的。
下面详细说明本发明实施例提供的图像特效的处理方法在测试场景下的应用,本发明实施例提供的图像特效的处理方法可以应用于可编辑视频类应用的自动化的内容添加效果检测,实现自动化检测添加的特效(包括动感特效、大片模板等)效果是否生效且是否正确,能够确保所有特效的效果正常、功能正常,减少测试人力,首先是生成固定的输入视频(待处理视频),这里可以将固定的输入视频复用到生成后台中的模板视频,或者是复用到生成用于测试的待检测视频,设计该视频的特征如下:每一帧都是相同的通过设计图像,参见图8,图8是本发明实施例提供的输入视频中某一帧的示意图,设计输入视频的每一帧有18x32个格子,每个格子是纯色的,并且每个格子与相邻的格子的颜色都不相近,设计输入视频的每帧图像的分辨率为720x1280,设计输入视频是一个每秒30帧,一共10秒的视频。通过自动化工具构造出使用以上输入视频,在所有时间上都添加了特效,且存放于后台用于校验用的模板视频Vm。
客户端的待检测视频Vt也是通过该输入视频添加特效之后得到的,每10帧截取视频的一帧,一共截取10帧,作为待检测帧,同样的,对后台中的模板视频Vm也做同样的操作,取10帧作为模板帧。这里对待检测视频进行抽帧和对模板视频进行抽帧的机制应该完全一致,这里设定了模板视频和待检测视频均是基于相同的输入视频添加特效得到的,模板视频中的特效呈现效果是经过审核平台认证的,因此将以模板视频作为标准来检测待检测视频中的特效是否准确呈现,参见图9,图9是本发明实施例提供的模板帧示意图,它显示的是在图8中输入视频中的一帧中加了特效后呈现的效果,这里的模板帧可以用于后续的相似度匹配,即特效校验过程。
对于每一个待检测帧和模板帧均执行以下处理:由于生成待检测帧和模板帧都是由同一个输入视频生成所得,将待检测帧和模板帧都分割成WxH(W=18,H=32)即一共N=576个小方格,对每一个生成的小方格,计算待检测帧和模板帧中同样位置的方格的两个方格(称为第一待检测方格和第一模板方格)通过感知哈希算法计算得到的哈希感知值Hp,l(l=1,2,3,…N)和颜色均值相似度Cl(l=1,2,3,…N),这里颜色相似度的计算方法如下:假设在待检测帧的某个方格(第一待检测方格)的所有像素点的R,G,B颜色平均值为在模板帧的同样位置的方格(第一模板方格)的所有像素点的R,G,B颜色平均值为这个方格的颜色相似度计算参见公式(1):
得到了Hp,l(l=1,2,3,…N)和Cl(l=1,2,3,…N)后,计算每一帧的两个相似度值的均值,参见公式(2)和(3):
这里,将输入视频设计成多个色块能够感知视频添加特效后的细小纹理或者颜色变化,理论上色块越多准确率越高,但是算法的复杂度会增加,本发明实施例提供的图像特效的处理方法在权衡复杂度和准确度的情况下,选择了分割成18*32个色块,既能够保证能够识别细小变化达到较高的准确率又能保证算法的高效性,本发明实施例提供的图像特效的处理方法通过多帧多子区域取平均的方式能够减少偶然性,提高准确率和可靠性,本发明实施例提供的图像特效的处理方法在计算色块的相似度时使用了感知哈希算法和颜色相似度的方法,能够保证每个小的色块的形状和颜色都是相似的,从而保证了整体的相似性,本发明实施例提供的图像特效的处理方法对相应多媒体产品的19个特效,使用多种机型的手机进行测试验证,进行了大量测试,准确率达到了100%。
特效渲染有多种方式,对于添加动画这种特效方式而言,可以采用不同固定视频的技术方案,对特效进行检测,将特效与输入视频分离,仅比较待检测视频的特效和模板视频的特效是否匹配,来判断特效是否添加是否正确,这样可以将应用场景从产品开发阶段的测试拓展至用户使用阶段上传个性化视频时,由用户进行特效测试的场景,这里的输入视频不局限于图8中的示例,还可以由其他样式或者形状的视频替代,对视频帧进行分割的方式不局限于方格分割,可以由生成其他大小或者形状的分割方式替代,相似度算法不局限于哈希感知算法以及颜色相似度算法,进而,匹配条件可以根据算法的不同以及需求不同进行变更。
下面继续说明本发明实施例提供的图像特效的处理装置455的实施为软件模块的示例性结构,在一些实施例中,如图2A所示,存储在存储器450的图像特效的处理装置455中的软件模块可以包括:图像获取模块4551,用于通过客户端获取待处理图像;特效生成模块4552,用于响应于在客户端中接收到的针对待处理图像的特效操作,在待处理图像中生成对应的特效,以形成待检测图像;匹配模块4553,用于将待检测图像与包括特效的模板图像进行匹配;图像发送模块4554,用于当通过匹配确定待检测图像中被准确添加有特效时,发送待检测图像到客户端所关联的分享平台。
在上述方案中,匹配模块4553,还用于:通过调用客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:对待检测图像和模板图像进行特效检测处理,得到待检测图像中的第一特效图像、以及模板图像中的第二特效图像;对第一特效图像、以及第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;分别确定第一特效图像的至少两个子区域的特征、以及第二特效图像的至少两个子区域的特征;当第一特效图像的至少两个子区域的特征、与第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在上述方案中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;匹配模块4553,还用于:通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;图像发送模块4554,还用于:当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在上述方案中,匹配模块4553,还用于:分别确定第一特效图像和第二特效图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定第一特效图像和第二特效图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定第一特效图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为第一特效图像的子区域的特征,并确定第二特效图像中与第一特效图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为第二特效图像的子区域的特征。
在上述方案中,匹配模块4553,还用于:将第一特效图像和第二特效图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为第一特效图像和第二特效图像的同样位置的子区域之间的哈希感知值;对第一特效图像与第二特效图像的所有子区域之间的哈希感知值进行加权平均处理,得到第一特效图像与第二特效图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定第一特效图像和第二特效图像之间同样位置的子区域之间的颜色相似度;对第一特效图像与第二特效图像的所有子区域之间的颜色相似度进行平均处理,得到第一特效图像与第二特效图像之间的颜色相似度;当第一特效图像与第二特效图像之间的哈希感知值满足不超过哈希感知阈值的第一条件,且第一特效图像与第二特效图像之间的颜色相似度满足不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在上述方案中,匹配模块4553,还用于:查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定匹配结果的准确率;将匹配结果的准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
在上述方案中,图像发送模块4554,还用于:当通过匹配确定待检测图像中特效的显示效果符合特效操作的设定时,执行以下处理:发送待检测图像至分享平台中与客户端的用户账号存在关联关系的用户账号;或者发送待检测图像至与分享平台中与待处理图像匹配的用户账号;其中,与待处理图像匹配的用户账号的用户画像包括偏好待处理图像的属性。
在上述方案中,图像获取模块4551,还用于:通过客户端获取待处理视频,对待处理视频进行解码以及抽帧得到至少一个视频帧以作为待处理图像;图像发送模块4554,还用于:将至少一个视频帧对应的待检测图像进行编码形成待分享视频;发送待分享视频到客户端所关联的分享平台。
下面继续说明本发明实施例提供的图像特效的处理装置455的实施为软件模块的示例性结构,在一些实施例中,如图2B所示,存储在存储器450的图像特效的处理装置455中的软件模块可以包括:图像获取模块4551,用于通过测试工具获取待处理图像;特效生成模块4552,用于响应于在测试工具中接收的针对客户端中的特效功能的测试操作,调用客户端中的特效功能在待处理图像中生成特效,以形成待检测图像;匹配模块4553,用于将待检测图像与包括特效的模板图像进行匹配;结果输出模块4555,用于当通过匹配确定待检测图像中被准确添加有特效时,输出客户端中的特效功能测试通过的结果。
在上述方案中,图像获取模块4551,还用于:通过测试工具获取待处理视频,对待处理视频进行解码以及抽帧得到至少一个视频帧以作为待处理图像;特效生成模块4552,还用于:当测试操作指定了待测试的特效功能时,通过调用客户端的相应的待测试的特效功能在待处理图像中生成待测试特效,以形成待检测图像;当测试操作未指定待测试的特效功能时,通过依次调用客户端中的多个待测试的特效功能,在待处理图像的每个副本中生成待测试特效,以形成与调用的特效功能的数量对应的待检测图像。
在上述方案中,装置还包括:特效上线模块4556,用于:触发应用发布服务器上线包括测试通过的特效功能的客户端版本,并向安装有客户端的历史版本的设备推送新版本更新通知。
在上述方案中,模板图像是在待处理图像中正确添加特效后形成;匹配模块4553,还用于:通过调用客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下匹配处理:对待检测图像和模板图像进行相同的分割处理,得到待检测图像的至少两个子区域、以及模板图像的至少两个子区域;分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征;当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在上述方案中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;匹配模块4553,还用于:通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在上述方案中,匹配模块4553,还用于:分别确定待检测图像和模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定待检测图像和模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为待检测图像的子区域的特征,并确定模板图像中与待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为模板图像的子区域的特征。
在上述方案中,匹配模块4553,还用于:将待检测图像和模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为待检测图像和模板图像的同样位置的子区域之间的哈希感知值;对待检测图像和模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到待检测图像与模板图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定待检测图像和模板图像之间同样位置的子区域之间的颜色相似度;对待检测图像和模板图像的所有子区域之间的颜色相似度进行平均处理,得到待检测图像与模板图像之间的颜色相似度;当待检测图像和模板图像之间的哈希感知值、和待检测图像和模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在上述方案中,匹配模块4553,还用于:查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定匹配结果的准确率;将匹配结果的准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
在上述方案中,图像获取模块4551,还用于:通过测试工具获取待处理视频,对待处理视频进行解码以及抽帧得到至少一个视频帧以作为待处理图像。
下面继续说明本发明实施例提供的图像特效的处理装置255的实施为软件模块的示例性结构,在一些实施例中,如图2C所示,存储在存储器250的图像特效的处理装置255中的软件模块可以包括:图像获取模块4551,用于获取待处理图像;特效生成模块4552,用于在待处理图像中生成特效,以形成待检测图像;匹配模块4553,用于将待处理图像与包括特效的模板图像进行匹配;特效确定模块2554,用于当通过匹配确定待检测图像中被准确添加有特效时,确定在待处理图像中生成的特效准确。
在上述方案中,匹配模块4553,还用于:通过调用客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口,以执行以下处理:对待检测图像、以及模板图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;分别确定待检测图像的至少两个子区域的特征、以及模板图像的至少两个子区域的特征;当待检测图像的至少两个子区域的特征、与模板图像的至少两个子区域的特征之间满足匹配条件时,确定待检测图像和模板图像匹配。
在上述方案中,服务器的对应匹配处理的接口为区块链网络中共识节点的接口;匹配模块4553,还用于:通过调用区块链网络中共识节点的接口,向共识节点发送交易;其中,交易中携带包括匹配处理的智能合约的标识、以及待检测图像;当接收超出数量阈值的共识节点发送的待检测图像确被正确添加特效的消息时,确定待检测图像确被正确添加特效。
在上述方案中,匹配模块4553,还用于:分别确定待检测图像和模板图像的同样位置的子区域的指纹字符串,作为对应子区域的特征;分别确定待检测图像和模板图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;确定待检测图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为待检测图像的子区域的特征,并确定模板图像中与待检测图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为模板图像的子区域的特征。
在上述方案中,匹配模块4553,还用于:将待检测图像和模板图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为待检测图像和模板图像的同样位置的子区域之间的哈希感知值;对待检测图像和模板图像的所有子区域之间的哈希感知值进行加权平均处理,得到待检测图像与模板图像之间的哈希感知值;基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定待检测图像和模板图像之间同样位置的子区域之间的颜色相似度;对待检测图像和模板图像的所有子区域之间的颜色相似度进行平均处理,得到待检测图像与模板图像之间的颜色相似度;当待检测图像和模板图像之间的哈希感知值、和待检测图像和模板图像之间的颜色相似度满足不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件时,确定待检测图像和模板图像匹配。
在上述方案中,匹配模块4553,还用于:查询针对特效的历史测试数据,得到历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;将匹配结果与真实结果进行比较,以确定匹配结果的准确率;将匹配结果的准确率添加至特效的历史测试数据中,以对特效的历史测试数据进行更新。
本发明实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本发明实施例提供的图像特效的处理方法,例如,如图3A-3C、5A-5B或者图7示出的图像特效的处理方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上,通过本发明实施例,通过将待检测图像与模板图像进行匹配,以从视觉层面检测待检测图像中的特效是否被准确添加,从而提高特效自动化检测的准确度。
以上,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。
Claims (17)
1.一种图像特效的处理方法,其特征在于,所述方法包括:
通过客户端获取待处理图像;
响应于在所述客户端中接收到的针对所述待处理图像的特效操作,在所述待处理图像中生成对应的特效,以形成待检测图像;
当所述特效属于对所述待处理图像本身进行变换的特效时,执行以下匹配处理:
对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;
当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当所述特效属于可分离的特效时,执行以下匹配处理:
对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;
对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;
当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当通过匹配确定所述待检测图像中特效的显示效果符合对应所述特效的设定时,发送所述待检测图像到所述客户端所关联的分享平台;
其中,所述设定包括特效视觉层面的显示尺寸、显示位置以及所述特效的形态。
2.根据权利要求1所述的方法,其特征在于,所述匹配处理是通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口完成的。
3.根据权利要求2所述的方法,其特征在于,所述服务器的对应匹配处理的接口为区块链网络中共识节点的接口,在对所述待检测图像和包括所述特效的模板图像进行特效检测处理之前,所述方法还包括:
通过调用所述区块链网络中共识节点的接口,向所述共识节点发送交易;
其中,所述交易中携带包括所述匹配处理的智能合约的标识、以及所述待检测图像;
当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端所关联的分享平台之前,所述方法还包括:
当接收超出数量阈值的共识节点发送的所述待检测图像确被正确添加所述特效的消息时,确定所述待检测图像确被正确添加所述特效。
4.根据权利要求1所述的方法,其特征在于,当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配之前,所述方法还包括:
分别确定所述第一特效图像和所述第二特效图像的同样位置的子区域的指纹字符串,以作为对应子区域的特征;
分别确定所述第一特效图像和所述第二特效图像的同样位置的子区域的红色向量矩阵、绿色向量矩阵以及蓝色向量矩阵;
确定所述第一特效图像的子区域的红色平均值、绿色平均值以及蓝色平均值、以作为所述第一特效图像的子区域的特征,并确定所述第二特效图像中与所述第一特效图像的子区域处于同样位置的子区域的红色平均值、绿色平均值以及蓝色平均值,以作为所述第二特效图像的子区域的特征。
5.根据权利要求4所述的方法,其特征在于,所述当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配,包括:
将所述第一特效图像和所述第二特效图像的同样位置的子区域的指纹字符串之间的汉明距离,确定为所述第一特效图像和所述第二特效图像的同样位置的子区域之间的哈希感知值;
对所述第一特效图像与所述第二特效图像的所有子区域之间的哈希感知值进行加权平均处理,得到所述第一特效图像与所述第二特效图像之间的哈希感知值;
基于所确定的红色平均值、绿色平均值以及蓝色平均值,确定所述第一特效图像和所述第二特效图像之间同样位置的子区域之间的颜色相似度;
对所述第一特效图像与所述第二特效图像的所有子区域之间的颜色相似度进行平均处理,得到所述第一特效图像与所述第二特效图像之间的颜色相似度;
当所述第一特效图像与所述第二特效图像之间的哈希感知值满足不超过哈希感知阈值的第一条件,且所述第一特效图像与所述第二特效图像之间的颜色相似度满足不小于颜色相似度阈值的第二条件时,确定所述待检测图像和所述模板图像匹配。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
查询针对所述特效的历史测试数据,得到所述历史测试数据中最高准确率的测试结果所对应的不超过哈希感知阈值的第一条件、以及不小于颜色相似度阈值的第二条件;
将所述匹配结果与真实结果进行比较,以确定对应包括所述第一条件和所述第二条件的匹配条件的准确率;
将所述准确率添加至所述特效的历史测试数据中,以对所述特效的历史测试数据进行更新。
7.根据权利要求1所述的方法,其特征在于,所述当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端所关联的分享平台,包括:
当通过匹配确定所述待检测图像中特效的显示效果符合所述特效操作的设定时,执行以下处理:
发送所述待检测图像至分享平台中与所述客户端的用户账号存在关联关系的用户账号;或者
发送所述待检测图像至与分享平台中与所述待处理图像匹配的用户账号;
其中,所述与所述待处理图像匹配的用户账号的用户画像包括偏好所述待处理图像的属性。
8.根据权利要求1所述的方法,其特征在于,所述通过客户端获取待处理图像,包括:
通过客户端获取待处理视频,对所述待处理视频进行解码以及抽帧得到至少一个视频帧以作为所述待处理图像;
所述发送所述待检测图像到所述客户端所关联的分享平台,包括:
将所述至少一个视频帧对应的待检测图像进行编码形成待分享视频;
发送所述待分享视频到所述客户端所关联的分享平台。
9.一种图像特效的处理方法,其特征在于,所述方法包括:
通过测试工具获取待处理图像;
响应于在所述测试工具中接收的针对客户端中的特效功能的测试操作,调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像;
当所述特效属于对所述待处理图像本身进行变换的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当所述特效属于可分离的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当通过匹配确定所述待检测图像中特效的显示效果符合对应所述特效的设定时,输出所述客户端中的所述特效功能测试通过的结果;
其中,所述设定包括特效视觉层面的显示尺寸、显示位置以及所述特效的形态。
10.根据权利要求9所述的方法,其特征在于,
所述通过测试工具获取待处理图像,包括:
通过所述测试工具获取图像作为所述待处理图像;或者
通过所述测试工具获取视频中待添加特效的时间段内的图像帧,作为所述待处理图像;
所述调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像,包括:
当所述测试操作指定了待测试的特效功能时,通过调用所述客户端的相应的待测试的特效功能在所述待处理图像中生成待测试特效,以形成待检测图像;
当所述测试操作未指定待测试的特效功能时,通过依次调用所述客户端中的多个待测试的特效功能,在所述待处理图像的每个副本中生成待测试特效,以形成与调用的特效功能的数量对应的待检测图像。
11.根据权利要求9所述的方法,其特征在于,所述模板图像是在所述待处理图像中正确添加特效后形成;所述匹配处理是通过调用所述客户端的宿主设备的接口,或者调用服务器的对应匹配处理的接口完成的。
12.一种图像特效的处理方法,其特征在于,所述方法包括:
获取待处理图像;
在所述待处理图像中生成特效,以形成待检测图像;
当所述特效属于对所述待处理图像本身进行变换的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当所述特效属于可分离的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
当通过匹配确定所述待检测图像中特效的显示效果符合对应所述特效的设定时,确定在所述待处理图像中生成的特效准确;
其中,所述设定包括特效视觉层面的显示尺寸、显示位置以及所述特效的形态。
13.一种图像特效的处理装置,其特征在于,所述装置包括:
图像获取模块,用于通过客户端获取待处理图像;
特效生成模块,用于响应于在所述客户端中接收到的针对所述待处理图像的特效操作,在所述待处理图像中生成对应的特效,以形成待检测图像;
匹配模块,用于当所述特效属于对待处理图像本身进行变换的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;当所述特效属于可分离的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
图像发送模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,发送所述待检测图像到所述客户端所关联的分享平台。
14.一种图像特效的处理装置,其特征在于,所述装置包括:
图形获取模块,用于通过测试工具获取待处理图像;
特效生成模块,用于响应于在所述测试工具中接收的针对客户端中的特效功能的测试操作,调用所述客户端中的所述特效功能在所述待处理图像中生成特效,以形成待检测图像;
匹配模块,用于当所述特效属于对待处理图像本身进行变换的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;当所述特效属于可分离的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
结果输出模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,输出所述客户端中的所述特效功能测试通过的结果。
15.一种图像特效的处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像;
特效生成模块,用于在所述待处理图像中生成特效,以形成待检测图像;
匹配模块,用于当所述特效属于对待处理图像本身进行变换的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行相同的分割处理,得到所述待检测图像的至少两个子区域、以及所述模板图像的至少两个子区域;当所述待检测图像的至少两个子区域的特征、与所述模板图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;当所述特效属于可分离的特效时,执行以下匹配处理:对所述待检测图像和包括所述特效的模板图像进行特效检测处理,得到所述待检测图像中的第一特效图像、以及所述模板图像中的第二特效图像;对所述第一特效图像、以及所述第二特效图像进行相同的分割处理,得到对应每个特效图像的至少两个子区域;当所述第一特效图像的至少两个子区域的特征、与所述第二特效图像的至少两个子区域的特征之间满足匹配条件时,确定所述待检测图像和所述模板图像匹配;
特效确定模块,用于当通过匹配确定所述待检测图像中被准确添加有所述特效时,确定在所述待处理图像中生成的特效准确。
16.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至8、9-11或者12任一项所述的图像特效的处理方法。
17.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至8、9-11或者12任一项所述的图像特效的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010010907.1A CN111222571B (zh) | 2020-01-06 | 2020-01-06 | 图像特效的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010010907.1A CN111222571B (zh) | 2020-01-06 | 2020-01-06 | 图像特效的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111222571A CN111222571A (zh) | 2020-06-02 |
CN111222571B true CN111222571B (zh) | 2021-12-14 |
Family
ID=70806309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010010907.1A Active CN111222571B (zh) | 2020-01-06 | 2020-01-06 | 图像特效的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111222571B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111798399B (zh) * | 2020-07-10 | 2024-04-30 | 抖音视界有限公司 | 一种图像处理方法、装置以及电子设备 |
CN111935504B (zh) * | 2020-07-29 | 2023-04-14 | 广州华多网络科技有限公司 | 视频制作方法、装置、设备及存储介质 |
CN111954075B (zh) * | 2020-08-20 | 2021-07-09 | 腾讯科技(深圳)有限公司 | 视频处理模型状态调整方法、装置、电子设备及存储介质 |
CN112752098B (zh) * | 2021-04-06 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 视频编辑效果的验证方法、装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541008A (zh) * | 2011-12-31 | 2012-07-04 | 中国华录集团有限公司 | 一种基于3d蓝光播放器的四维影院播放控制系统 |
CN106126572A (zh) * | 2016-06-17 | 2016-11-16 | 中国科学院自动化研究所 | 基于区域验证的图像检索方法 |
CN108491498A (zh) * | 2018-03-20 | 2018-09-04 | 山东神博数字技术有限公司 | 一种基于多特征检测的卡口图像目标搜索方法 |
CN109218753A (zh) * | 2017-06-30 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种显示虚拟礼物特效的方法和设备 |
CN110083238A (zh) * | 2019-04-18 | 2019-08-02 | 深圳市博乐信息技术有限公司 | 基于增强现实技术的人机互动方法与系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100067806A1 (en) * | 2008-09-12 | 2010-03-18 | Halberd Match Corp. | System and method for pleographic recognition, matching, and identification of images and objects |
CN103824086A (zh) * | 2014-03-24 | 2014-05-28 | 东方网力科技股份有限公司 | 一种图像匹配方法及装置 |
-
2020
- 2020-01-06 CN CN202010010907.1A patent/CN111222571B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541008A (zh) * | 2011-12-31 | 2012-07-04 | 中国华录集团有限公司 | 一种基于3d蓝光播放器的四维影院播放控制系统 |
CN106126572A (zh) * | 2016-06-17 | 2016-11-16 | 中国科学院自动化研究所 | 基于区域验证的图像检索方法 |
CN109218753A (zh) * | 2017-06-30 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种显示虚拟礼物特效的方法和设备 |
CN108491498A (zh) * | 2018-03-20 | 2018-09-04 | 山东神博数字技术有限公司 | 一种基于多特征检测的卡口图像目标搜索方法 |
CN110083238A (zh) * | 2019-04-18 | 2019-08-02 | 深圳市博乐信息技术有限公司 | 基于增强现实技术的人机互动方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111222571A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111222571B (zh) | 图像特效的处理方法、装置、电子设备及存储介质 | |
US10902254B2 (en) | Converting a captured image of a layout to a structured document template | |
US20160196478A1 (en) | Image processing method and device | |
US9799099B2 (en) | Systems and methods for automatic image editing | |
CN116188821A (zh) | 版权检测方法、系统、电子设备和存储介质 | |
JP6396897B2 (ja) | 出席者によるイベントの検索 | |
CN114003160B (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
JP2021163482A (ja) | 画像内の文字色と背景色を抽出して提供する方法、システム、およびコンピュータプログラム | |
US20140198177A1 (en) | Realtime photo retouching of live video | |
CN109871205B (zh) | 界面代码调整方法、装置、计算机装置及存储介质 | |
WO2024002092A1 (zh) | 视频的推送方法、装置和存储介质 | |
CN117093386A (zh) | 页面截图方法、装置、计算机设备和存储介质 | |
WO2023239468A1 (en) | Cross-application componentized document generation | |
US10783649B2 (en) | Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models | |
WO2016173278A1 (zh) | 图像管理方法及装置 | |
WO2023273621A1 (zh) | 脚本生成方法、装置、设备及介质 | |
US20230351571A1 (en) | Image analysis system and image analysis method | |
CN115018949A (zh) | 图片处理方法、装置、电子设备及存储介质 | |
CN115269494A (zh) | 数据归档方法及装置 | |
CN116991513A (zh) | 配置文件生成方法、装置、电子设备、介质及程序产品 | |
KR102541600B1 (ko) | 실물 객체 인식 기반 상담 서비스 제공 장치 및 방법 | |
US20230215014A1 (en) | Automated Image Processing System | |
CN118409743B (zh) | 模型和算法的开发管理方法及系统、电子设备和存储介质 | |
JP7519927B2 (ja) | Dx実現用共通基盤システム | |
JP7111309B2 (ja) | 情報処理装置、学習装置、認識装置、静止画の生産方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024309 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |