CN109859102A - 特效显示方法、装置、终端及存储介质 - Google Patents

特效显示方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109859102A
CN109859102A CN201910105299.XA CN201910105299A CN109859102A CN 109859102 A CN109859102 A CN 109859102A CN 201910105299 A CN201910105299 A CN 201910105299A CN 109859102 A CN109859102 A CN 109859102A
Authority
CN
China
Prior art keywords
image
region
special efficacy
actual displayed
target special
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910105299.XA
Other languages
English (en)
Other versions
CN109859102B (zh
Inventor
帕哈尔丁·帕力万
宋丛礼
曹占魁
辛光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910105299.XA priority Critical patent/CN109859102B/zh
Publication of CN109859102A publication Critical patent/CN109859102A/zh
Application granted granted Critical
Publication of CN109859102B publication Critical patent/CN109859102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本公开是关于一种特效显示方法、装置、终端以及存储介质,属于图像处理技术领域。所述方法包括:确定图像的天空背景区域和前景区域;当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。采用本公开,可以使图像特效处理的效果较好。

Description

特效显示方法、装置、终端及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种特效显示方法、装置、终端及存储介质。
背景技术
对图像进行特效处理,已经成为一种主流的图像处理技术,一些用户很喜欢某些特定景色的图像,如天空图像,因此,终端对拍摄的天空图像或视频进行特效处理的应用越来越广泛。
用户通过终端拍摄天空的图像后,可以先通过预先训练的天空识别模型,区分出天空背景区域,然后可以对天空背景区域进行特效处理,例如,在图像的天空背景区域中添加与天空有关的特效贴纸,如月亮贴纸、云彩贴纸等。用户在添加这些特效贴纸时,如果选择的特效贴纸的尺寸较大,或显示位置不合适,会导致这些贴纸遮挡住图像中的人物或建筑,导致图像特效处理的效果不好。
发明内容
本公开提供一种特效显示方法、装置、终端及存储介质,可以解决图像特效处理的效果不好的问题。
根据本公开实施例的第一方面,提供一种特效显示方法,包括:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
可选地,所述在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,包括:
确定所述图像的实际显示区域;
根据所述天空背景区域,调整确定出的实际显示区域;
在所述目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
可选地,所述在所述实际显示区域中显示所述部分图像之后,还包括:
显示选择相框内容数据的提示信息,其中,所述相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在所述部分图像对应的相框内容显示区域中,显示所述相框内容数据。
可选地,所述根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域,包括:
根据预设的所述目标特效的尺寸以及所述目标特效与天空背景区域的显示对应关系,确定目标特效在所述图像中的目标显示区域。
可选地,所述确定图像的天空背景区域和前景区域,包括:
将图像输入预先训练的天空识别模型,得到所述图像对应的前景概率图;
根据所述前景概率图,确定所述图像的天空背景区域和前景区域。
根据本公开实施例的第二方面,提供一种特效显示装置,包括:
确定单元,被配置为确定图像的天空背景区域和前景区域;
所述确定单元,还被配置为当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
显示单元,被配置为在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
可选地,所述显示单元,被配置为:
确定所述图像的实际显示区域;
根据所述天空背景区域,调整确定出的实际显示区域;
在所述目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
可选地,所述显示单元,还被配置为:
在所述实际显示区域中显示所述部分图像之后,显示选择相框内容数据的提示信息,其中,所述相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在所述部分图像对应的相框内容显示区域中,显示所述相框内容数据。
可选地,所述确定单元,被配置为:
根据预设的所述目标特效的尺寸以及所述目标特效与天空背景区域的显示对应关系,确定目标特效在所述图像中的目标显示区域。
可选地,所述确定单元,被配置为:
将图像输入预先训练的天空识别模型,得到所述图像对应的前景概率图;
根据所述前景概率图,确定所述图像的天空背景区域和前景区域。
根据本公开实施例的第三方面,提供一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行一种特效显示方法,所述方法包括:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
根据本公开实施例的第五方面,提供一种应用程序产品,当应用程序产品在终端在运行时,使得终端执行一种特效显示方法,所述方法包括:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,终端先确定出图像的天空背景区域和前景区域,然后根据前景区域的位置信息以及目标特效的目标显示区域,确定出目标特效的目标显示区域中,不与前景区域重合的位置信息,然后根据该位置信息终端显示目标特效的部分图像,这样,显示的目标特效的部分图像就不会遮挡住前景区域的图像。这样,即使用户向图像的天空背景区域添加的特效贴纸的尺寸较大,或者显示位置不合适,也不会出现特效贴纸遮挡住图像中的人物或建筑的情况,使得图像特效处理的效果较好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种特效显示方法的流程图;
图2是根据一示例性实施例示出的一种特效显示方法的流程图;
图3是根据一示例性实施例示出的一种特效显示方法的界面示意图;
图4是根据一示例性实施例示出的一种特效显示方法的场景示意图;
图5是根据一示例性实施例示出的一种特效显示方法的场景示意图;
图6是根据一示例性实施例示出的一种特效显示方法的界面示意图;
图7是根据一示例性实施例示出的一种特效显示方法的界面示意图;
图8是根据一示例性实施例示出的一种特效显示方法的界面示意图;
图9是根据一示例性实施例示出的一种特效显示方法的界面示意图;
图10是根据一示例性实施例示出的一种特效显示装置框图;
图11是根据一示例性实施例示出的一种终端的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种特效显示方法的流程图,如图1所示,该方法用于终端中,包括以下步骤。
在步骤101中,终端确定图像的天空背景区域和前景区域。
在步骤102中,当接收到目标特效的选择指令时,终端根据该天空背景区域,确定该目标特效在该图像中的目标显示区域。
在步骤103中,在目标特效的图像中确定与图像的实际显示区域对应的部分图像,在实际显示区域中显示该部分图像,其中,该实际显示区域用于指示在该目标显示区域中与该前景区域不重合的区域。
可选地,该在该目标特效的图像中确定与该图像的实际显示区域对应的部分图像,包括:
确定该图像的实际显示区域;
根据该天空背景区域,调整确定出的实际显示区域;
在该目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
可选地,该在该实际显示区域中显示该部分图像之后,还包括:
显示选择相框内容数据的提示信息,其中,该相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在该部分图像对应的相框内容显示区域中,显示该相框内容数据。
可选地,该根据该天空背景区域,确定该目标特效在该图像中的目标显示区域,包括:
根据预设的该目标特效的尺寸以及该目标特效与天空背景区域的显示对应关系,确定目标特效在该图像中的目标显示区域。
可选地,该确定图像的天空背景区域和前景区域,包括:
将图像输入预先训练的天空识别模型,得到该图像对应的前景概率图;
根据该前景概率图,确定该图像的天空背景区域和前景区域。
本公开实施例中,终端先确定出图像的天空背景区域和前景区域,然后根据前景区域以及目标特效的目标显示区域,确定出在目标特效的实际显示区域,该实际显示区域用于指示在目标显示区域中与前景区域不重合的区域,然后根据该实际显示区域显示目标特效的部分图像,这样,显示出的目标特效的图像就不会遮挡住前景区域的图像。这样,即使用户向图像的天空背景区域添加的特效贴纸的尺寸较大,或者显示位置不合适,也不会出现特效贴纸遮挡住图像中的人物或建筑的情况,使得图像特效处理的效果较好。
本实施例将结合具体的实施方式,对特效显示方法进行介绍。该方法可以由终端实现,该终端可以安装有对天空图像进行特效处理的应用程序。天空图像中可以包括天空背景区域以及前景区域,前景区域可以是图像中除天空图像之外的其它图像对应的区域,如建筑、动物、人物等。图2是根据一示例性实施例示出的一种特效显示方法的流程图,如图2所示,包括以下步骤。
在步骤201中,终端确定图像的天空背景区域和前景区域。
一个可能的实施例中,用户想要使用终端拍摄关于天空的图像或视频时,用户可以操作终端打开相应的应用程序,通过应用程序终端获取用户想要增加特效的图像,进而确定图像的天空背景区域和前景区域。
可选地,终端确定天空背景区域和前景区域的方法可以如下:将图像输入预先训练的天空识别模型,得到图像对应的前景概率图;根据前景概率图,确定图像的天空背景区域和前景区域。
一个可能的实施例中,将待确定的图像输入预先训练的天空识别模型中,天空识别模型会输出该图像对应的前景区域对应的前景图像,该前景图像是通过在图像中去除天空背景区域后得到的图像,也即,图像中对应的天空背景区域在该前景图像中为空白区域,以此来区分天空背景区域和前景区域。其中,上述天空识别模型可以是预先训练好的语义分割网络模型,在对初始语义分割网络模型进行训练时,可以使用人工收集的大量天空样本图像以及非天空样本图像,通过半监督的训练方式对初始语义分割网络模型进行训练,得到训练好的语义分割网络模型。当然,终端确定天空背景区域和前景区域的方法还可以是其它的方法,如通过边缘识别算法确定天空背景区域与前景区域的边界等,本公开对此不做限定。
需要说明的是,上述终端获取图像的方法可以有多种方式,下面例举几种可行的方式。
方式一、用户在终端上打开相应的应用程序后,终端的屏幕上会显示能够拍摄到的图像预览界面,终端可以自动采集预览图像,并分别确定采集的每一帧图像的天空背景区域和前景区域。
方式二、用户在终端本地存储的图像中选取一张天空图像,终端确定该图像并确定该图像的的天空背景区域和前景区域。
方式三、用户在终端本地存储的视频中选取一个视频,终端获取该视频的每一帧图像并分别确定每一帧图像的天空背景区域和前景区域。
可选地,终端在对图像区分其中的天空背景区域以及前景区域时,如果在图像中确定不出天空背景区域,则终端显示无法添加特效的提示信息。
一个可能的实施例中,由于天空相关的特效大多与天空的特征有关,特效多是月亮特效、云彩特效、烟花特效等,因此大多数特效需要显示在天空背景区域中,如果在图像中检测不到天空背景区域,则终端无法添加相应的特效,因此,当终端在图像中确定不出天空背景区域时,终端向用户显示无法添加特效的提示信息。
需要说明的是,终端显示的无法添加特效的提示信息可以是文字形式的提示信息、图像形式的提示信息、音频形式的提示信息中的一种或多种的组合,本公开对此不做限定。
在步骤202中,当终端接收到目标特效的选择指令时,根据天空背景区域,确定目标特效在图像中的目标显示区域。
一个可能的实施例中,终端确定出图像的天空背景区域和前景区域后,触发终端向用户显示特效选择界面,特效选择界面中可以罗列多个特效供用户选择,如图3所示。用户点击想要选择的特效(可称为目标特效)的图标,终端接收到目标特效对应的选择指令时,触发终端根据天空背景区域来确定目标特效在图像中的目标显示区域,该目标显示区域用于指示目标特效即将显示的区域。
可选地,确定目标特效在图像中的目标显示区域的方法可以是:根据预设的目标特效的尺寸以及目标特效与天空背景区域的显示对应关系,终端确定目标特效在图像中的目标显示区域。
一个可能的实施例中,终端中存储有预先设定好的每个特效与天空背景区域的显示对应关系,当终端接收到特效选择指令时,终端获取预先存储的目标特效的尺寸以及目标特效与天空背景区域的显示对应关系,进而根据天空背景区域以及显示对应关系,确定目标特效在图像中的目标显示区域。
需要说明的是,上述根据天空背景区域以及显示对应关系,确定目标特效在图像中的目标显示区域时,可以通过各区域的坐标信息来确定。例如,云朵特效与天空背景区域的显示对应关系为云朵特效位于天空背景区域的正中间,则终端确定天空背景区域的坐标信息,假设左上角顶点、右上角顶点、左下角顶点、右下角顶点的坐标信息分别为(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2),如图4所示,确定云朵特效的长与宽分别为a和b,则确定云朵的左上角顶点、右上角顶点、左下角顶点、右下角顶点的坐标信息分别为 这样,就确定出了目标显示区域。
需要说明的是,上述终端自动确定目标特效的目标显示区域仅为一种示例性的方案,除此之外,也可以由用户手动确定目标特效的目标显示区域,如支持用户手动拖动目标特效至用户想要放置的区域(即目标显示区域),本公开对此不作限定。
在步骤203中,终端确定图像的实际显示区域。
其中,实际显示区域用于指示在目标显示区域中与前景区域不重合的区域。
一个可能的实施例中,通过上述步骤确定出目标特效在图像中的目标显示区域后,终端根据目标显示区域与前景区域,确定出目标显示区域与前景区域的重合区域,在目标显示区域中去除掉重合区域,得到的区域即为实际显示区域。这样,确定出的实际显示区域不会与前景区域存在重合的区域,终端根据实际显示区域显示的目标特效就不会遮挡住前景区域的图像,这样可以对目标特效营造一种三维效果,使得图像特效处理的效果更好。
在步骤204中,终端根据天空背景区域,调整确定出的实际显示区域。
一个可能的实施例中,目标特效是贴纸时,其尺寸可以是固定的,这种情况下,可能会存在一种情况:图像中的天空背景区域的尺寸小于目标特效的尺寸,为了解决这种问题,终端可以根据下述处理方式调整目标特效对应的实际显示区域。
终端确定实际显示区域后,将实际显示区域与天空背景区域作比较,如果实际显示区域没有完全处于天空背景区域之内,即实际显示区域中存在一部分区域超出了天空背景区域,这种情况下,终端根据天空背景区域,对实际显示区域进行调整,使得实际显示区域完全处于天空背景区域之内。
需要说明的是,上述根据天空背景区域对实际显示区域进行调整的方法可以是:确定实际显示区域与天空背景区域的相交的交线,将该交线作为实际显示区域的新的边界线,并根据该交线调整实际显示区域。在调整实际显示区域时,可以通过坐标信息来调整,例如,如图5所示,假设天空背景区域的左上角顶点、右上角顶点、左下角顶点、右下角顶点的坐标信息分别为(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2),实际显示区域包括的左上角顶点、右上角顶点、左下角顶点、右下角顶点的坐标信息分别为(x3,y3)、(x4,y3)、(x3,y4)、(x4,y4),实际显示区域与天空背景区域的交线的A点的坐标信息为(x2,y3),B点的坐标信息为(x2,y4),则调整后的实际显示区域包括的左上角顶点、右上角顶点、左下角顶点、右下角顶点的坐标信息分别为(x3,y3)、(x2,y3)、(x3,y4)、(x2,y4),这样,完成了对实际显示区域进行的调整处理。
需要说明的是,当终端确定图像中的天空背景区域的尺寸小于目标特效的尺寸时,除了上述的方式,也可以采取其他方式解决该问题,例如,终端也可以向用户发出提示消息,用于提醒用户缩小目标特效的尺寸;或者,终端也可以根据天空背景区域的尺寸等比例缩小目标特效的尺寸等,本公开对此不做限定。
在步骤205中,终端在图像中,在目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
一个可能的实施例中,通过上述步骤对实际显示区域进行调整后,终端在目标特效中截取调整后的实际显示区域对应的部分图像,然后,终端在图像中显示目标特效的这部分图像,如图6所示,简易示意图如图7所示。这样,显示出的特效既避免了遮挡前景区域的图像,又可以营造一种图像显示的真实效果,使得图像特效处理的效果较好。
需要说明的是,终端在目标特效中确定调整后的实际显示区域对应的部分图像的方式可以有多种,其中一种可行的方式可以是:终端根据调整后的实际显示区域与目标显示区域,确定需要截取的部分在目标特效中的相对位置信息,根据该相对位置信息在目标特效中截取出部分图像即可。当然,其它确定部分图像的方式也可,本公开对此不做限定。
需要说明的是,上述步骤203-步骤205仅为示例性的一个可行实施例,除此可行实施例之外,在执行步骤202之后,终端可以执行下述处理步骤:在图像中,显示目标特效中实际显示区域对应的部分图像,其中,实际显示区域用于指示在目标显示区域中与前景区域不重合的区域。确定实际显示区域的处理方式可以参照步骤203的处理方式,本公开在此不做赘述。
需要说明的是,如果用户对实时预览采集到的预览视频或录制的视频进行特效处理,则对于预览图像或录制的视频的每一帧图像,均按照上述步骤201至步骤205确定目标特效的实际显示区域并显示目标特效的部分图像,本公开在此不做赘述。这样,随着拍摄的天空背景区域的变化,目标特效的显示位置以及显示出的部分图像的大小也会发生变化,给用户带来目标特效是固定在天空背景区域的某处位置的视觉效果,使得特效达到更接近真实的效果。
在步骤206中,终端显示选择相框内容数据的提示信息。
其中,相框内容数据包括图像数据或视频数据。
一个可能的实施例中,上述目标特效可以包括多种形式的特效,其中一种可以是特效相框。终端在根据上述步骤显示特效相框时,可以在特效相框中显示用户自定义选择的图像或视频。因此,终端向用户显示选择相框内容数据的提示信息,用于提示用户在终端本地存储的图像中选择一个图像作为相框内容数据,或者在本地存储的视频中选择一个视频作为相框内容数据。
在步骤207中,当终端接收到相框内容数据对应的选择指令时,在部分图像对应的相框内容显示区域中,显示该相框内容数据。
一个可能的实施例中,用户操作终端选择了相框内容数据后,终端接收到该相框内容数据对应的选择指令后,在目标特效中确定对应的相框内容显示区域(可称为第一显示区域),进一步确定目标特效的部分图像对应的相框内容显示区域(可称为第二显示区域),然后,根据第二显示区域在第一显示区域中的相对位置信息,在相框内容数据中截取出部分相框内容数据,最后,终端根据第二显示区域显示截取出的部分相框内容数据,如图8所示,简易示意图如图9所示。这样,可以支持用户在图像或视频中添加自定义图像或视频,使得特效的形式多样化,使得图像特效处理的效果更好。
需要说明的是,相框内容数据可以是图像或视频,当用户在拍摄的图像中添加特效相框时,相框内容数据可以是图像。当用户在录制的视频中添加特效相框时,相框内容数据可以是图像或视频,而对于视频中的每一帧图像,均按照上述步骤201至步骤205确定目标特效的实际显示区域并显示目标特效的部分图像,并根据步骤207中截取相框内容数据的处理步骤对相框内容数据进行截取,然后根据目标特效的部分图像对应的相框内容显示区域,显示截取后的部分相框内容数据,本公开在此不做赘述。
本公开实施例中,终端先确定出图像的天空背景区域和前景区域,然后根据前景区域以及目标特效的目标显示区域,确定出在目标特效的实际显示区域,该实际显示区域用于指示在目标显示区域中与前景区域不重合的区域,然后根据该实际显示区域显示目标特效的部分图像,这样,显示出的目标特效的图像就不会遮挡住前景区域的图像。这样,即使用户向图像的天空背景区域添加的特效贴纸的尺寸较大,或者显示位置不合适,也不会出现特效贴纸遮挡住图像中的人物或建筑的情况,使得图像特效处理的效果较好。
图10是根据一示例性实施例示出的一种特效显示装置框图。参照图10,该装置包括确定单元1010和显示单元1020。
该确定单元1010,被配置为确定图像的天空背景区域和前景区域;
该确定单元1010,还被配置为当接收到目标特效的选择指令时,根据该天空背景区域,确定该目标特效在该图像中的目标显示区域;
该显示单元1020,被配置为在目标特效的图像中确定与图像的实际显示区域对应的部分图像,在实际显示区域中显示部分图像,其中,该实际显示区域用于指示在该目标显示区域中与该前景区域不重合的区域。
可选地,该显示单元1020,被配置为:
确定图像的实际显示区域,其中,该实际显示区域用于指示在该目标显示区域中与该前景区域不重合的区域;
根据该天空背景区域,调整确定出的实际显示区域;
在目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
可选地,该显示单元1020,还被配置为:
在实际显示区域中显示部分图像之后,显示选择相框内容数据的提示信息,其中,该相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在该部分图像对应的相框内容显示区域中,显示该相框内容数据。
可选地,该确定单元1010,被配置为:
根据预设的该目标特效的尺寸以及该目标特效与天空背景区域的显示对应关系,确定目标特效在该图像中的目标显示区域。
可选地,该确定单元1010,被配置为:
将图像输入预先训练的天空识别模型,得到图像对应的前景概率图;
根据前景概率图,确定图像的天空背景区域和前景区域。
本公开实施例中,终端先确定出图像的天空背景区域和前景区域,然后根据前景区域以及目标特效的目标显示区域,确定出在目标特效的实际显示区域,该实际显示区域用于指示在目标显示区域中与前景区域不重合的区域,然后根据该实际显示区域显示目标特效的部分图像,这样,显示出的目标特效的图像就不会遮挡住前景区域的图像。这样,即使用户向图像的天空背景区域添加的特效贴纸的尺寸较大,或者显示位置不合适,也不会出现特效贴纸遮挡住图像中的人物或建筑的情况,使得图像特效处理的效果较好。
图11是根据一示例性实施例示出的一种终端的结构框图。该终端1100可以是便携式移动终端,比如:智能手机、平板电脑。终端1100还可能被称为用户设备、便携式终端等其他名称。
通常,终端1100包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、9核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所执行以实现本申请中提供的特效显示方法。
在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。具体地,外围设备包括:射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
触摸显示屏1105用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏1105还具有采集在触摸显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。触摸显示屏1105用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,触摸显示屏1105可以为一个,设置终端1100的前面板;在另一些实施例中,触摸显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在再一些实施例中,触摸显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,触摸显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。触摸显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头用于实现视频通话或自拍,后置摄像头用于实现照片或视频的拍摄。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能,主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107用于提供用户和终端1100之间的音频接口。音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端1100的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于:加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号,控制触摸显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度,陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或触摸显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,根据该握持信号进行左右手识别或快捷操作。当压力传感器1113设置在触摸显示屏1105的下层时,可以根据用户对触摸显示屏1105的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹,以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时,指纹传感器1114可以与物理按键或厂商Logo集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中,处理器1101可以根据光学传感器1115采集的环境光强度,控制触摸显示屏1105的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1105的显示亮度;当环境光强度较低时,调低触摸显示屏1105的显示亮度。在另一个实施例中,处理器1101还可以根据光学传感器1115采集的环境光强度,动态调整摄像头组件1106的拍摄参数。
接近传感器1116,也称距离传感器,通常设置在终端1100的正面。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中,当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时,由处理器1101控制触摸显示屏1105从亮屏状态切换为息屏状态;当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时,由处理器1101控制触摸显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例中,终端先确定出图像的天空背景区域和前景区域,然后根据前景区域以及目标特效的目标显示区域,确定出在目标特效的实际显示区域,该实际显示区域用于指示在目标显示区域中与前景区域不重合的区域,然后根据该实际显示区域显示目标特效的部分图像,这样,显示出的目标特效的图像就不会遮挡住前景区域的图像。这样,即使用户向图像的天空背景区域添加的特效贴纸的尺寸较大,或者显示位置不合适,也不会出现特效贴纸遮挡住图像中的人物或建筑的情况,使得图像特效处理的效果较好。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1102,上述指令可由装置1100的处理器1101执行以完成上述特效显示方法,该方法包括:确定图像的天空背景区域和前景区域;当接收到特效选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;在所述图像中,显示所述目标特效中实际显示区域对应的部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序产品,包括一条或多条指令,该一条或多条指令可以由装置1100的处理器1101执行,以完成上述特效显示方法,该方法包括:确定图像的天空背景区域和前景区域;当接收到特效选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;在所述图像中,显示所述目标特效中实际显示区域对应的部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种特效显示方法,其特征在于,包括:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
2.根据权利要求1所述的特效显示方法,其特征在于,所述在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,包括:
确定所述图像的实际显示区域;
根据所述天空背景区域,调整确定出的实际显示区域;
在所述目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
3.根据权利要求1或权利要求2所述的特效显示方法,其特征在于,所述在所述实际显示区域中显示所述部分图像之后,还包括:
显示选择相框内容数据的提示信息,其中,所述相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在所述部分图像对应的相框内容显示区域中,显示所述相框内容数据。
4.根据权利要求1所述的特效显示方法,其特征在于,所述根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域,包括:
根据预设的所述目标特效的尺寸以及所述目标特效与天空背景区域的显示对应关系,确定目标特效在所述图像中的目标显示区域。
5.根据权利要求1所述的特效显示方法,其特征在于,所述确定图像的天空背景区域和前景区域,包括:
将图像输入预先训练的天空识别模型,得到所述图像对应的前景概率图;
根据所述前景概率图,确定所述图像的天空背景区域和前景区域。
6.一种特效显示装置,其特征在于,包括:
确定单元,被配置为确定图像的天空背景区域和前景区域;
所述确定单元,还被配置为当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
显示单元,被配置为在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
7.根据权利要求6所述的特效显示装置,其特征在于,所述显示单元,被配置为:
确定所述图像的实际显示区域;
根据所述天空背景区域,调整确定出的实际显示区域;
在所述目标特效的图像中确定与调整后的实际显示区域对应的部分图像。
8.根据权利要求6或权利要求7所述的特效显示装置,其特征在于,所述显示单元,还被配置为:
在所述实际显示区域中显示所述部分图像之后,显示选择相框内容数据的提示信息,其中,所述相框内容数据包括图像数据或视频数据;
当接收到相框内容数据对应的选择指令时,在所述部分图像对应的相框内容显示区域中,显示所述相框内容数据。
9.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行一种特效显示方法,所述方法包括:
确定图像的天空背景区域和前景区域;
当接收到目标特效的选择指令时,根据所述天空背景区域,确定所述目标特效在所述图像中的目标显示区域;
在所述目标特效的图像中确定与所述图像的实际显示区域对应的部分图像,在所述实际显示区域中显示所述部分图像,其中,所述实际显示区域用于指示在所述目标显示区域中与所述前景区域不重合的区域。
CN201910105299.XA 2019-02-01 2019-02-01 特效显示方法、装置、终端及存储介质 Active CN109859102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910105299.XA CN109859102B (zh) 2019-02-01 2019-02-01 特效显示方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910105299.XA CN109859102B (zh) 2019-02-01 2019-02-01 特效显示方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109859102A true CN109859102A (zh) 2019-06-07
CN109859102B CN109859102B (zh) 2021-07-23

Family

ID=66897580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910105299.XA Active CN109859102B (zh) 2019-02-01 2019-02-01 特效显示方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109859102B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN111242881A (zh) * 2020-01-07 2020-06-05 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN112181572A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 互动特效展示方法、装置、终端及存储介质
CN112714256A (zh) * 2020-12-30 2021-04-27 维沃移动通信(杭州)有限公司 拍摄方法、拍摄装置、电子设备和可读存储介质
CN113315924A (zh) * 2020-02-27 2021-08-27 北京字节跳动网络技术有限公司 图像特效处理方法及装置
WO2023016150A1 (zh) * 2021-08-09 2023-02-16 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
TWI804001B (zh) * 2021-10-08 2023-06-01 鈊象電子股份有限公司 具時序平滑性之破碎深度圖補正系統

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750685A (zh) * 2011-12-05 2012-10-24 深圳市万兴软件有限公司 一种图像处理的方法及其装置
CN107347166A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107705279A (zh) * 2017-09-22 2018-02-16 北京奇虎科技有限公司 实现双重曝光的图像数据实时处理方法及装置、计算设备
CN107833264A (zh) * 2017-11-13 2018-03-23 百度在线网络技术(北京)有限公司 一种图片处理方法、装置、设备和计算机可读存储介质
CN108495058A (zh) * 2018-01-30 2018-09-04 光锐恒宇(北京)科技有限公司 图像处理方法、装置和计算机可读存储介质
CN108932703A (zh) * 2018-06-19 2018-12-04 Oppo(重庆)智能科技有限公司 图片处理方法、图片处理装置及终端设备
US20180374199A1 (en) * 2016-04-08 2018-12-27 Adobe Systems Incorporated Sky Editing Based On Image Composition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750685A (zh) * 2011-12-05 2012-10-24 深圳市万兴软件有限公司 一种图像处理的方法及其装置
US20180374199A1 (en) * 2016-04-08 2018-12-27 Adobe Systems Incorporated Sky Editing Based On Image Composition
CN107347166A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107705279A (zh) * 2017-09-22 2018-02-16 北京奇虎科技有限公司 实现双重曝光的图像数据实时处理方法及装置、计算设备
CN107833264A (zh) * 2017-11-13 2018-03-23 百度在线网络技术(北京)有限公司 一种图片处理方法、装置、设备和计算机可读存储介质
CN108495058A (zh) * 2018-01-30 2018-09-04 光锐恒宇(北京)科技有限公司 图像处理方法、装置和计算机可读存储介质
CN108932703A (zh) * 2018-06-19 2018-12-04 Oppo(重庆)智能科技有限公司 图片处理方法、图片处理装置及终端设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110582020A (zh) * 2019-09-03 2019-12-17 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110582020B (zh) * 2019-09-03 2022-03-01 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN111242881A (zh) * 2020-01-07 2020-06-05 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN113315924A (zh) * 2020-02-27 2021-08-27 北京字节跳动网络技术有限公司 图像特效处理方法及装置
EP4113975A4 (en) * 2020-02-27 2023-08-09 Beijing Bytedance Network Technology Co., Ltd. IMAGE EFFECTS PROCESSING METHOD AND APPARATUS
CN112181572A (zh) * 2020-09-28 2021-01-05 北京达佳互联信息技术有限公司 互动特效展示方法、装置、终端及存储介质
CN112714256A (zh) * 2020-12-30 2021-04-27 维沃移动通信(杭州)有限公司 拍摄方法、拍摄装置、电子设备和可读存储介质
CN112714256B (zh) * 2020-12-30 2023-09-26 维沃移动通信(杭州)有限公司 拍摄方法、拍摄装置、电子设备和可读存储介质
WO2023016150A1 (zh) * 2021-08-09 2023-02-16 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
TWI804001B (zh) * 2021-10-08 2023-06-01 鈊象電子股份有限公司 具時序平滑性之破碎深度圖補正系統

Also Published As

Publication number Publication date
CN109859102B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN109859102A (zh) 特效显示方法、装置、终端及存储介质
CN108769562B (zh) 生成特效视频的方法和装置
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN110502954A (zh) 视频分析的方法和装置
CN108619721A (zh) 虚拟场景中的距离信息显示方法、装置及计算机设备
CN108900858A (zh) 一种赠送虚拟礼物的方法和装置
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN109285178A (zh) 图像分割方法、装置及存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN110225390B (zh) 视频预览的方法、装置、终端及计算机可读存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN108897597A (zh) 指导配置直播模板的方法和装置
CN108848405A (zh) 图像处理方法和装置
CN109660876B (zh) 显示列表的方法和装置
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110275655A (zh) 歌词显示方法、装置、设备及存储介质
CN111857793A (zh) 网络模型的训练方法、装置、设备及存储介质
CN108965769A (zh) 视频显示方法及装置
CN110992268A (zh) 背景设置方法、装置、终端及存储介质
CN109872294A (zh) 图像处理方法、装置、终端及存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN109460171A (zh) 信息交互方法、装置、终端及存储介质
CN108829582A (zh) 程序兼容的方法和装置
CN108966026A (zh) 制作视频文件的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant