CN112738420B - 特效实现方法、装置、电子设备和存储介质 - Google Patents

特效实现方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112738420B
CN112738420B CN202011599632.6A CN202011599632A CN112738420B CN 112738420 B CN112738420 B CN 112738420B CN 202011599632 A CN202011599632 A CN 202011599632A CN 112738420 B CN112738420 B CN 112738420B
Authority
CN
China
Prior art keywords
special effect
effect object
target special
display
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011599632.6A
Other languages
English (en)
Other versions
CN112738420A (zh
Inventor
刘雨晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011599632.6A priority Critical patent/CN112738420B/zh
Publication of CN112738420A publication Critical patent/CN112738420A/zh
Priority to PCT/CN2021/113631 priority patent/WO2022142388A1/zh
Application granted granted Critical
Publication of CN112738420B publication Critical patent/CN112738420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于特效实现方法、装置、电子设备和存储介质。所述方法包括:在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。根据本方案,在图像采集设备采集图像的过程中,用户无需做出特定的面部动作,只需操控设备姿态即可实现对特效对象的展示效果的调整,方便快捷的同时也保证了用户面部信息的安全性。

Description

特效实现方法、装置、电子设备和存储介质
技术领域
本公开涉及信息显示领域,尤其涉及特效实现方法、装置、电子设备和存储介质。
背景技术
现阶段,在手机等具备拍摄功能的图像采集设备中,原生相机或第三方拍摄应用通常会为用户提供魔法表情等特效,以便用户在拍摄过程中能够调用上述特效实现丰富多样的拍摄效果。
然而,相关技术中通常采用定时触发或表情触发的方式实现特效的激活及显示。例如,在定时触发机制下,当前特效对象显示3秒钟后自动显示下一特效对象,此时用户往往难以自行控制特效显示状态;而在表情触发机制下,用户虽能够通过面部表情控制特效显示状态,但该方式对用户的人脸关键点数据等生物信息具有较强的依赖性,从而可能存在控制不准确或信息安全等问题。
发明内容
本公开提供了特效实现方法、装置、电子设备和存储介质,以至少解决相关技术中的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提出一种特效实现方法,包括:
在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;
根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;
按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
可选的,所述空间位置信息包括下述至少之一:加速度、自转角、四元数。
可选的,所述获取所述图像采集设备的空间位置信息,包括:
确定待显示的所述目标特效对象;
通过查询预设关系表确定显示所述目标特效对象所需的空间位置信息,所述预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定所述任一特效对象的显示参数;
从所述图像采集设备在当前时刻的空间信息中,选取显示所述目标特效对象所需的空间位置信息。
可选的,所述确定待显示的所述目标特效对象,包括:
识别所述图像采集设备采集到的画面中的显示对象,并将匹配于所述显示对象的备选特效对象确定为待显示的目标特效对象;或者,
响应于针对备选特效对象的特效选取指令,确定被选取的待显示的目标特效对象。
可选的,所述空间位置信息包括四元数,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
构建三维旋转矩阵,并利用所述三维旋转矩阵将所述四元数转换为欧拉角;
将所述欧拉角确定为所述目标特效对象的显示参数,或者将所述欧拉角与预设倍数的乘积结果确定为所述目标特效对象的显示参数,所述预设倍数为不等于1的正数。
可选的,所述目标特效对象的显示参数被周期性确定,在确定所述目标特效对象的显示参数的任一周期内,所述欧拉角为定值;在当前周期内将所述四元数转换为欧拉角之后,还包括:
获取相邻历史周期内确定的至少一个历史乘积结果,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述乘积结果与所述至少一个历史乘积结果之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;或者,
获取相邻历史周期内确定的至少一个历史欧拉角,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述欧拉角与所述至少一个历史欧拉角之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数。
可选的,所述空间位置信息包括加速度,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
确定用于展示所述目标特效对象的特效展示区域;
根据所述加速度确定所述特效展示区域中的像素特征值,并将所述像素特征值确定为所述目标特效对象的显示参数。
可选的,所述像素特征值包括下述至少之一:
颜色值、颜色梯度、透明度、对比度。
可选的,所述空间位置信息包括自转角,所述目标特效对象存在预设的标准显示角度,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
根据所述自转角确定所述目标特效对象的偏转角度;
根据所述偏转角度,对所述标准显示角度进行旋转变换,并将变换得到的旋转后角度作为所述目标特效对象的显示参数。
可选的,所述目标特效对象的显示参数包括模糊强度和/或颜色饱和度。
根据本公开实施例的第二方面,提出一种特效实现装置,包括:
信息获取单元,被配置为在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;
参数确定单元,被配置为根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;
画面渲染单元,被配置为按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
可选的,所述空间位置信息包括下述至少之一:加速度、自转角、四元数。
可选的,所述信息获取单元还被配置为:
确定待显示的所述目标特效对象;
通过查询预设关系表确定显示所述目标特效对象所需的空间位置信息,所述预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定所述任一特效对象的显示参数;
从所述图像采集设备在当前时刻的空间信息中,选取显示所述目标特效对象所需的空间位置信息。
可选的,所述信息获取单元还被配置为:
识别所述图像采集设备采集到的画面中的显示对象,并将匹配于所述显示对象的备选特效对象确定为待显示的目标特效对象;或者,
响应于针对备选特效对象的特效选取指令,确定被选取的待显示的目标特效对象。
可选的,所述空间位置信息包括四元数,所述参数确定单元还被配置为:
构建三维旋转矩阵,并利用所述三维旋转矩阵将所述四元数转换为欧拉角;
将所述欧拉角确定为所述目标特效对象的显示参数,或者将所述欧拉角与预设倍数的乘积结果确定为所述目标特效对象的显示参数,所述预设倍数为不等于1的正数。
可选的,所述目标特效对象的显示参数被周期性确定,在确定所述目标特效对象的显示参数的任一周期内,所述欧拉角为定值;在当前周期内将所述四元数转换为欧拉角之后,还包括:
第一历史确定单元,被配置为获取相邻历史周期内确定的至少一个历史乘积结果,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述乘积结果与所述至少一个历史乘积结果之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;或者,
第二历史确定单元,被配置为获取相邻历史周期内确定的至少一个历史欧拉角,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述欧拉角与所述至少一个历史欧拉角之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数。
可选的,所述空间位置信息包括加速度,所述参数确定单元还被配置为:
确定用于展示所述目标特效对象的特效展示区域;
根据所述加速度确定所述特效展示区域中的像素特征值,并将所述像素特征值确定为所述目标特效对象的显示参数。
可选的,所述像素特征值包括下述至少之一:
颜色值、颜色梯度、透明度、对比度。
可选的,所述空间位置信息包括自转角,所述目标特效对象存在预设的标准显示角度,所述参数确定单元还被配置为:
根据所述自转角确定所述目标特效对象的偏转角度;
根据所述偏转角度,对所述标准显示角度进行旋转变换,并将变换得到的旋转后角度作为所述目标特效对象的显示参数。
可选的,所述目标特效对象的显示参数包括模糊强度和/或颜色饱和度。
根据本公开实施例的第三方面,提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一实施例所述的特效实现方法。
根据本公开实施例的第四方面,提出一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述第一方面中任一实施例所述的特效实现方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一实施例所述的特效实现方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的实施例,用户可以通过操控图像采集设备的空间姿态,控制特效的显示效果。具体的,通过在图像采集设备采集画面的过程中获取当前时刻该设备的空间位置信息,确定目标特效对象的显示参数,从而根据该显示参数渲染所采集的画面以得到特效画面,使得该特效画面被展示时能够显示出上述特效对象,从而呈现出对应于图像采集设备的空间位置信息的特效显示效果。可见,该方案允许用户通过操纵图像采集设备改变设备的空间位置信息,进而对图像采集设备在图像采集过程中所显示的魔法表情等特效进行自行调整与控制;而且该方案无需使用用户的人脸关键点等生物信息即可实现,在保证显示效果控制准确度的同时也保证了用户的信息安全。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是一示例性实施例提供的一种特效实现场景示意图;
图2是一示例性实施例提供的一种特效实现方法的流程图;
图3是一示例性实施例提供的另一种特效实现方法的流程图;
图4是根据本公开的实施例示出的一种魔法表情显示效果的示意图;
图5是根据本公开的实施例示出的另一种魔法表情显示效果的示意图;
图6是根据本公开的实施例示出的又一种魔法表情显示效果的示意图;
图7是根据本公开的实施例示出的一种特效实现装置的示意框图;
图8是根据本公开的实施例示出的一种电子设备的结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现阶段,在手机等具备拍摄功能的图像采集设备中,原生相机或第三方拍摄应用通常会为用户提供魔法表情等特效,以便用户在拍摄过程中能够调用上述特效实现丰富多样的拍摄效果。
然而,相关技术中通常采用定时触发或表情触发的方式实现特效的激活及显示。例如,在定时触发机制下,当前特效对象显示3秒钟后自动显示下一特效对象,此时用户往往难以自行控制特效显示状态;而在表情触发机制下,用户虽能够通过面部表情控制特效显示状态,但该方式对用户的人脸关键点数据等生物信息具有较强的依赖性,从而可能存在控制不准确或信息安全等问题。
如图1所示,用户在使用具有图像采集功能(如装配有摄像头)的图像采集设备(如手机)进行拍摄的过程中,可以开启手机提供的特效,从而在手机显示屏中显示摄像头实时采集到的待拍摄画面的同时,叠加显示相应的特效对象,如图1中兔耳形状的魔法表情(下称兔耳)。此时,用户可以通过定时触发机制或作出特定的面部表情实现对该魔法表情的控制。另外,当前阶段用户能够选择的特效仅有上述两种(即便有其他效果不同的玩法,但也都是基于前述两方式的改进,因此整体上仍然存在上述问题),同质化严重,导致用户多次使用之后很容易因玩法单一而感觉枯燥。
为此,本公开提出一种特效功能的新玩法,即通过图像采集设备的空间位置信息控制其所显示目标特效对象的显示效果,从而使用图像采集设备的用户能够通过控制图像采集设备的姿态,实现对对所采集画面中展示的目标特效对象的显示效果的自行调整与控制。
图2是本说明书一示例性实施例示出的一种特效实现方法的流程图。如图2所示,该方法应用于图像采集设备,可以包括以下步骤:
步骤202,在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息。
在本实施例中,图像采集设备中装配有摄像模组等图像采集组件,还装配有显示屏等图像显示组件,例如可以为装配有前置和/或后置摄像头、液晶显示面板或LED显示面板的智能手机等。当然,除手机外,图像采集设备可以为具有图像采集功能和画面显示功能的平板设备、笔记本电脑、掌上电脑(PDAs,Personal Digital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等,本说明书一个或多个实施例并不对此进行限制。
在本实施例中,图像采集设备可以在采集图像的过程中获取自身的空间位置信息,如可以在拍摄图像之前的画面预览阶段、拍摄视频之前的画面预览阶段或者拍摄视频的过程中,获取自身的空间位置信息用于处理被采集的画面,以在预览画面或拍摄画面中显示与空间位置信息相对应的目标特效对象。
在本实施例中,图像采集设备可以通过传感器感知自身的空间姿态,从而可以在采集画面的过程中利用传感器获取当前时刻自身的空间位置信息,其中,用于感知图像采集设备的传感器可以装配在图像采集设备中,如图像采集设备自身装配的陀螺仪等;也可以通过有线连接或无线连接(蓝牙、Wifi、NFC等)方式连接至图像采集设备,如图像采集设备外接的激光测距仪等,不再一一赘述。
在一实施例中,上述传感器与图像采集设备之间的连接关系可以有多种,相应的,图像采集设备获取传感器采集的空间位置信息的方式也有所不同。作为一示例性实施例,上述传感器可以为装配在图像采集设备中的一体式传感器,此时,该“图像采集设备”应当被理解为不包括传感器的软硬件部分。相应的,图像采集设备中的CPU等控制组件可以向该传感器请求并获取其采集到的图像采集设备的空间位置信息,或者该传感器可以将其采集到的空间位置信息周期性周期性提供至图像采集设备。此时,可以利用图像采集设备自身装配的传感器实现对图像采集设备的空间位置信息的采集,从而用户可以通过操控图像采集设备的空间姿态实现对图像采集设备自身所显示特效实现效果进行调整。如图1所示,传感器可以被装配在手机内部的固定位置处。
进一步的,本方案涉及到的传感器可以包括下述至少一种:用于感知x、y、z三个方向上的加速度的加速度传感器(G-Sensor,输出三个方向上的加速度值)、陀螺仪传感器(Gyro-sensor,简称陀螺仪,输出x、y、z三个方向上的加速度值)、用于感知角度的方向传感器(O-Sensor,输出x、y、z三个方向上的角度)、用于感知加速度的线性加速度传感器(LA-Sensor,输出除去重力影响后的加速度值)、用于感知旋转角度的旋转矢量传感器(RV-Sensor,输出将坐标轴和角度混合计算得到的四元数等数据)、用于感知所在位置处重力的重力传感器(GV-Sensor,输出重力加速度值)、用于感知所在位置处环境磁场的传感器(M-sensor,输出x、y、z三轴的环境磁场强度)。其中,LA-Sensor、RV-Sensor和GV-Sensor的输出数值可以通过G-sensor、O-sensor和Gyro-sensor经过预设算法计算后得出,本公开对于上述传感器的具体使用过程及数据计算方法并不进行限制,可参见相关技术中的记载。
在一实施例中,图像采集设备通过上述传感器采集到的空间位置变化信息用于表明当前时刻图像采集设备的空间姿态,其可以包括述加速度、自转角、四元数等的至少一个,当然,根据实际展示效果的要求,还可以为其他信息,本公开实施例并不对此进行限制。
在一实施例中,图像采集设备通过传感器采集到的空间位置信息可能包括多种,而对于待显示的目标特效对象则仅需要其中的部分,因此可以通过目标特效对象确定需要获取的空间位置信息。例如,图像采集设备可以先确定待显示的目标特效对象,然后通过查询预设关系表确定显示目标特效对象所需的空间位置信息,该预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定该任一特效对象的显示参数;最后从图像采集设备在当前时刻的空间信息中,选取显示目标特效对象所需的空间位置信息。具体的,可以将上述对象关系记录在魔表SDK(SoftwareDevelopment Kit,软件开发工具包)中,从而可以通过调用该魔表SDK实现对空闲位置信息的确定。通过该方式,图像采集设备不仅能够通过查表的方式准确高效的确定显示目标特效对象所需的空间位置信息,进而从图像采集设备通过传感器采集到的多种空间信息中获取所需的空间位置信息,而且无需获取传感器采集到的图像采集设备的全部空间信息,而只获取其中显示目标特效对象所需的部分,有助于减少待处理的数据量,加快目标特效对象的显示速度,避免特效显示卡顿,有助于提升显示效果。
进一步的,图像采集设备可以通过多种方式确定待显示的目标特效对象。作为一示例性实施例,图像采集设备可以识别图像采集设备采集到的画面中的显示对象,并将匹配于显示对象的备选特效对象确定为待显示的目标特效对象,以使得特效画面中展示出的目标特效对象与采集到的画面中所包含的显示对象相对应,增强画面的协调感,并能够为用户自动展示合适的特效对象。例如,图像采集设备可以在识别出女性人脸的情况下,确定猫脸特效作为与之匹配的目标特效对象;而在检测到夜空的情况下,确定烟花特效作为与之匹配的目标特效对象等。
作为另一示例性实施例,图像采集设备也可以为用户提供多种备选特效对象,以便用户选取其中合适的备选特效对象进行显示。相应的,图像采集设备可以响应于针对备选特效对象的特效选取指令,确定被选取备选的特效对象,以作为待显示的目标特效对象。从而由用户根据自己的意愿选择备选特效对象作为目标特效对象用于显示,以充分尊重用户选择。
其中,本实施例涉及到的上述特效对象可以为显示在画面上方的静态或动态魔法表情。如图1所示,魔法表情可以为展示在人像头部的兔耳,此时该方案可以在检测到手机姿态变化的情况下,相应的调整该兔耳的展示位置、展示颜色、兔耳大小、兔耳形状、兔耳动作等至少一种展示属性。实际上,手机可以为用户提供多种特效对象以供选择,如除兔耳外,还可以提供猫脸、狗头、RGB颜色分离等其他形式的特效对象,还可以提供能够由用户通过实施交互动作控制的虚拟特效,如动态的3D显示模型等,本公开实施例并不对此进行限制。
另外需要说明的是,该方案的目标特效对象与图像采集设备实时采集的画面展示在同一展示界面中,如在图像采集设备的屏幕接收到摄像头采集的画面并按照预设刷新频率(通常即为摄像头采集画面的刷新频率)进行展示,并且当前帧图像中展示有目标特效对象的情况下,图像采集设备可以通过传感器采集多种空间信息,进而根据其中的空间位置信息确定下一帧图像的显示参数(如目标特效对象对应的各个像素点的像素值),从而在下一帧图像中展示对应于手机的空间位置的魔法表情。
作为一示例性实施例,图像采集设备可以获取传感器采集的空间位置信息,并按照预设的对应关系确定对应于特效对象的空间位置信息。具体的,传感器可以将采集到的空间位置信息实时或周期性的提供至图像采集设备,从而该图像采集设备可以在接收到传感器提供的全部空间位置信息后,可以确定当前时刻待展示的特效对象,然后根据预设的上述对应关系确定对应于该特效对象的空间位置变化信息。此时图像采集设备只需要从接收到的全部空间位置信息中确定需要使用的部分信息即可。
作为另一示例性实施例,图像采集设备可以确定待显示的特效对象,并按照预设的上述对应关系确定对应于特效对象的空间位置信息。此时,传感器可以不实时采集空间位置信息,而由图像采集设备在确定出待展示的特效对象以及实现其相应展示效果所需要的空间位置信息(即为上述对应于特效对象的空间位置信息)后向传感器发起信息获取请求(即调用传感器),从而传感器获取采集相应的空间位置信息并提供至图像采集设备。可见,该方式仅在图像采集设备需要时才会调用传感器采集空间位置信息,从而有助于降低传感器的使用频率以减少电量消耗。
步骤204,根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面。
在一实施例中,上述空间位置信息可以包括四元数,此时图像采集设备可以构建三维旋转矩阵,并利用该三维旋转矩阵将四元数转换为欧拉角,然后将欧拉角确定为目标特效对象的显示参数,以实现显示参数的快速确定。或者,为避免欧拉角过大或过小导致最终的目标特效对象显示效果不佳,可以将欧拉角与预设倍数的乘积结果确定为目标特效对象的显示参数。该预设倍数为不等于1的正数,可以理解的是,在上述欧拉角过小的情况下,上述预设倍数应当大于1;而在上述欧拉角过大的情况下,上述预设倍数应当小于1,从而实现对显示效果的最优化调节。其中,可以在欧拉角小于第一预设角度的情况下,判定欧拉角过小;和/或在欧拉角大于第二预设角度的情况下,判定欧拉角过大,上述第一预设角度和第二预设角度的具体值可以根据设备类型、显示界面大小、目标特效对象类型等实际情况预先设置,如可以设置第一预设角度为0.5°,并设置第二预设角度为80°等,本公开实施例并不对此进行限制。
在一实施例中,上述目标特效对象的显示参数可以被周期性确定,并且在确定目标特效对象的显示参数的任一周期内,所使用的欧拉角为定值;则在当前周期内将四元数转换为欧拉角之后,图像采集设备还可以不将上述欧拉角或其预设倍数作为显示参数,而可以通过下述方式进一步确定:获取相邻历史周期内确定的至少一个历史乘积结果,该相邻历史周期包括位于当前周期之前且连续的至少一个周期,然后求取当前周期内的乘积结果与上述至少一个历史乘积结果之间的最大值或平均值,并将该最大值或平均值确定为目标特效对象的显示参数。或者,图像采集设备也可以通过下述方式进一步确定显示参数:获取相邻历史周期内确定的至少一个历史欧拉角,该相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的欧拉角与上述至少一个历史欧拉角之间的最大值或平均值,并将该最大值或平均值确定为目标特效对象的显示参数。通过上述方式,图像采集设备可以确定出当前欧拉角与历史欧拉角的最大值或平均值作为目标特效对象的显示参数,或者确定出当前乘积结果与历史乘积结果的最大值或平均值作为目标特效对象的显示参数,当然,上述平均值或最大值可以为绝对值。可以理解的是,使用上述平均值作为目标特效对象的显示参数,能够保证图像采集设备展示界面中显示出的相邻图像帧之间的目标特效对象的显示效果不会发生突变,从而避免目标特效对象发生画面跳变。而使用上述最大值作为目标特效对象的显示参数,能够尽量保证目标特效对象被动态展示,提升目标特效对象的展示趣味性。
在一实施例中,上述空间位置信息可以包括加速度,此时图像采集设备可以先确定用于展示目标特效对象的特效展示区域,然后根据上述加速度确定特效展示区域中的像素特征值,并将该像素特征值确定为目标特效对象的显示参数。其中,上述像素特征值可以包括下述至少之一:颜色值、颜色梯度、透明度、对比度。例如,上述颜色梯度值可以与加速度呈正相关,即加速度越大则颜色梯度值越大,加速度越小则颜色梯度值越小;或者上述对比度可以与加速度呈正相关,即加速度越大则对比度越大,加速度越小则对比度越小,不再一一赘述。通过该方式能够使得确定出的目标特效对象的显示参数充分反映图像采集设备当前时刻的加速度,从而使得目标特效对象的显示效果与该加速度相对应,实现通过控制图像采集设备的空间位置对目标特效对象的显示效果进行调节的目的。
在一实施例中,上述空间位置信息可以包括自转角,而目标特效对象可以存在预设的标准显示角度,此时图像采集设备可以根据上述自转角确定目标特效对象的偏转角度,然后根据该偏转角度,对标准显示角度进行旋转变换,并将变换得到的旋转后角度作为目标特效对象的显示参数。例如,在兔耳的标准显示角度为0°的情况下,兔耳正常状态下会呈现出两耳中线竖直的显示状态,而在用户改变手机空间位置导致手机旋转(产生自转角)时,该自转角在沿手机屏幕中轴线上的分量也发生变化,即产生偏转角度,此时手机相当于沿手机屏幕中轴线旋转该偏转角度(如30°),则用户在手机屏幕中的自拍头像也相对于手机旋转30°。此时图像采集设备可以根据该旋转角度对标准显示角度进行旋转变换,即将该角度加30度,从而得到兔耳的旋转后角度为30°,使得兔耳的仍然显示在人脸上方,保持与人脸之间相对位置关系不变。可见,通过该方式能够保证目标特效对象的显示效果与图像采集设备所采集画面中的画面内容之间的相对位置关系相匹配,不会因手机转动导致目标特效对象显示混乱。
在上述各个实施例中,目标特效对象的显示参数可以包括模糊强度和/或颜色饱和度,还可以包括羽化度、对比度、亮度等,本公开实施例并不对此进行限制。另外,上述各个实施例的处理逻辑可以记录在预先生成的特效SDK中,从而能够调用该特效SDK根据空间位置信息求取目标特效对象的显示参数。例如,该特效SDK可以为前述魔表SDK,即魔表SDK除记录特效对象与空间位置信息之间的对应关系外,还可以记录通过空间位置信息求解特效对象的显示参数的处理逻辑及具体算法。因此,图像采集设备在获取到对应于特效对象的空间位置信息后,可以将其提供至预设的上述特效SDK,以由该特效SDK按照其中记录的处理逻辑及具体算法求取目标特效对象的显示参数,进而图像采集设备可以获取该显示参数用于显示目标特效对象。
其中,上述通过魔表SDK确定目标特效对象的显示参数的过程,即为图像采集设备的CPU按照魔表SDK记录的上述对应关系确定并获取对应于目标特效对象的空闲位置信息,然后根据魔表SDK中记录的处理逻辑及具体算法求解该目标特效对象的显示参数的过程。通过预先设置特效SDK的方式能够规范化空间位置信息的获取过程以及显示参数的确定方式,便于快速高效地确定显示参数,从而保证特效对象的快速渲染与显示,减少特效显示时的用户等待时长以提升用户体验。
步骤206,按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
在本实施例中,确定出上述显示参数后,图像采集设备可以将其提供至显示组件对应的GPU,以使GPU根据该显示参数进行相应的渲染处理得到包含目标特效对象的特效画面,进而展示该特效画面,被展示的特效画面中的目标特效对象呈现出与图像采集设备的当前空间位置信息相对应的显示效果。上述渲染及展示的具体过程,可以参见相关技术中的记载,本公开实施例并不对此进行限制。
根据本公开的实施例,用户可以通过操控图像采集设备的空间姿态,控制特效的显示效果。具体的,通过在图像采集设备采集画面的过程中获取当前时刻该设备的空间位置信息,确定目标特效对象的显示参数,从而根据该显示参数渲染所采集的画面以得到特效画面,使得该特效画面被展示时能够显示出上述特效对象,从而呈现出对应于图像采集设备的空间位置信息的特效显示效果。可见,该方案允许用户通过操纵图像采集设备改变设备的空间位置信息,进而对图像采集设备在图像采集过程中所显示的魔法表情等特效进行自行调整与控制;而且该方案无需使用用户的人脸关键点等生物信息即可实现,在保证显示效果控制准确度的同时也保证了用户的信息安全。
下面结合图3所示的另一种特效实现方法的流程图。下面结合图3-图6,对手机通过获取自身所装配陀螺仪采集到的空间位置信息,控制拍摄过程中魔法表情的显示效果的具体过程进行详细描述。如图3所示,该过程可以包括下述步骤301-307。
步骤301:手机屏幕中显示实时采集的待拍摄对象对应的当前帧画面。
在本实施例中,用户可以使用手机自身装配的前置或后置摄像头拍摄待拍摄对象,如使用前置摄像头自拍,或者使用后置摄像头拍别人或物体。在用户开启手机的拍照功能后,手机调用摄像头采集待拍摄对象的光学信息并在屏幕上显示相应的预览画面,若手机默认开启魔法表情功能或者用户在手机展示预览画面时开启魔法表情功能,则显示屏的预览画面中会展示相应的魔法表情。如图1所示,在待拍摄对象为兔耳的情况下,该特效表情会相应的显示在预览画面中的人脸的头部位置。进而,用户可以在对当前预览画面和魔法表情的整体预览效果满意的情况下,通过触发拍摄功能(如单击“拍摄”控件)实现画面拍摄以得到照片。
又例如在用户开启手机的录像功能并开始录像后,若手机默认开启魔法表情功能或者用户在手机展示预览画面时开启魔法表情功能,则显示屏的预览画面中会展示相应的魔法表情。进而,手机可以将魔法表情的展示效果及动态变化过程录制在录制视频中。
在本实施例中,手机屏幕所显示的包含魔法表情的图像是逐帧显示的,因此,本方案显示魔法表情的过程也是逐帧显示的。具体的,手机在显示当前帧画面的过程中,可以通过执行下述步骤302-305确定出下一帧画面中魔法表情的显示参数,进而由GPU着色器按照该显示参数渲染得到包含魔法表情的下一帧画面用于显示。
步骤302:确定待显示的魔法表情。
在显示当前帧画面的过程中,手机可以确定当前画面中被显示的魔法表情,进而确定待显示的魔法表情。例如,在确定出备选魔法表情中当前时刻被选中且处于显示状态的魔法表情为兔耳的情况下,手机可以将兔耳确定为待展示的魔法表情,即需要在下一帧图像中显示该兔耳(只是具体的显示参数需要通过下述步骤确定,以便下一帧图像中展示出的兔耳能够对应于手机当前时刻的空间位置信息)。
步骤303:获取陀螺仪采集并输出的四元数。
在本实施例中,用户在使用手机拍摄的过程中,可以通过操控手部动作改变手机的姿态,如控制手机平移、倾斜、转动等,从而手机可以通过自身装配的陀螺仪采集自身的空间位置信息,并使用该空间位置信息对魔法表情的显示效果进行控制。
在一实施例中,手机中可以预先存储有魔表SDK,该魔表SDK中不仅可以记录手机用于实现的任一魔法表情所对应的若干空间位置信息,还可以相应的记录通过上述若干空间位置信息计算实现该任一魔法表情所需的相应算法,即记录有前述图2所示实施例中的对应关系。或者,在手机通过自身所运行的具备摄像头调用功能的应用(如手机原生拍摄应用、第三方拍摄应用、第三方多媒体应用等)展示魔法表情的情况下,上述魔表SDK或者对应关系也可以预先存储在该应用对应的服务端中,从而手机可以从该服务端获取上述魔表SDK或者对应关系表,进而执行后续步骤。
进一步的,在确定出待显示的魔法表情后,手机可以调用上述魔表SDK或者根据上述对应关系确定对应于该待显示的魔法表情的空间位置信息。值得说明的是,该魔表SDK中记录的“用于实现的任一魔法表情所对应的若干空间位置信息”,只是空间位置信息的名称,而并非其具体取值。如记录用于实现兔耳特效需要用到“四元数”,从而手机在确定目标特效对象为兔耳后,可以通过查询该魔表SDK确定需要获取手机当前的四元数,进而可以从手机的陀螺仪处获取其采集到的四元数的具体值。
在本实施例中,以上述魔法表情为实现RGB分离效果的分离色块为例,手机可以根据上述对应关系表确定该RGB分离效果对应的空间位置信息,如四元数。若通过上述方式确定出对应于RGB分离效果的空间位置信息为四元数,则表明需要在下一帧画面中显示出该RGB分离效果对应的分离色块,进而需要使用四元数这一数据求取该分离色块的显示参数。
进一步的,手机(具体为手机的CPU,下同)可以从自身所装配陀螺仪采集到的空间位置信息中提取该四元数;或者,手机可以向该陀螺仪请求并获取器采集到的四元数,上述请求及获取的具体过程可以参见相关技术中记载的内容,此处不再赘述。
步骤304:求取四元数对应的旋转角度。
在本实施例中,使用欧拉角表征手机空间位置变化过程中的移动或旋转等动作。具体的,可以在笛卡尔坐标系下直接将四元数转换为欧拉角,也可以构建用于表征手机方位变化的旋转矩阵,并基于该旋转矩阵将已获取到的上述四元数转换为相应的欧拉角,上述具体计算公式和转换过程可以参见相关技术中的记载,此处不再赘述。
在一实施例中,根据上述欧拉角可以通过多种方式确定手机姿态改变对应的旋转角度。作为一示例性实施例,可以直接将计算得到的上述欧拉角确定为旋转角度,从而简化旋转角度的确定方式,以加快显示参数的计算速度。或者,作为另一示例性实施例,可以将计算出的上述欧拉角缓存至参数队列中,该参数队列中还可以缓存有当前帧画面之前的若干历史帧画面对应的若干历史欧拉角,从而将该队列中各个欧拉角的平均值确定为旋转角度,以避免魔法表情显示过程中的跳变,进而呈现出较为平稳的魔法表情显示效果。
其中,上述参数队列中的历史欧拉角可以为连续画面帧对应的欧拉角,如将包括当前帧画面对应的当前欧拉角在内的n(n>1)帧画面帧对应的n个欧拉角构成参数队列,相应的,可将该队列中的n个欧拉角的平均值确定为当前帧画面对应的旋转角度。可以理解的是,上述n越大,则画面中的目标特效对象越平稳。当然,在上述n足够小(如n≤10)的情况下,也可以将参数队列中的n个欧拉角中的最大值确定为旋转角度。另外,还可以将当前欧拉角的预设倍数与上述各个历史欧拉角的预设倍数的平均值或最大值作为上述旋转角度,不再赘述。
步骤305:确定下一帧画面中魔法表情的展示参数。
在一实施例中,基于上述旋转角度可以通过多种方式确定展示参数。作为一示例性实施例,手机可以按照魔表SDK中记录的预设算法,根据上述旋转角度计算模糊强度等展示参数。作为另一示例性实施例,手机可以将上述旋转角度乘以大于1的系数x1后,再计算相应的展示参数,以保证在旋转角度较小的情况下,仍然能够计算出相应的展示参数,从而保证对手机操控以及魔法表情显示的灵敏度。或者,也可以将上述旋转角度乘以小于1的系数x2后,再计算相应的展示参数,以保证在旋转角度较大的情况下,避免展示参数过大导致目标特效对象在画面中发生跳变。上述系数x1和x2可以为根据图像采集设备类型、展示画面尺寸、目标特效对象的类型等实际情况预先设置并经过验证的经验值,本公开实施例并不对此进行限制。
在一实施例中,上述空间位置信息可以包括自转角,而目标特效对象可以存在预设的标准显示角度,此时手机可以根据上述自转角确定目标特效对象的偏转角度,然后根据该偏转角度,对标准显示角度进行旋转变换,并将变换得到的旋转后角度作为目标特效对象的显示参数。如图4所示,假设兔耳的标准显示角度为0°,则兔耳正常状态下会呈现出如图4(a)所示两耳中线竖直(平行于手机屏幕的纵向中轴线)的显示状态。而在用户改变手机空间位置导致手机向左旋转(产生自转角)时,该自转角在沿手机屏幕中轴线上的分量也发生变化,即产生偏转角度(假设为30°),此时手机相当于沿手机屏幕纵向中轴线向左旋转30°,进而用户在手机屏幕中的自拍头像相对于手机屏幕向右旋转30°。此时手机可以根据该旋转角度对标准显示角度进行旋转变换,即将标准显示角度加30°,从而得到兔耳的旋转后角度(相对于手机屏幕的旋转角度)为向右30°,从而手机旋转后的兔耳仍然显示在人脸上方,保持与人脸之间的相对位置关系不变,如图4(b)所示。可见,通过该方式能够保证目标特效对象的显示效果与手机所采集画面中的画面内容之间的相对位置关系相匹配,不会因手机转动导致目标特效对象显示混乱。
步骤306:CPU将展示参数提供至GPU着色器进行画面渲染以得到下一帧图像。
步骤307:显示包含魔法表情的下一帧图像。
在本实施例中,确定出上述展示参数后,可以将其提供至手机屏幕对应的GPU着色器中,以渲染下一帧画面,进而手机屏幕可以展示渲染完成的下一帧画面,该画面中包含根据上述显示参数渲染得到的魔法表情,该魔法表情的展示效果对应于手机当前时刻的空间姿态。其中,上述渲染和显示下一帧画面的具体过程可以参见相关技术中的记载,此处不再赘述。
下面以魔法表情为RGB分离效果对应的分离色块为例进行说明,分离色块的展示效果可参见图5及图6所示。
图5(a)所示为手机拍摄界面的预览画面效果示意图,若用户在该界面中打开魔法表情功能并选中RGB分离效果作为特效,则当用户操控手机沿其竖直中轴线从右至左旋转时,其对应的RGB分离效果如图5(b)所示。其中,展示出501、502等多个分离色块,此时分离色块对应的展示参数可以为分离色块的个数,还可以为各个分离色块的宽度、模糊强度、RGB通道颜色值、颜色饱和度等,本公开对此并不进行限制。类似的,如图6(a)所示,当用户操控手机沿其水平中轴线从上至下旋转时,其对应的RGB分离效果如图6(b)所示,不再赘述。
由图5(a)-图6(b)可见,当用户通过手部动作控制手机旋转时,可以相应的控制分离色块的显示效果,进而控制在下一帧画面中显示出RGB分离效果,从而实现通过手机姿态对控制RGB分离特效的效果。
与前述特效实现方法的实施例相对应地,本公开还提出了特效实现装置的实施例。
图7是根据本公开的实施例示出的一种特效实现装置的示意框图。本实施例所示的特效实现装置可以适用于具备图像采集及特效对象显示功能的图像采集设备,所述图像采集设备包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。
如图7所示,所述特效实现装置可以包括:
信息获取单元701,被配置为在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;
参数确定单元702,被配置为根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;
画面渲染单元703,被配置为按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
可选的,所述空间位置信息包括下述至少之一:加速度、自转角、四元数。
可选的,所述信息获取单元701还被配置为:
确定待显示的所述目标特效对象;
通过查询预设关系表确定显示所述目标特效对象所需的空间位置信息,所述预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定所述任一特效对象的显示参数;
从所述图像采集设备在当前时刻的空间信息中,选取显示所述目标特效对象所需的空间位置信息。
可选的,所述信息获取单元701还被配置为:
识别所述图像采集设备采集到的画面中的显示对象,并将匹配于所述显示对象的备选特效对象确定为待显示的目标特效对象;或者,
响应于针对备选特效对象的特效选取指令,确定被选取的待显示的目标特效对象。
可选的,所述空间位置信息包括四元数,所述参数确定单元702还被配置为:
构建三维旋转矩阵,并利用所述三维旋转矩阵将所述四元数转换为欧拉角;
将所述欧拉角确定为所述目标特效对象的显示参数,或者将所述欧拉角与预设倍数的乘积结果确定为所述目标特效对象的显示参数,所述预设倍数为不等于1的正数。
可选的,所述目标特效对象的显示参数被周期性确定,在确定所述目标特效对象的显示参数的任一周期内,所述欧拉角为定值;在当前周期内将所述四元数转换为欧拉角之后,还包括:
第一历史确定单元704,被配置为获取相邻历史周期内确定的至少一个历史乘积结果,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述乘积结果与所述至少一个历史乘积结果之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;或者,
第二历史确定单元705,被配置为获取相邻历史周期内确定的至少一个历史欧拉角,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述欧拉角与所述至少一个历史欧拉角之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数。
可选的,所述空间位置信息包括加速度,所述参数确定单元702还被配置为:
确定用于展示所述目标特效对象的特效展示区域;
根据所述加速度确定所述特效展示区域中的像素特征值,并将所述像素特征值确定为所述目标特效对象的显示参数。
可选的,所述像素特征值包括下述至少之一:
颜色值、颜色梯度、透明度、对比度。
可选的,所述空间位置信息包括自转角,所述目标特效对象存在预设的标准显示角度,所述参数确定单元702还被配置为:
根据所述自转角确定所述目标特效对象的偏转角度;
根据所述偏转角度,对所述标准显示角度进行旋转变换,并将变换得到的旋转后角度作为所述目标特效对象的显示参数。
可选的,所述目标特效对象的显示参数包括模糊强度和/或颜色饱和度。
本公开的实施例还提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述任一实施例所述的特效实现方法。
本公开的实施例还提出一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述任一实施例所述的特效实现方法。
本公开的实施例还提出一种计算机程序产品,所述计算机程序产品被配置为执行上述任一实施例所述的特效实现方法。
图8是根据本公开的实施例示出的一种电子设备的示意框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件818。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述特效实现方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件818发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
图像采集组件816可以用于采集被摄对象的图像数据,以形成关于被摄对象的图像,并可以对该图像进行必要的处理。该图像采集组件816可以包括相机模组,相机模组中的图像传感器(Sensor)通过镜头感应来自被摄对象的光线,将得到的感光数据提供给图像信号处理器(ISP,Image Signal Processing),由后者根据感光数据生成对应于被摄对象的图像。其中,上述图像传感器可以为CMOS传感器或CCD传感器,当然,也可以为红外传感器、深度传感器等;相机模组可以内置在电子设备800中,也可以为电子设备800的外接模组;上述ISP可以内置在相机模组中,也可以外挂在上述电子设备中(不在相机模组内)。
通信组件818被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件818还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述特效实现方法。
在本公开一实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述特效实现方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本公开中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。

Claims (18)

1.一种特效实现方法,其特征在于,包括:
在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;
根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;其中,所述空间位置信息包括四元数,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
构建三维旋转矩阵,并利用所述三维旋转矩阵将所述四元数转换为欧拉角;
将所述欧拉角确定为所述目标特效对象的显示参数,或者将所述欧拉角与预设倍数的乘积结果确定为所述目标特效对象的显示参数,所述预设倍数为不等于1的正数;
所述目标特效对象的显示参数被周期性确定,在确定所述目标特效对象的显示参数的任一周期内,所述欧拉角为定值;在当前周期内将所述四元数转换为欧拉角之后,还包括:
获取相邻历史周期内确定的至少一个历史乘积结果,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述乘积结果与所述至少一个历史乘积结果之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;或者,
获取相邻历史周期内确定的至少一个历史欧拉角,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述欧拉角与所述至少一个历史欧拉角之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;
按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
2.根据权利要求1所述的方法,其特征在于,所述空间位置信息还包括下述至少之一:加速度、自转角。
3.根据权利要求1所述的方法,其特征在于,所述获取所述图像采集设备的空间位置信息,包括:
确定待显示的所述目标特效对象;
通过查询预设关系表确定显示所述目标特效对象所需的空间位置信息,所述预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定所述任一特效对象的显示参数;
从所述图像采集设备在当前时刻的空间信息中,选取显示所述目标特效对象所需的空间位置信息。
4.根据权利要求3所述的方法,其特征在于,所述确定待显示的所述目标特效对象,包括:
识别所述图像采集设备采集到的画面中的显示对象,并将匹配于所述显示对象的备选特效对象确定为待显示的目标特效对象;或者,
响应于针对备选特效对象的特效选取指令,确定被选取的待显示的目标特效对象。
5.根据权利要求1所述的方法,其特征在于,所述空间位置信息包括加速度,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
确定用于展示所述目标特效对象的特效展示区域;
根据所述加速度确定所述特效展示区域中的像素特征值,并将所述像素特征值确定为所述目标特效对象的显示参数。
6.根据权利要求5所述的方法,其特征在于,所述像素特征值包括下述至少之一:
颜色值、颜色梯度、透明度、对比度。
7.根据权利要求1所述的方法,其特征在于,所述空间位置信息包括自转角,所述目标特效对象存在预设的标准显示角度,所述根据所述空间位置信息确定目标特效对象的显示参数,包括:
根据所述自转角确定所述目标特效对象的偏转角度;
根据所述偏转角度,对所述标准显示角度进行旋转变换,并将变换得到的旋转后角度作为所述目标特效对象的显示参数。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述目标特效对象的显示参数包括模糊强度和/或颜色饱和度。
9.一种特效实现装置,其特征在于,包括:
信息获取单元,被配置为在图像采集设备采集画面的过程中,获取当前时刻所述图像采集设备的空间位置信息;
参数确定单元,被配置为根据所述空间位置信息确定目标特效对象的显示参数,所述目标特效对象用于处理被采集的所述画面;其中,所述空间位置信息包括四元数,所述参数确定单元还被配置为:
构建三维旋转矩阵,并利用所述三维旋转矩阵将所述四元数转换为欧拉角;
将所述欧拉角确定为所述目标特效对象的显示参数,或者将所述欧拉角与预设倍数的乘积结果确定为所述目标特效对象的显示参数,所述预设倍数为不等于1的正数;
所述目标特效对象的显示参数被周期性确定,在确定所述目标特效对象的显示参数的任一周期内,所述欧拉角为定值;在当前周期内将所述四元数转换为欧拉角之后,还包括:
第一历史确定单元,被配置为获取相邻历史周期内确定的至少一个历史乘积结果,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述乘积结果与所述至少一个历史乘积结果之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;或者,
第二历史确定单元,被配置为获取相邻历史周期内确定的至少一个历史欧拉角,所述相邻历史周期包括位于当前周期之前且连续的至少一个周期,求取当前周期内的所述欧拉角与所述至少一个历史欧拉角之间的最大值或平均值,并将所述最大值或平均值确定为所述目标特效对象的显示参数;
画面渲染单元,被配置为按照所述显示参数渲染所述画面,并显示渲染得到的特效画面,所述特效画面中包括所述目标特效对象。
10.根据权利要求9所述的装置,其特征在于,所述空间位置信息还包括下述至少之一:加速度、自转角。
11.根据权利要求9所述的装置,其特征在于,所述信息获取单元还被配置为:
确定待显示的所述目标特效对象;
通过查询预设关系表确定显示所述目标特效对象所需的空间位置信息,所述预设关系表用于记录特效对象与空间信息之间的对应关系,其中,任一特效对象对应的若干空间位置信息用于确定所述任一特效对象的显示参数;
从所述图像采集设备在当前时刻的空间信息中,选取显示所述目标特效对象所需的空间位置信息。
12.根据权利要求11所述的装置,其特征在于,所述信息获取单元还被配置为:
识别所述图像采集设备采集到的画面中的显示对象,并将匹配于所述显示对象的备选特效对象确定为待显示的目标特效对象;或者,
响应于针对备选特效对象的特效选取指令,确定被选取的待显示的目标特效对象。
13.根据权利要求11所述的装置,其特征在于,所述空间位置信息包括加速度,所述参数确定单元还被配置为:
确定用于展示所述目标特效对象的特效展示区域;
根据所述加速度确定所述特效展示区域中的像素特征值,并将所述像素特征值确定为所述目标特效对象的显示参数。
14.根据权利要求13所述的装置,其特征在于,所述像素特征值包括下述至少之一:
颜色值、颜色梯度、透明度、对比度。
15.根据权利要求9所述的装置,其特征在于,所述空间位置信息包括自转角,所述目标特效对象存在预设的标准显示角度,所述参数确定单元还被配置为:
根据所述自转角确定所述目标特效对象的偏转角度;
根据所述偏转角度,对所述标准显示角度进行旋转变换,并将变换得到的旋转后角度作为所述目标特效对象的显示参数。
16.根据权利要求9至15中任一项所述的装置,其特征在于,所述目标特效对象的显示参数包括模糊强度和/或颜色饱和度。
17.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的特效实现方法。
18.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至8中任一项所述的特效实现方法。
CN202011599632.6A 2020-12-29 2020-12-29 特效实现方法、装置、电子设备和存储介质 Active CN112738420B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011599632.6A CN112738420B (zh) 2020-12-29 2020-12-29 特效实现方法、装置、电子设备和存储介质
PCT/CN2021/113631 WO2022142388A1 (zh) 2020-12-29 2021-08-19 特效显示方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011599632.6A CN112738420B (zh) 2020-12-29 2020-12-29 特效实现方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112738420A CN112738420A (zh) 2021-04-30
CN112738420B true CN112738420B (zh) 2023-04-25

Family

ID=75611539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011599632.6A Active CN112738420B (zh) 2020-12-29 2020-12-29 特效实现方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN112738420B (zh)
WO (1) WO2022142388A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738420B (zh) * 2020-12-29 2023-04-25 北京达佳互联信息技术有限公司 特效实现方法、装置、电子设备和存储介质
CN113873168A (zh) * 2021-10-27 2021-12-31 维沃移动通信有限公司 拍摄方法、装置、电子设备及介质
CN114494556A (zh) * 2022-01-30 2022-05-13 北京大甜绵白糖科技有限公司 一种特效渲染方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105396289A (zh) * 2014-09-15 2016-03-16 掌赢信息科技(上海)有限公司 实时游戏和多媒体会话过程中实现特效的方法及装置
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
CN106792078A (zh) * 2016-07-12 2017-05-31 乐视控股(北京)有限公司 视频处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989786B2 (en) * 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US10424100B2 (en) * 2017-11-21 2019-09-24 Microsoft Technology Licensing, Llc Animating three-dimensional models using preset combinations of animation features
CN110062157B (zh) * 2019-04-04 2021-09-17 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110047126B (zh) * 2019-04-25 2023-11-24 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110751707B (zh) * 2019-10-24 2021-02-05 北京达佳互联信息技术有限公司 动画显示方法、装置、电子设备及存储介质
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN112738420B (zh) * 2020-12-29 2023-04-25 北京达佳互联信息技术有限公司 特效实现方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105396289A (zh) * 2014-09-15 2016-03-16 掌赢信息科技(上海)有限公司 实时游戏和多媒体会话过程中实现特效的方法及装置
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
CN106792078A (zh) * 2016-07-12 2017-05-31 乐视控股(北京)有限公司 视频处理方法及装置

Also Published As

Publication number Publication date
WO2022142388A1 (zh) 2022-07-07
CN112738420A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
KR102381713B1 (ko) 촬영 방법, 촬영 장치, 및 이동 단말
CN112738420B (zh) 特效实现方法、装置、电子设备和存储介质
US11158027B2 (en) Image capturing method and apparatus, and terminal
WO2019174628A1 (zh) 拍照方法及移动终端
CN108495032B (zh) 图像处理方法、装置、存储介质及电子设备
US20090227283A1 (en) Electronic device
US11030733B2 (en) Method, electronic device and storage medium for processing image
WO2017124899A1 (zh) 一种信息处理方法及装置、电子设备
US11539888B2 (en) Method and apparatus for processing video data
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
CN112331158B (zh) 终端显示调节方法、装置、设备及存储介质
CN114390186A (zh) 视频拍摄方法及电子设备
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
JP7339939B2 (ja) 撮影プレビュー画像を表示する方法、装置及び記憶媒体
US11252341B2 (en) Method and device for shooting image, and storage medium
US9619016B2 (en) Method and device for displaying wallpaper image on screen
CN114339051A (zh) 拍摄方法、装置、电子设备和可读存储介质
CN109934168B (zh) 人脸图像映射方法及装置
CN111835977A (zh) 图像传感器、图像生成方法及装置、电子设备、存储介质
EP3945717A1 (en) Take-off capture method and electronic device, and storage medium
EP4040437A1 (en) Method and apparatus for playing an animation, device and storage medium
WO2023206475A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN116939351A (zh) 拍摄方法、装置、电子设备及可读储存介质
CN115134507A (zh) 拍摄方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant