CN108012091A - 图像处理方法、装置、设备及其存储介质 - Google Patents
图像处理方法、装置、设备及其存储介质 Download PDFInfo
- Publication number
- CN108012091A CN108012091A CN201711235542.7A CN201711235542A CN108012091A CN 108012091 A CN108012091 A CN 108012091A CN 201711235542 A CN201711235542 A CN 201711235542A CN 108012091 A CN108012091 A CN 108012091A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- special efficacy
- special
- buffer zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Abstract
本申请公开了图像处理方法、装置、设备及其存储介质。该方法包括：获取采集得到的原始图像；调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效；叠加缓存区域中经过处理的图像，得到新的图像。本申请实施例的技术方案，通过调用包括至少两个缓存区域的缓存对图像进行至少两个特效的纹理叠加处理，丰富了用户的拍摄的趣味性，通过纹理处理还能够进一步提升数据处理效率。
Description
技术领域
本申请一般涉及计算机应用领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及其存储介质。
背景技术
增强现实(Augemented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息进行“无缝”集成的新技术，是把原本在现实世界的一定时间或空间内体验到实体信息(例如：视觉信息、声音信息、味道信息、触觉信息等)，通过计算机等科学技术进行模拟仿真，然后再将虚拟世界信息和真实世界信息叠加，从而达到超越现实的感官体验。
现在很多用户经常会使用具有图像采集功能装置的终端设备随时随地地进行拍照或摄像，基于终端设备采集的真实存在的环境，用户期望能够在真实画面中增加一些虚拟特效来增加图片的趣味性，特别是独具特色的节日里，例如万圣节、圣诞节、春节等，现有AR处理的图像呈现出的效果单一，不能满足用户的多样性趣味的需求。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种在图像中叠加多种AR特效的图像处理的方案，以满足用户对图像处理的趣味性需求。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取采集得到的原始图像；
调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效；
叠加缓存区域中经过处理的图像，得到新的图像。
可选地，调用缓存对原始图像进行特效的纹理处理，包括：
获取与待执行的特效相对应的特征点信息；
根据特征点信息，对缓存区域中的原始图像中的对应特征点数据执行该特效的纹理处理，得到经处理的图像。
可选地，获取与待执行的特效相对应的特征点信息，包括：
获取从原始图像中识别出的、与待执行特效相对应的特征点信息，其中，该特征点信息是待执行的特效在原始图像中对应的位置。
可选地，叠加缓存区域中经过处理的图像，得到新的图像，包括：
调用与第一种特效对应的缓存区域对原始图像进行第一特效的纹理处理，得到第一特效处理后的图像；
调用与第二特效对应的缓存区域对第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
调用与第N个特效对应的缓存区域对第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
可选地，特效的纹理处理包括以下至少两项：
贴图处理、背景处理、滤镜处理。
可选地，当至少两种特效的纹理处理为贴图处理和背景处理时，叠加缓存区域中经过处理的图像，得到新的图像，包括：
调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为贴图处理和滤镜处理时，叠加缓存区域中经过处理的图像，得到新的图像，包括：
调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
调用与滤镜处理对应的缓存区域对所述贴图处理后的图像中第三目标区域，进行滤镜处理，得到叠加贴图处理和滤镜处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为背景处理和滤镜处理时，叠加缓存区域中经过处理的图像，得到新的图像，包括：
调用与背景处理对应的缓存区域对原始图像中第二目标区域以外的区域，进行背景处理，得到背景处理后的图像；
调用与滤镜处理对应的缓存区域对背景处理后的图像的第三目标区域，进行滤镜处理，得到叠加背景处理和滤镜处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为贴图处理、背景处理和滤镜处理时，叠加缓存区域中经过处理的图像，得到新的图像，包括：
调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理后的图像；
调用与滤镜处理对应的缓存区域对叠加贴图处理和背景处理后的图像中的第三目标区域，进行滤镜处理，得到叠加贴图处理、背景处理和滤镜处理后的图像，该图像为新的图像。
可选地，获取与待执行的特效相对应的特征点信息，包括：
获取贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域；
获取背景处理的相对应的特征点信息为第二目标区域，该第二目标区域为人体区域；
获取滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像整个区域。
可选地，贴图处理包括在第一目标区域添加动态或静态的标识；
背景处理包括将第二目标区域作为前景图像分离出来，将非第二目标区域作为背景图像替换成其他场景；
滤镜处理包括在第三目标区域进行常规的滤镜处理。
可选地，该方法还包括：
将新的图像呈现在终端设备上；和/或
将新的图像输出至编码器生成视频文件以待呈现；和/或
将新的图像上传云端服务器。
可选地，调用缓存对原始图像进行纹理特效处理，包括：
调用OpenGL进行特效的纹理处理。
可选地，原始图像为图片或视频。
可选地，获取与待执行的特效相对应的特征点信息包括：
获取由原始图像的YUV数据按照对应的算法得到的原始图像中待执行的特效相对应的特征点信息。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
图像获取单元，用于获取采集得到的原始图像；
调用处理单元，用于调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效；
叠加单元，用于叠加缓存区域中经过处理的图像，得到新的图像。
可选地，调用处理单元，包括：
特征点获取单元，用于获取与待执行的特效相对应的特征点信息；
纹理处理单元，用于根据特征点信息，对缓存区域中的原始图像中的对应特征点数据执行特效的纹理处理，得到经处理的图像。
可选地，特征点获取单元，还用于获取从原始图像中识别出的、与待执行特效相对应的特征点信息，其中，特征点信息是待执行的特效在原始图像中对应的位置。
可选地，叠加单元，包括：
第一叠加子单元，用于调用与第一种特效对应的缓存区域对原始图像，进行第一特效的纹理处理，得到第一特效处理后的图像；
第二叠加子单元，用于调用与第二特效对应的缓存区域对第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
第N叠加子单元，用于调用与第N特效对应的缓存区域对第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
可选地，特效的纹理处理包括以下至少两项：
贴图处理、背景处理、滤镜处理。
可选地，当至少两种特效的纹理处理为贴图处理和背景处理时，叠加单元，包括：
第一叠加子单元，用于调用与贴图处理对应的缓存区域对所述原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
第二叠加子单元，用于调用与背景处理对应的缓存区域对所述贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为贴图处理和滤镜处理时，叠加单元，包括：
第一叠加子单元，用于调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
第三叠加子单元，用于调用与滤镜处理对应的缓存区域对贴图处理后的图像中第三目标区域，进行滤镜处理，得到叠加贴图处理和滤镜处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为背景处理和滤镜处理时，叠加单元，包括：
第二叠加子单元，用于调用与背景处理对应的缓存区域对原始图像中第二目标区域以外的区域，进行背景处理，得到背景处理后的图像；
第三叠加子单元，用于调用与滤镜处理对应的缓存区域对背景处理后的图像的第三目标区域，进行滤镜处理，得到叠加背景处理和滤镜处理的图像，该图像为新的图像。
可选地，当至少两种特效的纹理处理为贴图处理、背景处理和滤镜处理时，叠加子单元，包括：
第一叠加子单元，用于调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；
第二叠加子单元，用于调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理后的图像；
第三叠加子单元，用于调用与滤镜处理对应的缓存区域对叠加贴图处理和背景处理后的图像中的第三目标区域，进行滤镜处理，得到叠加贴图处理、背景处理和滤镜处理后的图像，该图像为新的图像。
可选地，特征点获取单元，包括：
第一目标区域获取单元，用于获取贴图处理相对应的特征点信息的第一目标区域，该第一目标区域为人脸区域；
第二目标区域获取单元，用于获取背景处理相对应的特征点信息的第二目标区域，该第二目标区域为人体区域；
第三目标区域获取单元，用于获取滤镜处理相对应的特征点信息的第三目标区域，该第三目标区域为原始图像整个区域。
可选地，贴图处理包括在第一目标区域添加动态或静态的标识；
背景处理包括将第二目标区域作为前景图像分离出来，将非第二目标区域作为背景图像替换成其他场景；
滤镜处理包括在第三目标区域进行常规的滤镜处理。
可选地，该装置还包括：
呈现单元，用于将新的图像呈现在终端设备上；和/或
第一输出单元，用于将新的图像输出至编码器生成视频文件以待呈现；和/或
第二输出单元，用于将新的图像上传云端服务器。
第三方面，本申请实施例提供了一种终端设备，该终端设备包括：
图像处理器和中央处理器；
存储装置，用于存储一个或多个程序；
摄像头，用于采集图像；
当前述一个或多个程序被图像处理器执行，使得图像处理器实现如本申请实施例所述的方法。
可选地，中央处理器，用于接收新的图像，并将新的图像输出到终端设备的显示装置和/或云端服务器；和/或将新的图像输出至编码器生成视频文件以在终端设备的其他应用呈现。
可选地，中央处理器，还用于将原始图像的YUV数据按照对应的算法得到原始图像中待执行的特效相对应的特征点信息。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被图像处理器执行时实现如本申请实施例所述的方法。
本申请实施例，在获取采集得到的原始图像之后，通过调用至少两个缓存区域对原始图像进行特效的纹理处理，实现在原始图像中叠加至少两种特效，丰富了原始图像的趣味性，通过纹理处理提升了数据处理效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了本申请一实施例的图像处理方法的流程示意图；
图2示出了本申请又一实施例的图像处理方法的流程示意图；
图3示出了本申请一实施例的图像处理装置300的结构示意图；
图4示出了本申请又一实施例的图像处理装置400的结构示意图；
图5示出了本申请实施例提供的叠加特效处理的原理示意图；
图6示出了本申请实施例的一种终端设备600的结构示意图；图7示出了本申请又一实施例的一种终端设备700的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了本申请实施例的一种图像处理方法的流程示意图。
如图1所示，该方法包括：
101，获取采集得到的原始图像。
本申请实施例中获取采集得到的原始图像，可以通过事件触发的方式触发终端设备的采集装置开始采集原始图像。其中，采集装置可以是摄像头或与摄像头具有同等效果的装置。其中，原始图像可以是图片，也可以是视频。事件触发采集原始图像可以是通过终端设备的触控键或按键，自拍杆的按键，耳机操控线上的按键等等，能够通过按键动作触发采集装置执行原始图像的采集，并可以从该原始图像中捕捉到某个特定的目标图像，例如人物。然后，本申请实施例，基于该目标图像进行相应的特效处理，增强现实画面的趣味性。其中，终端设备包括但不限定于智能手机、平板电脑、数码相机等终端设备。
102，调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效。
本申请实施例中，通过调用缓存对原始图像进行特效的纹理处理，可以实现对高分辨率的原始图像进行处理，提升了图像处理的效率。该缓存是预先创建的，其包括至少两个缓存区域，其中每个缓存区域用于处理一种特效。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。这里的特效即为增强现实内容，可以包括实物图像(如新天鹅城堡等类似的建筑物实物的图像等)、图像修饰物(如万圣节南瓜面具等类似的装饰图片、闪烁效果的动画等)、场景效果(如黑夜效果等)等等。
本申请实施例，通过纹理处理更能表达物体表面丰富的几何细节和光照细节，在未增加物体多边形数情况下，能够增强物体的真实感效果。
103，叠加缓存区域中经过处理的图像，得到新的图像。
本申请实施例，通过将缓存区域中经过处理的图像叠加得到多种增强现实内容(特效)得到新的图像，丰富了图像的趣味性，增强了用户的体验感。例如，在获取的正在拍摄的图像中依次叠加多种特效，先对图像中出现的特定的人物，用卡通图像修饰物作为面具贴合在人物的面部，然后将图像中的背景替换成新天鹅城堡等类似的建筑物实物的图像，最后还可以将图像中的背景色调修改成黑夜场景，以使得用户在拍摄过程中获得身临其境的真实感，极大地提升了用户的体感。
请参考图2，图2示出了本申请又一实施例的图像处理方法的流程示意图。
如图2所示，该方法包括：
201，获取采集得到的原始图像。
202，调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效。
本申请实施例，可选地，在图像处理器GPU中预先创建缓存，该缓存包括至少两个缓存区域。进一步，可选地，由GPU调用OpenGL对该缓存内存储的图像进行特效的纹理处理。OpenGL(Open Graphics Library；简称：开放式图形库)是个定义了一个跨编程语言、跨平台的编程接口规格的图形程序接口，应用于二维或三维图像的绘制，是一个功能强大，调用方便的底层图形库。当然，GPU也可以采用其他方式对缓存内的图像进行特效处理。
本申请实施例中，可选地，调用缓存对原始图像进行特效的纹理处理，还包括：
2021，获取与待执行的特效相对应的特征点信息；
2022，根据该特征点信息，对缓存区域中的原始图像中的对应特征点数据执行该特效的纹理处理，得到经处理的图像。
在调用缓存对原始图像进行特效的纹理处理时，可以获取待执行的特效相对应的特征点信息，然后在特征点信息对应的位置上对原始图像进行特效处理。
其中，获取待执行的特效相对应的特征点信息，包括获取从原始图像中识别出的、与待执行特效相对应的特征点信息，其中，该特征点信息是所述待执行的特效在所述原始图像中对应的位置。
本申请实施例中，通过调用缓存对原始图像进行特效的纹理处理，可以实现对高分辨率的原始图像进行处理，提升了图像处理的效率。该缓存是预先创建的，其包括至少两个缓存区域，其中每个缓存区域用于处理一种特效。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。这里的特效即为增强现实内容，可以包括实物图像(如新天鹅城堡等类似的建筑物实物的图像等)、图像修饰物(如万圣节南瓜面具等类似的装饰图片、闪烁效果的动画等)、场景效果(如黑夜效果等)等等。
本申请实施例，可以将原始图像存储缓存中，等待后续的特效处理，同时需要从原始图像中识别出的、与待执行特效相对应的特征点信息。从原始图像中识别出的、与待执行特效相对应的特征点信息可以由原始图像的YUV数据按照对应的算法得到的原始图像中待执行的特效相对应的特征点信息。可以通过图形处理器或者中央处理器通过对原始数据的YUV数据进行计算处理得到，也可以通过其他具有相同处理功能的部件计算处理得到。本申请实施例中，可选地，由中央处理器将原始图像的YUV数据按照对应的算法得到待执行的特效相对应的特征点信息。
例如，捕捉到正在拍摄的图像中出现人物，待执行特效为其佩戴万圣节的南瓜造型的面具，则需要获取该人物的面部的特征点信息，才能将面具真实地贴合在该人物的面部区域，从而获得增强现实的效果。
其中，获取人物的面部的特征点信息，可以基于统计学的方法，例如基于直方图粗分割和奇异值特征的人脸检测算法、基于二进小波变换的人脸检测算法、近似最近邻搜索算法等等，也可以采用大数据深度学习算法，通过大量的图片经过新型的神经网络训练形成性能更好的人脸检测技术，例如随机森林算法、AdaBoost算法等等。可选地，选择深度学习算法，可以提升人脸关键点检测的精准度，更好地增强虚拟效果与真实人物的拟合效果。
例如，捕捉到正在拍摄图像中出现人物，待执行特效为替换该人物身后呈现的背景为新天鹅城堡，则需要将前景图像(即图像中人物区域)与背景图像(即图像中的该人物身后呈现的背景区域)进行分离，然后再实现背景替换。分离的过程，即将前景图像从拍摄图像中抠出，则需要获取人体行为的特征点信息，尤其是图像为视频的情形。其中，获取人体行为的特征点信息，可以基于图像中运动人体进行检测，然后采用减背景的方法，用高斯混合模型建立背景模型，并在模型参数不断更新地过程中，得到前景图像。也可以采用传统的机器学习方法，例如SVM、贝叶斯网络、时域频域分析等机器学习方法，还可以采用深度神经网络模型对特征提取，例如深度卷积神经网络、随机Dropout深度卷积神经网络、长短期时间记忆网络、双向长短期记忆网络、以及Adaboost算法等等，通过训练人体检测器获得前景图像的特征点信息。在将前景图像和背景图像分离之后，将背景图像替换成具有增强现实的背景，例如替换新天鹅城堡作为背景。
为了进一步增强场景效果，使用户获得更好的体验感，还可以将正在拍摄的图像进行场景效果的修改，例如，实现在黑夜里将带着南瓜面具的人物置身于新天鹅城堡前的效果。需要从正在拍摄的图像中获取整个画面的场景参数，然后对其参数进行修改，从而实现场景效果。
203，叠加缓存区域中经过处理的图像，得到新的图像。
本申请实施例，通过将缓存区域中经过处理的图像叠加得到多种增强现实内容(特效)得到新的图像，丰富了图像的趣味性，增强了用户的体验感。例如，202中调用不同的缓存区域实现不同的特效处理，并对缓存区域中经过处理的图像进行叠加，得到新的图像，该新的图像可以是叠加第一特效处理到第N-1特效处理的图像。例如，叠加贴图处理和背景处理和滤镜处理的图像。
本申请实施例中，预先创建的缓存包括至少两个缓存区域，通过叠加缓存区域中经过处理的图像，可以得到新的的图像。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。
根据该特征点信息，对缓存区域中的原始图像中的对应特征点数据执行该特效的纹理处理，得到经处理的图像，包括：
调用与第一种特效对应的缓存区域对所述原始图像进行第一特效的纹理处理，得到第一特效处理后的图像；
调用与第二特效对应的缓存区域对所述第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
调用与第N个特效对应的缓存区域对所述第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
本申请实施例包括多种处理特效的顺序组合，第一、第二、第N等词语并非顺序的限定。在获得正在拍摄的图像中，为了实现某种特定场景的增强实效，本申请实施例可以对特效场景进行各种组合实现。例如以万圣节为例，在拍摄的图像中，找到特定的人物后，可以先对图像中出现的特定的人物的面部进行贴图处理，然后将图像中的背景替换进行背景处理，以使得用户在拍摄过程中获得身临其境的真实感，极大地提升了用户的体感。还可以在此基础上，为了营造更为真实的体验感，将场景修改为黑夜。本申请实施例中，也可以仅选择两种特效组合实现不同的体验感，增强拍摄的趣味性。
其中贴图处理可以理解为在人脸上添加动态或静态的标识，该标识可以是卡通图像的装饰，如卡通面具、卡通头饰、或其他可以用作面具、头饰的图像。该标识还可以是动态的图像，如闪烁着的红眼、动态腮红或其他可以用作面部修饰的图像等等。
其中背景处理可以理解为图像的前景图像和背景图像分离后，将背景图像替换成其他现实场景。现实场景可以是真实存在的建筑物场景等。
其中滤镜处理可以理解为对图像进行常规的滤镜处理。例如，利用滤镜将白天变成黑夜效果，或是通过滤镜实现光线投射的效果等等。
可选地，如果仅实现两种特效的纹理处理为贴图处理和背景处理，则调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理的图像，该图像为新的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。背景处理的相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与背景处理对应的缓存区域将带上南瓜面具的人物抠出，将图像的背景区域替换成新天鹅城堡，使得带上南瓜面具的人物如同真实出现在新天鹅城堡前，增强了图像的趣味性。
可选地，如果仅实现两种特效的纹理处理为贴图处理和滤镜处理，则调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，调用与滤镜处理对应的缓存区域对贴图处理后的图像中第三目标区域，进行滤镜处理，得到叠加贴图处理和滤镜处理的图像，该图像为新的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与滤镜处理对应的缓存区域将带上南瓜面具的人物所处的场景修改为黑夜，使得带上南瓜面具的人物如同真实出现在黑夜的环境中，增强了图像的趣味性。
可选地，如果仅实现两种特效的纹理处理为背景处理和滤镜处理，则调用与背景处理对应的缓存区域对所述原始图像中第二目标区域以外的区域，进行背景处理，得到背景处理后的图像；然后，调用与滤镜处理对应的缓存区域对背景处理后的图像的第三目标区域，进行滤镜处理，得到叠加背景处理和滤镜处理的图像，该图像为新的图像。
其中，背景处理相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与背景处理对应的缓存区域将原始图像中人体区域抠出，将图像的背景区域替换成新天鹅城堡，使得被抠出的人物如同真实出现在新天鹅城堡前，然后，通过调用与滤镜处理对应的缓存区域将替换背景后的图像的场景修改为黑夜，使得被抠出的人物如同真实出现在黑夜的环境中的新天鹅城堡前，增强了图像的趣味性。
可选地，如果至少两种特效的纹理处理为贴图处理、背景处理和滤镜处理，则调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理后的图像；最后，调用与滤镜处理对应的缓存区域对叠加贴图处理和背景处理后的图像中的第三目标区域，进行滤镜处理，得到叠加贴图处理、背景处理和滤镜处理后的图像，该图像为新的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。背景处理相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与背景处理对应的缓存区域将带上南瓜面具的人物抠出，将图像的背景区域替换成新天鹅城堡，使得带上南瓜面具的人物如同真实出现在新天鹅城堡前。最后，通过调用与滤镜处理对应的缓存区域将带上南瓜面具的人物置身于新天鹅城堡前的场景修改为黑夜，使得带上南瓜面具的人物如同真实出现在黑夜的环境中新天鹅城堡前，增强了图像的趣味性。
本申请实施例，可选地，该方法还可以包括：
204，将新的图像呈现在终端设备上；和/或将新的图像经过编码器生成视频文件以供输出；和/或将新的图像上传云端服务器。将叠加多个特效的图像呈现在终端设备上，增强了现实场景的趣味性和交互性，满足用户的个性化需求。还可以将新的图像经过编码器生成视频文件以供输出，通终端设备内置的编码器将图像进行编码处理后输出，降低了终端设备CPU的运行负担，同时提高了用户拍摄视频的兴趣。将新的图像上传云端服务器，进一步增强了用户的互动性，提升了产品的竞争力。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，“调用与第一种特效对应的缓存区域对原始图像进行第一特效的纹理处理”与“调用与第二特效对应的缓存区域对第一特效处理后的图像进行第二特效处理”。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
请参考图3，图3示出了本申请一实施例的一种图像处理装置300的结构示意图。
如图3所示，该装置包括：
图像获取单元301，用于获取采集得到的原始图像。
本申请实施例中获取采集得到的原始图像，可以通过事件触发的方式触发终端设备的采集装置开始采集原始图像。其中，采集装置可以是摄像头或与摄像头具有同等效果的装置。其中，原始图像可以是图片，也可以是视频。事件触发采集原始图像可以是通过终端设备的触控键或按键，自拍杆的按键，耳机操控线上的按键等等，能够通过按键动作触发采集装置执行原始图像的采集，并可以从该原始图像中捕捉到某个特定的目标图像，例如人物。然后，本申请实施例，基于该目标图像进行相应的特效处理，增强现实画面的趣味性。其中，终端设备包括但不限定于智能手机、平板电脑、数码相机等终端设备。
调用处理单元302，用于调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效。
本申请实施例中，通过调用缓存对原始图像进行特效的纹理处理，可以实现对高分辨率的原始图像进行处理，提升了图像处理的效率。该缓存是预先创建的，其包括至少两个缓存区域，其中每个缓存区域用于处理一种特效。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。这里的特效即为增强现实内容，可以包括实物图像(如新天鹅城堡等类似的建筑物实物的图像等)、图像修饰物(如万圣节南瓜面具等类似的装饰图片、闪烁效果的动画等)、场景效果(如黑夜效果等)等等。
本申请实施例，通过纹理处理更能表达物体表面丰富的几何细节和光照细节，在未增加物体多边形数情况下，能够增强物体的真实感效果。
叠加单元303，用于叠加缓存区域中经过处理的图像，得到新的图像。
本申请实施例，通过将缓存区域中经过处理的图像叠加得到多种增强现实内容(特效)得到新的图像，丰富了图像的趣味性，增强了用户的体验感。例如，在获取的正在拍摄的图像中依次叠加多种特效，先对图像中出现的特定的人物，用卡通图像修饰物作为面具贴合在人物的面部，然后将图像中的背景替换成新天鹅城堡等类似的建筑物实物的图像，最后还可以将图像中的背景色调修改成黑夜场景，以使得用户在拍摄过程中获得身临其境的真实感，极大地提升了用户的体感。
请参考图4，图4示出了本申请又一实施例的图像处理装置400的结构示意图。
如图4所示，该装置包括：
图像获取单元401，用于获取采集得到的原始图像。
本申请实施例中获取采集得到的原始图像，可以通过事件触发的方式触发终端设备的采集装置开始采集原始图像。其中，采集装置可以是摄像头或与摄像头具有同等效果的装置。其中，原始图像可以是图片，也可以是视频。事件触发采集原始图像可以是通过终端设备的按键，自拍杆的按键，耳机操控线上的按键等等，能够通过按键动作触发采集装置执行原始图像的采集，并可以从该原始图像中捕捉到某个特定的目标图像，例如人物。然后，本申请实施例，基于该目标图像进行相应的特效处理，增强现实画面的趣味性。其中，终端设备包括但不限定于智能手机、平板电脑、数码相机等终端设备。
调用处理单元402，用于调用缓存对原始图像进行特效的纹理处理，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效。
本申请实施例中，通过调用缓存对原始图像进行特效的纹理处理，可以实现对高分辨率的原始图像进行处理，提升了图像处理的效率。该缓存是预先创建的，其包括至少两个缓存区域，其中每个缓存区域用于处理一种特效。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。这里的特效即为增强现实内容，可以包括实物图像(如新天鹅城堡等类似的建筑物实物的图像等)、图像修饰物(如万圣节南瓜面具等类似的装饰图片、闪烁效果的动画等)、场景效果(如黑夜效果等)等等。
本申请实施例，可选地，在图像处理器GPU中预先创建缓存，该缓存包括至少两个缓存区域。进一步，可选地，由GPU调用OpenGL对该缓存内存储的图像进行特效的纹理处理。OpenGL(Open Graphics Library；简称：开放式图形库)是个定义了一个跨编程语言、跨平台的编程接口规格的图形程序接口，应用于二维或三维图像的绘制，是一个功能强大，调用方便的底层图形库。当然，GPU也可以采用其他方式对缓存内的图像进行特效处理。
本申请实施例中，可选地，调用缓存对原始图像进行特效的纹理处理，还包括：
特征点获取单元4021，用于获取与待执行的特效相对应的特征点信息；
纹理处理单元4022，用于根据该特征点信息，对缓存区域中的原始图像中的对应特征点数据执行该特效的纹理处理，得到经处理的图像。
在调用缓存对原始图像进行特效的纹理处理时，可以获取待执行的特效相对应的特征点信息，然后在特征点信息对应的位置上对原始图像进行特效处理。
其中，用于获取待执行的特效相对应的特征点信息的特征点获取单元，还用于获取从原始图像中识别出的、与待执行特效相对应的特征点信息，其中，该特征点信息是所述待执行的特效在所述原始图像中对应的位置。
本申请实施例，可以将原始图像存储缓存中，等待后续的特效处理，同时需要从原始图像中识别出的、与待执行特效相对应的特征点信息。从原始图像中识别出的、与待执行特效相对应的特征点信息可以由原始图像的YUV数据按照对应的算法得到的原始图像中待执行的特效相对应的特征点信息。可以通过图形处理器或者中央处理器通过对原始数据的YUV数据进行计算处理得到，也可以通过其他具有相同处理功能的部件计算处理得到。本申请实施例中，可选地，由中央处理器将原始图像的YUV数据按照对应的算法得到待执行的特效相对应的特征点信息。
例如，捕捉到正在拍摄的图像中出现人物，待执行特效为其佩戴万圣节的南瓜造型的面具，则需要获取该人物的面部的特征点信息，才能将面具真实地贴合在该人物的面部区域，从而获得增强现实的效果。
其中，获取人物的面部的特征点信息，可以基于统计学的方法，例如基于直方图粗分割和奇异值特征的人脸检测算法、基于二进小波变换的人脸检测算法、近似最近邻搜索算法等等，也可以采用大数据深度学习算法，通过大量的图片经过新型的神经网络训练形成性能更好的人脸检测技术，例如随机森林算法、AdaBoost算法等等。可选地，选择深度学习算法，可以提升人脸关键点检测的精准度，更好地增强虚拟效果与真实人物的拟合效果。
例如，捕捉到正在拍摄图像中出现人物，待执行特效为替换该人物身后呈现的背景为新天鹅城堡，则需要将前景图像(即图像中人物区域)与背景图像(即图像中的该人物身后呈现的背景区域)进行分离，然后再实现背景替换。分离的过程，即将前景图像从拍摄图像中抠出，则需要获取人体行为的特征点信息，尤其是图像为视频的情形。其中，获取人体行为的特征点信息，可以基于图像中运动人体进行检测，然后采用减背景的方法，用高斯混合模型建立背景模型，并在模型参数不断更新地过程中，得到前景图像。也可以采用传统的机器学习方法，例如SVM、贝叶斯网络、时域频域分析等机器学习方法，还可以采用深度神经网络模型对特征提取，例如深度卷积神经网络、随机Dropout深度卷积神经网络、长短期时间记忆网络、双向长短期记忆网络、以及Adaboost算法等等，通过训练人体检测器获得前景图像的特征点信息。在将前景图像和背景图像分离之后，将背景图像替换成具有增强现实的背景，例如替换新天鹅城堡作为背景。
为了进一步增强场景效果，使用户获得更好的体验感，还可以将正在拍摄的图像进行场景效果的修改，例如，实现在黑夜里将带着南瓜面具的人物置身于新天鹅城堡前的效果。需要从正在拍摄的图像中获取整个画面的场景参数，然后对其参数进行修改，从而实现场景效果。
叠加单元403，用于叠加缓存区域中经过处理的图像，得到新的图像。
本申请实施例，通过将缓存区域中经过处理的图像叠加得到多种增强现实内容(特效)得到新的图像，丰富了图像的趣味性，增强了用户的体验感。例如，在获取的正在拍摄的图像中依次叠加多种特效，先对图像中出现的特定的人物，用卡通图像修饰物作为面具贴合在人物的面部，然后将图像中的背景替换成新天鹅城堡等类似的建筑物实物的图像，最后还可以将图像中的背景色调修改成黑夜场景，以使得用户在拍摄过程中获得身临其境的真实感，极大地提升了用户的体感。
本申请实施例中，预先创建的缓存包括至少两个缓存区域，通过叠加缓存区域中经过处理的图像，可以得到新的的图像。假设需要进行N种特效处理，则需要预先建立N个缓存区域，N大于等于2。
叠加单元403，还可以包括多个叠加子单元：
第一叠加子单元，用于调用与第一种特效对应的缓存区域对所述原始图像进行第一特效的纹理处理，得到第一特效处理后的图像；
第二纹叠加子单元，用于调用与第二特效对应的缓存区域对所述第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
第N叠加子单元，用于调用与第N个特效对应的缓存区域对所述第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
本申请实施例包括多种处理特效的顺序组合，第一、第二、第N等词语并非顺序的限定。在获得正在拍摄的图像中，为了实现某种特定场景的增强实效，本申请实施例可以对特效场景进行各种组合实现。例如以万圣节为例，在拍摄的图像中，找到特定的人物后，可以先对图像中出现的特定的人物的面部进行贴图处理，然后将图像中的背景替换进行背景处理，以使得用户在拍摄过程中获得身临其境的真实感，极大地提升了用户的体感。还可以在此基础上，为了营造更为真实的体验感，将场景修改为黑夜。本申请实施例中，也可以仅选择两种特效组合实现不同的体验感，增强拍摄的趣味性。
其中贴图处理可以理解为在人脸上添加动态或静态的标识，该标识可以是卡通图像的装饰，如卡通面具、卡通头饰、或其他可以用作面具、头饰的图像。该标识还可以是动态的图像，如闪烁着的红眼、动态腮红或其他可以用作面部修饰的图像等等。
其中背景处理可以理解为图像的前景图像和背景图像分离后，将背景图像替换成其他现实场景。现实场景可以是真实存在的建筑物场景等。
其中滤镜处理可以理解为对图像进行常规的滤镜处理。例如，利用滤镜将白天变成黑夜效果，或是通过滤镜实现光线投射的效果等等。
可选地，如果仅实现两种特效的纹理处理为贴图处理和背景处理，则叠加单元403可以包括
第一叠加子单元，用于调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，第二叠加子单元，用于调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。背景处理的相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与背景处理对应的缓存区域将带上南瓜面具的人物抠出，将图像的背景区域替换成新天鹅城堡，使得带上南瓜面具的人物如同真实出现在新天鹅城堡前，增强了图像的趣味性。
可选地，如果仅实现两种特效的纹理处理为贴图处理和滤镜处理，则纹理处理单元可以包括
第一叠加子单元，用于调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，第三叠加子单元，用于调用与滤镜处理对应的缓存区域对贴图处理后的图像中第三目标区域，进行滤镜处理，得到叠加贴图处理和滤镜处理的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与滤镜处理对应的缓存区域将带上南瓜面具的人物所处的场景修改为黑夜，使得带上南瓜面具的人物如同真实出现在黑夜的环境中，增强了图像的趣味性。
可选地，如果仅实现两种特效的纹理处理为背景处理和滤镜处理，则叠加单元403可以包括
第二叠加子单元，用于调用与背景处理对应的缓存区域对所述原始图像中第二目标区域以外的区域，进行背景处理，得到背景处理后的图像；然后，第三叠加子单元，用于调用与滤镜处理对应的缓存区域对背景处理后的图像的第三目标区域，进行滤镜处理，得到叠加背景处理和滤镜处理的图像。
其中，背景处理相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与背景处理对应的缓存区域将原始图像中人体区域抠出，将图像的背景区域替换成新天鹅城堡，使得被抠出的人物如同真实出现在新天鹅城堡前，然后，通过调用与滤镜处理对应的缓存区域将替换背景后的图像的场景修改为黑夜，使得被抠出的人物如同真实出现在黑夜的环境中的新天鹅城堡前，增强了图像的趣味性。
可选地，如果至少两种特效的纹理处理为贴图处理、背景处理和滤镜处理，则纹理处理单元可以包括
第一叠加子单元，用于调用与贴图处理对应的缓存区域对原始图像中第一目标区域，进行贴图处理，得到贴图处理后的图像；然后，第二叠加子单元，用于调用与背景处理对应的缓存区域对贴图处理后的图像中第二目标区域以外的区域，进行背景处理，得到叠加贴图处理和背景处理后的图像；最后，第三叠加子单元，用于调用与滤镜处理对应的缓存区域对叠加贴图处理和背景处理后的图像中的第三目标区域，进行滤镜处理，得到叠加贴图处理、背景处理和滤镜处理后的图像。
其中，贴图处理相对应的特征点信息为第一目标区域，该第一目标区域为人脸区域。背景处理相对应的特征点信息为第二目标区域，该第二目标区域为人体区域。滤镜处理的相对应的特征点信息为第三目标区域，该第三目标区域为原始图像的整个图像区域。通过调用与贴图处理对应的缓存区域对原始图像中人脸区域进行贴图处理，实现第一种特效。例如该贴图处理是对人脸区域带上南瓜面具。然后，通过调用与背景处理对应的缓存区域将带上南瓜面具的人物抠出，将图像的背景区域替换成新天鹅城堡，使得带上南瓜面具的人物如同真实出现在新天鹅城堡前。最后，通过调用与滤镜处理对应的缓存区域将带上南瓜面具的人物置身于新天鹅城堡前的场景修改为黑夜，使得带上南瓜面具的人物如同真实出现在黑夜的环境中新天鹅城堡前，增强了图像的趣味性。
本申请实施例中，可选地，特征点获取单元可以实现为多个子单元，例如，特征点获取单元，包括：
第一目标区域获取单元，用于获取贴图处理相对应的特征点信息的第一目标区域，第一目标区域为人脸区域；
第二目标区域获取单元，用于获取背景处理相对应的特征点信息的第二目标区域，第二目标区域为人体区域；
第三目标区域获取单元，用于获取滤镜处理相对应的特征点信息的第三目标区域，第三目标区域为原始图像整个区域。
本申请实施例，还可以进一步可选地，装置400还可以包括，呈现单元404，用于将新的图像呈现在终端设备上；和/或第一输出单元405，用于将新的图像输出至编码器生成视频文件以待呈现；和/或第二输出单元406，用于将新的图像上传云端服务器。将叠加多个特效的图像呈现在终端设备上，增强了现实场景的趣味性和交互性，满足用户的个性化需求。还可以将新的图像经过编码器生成视频文件以供输出，通终端设备内置的编码器将图像进行编码处理后输出，降低了终端设备CPU的运行负担，同时提高了用户拍摄视频的兴趣。将新的图像上传云端服务器，进一步增强了用户的互动性，提升了产品的竞等力。
请参考图5，图5示出了本申请实施例提供的叠加特效处理的原理示意图。
如图5所示，为了更清楚地理解本申请的发明构思，以叠加3种特效举例说明，但不局限于3种特效的数量限制。
GPU创建离线三个缓存区域，分别对应特效1，特效2，特效3的纹理处理，例如特效1为贴图处理，也可以理解为萌颜处理，可以是对图像中出现的人物的脸部区域佩戴万圣节南瓜造型的面具；特效2为背景处理，可以理解为抠图处理，可以是对图像人物的形体进行抠图，得到图像的背景，将该背景替换成新天鹅城堡；特效3为滤镜处理，可以是将图像修改为黑色场景。
获取原始图像后，接收原始图像的YUV数据经过第一算法计算得到对应特效1处理的特征点信息，即待执行的特效1在原始图像中对应的位置，并行地，调用特效1对应的缓存区域对原始图像进行特效1的图像处理，得到在原始图像上叠加特效1的图像。
其中，第一算法，可以是基于统计学的方法，例如基于直方图粗分割和奇异值特征的人脸检测算法、基于二进小波变换的人脸检测算法、近似最近邻搜索算法等等，也可以采用大数据深度学习算法，通过大量的图片经过新型的神经网络训练形成性能更好的人脸检测技术，例如随机森林算法、AdaBoost算法等等。可选地，在实施例中选择深度学习算法进行人脸检测，可以提升人脸关键点检测的精准度，更好地增强虚拟效果与真实人物的拟合效果。
将原始图像通过特效1对应的缓存区域，并通过第一算法可以检测得到人脸对应的特征点信息，然后，在原始图像中对应人脸区域位置上进行特效1的纹理处理，得到在原始图像中的人脸佩戴上南瓜面具的图像。
然后，接收原始图像的YUV数据经过第二算法计算得到对应特效2处理的特征点信息，即待执行的特效2在原始图像中对应的位置，并行地，调用特效2对应的缓存区域对叠加特效1的图像进行特效2的图像处理，得到在叠加特效1的图像上继续叠加特效2的图像。
其中，第二算法，可以是基于图像中运动人体进行检测，然后采用减背景的方法，用高斯混合模型建立背景模型，并在模型参数不断更新地过程中，得到前景图像。也可以采用传统的机器学习方法，例如SVM、贝叶斯网络、时域频域分析等机器学习方法，还可以采用深度神经网络模型对特征提取，例如深度卷积神经网络、随机Dropout深度卷积神经网络、长短期时间记忆网络、双向长短期记忆网络、以及Adaboost算法等等，通过训练人体检测器获得前景图像的特征点信息。可选地，在实施例中选择深度学习算法进行人体检测，可以提升人体关键点检测的精准度，更好地增强虚拟效果与真实背景的拟合效果。
将带上南瓜面具的图像通过特效2对应的缓存区域，并通过第二算法可以检测得到人体对应的特征点信息，在原始图像中抠出对应的人体区域，将人体区域以外的图像背景替换为新天鹅城堡，则得到在人脸上已经佩戴着南瓜面具的人站在新天鹅城堡前的图像。
最后，接收原始图像的YUV数据经过第三算法计算得到对应特效3处理的特征点信息，即待执行的特效3在原始图像中对应的位置，并行地，调用特效3对应的缓存区域对叠加特效1和特效2的图像进行特效3的图像处理，得到在叠加特效1和特效2的图像上再叠加特效3的图像。
其中，第三算法，可以根据实际情况选择用于确定特效的特征点信息的算法，也可以不需要对应的算法去获取与待执行特效对应的特征点信息。例如，实施例中滤镜处理时不需要算法获取滤镜处理对应的特征点信息。
将在人脸上佩戴着南瓜面具的人站在新天鹅城堡前的图像通过特效3对应的缓存区域，并将该图像的场景替换成黑夜场景，得到在黑夜里，在人脸上已经佩戴着南瓜面具的人，站在新天鹅城堡前的图像。
最后，可以根据需要，将叠加特效1-3后的图像传送到终端设备的屏幕以呈现；或者将该图像经过编码器处理后，生成合成视频文件以供其他应用呈现。
上述原理示意图，仅为了说明本申请的叠加特效处理的原理，不能以此来限定本申请的权利范围，因此依本申请的权利要求所作的等同变化，仍属本申请所涵盖的范围。
请参考图6，图6示出了本申请实施例的一种终端设备的结构示意图。
如图6所示，该终端设备600包括：
图像处理器GPU601；
中央处理器CPU602；
存储装置603，用于存储一个或多个程序；
摄像装置604，用于采集原始图像；
当所述一个或多个程序被所述图像处理器执行，使得所述图像处理器实现本申请前述实施例的方法。
GPU601进行图形处理，由流水线完成。GPU601需要读取描述三维图形外观的顶点数据并根据顶点数据确定图形的形状及位置关系，建立图形的骨架。然后，将生成的图形上的点和线通过一定的算法转换到相应的像素点。从而把一个矢量图形转换为一系列像素点，完成光栅化。例如，一条数学表示的斜线段，最终被转化成阶梯状的连续像素点。还可以通过纹理映射(texture mapping)对多边形物体的表面的贴图。其中，在对每个像素进行光栅化处理期间，GPU501对像素的计算和处理，从而确定每个像素的最终属性。在每帧处理完毕后，会被送到GPU的帧缓冲区。本申请实施例通过GPU501预先创建缓存，该缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效。
其中，中央处理器602，用于将原始图像的YUV数据按照对应的算法得到的原始图像中待执行的特效相对应的特征点信息。
本申请实施例中，在进行特效处理之前，需要获取待处理特效对应的特征点信息，可以通过图形处理器或者中央处理器通过对原始数据的YUV数据进行计算处理得到，也可以通过其他具有相同处理功能的部件计算处理得到。本申请实施例中，可选地，由中央处理器将原始图像的YUV数据按照对应的算法得到待执行的特效相对应的特征点信息。
中央处理器602，还用于接收新的图像，并将新的图像输出到终端设备的显示装置605和/或输出至编码器606生成视频文件以待在所述终端设备的其他应用上呈现和/或云端服务器。
GPU601将处理完成的新的图像发送给CPU602后，由CPU602将新的图像提供给显示装置605。或者由CPU602将新的图像导入硬件编码器606中对该图像进行编码处理后生成视频文件传输给终端设备的其他应用。或者由CPU602将新的图像上传云端服务器，实现图像的共享。
终端设备600包括但不限定于智能手机、平板电脑、数码相机等终端设备。
请参考图7，图7示出了本申请又一实施例的一种终端设备的结构示意图。
如图7所示，终端设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考图1或2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1或2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、调用处理单元以及叠加单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，叠加单元还可以被描述为“用于叠加缓存区域中经过处理的图像的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的图像处理方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种图像处理方法，其特征在于，该方法包括：
获取采集得到的原始图像；
调用缓存对所述原始图像进行特效的纹理处理，所述缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效；
叠加所述缓存区域中经过处理的图像，得到新的图像。
2.根据权利要求1所述的方法，其特征在于，所述调用缓存对所述原始图像进行特效的纹理处理，包括：
获取与待执行的特效相对应的特征点信息；
根据所述特征点信息，对所述缓存区域中的原始图像中的对应特征点数据执行该特效的纹理处理，得到经处理的图像。
3.根据权利要求2所述的方法，其特征在于，所述获取与待执行的特效相对应的特征点信息，包括：
获取从所述原始图像中识别出的、与所述待执行特效相对应的特征点信息，其中，所述特征点信息是所述待执行的特效在所述原始图像中对应的位置。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述叠加所述缓存区域中经过处理的图像，得到新的图像，包括：
调用与第一种特效对应的缓存区域对所述原始图像进行第一特效的纹理处理，得到第一特效处理后的图像；
调用与第二特效对应的缓存区域对所述第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
调用与第N个特效对应的缓存区域对所述第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
5.一种图像处理装置，其特征在于，该装置包括：
图像获取单元，用于获取采集得到的原始图像；
调用处理单元，用于调用缓存对所述原始图像进行特效的纹理处理，所述缓存包括至少两个缓存区域，每个缓存区域用于处理一种特效；
叠加单元，用于叠加所述缓存区域中经过处理的图像，得到新的图像。
6.根据权利要求5所述的装置，其特征在于，所述调用处理单元，包括：
特征点获取单元，用于获取与待执行的特效相对应的特征点信息；
纹理处理单元，用于根据所述特征点信息，对所述缓存区域中的原始图像中的对应特征点数据执行所述特效的纹理处理，得到经处理的图像。
7.根据权利要求6所述的装置，其特征在于，所述特征点获取单元，还用于获取从所述原始图像中识别出的、与所述待执行特效相对应的特征点信息，其中，所述特征点信息是所述待执行的特效在所述原始图像中对应的位置。
8.根据权利要求5-7中任一项所述的装置，其特征在于，所述叠加单元，包括：
第一叠加子单元，用于调用与第一种特效对应的缓存区域对所述原始图像，进行第一特效的纹理处理，得到第一特效处理后的图像；
第二叠加子单元，用于调用与第二特效对应的缓存区域对所述第一特效处理后的图像，进行第二特效的纹理处理，得到叠加第一特效处理和第二特效处理的图像；
第N叠加子单元，用于调用与第N特效对应的缓存区域对所述第N-1特效处理后的图像，进行第N特效的纹理处理，得到叠加第一特效处理到第N-1特效处理的图像，该图像为新的图像。
9.一种终端设备，其特征在于，所述终端设备包括：
图像处理器和中央处理器；
存储装置，用于存储一个或多个程序；
摄像头，用于采集图像；
当所述一个或多个程序被所述图像处理器执行，使得所述图像处理器实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被图像处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235542.7A CN108012091A (zh) | 2017-11-29 | 2017-11-29 | 图像处理方法、装置、设备及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711235542.7A CN108012091A (zh) | 2017-11-29 | 2017-11-29 | 图像处理方法、装置、设备及其存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108012091A true CN108012091A (zh) | 2018-05-08 |
Family
ID=62055016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711235542.7A Pending CN108012091A (zh) | 2017-11-29 | 2017-11-29 | 图像处理方法、装置、设备及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108012091A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108924410A (zh) * | 2018-06-15 | 2018-11-30 | Oppo广东移动通信有限公司 | 拍照控制方法及相关装置 |
| CN108924440A (zh) * | 2018-08-01 | 2018-11-30 | Oppo广东移动通信有限公司 | 贴纸显示方法、装置、终端及计算机可读存储介质 |
| CN108924411A (zh) * | 2018-06-15 | 2018-11-30 | Oppo广东移动通信有限公司 | 拍照控制方法及装置 |
| CN109410121A (zh) * | 2018-10-24 | 2019-03-01 | 厦门美图之家科技有限公司 | 人像胡须生成方法及装置 |
| CN110611732A (zh) * | 2018-06-15 | 2019-12-24 | Oppo广东移动通信有限公司 | 视窗控制方法及相关产品 |
| CN111064994A (zh) * | 2019-12-25 | 2020-04-24 | 广州酷狗计算机科技有限公司 | 视频图像处理方法及装置、存储介质 |
| CN113079414A (zh) * | 2020-01-03 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN113256630A (zh) * | 2021-07-06 | 2021-08-13 | 深圳中科飞测科技股份有限公司 | 一种光斑监控方法、系统、暗场缺陷检测设备和存储介质 |
| CN113395441A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 图像留色方法及设备 |
| WO2021218325A1 (zh) * | 2020-04-27 | 2021-11-04 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、计算机可读介质和电子设备 |
| JP2023515607A (ja) * | 2020-02-27 | 2023-04-13 | 北京字節跳動網絡技術有限公司 | 画像特殊効果の処理方法及び装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| CN104869323A (zh) * | 2015-05-18 | 2015-08-26 | 成都平行视野科技有限公司 | 一种基于gpu的模块化实时视频与图像处理方法 |
| CN104915417A (zh) * | 2015-06-08 | 2015-09-16 | 上海如书文化传播有限公司 | 使用移动终端拍摄和处理图片成为电影效果的方法及装置 |
| EP2993895A1 (en) * | 2014-09-05 | 2016-03-09 | Canon Kabushiki Kaisha | Image capturing apparatus and control method therefor |
| CN105976309A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 一种高效且易于并行实现的美颜移动终端 |
| CN106204455A (zh) * | 2016-07-13 | 2016-12-07 | 广州市久邦数码科技有限公司 | 一种带有多重滤镜效果的图像处理方法及其系统 |
| CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技（深圳）有限公司 | 移动终端及其图像处理的方法和装置 |
-
2017
- 2017-11-29 CN CN201711235542.7A patent/CN108012091A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| EP2993895A1 (en) * | 2014-09-05 | 2016-03-09 | Canon Kabushiki Kaisha | Image capturing apparatus and control method therefor |
| CN104869323A (zh) * | 2015-05-18 | 2015-08-26 | 成都平行视野科技有限公司 | 一种基于gpu的模块化实时视频与图像处理方法 |
| CN104915417A (zh) * | 2015-06-08 | 2015-09-16 | 上海如书文化传播有限公司 | 使用移动终端拍摄和处理图片成为电影效果的方法及装置 |
| CN105976309A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 一种高效且易于并行实现的美颜移动终端 |
| CN106204455A (zh) * | 2016-07-13 | 2016-12-07 | 广州市久邦数码科技有限公司 | 一种带有多重滤镜效果的图像处理方法及其系统 |
| CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技（深圳）有限公司 | 移动终端及其图像处理的方法和装置 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108924411B (zh) * | 2018-06-15 | 2021-04-13 | Oppo广东移动通信有限公司 | 拍照控制方法及装置 |
| CN108924411A (zh) * | 2018-06-15 | 2018-11-30 | Oppo广东移动通信有限公司 | 拍照控制方法及装置 |
| CN110611732B (zh) * | 2018-06-15 | 2021-09-03 | Oppo广东移动通信有限公司 | 视窗控制方法及相关产品 |
| WO2019238001A1 (zh) * | 2018-06-15 | 2019-12-19 | Oppo广东移动通信有限公司 | 拍照控制方法及相关装置 |
| CN110611732A (zh) * | 2018-06-15 | 2019-12-24 | Oppo广东移动通信有限公司 | 视窗控制方法及相关产品 |
| CN108924410A (zh) * | 2018-06-15 | 2018-11-30 | Oppo广东移动通信有限公司 | 拍照控制方法及相关装置 |
| CN108924410B (zh) * | 2018-06-15 | 2021-01-29 | Oppo广东移动通信有限公司 | 拍照控制方法及相关装置 |
| CN108924440A (zh) * | 2018-08-01 | 2018-11-30 | Oppo广东移动通信有限公司 | 贴纸显示方法、装置、终端及计算机可读存储介质 |
| CN108924440B (zh) * | 2018-08-01 | 2021-03-26 | Oppo广东移动通信有限公司 | 贴纸显示方法、装置、终端及计算机可读存储介质 |
| CN109410121A (zh) * | 2018-10-24 | 2019-03-01 | 厦门美图之家科技有限公司 | 人像胡须生成方法及装置 |
| CN109410121B (zh) * | 2018-10-24 | 2022-11-01 | 厦门美图之家科技有限公司 | 人像胡须生成方法及装置 |
| CN111064994A (zh) * | 2019-12-25 | 2020-04-24 | 广州酷狗计算机科技有限公司 | 视频图像处理方法及装置、存储介质 |
| CN111064994B (zh) * | 2019-12-25 | 2022-03-29 | 广州酷狗计算机科技有限公司 | 视频图像处理方法及装置、存储介质 |
| CN113079414A (zh) * | 2020-01-03 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN113079414B (zh) * | 2020-01-03 | 2023-04-25 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| JP2023515607A (ja) * | 2020-02-27 | 2023-04-13 | 北京字節跳動網絡技術有限公司 | 画像特殊効果の処理方法及び装置 |
| EP4113975A4 (en) * | 2020-02-27 | 2023-08-09 | Beijing Bytedance Network Technology Co., Ltd. | IMAGE EFFECTS PROCESSING METHOD AND APPARATUS |
| CN113395441A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 图像留色方法及设备 |
| WO2021218325A1 (zh) * | 2020-04-27 | 2021-11-04 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、计算机可读介质和电子设备 |
| US11800043B2 (en) | 2020-04-27 | 2023-10-24 | Beijing Bytedance Network Technology Co., Ltd. | Video processing method and apparatus, and computer-readable medium and electronic device |
| CN113256630B (zh) * | 2021-07-06 | 2021-11-26 | 深圳中科飞测科技股份有限公司 | 一种光斑监控方法、系统、暗场缺陷检测设备和存储介质 |
| CN113256630A (zh) * | 2021-07-06 | 2021-08-13 | 深圳中科飞测科技股份有限公司 | 一种光斑监控方法、系统、暗场缺陷检测设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108012091A (zh) | 图像处理方法、装置、设备及其存储介质 | |
| Zakharov et al. | Fast bi-layer neural synthesis of one-shot realistic head avatars | |
| US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
| CN108711180B (zh) | 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置 | |
| JP7026222B2 (ja) | 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体 | |
| CN110390704A (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN108961369A (zh) | 生成3d动画的方法和装置 | |
| CN106062673A (zh) | 使用姿势来控制基于计算的设备 | |
| CN113496507A (zh) | 一种人体三维模型重建方法 | |
| CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN112102477A (zh) | 三维模型重建方法、装置、计算机设备和存储介质 | |
| WO2023088277A1 (zh) | 虚拟穿戴方法、装置、设备、存储介质及程序产品 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN117132711A (zh) | 一种数字人像定制方法、装置、设备及存储介质 | |
| CN112613374A (zh) | 人脸可见区域解析与分割方法、人脸上妆方法及移动终端 | |
| CN115100334B (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| CN114779948B (zh) | 基于面部识别的动画人物即时交互控制方法、装置及设备 | |
| Kim et al. | Progressive Contextual Aggregation Empowered by Pixel-Wise Confidence Scoring for Image Inpainting | |
| US20220157030A1 (en) | High Quality AR Cosmetics Simulation via Image Filtering Techniques | |
| Hu et al. | Cloth texture preserving image-based 3D virtual try-on | |
| CN109658326A (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
| CN114119154A (zh) | 虚拟化妆的方法及装置 | |
| Li et al. | A deep learning based interactive sketching system for fashion images design | |
| CN113223103A (zh) | 素描画生成的方法、装置、电子设备及介质 | |
| CN114782240A (zh) | 图片处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180508 |