CN108109161B - 基于自适应阈值分割的视频数据实时处理方法及装置 - Google Patents

基于自适应阈值分割的视频数据实时处理方法及装置 Download PDF

Info

Publication number
CN108109161B
CN108109161B CN201711376465.7A CN201711376465A CN108109161B CN 108109161 B CN108109161 B CN 108109161B CN 201711376465 A CN201711376465 A CN 201711376465A CN 108109161 B CN108109161 B CN 108109161B
Authority
CN
China
Prior art keywords
image
foreground
processing
video data
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711376465.7A
Other languages
English (en)
Other versions
CN108109161A (zh
Inventor
赵鑫
邱学侃
颜水成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711376465.7A priority Critical patent/CN108109161B/zh
Publication of CN108109161A publication Critical patent/CN108109161A/zh
Application granted granted Critical
Publication of CN108109161B publication Critical patent/CN108109161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种基于自适应阈值分割的视频数据实时处理方法、装置、计算设备及计算机存储介质，该方法包括：实时获取视频中包含特定对象的当前帧图像；对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比，并依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果；根据图像分割结果，确定处理后的前景图像；依据处理后的前景图像，添加个性化特效，得到帧处理图像；将帧处理图像覆盖当前帧图像得到处理后的视频数据；显示处理后的视频数据。该技术方案提高了图像场景分割的分割精度以及处理效率，基于图像分割结果能够更为精准、快速地对帧图像添加个性化特效。

Description

基于自适应阈值分割的视频数据实时处理方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于自适应阈值分割的视频数据实时处理方法、装置、计算设备及计算机存储介质。
背景技术
现有技术中，当用户需要对视频进行更换背景、添加特效等个性化处理时，经常会使用到图像分割方法对视频中的帧图像进行场景分割处理，其中，采用基于深度学习的图像分割方法可以达到像素级别的分割效果。然而现有的图像分割方法在进行场景分割处理时，并不考虑前景图像在帧图像中所占比例，因此当前景图像在帧图像中所占比例较小时，利用现有的图像分割方法很容易将实际属于前景图像边缘处的像素点划分为背景图像，所得到的图像分割结果的分割精度较低、分割效果较差。因此，现有技术中的图像分割方式存在着图像场景分割的分割精度低下的问题，那么利用所得到的图像分割结果也无法很好地、精准地对视频中的帧图像添加个性化特效，所得到的处理后的视频数据的显示效果较差。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于自适应阈值分割的视频数据实时处理方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种基于自适应阈值分割的视频数据实时处理方法，该方法包括：
实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；
对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比，并依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果；
根据图像分割结果，确定处理后的前景图像；
依据处理后的前景图像，添加个性化特效，得到帧处理图像；
将帧处理图像覆盖当前帧图像得到处理后的视频数据；
显示处理后的视频数据。
进一步地，前景概率信息记录了用于反映当前帧图像中各个像素点属于前景图像的概率。
进一步地，依据处理后的前景图像，添加个性化特效，得到帧处理图像进一步包括：
从处理后的前景图像中提取出待处理区域的关键信息；
根据关键信息，绘制效果贴图；
将效果贴图、处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像；或者，将效果贴图、处理后的前景图像与根据图像分割结果确定的处理后的背景图像进行融合处理，得到帧处理图像。
进一步地，关键信息为关键点信息；根据关键信息，绘制效果贴图进一步包括：
查找与关键点信息对应的基础效果贴图；或者，获取用户指定的基础效果贴图；
根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；
依据位置信息，对基础效果贴图进行处理，得到效果贴图。
进一步地，依据处理后的前景图像，添加个性化特效，得到帧处理图像进一步包括：
从处理后的前景图像中提取出待识别区域的关键信息；
依据关键信息，对特定对象的姿态进行识别，得到特定对象的姿态识别结果；
根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
进一步地，根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像进一步包括：
根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
进一步地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。
进一步地，根据前景概率信息，确定前景区域占比进一步包括：
根据前景概率信息，确定属于前景图像的像素点；
计算属于前景图像的像素点在当前帧图像中所有像素点中的比例，将比例确定为前景区域占比。
进一步地，根据前景概率信息，确定属于前景图像的像素点进一步包括：
将前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。
进一步地，依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果进一步包括：
依据前景区域占比，调整映射函数的参数；
利用调整后的映射函数对前景概率信息进行映射处理，得到映射结果；
根据映射结果，得到与当前帧图像对应的图像分割结果。
进一步地，映射函数在预设定义区间内的斜率大于预设斜率阈值。
进一步地，显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；
该方法还包括：将处理后的视频数据上传至云服务器。
进一步地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
进一步地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
进一步地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的另一方面，提供了一种基于自适应阈值分割的视频数据实时处理装置，该装置包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；
分割模块，适于对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比，并依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果；
确定模块，适于根据图像分割结果，确定处理后的前景图像；
处理模块，适于依据处理后的前景图像，添加个性化特效，得到帧处理图像；
覆盖模块，适于将帧处理图像覆盖当前帧图像得到处理后的视频数据；
显示模块，适于显示处理后的视频数据。
进一步地，前景概率信息记录了用于反映当前帧图像中各个像素点属于前景图像的概率。
进一步地，处理模块进一步适于：
从处理后的前景图像中提取出待处理区域的关键信息；
根据关键信息，绘制效果贴图；
将效果贴图、处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像；或者，将效果贴图、处理后的前景图像与根据图像分割结果确定的处理后的背景图像进行融合处理，得到帧处理图像。
进一步地，关键信息为关键点信息；处理模块进一步适于：
查找与关键点信息对应的基础效果贴图；或者，获取用户指定的基础效果贴图；
根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；
依据位置信息，对基础效果贴图进行处理，得到效果贴图。
进一步地，处理模块进一步适于：
从处理后的前景图像中提取出待识别区域的关键信息；
依据关键信息，对特定对象的姿态进行识别，得到特定对象的姿态识别结果；
根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
进一步地，处理模块进一步适于：
根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
进一步地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。
进一步地，分割模块进一步适于：
根据前景概率信息，确定属于前景图像的像素点；
计算属于前景图像的像素点在当前帧图像中所有像素点中的比例，将比例确定为前景区域占比。
进一步地，分割模块进一步适于：
将前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。
进一步地，分割模块进一步适于：
依据前景区域占比，调整映射函数的参数；
利用调整后的映射函数对前景概率信息进行映射处理，得到映射结果；
根据映射结果，得到与当前帧图像对应的图像分割结果。
进一步地，映射函数在预设定义区间内的斜率大于预设斜率阈值。
进一步地，显示模块进一步适于：将处理后的视频数据实时显示；
该装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。
进一步地，上传模块进一步适于：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
进一步地，上传模块进一步适于：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
进一步地，上传模块进一步适于：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于自适应阈值分割的视频数据实时处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于自适应阈值分割的视频数据实时处理方法对应的操作。
根据本发明提供的技术方案，依据前景区域占比对针对特定对象的前景概率信息进行映射处理，实现了对前景概率信息的自适应映射，利用映射处理后的前景概率信息能够快速、精准地得到帧图像对应的图像分割结果，有效地提高了图像场景分割的分割精度以及处理效率，优化了图像场景分割处理方式，并且基于所得到的图像分割结果能够更为精准、快速地对帧图像添加个性化特效，美化了视频数据显示效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于自适应阈值分割的视频数据实时处理方法的流程示意图；
图2示出了根据本发明另一个实施例的基于自适应阈值分割的视频数据实时处理方法的流程示意图；
图3示出了根据本发明一个实施例的基于自适应阈值分割的视频数据实时处理装置的结构框图；
图4示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于自适应阈值分割的视频数据实时处理方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤S100，实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像。
本实施例中图像采集设备以终端设备所使用的摄像头为例进行说明。实时获取到终端设备摄像头在拍摄视频时的当前帧图像或者录制视频时的当前帧图像。由于本发明对特定对象进行处理，因此获取当前帧图像时仅获取包含特定对象的当前帧图像。其中，特定对象可为人体等。本领域技术人员可根据实际需要对特定对象进行设置，此处不做限定。
步骤S101，对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比，并依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果。
其中，在对当前帧图像进行场景分割处理时，可以利用深度学习方法。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。可利用深度学习的分割方法对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景概率信息。具体地，可利用深度学习方法得到的场景分割网络等对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景概率信息，其中，前景概率信息记录了用于反映当前帧图像中各个像素点属于前景图像的概率，具体地，各个像素点属于前景图像的概率的取值范围可为[0，1]。
在本发明中，前景图像可以仅包含特定对象，背景图像为当前帧图像中除前景图像之外的图像。根据前景概率信息可区分出当前帧图像中哪些像素点属于前景图像，哪些像素点属于背景图像，哪些像素点既可能属于前景图像也可能属于背景图像。例如，若某个像素点对应的前景概率信息接近0，则说明该像素点属于背景图像；若某个像素点对应的前景概率信息接近1，则说明该像素点属于前景图像；若某个像素点对应的前景概率信息接近0.5，则说明该像素点既可能属于前景图像也可能属于背景图像。
在得到了前景概率信息之后，就可根据前景概率信息确定出当前帧图像中哪些像素点属于前景图像，从而确定出前景区域占比。其中，前景区域占比是用于反映前景图像在当前帧图像中所占面积的比例。依据前景区域占比，对前景概率信息进行适应性的映射处理，例如，当前景区域占比较小时，比如前景区域占比为0.2，说明前景图像在当前帧图像中所占的面积较小，那么可对前景概率信息进行映射处理，将前景概率信息中较小的概率适应性地映射为较大一些的概率，将前景概率信息中较大的概率适应性地映射为较为平滑的概率；又如，当前景区域占比较大时，比如前景区域占比为0.8，说明前景图像在当前帧图像中所占的面积较大，那么可对前景概率信息进行映射处理，将前景概率信息中的概率适应性地映射为较为平滑的概率。在对前景概率信息进行映射处理后，根据映射处理后的前景概率信息得到与当前帧图像对应的图像分割结果，与现有技术相比，本发明提供的这种处理方式能够有效地提高图像场景分割的分割精度，使得分割边缘更加平滑。
步骤S102，根据图像分割结果，确定处理后的前景图像。
根据图像分割结果可清楚地确定出当前帧图像中哪些像素点属于前景图像，哪些像素点属于背景图像，从而确定出处理后的前景图像。
步骤S103，依据处理后的前景图像，添加个性化特效，得到帧处理图像。
在确定了处理后的前景图像之后，就可依据处理后的前景图像，添加个性化特效，得到帧处理图像。本领域技术人员可根据实际需要设置个性化特效，此处不做限定。例如，可依据处理后的前景图像，在特定对象的边缘处添加效果贴图，效果贴图可以为静态的效果贴图，也可以为动态的效果贴图，具体地，当特定对象为人体时，效果贴图可以为如火焰、跳动的音符、浪花等效果贴图；当特定对象为人体头部时，效果贴图可以为如发冠、晃动的耳朵等效果贴图，具体根据实施情况进行设置，此处不做限定。
步骤S104，将帧处理图像覆盖当前帧图像得到处理后的视频数据。
使用帧处理图像直接覆盖掉原来的当前帧图像，直接可以得到处理后的视频数据。同时，录制的用户还可以直接看到帧处理图像。
在得到帧处理图像时，会将帧处理图像直接覆盖原来的当前帧图像。覆盖时的速度较快，一般在1/24秒之内完成。对于用户而言，由于覆盖处理的时间相对短，人眼没有明显的察觉，即人眼没有察觉到视频数据中的原当前帧图像被覆盖的过程。这样在后续显示处理后的视频数据时，相当于一边拍摄和/或录制和/或播放视频数据时，一边实时显示的为处理后的视频数据，用户不会感觉到视频数据中帧图像发生覆盖的显示效果。
步骤S105，显示处理后的视频数据。
得到处理后的视频数据后，可以将其实时的进行显示，用户可以直接看到处理后的视频数据的显示效果。
根据本实施例提供的基于自适应阈值分割的视频数据实时处理方法，依据前景区域占比对针对特定对象的前景概率信息进行映射处理，实现了对前景概率信息的自适应映射，利用映射处理后的前景概率信息能够快速、精准地得到帧图像对应的图像分割结果，有效地提高了图像场景分割的分割精度以及处理效率，优化了图像场景分割处理方式，并且基于所得到的图像分割结果能够更为精准、快速地对帧图像添加个性化特效，美化了视频数据显示效果。
图2示出了根据本发明另一个实施例的基于自适应阈值分割的视频数据实时处理方法的流程示意图，如图2所示，该方法包括如下步骤：
步骤S200，实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像。
步骤S201，对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比。
其中，可根据前景概率信息，确定属于前景图像的像素点，然后计算属于前景图像的像素点在当前帧图像中所有像素点中的比例，将比例确定为前景区域占比。具体地，前景概率信息记录了用于反映当前帧图像中各个像素点属于前景图像的概率，各个像素点属于前景图像的概率的取值范围可为[0，1]，那么可将前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。本领域技术人员可根据实际需要对预设概率阈值进行设置，此处不做限定。例如当预设概率阈值为0.7时，那么可将前景概率信息高于0.7的像素点确定为属于前景图像的像素点。在确定了属于前景图像的像素点之后，可计算属于前景图像的像素点的数量和当前帧图像中所有像素点的数量，属于前景图像的像素点的数量与所有像素点的数量的比值即为前景区域占比。
步骤S202，依据前景区域占比，调整映射函数的参数，并利用调整后的映射函数对前景概率信息进行映射处理，得到映射结果。
其中，可利用映射函数对前景概率信息进行映射处理，本领域技术人员可根据实际需要设置映射函数，此处不做限定。例如，映射函数可为分段线性变换函数或非线性变换函数。对于不同的前景区域占比，所对应的映射函数的参数不同。在调整了映射函数之后，可将前景概率信息作为调整后的映射函数的自变量，那么所得到的函数值即为映射结果。
具体地，当前景区域占比较小时，说明前景图像在当前帧图像中所占的面积较小，那么在步骤S202中依据前景区域占比，对映射函数的参数进行调整，使得利用调整后的映射函数对前景概率信息进行映射处理时，能够将前景概率信息中较小的概率适应性地映射为较大一些的概率，将前景概率信息中较大的概率适应性地映射为较为平滑的概率；当前景区域占比较大时，说明前景图像在当前帧图像中所占的面积较大，那么在步骤S202中依据前景区域占比，对映射函数的参数进行调整，使得利用调整后的映射函数对前景概率信息进行映射处理时，能够将前景概率信息中的概率适应性地映射为较为平滑的概率。
其中，映射函数在预设定义区间内的斜率大于预设斜率阈值。本领域技术人员可根据实际需要设置预设定义区间和预设斜率阈值，此处不做限定，例如，当预设定义区间为(0，0.5)，预设斜率阈值为1时，映射函数在定义区间(0，0.5)内的斜率大于1，从而能够将前景概率信息中较小的概率适应性地映射为较大一些的概率，例如，将0.1映射为0.3。
以映射函数为非线性变换函数为例，在一个具体实施例中，其具体公式可以为如下公式：
y＝1/(1+exp(-(k*x-a)))
其中，k为第一参数，a为第二参数，具体地，第一参数为需要依据前景区域占比进行调整的参数，第二参数为预设固定参数，本领域技术人员可根据实际需要对具体调整方式和预设固定参数进行设置，此处不做限定。假设前景区域占比用参数r表示，那么可以设置k＝2/r，a＝4，从而对于不同的前景区域占比，所对应的k的值也会不同。
步骤S203，根据映射结果，得到与当前帧图像对应的图像分割结果。
在得到了映射结果之后，就可根据映射结果得到与当前帧图像对应的图像分割结果。与现有技术相比，本发明根据映射结果所得到的与当前帧图像对应的图像分割结果具有更高的分割精度，分割边缘更加平滑。
步骤S204，根据图像分割结果，确定处理后的前景图像。
步骤S205，依据处理后的前景图像，添加个性化特效，得到帧处理图像。
在一种具体实施方式中，可从处理后的前景图像中提取出待处理区域的关键信息，根据关键信息，绘制效果贴图，该关键信息可以具体为关键点信息、关键区域信息、和/或关键线信息等。本发明的实施例以关键信息为关键点信息为例进行说明，但本发明的关键信息不限于是关键点信息。使用关键点信息可以提高根据关键点信息绘制效果贴图的处理速度和效率，可以直接根据关键点信息绘制效果贴图，不需要再对关键信息进行后续计算、分析等复杂操作。同时，关键点信息便于提取，且提取准确，使得绘制效果贴图的效果更精准。具体地，可从处理后的前景图像中提取出待处理区域边缘的关键点信息。本领域技术人员可根据实际需要对待处理区域进行设置，此处不做限定。
为了能够方便、快速地绘制出效果贴图，可预先绘制许多的基础效果贴图，那么在绘制效果贴图时，就可先找到对应的基础效果贴图，然后对基础效果贴图进行处理，从而快速地得到效果贴图。其中，这些基础效果贴图可包括不同的服装效果贴图、装饰效果贴图、纹理效果贴图等，例如，装饰效果贴图可以为如火焰、跳动的音符、浪花、发冠、晃动的耳朵等效果贴图。另外，为了便于管理这些基础效果贴图，可建立一个效果贴图库，将这些基础效果贴图存储至该效果贴图库中。
具体地，以关键信息为关键点信息为例，在从处理后的前景图像中提取出待处理区域的关键点信息之后，可查找与关键点信息对应的基础效果贴图，接着根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息，然后依据位置信息，对基础效果贴图进行处理，得到效果贴图。通过这种方式能够精准地绘制得到效果贴图。其中，本方法可以根据提取的关键点信息，自动地从效果贴图库中查找与关键点信息对应的基础效果贴图。另外，在实际应用中，为了便于用户使用、更好地满足用户的个性化需求，可向用户展现效果贴图库中所包含的基础效果贴图，用户可根据自己的喜好自行指定基础效果贴图，那么在这种情况下，本方法可获取用户指定的基础效果贴图。
在绘制得到效果贴图之后，可将效果贴图、处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像。本领域技术人员可根据实际需要设置预设背景图像，此处不做限定。预设背景图像可以为二维场景背景图像，也可以三维场景背景图像，例如三维海底场景背景图像、三维火山场景背景图像等三维场景背景图像。另外，也可将效果贴图、处理后的前景图像与根据图像分割结果确定的处理后的背景图像(即当前帧图像原有的背景图像)进行融合处理，得到帧处理图像。
可选地，在另一种具体实施方式中，可从处理后的前景图像中提取出待识别区域的关键信息，接着依据关键信息，对特定对象的姿态进行识别，得到特定对象的姿态识别结果，然后根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
在识别特定对象的姿态时，可将关键信息与预设姿态关键信息进行匹配，得到姿态识别结果；另外，还可利用经过训练的姿态识别网络识别特定对象的姿态，由于识别网络是经过训练的，所以可方便、快速地得到特定对象的姿态识别结果。在得到了特定对象的姿态识别结果之后，根据特定对象的不同的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令。具体地，姿态识别结果可包括如不同形状的面部姿态、手势、腿部动作、全身整体的姿态动作等，根据不同的姿态识别结果，结合不同的应用场景(视频数据所在场景、视频数据应用场景)，可以为不同的姿态识别结果确定一个或多个对应的待响应的效果处理命令。其中，同一姿态识别结果对不同的应用场景可以确定不同的待响应的效果处理命令，不同姿态识别结果在同一应用场景中也可以确定相同的待响应的效果处理命令。针对一个姿态识别结果，所确定的待响应的效果处理命令中可以包含一条或多条的处理命令。具体根据实施情况设置，此处不做限定。在确定待响应的效果处理命令之后，响应该待响应的效果处理命令，将当前帧图像按照待响应的效果处理命令进行处理，从而得到帧处理图像。
其中，待响应的效果处理命令可以包括如各种效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令、色调处理命令等。待响应的效果处理命令可以一次包括以上多种处理命令，以使按照待响应的效果处理命令对当前帧图像进行处理时，使经处理得到的帧处理图像的效果更逼真，整体更协调。
例如，用户在自拍、直播或录制快视频时，若通过识别所得到的姿态识别结果为手比心形，那么所确定的对当前帧图像待响应的效果处理命令可以为在当前帧图像中增加心形效果贴图处理命令，心形效果贴图可以为静态贴图，也可以为动态贴图；若通过识别所得到的姿态识别结果为双手置于头部下并做出花朵姿态时，那么所确定的对当前帧图像待响应的效果处理命令可以包括在头部增加向日葵的效果贴图命令、将当前帧图像的风格修改为田园风格的风格化处理命令、对当前帧图像的光照效果进行处理的光照处理命令(晴天光照效果)等。
可选地，还可根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
例如，用户在直播时，当前帧图像中除包含该用户(即特定对象)外，还包含了与交互对象(如观看直播的观众)的交互信息，如观看直播的观众送给用户一个冰激凌，当前帧图像上会出现一个冰激凌。结合该交互信息，当得到的姿态识别结果为用户做出吃冰激凌的姿态，确定待响应的效果处理命令为去除原冰激凌效果贴图，增加冰激凌被咬减少的效果贴图，那么将当前帧图像按照待响应的效果处理命令进行处理，以增加与观看直播的观众的互动效果，吸引更多的观众观看直播。
步骤S206，将帧处理图像覆盖当前帧图像得到处理后的视频数据。
使用帧处理图像直接覆盖掉原来的当前帧图像，直接可以得到处理后的视频数据。同时，录制的用户还可以直接看到帧处理图像。
步骤S207，显示处理后的视频数据。
得到处理后的视频数据后，可以将其实时的进行显示，用户可以直接看到处理后的视频数据的显示效果。
步骤S208，将处理后的视频数据上传至云服务器。
将处理后的视频数据可以直接上传至云服务器，具体的，可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本实施例提供的基于自适应阈值分割的视频数据实时处理方法，能够依据前景区域占比对映射函数的参数进行调整，使得前景区域占比不同时，所对应映射函数的参数不同，实现了依据前景区域占比对前景概率信息的自适应映射；并且利用映射结果能够快速、精准地得到帧图像对应的图像分割结果，有效地提高了图像场景分割的分割精度以及处理效率，使得分割边缘更加平滑；并且基于所得到的图像分割结果能够更为精准、快速地对帧图像添加个性化特效，美化了视频数据显示效果；另外，基于所得到的图像分割结果还能够更为精准地识别姿态，快速、准确地确定待响应的效果处理命令，以便对帧图像进行处理，优化了视频数据处理方式。
图3示出了根据本发明一个实施例的基于自适应阈值分割的视频数据实时处理装置的结构框图，如图3所示，该装置包括：获取模块310、分割模块320、确定模块330、处理模块340、覆盖模块350和显示模块360。
获取模块310适于：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像。
分割模块320适于：对当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据前景概率信息，确定前景区域占比，并依据前景区域占比，对前景概率信息进行映射处理，得到与当前帧图像对应的图像分割结果。
其中，前景概率信息记录了用于反映当前帧图像中各个像素点属于前景图像的概率。分割模块320进一步适于：根据前景概率信息，确定属于前景图像的像素点；计算属于前景图像的像素点在当前帧图像中所有像素点中的比例，将比例确定为前景区域占比。具体地，分割模块320将前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。
可选地，分割模块320进一步适于：依据前景区域占比，调整映射函数的参数；利用调整后的映射函数对前景概率信息进行映射处理，得到映射结果；根据映射结果，得到与当前帧图像对应的图像分割结果。其中，映射函数在预设定义区间内的斜率大于预设斜率阈值。
确定模块330适于：根据图像分割结果，确定处理后的前景图像。
处理模块340适于：依据处理后的前景图像，添加个性化特效，得到帧处理图像。
可选地，处理模块340进一步适于：从处理后的前景图像中提取出待处理区域的关键信息；根据关键信息，绘制效果贴图；将效果贴图、处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像；或者，将效果贴图、处理后的前景图像与根据图像分割结果确定的处理后的背景图像进行融合处理，得到帧处理图像。
其中，关键信息可以具体为关键点信息、关键区域信息、和/或关键线信息等。本发明的实施例以关键信息为关键点信息为例进行说明。处理模块340进一步适于：查找与关键点信息对应的基础效果贴图；或者，获取用户指定的基础效果贴图；根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；依据位置信息，对基础效果贴图进行处理，得到效果贴图。
可选地，处理模块340进一步适于：从处理后的前景图像中提取出待识别区域的关键信息；依据关键信息，对特定对象的姿态进行识别，得到特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。其中，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。
可选地，处理模块340进一步适于：根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
覆盖模块350适于：将帧处理图像覆盖当前帧图像得到处理后的视频数据。
显示模块360适于：显示处理后的视频数据。
显示模块360得到处理后的视频数据后，可以将其实时的进行显示，用户可以直接看到处理后的视频数据的显示效果。
该装置还可包括：上传模块370，适于将处理后的视频数据上传至云服务器。
上传模块370将处理后的视频数据可以直接上传至云服务器，具体的，上传模块370可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者上传模块370还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者上传模块370还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本实施例提供的基于自适应阈值分割的视频数据实时处理装置，依据前景区域占比对针对特定对象的前景概率信息进行映射处理，实现了对前景概率信息的自适应映射，利用映射处理后的前景概率信息能够快速、精准地得到帧图像对应的图像分割结果，有效地提高了图像场景分割的分割精度以及处理效率，优化了图像场景分割处理方式，并且基于所得到的图像分割结果能够更为精准、快速地对帧图像添加个性化特效，美化了视频数据显示效果。
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的基于自适应阈值分割的视频数据实时处理方法。
图4示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述基于自适应阈值分割的视频数据实时处理方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述任意方法实施例中的基于自适应阈值分割的视频数据实时处理方法。程序410中各步骤的具体实现可以参见上述基于自适应阈值分割的视频数据实时处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (30)

1.一种基于自适应阈值分割的视频数据实时处理方法，所述方法包括：
实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；
对所述当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据所述前景概率信息，确定前景区域占比，并依据所述前景区域占比，对所述前景概率信息进行映射处理，得到与所述当前帧图像对应的图像分割结果；
根据所述图像分割结果，确定处理后的前景图像；
依据所述处理后的前景图像，添加个性化特效，得到帧处理图像；
将所述帧处理图像覆盖所述当前帧图像得到处理后的视频数据；
显示处理后的视频数据;
其中，所述依据所述前景区域占比，对所述前景概率信息进行映射处理，得到与所述当前帧图像对应的图像分割结果进一步包括：
依据所述前景区域占比，调整映射函数的参数；
利用调整后的映射函数对所述前景概率信息进行映射处理，得到映射结果；
根据所述映射结果，得到与所述当前帧图像对应的图像分割结果。
2.根据权利要求1所述的方法，其中，所述前景概率信息记录了用于反映所述当前帧图像中各个像素点属于前景图像的概率。
3.根据权利要求1所述的方法，其中，所述依据所述处理后的前景图像，添加个性化特效，得到帧处理图像进一步包括：
从所述处理后的前景图像中提取出待处理区域的关键信息；
根据所述关键信息，绘制效果贴图；
将所述效果贴图、所述处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像；或者，将所述效果贴图、所述处理后的前景图像与根据所述图像分割结果确定的处理后的背景图像进行融合处理，得到帧处理图像。
4.根据权利要求3所述的方法，其中，所述关键信息为关键点信息；所述根据所述关键信息，绘制效果贴图进一步包括：
查找与所述关键点信息对应的基础效果贴图；或者，获取用户指定的基础效果贴图；
根据所述关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；
依据所述位置信息，对所述基础效果贴图进行处理，得到效果贴图。
5.根据权利要求1所述的方法，其中，所述依据所述处理后的前景图像，添加个性化特效，得到帧处理图像进一步包括：
从所述处理后的前景图像中提取出待识别区域的关键信息；
依据所述关键信息，对所述特定对象的姿态进行识别，得到所述特定对象的姿态识别结果；
根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
6.根据权利要求5所述的方法，其中，所述根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像进一步包括：
根据所述特定对象的姿态识别结果，以及所述当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
7.根据权利要求5所述的方法，其中，所述待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。
8.根据权利要求1-7任一项所述的方法，其中，所述根据所述前景概率信息，确定前景区域占比进一步包括：
根据所述前景概率信息，确定属于前景图像的像素点；
计算属于前景图像的像素点在所述当前帧图像中所有像素点中的比例，将所述比例确定为前景区域占比。
9.根据权利要求8所述的方法，其中，所述根据所述前景概率信息，确定属于前景图像的像素点进一步包括：
将所述前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。
10.根据权利要求1所述的方法，其中，所述映射函数在预设定义区间内的斜率大于预设斜率阈值。
11.根据权利要求8所述的方法，其中，所述显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；
所述方法还包括：将处理后的视频数据上传至云服务器。
12.根据权利要求11中所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
13.根据权利要求11中所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
14.根据权利要求11中所述的方法，其中，所述将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
15.一种基于自适应阈值分割的视频数据实时处理装置，所述装置包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；
分割模块，适于对所述当前帧图像进行场景分割处理，得到针对特定对象的前景概率信息，根据所述前景概率信息，确定前景区域占比，并依据所述前景区域占比，对所述前景概率信息进行映射处理，得到与所述当前帧图像对应的图像分割结果；
确定模块，适于根据所述图像分割结果，确定处理后的前景图像；
处理模块，适于依据所述处理后的前景图像，添加个性化特效，得到帧处理图像；
覆盖模块，适于将所述帧处理图像覆盖所述当前帧图像得到处理后的视频数据；
显示模块，适于显示处理后的视频数据;
其中，所述分割模块进一步适于：
依据所述前景区域占比，调整映射函数的参数；
利用调整后的映射函数对所述前景概率信息进行映射处理，得到映射结果；
根据所述映射结果，得到与所述当前帧图像对应的图像分割结果。
16.根据权利要求15所述的装置，其中，所述前景概率信息记录了用于反映所述当前帧图像中各个像素点属于前景图像的概率。
17.根据权利要求15所述的装置，其中，所述处理模块进一步适于：
从所述处理后的前景图像中提取出待处理区域的关键信息；
根据所述关键信息，绘制效果贴图；
将所述效果贴图、所述处理后的前景图像与预设背景图像进行融合处理，得到帧处理图像；或者，将所述效果贴图、所述处理后的前景图像与根据所述图像分割结果确定的处理后的背景图像进行融合处理，得到帧处理图像。
18.根据权利要求17所述的装置，其中，所述关键信息为关键点信息；所述处理模块进一步适于：
查找与所述关键点信息对应的基础效果贴图；或者，获取用户指定的基础效果贴图；
根据所述关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；
依据所述位置信息，对所述基础效果贴图进行处理，得到效果贴图。
19.根据权利要求15所述的装置，其中，所述处理模块进一步适于：
从所述处理后的前景图像中提取出待识别区域的关键信息；
依据所述关键信息，对所述特定对象的姿态进行识别，得到所述特定对象的姿态识别结果；
根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
20.根据权利要求19所述的装置，其中，所述处理模块进一步适于：
根据所述特定对象的姿态识别结果，以及所述当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令，得到帧处理图像。
21.根据权利要求19所述的装置，其中，所述待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。
22.根据权利要求15-21任一项所述的装置，其中，所述分割模块进一步适于：
根据所述前景概率信息，确定属于前景图像的像素点；
计算属于前景图像的像素点在所述当前帧图像中所有像素点中的比例，将所述比例确定为前景区域占比。
23.根据权利要求22所述的装置，其中，所述分割模块进一步适于：
将所述前景概率信息中概率高于预设概率阈值的像素点确定为属于前景图像的像素点。
24.根据权利要求15所述的装置，其中，所述映射函数在预设定义区间内的斜率大于预设斜率阈值。
25.根据权利要求22所述的装置，其中，所述显示模块进一步适于：将处理后的视频数据实时显示；
所述装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。
26.根据权利要求25所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
27.根据权利要求25中所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
28.根据权利要求25中所述的装置，其中，所述上传模块进一步适于：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
29.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-14中任一项所述的基于自适应阈值分割的视频数据实时处理方法对应的操作。
30.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-14中任一项所述的基于自适应阈值分割的视频数据实时处理方法对应的操作。
CN201711376465.7A 2017-12-19 2017-12-19 基于自适应阈值分割的视频数据实时处理方法及装置 Active CN108109161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711376465.7A CN108109161B (zh) 2017-12-19 2017-12-19 基于自适应阈值分割的视频数据实时处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711376465.7A CN108109161B (zh) 2017-12-19 2017-12-19 基于自适应阈值分割的视频数据实时处理方法及装置

Publications (2)

Publication Number Publication Date
CN108109161A CN108109161A (zh) 2018-06-01
CN108109161B true CN108109161B (zh) 2021-05-11

Family

ID=62210360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711376465.7A Active CN108109161B (zh) 2017-12-19 2017-12-19 基于自适应阈值分割的视频数据实时处理方法及装置

Country Status (1)

Country Link
CN (1) CN108109161B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040618A (zh) * 2018-09-05 2018-12-18 Oppo广东移动通信有限公司 视频生成方法和装置、存储介质、电子设备
CN109257645B (zh) * 2018-09-11 2021-11-02 阿里巴巴（中国）有限公司 视频封面生成方法及装置
CN110062163B (zh) * 2019-04-22 2020-10-20 珠海格力电器股份有限公司 多媒体数据的处理方法以及装置
CN113315924A (zh) * 2020-02-27 2021-08-27 北京字节跳动网络技术有限公司 图像特效处理方法及装置
CN111507997B (zh) * 2020-04-22 2023-07-25 腾讯科技（深圳）有限公司 图像分割方法、装置、设备及计算机存储介质
CN111598902B (zh) * 2020-05-20 2023-05-30 抖音视界有限公司 图像分割方法、装置、电子设备及计算机可读介质
CN112967214A (zh) * 2021-02-18 2021-06-15 深圳市慧鲤科技有限公司 图像显示方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282461A (zh) * 2007-04-02 2008-10-08 财团法人工业技术研究院 图像处理方法
CN104156959A (zh) * 2014-08-08 2014-11-19 中科创达软件股份有限公司 一种视频抠图方法及装置
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106210545A (zh) * 2016-08-22 2016-12-07 北京金山安全软件有限公司 一种视频拍摄方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7263227B2 (en) * 2002-04-25 2007-08-28 Microsoft Corporation Activity detector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282461A (zh) * 2007-04-02 2008-10-08 财团法人工业技术研究院 图像处理方法
CN104156959A (zh) * 2014-08-08 2014-11-19 中科创达软件股份有限公司 一种视频抠图方法及装置
CN106157363A (zh) * 2016-06-28 2016-11-23 广东欧珀移动通信有限公司 一种基于增强现实的拍照方法、装置和移动终端
CN106210545A (zh) * 2016-08-22 2016-12-07 北京金山安全软件有限公司 一种视频拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
CN108109161A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
US9659381B2 (en) Real time texture mapping for augmented reality system
CN107507155B (zh) 视频分割结果边缘优化实时处理方法、装置及计算设备
US20180276882A1 (en) Systems and methods for augmented reality art creation
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN108921856B (zh) 图像裁剪方法、装置、电子设备及计算机可读存储介质
CN107623819B (zh) 一种拍照的方法及移动终端和相关介质产品
CN110149551B (zh) 媒体文件播放方法和装置、存储介质及电子装置
CN107895161B (zh) 基于视频数据的实时姿态识别方法及装置、计算设备
CN109255841A (zh) Ar图像呈现方法、装置、终端及存储介质
CN110928411B (zh) 一种基于ar的交互方法、装置、存储介质及电子设备
CN114332374A (zh) 一种虚拟显示方法、设备以及存储介质
WO2023197780A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
CN108171716B (zh) 基于自适应跟踪框分割的视频人物装扮方法及装置
CN107743263B (zh) 视频数据实时处理方法及装置、计算设备
CN107680105B (zh) 基于虚拟世界的视频数据实时处理方法及装置、计算设备
CN108010038B (zh) 基于自适应阈值分割的直播服饰装扮方法及装置
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant