CN109325926B - 自动滤镜实现方法、存储介质、设备及系统 - Google Patents
自动滤镜实现方法、存储介质、设备及系统 Download PDFInfo
- Publication number
- CN109325926B CN109325926B CN201811161841.5A CN201811161841A CN109325926B CN 109325926 B CN109325926 B CN 109325926B CN 201811161841 A CN201811161841 A CN 201811161841A CN 109325926 B CN109325926 B CN 109325926B
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- filter
- special effect
- detected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 173
- 239000003550 marker Substances 0.000 claims abstract description 75
- 238000003062 neural network model Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 abstract 1
- 238000010899 nucleation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000004083 survival effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000012736 patent blue V Nutrition 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种自动滤镜实现方法、存储介质、设备及系统,涉及拍摄美颜领域,该方法包括获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;其中,标志物包括纯色墙壁、广告牌和天空:当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效。本发明通过判断当前主播所处的直播场景,自动调出对应场景的滤镜特效作为当前直播的滤镜特效。
Description
技术领域
本发明涉及拍摄美颜领域,具体涉及一种自动滤镜实现方法、存储介质、设备及系统。
背景技术
当前人们在通过相机进行自拍或录像时,拍摄过程中,对画面中人物进行实时美颜的调整处理已然成为常态,美颜指的是通过算法改变画面中人物的肤色,例如消除人脸上的痘印、通过滤镜特效调整改变整个画面或画面中某一部分的色调等,美颜已然成为爱美人士的标配,滤镜特效包括白皙、胶片、海洋、水嫩、少女、自然、回忆、霓虹等。
在直播行业,主播在直播的过程中,为了给观众呈现较好的画面感以及给观众带来良好的观赏体验,通常会使用滤镜特效以与当前的直播场景相配合,但是主播每次直播时的场景是会发生变化的,且滤镜特效的种类有多种,主播每次在直播时,且需手动进行滤镜特效的选择和设置,极为费时,导致主播在直播准备阶段耗时过多。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种自动滤镜实现方法,通过判断当前主播所处的直播场景,自动调出对应场景的滤镜特效作为当前直播的滤镜特效。相应地还提供了存储介质、设备及系统。
本发明第一方面提供一种自动滤镜实现方法,用于实现直播过程中滤镜特效的自动更换,包括以下步骤:
获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为广告牌,则将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为天空,则将蔚蓝滤镜作为当前直播的滤镜特效。
结合第一方面,在第一种可能的实现方式中,
所述直播的直播场景包括室内直播和户外直播;
所述户外直播包括城区户外直播和郊区户外直播;
当检测到待检测图像中含有纯色墙壁,且不含有广告牌或天空时,则当前直播场景为室内直播,则使用白皙滤镜作为当前直播的滤镜特效;
当检测到待检测图像中只要含有广告牌,则当前直播场景为城区户外直播,则使用胶片滤镜或回忆滤镜作为当前直播的滤镜特效;
当检测到待检测图像中含有天空,且不含有广告牌,则当前直播场景为郊区户外直播,则使用蔚蓝滤镜作为当前直播的滤镜特效。
结合第一方面,在第二种可能的实现方式中,若主播的直播场景为城区户外直播,则获取主播历史直播时所行走位置坐标并标记,然后针对每个标记的位置坐标,对滤镜特效的程度级别进行预调设置,当主播进行直播时,实时获取主播的位置坐标,若主播的位置坐标为标记的位置坐标,则将当前滤镜特效的程度级别调整为预调设置的程度级别。
结合第一方面第一种可能的实现方式,在第三种可能的实现方式中,若主播的直播场景为郊区户外直播,则针对每个时间段,对滤镜特效的程度级别进行预调设置,当主播进行直播时,基于主播直播时所处的时间段,将当前滤镜特效的程度级别调整为预调设置的程度级别。
结合第一方面第一种可能的实现方式,在第四种可能的实现方式中,若主播的直播场景为室内直播,则基于直播场景中纯色墙壁的颜色,使用纯色滤镜特效,并对纯色滤镜特效的种类进行预设,当主播进行直播时,基于待检测图像中纯色墙壁颜色,使用与纯色墙壁颜色相同颜色的纯色滤镜特效作为当前直播的滤镜特效。
结合第一方面,在第五种可能的实现方式中,当主播的直播场景为室内直播时,当使用训练完成后的神经网络模型对待检测图像所含内容进行检测后,然后使用人体检测算法,对待检测图像中人体所在区域进行检测,对当前直播进行滤镜特效使用时,仅对人体所在区域使用滤镜特效,人体所在区域意外保持原样。
结合第一方面,在第六种可能的实现方式中,其特征在于,该方法还包括:
所述训练样本还包括含有男性头像或女性头像的照片,当截取直播画面作为待检测图像,使用训练完成后的神经网络模型对待检测图像所含内容进行检测时,若检测到待检测图像中的主播为男性,则使用自然滤镜作为当前直播的滤镜特效,若检测到待检测图像中的主播为女性,则使用少女滤镜作为当前直播的滤镜特效。
本发明第二方面提供一种存储介质,该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为广告牌,则将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为天空,则将蔚蓝滤镜作为当前直播的滤镜特效。
本发明第三方面提供一种电子设备,所述电子设备包括:
训练单元,其用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
检测单元,其用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
滤镜特效执行单元,其用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行单元将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行单元将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行单元将蔚蓝滤镜作为当前直播的滤镜特效。
本发明第四方面提供一种自动滤镜实现系统,包括:
训练模块,其用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
检测模块,其用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
滤镜特效执行模块,其用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行模块将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行模块将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行模块将蔚蓝滤镜作为当前直播的滤镜特效。
与现有技术相比,本发明的优点在于:通过使用训练样本对神经网络模型进行训练的方式,使得神经网络模型具备识别特定的标志物的能力,后续使用训练后的神经网络模型对主播的直播画面进行检测,通过对直播画面中标志物的检测,以判断当前主播所处的直播场景,调出对应场景的滤镜特效作为当前直播的滤镜特效,无需主播手动对滤镜特效进行选择和设置,减少主播直播时的前期准备工作,有效保证主播的直播体验。
附图说明
图1为本发明实施例中一种自动滤镜实现方法的流程图;
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
实施例1
参见图1所示,本发明实施例提供一种自动滤镜实现方法,用于实现主播在直播过程中滤镜特效的自动更换,无需主播手动进行调整更换。本发明实施例的自动滤镜实现方法,具体包括以下步骤:
S1:获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物,本步骤主要是为了使神经网络模型具有识别特定标志物的能力。标志物包括纯色墙壁、广告牌和天空,例如可以使用含有纯色墙壁的图像作为训练样本,对神经网络模型进行训练,或者使用含有天空的图像作为训练样本,对神经网络模型进行训练,或者使用含有广告牌的的图像作为训练样本,对神经网络模型进行训练。
在直播领域,直播的直播场景主要包括室内直播和户外直播,而户外直播包括城区户外直播和郊区户外直播,室内直播即为主播在室内或屋内进行直播,若主播在室内进行直播的话,直播画面中不可避免的会出现墙壁,同时,主播为了保证呈现给观众的直播画面中,自身是整个画面的焦点,观众的关注点不会在直播画面的背景物件上,背景中出现的墙壁通常会是纯色,即将背景墙壁粉刷成单一的纯色,以此来保证主播自身在直播画面的突出,估将纯色墙壁作为判定室内直播的标志物,使用含有纯色墙壁的图像作为训练样本对神经网络模型进行训练,使神经网络模型具有识别纯色墙壁的能力,后续当神经网络模型识别到纯色墙壁,便可判定主播的当前场景为室内直播。
主播在进行户外直播时,通常只会选择热闹繁华的步行街或商圈进行直播,再就是偏僻的郊外进行求生类的生存直播,户外直播仅会包含这两种场景,其它户外场景很少,且有些不被允许进行直播。热闹繁华的步行街或商圈,此类直播场景为城区户外直播,此类场景中必然会出现广告牌,因此使用含有广告牌的图像作为训练样本对神经网络模型进行训练,使神经网络模型具有识别广告牌的能力,后续当神经网络模型识别到广告牌时,便可判定主播的当前场景为城区户外直播。
偏僻的郊外进行求生类的生存直播,此类直播场景为郊区户外直播,因此会出现天空,因此使用含有天空的图像作为训练样本对神经网络模型进行训练,使神经网络模型具有识别天空的能力,后续当神经网络模型识别到天空,且画面中不含有广告牌和纯色墙壁,便可判定主播的当前场景为城区户外直播。
为提升神经网络模型的识别准确度,可提升训练样本的样本量。同时,为提升对神经网络模型的训练效率,可使用既含有纯色墙壁,又含有广告牌的图像作为训练样本,对神经网络模型进行训练,因为神经网络模型训练后需要具有识别标志物的能力,故采用含有多个标志物的图像作为训练样本对神经网络模型进行训练,训练后的神经网络模型同样具有识别特定标志物的能力,同时还能提升对神经网络模型的训练效率。
S2:截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测。主播在直播时,会产生直播画面,此时对直播画面采用截图的方式进行截取,截取直播画面作为待检测图像,将待检测图像输入到训练完成后的神经网络模型中,通过神经网络模型对待检测图像中所含内容进行检测,从而对主播当前所处的直播场景进行判断。
S3:当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效。滤镜特效的种类包括多种,滤镜特效具体种类的名称和呈现出的效果,可以参见当今市场上各大美颜类APP中关于滤镜特效的命名和画面添加滤镜特效后的最终呈现效果,对每种直播场景对应设置一种滤镜特效,直播场景的判断可以通过待检测图像中的标志物来判断。
如当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效,白皙滤镜可以将画面整个变白;当检测到待检测图像中标志物为广告牌,则将胶片滤镜或回忆滤镜作为当前直播的滤镜特效,胶片滤镜或回忆滤镜使画面呈现一种沧桑感;当检测到待检测图像中标志物为天空,则将蔚蓝滤镜作为当前直播的滤镜特效,蔚蓝滤镜使画面色调偏蓝。具体的:
当检测到待检测图像中含有纯色墙壁,且不含有广告牌或天空时,即含有纯色墙壁标志物,待检测图像中不含有广告牌或天空标志物,则判定当前直播场景为室内直播,则使用白皙滤镜作为当前直播的滤镜特效,正常情况下,主播在室内进行直播时,背景中是不会出现广告牌或天空;
当检测到待检测图像中只要含有广告牌,则当前直播场景为城区户外直播,则使用胶片滤镜或回忆滤镜作为当前直播的滤镜特效,即只要待检测图像中含有广告牌,无论待检测图像中还包含其它物件或标志物,均判断当前直播场景为城区户外直播,因此只有主播在城区户外进行直播时,才会出现广告牌。
当检测到待检测图像中含有天空,且不含有广告牌,则当前直播场景为郊区户外直播,则使用蔚蓝滤镜作为当前直播的滤镜特效,因为主播在进行郊区户外直播,所处位置较为偏僻,此类场景下不会出现广告牌,因此当检测到待检测图像中含有天空,且不含有广告牌时,即可判定主播的当前直播场景为郊区户外直播。
通过对直播画面中含有的标志物进行识别,从而判断出主播当前所处的直播场景,实现滤镜特效的自动切换,无需主播手动调整。当然,对于室内直播、城区户外直播和郊区户外直播的直播场景下所选用的滤镜特效种类,可以根据需要灵活进行调整,调整为其它种类的滤镜特效。
进一步的,若主播的直播场景为城区户外直播,则获取主播历史直播时所行走位置坐标并标记,然后针对每个标记的位置坐标,对滤镜特效的程度级别进行预调设置,同一种滤镜特效,其程度级别包括多种,相当于包括多档调节,程度级别越高,呈现的滤镜特效效果越深,程度级别越低,呈现的滤镜特效效果越浅,当主播进行直播时,实时获取主播的位置坐标,若主播的位置坐标为标记的位置坐标,则将当前滤镜特效的程度级别调整为预调设置的程度级别。进行城区户外直播的主播,其直播时所行走的路径一般较为固定,一般仅会在某个特定的商业区进行直播,商业区一般为较为繁华的地段,高楼较多,由于高楼对阳光的遮挡,使得商业区的某些路面可能常年不会被阳关直射,从而使得商业区的人行道上各处的明暗程度不同,而商业区的人行道为主播直播时所行走的路径,故提前对主播行走的位置坐标进行标记,当主播直播行走到标记处时,按照预先的设置,自动对滤镜特效效果的程度级别进行变化,通过调节滤镜特效程度级别的方式,使滤镜特效与当前的背景亮度相匹配,从而保证直播画面的观感性。
若主播的直播场景为郊区户外直播,则针对每个时间段,对滤镜特效的程度级别进行预调设置,当主播进行直播时,基于主播直播时所处的时间段,将当前滤镜特效的程度级别调整为预调设置的程度级别。郊区户外直播时,周边一般没有高大的建筑物,此时直播画面仅会受太阳光照强度的影响,如中午时的亮度明显会高于早晚,故通过对时间的设定,基于主播直播时所处的时间段,将当前滤镜特效的程度级别调整为预调设置的程度级别,以此来保证画面的观赏性。
若主播的直播场景为室内直播,则基于直播场景中纯色墙壁的颜色,使用纯色滤镜特效,并对纯色滤镜特效的种类进行预设,当主播进行直播时,基于待检测图像中纯色墙壁颜色,使用与纯色墙壁颜色相同颜色的纯色滤镜特效作为当前直播的滤镜特效,如墙壁的颜色为白色,则使用白皙滤镜,墙壁的颜色为天蓝色,则使用天蓝色滤镜,保证直播画面整体观感的同时,又能增添直播的趣味性。
当主播的直播场景为室内直播时,当使用训练完成后的神经网络模型对待检测图像所含内容进行检测后,然后使用人体检测算法,对待检测图像中人体所在区域进行检测,对当前直播进行滤镜特效使用时,仅对人体所在区域使用滤镜特效,人体所在区域意外保持原样。即仅对人体所在区域使用滤镜特效,其它区域保持原样,从而使得主播在直播画面中更加突出。
训练样本还包括含有男性头像或女性头像的照片,当截取直播画面作为待检测图像,使用训练完成后的神经网络模型对待检测图像所含内容进行检测时,若检测到待检测图像中的主播为男性,则使用自然滤镜作为当前直播的滤镜特效,若检测到待检测图像中的主播为女性,则使用少女滤镜作为当前直播的滤镜特效。神经网络模型训练后具有识别主播性别的能力,从而针对主播的性别自动使用不同的滤镜特效。
本发明实施例的自动滤镜实现方法,通过使用训练样本对神经网络模型进行训练的方式,使得神经网络模型具备识别特定的标志物的能力,后续使用训练后的神经网络模型对主播的直播画面进行检测,通过对直播画面中标志物的检测,以判断当前主播所处的直播场景,调出对应场景的滤镜特效作为当前直播的滤镜特效,无需主播手动对滤镜特效进行选择和设置,减少主播直播时的前期准备工作,有效保证主播的直播体验。
实施例2
本发明实施例提供一种存储介质,该存储介质上存储有计算机程序,其特征在于:计算机程序被处理器执行时实现以下步骤:
获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为广告牌,则将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为天空,则将蔚蓝滤镜作为当前直播的滤镜特效。
本发明实施例的存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例3
参见图2所示,本发明实施例提供一种电子设备,电子设备包括训练单元、检测单元和滤镜特效执行单元。
训练单元用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;检测单元用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;滤镜特效执行单元用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行单元将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行单元将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行单元将蔚蓝滤镜作为当前直播的滤镜特效。
实施例4
本发明实施例提供一种自动滤镜实现系统,包括训练模块、检测模块和滤镜特效执行模块。
训练模块用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;检测模块用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;滤镜特效执行模块用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行模块将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行模块将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行模块将蔚蓝滤镜作为当前直播的滤镜特效。
本发明实施例的自动滤镜实现系统,通过使用训练样本对神经网络模型进行训练的方式,使得神经网络模型具备识别特定的标志物的能力,后续使用训练后的神经网络模型对主播的直播画面进行检测,通过对直播画面中标志物的检测,以判断当前主播所处的直播场景,调出对应场景的滤镜特效作为当前直播的滤镜特效,无需主播手动对滤镜特效进行选择和设置,减少主播直播时的前期准备工作,有效保证主播的直播体验。
本发明不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (4)
1.一种自动滤镜实现方法,用于实现直播过程中滤镜特效的自动更换,其特征在于,包括以下步骤:
获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
所述直播的直播场景包括室内直播和户外直播;
所述户外直播包括城区户外直播和郊区户外直播;
若主播的直播场景为城区户外直播,则获取主播历史直播时所行走位置坐标并标记,然后针对每个标记的位置坐标,对滤镜特效的程度级别进行预调设置,当主播进行直播时,实时获取主播的位置坐标,若主播的位置坐标为标记的位置坐标,则将当前滤镜特效的程度级别调整为预调设置的程度级别;
所述标志物包括纯色墙壁、广告牌和天空,当检测到待检测图像中标志物为纯色墙壁,则将白皙滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为广告牌,则将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测到待检测图像中标志物为天空,则将蔚蓝滤镜作为当前直播的滤镜特效;
当检测到待检测图像中含有纯色墙壁,且不含有广告牌或天空时,则当前直播场景为室内直播,则使用白皙滤镜作为当前直播的滤镜特效;
当检测到待检测图像中只要含有广告牌,则当前直播场景为城区户外直播,则使用胶片滤镜或回忆滤镜作为当前直播的滤镜特效;
当检测到待检测图像中含有天空,且不含有广告牌,则当前直播场景为郊区户外直播,则使用蔚蓝滤镜作为当前直播的滤镜特效;
若主播的直播场景为郊区户外直播,则针对每个时间段,对滤镜特效的程度级别进行预调设置,当主播进行直播时,基于主播直播时所处的时间段,将当前滤镜特效的程度级别调整为预调设置的程度级别;
若主播的直播场景为室内直播,则基于直播场景中纯色墙壁的颜色,使用纯色滤镜特效,并对纯色滤镜特效的种类进行预设,当主播进行直播时,基于待检测图像中纯色墙壁颜色,使用与纯色墙壁颜色相同颜色的纯色滤镜特效作为当前直播的滤镜特效;
当主播的直播场景为室内直播时,当使用训练完成后的神经网络模型对待检测图像所含内容进行检测后,然后使用人体检测算法,对待检测图像中人体所在区域进行检测,对当前直播进行滤镜特效使用时,仅对人体所在区域使用滤镜特效,人体所在区域意外保持原样;
该方法还包括:
所述训练样本还包括含有男性头像或女性头像的照片,当截取直播画面作为待检测图像,使用训练完成后的神经网络模型对待检测图像所含内容进行检测时,若检测到待检测图像中的主播为男性,则使用自然滤镜作为当前直播的滤镜特效,若检测到待检测图像中的主播为女性,则使用少女滤镜作为当前直播的滤镜特效。
2.一种使用如权利要求1所述自动滤镜实现方法的存储介质,该存储介质上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1所述自动滤镜实现方法的步骤。
3.一种使用如权利要求1所述自动滤镜实现方法的电子设备,其特征在于,所述电子设备包括:
训练单元,其用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
检测单元,其用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
滤镜特效执行单元,其用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行单元将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行单元将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行单元将蔚蓝滤镜作为当前直播的滤镜特效;
所述直播的直播场景包括室内直播和户外直播;
所述户外直播包括城区户外直播和郊区户外直播;
若主播的直播场景为城区户外直播,则获取主播历史直播时所行走位置坐标并标记,然后针对每个标记的位置坐标,对滤镜特效的程度级别进行预调设置,当主播进行直播时,实时获取主播的位置坐标,若主播的位置坐标为标记的位置坐标,则将当前滤镜特效的程度级别调整为预调设置的程度级别。
4.一种使用如权利要求1所述自动滤镜实现方法的自动滤镜实现系统,其特征在于,包括:
训练模块,其用于获取多张图像作为训练样本,对神经网络模型进行训练,且每张图像中包含一种用于标记场景的标志物;
检测模块,其用于截取直播画面作为待检测图像,使用训练完成后的神经网络模型,对待检测图像所含内容进行检测;
滤镜特效执行模块,其用于当检测到待检测图像中含有标志物时,调出该标志物对应场景的滤镜特效作为当前直播的滤镜特效;
其中,标志物包括纯色墙壁、广告牌和天空:当检测单元检测到待检测图像中标志物为纯色墙壁,滤镜特效执行模块将白皙滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为广告牌,滤镜特效执行模块将胶片滤镜或回忆滤镜作为当前直播的滤镜特效;当检测单元检测到待检测图像中标志物为天空,滤镜特效执行模块将蔚蓝滤镜作为当前直播的滤镜特效;
所述直播的直播场景包括室内直播和户外直播;
所述户外直播包括城区户外直播和郊区户外直播;
若主播的直播场景为城区户外直播,则获取主播历史直播时所行走位置坐标并标记,然后针对每个标记的位置坐标,对滤镜特效的程度级别进行预调设置,当主播进行直播时,实时获取主播的位置坐标,若主播的位置坐标为标记的位置坐标,则将当前滤镜特效的程度级别调整为预调设置的程度级别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811161841.5A CN109325926B (zh) | 2018-09-30 | 2018-09-30 | 自动滤镜实现方法、存储介质、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811161841.5A CN109325926B (zh) | 2018-09-30 | 2018-09-30 | 自动滤镜实现方法、存储介质、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109325926A CN109325926A (zh) | 2019-02-12 |
CN109325926B true CN109325926B (zh) | 2021-07-23 |
Family
ID=65265649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811161841.5A Active CN109325926B (zh) | 2018-09-30 | 2018-09-30 | 自动滤镜实现方法、存储介质、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109325926B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020216096A1 (zh) * | 2019-04-25 | 2020-10-29 | 华为技术有限公司 | 一种视频编辑方法及电子设备 |
CN111263227B (zh) * | 2020-02-10 | 2023-12-08 | 腾讯科技(深圳)有限公司 | 一种多媒体播放方法、装置、存储介质以及终端 |
CN112767241A (zh) * | 2021-01-29 | 2021-05-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及其装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103794194A (zh) * | 2014-01-24 | 2014-05-14 | 厦门美图之家科技有限公司 | 一种自动调整移动终端屏幕颜色的方法 |
CN104486558A (zh) * | 2014-12-31 | 2015-04-01 | 厦门美图之家科技有限公司 | 一种模拟拍摄场景的视频处理方法和装置 |
CN106657810A (zh) * | 2016-09-26 | 2017-05-10 | 维沃移动通信有限公司 | 一种视频图像的滤镜处理方法和装置 |
CN107742274A (zh) * | 2017-10-31 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9449248B1 (en) * | 2015-03-12 | 2016-09-20 | Adobe Systems Incorporated | Generation of salient contours using live video |
US9787987B2 (en) * | 2015-04-27 | 2017-10-10 | Harmonic, Inc. | Adaptive pre-filtering based on video complexity and output bit rate |
CN106550243A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 直播视频处理方法、装置及电子设备 |
CN106920211A (zh) * | 2017-03-09 | 2017-07-04 | 广州四三九九信息科技有限公司 | 美颜处理方法、装置以及终端设备 |
CN106971165B (zh) * | 2017-03-29 | 2018-08-10 | 武汉斗鱼网络科技有限公司 | 一种滤镜的实现方法及装置 |
-
2018
- 2018-09-30 CN CN201811161841.5A patent/CN109325926B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103794194A (zh) * | 2014-01-24 | 2014-05-14 | 厦门美图之家科技有限公司 | 一种自动调整移动终端屏幕颜色的方法 |
CN104486558A (zh) * | 2014-12-31 | 2015-04-01 | 厦门美图之家科技有限公司 | 一种模拟拍摄场景的视频处理方法和装置 |
CN106657810A (zh) * | 2016-09-26 | 2017-05-10 | 维沃移动通信有限公司 | 一种视频图像的滤镜处理方法和装置 |
CN107742274A (zh) * | 2017-10-31 | 2018-02-27 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109325926A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8837855B2 (en) | Image compositing via multi-spectral detection | |
CN109325926B (zh) | 自动滤镜实现方法、存储介质、设备及系统 | |
CN103914802B (zh) | 用于使用导入的深度信息的图像选择和掩蔽的系统与方法 | |
CA2613998C (en) | Method, apparatus and system for alternate image/video insertion | |
CN109804622B (zh) | 红外图像流的重新着色 | |
CN103810504B (zh) | 一种图像处理方法和装置 | |
CN109644224A (zh) | 用于捕获数字图像的系统和方法 | |
CN108109161B (zh) | 基于自适应阈值分割的视频数据实时处理方法及装置 | |
CN108111911B (zh) | 基于自适应跟踪框分割的视频数据实时处理方法及装置 | |
CN108563702B (zh) | 基于展品图像识别的语音讲解数据处理方法及装置 | |
CN106406504B (zh) | 人机交互界面的氛围渲染系统与方法 | |
WO2008098235A3 (en) | System and method for providing simulated images through cosmetic monitoring | |
CN107016718B (zh) | 一种场景渲染方法和装置 | |
CN109302628A (zh) | 一种基于直播的人脸处理方法、装置、设备和存储介质 | |
WO2020211427A1 (zh) | 基于扫描点云数据的分割与识别方法、系统及存储介质 | |
CN107545227A (zh) | 基于物联网和云计算的智能建筑集成系统 | |
CN103745430A (zh) | 一种数字图像的快速美容方法 | |
CN102881160A (zh) | 一种低照度场景下的户外交通标志识别方法 | |
CN111402409B (zh) | 一种展馆设计光照条件模型系统 | |
CN106165017A (zh) | 允许在图像记录或显示之前进行场景相关图像修改的即时场景识别 | |
CN113259597A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN109916415A (zh) | 道路类型确定方法、装置、设备及存储介质 | |
CN106357979A (zh) | 一种摄影方法、装置和终端 | |
US11496691B2 (en) | Realistic illumination of a character for a scene | |
CN110971924B (zh) | 一种直播过程中美颜的方法、设备、存储介质及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |