CN109819318B - 一种图像处理、直播方法、装置、计算机设备及存储介质 - Google Patents

一种图像处理、直播方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109819318B
CN109819318B CN201910107608.7A CN201910107608A CN109819318B CN 109819318 B CN109819318 B CN 109819318B CN 201910107608 A CN201910107608 A CN 201910107608A CN 109819318 B CN109819318 B CN 109819318B
Authority
CN
China
Prior art keywords
target
eye
region
point
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910107608.7A
Other languages
English (en)
Other versions
CN109819318A (zh
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910107608.7A priority Critical patent/CN109819318B/zh
Publication of CN109819318A publication Critical patent/CN109819318A/zh
Application granted granted Critical
Publication of CN109819318B publication Critical patent/CN109819318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理、直播方法、装置、计算机设备及存储介质。该图像处理方法包括:采集图像数据;在所述图像数据中识别眼睛所处的眼睛区域;在所述眼睛区域中识别目标物所处的目标物区域;对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。在保证对眼睛缩放的效果的情况下,减缓或停止对目标物的缩放,从而减少或冻结目标物的变形,保持目标物的真实性。

Description

一种图像处理、直播方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及图像处理的技术,尤其涉及一种图像处理、直播方法、装置、计算机设备及存储介质。
背景技术
在拍照、直播等场景中,用户为了能获得满意的效果,通常会进行美颜处理,如美肤、磨皮、大眼、瘦脸等等,使得美颜的效果与真实的自己更贴近,而又要高于真实的效果。
其中,对于大眼处理,在放大眼睛的同时,眼睛附近的其他物体也随着眼睛一起放大,产生变形,导致其它物体失真。
发明内容
本发明实施例提供一种图像处理、直播方法、装置、计算机设备及存储介质,以解决对眼睛进行处理时、附近其他物体失真的问题。
第一方面,本发明实施例提供了一种图像处理方法,包括:
采集图像数据;
在所述图像数据中识别眼睛所处的眼睛区域;
在所述眼睛区域中识别目标物所处的目标物区域;
对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。
第二方面,本发明实施例还提供了一种直播方法,包括:
向直播服务器请求创建直播间;
采集视频数据与音频数据,所述视频数据中具有图像数据;
接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述目标物区域为所述眼睛区域中目标物所处的区域;
采用所述视频数据与所述音频数据生成为直播数据;
将所述直播数据发送至直播服务器,以在所述直播间进行播放。
第三方面,本发明实施例还提供了一种图像处理装置,包括:
图像数据采集模块,用于采集图像数据;
眼睛区域识别模块,用于在所述图像数据中识别眼睛所处的眼睛区域;
目标物区域识别模块,用于在所述眼睛区域中识别目标物所处的目标物区域;
缩放处理模块,用于对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。
第四方面,本发明实施例还提供了一种直播装置,包括:
直播间请求创建模块,用于向直播服务器请求创建直播间;
音视频数据采集模块,用于采集视频数据与音频数据;
图像处理操作接收模块,用于接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述目标物区域为所述眼睛区域中目标物所处的区域;
直播数据生成模块,用于采用所述视频数据与所述音频数据生成为直播数据;
直播数据发送模块,用于将所述直播数据发送至直播服务器,以在所述直播间进行播放。
第五方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的图像处理方法或者如第二方面所述的直播方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的图像处理方法或者如第二方面所述的直播方法。
在本发明实施例中,采集图像数据,在图像数据中识别眼睛所处的眼睛区域,在眼睛区域中识别目标物所处的目标物区域,对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,在保证对眼睛缩放的效果的情况下,减缓或停止对目标物的缩放,从而减少或冻结目标物的变形,保持目标物的真实性。
附图说明
图1为本发明实施例一提供的一种图像处理方法的流程图;
图2是本发明实施例二提供的一种图像处理方法的流程图;
图3是本发明实施例二提供的一种人脸美颜的示例图;
图4是本发明实施例二提供的另一种人脸美颜的示例图;
图5为本发明实施例三提供的一种直播方法的流程图;
图6为本发明实施例四提供的一种图像处理装置的结构示意图;
图7为本发明实施例五提供的一种直播装置的结构示意图;
图8为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程图,本实施例可适用于对图像数据中的眼睛进行缩放时、冻结附近物体(如眉毛、眼镜等)的情况,该方法可以由图像处理装置来执行,该图像处理装置可以由软件和/或硬件实现,可配置在计算机设备中,典型为处理器,该计算机设备可以包括手机、平板电脑、智能穿戴设备(如眼镜、手表等)等移动终端,也可以包括个人电脑、电视机等非移动终端,该方法具体包括如下步骤:
S101、采集图像数据。
在具体实现中,计算机设备中的处理器包括CPU(Central Processing Unit,中央处理器),CPU可采集包含人脸的图像数据,待进行图像处理,即美颜处理。
在一种情况中,该图像数据可以是单帧的图像数据,例如,通过摄像头采集的图像数据,从图库中导入的图像数据,在某个URL(Uniform Resource Locator,统一资源定位符)下页面中的图像数据,等等。
在另一种情况中,该图像数据可以是视频数据的图像数据,例如,从视频库导入的视频数据中提取图像数据,直播应用采集直播数据中的图像数据,等等。
S102、在所述图像数据中识别眼睛所处的眼睛区域。
在具体实现中,计算机设备中的处理器包括GPU(Graphics Processing Unit,图形处理器)。
计算机设备中的CPU可通过模板匹配、AdaBoost(迭代算法)框架、深度学习等方式对图像数据进行人脸检测,从而确定人脸特征点。
在直播等场景中,为了提高图像处理的效率,计算机设备中的CPU可将该图像数据及其人脸特征点传输至计算机设备中的GPU,计算机设备中的GPU基于该人脸特征点确定眼睛所处的眼睛区域。
当然,计算机设备中的CPU也可以直接基于该人脸特征点确定眼睛所处的眼睛区域,本发明实施例对此不加以限制。
进一步而言,该人脸特征点包括眼睛特征点,基于该眼睛特征点,可确定眼睛在图像数据中所处的区域,作为眼睛区域。
在一种实施方式中,可以眼睛中的某个点(如眼球中心)作为缩放基准点,以此进行缩放,此时,可以以该缩放基准点为圆心,定义眼睛变化的半径,该半径范围内的区域即为眼睛区域。
其中,该半径可以按照人脸比例进行设置,一般情况下,人脸比例越大,半径越大,反之,人脸比例越小,半径越小。
S103、在所述眼睛区域中识别目标物所处的目标物区域。
一般情况下,眼睛区域大于实际的眼睛大小,涵盖了其他目标物。
需要说明的是,该目标物为除眼睛之外的其他物体,例如,眉毛、眼镜,等等。
在本发明实施例中,可对眼睛区域进行进一步检测,在眼睛区域中识别目标物所处的区域,作为目标物区域。
对于眉毛,计算机设备中的GPU可通过AdaBoost框架等方式进行检测。
对于眼镜,计算机设备中的GPU可通过Canny算子等方式在眼睛区域中识别边缘数据,以及,对边缘数据进行二值化操作,获得二值化数据。
通过开运算等方式在二值化数据中消除未连接的边缘数据与通过连通域等方式消除孤立的边缘数据,从而获得连通数据。
通过闭运算等方式封闭连通数据中的空洞,作为眼镜所处的目标物区域。
当然,上述目标物的识别方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他目标物的识别方式,本发明实施例对此不加以限制。另外,除了上述目标物的识别方式外,本领域技术人员还可以根据实际需要采用其它目标物的识别方式,本发明实施例对此也不加以限制。
S104、对所述眼睛区域进行缩放处理。
在本发明实施例中,计算机设备中的GPU可以基于眼睛区域中的缩放基准点对眼睛区域进行缩放处理,即缩小处理或放大处理。
其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,从而对目标物区域进行冻结操作,减缓或停止对目标物区域的缩放处理,从而减缓或停止目标物的变形。
在本发明实施例中,采集图像数据,在图像数据中识别眼睛所处的眼睛区域,在眼睛区域中识别目标物所处的目标物区域,对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,在保证对眼睛缩放的效果的情况下,减缓或停止对目标物的缩放,从而减少或冻结目标物的变形,保持目标物的真实性。
实施例二
图2为本发明实施例二提供的一种图像处理方法的流程图,本实施例以前述实施例为基础,进一步增加缩放处理的处理操作。该方法具体包括如下步骤:
S201、采集图像数据。
S202、在所述图像数据中识别眼睛所处的眼睛区域。
S203、在所述眼睛区域中识别目标物所处的目标物区域。
S204、在所述眼睛区域中,确定目标点对应的原始缩放系数。
在本发明实施例中,计算机设备可遍历眼睛区域,依次将眼睛区域中的每个位置设置为目标点。
一般而言,目标点的位置与像素点的位置重叠,即一个目标点中设置一个像素点。
针对每个目标点,可按照其在眼睛区域中所处的位置对其设置原始缩放系数。
在具体实现中,可确定目标点在眼睛区域中所处的相对位置,将该相对位置写入预设的缩放函数中,如对数函数、指数函数等,从而确定该相对位置对应的原始缩放系数。
需要说明的是,所谓相对位置,可以指相对于缩放基准点的位置。
此时,在眼睛区域中,可计算目标点相对于缩放基准点的第一距离,确定眼睛区域的第二距离(如半径)。
计算第一距离与第二距离之间的比值,作为目标点在眼睛区域中所处的相对位置。
S205、若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点。
在本发明实施例中,对于眼睛区域中位于目标物区域之外的目标点,可以按照原始缩放系数正常对其进行缩放处理。
进一步而言,对目标物区域之外进行缩放处理可以为逆计算,所谓逆计算,是指针对某个目标点,计算调整至该目标点的像素点、在缩放处理前所处的原始点,从而将位于该原始点的像素点调整至该目标点,代替位于该目标点中的像素点,实现缩放处理。
在具体实现中,对目标物区域之外进行逆计算可以表示如下:
Figure BDA0001967093510000081
其中,Image_eye表示缩放处理前的像素点(即原始点),包含R(红)、G(绿)、B(蓝)三个色彩分量,Image_eye′表示为缩放处理后的像素点(即目标点),
Figure BDA0001967093510000084
表示向像素点取值的操作,F(x)表示缩放函数,R′表示目标点到缩放基准点的第一距离,R表示眼睛区域的第二距离(如半径),即
Figure BDA0001967093510000082
表示相对位置,
Figure BDA0001967093510000083
表示原始缩放系数。
S206、若所述像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数。
S207、按照所述目标缩放系数确定原始点。
在本发明实施例中,对于眼睛区域中位于目标物区域之内的目标点,可以通过衰减函数对原始缩放系数进行衰减处理,获得目标缩放系数。
进一步而言,对目标物区域之内进行缩放处理可以为逆计算,所谓逆计算,是指针对某个目标点,计算调整至该目标点的像素点、在缩放处理前所处的原始点,从而将位于该原始点的像素点调整至该目标点,代替位于该目标点中的像素点,实现缩放处理。
在一种确定原始点的实施方式中,可以获取目标点在眼睛区域中所处的相对位置,在该相对位置的基础上乘以目标缩放系数,获得原始点。
在具体实现中,对目标物区域之内进行逆计算可以表示如下:
Figure BDA0001967093510000091
其中,Image_eye表示缩放处理前的像素点(即原始点),包含R(红)、G(绿)、B(蓝)三个色彩分量,Image_eye′表示为缩放处理后的像素点(即目标点),
Figure BDA0001967093510000095
表示向像素点取值的操作,S(x)表示衰减函数,F(x)表示缩放函数,R′表示目标点到缩放基准点的第一距离,R表示眼睛区域的第二距离(如半径),即
Figure BDA0001967093510000092
表示相对位置,
Figure BDA0001967093510000093
表示原始缩放系数,
Figure BDA0001967093510000094
表示衰减处理之后的原始缩放系数,即目标缩放系数。
在一种衰减处理的示例中,可以计算预设的衰减速度与原始缩放系数之间的乘积。
其中,该衰减速度可以指单位距离(像素点)内,缩放系数衰减的速度。
若乘积小于预设的缩放停止阈值,则将乘积设置为目标缩放系数。
若乘积大于或等于缩放停止阈值,则将缩放停止阈值设置为目标缩放系数。
在本示例中,衰减函数可以表示如下:
Figure BDA0001967093510000101
其中,A为衰减速度,x为原始放大系数,即
Figure BDA0001967093510000102
1为缩放停止阈值,此时,目标点与原始点重合(均为相对位置),表示停止缩放处理。
S208、将位于所述原始点的像素点调整至所述目标点。
在确定目标物区域内与目标物区域外的目标点所对应的原始点,则可以将该原始点调整至该目标点。
对于眼睛区域内的目标点m,按照原始缩放系数或目标原始缩放系数确定原始点为m',如果m'<m,则表示放大处理,如果m'>m,则表示缩小处理,如果m'=m,则表示无缩放处理。
进一步而言,原始缩放系数表示缩放程度,目标缩放系数也表示缩放程度。
对原始缩放系数进行衰减处理获得目标缩放系数,使得目标缩放系数小于原始缩放系数,因此,在眼睛区域中,按照原始缩放系数对目标物区域外进行缩放处理,按照目标缩放系数对目标物区域内进行缩放处理,使得对目标物区域内进行缩放处理的缩放程度小于对目标物区域之外进行缩放处理的缩放程度。
在本发明实施例中,向直播服务器请求创建直播间,采集视频数据与音频数据,接收图像处理操作,图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,眼睛区域为图像数据中眼睛所处的区域,目标物区域为眼睛区域中目标物所处的区域,采用图像数据与音频数据生成为直播数据,将直播数据发送至直播服务器,以在直播间进行播放,在直播过程中,保证看对眼睛缩放的效果,与此同时,减缓或停止对目标物的缩放,从而减少或冻结目标物的变形,保持目标物的真实性。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的示例来说明本发明实施例中的图像处理方法。
Figure BDA0001967093510000111
在上述表格中,A、B、C、D、E表示眼睛区域中的目标点(相对位置),其中,A、B、C位于目标物区域外,D、E位于目标物区域内,A、B、C、D、E的值为像素点在缩放处理之前的原始点(相对位置)。
原始图像为进行缩放处理之前的图像数据,如图3所示的人脸301或图4所示的人脸401。
第一图像为按照传统方法进行缩放处理之后的图像数据,如图3所示的人脸302或图4所示的人脸402。
第二图像为按照本发明实施例的图像处理方法进行缩放处理之后的图像数据,如图3所示的人脸303或图4所示的人脸403。
在本示例中,A为缩放基准点,D为边界上的点,因此,缩放处理后,维持A、E取值不变。
对于B、C,缩放处理之后,在第一图像与第二图像均取值0.1、0.3,即取原始图像中位于0.1、0.3中的像素点代替第一图像与第二图像中位于0.2、0.5的像素点,整体效果为放大处理。
如图3所示人脸302与人脸303中的眼睛均相对于图3所示人脸301中的眼睛大,如图4所示人脸402与人脸403中的眼睛均相对于图4所示人脸401中的眼睛大。
对于D,缩放处理之后,在第一图像取值0.6,即取原始图像中位于0.6代替第一图像中位于0.8的像素点,整体效果为放大处理,即对目标物进行放大,造成失真。
如图3所示人脸302中的眉毛(目标物)相对于图3所示人脸301的眉毛(目标物)翘起、纤细。
如图4所示人脸402中的眼镜(目标物)相对于图4所示人脸401中的眼镜(目标物)翘起、纤细,由于眼镜为圆形,属于规则形状,变形尤为明显,如图4所示人脸402中的眉毛(目标物)也相对于图4所示人脸401中的眉毛(目标物)翘起、纤细。
对于D,缩放处理之后,在第二图像取值0.8,与原始图像的取值相同,整体效果为停止放大处理,即保持目标物的大小,保证真实性。
如图3所示人脸303中的眉毛(目标物)相对于图3所示人脸301中的眉毛(目标物)大致相同,并无明显的翘起、纤细。
如图4所示人脸403中的眼镜(目标物)相对于图4所示人脸401中的眼镜(目标物)大致相同,并无明显的翘起、纤细,如图4所示人脸403中的眉毛(目标物)也相对于图4所示人脸401中的眉毛(目标物)大致相同,并无明显的翘起、纤细。
实施例三
图5为本发明实施例三提供的一种直播方法的流程图,本实施例可适用于在直播过程中对图像数据中的眼睛进行缩放时、冻结附近物体(如眉毛、眼镜等)的情况,该方法可以由直播装置来执行,该直播装置可以由软件和/或硬件实现,可配置在计算机设备中,典型为处理器,该计算机设备可以包括手机、平板电脑、智能穿戴设备(如眼镜、手表等)等移动终端,也可以包括个人电脑、电视机等非移动终端,该方法具体包括如下步骤:
S501、向直播服务器请求创建直播间。
在直播的场景中,主播用户可在计算机设备中登录直播平台(直播服务器),并触发直播操作,计算机设备可以根据该直播操作,为该主播用户向直播服务器发送创建请求,请求创建直播间。
其中,该直播间可以包括用于直播的上下文,例如,URL、房间号、标题,等等。
S502、采集视频数据与音频数据。
一方面,在计算机设备中,对于诸如手机、平板电脑智能穿戴设备等移动终端,可直接配置摄像头,对于诸如个人电脑、电视机等非移动终端,可连接外置的摄像头,在直播时,计算机设备可调用该摄像头采集视频数据。
其中,视频数据中具有多帧连续的图像数据。
另一方面,在计算机设备中,对于诸如手机、平板电脑智能穿戴设备等移动终端,可直接配置麦克风、拾音器等采集声音的装置,对于诸如个人电脑、电视机等非移动终端,可连接外置的麦克风、拾音器等采集声音的装置,在直播时,计算机设备可调用该采集声音的装置采集音频数据。
S503、接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理。
其中,目标物区域内的缩放程度小于目标物区域外的缩放程度。
所述眼睛区域为所述图像数据中眼睛所处的区域,所述目标物区域为所述眼睛区域中目标物所处的区域。
在本发明的一个实施例中,在接收到图像处理操作之后,可在所述图像数据中识别眼睛所处的眼睛区域;在所述眼睛区域中识别目标物所处的目标物区域;对所述眼睛区域进行缩放处理。
可选地,所述目标物包括眉毛和/或眼镜;
所述在所述眼睛区域中识别目标物所处的目标物区域,包括:
在所述眼睛区域中识别边缘数据;
对所述边缘数据进行二值化操作,获得二值化数据;
在所述二值化数据中消除未连接的边缘数据与孤立的边缘数据,获得连通数据;
封闭所述连通数据中的空洞,作为所述眼镜所处的目标物区域。
可选地,所述对所述眼睛区域进行缩放处理,包括:
在所述眼睛区域中,确定目标点对应的原始缩放系数;
若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;
若所述像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;
按照所述目标缩放系数确定原始点;
将位于所述原始点的像素点调整至所述目标点。
可选地,所述在所述眼睛区域中,确定目标点对应的原始缩放系数,包括:
确定目标点在所述眼睛区域中所处的相对位置;
确定所述相对位置对应的原始缩放系数。
可选地,所述确定目标点在所述眼睛区域中所处的相对位置,包括:
在所述眼睛区域中,计算目标点相对于缩放基准点的第一距离;
确定所述眼睛区域的第二距离;
计算所述第一距离与所述第二距离之间的比值,作为目标点在所述眼睛区域中所处的相对位置。
可选地,所述对所述原始缩放系数进行衰减处理,获得目标缩放系数,包括:
计算预设的衰减速度与所述原始缩放系数之间的乘积;
若所述乘积小于预设的缩放停止阈值,则将所述乘积设置为目标缩放系数;
若所述乘积大于或等于所述缩放停止阈值,则将所述缩放停止阈值设置为目标缩放系数。
可选地,所述按照所述目标缩放系数确定原始点,包括:
获取所述目标点在所述眼睛区域中所处的相对位置;
在所述相对位置的基础上乘以所述目标缩放系数,获得原始点。
在本发明实施例中,由于缩放处理与实施例一、实施例二的应用基本相似,所以描述的比较简单,相关之处参见实施例一、实施例二的部分说明即可,本发明实施例在此不加以详述。
需要说明的是,该图像处理操作除了可用于对眼睛区域进行缩放处理之外,还可以用于进行其它图像操作,例如,对皮肤增量、增白,去除痘,缩小脸部,添加装饰物,等等,本发明实施例对此不加以限制。
S504、采用所述视频数据与所述音频数据生成为直播数据。
一方面,计算机设备采集的音频数据多为PCM(Pulse Code Modulation,脉冲编码调制)等原始数据,计算机设备可调用编码器将音频数据编码为指定的音频格式,如AAC(Advanced Audio Coding,高级音频编码)等。
另一方面,计算机设备采集的视频数据多为YUV(Y表示明亮度(Luminance、Luma),U表示色度(Chrominance),V表示浓度(Chroma))等原始数据,计算机设备可调用编码器将视频数据编码为指定的视频格式,如H.264(数字视频压缩格式)等。
此后,计算机设备可调用打包器,将指定音频格式的音频数据与指定视频格式的视频数据封装成指定流格式的直播数据,如MP4(Moving Picture Experts Group 4、动态图像专家组)、FLV(Flash Video,流媒体格式)等等。
S505、将所述直播数据发送至直播服务器,以在所述直播间进行播放。
在本发明实施例中,计算机设备可通过RTSP(Real Time Streaming Protocol,实时流传送协议)、RTMP(Real Time Messaging Protocol,实时消息传送协议)、HLS(HTTPLive Streaming,基于HTTP(Hyper Text Transport Protocol,超文本传输协议)的流媒体传输协议)等协议,将直播数据发送至直播平台(直播服务器),直播平台(直播服务器)公开该直播间,使得观众用户可以在客户端中打开直播间,接收该直播数据进行播放。
实施例四
图6为本发明实施例四提供的一种图像处理装置的结构示意图,该装置具体可以包括如下模块:
图像数据采集模块601,用于采集图像数据;
眼睛区域识别模块602,用于在所述图像数据中识别眼睛所处的眼睛区域;
目标物区域识别模块603,用于在所述眼睛区域中识别目标物所处的目标物区域;
缩放处理模块604,用于对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。
在本发明的一个实施例中,所述目标物包括眉毛和/或眼镜;
所述眼睛区域识别模块602包括:
边缘识别子模块,用于在所述眼睛区域中识别边缘数据;
二值化子模块,用于对所述边缘数据进行二值化操作,获得二值化数据;
边缘数据消除子模块,用于在所述二值化数据中消除未连接的边缘数据与孤立的边缘数据,获得连通数据;
空洞封闭子模块,用于封闭所述连通数据中的空洞,作为所述眼镜所处的目标物区域。
在本发明的一个实施例中,所述缩放处理模块604包括:
原始缩放系数确定子模块,用于在所述眼睛区域中,确定目标点对应的原始缩放系数;
第一原始点确定子模块,用于若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;
目标缩放系数确定子模块,用于若所述像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;
第二原始点确定子模块,用于按照所述目标缩放系数确定原始点;
像素点调整子模块,用于将位于所述原始点的像素点调整至所述目标点。
在本发明的一个实施例中,所述原始缩放系数确定子模块包括:
相对位置定位单元,用于确定目标点在所述眼睛区域中所处的相对位置;
相对位置确定单元,用于确定所述相对位置对应的原始缩放系数。
在本发明的一个实施例中,所述相对位置定位单元包括:
第一距离计算子单元,用于在所述眼睛区域中,计算目标点相对于缩放基准点的第一距离;
第二距离确定子单元,用于确定所述眼睛区域的第二距离;
比值计算子单元,用于计算所述第一距离与所述第二距离之间的比值,作为目标点在所述眼睛区域中所处的相对位置。
在本发明的一个实施例中,所述目标缩放系数确定子模块包括:
乘积计算单元,用于计算预设的衰减速度与所述原始缩放系数之间的乘积;
第一设置单元,用于若所述乘积小于预设的缩放停止阈值,则将所述乘积设置为目标缩放系数;
第二设置单元,用于若所述乘积大于或等于所述缩放停止阈值,则将所述缩放停止阈值设置为目标缩放系数。
在本发明的一个实施例中,所述第二原始点确定子模块包括:
相对位置获取单元,用于获取所述目标点在所述眼睛区域中所处的相对位置;
原始点获得单元,用于在所述相对位置的基础上乘以所述目标缩放系数,获得原始点。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例五提供的一种直播装置的结构示意图,该装置具体可以包括如下模块:
直播间请求创建模块701,用于向直播服务器请求创建直播间;
音视频数据采集模块702,用于采集视频数据与音频数据;
图像处理操作接收模块703,用于接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述目标物区域为所述眼睛区域中目标物所处的区域;
直播数据生成模块704,用于采用所述视频数据与所述音频数据生成为直播数据;
直播数据发送模块705,用于将所述直播数据发送至直播服务器,以在所述直播间进行播放。
在本发明的一个实施例中,还包括:
眼睛区域识别模块,用于在所述图像数据中识别眼睛所处的眼睛区域;
目标物区域识别模块,用于在所述眼睛区域中识别目标物所处的目标物区域;
缩放处理模块,用于对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。
在本发明的一个实施例中,所述目标物包括眉毛和/或眼镜;
所述眼睛区域识别模块包括:
边缘识别子模块,用于在所述眼睛区域中识别边缘数据;
二值化子模块,用于对所述边缘数据进行二值化操作,获得二值化数据;
边缘数据消除子模块,用于在所述二值化数据中消除未连接的边缘数据与孤立的边缘数据,获得连通数据;
空洞封闭子模块,用于封闭所述连通数据中的空洞,作为所述眼镜所处的目标物区域。
在本发明的一个实施例中,所述缩放处理模块包括:
原始缩放系数确定子模块,用于在所述眼睛区域中,确定目标点对应的原始缩放系数;
第一原始点确定子模块,用于若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;
目标缩放系数确定子模块,用于若所述像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;
第二原始点确定子模块,用于按照所述目标缩放系数确定原始点;
像素点调整子模块,用于将位于所述原始点的像素点调整至所述目标点。
在本发明的一个实施例中,所述原始缩放系数确定子模块包括:
相对位置定位单元,用于确定目标点在所述眼睛区域中所处的相对位置;
相对位置确定单元,用于确定所述相对位置对应的原始缩放系数。
在本发明的一个实施例中,所述相对位置定位单元包括:
第一距离计算子单元,用于在所述眼睛区域中,计算目标点相对于缩放基准点的第一距离;
第二距离确定子单元,用于确定所述眼睛区域的第二距离;
比值计算子单元,用于计算所述第一距离与所述第二距离之间的比值,作为目标点在所述眼睛区域中所处的相对位置。
在本发明的一个实施例中,所述目标缩放系数确定子模块包括:
乘积计算单元,用于计算预设的衰减速度与所述原始缩放系数之间的乘积;
第一设置单元,用于若所述乘积小于预设的缩放停止阈值,则将所述乘积设置为目标缩放系数;
第二设置单元,用于若所述乘积大于或等于所述缩放停止阈值,则将所述缩放停止阈值设置为目标缩放系数。
在本发明的一个实施例中,所述第二原始点确定子模块包括:
相对位置获取单元,用于获取所述目标点在所述眼睛区域中所处的相对位置;
原始点获得单元,用于在所述相对位置的基础上乘以所述目标缩放系数,获得原始点。
本发明实施例所提供的直播装置可执行本发明任意实施例所提供的直播方法,具备执行方法相应的功能模块和有益效果。
实施例六
图8为本发明实施例六提供的一种计算机设备的结构示意图。如图8所示,该计算机设备包括处理器800、存储器801、通信模块802、输入装置803和输出装置804;计算机设备中处理器800的数量可以是一个或多个,图8中以一个处理器800为例;计算机设备中的处理器800、存储器801、通信模块802、输入装置803和输出装置804可以通过总线或其他方式连接,图8中以通过总线连接为例。
存储器801作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的一种连接方法对应的模块(例如,如图6所示的图像处理装置中的图像数据采集模块601、眼睛区域识别模块602、目标物区域识别模块603和缩放处理模块604;或者,如图7所示的直播装置中的直播间请求创建模块701、音视频数据采集模块702、图像处理操作接收模块703、直播数据生成模块704和直播数据发送模块705)。处理器800通过运行存储在存储器801中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的一种连接方法。
存储器801可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器801可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器801可进一步包括相对于处理器800远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块802,用于与显示屏建立连接,并实现与显示屏的数据交互。输入装置1073可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备,可执行本发明任一实施例提供的图像处理方法或者直播方法,具体相应的功能和有益效果。
实施例七
本发明实施例七还提供一种计算机可读存储介质,其上存储有计算机程序。
在一种实施方式中,该程序被处理器执行时实现一种图像处理方法,该方法包括:
采集图像数据;
在所述图像数据中识别眼睛所处的眼睛区域;
在所述眼睛区域中识别目标物所处的目标物区域;
对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度。
在另一种实施方式中,该程序被处理器执行时实现一种直播方法,该方法包括:
向直播服务器请求创建直播间;
采集视频数据与音频数据,所述视频数据中具有图像数据;
接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述目标物区域为所述眼睛区域中目标物所处的区域;
采用所述视频数据与所述音频数据生成为直播数据;
将所述直播数据发送至直播服务器,以在所述直播间进行播放。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法或者直播方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述图像处理装置或者直播装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像处理方法,其特征在于,包括:
采集图像数据;
在所述图像数据中识别眼睛所处的眼睛区域;
在所述眼睛区域中识别目标物所处的目标物区域,所述眼睛区域包括除眼睛外的其他目标物区域,所述目标物包括眉毛和/或眼镜;
对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度,所述目标物区域外的区域为在眼睛区域内除了目标物区域以外的区域;
其中,所述对所述眼睛区域进行缩放处理,包括:
在所述眼睛区域中,确定目标点对应的原始缩放系数;
若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;
若像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;
按照所述目标缩放系数确定原始点;
将位于所述原始点的像素点调整至所述目标点。
2.根据权利要求1所述的方法,其特征在于,所述在所述眼睛区域中识别目标物所处的目标物区域,包括:
在所述眼睛区域中识别边缘数据;
对所述边缘数据进行二值化操作,获得二值化数据;
在所述二值化数据中消除未连接的边缘数据与孤立的边缘数据,获得连通数据;
封闭所述连通数据中的空洞,作为所述眼镜所处的目标物区域。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述眼睛区域中,确定目标点对应的原始缩放系数,包括:
确定目标点在所述眼睛区域中所处的相对位置;
确定所述相对位置对应的原始缩放系数。
4.根据权利要求3所述的方法,其特征在于,所述确定目标点在所述眼睛区域中所处的相对位置,包括:
在所述眼睛区域中,计算目标点相对于缩放基准点的第一距离;
确定所述眼睛区域的第二距离;
计算所述第一距离与所述第二距离之间的比值,作为目标点在所述眼睛区域中所处的相对位置。
5.根据权利要求1或2所述的方法,其特征在于,所述对所述原始缩放系数进行衰减处理,获得目标缩放系数,包括:
计算预设的衰减速度与所述原始缩放系数之间的乘积;
若所述乘积小于预设的缩放停止阈值,则将所述乘积设置为目标缩放系数;
若所述乘积大于或等于所述缩放停止阈值,则将所述缩放停止阈值设置为目标缩放系数。
6.根据权利要求1或2所述的方法,其特征在于,所述按照所述目标缩放系数确定原始点,包括:
获取所述目标点在所述眼睛区域中所处的相对位置;
在所述相对位置的基础上乘以所述目标缩放系数,获得原始点。
7.一种直播方法,其特征在于,包括:
向直播服务器请求创建直播间;
采集视频数据与音频数据,所述视频数据中具有图像数据;
接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述眼睛区域包括除眼睛外的其他目标物区域,所述目标物区域为所述眼睛区域中目标物所处的区域,所述目标物包括眉毛和/或眼镜,所述目标物区域外的区域为在眼睛区域内除了目标物区域以外的区域,所述对眼睛区域进行缩放处理,包括:在所述眼睛区域中,确定目标点对应的原始缩放系数;若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;若像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;按照所述目标缩放系数确定原始点;将位于所述原始点的像素点调整至所述目标点;
采用所述视频数据与所述音频数据生成为直播数据;
将所述直播数据发送至直播服务器,以在所述直播间进行播放。
8.一种图像处理装置,其特征在于,包括:
图像数据采集模块,用于采集图像数据;
眼睛区域识别模块,用于在所述图像数据中识别眼睛所处的眼睛区域;
目标物区域识别模块,用于在所述眼睛区域中识别目标物所处的目标物区域,所述眼睛区域包括除眼睛外的其他目标物区域,所述目标物包括眉毛和/或眼镜;
缩放处理模块,用于对所述眼睛区域进行缩放处理,其中,所述目标物区域内的缩放程度小于所述目标物区域外的缩放程度,所述目标物区域外的区域为在眼睛区域内除了目标物区域以外的区域;
其中,所述对所述眼睛区域进行缩放处理,包括:
在所述眼睛区域中,确定目标点对应的原始缩放系数;
若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;
若像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;
按照所述目标缩放系数确定原始点;
将位于所述原始点的像素点调整至所述目标点。
9.一种直播装置,其特征在于,包括:
直播间请求创建模块,用于向直播服务器请求创建直播间;
音视频数据采集模块,用于采集视频数据与音频数据,所述视频数据中具有图像数据;
图像处理操作接收模块,用于接收图像处理操作,所述图像处理操作用于对眼睛区域进行缩放处理,其中,目标物区域内的缩放程度小于目标物区域外的缩放程度,所述眼睛区域为所述图像数据中眼睛所处的区域,所述眼睛区域包括除眼睛外的其他目标物区域,所述目标物区域为所述眼睛区域中目标物所处的区域,所述目标物包括眉毛和/或眼镜,所述目标物区域外的区域为在眼睛区域内除了目标物区域以外的区域,所述对眼睛区域进行缩放处理,包括:在所述眼睛区域中,确定目标点对应的原始缩放系数;若所述目标点位于所述目标物区域外,则按照所述原始缩放系数确定原始点;若像素点位于所述目标物区域内,则对所述原始缩放系数进行衰减处理,获得目标缩放系数;按照所述目标缩放系数确定原始点;将位于所述原始点的像素点调整至所述目标点;
直播数据生成模块,用于采用所述视频数据与所述音频数据生成为直播数据;
直播数据发送模块,用于将所述直播数据发送至直播服务器,以在所述直播间进行播放。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一所述的图像处理方法或者如权利要求7所述的直播方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的图像处理方法或者如权利要求7所述的直播方法。
CN201910107608.7A 2019-02-02 2019-02-02 一种图像处理、直播方法、装置、计算机设备及存储介质 Active CN109819318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910107608.7A CN109819318B (zh) 2019-02-02 2019-02-02 一种图像处理、直播方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910107608.7A CN109819318B (zh) 2019-02-02 2019-02-02 一种图像处理、直播方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109819318A CN109819318A (zh) 2019-05-28
CN109819318B true CN109819318B (zh) 2022-03-22

Family

ID=66605208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910107608.7A Active CN109819318B (zh) 2019-02-02 2019-02-02 一种图像处理、直播方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109819318B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655973A (zh) * 2009-09-17 2010-02-24 广东中大讯通信息有限公司 一种基于人眼视觉特征的图像增强方法
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测系统及其方法
CN107146204A (zh) * 2017-03-20 2017-09-08 深圳市金立通信设备有限公司 一种图像美颜方法及终端
CN108171671A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 一种放大眼睛的美型方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022221B (zh) * 2016-05-09 2021-11-30 腾讯科技(深圳)有限公司 一种图像处理方法及处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655973A (zh) * 2009-09-17 2010-02-24 广东中大讯通信息有限公司 一种基于人眼视觉特征的图像增强方法
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测系统及其方法
CN107146204A (zh) * 2017-03-20 2017-09-08 深圳市金立通信设备有限公司 一种图像美颜方法及终端
CN108171671A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 一种放大眼睛的美型方法及装置

Also Published As

Publication number Publication date
CN109819318A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
US20210281771A1 (en) Video processing method, electronic device and non-transitory computer readable medium
WO2017016030A1 (zh) 一种图像处理方法及终端
US10728510B2 (en) Dynamic chroma key for video background replacement
US20170289434A1 (en) Method and system for image processing to detect salient objects in image
CN109302628B (zh) 一种基于直播的人脸处理方法、装置、设备和存储介质
JP7295950B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
WO2018045789A1 (zh) 图像灰度值调整方法和装置
WO2019000793A1 (zh) 直播中打码方法及装置、电子设备及存储介质
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
WO2021047177A1 (zh) 数据编码方法及装置
WO2020108060A1 (zh) 视频处理方法、装置、电子设备以及存储介质
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
TW201016012A (en) Systems and methods for improving the quality of compressed video signals by smoothing block artifacts
CN113099233A (zh) 视频编码方法、装置、视频编码设备及存储介质
CN110234015A (zh) 直播控制方法、装置、存储介质、终端
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
WO2022111269A1 (zh) 视频的细节增强方法、装置、移动终端和存储介质
CN113112422B (zh) 图像处理方法、装置、电子设备、计算机可读介质
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN117830077A (zh) 图像处理方法、装置以及电子设备
CN109819318B (zh) 一种图像处理、直播方法、装置、计算机设备及存储介质
CN111988525A (zh) 图像处理方法及相关装置
CN112001842A (zh) 图片生成方法、装置、电子设备及计算机可读存储介质
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant