CN106303565A - 视频直播的画质优化方法和装置 - Google Patents
视频直播的画质优化方法和装置 Download PDFInfo
- Publication number
- CN106303565A CN106303565A CN201610664393.5A CN201610664393A CN106303565A CN 106303565 A CN106303565 A CN 106303565A CN 201610664393 A CN201610664393 A CN 201610664393A CN 106303565 A CN106303565 A CN 106303565A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- image
- facial image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 title claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims abstract description 137
- 238000012913 prioritisation Methods 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000006854 communication Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种视频直播的画质优化方法和装置。其中，该方法包括以下步骤：获取摄像头实时拍摄的视频帧；识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。基于本发明，可以随主播距摄像头距离的变化而实时调用对应于该距离的优化方案，从而对视频直播画质进行优化，提升了视频直播的画质，改善了用户的观看体验。
Description
技术领域
本申请涉及网络直播技术领域，尤其是一种视频直播的画质优化方法和装置。
背景技术
随着互联网技术的发展，网络直播间的互动性媒体广播形式得到了不断的发展和广泛的普及。一般而言，网络直播间设有一个主播成员和若干直播间成员。主播成员可以进行跳舞或唱歌等多种形式的表演，通过摄像头实时录制视频并发布到网络直播间，参与成员进入网络直播间后即可观看到主播成员的表演，并可以通过聊天、发送表情等多种方式与主播互动。
现有技术中，为了提升视频直播的画质，已有多种画质优化方法，但是这些方法多是针对相对静态的画面或者主播位置相对固定的视频画面。当主播进行动作幅度较大的表演时，主播的活动范围增加，其距离摄像头的距离随主播的运动而变化，但摄像头的相关参数并不能随这种距离变化而实时调整，从而导致视频直播的画质不佳，降低了用户的观看体验。
发明内容
本申请提供一种视频直播的画质优化方法和装置，解决主播距摄像头距离变化时视频直播画质不佳的问题。
根据本申请的第一方面，本申请提供一种视频直播的画质优化方法，包括如下步骤：获取摄像头实时拍摄的视频帧；识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
优选的，所述计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，包括如下步骤：计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
优选的，所述识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；所述调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
优选的，所述计算所述人脸图像在视频帧中的位置的步骤，具体为：计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
根据本申请的第二方面，本申请提供一种视频直播的画质优化装置，包括：第一获取模块，用于获取摄像头实时拍摄的视频帧；第一识别模块，用于识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；第一优化模块，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
根据本申请的第三方面，本申请提供一种视频直播的画质优化方法，包括如下步骤：获取终端设备实时上传的视频流数据；从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
优选的，所述计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，包括如下步骤：计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
优选的，所述识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；所述调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
优选的，所述计算所述人脸图像在视频帧中的位置的步骤，具体为：计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
根据本申请的第四方面，本申请提供一种视频直播的画质优化装置，包括：第二获取模块，用于获取终端设备实时上传的视频流数据；第二识别模块，用于从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；第二优化模块，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
相对于现有技术，本发明获取摄像头实时拍摄的视频帧,识别所述视频帧中的人脸图像，并计算所述人脸图像所指示的人脸对象距所述摄像头的距离，从而可以调用与所述距离相对应的优化方案来优化视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。因此，本发明可以随主播距摄像头距离的变化而实时调用对应于该距离的优化方案，从而对视频直播画质进行优化，提升了视频直播的画质，改善了用户的观看体验。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一种实施例的视频直播的画质优化方法的流程图；
图2为本发明一种实施例的视频直播的画质优化装置的结构示意图；
图3为本发明一种实施例的视频直播的画质优化方法的流程图；
图4为本发明一种实施例的视频直播的画质优化装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
在对本发明的实施例做出具体阐述之前，有必要先对本发明的应用场景及其原理进行如下的先导性说明。
互联网中，一般包括用户端(用户终端设备)、网络和服务器(如网站的Web服务器等)。其中用户端可以是用户的互联网终端设备，如台式机(PC)、膝上型计算机(Laptop),带有网页浏览功能的智能型设备，如个人数字助理(Personal DigitalAssisstant,PDA)，以及移动互联网设备(Mobile Internet Device,MID)和智能手机(Phone)等。这些终端设备都可以在互联网环境中，典型的如英特网环境中，请求由另一进程(如服务器提供的进程)提供某项服务。
服务器通常是可通过互联网等通信媒介，典型的如英特网访问的远程计算机系统。而且，服务器通常可以为来自互联网的多个用户端提供服务。提供服务过程包括接收用户端发来的请求，收集用户端情报和反馈信息等。实质上，服务器充当计算机网络的信息提供者这一角色。服务器通常位于提供服务的一方，或由服务提供方配置以服务内容，这样的服务提供方可以如互联网服务公司的网站等。
在网络直播过程中，用户通过终端设备上的网络直播应用程序进入网络直播间。在网络直播间内具有两种成员，分别是主播成员和参与成员。主播成员进行直播表演，通过终端设备将录制的视频或音频文件发送至对应的服务器，服务器再将该视频或音频文件发布至网络直播间，以供参与成员观看。
一种视频直播的画质优化方法，该方法从终端设备侧进行描述，其包括如下步骤：
S101：获取摄像头实时拍摄的视频帧。
在进行视频直播时，终端设备提供相应的直播界面。直播界面提供视频显示区域和/或控制区域等，视频显示区域显示主播成员的直播表演，控制区域提供相应的按键，以在用户点击该按键时，实施相应控制或设置。当然，鉴于主播成员和参与成员的身份不同，该直播界面在主播成员的客户端与参与成员的客户端具有一定区别。
主播成员通过点击该控制区域的相应按钮以启动摄像头，开启直播表演，摄像头对主播成员的表演行为进行实时拍摄，终端设备即获取到所拍摄的视频帧。该视频帧中应包含主播成员图像，具体而言，应包含主播成员的人脸图像。当然，主播成员也可通过点击该控制区域的相应按钮以关闭摄像头，从而终止视频直播。
其中，摄像头可以是终端设备自带的摄像头，也可以是终端设备外接的摄像头，例如手机摄像头或笔记本摄像头等。
S102：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
通过相应的人脸识别算法以识别视频帧中主播的人脸图像，同时可以计算该人脸图像在视频帧中的图像面积。在不对摄像头进行调整的情况下，同一摄像头具有固定的视角，若忽略相距，则人脸的图像面积与视频帧图像面积的比值同实际人脸距摄像头的距离呈正比关系。若设定人脸的图像面积为S1,视频帧图像面积为S2，人脸实际距摄像头的距离为d，则d＝a*S1/S2,其中a为预定参数。对于一般摄像头而言，当人脸实际距摄像头的距离是50厘米时，人脸图像将完全占据视频帧图像，因此可以设定预定参数a＝0.5m。通过以上算法即可计算出人脸图像所指示的人脸对象距所述摄像头的距离，即人脸实际距摄像头的距离。
S103：调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
终端设备预存有对应于人脸距摄像头距离的优化方案以及该优化方案与上述距离的映射关系，通过计算出的距离确定映射于该距离的优化方案，从而依据所确定的优化方案对视频帧的画质进行优化。其中，该优化方案包含对应于所述距离的优化参数以及所需实施的优化操作。
在一种示例中，优化参数为对应于所述距离的锐化值。物体距摄像头的距离越远，焦距变长，锐化度下降，导致物体的成像边缘会变模糊，可依据人脸距摄像头的距离确定锐化值，从而依据该锐化值对视频帧进行锐化。在另一种示例中，优化参数为对应于所述距离的为亮度值。物体距摄像头的距离越远，成像的亮度会下降，可依据人脸距摄像头的距离确定亮度值，从而将视频帧图像的亮度调整至该亮度，以对视频帧进行优化。本领域技术人员应理解，上述优化方案的列举仅为几种示例，优化方案不限于上述的锐化值调整和亮度值调整，本领域技术人员可以依据人脸距摄像头的距离确定合理的优化方案以对视频帧画质进行优化。
在对视频帧的画质进行优化后，对视频帧进行编码和压缩等操作，以将视频帧转化为视频流数据，再发送至预设服务器。服务器对视频流数据进行存储，并根据终端设备的请求，例如参与成员的直播间进入请求，从而将视频流数据发送至请求方的终端设备。其中，终端设备可通过客户端或网页访问服务器，服务器将视频流数据发送至请求方的终端设备后，终端设备通过相应的客户端播放器或网页视频播放器观看视频直播。
在一种实施例中，步骤S102识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；步骤S103调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
本实施例在识别出视频帧中的人脸图像后，进一步计算人脸图像在视频帧中的位置。具体而言，计算所述人脸图像距所述视频帧四边的距离，从而确定所述人脸图像在视频帧中的位置。由于人脸位置的变动，视频帧中的人脸图像会形成不规则的椭圆形，可通过预定的算法，确定人脸图像的几何中心，以该几何中心所在的位置为人脸图像所在位置。或者，围绕人脸图像的外围设定一个几何区域，且该几何区域为规则的几何形状，以该几何区域的几何中心所在的位置为人脸图像所在位置。
确定人脸图像所在位置后，以人脸图像所在位置为中心，划定预设范围，该预设范围的形状可以呈圆形、方形或其他形状，且该预设范围应包含人脸图像。再调用与人脸对象距所述摄像头的距离相对应的优化方案，优化该预设范围内的图像的画质。鉴于在观看视频直播时，参与成员主要是观看主播成员的脸部，因此可主要对视频帧的人脸图像进行优化，而对视频帧中某一区域实施优化所需的时间远小于对整个视频帧实施优化所需的时间，故通过本实施例可减少终端设备实施优化所需的时间，从而提升视频流数据的上传速度，加快网络传输。
本发明实施例还提供一种视频直播的画质优化装置，如图2所示，其包括：第一获取模块201，用于获取摄像头实时拍摄的视频帧；第一识别模块202，用于识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；第一优化模块203，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
在一种实施例中，所述第一识别模块202用于计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
在一种实施例中，所述第一识别模块202用于识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；所述第一优化模块203用于调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
在一种实施例中，所述第一识别模块202用于计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
上述视频直播的画质优化装置的实施例所包含的功能模块的具体说明，可参见上述视频直播的画质优化方法部分的实施例，在此不做赘述。
本发明实施例还提供一种视频直播的画质优化方法，如图3所示，其包括如下步骤：
S301：获取终端设备实时上传的视频流数据；
S302：从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；
S303：调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
终端设备通过摄像头实时获取关于主播成员表演的视频帧，将视频帧转化为视频流数据后上传至服务器，服务器即获取到终端设备实时上传的视频流数据。服务器再对视频流数据进行解码，从中解析出原有的视频帧，通过相应的人脸识别算法以识别视频帧中主播的人脸图像，同时可以计算该人脸图像在视频帧中的图像面积。在不对摄像头进行调整的情况下，同一摄像头具有固定的视角，若忽略相距，则人脸的图像面积与视频帧图像面积的比值同实际人脸距摄像头的距离呈正比关系。若设定人脸的图像面积为S1,视频帧图像面积为S2，人脸实际距摄像头的距离为d，则d＝a*S1/S2,其中a为预定参数。对于一般摄像头而言，当人脸实际距摄像头的距离是50厘米时，人脸图像将完全占据视频帧图像，因此可以设定预定参数a＝0.5m。通过以上算法即可计算出人脸图像所指示的人脸对象距所述摄像头的距离，即人脸实际距摄像头的距离。
服务器预存有对应于人脸距摄像头距离的优化方案以及该优化方案与上述距离的映射关系，通过计算出的距离确定映射于该距离的优化方案，从而依据所确定的优化方案对视频帧的画质进行优化。其中，该优化方案包含对应于所述距离的优化参数以及所需实施的优化操作。
在一种示例中，优化参数为对应于所述距离的锐化值。物体距摄像头的距离越远，焦距变长，锐化度下降，导致物体的成像边缘会变模糊，可依据人脸距摄像头的距离确定锐化值，从而依据该锐化值对视频帧进行锐化。在另一种示例中，优化参数为对应于所述距离的为亮度值。物体距摄像头的距离越远，成像的亮度会下降，可依据人脸距摄像头的距离确定亮度值，从而将视频帧图像的亮度调整至该亮度，以对视频帧进行优化。本领域技术人员应理解，上述优化方案的列举仅为几种示例，优化方案不限于上述的锐化值调整和亮度值调整，本领域技术人员可以依据人脸距摄像头的距离确定合理的优化方案以对视频帧画质进行优化。
在对视频帧的画质进行优化后，服务器再将视频帧转化为视频流数据并进行存储。在终端设备发送播放请求，例如参与成员发送的直播间进入请求时，将视频流数据发送至请求方的终端设备。其中，终端设备可通过客户端或网页访问服务器，服务器将视频流数据发送至请求方的终端设备后，终端设备通过相应的客户端播放器或网页视频播放器观看视频直播。
在一种实施例中，步骤S302中识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；步骤S303中调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
进一步的，步骤S302计算所述人脸图像在视频帧中的位置的步骤，具体为：计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
本实施例在识别出视频帧中的人脸图像后，进一步计算人脸图像在视频帧中的位置。具体而言，计算所述人脸图像距所述视频帧四边的距离，从而确定所述人脸图像在视频帧中的位置。由于人脸位置的变动，视频帧中的人脸图像会形成不规则的椭圆形，可通过预定的算法，确定人脸图像的几何中心，以该几何中心所在的位置为人脸图像所在位置。或者，围绕人脸图像的外围设定一个几何区域，且该几何区域为规则的几何形状，以该几何区域的几何中心所在的位置为人脸图像所在位置。
确定人脸图像所在位置后，以人脸图像所在位置为中心，划定预设范围，该预设范围的形状可以呈圆形、方形或其他形状，且该预设范围应包含人脸图像。再调用与人脸对象距所述摄像头的距离相对应的优化方案，优化该预设范围内的图像的画质。对视频帧中某一区域实施优化所需的时间远小于对整个视频帧实施优化所需的时间，故通过本实施例可减少服务器实施优化所需的时间，从而提升视频流数据的下行传输速度。
本发明实施例还提供一种视频直播的画质优化装置，如图4所示，其包括：第二获取模块401，用于获取终端设备实时上传的视频流数据；第二识别模块402，用于从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；第二优化模块403，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
在一种实施例中，第二识别模块402用于计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
在一种实施例中，第二识别模块402用于识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；第二优化模块403用于调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
进一步的，第二识别模块402用于计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
上述视频直播的画质优化装置的实施例所包含的功能模块的具体说明，可参见上述视频直播的画质优化方法部分的实施例，在此不做赘述。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种视频直播的画质优化方法，其特征在于：包括如下步骤：
获取摄像头实时拍摄的视频帧；
识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；
调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
2.根据权利要求1所述的方法，其特征在于：所述计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，包括如下步骤：
计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
3.根据权利要求1或2所述的方法，其特征在于：
所述识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；
所述调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
4.根据权利要求3所述的方法，其特征在于：所述计算所述人脸图像在视频帧中的位置的步骤，具体为：
计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
5.一种视频直播的画质优化装置，其特征在于：包括：
第一获取模块，用于获取摄像头实时拍摄的视频帧；
第一识别模块，用于识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；
第一优化模块，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设服务器。
6.一种视频直播的画质优化方法，其特征在于：包括如下步骤：
获取终端设备实时上传的视频流数据；
从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；
调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
7.根据权利要求6所述的方法，其特征在于：所述计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，包括如下步骤：
计算所述人脸图像在所述视频帧中的图像面积与所述视频帧的图像面积的比值，依据所述比值和预设参数计算所述人脸图像所指示的人脸对象距所述摄像头的距离。
8.根据权利要求6或7所述的方法，其特征在于：
所述识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离的步骤，具体为：识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离以及所述人脸图像在视频帧中的位置；
所述调用与所述距离相对应的优化方案优化所述视频帧的画质的步骤，具体为：调用与所述距离相对应的优化方案优化所述视频帧中人脸图像所在位置的预设范围内的图像的画质。
9.根据权利要求8所述的方法，其特征在于：所述计算所述人脸图像在视频帧中的位置的步骤，具体为：
计算所述人脸图像距所述视频帧边缘的距离，依据所述人脸图像距所述视频帧边缘的距离确定所述人脸图像在视频帧中的位置。
10.一种视频直播的画质优化装置，其特征在于：包括：
第二获取模块，用于获取终端设备实时上传的视频流数据；
第二识别模块，用于从所述视频流数据中解析出视频帧，识别所述视频帧中的人脸图像，计算所述人脸图像所指示的人脸对象距所述摄像头的距离；
第二优化模块，用于调用与所述距离相对应的优化方案优化所述视频帧的画质，将优化后的视频帧转化为视频流数据并发送至预设终端设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610664393.5A CN106303565B (zh) | 2016-08-12 | 2016-08-12 | 视频直播的画质优化方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610664393.5A CN106303565B (zh) | 2016-08-12 | 2016-08-12 | 视频直播的画质优化方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106303565A true CN106303565A (zh) | 2017-01-04 |
| CN106303565B CN106303565B (zh) | 2019-06-18 |
Family
ID=57669950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610664393.5A Active CN106303565B (zh) | 2016-08-12 | 2016-08-12 | 视频直播的画质优化方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106303565B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107493515A (zh) * | 2017-08-30 | 2017-12-19 | 乐蜜有限公司 | 一种基于直播的事件提醒方法及装置 |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN108875529A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸空间定位方法、装置、系统及计算机存储介质 |
| CN109752951A (zh) * | 2017-11-03 | 2019-05-14 | 腾讯科技（深圳）有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
| CN111428666A (zh) * | 2020-03-31 | 2020-07-17 | 齐鲁工业大学 | 基于快速人脸检测的智能家庭陪伴机器人系统及方法 |
| CN112906529A (zh) * | 2021-02-05 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 人脸识别补光方法、装置、人脸识别设备及其系统 |
| CN113132622A (zh) * | 2020-01-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
| CN113542785A (zh) * | 2021-07-13 | 2021-10-22 | 北京字节跳动网络技术有限公司 | 应用于直播的音频的输入输出的切换方法、直播设备 |
| CN114189621A (zh) * | 2020-09-14 | 2022-03-15 | 阿里巴巴集团控股有限公司 | 图像的处理方法及装置 |
| CN114816051A (zh) * | 2022-03-31 | 2022-07-29 | 北京达佳互联信息技术有限公司 | 虚拟空间互动方法、装置、终端以及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040204060A1 (en) * | 2002-03-20 | 2004-10-14 | Takumi Makinouchi | Communication terminal device capable of transmitting visage information |
| CN101415103A (zh) * | 2007-10-19 | 2009-04-22 | 英华达（南京）科技有限公司 | 视讯画面的调整方法 |
| CN102202206A (zh) * | 2010-03-25 | 2011-09-28 | 索尼公司 | 通信设备 |
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN105578018A (zh) * | 2014-10-10 | 2016-05-11 | 中兴通讯股份有限公司 | 一种调整焦距的方法、装置及终端 |
-
2016
- 2016-08-12 CN CN201610664393.5A patent/CN106303565B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040204060A1 (en) * | 2002-03-20 | 2004-10-14 | Takumi Makinouchi | Communication terminal device capable of transmitting visage information |
| CN101415103A (zh) * | 2007-10-19 | 2009-04-22 | 英华达（南京）科技有限公司 | 视讯画面的调整方法 |
| CN102202206A (zh) * | 2010-03-25 | 2011-09-28 | 索尼公司 | 通信设备 |
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN105578018A (zh) * | 2014-10-10 | 2016-05-11 | 中兴通讯股份有限公司 | 一种调整焦距的方法、装置及终端 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107493515B (zh) * | 2017-08-30 | 2021-01-01 | 香港乐蜜有限公司 | 一种基于直播的事件提醒方法及装置 |
| CN107493515A (zh) * | 2017-08-30 | 2017-12-19 | 乐蜜有限公司 | 一种基于直播的事件提醒方法及装置 |
| US11190853B2 (en) | 2017-08-30 | 2021-11-30 | Joyme Pte. Ltd. | Event prompting method and apparatus based on live broadcasting |
| WO2019042064A1 (zh) * | 2017-08-30 | 2019-03-07 | 乐蜜有限公司 | 一种基于直播的事件提醒方法及装置 |
| CN109752951B (zh) * | 2017-11-03 | 2022-02-08 | 腾讯科技（深圳）有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
| CN109752951A (zh) * | 2017-11-03 | 2019-05-14 | 腾讯科技（深圳）有限公司 | 控制系统的处理方法、装置、存储介质和电子装置 |
| US11275239B2 (en) | 2017-11-03 | 2022-03-15 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for operating control system, storage medium, and electronic apparatus |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN108875529A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸空间定位方法、装置、系统及计算机存储介质 |
| US10922527B2 (en) | 2018-01-11 | 2021-02-16 | Beijing Kuangshi Technology Co., Ltd. | Face spatial positioning method, face spatial positioning system, and non-transitory computer-readable recording medium |
| CN113132622A (zh) * | 2020-01-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
| CN113132622B (zh) * | 2020-01-14 | 2023-07-14 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
| CN111428666A (zh) * | 2020-03-31 | 2020-07-17 | 齐鲁工业大学 | 基于快速人脸检测的智能家庭陪伴机器人系统及方法 |
| CN114189621A (zh) * | 2020-09-14 | 2022-03-15 | 阿里巴巴集团控股有限公司 | 图像的处理方法及装置 |
| CN112906529A (zh) * | 2021-02-05 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 人脸识别补光方法、装置、人脸识别设备及其系统 |
| CN112906529B (zh) * | 2021-02-05 | 2024-06-04 | 深圳前海微众银行股份有限公司 | 人脸识别补光方法、装置、人脸识别设备及其系统 |
| CN113542785A (zh) * | 2021-07-13 | 2021-10-22 | 北京字节跳动网络技术有限公司 | 应用于直播的音频的输入输出的切换方法、直播设备 |
| WO2023284411A1 (zh) * | 2021-07-13 | 2023-01-19 | 北京字节跳动网络技术有限公司 | 应用于直播的音频的输入输出的切换方法、直播设备 |
| CN114816051A (zh) * | 2022-03-31 | 2022-07-29 | 北京达佳互联信息技术有限公司 | 虚拟空间互动方法、装置、终端以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106303565B (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106303565A (zh) | 视频直播的画质优化方法和装置 | |
| US11601699B2 (en) | Predictive content delivery for video streaming services | |
| CN106792092B (zh) | 直播视频流分镜显示控制方法及其相应的装置 | |
| CN104899768B (zh) | 奖品信息产生方法、装置及系统 | |
| US8803991B2 (en) | Snapshot capture in video stream | |
| US20090019176A1 (en) | Live Video Collection And Distribution System and Method | |
| CN101189872A (zh) | 照相机的规格化图像 | |
| CN106412621A (zh) | 网络直播间的视频显示方法及装置、控制方法与相关设备 | |
| CN105519123A (zh) | 实况众包的媒体流 | |
| Kirichek et al. | Transfer of multimedia data via LoRa | |
| CN109660738B (zh) | 基于双摄像头的曝光控制方法及系统 | |
| CN106303557A (zh) | 网络直播的直播内容展示方法和装置 | |
| CN105979194A (zh) | 一种视频图像处理装置和方法 | |
| CN110234015A (zh) | 直播控制方法、装置、存储介质、终端 | |
| CN107592549A (zh) | 基于双向通信的全景视频播放拍照系统 | |
| WO2014075413A1 (zh) | 一种确定待共享的终端的方法、装置和系统 | |
| CN112988671A (zh) | 媒体文件处理方法、装置、可读介质及电子设备 | |
| CN105681817A (zh) | 一种智能终端视音频采集传输播放系统和方法 | |
| CN114679607A (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| US20160029063A1 (en) | Method and apparatus for providing service of rankings of multimedia in social network service system | |
| RU90230U1 (ru) | Система видеонаблюдения с общим сервером в сети интернет | |
| KR101939130B1 (ko) | 영상 중계 방법, 영상 제공 방법 및 이를 이용하는 장치 | |
| CN109040717A (zh) | 一种指挥调度信息展示方法及系统 | |
| KR100798917B1 (ko) | 디지털 사진 컨텐츠 처리 시스템 및 그 시스템에서의디지털 사진 컨텐츠 송/수신 방법 및 장치 | |
| CN107707830A (zh) | 基于单向通信的全景视频播放拍照系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210115 Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 511449 29 / F, building B-1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |