CN104202614A - 一种基于网络环境调整视频画质的方法及装置 - Google Patents

一种基于网络环境调整视频画质的方法及装置 Download PDF

Info

Publication number
CN104202614A
CN104202614A CN201410404533.6A CN201410404533A CN104202614A CN 104202614 A CN104202614 A CN 104202614A CN 201410404533 A CN201410404533 A CN 201410404533A CN 104202614 A CN104202614 A CN 104202614A
Authority
CN
China
Prior art keywords
frame
video
sequence number
image quality
fractionation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410404533.6A
Other languages
English (en)
Other versions
CN104202614B (zh
Inventor
李飞云
高自光
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Technology Co Ltd
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201410404533.6A priority Critical patent/CN104202614B/zh
Publication of CN104202614A publication Critical patent/CN104202614A/zh
Priority to JP2016541813A priority patent/JP6195674B2/ja
Priority to RU2015124150A priority patent/RU2624641C2/ru
Priority to BR112015015813-7A priority patent/BR112015015813B1/pt
Priority to MX2015007044A priority patent/MX358530B/es
Priority to PCT/CN2015/074610 priority patent/WO2016023358A1/zh
Priority to KR1020157012814A priority patent/KR101650368B1/ko
Priority to US14/738,165 priority patent/US10085050B2/en
Priority to EP15181271.6A priority patent/EP2986020B1/en
Application granted granted Critical
Publication of CN104202614B publication Critical patent/CN104202614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6375Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6583Acknowledgement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • General Engineering & Computer Science (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

本公开是关于一种基于网络环境调整视频画质的方法及装置,该方法包括:接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。本公开提供的方案可以保证智能摄像头根据当前的网络环境调整视频的画质参数,进而保证终端能够流畅的播放视频。

Description

一种基于网络环境调整视频画质的方法及装置
技术领域
本发明涉及通信技术领域,更具体的说,涉及基于网络环境调整视频画质的方法及装置。
背景技术
随着技术的发展,智能摄像头已经逐渐的应用到用户的日常生活中。通常情况下,用户会将智能摄像头安装在家里,以使智能摄像头即时的向用户的移动终端发送家里面的视频图像,从而确保用户的财产安全。
目前,智能摄像头会通过UDP(User Datagram Protocol,用户数据报协议)将采集到的视频数据发送给用户的移动终端。由于在网络环境阻塞较为严重的情况下,UDP协议数据包丢失的数量较多,从而导致移动终端在播放智能摄像头发送的视频数据时出现图像花屏或图像卡顿的情况;而且在网络环境较差的情况下,智能摄像头向移动终端传输视频数据的速度也会变慢,从而导致移动终端在播放智能摄像头发送的视频数据时出现长时间卡死或无法正常播放的情况。另外,在网络环境较好的情况下,有时智能摄像头本来可以向移动终端传输更高码率的视频数据,但是由于智能摄像头无法改变预先设置的码率,所以不仅浪费了网络带宽资源,而且无法提供给移动终端高清的画质。
因此,现有的智能摄像头无法调整视频数据的码率,从而不能更好的适应当前的网络环境。
发明内容
为克服相关技术中存在的问题,本公开提供一种基于网络环境调整视频画质的方法及装置,以使智能摄像头可以根据当前的网络环境调整视频的画质参数,进而保证终端能够流畅的播放视频。
根据本公开实施例的第一方面,提供一种基于网络环境调整视频画质的方法,包括:
接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;
在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
可选的,所述方法还包括:
获取采集到的视频数据;
利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
向终端发送所述带有帧序号的视频帧。
可选的,接收终端发送的丢失的视频帧的目标帧序号之前,所述方法还包括:
判断所述视频帧是否为关键帧;
在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数;向终端依次发送所述多个带有数据头的拆分帧;
在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
可选的,所述方法还包括:
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,确定带有所述目标帧序号的视频帧;
将带有所述目标帧序号的视频帧发送给所述终端,将所述当前重发次数累加一次;
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数的步骤。
根据本公开实施例的第二方面,提供一种基于网络环境调整视频画质的方法,包括:
接收图像采集设备发送的带有帧序号的视频帧,所述带有帧序号的视频帧为所述图像采集设备利用预设视频编码方法按照指定画质参数将所述视频数据压缩成的;
按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
在按照所述预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将所述丢失的视频帧的目标帧序号发送给所述图像采集设备,以使所述图像采集设备将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳,并确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数,以调整指定画质参数。
可选的,所述按照预设判断条件判断是否存在丢失的视频帧的目标帧序号的步骤包括:
在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;
在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
可选的,所述方法还包括:
在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;
在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
根据本公开实施例的第三方面,提供一种基于网络环境调整视频画质的装置,包括:
接收模块,用于接收所述终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定模块,用于确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
画质调整模块,用于在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
可选的,所述装置还包括:
获取模块,用于获取采集到的视频数据;
压缩模块,用于利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
发送模块,用于向终端发送所述带有帧序号的视频帧;
可选的,所述装置还包括:
判断模块,用于判断所述视频帧是否为关键帧;
执行模块,用于在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数,向终端依次发送所述多个带有数据头的拆分帧;在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
可选的,所述装置还包括:
重发控制模块,用于在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,则确定带有所述目标帧序号的视频帧,将带有所述目标帧序号的视频帧发送给所述终端,并将所述当前重发次数累加一次;在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定模块。
根据本公开实施例的第四方面,提供一种基于网络环境调整视频画质的装置,包括:
接收模块,用于接收图像采集设备发送的带有帧序号的视频帧,所述带有帧序号的视频帧为所述图像采集设备利用预设视频编码方法按照指定画质参数将所述视频数据压缩成的;
判断模块,用于按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
执行模块,用于在按照所述预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将所述丢失的视频帧的目标帧序号发送给所述图像采集设备,以使所述图像采集设备将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳,并确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数,以调整指定画质参数。
可选的,所述判断模块包括:
第一判断子模块,用于在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;
第一执行子模块,用于在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
可选的,所述方法还包括:
第二判断子模块,用于在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;
第二执行子模块,用于在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
根据本公开实施例的第五方面,提供一种基于网络环境调整视频画质的装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;
在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
本公开的实施例提供的技术方案可以包括以下有益效果:通过确定在单位时间内终端丢失视频帧的个数可以判断出当前的网络环境的好与坏。在确定出目标帧序号的个数大于第一阈值时,说明在单位时间内丢失的视频帧数量较多,当前的网络环境较差,所以可以降低指定画质参数,以降低发送速率,从而保证用户可以通过终端观看到流畅的视频画面;在确定出目标帧序号的个数小于第二阈值时,说明在单位时间内丢失的视频帧数量较少,当前的网络环境较好,所以可以提高指定画质参数,以提高发送速率,从而保证用户可以通过终端观看到清晰的视频画面。因此,本公开可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于网络环境调整视频画质的方法的流程图。
图2是根据一示例性实施例示出的另一种基于网络环境调整视频画质的方法的流程图。
图3是根据一示例性实施例示出的另一种基于网络环境调整视频画质的方法的流程图。
图4是根据一示例性实施例示出的拆分帧的结构框图。
图5是根据一示例性实施例示出的另一种基于网络环境调整视频画质的方法的流程图。
图6是根据一示例性实施例示出的一种基于网络环境调整视频画质的装置的示意图。
图7是根据一示例性实施例示出的另一种基于网络环境调整视频画质的装置的示意图。
图8是根据一示例性实施例示出的一种基于网络环境调整视频画质的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于网络环境调整视频画质的方法的流程图,如图1所示,图1所示的基于网络环境调整视频画质的方法,可以用于图像采集设备中。本公开提供的基于网络环境调整视频画质的方法可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。该方法包括以下步骤。
在步骤S11中,接收终端发送的丢失的视频帧的目标帧序号,并将接收到目标帧序号的时间作为目标帧序号的时间戳。
在步骤S12中,确定位于预设时间段内的时间戳对应的目标帧序号的个数。
在步骤S13中,在目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在目标帧序号的个数小于第二阈值时,按照预设配置条件提高指定画质参数,第一阈值大于第二阈值。
在另一公开实施例中,所述方法还包括:
获取采集到的视频数据;
利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
向终端发送所述带有帧序号的视频帧。
在另一公开实施例中,接收终端发送的丢失的视频帧的目标帧序号之前,所述方法还包括:
判断所述视频帧是否为关键帧;
在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数;向终端依次发送所述多个带有数据头的拆分帧;
在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
在另一公开实施例中,所述方法还包括:
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,确定带有所述目标帧序号的视频帧;
将带有所述目标帧序号的视频帧发送给所述终端,将所述当前重发次数累加一次;
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数的步骤。
如图2所示,图2所示的基于网络环境调整视频画质的方法,可以用于终端设备中。
在步骤S21中,接收图像采集设备发送的带有帧序号的视频帧,该带有帧序号的视频帧为图像采集设备利用预设视频编码方法按照指定画质参数将视频数据压缩成的;
在步骤S22中,按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
在步骤S23中,在按照所述预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将所述丢失的视频帧的目标帧序号发送给所述图像采集设备,以使所述图像采集设备将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳,并确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数,以调整指定画质参数。
在另一公开实施例中,按照预设判断条件判断是否存在丢失的视频帧的目标帧序号的步骤包括:
在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;
在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
在另一公开实施例中,方法还包括:
在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;
在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
下面通过另一公开实施例对基于网络环境调整视频画质的方法进行说明,如图3所示,包括:
在步骤S31中,获取采集到的视频数据。
其中,本公开提供的方法可以应用在图像采集设备内,该图像采集设备可以为摄像头或录像机等设备。在图像采集设备采集到视频数据以后,图像采集设备需要将它获取到,以备后续步骤使用。
在步骤S32中,利用预设视频编码方法按照指定画质参数将视频数据压缩成带有帧序号的视频帧。
其中,在获取到视频数据以后,需要利用预设视频编码方法按照指定画质参数对视频数据进行压缩,以生成带有帧序号的视频帧。预设视频编码方法可以为H.262、H.263或H264等编码方法,当然,不局限于已提供的编码方法。指定画质参数为预设视频编码方法的一项编码参数,指定画质参数越高,经过编码生成的视频帧的图像质量越高,视频帧的清晰度越高,指定画质参数越低,经过编码生成的视频帧的图像质量越低,视频帧的清晰度越低,指定画质参数可以为视频码率或分辨率等参数。每个视频帧都会有一个唯一的帧序号,可以通过帧序号来区别视频帧。
在步骤S33中,向终端发送带有帧序号的视频帧。
其中,图像采集设备在生成带有帧序号的视频帧以后,便会将带有帧序号的视频帧发送给终端。
在步骤S34中,接收终端发送的丢失的视频帧的目标帧序号,并将接收到目标帧序号的时间作为目标帧序号的时间戳。
其中,在图像采集设备依次向终端发送带有帧序号的视频帧时,如果终端在一定时间内没有接收到某个视频帧,则终端会认为该视频帧已经丢失。在终端确定出丢失的视频帧的目标帧序号以后,所以终端会向图像采集设备发送丢失的视频帧的目标帧序号,以告知图像采集设备丢失的视频帧的目标帧序号。图像采集设备在接收到丢失的视频帧的目标帧序号以后,会将接收到该目标帧序号的时间作为目标帧序号的时间戳。
例如,终端发送的丢失的视频帧的目标帧序号为1001,图像采集设备接收到该目标帧序号1001的时间为9点25分39秒,并将时间9点25分39秒作为目标帧序号1001的时间戳。当然,为了后续步骤确定更加精确,时间戳可以取更小的毫秒或微妙。
在步骤S35中,确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数。
其中,在图像采集设备向终端依次发送带有帧序号的视频帧的过程中,终端也会将丢失的目标帧序号发送给图像采集设备,而且图像采集设备为每个目标帧序号都配备一个时间戳,所以图像采集设备便可以确定出时间戳在某段时间内的目标帧序号的个数。
例如,假设图像采集设备接收终端发送的丢失的视频帧的目标帧序号分别为1001、1003、1007、1025和1056,目标帧序号1001的时间戳为10点10分25秒,目标帧序号1003的时间戳为10点10分26秒,目标帧序号1007的时间戳为10点10分28秒,目标帧序号1025的时间戳为10点10分30秒,目标帧序号1056的时间戳为10点10分31秒,则图像采集设备要求确定在10点10分26秒至10点10分30秒之间的目标帧序号的个数,经过确定可以得知,有三个目标帧序号在这个时间段内,这三个目标帧序号分别为1003、1007和1025。
在步骤S36中,在目标帧序号的个数大于第一阈值时,按照预设配置条件降低指定画质参数。
其中,图像采集设备会预先设置两个阈值,分别为第一阈值和第二阈值。如果目标帧序号的个数大于第一阈值,说明在单位时间内丢失的视频帧数量较多,当前的网络环境较差,所以可以降低指定画质参数,以使预设视频编码方法在下一次对采集到的视频数据进行压缩编码时,将生成较低画质的视频帧,以降低图像采集设备的发送速率,从而保证终端在网络环境较差的情况下,也可以播放出流畅的视频画面,从而可以保证在网络环境不好时也不会出现视频画面经常卡顿的现象。
在步骤S37中,在目标帧序号的个数小于第二阈值时,按照预设配置条件提高指定画质参数,第一阈值大于第二阈值。
其中,如果目标帧序号的个数小于第二阈值,说明在单位时间内丢失的视频帧数量较少,当前的网络环境较好,所以可以提高指定画质参数,以使预设视频编码方法在下一次对采集到的视频数据进行压缩编码时,将生成较高画质的视频帧,以提高图像采集设备的发送速率,从而保证终端在网络环境较好的情况下,可以播放出较清晰的视频画面,从而可以避免在网络环境较好时图像采集设备还是向终端发送预先设定好的画质较差的视频资源,从而可以避免浪费网络带宽资源。
在图3所示的实施例中,通过确定在单位时间内终端丢失视频帧的个数可以判断出当前的网络环境的好与坏。在确定出目标帧序号的个数大于第一阈值时,说明在单位时间内丢失的视频帧数量较多,当前的网络环境较差,所以可以降低指定画质参数,以降低发送速率,从而保证用户可以通过终端观看到流畅的视频画面;在确定出目标帧序号的个数小于第二阈值时,说明在单位时间内丢失的视频帧数量较少,当前的网络环境较好,所以可以提高指定画质参数,以提高发送速率,从而保证用户可以通过终端观看到清晰的视频画面。因此,本公开可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。
在本公开的一个可选的实施例中,在步骤S32之后,在步骤S33之前,本公开提供的方法还可以包括以下步骤:判断视频帧是否为关键帧;在视频帧为关键帧时,按照预设拆分条件将关键帧拆分成多个带有数据头的拆分帧,数据头包含关键帧的帧序号、拆分帧的拆分帧序号和多个拆分帧的总个数,向终端依次发送多个带有数据头的拆分帧,并执行步骤S34;在视频帧不为关键帧时,执行步骤S33。
这样做的目的是,在利用预设视频编码方法对视频数据进行压缩以后,会生成关键帧和预测帧,其中,关键帧可以称为I帧,预测帧可以成为P帧。由于I帧的数据量比较大,和前后的数据帧没有关联,是个独立的帧,所以前面帧丢掉或者有错,也不影响I帧显示,解码时只需要I帧就可以完成,因此,I帧非常重要。而P帧是预测帧,P帧表示的是这一帧跟之前的一个I帧或P帧的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,与前面的帧关联大,数据量少,前面的帧丢掉或者有错,会影响P帧显示,但是不会影响其他帧的显示,所以P帧不是很重要。在判断出视频帧为关键帧时,为了避免在传输过程中该关键帧会完全丢失,所以将该关键帧按照预设拆分条件拆分成多个带有数据头的拆分帧,这样一个关键帧就被拆分成多个拆分帧,而且每个拆分帧都带有数据头,数据头中含关键帧的帧序号、拆分帧的拆分帧序号和多个拆分帧的总个数,以便于终端可以通过数据头中的数据判断出这一个关键帧中的哪个拆分帧已经丢失,终端便可以将丢失的拆分帧的拆分帧序号和关键帧的帧序号发送给图像采集设备,以使图像采集设备可以按照终端发送的拆分帧序号和帧序号查找对应的拆分帧,并重新向终端发送一次该丢失的拆分帧,所以利用本公开提供的方法可以找回丢失的关键帧。
请参见图4所示,图4所示的为拆分帧的结构框图,拆分帧包括关键帧的帧序号、拆分帧的总个数、拆分帧的拆分帧序号和数据体。其中,帧序号、总个数和拆分帧序号表示数据头。
另外,预设拆分条件可以为使关键帧拆分后的每个拆分帧的大小均小于当前网络环境的最大传输单元,例如,假设前网络环境的最大传输单元为1500字节,那么可以设置每个拆分帧的大小均为1024字节,也可以设置为1040字节,还可以设置为900字节,总之,每个拆分帧的大小均要小于最大传输单元1500字节。
例如,假设图像采集设备已经判断出当前要发送的视频帧为关键帧,且该关键帧的帧序号为101,该关键帧的大小为5000字节,假设前网络环境的最大传输单元为1500字节,用户预先将每个拆分帧的大小均设置在1000字节,那么图像采集设备便会将帧序号为101的关键帧拆分成5个大小均为1000字节的拆分帧,且这5个拆分帧均带有数据头,第一个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1001和拆分帧的总个数5个,第二个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1002和拆分帧的总个数5个,第三个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1003和拆分帧的总个数5个,第四个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1004和拆分帧的总个数5个,第五个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1005和拆分帧的总个数5个。在拆分完毕以后,将这五个带有数据头的拆分帧依次传输给终端。
在本公开的另一个可选的实施例中,基于上述实施例的基础上,在步骤S34之后,本公开提供的方法还可以包括以下步骤:在目标帧序号包括帧序号和拆分帧序号且目标帧序号对应的当前重发次数小于重发阈值时,则确定带有目标帧序号的视频帧,将带有目标帧序号的视频帧发送给终端,并将当前重发次数累加一次,并执行步骤S35;在目标帧序号包括帧序号和拆分帧序号且目标帧序号对应的当前重发次数不小于重发阈值时,执行步骤S35。
这样做的目的在于,由于上述实施例中已经介绍,在图像采集设备判断出数据帧为关键帧时,则会将该关键帧进行拆分并生成多个带有数据头的拆分帧。如果图像采集设备接收到终端发送的目标帧序号中包括帧序号和拆分帧序号,而且目标帧序号对应的当前重发次数小于重发阈值,那么说明终端丢失了拆分帧,需要图像采集设备重新发一次。此时,图像采集设备需要判断终端发送来的目标帧序号中是否包含帧序号和拆分帧序号,如果包含,那么说明该目标帧序号对应的为拆分帧;而且,图像采集设备需要确定帧序号和拆分帧序号对应的当前重发次数,如果当前重发次数小于重发阈值,那么图像采集设备便会确定带有目标帧序号的视频帧,将带有目标帧序号的视频帧发送给终端,并将当前重发次数累加一次,以补偿终端丢失的拆分帧。如果当前重发次数不小于重发阈值,说明图像采集设备已经将该拆分帧发送给终端很多次了,已经达到了上限,所以即使终端丢失了该拆分帧,图像采集设备也不能无休止的将该拆分帧发送给终端,所以在这种情况下,图像采集设备便不会将该丢失的拆分帧发送给终端。
例如,假设图像采集设备已经判断出当前要发送的视频帧为关键帧,且该关键帧的帧序号为101,该关键帧的大小为5000字节,假设前网络环境的最大传输单元为1500字节,用户预先将每个拆分帧的大小均设置在1000字节,那么图像采集设备便会将帧序号为101的关键帧拆分成5个大小均为1000字节的拆分帧,且这5个拆分帧均带有数据头,第一个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1001和拆分帧的总个数5个,第二个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1002和拆分帧的总个数5个,第三个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1003和拆分帧的总个数5个,第四个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1004和拆分帧的总个数5个,第五个拆分帧的数据头包括帧序号101、拆分帧的拆分帧序号1005和拆分帧的总个数5个。在拆分完毕以后,将这五个带有数据头的拆分帧依次传输给终端。此时,图像采集设备接收到终端发送的丢失的视频帧的目标帧序号,图像采集设备判断出该目标帧序号中包含帧序号101和拆分帧序号1003,而且,图像采集设备确定出帧序号101和拆分帧序号1003对应的当前重发次数为1次,小于重发阈值3次,所以图像采集设备便会确定出带有帧序号101和拆分帧序号1003的视频帧,并将带有帧序号101和拆分帧序号1003的视频帧发送给终端,并将当前重发次数累加一次,则帧序号101和拆分帧序号1003对应的当前重发次数为2次。
在本公开的另一个可选的实施例中,基于上述实施例的基础上,在步骤S34之后,本公开提供的方法还可以包括以下步骤:在目标帧序号为帧序号且目标帧序号对应的当前重发次数小于重发阈值时,则确定带有目标帧序号的视频帧,将带有目标帧序号的视频帧发送给终端,并将当前重发次数累加一次,并执行步骤S35;在目标帧序号为帧序号且目标帧序号对应的当前重发次数不小于重发阈值时,执行步骤S35。
这样做的目的在于,在目标帧序号仅为帧序号时,说明该帧序号对应的可能为未拆分的关键帧或未拆分的预测帧,而且目标帧序号对应的当前重发次数小于重发阈值,那么说明终端丢失了未拆分的关键帧或未拆分的预测帧,需要图像采集设备重新发一次。此时,图像采集设备需要判断终端发送来的目标帧序号是否仅为帧序号,如果是,那么说明该目标帧序号对应的为未拆分的关键帧或未拆分的预测帧;而且,图像采集设备需要确定帧序号对应的当前重发次数,如果当前重发次数小于重发阈值,那么图像采集设备便会确定带有帧序号的视频帧,将带有帧序号的视频帧发送给终端,并将当前重发次数累加一次,以补偿终端丢失的未拆分的关键帧或未拆分的预测帧。如果当前重发次数不小于重发阈值,说明图像采集设备已经将该未拆分的关键帧或未拆分的预测帧发送给终端很多次了,已经达到了上限,所以即使终端丢失了该未拆分的关键帧或未拆分的预测帧,图像采集设备也不能无休止的将该未拆分的关键帧或未拆分的预测帧发送给终端,所以在这种情况下,图像采集设备便不会将该丢失的未拆分的关键帧或未拆分的预测帧发送给终端。
图5是根据一示例性实施例示出的另一种基于网络环境调整视频画质的方法的流程图,如图5所示,图5所示的基于网络环境调整视频画质的方法可以用于终端中。本公开提供的基于网络环境调整视频画质的方法可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。该方法包括以下步骤。
步骤S51、接收图像采集设备发送的带有帧序号的视频帧,带有帧序号的视频帧为图像采集设备利用预设视频编码方法按照指定画质参数将视频数据压缩成的。
其中,图5所示的方法可以应用于终端,终端可以为智能手机、平板电脑或台式电脑等智能设备。在实施例一中已经介绍过,图像采集设备会将采集到的视频数据利用预设视频编码方法按照指定画质参数将视频数据压缩成带有帧序号的视频帧,并将该带有帧序号的视频帧发送给终端,经过网络的传输,终端便会接收图像采集设备发送的带有帧序号的视频帧。
步骤S52、按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
其中,预设判断条件存在多种方式,而且应用在不同的场景下。在终端接收到的视频帧为未经过拆分的关键帧或预测帧时,则终端可以判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续,如果连续,则说明当前接收到的视频帧与上一个接收到的视频帧之间没有丢失视频帧;如果不连续,那么可以根据当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号确定出丢失的帧序号,并将丢失的帧序号称为目标帧序号。例如,假设在终端接收到的视频帧为未经过拆分的关键帧或预测帧时,且当前接收到的视频帧的帧序号为106,上一个接收到的视频帧的帧序号为105,则终端可以判断出接收到的视频帧的帧序号的顺序是连续的,所以没有丢失视频帧。又如,假设在终端接收到的视频帧为未经过拆分的关键帧或预测帧时,且当前接收到的视频帧的帧序号为106,上一个接收到的视频帧的帧序号为104,则终端可以判断出接收到的视频帧的帧序号的顺序不是连续的,此时,终端可以根据当前接收到的视频帧的帧序号106与上一个接收到的视频帧的帧序号104确定出丢失的帧序号105,并将丢失的帧序号105称为目标帧序号105,并将带有目标帧序号105发送给图像采集设备。
在终端接收到的视频帧为将关键帧进行拆分后的拆分帧时,则终端在接收完一系列拆分帧以后,会判断是否在预设时间内没有接收到新的拆分帧,如果是,那么终端便会查询这一系列的拆分帧的数据头,判断接收到的拆分帧的数量与数据头中的拆分帧的总个数是否相同,在相同时,终端便会认为这一系列拆分帧没有丢失,在不同时,终端便会认为这一系列拆分帧存在丢失的拆分帧,并根据每个拆分帧的数据头中的拆分帧序号来判断哪个拆分帧丢失了,在确定到丢失的拆分帧的拆分帧序号时,终端便会将数据头中的帧序号和丢失的拆分帧序号一起作为目标帧序号,再将目标帧序号发送给图像采集设备。
步骤S53、在按照预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将丢失的视频帧的目标帧序号发送给图像采集设备,以使图像采集设备将接收到目标帧序号的时间作为目标帧序号的时间戳,并确定时间戳在预设时间段内的目标帧序号的个数,进而使在图像采集设备判断出目标帧序号的个数大于第一阈值时,按照预设配置条件降低指定画质参数,在图像采集设备判断出目标帧序号的个数小于第二阈值时,按照预设配置条件提高指定画质参数,第一阈值大于第二阈值。
在图2所示的实施例中,由于图5所示的方法与图3所示的方法可以相互配合使用,所以关于图2所示的方法与图1所示的方法相关联的部分,可以相互参见,在此不再赘述。
图6是根据一示例性实施例示出的一种基于网络环境调整视频画质的装置的示意图。本公开提供的基于网络环境调整视频画质的装置可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。参照图6,该装置包括:
第一接收模块61,用于接收所述终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定模块62,用于确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
画质调整模块63,用于在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
在另一实施例中,所述装置还包括:
获取模块,用于获取采集到的视频数据;
压缩模块,用于利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
发送模块,用于向终端发送所述带有帧序号的视频帧;
在另一实施例中,所述装置还包括:
判断模块,用于判断所述视频帧是否为关键帧;
执行模块,用于在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数,向终端依次发送所述多个带有数据头的拆分帧;在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
在另一实施例中,所述装置还包括:
重发控制模块,用于在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,则确定带有所述目标帧序号的视频帧,将带有所述目标帧序号的视频帧发送给所述终端,并将所述当前重发次数累加一次;在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定模块。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的另一种基于网络环境调整视频画质的装置的示意图。本公开提供的基于网络环境调整视频画质的装置可以保证在网络环境不好的情况下,图像采集设备降低视频图像的清晰度,以使终端流畅的播放较低清晰度的视频画面;在网络环境较好的情况下,图像采集设备提高视频图像的清晰度,以使终端流畅的播放较高清晰度的视频画面。参照图7,该装置包括接收模块71、判断模块72和执行模块73。其中:
接收模块71,用于接收图像采集设备发送的带有帧序号的视频帧,带有帧序号的视频帧为图像采集设备利用预设视频编码方法按照指定画质参数将视频数据压缩成的;
判断模块72,用于按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
执行模块73,用于在按照预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将丢失的视频帧的目标帧序号发送给图像采集设备,以使图像采集设备将接收到目标帧序号的时间作为目标帧序号的时间戳,并确定时间戳在预设时间段内的目标帧序号的个数,进而使在图像采集设备判断出目标帧序号的个数大于第一阈值时,按照预设配置条件降低指定画质参数,在图像采集设备判断出目标帧序号的个数小于第二阈值时,按照预设配置条件提高指定画质参数,第一阈值大于第二阈值。
在本公开的一个可选的实施例中,判断模块72可以包括以下子模块:第一判断子模块,用于在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;第一执行子模块,用于在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
在本公开的一个可选的实施例中,判断模块72可以包括以下子模块:第二判断子模块,用于在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;第二执行子模块,用于在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种基于网络环境调整视频画质的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种基于网络环境调整视频画质的方法,方法包括:接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种基于网络环境调整视频画质的方法,其特征在于,包括:
接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;
在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
2.根据权利要求1所述的基于网络环境调整视频画质的方法,其特征在于,所述方法还包括:
获取采集到的视频数据;
利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
向终端发送所述带有帧序号的视频帧。
3.根据权利要求1或2所述的基于网络环境调整视频画质的方法,其特征在于,接收终端发送的丢失的视频帧的目标帧序号之前,所述方法还包括:
判断所述视频帧是否为关键帧;
在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数;向终端依次发送所述多个带有数据头的拆分帧;
在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
4.根据权利要求1所述的基于网络环境调整视频画质的方法,其特征在于,所述方法还包括:
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,确定带有所述目标帧序号的视频帧;
将带有所述目标帧序号的视频帧发送给所述终端,将所述当前重发次数累加一次;
在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数的步骤。
5.一种基于网络环境调整视频画质的方法,其特征在于,包括:
接收图像采集设备发送的带有帧序号的视频帧,所述带有帧序号的视频帧为所述图像采集设备利用预设视频编码方法按照指定画质参数将所述视频数据压缩成的;
按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
在按照所述预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将所述丢失的视频帧的目标帧序号发送给所述图像采集设备,以使所述图像采集设备将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳,并确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数,以调整指定画质参数。
6.根据权利要求5所述的基于网络环境调整视频画质的方法,其特征在于,所述按照预设判断条件判断是否存在丢失的视频帧的目标帧序号的步骤包括:
在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;
在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
7.根据权利要求5所述的基于网络环境调整视频画质的方法,其特征在于,所述方法还包括:
在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;
在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
8.一种基于网络环境调整视频画质的装置,其特征在于,包括:
第一接收模块,用于接收所述终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定模块,用于确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
画质调整模块,用于在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
9.根据权利要求8所述的基于网络环境调整视频画质的装置,其特征在于,所述装置还包括:
获取模块,用于获取采集到的视频数据;
压缩模块,用于利用预设视频编码方法按照指定画质参数将所述视频数据压缩成带有帧序号的视频帧;
发送模块,用于向终端发送所述带有帧序号的视频帧。
10.根据权利要求8或9所述的基于网络环境调整视频画质的装置,其特征在于,所述装置还包括:
判断模块,用于判断所述视频帧是否为关键帧;
执行模块,用于在所述视频帧为所述关键帧时,按照预设拆分条件将所述关键帧拆分成多个带有数据头的拆分帧,所述数据头包含所述关键帧的帧序号、所述拆分帧的拆分帧序号和所述多个拆分帧的总个数,向终端依次发送所述多个带有数据头的拆分帧;在所述视频帧不为所述关键帧时,向终端发送所述带有帧序号的视频帧。
11.根据权利要求8所述的基于网络环境调整视频画质的装置,其特征在于,所述装置还包括:
重发控制模块,用于在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数小于所述重发阈值时,则确定带有所述目标帧序号的视频帧,将带有所述目标帧序号的视频帧发送给所述终端,并将所述当前重发次数累加一次;在所述目标帧序号包括帧序号和拆分帧序号且所述目标帧序号对应的当前重发次数不小于所述重发阈值时,执行所述确定模块。
12.一种基于网络环境调整视频画质的装置,其特征在于,包括:
接收模块,用于接收图像采集设备发送的带有帧序号的视频帧,所述带有帧序号的视频帧为所述图像采集设备利用预设视频编码方法按照指定画质参数将所述视频数据压缩成的;
判断模块,用于按照预设判断条件判断是否存在丢失的视频帧的目标帧序号;
执行模块,用于在按照所述预设判断条件判断出当前存在丢失的视频帧的目标帧序号时,将所述丢失的视频帧的目标帧序号发送给所述图像采集设备,以使所述图像采集设备将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳,并确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数,以调整指定画质参数。
13.根据权利要求12所述的基于网络环境调整视频画质的方法,其特征在于,所述判断模块包括:
第一判断子模块,用于在接收到的所述视频帧为未经过拆分的关键帧或预测帧时,判断当前接收到的视频帧的帧序号与上一个接收到的视频帧的帧序号是否连续;
第一执行子模块,用于在所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号不连续时,根据所述当前接收到的视频帧的帧序号与所述上一个接收到的视频帧的帧序号确定出丢失的帧序号作为目标帧序号。
14.根据权利要求12所述的基于网络环境调整视频画质的方法,其特征在于,所述方法还包括:
第二判断子模块,用于在接收到的所述视频帧为根据关键帧拆分生成的带有数据头的拆分帧时,判断是否在预设时间内没有接收到新的所述拆分帧;
第二执行子模块,用于在预设时间内没有接收到新的所述拆分帧时,根据所述拆分帧的数据头内的帧序号、拆分帧序号和所述拆分帧的总个数确定出丢失的帧序号作为目标帧序号。
15.一种基于网络环境调整视频画质的装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收终端发送的丢失的视频帧的目标帧序号,并将接收到所述目标帧序号的时间作为所述目标帧序号的时间戳;
确定位于预设时间段内的所述时间戳对应的所述目标帧序号的个数;
在所述目标帧序号的个数大于第一阈值时,按照预设配置条件降低所述指定画质参数;
在所述目标帧序号的个数小于第二阈值时,按照所述预设配置条件提高所述指定画质参数,所述第一阈值大于所述第二阈值。
CN201410404533.6A 2014-08-15 2014-08-15 一种基于网络环境调整视频画质的方法及装置 Active CN104202614B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201410404533.6A CN104202614B (zh) 2014-08-15 2014-08-15 一种基于网络环境调整视频画质的方法及装置
MX2015007044A MX358530B (es) 2014-08-15 2015-03-19 Método y aparato para el ajuste de la calidad de video basado en el entorno de red.
RU2015124150A RU2624641C2 (ru) 2014-08-15 2015-03-19 Способ и устройство для регулировки качества видео на основе сетевой среды
BR112015015813-7A BR112015015813B1 (pt) 2014-08-15 2015-03-19 Método e aparelho para ajustar a qualidade de vídeo com base em ambiente de rede
JP2016541813A JP6195674B2 (ja) 2014-08-15 2015-03-19 ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体
PCT/CN2015/074610 WO2016023358A1 (zh) 2014-08-15 2015-03-19 一种基于网络环境调整视频画质的方法及装置
KR1020157012814A KR101650368B1 (ko) 2014-08-15 2015-03-19 네트워크 환경에 기초하는 영상화질의 조정방법, 장치, 프로그램 및 기록매체
US14/738,165 US10085050B2 (en) 2014-08-15 2015-06-12 Method and apparatus for adjusting video quality based on network environment
EP15181271.6A EP2986020B1 (en) 2014-08-15 2015-08-17 Method and apparatus for adjusting video quality based on network environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410404533.6A CN104202614B (zh) 2014-08-15 2014-08-15 一种基于网络环境调整视频画质的方法及装置

Publications (2)

Publication Number Publication Date
CN104202614A true CN104202614A (zh) 2014-12-10
CN104202614B CN104202614B (zh) 2016-03-09

Family

ID=52087830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410404533.6A Active CN104202614B (zh) 2014-08-15 2014-08-15 一种基于网络环境调整视频画质的方法及装置

Country Status (8)

Country Link
EP (1) EP2986020B1 (zh)
JP (1) JP6195674B2 (zh)
KR (1) KR101650368B1 (zh)
CN (1) CN104202614B (zh)
BR (1) BR112015015813B1 (zh)
MX (1) MX358530B (zh)
RU (1) RU2624641C2 (zh)
WO (1) WO2016023358A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016023358A1 (zh) * 2014-08-15 2016-02-18 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置
CN106540449A (zh) * 2016-10-19 2017-03-29 天脉聚源(北京)科技有限公司 一种游戏赢率计算方法及装置
US10085050B2 (en) 2014-08-15 2018-09-25 Xiaomi Inc. Method and apparatus for adjusting video quality based on network environment
CN109120933A (zh) * 2018-10-11 2019-01-01 广州酷狗计算机科技有限公司 动态调整码率的方法、装置、设备及存储介质
CN109753207A (zh) * 2017-11-02 2019-05-14 腾讯科技(深圳)有限公司 一种信息处理方法及其装置、存储介质
CN109766282A (zh) * 2019-01-31 2019-05-17 Oppo广东移动通信有限公司 一种卡顿检测方法、卡顿检测装置及终端设备
CN114363576A (zh) * 2022-01-12 2022-04-15 厦门市思芯微科技有限公司 一种wifi可视类产品的图像动态传输方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769450B (zh) * 2018-06-21 2021-01-05 深圳市道通智能航空技术有限公司 数据传输控制方法、信息发送端、接收端及飞行器图传系统
CN110290402B (zh) * 2019-07-31 2021-11-05 腾讯科技(深圳)有限公司 一种视频码率调整方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753980A (zh) * 2010-02-05 2010-06-23 上海悠络客电子科技有限公司 一种基于p2p技术实现准实时网络视频的方法
CN101931799A (zh) * 2010-09-14 2010-12-29 中兴通讯股份有限公司 一种视频码流的平滑方法及装置
CN102484748A (zh) * 2009-06-16 2012-05-30 高通股份有限公司 管理视频自适应算法
CN102547282A (zh) * 2011-12-29 2012-07-04 中国科学技术大学 可伸缩视频编码错误隐藏方法、解码器和系统
WO2013053385A1 (en) * 2011-10-11 2013-04-18 Telefonaktiebolaget L M Ericsson (Publ) Scene change detection for perceptual quality evaluation in video sequences

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03165193A (ja) * 1989-11-24 1991-07-17 Oki Electric Ind Co Ltd カラー静止画像の伝送における誤り再送方式
US6519004B1 (en) * 1998-10-09 2003-02-11 Microsoft Corporation Method for transmitting video information over a communication channel
US7143353B2 (en) 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
JP3706077B2 (ja) * 2002-03-01 2005-10-12 日本電信電話株式会社 ストリーム配信方法,ストリーム配信装置,ストリーム品質管理装置,ストリーム配信用プログラムおよびストリーム品質管理用プログラム
KR101178302B1 (ko) * 2004-04-01 2012-09-07 구글 인코포레이티드 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
CN104125464A (zh) * 2005-12-08 2014-10-29 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
EP2102988A4 (en) * 2007-01-09 2010-08-18 Vidyo Inc IMPROVED SYSTEMS AND METHODS OF TROUBLESHOOTING IN VIDEO COMMUNICATION SYSTEMS
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
KR20100082106A (ko) * 2009-01-08 2010-07-16 삼성전자주식회사 와이 파이 멀티미디어 기반의 데이터 전송 방법 및 장치
GB2469281B (en) * 2009-04-06 2011-08-10 Motorola Inc Method and apparatus for asynchronous video transmission over a communication network
CN101697554B (zh) * 2009-09-27 2012-05-09 华中科技大学 一种p2p流媒体视频数据传输调度方法
EP2400758A1 (en) * 2010-06-24 2011-12-28 Alcatel Lucent Method to Determine The Global Quality of a Video Stream
CN101964732B (zh) * 2010-09-02 2012-08-15 海信集团有限公司 计算丢包率的方法及装置、控制网络传输的方法及装置
JP5567959B2 (ja) * 2010-09-22 2014-08-06 パナソニック株式会社 マルチキャスト配信システム、並びにそれに用いる送信機及び受信機
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
JP2014027613A (ja) * 2012-07-30 2014-02-06 Toshiba Corp 映像送信装置、及び映像送信方法
CN103780971A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种互联网条件下基于rudp的实时视频传输方法
CN103916367B (zh) * 2012-12-31 2017-04-26 北京新媒传信科技有限公司 一种传输多媒体数据的方法及装置
CN103702139B (zh) * 2013-12-13 2017-02-01 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
CN104202614B (zh) * 2014-08-15 2016-03-09 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484748A (zh) * 2009-06-16 2012-05-30 高通股份有限公司 管理视频自适应算法
CN101753980A (zh) * 2010-02-05 2010-06-23 上海悠络客电子科技有限公司 一种基于p2p技术实现准实时网络视频的方法
CN101931799A (zh) * 2010-09-14 2010-12-29 中兴通讯股份有限公司 一种视频码流的平滑方法及装置
WO2013053385A1 (en) * 2011-10-11 2013-04-18 Telefonaktiebolaget L M Ericsson (Publ) Scene change detection for perceptual quality evaluation in video sequences
CN102547282A (zh) * 2011-12-29 2012-07-04 中国科学技术大学 可伸缩视频编码错误隐藏方法、解码器和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016023358A1 (zh) * 2014-08-15 2016-02-18 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置
US10085050B2 (en) 2014-08-15 2018-09-25 Xiaomi Inc. Method and apparatus for adjusting video quality based on network environment
CN106540449A (zh) * 2016-10-19 2017-03-29 天脉聚源(北京)科技有限公司 一种游戏赢率计算方法及装置
CN109753207A (zh) * 2017-11-02 2019-05-14 腾讯科技(深圳)有限公司 一种信息处理方法及其装置、存储介质
CN109120933A (zh) * 2018-10-11 2019-01-01 广州酷狗计算机科技有限公司 动态调整码率的方法、装置、设备及存储介质
CN109766282A (zh) * 2019-01-31 2019-05-17 Oppo广东移动通信有限公司 一种卡顿检测方法、卡顿检测装置及终端设备
CN109766282B (zh) * 2019-01-31 2020-09-25 Oppo广东移动通信有限公司 一种卡顿检测方法、卡顿检测装置及终端设备
CN114363576A (zh) * 2022-01-12 2022-04-15 厦门市思芯微科技有限公司 一种wifi可视类产品的图像动态传输方法

Also Published As

Publication number Publication date
EP2986020A1 (en) 2016-02-17
JP2016535545A (ja) 2016-11-10
JP6195674B2 (ja) 2017-09-13
WO2016023358A1 (zh) 2016-02-18
MX358530B (es) 2018-08-23
BR112015015813B1 (pt) 2022-07-26
EP2986020B1 (en) 2018-10-10
KR20160030466A (ko) 2016-03-18
RU2015124150A (ru) 2017-01-10
RU2624641C2 (ru) 2017-07-05
MX2015007044A (es) 2016-04-27
BR112015015813A2 (pt) 2017-07-11
KR101650368B1 (ko) 2016-08-23
CN104202614B (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN104202614B (zh) 一种基于网络环境调整视频画质的方法及装置
EP3163887A1 (en) Method and apparatus for performing media synchronization
CN104219785A (zh) 实时视频提供方法、装置及服务器、终端设备
CN104318741A (zh) 蓝牙设备控制方法及装置
CN105338399A (zh) 图像获取方法及装置
CN105120099A (zh) 拍摄控制方法和装置
CN103916711A (zh) 一种播放视频信号的方法及装置
CN104318934A (zh) 关闭多媒体文件播放的方法、终端、穿戴设备及播放装置
CN104735485A (zh) 一种播放视频的方法及装置
CN104244045B (zh) 控制视频画面呈现的方法及装置
CN104933170A (zh) 信息展示方法及装置
CN104717554A (zh) 智能电视的控制方法及装置、电子设备
CN105159523A (zh) 目标功能的开启方法、装置及系统
CN103973979A (zh) 一种配置拍摄参数的方法及装置
EP2985980A1 (en) Method and device for playing stream media data
CN104866140A (zh) 屏幕校准方法及装置
CN104111720A (zh) 电子设备控制方法、装置及电子设备
CN105117111A (zh) 虚拟现实交互画面的渲染方法和装置
CN104636110A (zh) 控制音量的方法及装置
CN104464768A (zh) 多媒体播放方法及装置
CN105245778A (zh) 摄像头旋转控制方法及装置
CN104486645A (zh) 确定节目收视率的方法、播放设备、服务器及装置
CN104112459A (zh) 播放音频数据的方法和装置
CN106792074A (zh) 智能电视控制方法及装置
CN105451056A (zh) 音视频同步方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant