CN101360243A - 基于反馈参考帧的视频通信系统及方法 - Google Patents

基于反馈参考帧的视频通信系统及方法 Download PDF

Info

Publication number
CN101360243A
CN101360243A CNA2008101612762A CN200810161276A CN101360243A CN 101360243 A CN101360243 A CN 101360243A CN A2008101612762 A CNA2008101612762 A CN A2008101612762A CN 200810161276 A CN200810161276 A CN 200810161276A CN 101360243 A CN101360243 A CN 101360243A
Authority
CN
China
Prior art keywords
video
frame
coding
feedback
decode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101612762A
Other languages
English (en)
Inventor
何健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CNA2008101612762A priority Critical patent/CN101360243A/zh
Publication of CN101360243A publication Critical patent/CN101360243A/zh
Priority to PCT/CN2009/074007 priority patent/WO2010037317A1/zh
Priority to US12/966,473 priority patent/US8971415B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6583—Acknowledgement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频通信技术领域。提出一种基于反馈参考帧的视频通信系统，包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，视频编码端采集视频图像，接收所述视频解码端反馈的视频帧信息，根据所述视频帧信息对所述采集的视频图像进行编码形成视频帧，通过所述网络发送给所述视频解码端；所述视频解码端对接收到的视频帧进行解码，根据解码结果向所述视频编码端反馈视频帧信息，并播放解码成功的视频帧。当视频解码端发生丢帧或解码不成功时，视频编码端利用反馈的视频帧信息编码帧间预测帧并继续保持视频通信，从而达到降低网络数据流量、防止在发生丢帧或解码不成功时发送更大数据量、对网络造成冲击的现象发生。

Description

基于反馈参考帧的视频通信系统及方法
技术领域
本发明涉及视频通信技术领域，尤其涉及一种基于反馈参考帧的视频通信系统及方法。
背景技术
随着视频通信技术的发展及网络带宽的提升，越来越多的用户使用视频进行通信，如网络视频播放、视频聊天、视频会议和Vod点播等，极大地丰富了社会公众的生活和工作，也由致促进了视频通信技术和网络技术的进一步发展。
但是由于互联网错综复杂的架构以及其“尽力而为”的特性容易造成网络带宽及网络传输质量的不稳定，使得目前的视频通信系统在某些情况下难以保证视频的通信质量，严重影响了用户的使用。其中由网络丢包造成视频传输的停顿是目前影响视频通信质量的主要瓶颈之一。图1是现有视频通信技术简要的数据流图，视频编码端按预定义规则根据帧类型编码后经网络传输至视频解码端，由视频解码端将接收到的视频帧解码后播放视频。
但按照现有普遍应用的技术方案，当网络由于某种原因引用拥塞从而发生网络丢包时，倘若所述视频解码端无法利用剩余的数据恢复出可解码的数据，则视频编码端必须编码一个数据量大的帧内编码帧(Intra帧，简称“I帧”)发送给视频解码端，这不但浪费了带宽资源，而且可能进一步加重已经存在的网络拥塞。
发明内容
本发明要解决的技术问题之一是提供一种基于反馈参考帧的视频通信系统及方法，达到在视频通信过程中在发生丢帧或解码不成功时降低数据量的目的。
本发明提供的一种基于反馈参考帧的视频通信系统，包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，所述视频编码端采集视频图像，接收所述视频解码端反馈的视频帧信息，根据所述视频帧信息对所述采集的视频图像进行编码形成视频帧，并通过所述网络发送给所述视频解码端；所述视频解码端对接收到的视频帧进行解码，根据解码结果向所述视频编码端反馈视频帧信息，并播放解码成功的视频帧。
优选地，所述视频编码端包括视频采集模块，用于采集视频图像；参考帧判断模块，与所述视频采集模块连接，判断所述视频解码端反馈的视频帧信息并确定参考帧；视频编码模块，依据所述参考帧对所述采集的视频图像进行编码，形成视频帧；数据传输模块，将所述视频编码模块编码形成的视频帧通过所述网络传输给所述视频解码端。
优选地，所述视频解码端包括数据接收模块，接收所述视频编码端传输的视频帧；视频解码模块，与所述数据接收模块连接，对所述接收到的视频帧进行解码；反馈模块，根据所述视频解码模块的解码结果向所述视频编码端反馈视频帧信息；视频播放模块，播放解码成功的视频图像。
本发明还提供了一种基于反馈参考帧的视频编码通信方法，该方法包括步骤：
步骤S110，视频编码端采集视频图像原始帧；
步骤S120，获取并判断反馈的视频帧信息；
步骤S130，根据反馈的视频帧信息确定参考帧；
步骤S140，根据参考帧对当前的原始帧进行编码形成视频帧。
本发明又提供了一种基于反馈参考帧的视频编码通信方法，该方法通过视频通信系统实现，该视频通信系统包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，包括步骤：
步骤S210，视频编码端的视频采集模块采集视频图像原始帧；
步骤S220，视频编码端的参考帧判断模块判断是否收到包含缓存的视频帧帧号的视频帧信息；若收到，执行步骤S230；否则，执行步骤S260；
步骤S230，判断视频编码端是否存在与所述缓存的视频帧帧号对应的视频帧；若存在，执行步骤S240；否则，执行步骤S250；
步骤S240，将所述与缓存的视频帧帧号对应的视频帧作为参考帧，将当前视频编码为帧间预测帧；
步骤S250，将当前视频帧编码为帧内编码帧；
步骤S260，以预定编码方法编码当前视频帧。
本发明再提供了一种基于反馈参考帧的视频解码通信方法，该方法通过视频通信系统实现，该视频通信系统包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，其特征在于，包括步骤：
步骤S310，所述视频解码端接收所述视频编码端传输的视频帧数据，并将所述视频帧数据组包重新形成视频帧；
步骤S320，对所述视频帧进行解码；
步骤S330，判断解码是否成功，若解码成功，执行步骤S360；否则，执行步骤S340；
步骤S340，判断是否需要向视频编码端反馈视频帧信息；若是，则执行步骤S350，否则，执行步骤S310；
步骤S350，按照预定反馈规则向视频编码端反馈视频帧信息；
步骤S360，播放解码成功的视频帧。
本发明通过提供一种基于反馈参考帧的视频通信系统及方法，通过视频解码端的反馈模块，将视频解码端的视频帧信息反馈给视频编码端，当视频解码端发生丢帧或解码不成功时，视频编码端利用该反馈的视频帧信息编码压缩比率高、数据量小的帧间预测帧并继续保持视频通信；从而达到在视频通信过程降低网络数据流量的目的，同时也防止在发生丢帧或解码不成功时反而需要发送更大数据量、对网络造成更大冲击的现象发生。
附图说明
图1是现有视频通信技术的系统结构示意图；
图2是本发明第一实施例的系统原理结构示意图；
图3是本发明第二实施例的简明流程示意图；
图4是本发明第二实施例的详细流程示意图；
图5是本发明第三实施例的具体流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明实施例基于反馈参考帧的视频通信系统及方法，通过视频解码端的反馈模块，将视频解码端的视频帧信息反馈给视频编码端，在所述视频解码端丢帧或解码不成功时，使得视频编码端利用该视频帧信息编码压缩比率高、数据量小的帧间预测帧并继续保持视频通信。
参照图2，提出本发明第一实施例的基于反馈参考帧的视频通信系统，包括视频编码端10、视频解码端20以及与视频编码端10和视频解码端20分别连接的网络30；所述视频编码端10采集视频图像，接收所述视频解码端20反馈的视频帧信息，根据所述视频帧信息对所述采集的视频图像进行编码形成视频帧，并通过所述网络30发送给所述视频解码端20；所述视频解码端20对接收到的视频帧进行解码，根据解码结果向所述视频编码端10反馈视频帧信息，并播放解码成功的视频帧。
更具体地，所述视频编码端10编码形成的视频帧是通过所述网络30以视频帧数据的方式发送给所述视频解码端20；所述视频解码端20对接收到的视频帧数据在经过组包后重新形成视频帧，并对此重新形成的视频帧进行解码，同时根据解码结果向所述视频编码端10反馈视频帧信息，并播放解码成功的视频帧。
应当说明的是，本发明所有图示中各设备之间的连接关系是为了清楚阐释其信息交互及控制过程的需要，因此应当视为逻辑上的连接关系，而不应仅限于物理连接。另外需要说明的是，所述视频编码端10和视频解码端20可以是客户端和/或服务器端，或者是运行于客户端和/或服务器端的软件；且其两者之间的角色是相对的，并不仅限于为其中一种固定角色。如本领域技术人员所知，所述视频编码端10和视频解码端20包括物理或逻辑上的缓存，以便于存储需要缓存的数据，如存储采集的视频图像、视频帧信息、已编码的视频帧、已解码的视频帧等。
其中，所述视频编码端10包括：视频采集模块11，用于采集视频图像，即采集视频图像的原始帧；参考帧判断模块14，与所述视频采集模块11连接，判断所述视频解码端20反馈的视频帧信息并确定参考帧；视频编码模块12，依据所述参考帧对所述采集的视频图像进行编码，形成视频帧；数据传输模块13，将所述视频编码模块12编码形成的视频帧通过所述网络30传输给所述视频解码端20。
其中，所述视频解码端20包括：数据接收模块21，接收所述数据传输模块13传输的视频帧数据，并将所接收的视频帧数据重新组包成视频帧；视频解码模块22，与所述数据接收模块21连接，对所述重新组包的视频帧进行解码；反馈模块24，根据所述视频解码模块22的解码结果向所述参考帧判断模块14反馈视频帧信息；视频播放模块23，与所述反馈模块24连接，并播放解码成功的视频图像。
根据视频通信技术原理，所述原始帧是由所述视频采集模块11所采集并传输给视频编码模块12的原始视频图像；所述视频帧是由所述视频编码模块12将所述接收到的原始帧按照预定编码算法进行编码而形成的，其编码方式可以帧内编码帧(Intra帧，简称“I帧”)或帧间预测帧(Inter帧，简称“P帧”)。
其中，所述帧内编码帧是指采用图片压缩技术，只压缩本视频帧内的空间冗余信息的编码方式；所述帧间预测帧是指不但压缩本视频帧内的空间冗余信息，还会利用本视频帧与指定的参考帧之间的时间冗余来压缩数据的编码方式，也就是进行时域预测并进行编码，这种帧间预测帧的压缩效率要比帧内编码帧高很多。
上述由参考帧判断模块14确定的参考帧是指视频编码模块12在进行后续的视频帧编码时可能会利用其作为参考进行帧间编码，根据反馈的视频帧信息在所述视频编码端10获得的重构帧。如本领域技术人员所知，所述重构帧是指由所述视频采集模块11所采集的原始视频图像即原始帧经过视频编码后而形成的相对于原始帧有损失的视频帧。
其中，上述参考帧的编码方式可以是I帧，也可以是P帧。该参考帧是通过所述参考帧判断模块14根据上一帧的视频帧完成编码后至开始当前帧视频帧编码之间的时间内，所收到的由所述反馈模块24反馈的视频帧信息而在所述视频编码端10的缓存获得的。
所述视频编码模块12的编码技术根据具体应用情况而定，例如可以采用AVI、MPEG、DivX、RealVideo、Windows Media video、AVS或/和H.264等视频编码技术，而所述视频解码模块22的解码技术则与所述视频编码模块12的编码技术相对应，在此不再赘述。
所述反馈模块24反馈的视频帧信息包括解码是否成功信息、丢帧信息、缓存的视频帧帧号信息、参考帧帧号和/或视频解码端20缓存中的最后一帧帧号信息等。
所述数据传输模块13和数据接收模块21可以是不同用户终端的网络传输功能接口或功能模块，所述用户终端可以是计算机、手持式电子设备、通讯设备、视频监控设备等，更进一步地，该用户终端还可以是运行与上述设备上的客户端，如即时通讯端、视频通信客户端等。所述用户终端的网络传输功能接口或功能模块根据所述网络30的性质而确定；所述网络30可以采用基于有线的网络如Internet有线网络、数字电视网络等，也可以采用基于无线的网络如GPRS、CDMA、TDS-CDMA、WiFi或基于IEEEE802.11x系列的无线网络。
参照图3，基于本发明第一实施例提出本发明第二实施例的基于反馈参考帧的视频编码通信方法，该方法包括步骤：
步骤S110，视频编码端10采集视频图像原始帧；
步骤S120，获取并判断反馈的视频帧信息；
步骤S130，根据反馈的视频帧信息确定参考帧；
步骤S140，根据参考帧对当前的原始帧进行编码形成视频帧；
步骤S150，缓存所述编码形成的视频帧；
步骤S160，将编码后的视频帧发送给视频解码端20；
步骤S170，判断是否需要结束视频通信，如继续视频通信，则返回步骤S110，否则结束视频通信。
所述参考帧是指视频编码模块12在进行后续的视频帧编码时可能会利用其作为参考进行帧间编码，根据反馈的视频帧信息在所述视频编码端10获得的重构帧。该重构帧是指由所述视频采集模块11所采集的原始视频图像即原始帧经过视频编码后而形成的相对于原始帧有损失的视频帧。
其中，所述参考帧的编码方式可以是I帧，也可以是P帧。该参考帧是通过所述参考帧判断模块14根据上一帧的视频帧完成编码后至开始当前帧视频帧编码之间的时间内，所收到的由所述反馈模块24反馈的视频帧信息而在所述视频编码端10的缓存获得的。
所述视频帧信息包括解码是否成功信息、丢帧信息、缓存的视频帧帧号信息、参考帧帧号和/或视频解码端缓存中的最后一帧帧号信息。
其中，步骤S120中所述获取并判断反馈的视频帧信息的步骤包括：
步骤S121，判断所述反馈的视频帧信息中是否包含丢帧信息和缓存的视频帧帧号信息，若包含，执行步骤S130；否则执行步骤S122；
步骤S122，按照预定编码方法编码所述视频帧。所述预定编码方法是指以每20帧编码一个I帧、每5帧编码一个以最近I帧做参考帧的P帧。根据实际应用需要，所述预定编码方法也可以是以每A帧编码一个I帧、每B帧编码一个以最近I帧做参考帧的P帧的编码规则，其中A、B可以是任意数字。
其中，步骤S130中所述根据反馈的视频帧信息确定参考帧的步骤包括：
步骤S131，判断所述视频编码端10的缓存中是否存在与所述缓存的视频帧帧号对应的视频帧，若存在，执行步骤S132；否则，执行步骤S133；
步骤S132，将与所述缓存的视频帧帧号对应的视频帧作为参考帧；
步骤S133，将当前的原始帧以I帧方式编码形成视频帧，并直接执行步骤S160。
其中，步骤S150中所述缓存编码形成的视频帧的步骤包括：
步骤S151，判断所述编码形成的视频帧帧号；
步骤S152，根据缓存视频帧规则缓存与所述视频帧帧号对应的视频帧。
所述缓存视频帧规则是指所述编码形成的视频帧帧号为某一数字的倍数则缓存所述视频帧，否则不缓存所述视频帧；该规则中的某一数字可以是2、3、5、8等数字。上述缓存的视频帧是存储在缓存中，该缓存的大小可以根据实际需要进行定义，如为5个编码的重构帧，但不仅限于该大小。同时，可对缓存的大小进行调整，例如在缓存已满时移除最早缓存的一个视频帧。
更具体地，上述基于反馈参考帧的视频编码通信方法可以通过图4进行进一步的说明：
步骤S210，视频编码端10的视频采集模块11采集视频图像原始帧；
步骤S220，参考帧判断模块14判断是否收到包含缓存的视频帧帧号的视频帧信息；若收到，执行步骤S230；否则，执行步骤S260；所述视频帧信息是由所述反馈模块24反馈的；
步骤S230，判断视频编码端10的缓存中是否存在与所述缓存的视频帧帧号对应的视频帧；若存在，执行步骤S240；否则，执行步骤S250；
步骤S240，将与缓存的视频帧帧号对应的视频帧作为参考帧，将当前视频帧编码为帧帧间预测帧；
步骤S250，将当前视频帧编码为帧内编码帧；
步骤S260，以预定编码方法编码当前视频帧；
步骤S270，将编码后的视频帧传输给所述视频解码端20；
步骤S280，判断是否结束视频通信；若是，则结束退出；否则，返回步骤S210。
其中，所述预定编码方法是指以每20帧编码一个I帧、每5帧编码一个以最近I帧做参考帧的P帧的编码规则。根据实际应用需要，所述预定编码方法也可以是以每A帧编码一个I帧、每B帧编码一个以最近I帧做参考帧的P帧的编码规则，其中A、B可以是任意数字。
参照图5，基于本发明第一实施例提出本发明第三实施例的基于反馈参考帧的视频解码通信方法，该方法包括步骤：
步骤S310，所述视频解码端20接收所述视频编码端10传输的视频帧数据，并将所述视频帧数据组包重新形成视频帧；若组包成功，则执行步骤S320，否则返回解码失败信息；
步骤S320，对重新组包成功的视频帧进行解码；
步骤S330，判断解码是否成功；若解码成功，执行步骤S360；否则，执行步骤S340；
步骤S340，判断是否需要向视频编码端10反馈视频帧信息；若是，则执行步骤S350，否则，执行步骤S310；
步骤S350，按照预定反馈规则向视频编码端10反馈视频帧信息；
步骤S360，播放解码成功的视频帧；在播放解码成功视频帧的过程中，若需要结束视频通信，则结束退出；否则，返回步骤S310。
其中，所述步骤S350中按照预定反馈规则向视频编码端10反馈视频帧信息的步骤包括：
步骤S351，判断已解码视频帧在视频编码端10是否存在缓存的视频帧；若存在缓存的视频帧，则执行步骤S352；否则，执行步骤S353；
步骤S352，在视频解码端20的缓存中存储此已解码的视频帧；
步骤S353，判断解码不成功的视频帧是否是骨干帧；若是，执行步骤S354；
步骤S354，反馈视频解码端20的缓存中包含最后一缓存的视频帧帧号的视频帧信息。
其中，所述骨干帧是指若此视频帧解码失败后，后续除帧内编码帧外均无法正确解码的视频帧，即可以不依赖于前面若干紧邻视频帧而单独解码的帧，该若干紧邻视频帧可以是紧邻一帧，也可以是紧邻多帧。
上述本发明实施例的技术方案可应用于具有反馈通道的视频通信业务领域，如网络视频播放、视频聊天、视频会议、视频监控和Vod点播等。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (21)

1.一种基于反馈参考帧的视频通信系统，包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，其特征在于：
所述视频编码端采集视频图像，接收所述视频解码端反馈的视频帧信息，根据所述视频帧信息对所述采集的视频图像进行编码形成视频帧，并通过所述网络发送给所述视频解码端；
所述视频解码端对接收到的视频帧进行解码，根据解码结果向所述视频编码端反馈视频帧信息，并播放解码成功的视频帧。
2.如权利要求1所述的基于反馈参考帧的视频通信系统，其特征在于，所述视频编码端包括：
视频采集模块，用于采集视频图像；
参考帧判断模块，与所述视频采集模块连接，判断所述视频解码端反馈的视频帧信息并确定参考帧；
视频编码模块，依据所述参考帧对所述采集的视频图像进行编码，形成视频帧；
数据传输模块，将所述视频编码模块编码形成的视频帧通过所述网络传输给所述视频解码端。
3.如权利要求1或2所述的基于反馈参考帧的视频通信系统，其特征在于，所述视频解码端包括：
数据接收模块，接收所述视频编码端传输的视频帧；
视频解码模块，与所述数据接收模块连接，对所述接收到的视频帧进行解码；
反馈模块，根据所述视频解码模块的解码结果向所述视频编码端反馈视频帧信息；
视频播放模块，播放解码成功的视频图像。
4.如权利要求2所述的基于反馈参考帧的视频通信系统，其特征在于：
所述参考帧是指视频编码模块在进行视频帧编码时利用其作为参考进行帧间编码，根据反馈的视频帧信息在所述视频编码端获得的重构帧。
5.如权利要求4所述的基于反馈参考帧的视频通信系统，其特征在于：
所述参考帧是帧内编码帧或帧间预测帧。
6.如权利要求4或5所述的基于反馈参考帧的视频通信系统，其特征在于：
所述重构帧是指由所述视频采集模块所采集的原始视频图像经过视频编码后而形成的相对于原始视频图像有损失的视频帧。
7.如权利要求1或2所述的基于反馈参考帧的视频通信系统，其特征在于：
所述视频帧信息包括解码是否成功信息、丢帧信息、缓存的视频帧帧号信息、参考帧帧号和/或视频解码端中最后一帧帧号信息。
8.一种基于反馈参考帧的视频编码通信方法，其特征在于，包括步骤：
步骤S110，视频编码端采集视频图像原始帧；
步骤S120，获取并判断反馈的视频帧信息；
步骤S130，根据反馈的视频帧信息确定参考帧；
步骤S140，根据参考帧对当前的原始帧进行编码形成视频帧。
9.如权利要求8所述的基于反馈参考帧的视频编码通信方法，其特征在于，还包括步骤：
步骤S150，缓存所述编码形成的视频帧；
步骤S160，将所述视频帧发送给视频解码端。
10.如权利要求8所述的基于反馈参考帧的视频编码通信方法，其特征在于，所述步骤S120包括步骤：
步骤S121，判断所述反馈的视频帧信息中是否包含丢帧信息和缓存的视频帧帧号信息，若不包含，则执行步骤S122；
步骤S122，按照预定编码方法编码所述视频帧。
11.如权利要求10所述的基于反馈参考帧的视频编码通信方法，其特征在于：
所述预定编码方法是指以每20帧编码一个帧内编码帧、每5帧编码一个以最近帧内编码帧做参考帧的帧间预测帧的编码规则。
12.如权利要求10所述的基于反馈参考帧的视频编码通信方法，其特征在于，所述步骤S130包括步骤：
步骤S131，判断是否存在与所述缓存的视频帧帧号对应的视频帧，若存在，执行步骤S132；否则，执行步骤S133；
步骤S132，将与所述缓存的视频帧帧号对应的视频帧作为参考帧；
步骤S133，将原始帧以帧内编码帧方式编码形成视频帧。
13.如权利要求9所述的基于反馈参考帧的视频编码通信方法，其特征在于，所述步骤S150包括步骤：
步骤S151，判断所述编码形成的视频帧帧号；
步骤S152，根据缓存视频帧规则缓存与所述视频帧帧号对应的视频帧。
14.如权利要求8至13任一权利要求所述的基于反馈参考帧的视频编码通信方法，其特征在于：
所述参考帧是指在进行视频帧编码时利用其作为参考进行帧间编码，根据反馈的视频帧信息在所述视频编码端获得的重构帧。
15.如权利要求14所述的基于反馈参考帧的视频编码通信方法，其特征在于：
所述参考帧是帧内编码帧或帧间预测帧。
16.如权利要求8至13任一权利要求所述的基于反馈参考帧的视频编码通信方法，其特征在于：
所述视频帧信息包括解码是否成功信息、丢帧信息、缓存的视频帧帧号信息、参考帧帧号和/或视频解码端缓存中的最后一帧帧号信息。
17.一种基于反馈参考帧的视频编码通信方法，该方法通过视频通信系统实现，该视频通信系统包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，其特征在于，包括步骤：
步骤S210，视频编码端的视频采集模块采集视频图像原始帧；
步骤S220，视频编码端的参考帧判断模块判断是否收到包含缓存的视频帧帧号的视频帧信息；若收到，执行步骤S230；否则，执行步骤S260；
步骤S230，判断视频编码端是否存在与所述缓存的视频帧帧号对应的视频帧；若存在，执行步骤S240；否则，执行步骤S250；
步骤S240，将与缓存的视频帧帧号对应的视频帧作为参考帧，将当前视频编码为帧间预测帧；
步骤S250，将当前视频帧编码为帧内编码帧；
步骤S260，以预定编码方法编码当前视频帧。
18.如权利要求17所述基于反馈参考帧的视频编码通信方法，其特征在于：
所述预定编码方法是指以每20帧编码一个帧内编码帧、每5帧编码一个以最近帧内编码帧做参考帧的帧间预测帧的编码规则。
19.一种基于反馈参考帧的视频解码通信方法，该方法通过视频通信系统实现，该视频通信系统包括视频编码端、视频解码端以及与所述视频编码端和视频解码端分别连接的网络，其特征在于，包括步骤：
步骤S310，所述视频解码端接收所述视频编码端传输的视频帧数据，并将所述视频帧数据组包重新形成视频帧；
步骤S320，对所述视频帧进行解码；
步骤S330，判断解码是否成功，若解码成功，执行步骤S360；否则，执行步骤S340；
步骤S340，判断是否需要向视频编码端反馈视频帧信息；若是，则执行步骤S350，否则，执行步骤S310；
步骤S350，按照预定反馈规则向视频编码端反馈视频帧信息；
步骤S360，播放解码成功的视频帧。
20.如权利要求19所述的基于反馈参考帧的视频解码通信方法，其特征在于，所述步骤S350包括：
步骤S351，判断已解码的视频帧在所述视频编码端是否存在缓存的视频帧；若存在缓存的视频帧，则执行步骤S352；否则，执行步骤S353；
步骤S352，在视频解码端存储此已解码的视频帧；
步骤S353，判断解码不成功的视频帧是否是骨干帧；若是，执行步骤S354；
步骤S354，反馈视频解码端中包含最后一缓存的视频帧帧号的视频帧信息。
21.如权利要求20所述的基于反馈参考帧的视频解码通信方法，其特征在于：
所述骨干帧是指所述视频帧解码失败后，后续除帧内编码帧外均无法正确解码的视频帧。
CNA2008101612762A 2008-09-24 2008-09-24 基于反馈参考帧的视频通信系统及方法 Pending CN101360243A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CNA2008101612762A CN101360243A (zh) 2008-09-24 2008-09-24 基于反馈参考帧的视频通信系统及方法
PCT/CN2009/074007 WO2010037317A1 (zh) 2008-09-24 2009-09-17 基于反馈参考帧的视频通信系统、设备及方法
US12/966,473 US8971415B2 (en) 2008-09-24 2010-12-13 Video communication system, device and method based on feedback reference frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008101612762A CN101360243A (zh) 2008-09-24 2008-09-24 基于反馈参考帧的视频通信系统及方法

Publications (1)

Publication Number Publication Date
CN101360243A true CN101360243A (zh) 2009-02-04

Family

ID=40332564

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101612762A Pending CN101360243A (zh) 2008-09-24 2008-09-24 基于反馈参考帧的视频通信系统及方法

Country Status (3)

Country Link
US (1) US8971415B2 (zh)
CN (1) CN101360243A (zh)
WO (1) WO2010037317A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037317A1 (zh) * 2008-09-24 2010-04-08 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信系统、设备及方法
CN102428483A (zh) * 2009-03-23 2012-04-25 生命力有限公司 用于多流视频压缩的系统和方法
CN102739783A (zh) * 2012-06-14 2012-10-17 北京真视通科技股份有限公司 会议信息自动融合的方法
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
CN107005714A (zh) * 2016-12-30 2017-08-01 深圳市大疆创新科技有限公司 图像处理方法与设备
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
CN110113610A (zh) * 2019-04-23 2019-08-09 西安万像电子科技有限公司 数据传输方法及装置
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN110225338A (zh) * 2016-12-30 2019-09-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN110602507A (zh) * 2019-08-19 2019-12-20 西安万像电子科技有限公司 丢帧处理方法、设备及系统
CN110996122A (zh) * 2019-12-12 2020-04-10 腾讯云计算（北京）有限责任公司 视频帧传输方法、装置、计算机设备及存储介质
CN111713107A (zh) * 2019-06-28 2020-09-25 深圳市大疆创新科技有限公司 图像处理方法、设备、无人飞行器和接收端
US10911750B2 (en) 2016-12-30 2021-02-02 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
CN112929747A (zh) * 2021-01-18 2021-06-08 北京洛塔信息技术有限公司 基于网络反馈的视频编码方法、装置、设备及存储介质
CN113573063A (zh) * 2021-06-16 2021-10-29 百果园技术(新加坡)有限公司 视频编解码方法及装置
WO2021237475A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 图像编解码方法和装置
CN115086780A (zh) * 2022-07-07 2022-09-20 北斗星通智联科技有限责任公司 一种视频流传输方法、系统、装置和终端设备
WO2023072068A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 图像编解码方法和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
GB2536059B (en) 2015-03-06 2017-03-01 Garrison Tech Ltd Secure control of insecure device
US10313685B2 (en) * 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
GB2545010B (en) 2015-12-03 2018-01-03 Garrison Tech Ltd Secure boot device
CN111372138A (zh) * 2018-12-26 2020-07-03 杭州登虹科技有限公司 一种播放器端的直播低延迟技术方案
CN111049624B (zh) * 2019-12-24 2024-04-26 普世(南京)智能科技有限公司 一种基于滑动窗口的高容错无反馈链路影像传输方法及系统
JP7543978B2 (ja) * 2021-05-12 2024-09-03 横河電機株式会社 装置、監視システム、方法およびプログラム
CN113160342B (zh) * 2021-05-14 2023-08-25 杭州网易智企科技有限公司 基于反馈的编码方法及装置、存储介质、电子设备
CN113452947B (zh) * 2021-05-19 2023-01-24 深圳市捷视飞通科技股份有限公司 关键帧获取方法、装置、计算机设备和存储介质
CN114465993B (zh) * 2022-01-24 2023-11-10 杭州网易智企科技有限公司 视频编码方法、视频解码方法和装置、介质和计算设备
CN117376579A (zh) * 2022-06-30 2024-01-09 中兴通讯股份有限公司 视频解码方法、云化机顶盒、物理端机顶盒、介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JP3658829B2 (ja) * 1996-02-05 2005-06-08 ソニー株式会社 データ通信方法
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
EP0940989A3 (en) * 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
JP4228407B2 (ja) * 1998-03-04 2009-02-25 ソニー株式会社 情報記録装置及び情報記録方法
KR100677083B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 디지털 영상 데이터 통신 시스템에서의 오류 전파 억제를위한 송수신 데이터의 처리 방법 및 이를 위한 기록 매체
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
CN101207813A (zh) * 2007-12-18 2008-06-25 中兴通讯股份有限公司 一种视频序列的编码、解码方法及编码、解码系统
CN101360243A (zh) * 2008-09-24 2009-02-04 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信系统及方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971415B2 (en) 2008-09-24 2015-03-03 Tencent Technology (Shenzhen) Company Ltd. Video communication system, device and method based on feedback reference frames
WO2010037317A1 (zh) * 2008-09-24 2010-04-08 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信系统、设备及方法
CN102428483A (zh) * 2009-03-23 2012-04-25 生命力有限公司 用于多流视频压缩的系统和方法
CN103493479B (zh) * 2010-10-04 2017-08-22 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
CN103493479A (zh) * 2010-10-04 2014-01-01 布鲁珍视网络有限公司 低延迟h.264视频编码的抗误码的系统和方法
CN102739783A (zh) * 2012-06-14 2012-10-17 北京真视通科技股份有限公司 会议信息自动融合的方法
CN102739783B (zh) * 2012-06-14 2016-08-03 北京真视通科技股份有限公司 会议信息自动融合的方法
CN110225338A (zh) * 2016-12-30 2019-09-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN107005714B (zh) * 2016-12-30 2019-05-14 深圳市大疆创新科技有限公司 图像处理方法与设备
US10911750B2 (en) 2016-12-30 2021-02-02 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
US11070732B2 (en) 2016-12-30 2021-07-20 SZ DJI Technology Co., Ltd. Method for image processing, device, unmanned aerial vehicle, and receiver
CN107005714A (zh) * 2016-12-30 2017-08-01 深圳市大疆创新科技有限公司 图像处理方法与设备
US10924745B2 (en) 2016-12-30 2021-02-16 SZ DJI Technology Co., Ltd. Image processing method and device
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
US11172227B2 (en) 2017-11-21 2021-11-09 Bigo Technology Pte. Ltd. Video sending and receiving method, apparatus, and terminal thereof
CN110166776A (zh) * 2018-02-11 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN110166776B (zh) * 2018-02-11 2023-08-04 腾讯科技（深圳）有限公司 视频编码方法、装置及存储介质
CN110113610A (zh) * 2019-04-23 2019-08-09 西安万像电子科技有限公司 数据传输方法及装置
WO2020258296A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 图像处理方法、设备、无人飞行器和接收端
CN111713107A (zh) * 2019-06-28 2020-09-25 深圳市大疆创新科技有限公司 图像处理方法、设备、无人飞行器和接收端
CN110602507A (zh) * 2019-08-19 2019-12-20 西安万像电子科技有限公司 丢帧处理方法、设备及系统
CN110996122A (zh) * 2019-12-12 2020-04-10 腾讯云计算（北京）有限责任公司 视频帧传输方法、装置、计算机设备及存储介质
CN110996122B (zh) * 2019-12-12 2022-11-15 腾讯云计算（北京）有限责任公司 视频帧传输方法、装置、计算机设备及存储介质
WO2021237475A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 图像编解码方法和装置
WO2022152137A1 (zh) * 2021-01-18 2022-07-21 百果园技术(新加坡)有限公司 基于网络反馈的视频编码方法、装置、设备及存储介质
CN112929747B (zh) * 2021-01-18 2023-03-31 北京洛塔信息技术有限公司 基于网络反馈的视频编码方法、装置、设备及存储介质
CN112929747A (zh) * 2021-01-18 2021-06-08 北京洛塔信息技术有限公司 基于网络反馈的视频编码方法、装置、设备及存储介质
CN113573063A (zh) * 2021-06-16 2021-10-29 百果园技术(新加坡)有限公司 视频编解码方法及装置
WO2023072068A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 图像编解码方法和装置
CN115086780A (zh) * 2022-07-07 2022-09-20 北斗星通智联科技有限责任公司 一种视频流传输方法、系统、装置和终端设备

Also Published As

Publication number Publication date
US8971415B2 (en) 2015-03-03
US20110085602A1 (en) 2011-04-14
WO2010037317A1 (zh) 2010-04-08

Similar Documents

Publication Publication Date Title
CN101360243A (zh) 基于反馈参考帧的视频通信系统及方法
CN102045557B (zh) 视频编解码方法及使用其的视频编码、解码装置
CN100471266C (zh) 用于存储流式传输系统的数据源的方法
CN102714728B (zh) 视频图像编码数据的显示方法、设备和通信系统
CN101742289B (zh) 视频码流压缩方法、系统及装置
CN110392284B (zh) 视频编码、视频数据处理方法、装置、计算机设备和存储介质
Wang et al. Low-delay and error-robust wireless video transmission for video communications
CN101185333A (zh) 编码视频信号时发送画面信息的方法以及解码视频信号时使用该画面信息的方法
CN102404578A (zh) 一种多通道视频传输系统及方法
CN107197312A (zh) 视频编码方法、视频解码方法以及实现该方法的装置
CN104320716A (zh) 一种基于多终端协同的视频上行链路传输方法
CN112995214B (zh) 一种实时视频传输系统、方法及计算机可读存储介质
US20190356911A1 (en) Region-based processing of predicted pixels
CN111093082A (zh) 一种流媒体直播的方法及系统
Xiang et al. Robust multiview three-dimensional video communications based on distributed video coding
CN104333763A (zh) 一种视频控制方法
CN101192903B (zh) 数据帧编解码控制方法
CN105376614A (zh) 视频质量优化方法和装置
CN205545736U (zh) 一种视频在线播放装置
KR101957539B1 (ko) 엔드-투-엔드 코딩된 영상 전송 시스템을 위한 온 디맨드 방식의 인트라-리프레쉬
CN101296166B (zh) 基于索引的多媒体数据的测量方法
CN114827669B (zh) 一种视频数据的传输方法、装置、介质及设备
JP2011172153A (ja) メディア符号化伝送装置
EP2908516A1 (en) Process for transmitting an ongoing video stream from a publisher to a receiver through a MCU unit during a live session
WO2015188729A1 (zh) 视频编码方法和解码方法和相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20090204