CN107026827A - 一种用于视频流中静止图像的优化传输机制 - Google Patents

一种用于视频流中静止图像的优化传输机制 Download PDF

Info

Publication number
CN107026827A
CN107026827A CN201610074442.XA CN201610074442A CN107026827A CN 107026827 A CN107026827 A CN 107026827A CN 201610074442 A CN201610074442 A CN 201610074442A CN 107026827 A CN107026827 A CN 107026827A
Authority
CN
China
Prior art keywords
video
frame
frozen
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610074442.XA
Other languages
English (en)
Other versions
CN107026827B (zh
Inventor
张文军
徐异凌
李博
王成志
孙军
管云峰
柳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201610074442.XA priority Critical patent/CN107026827B/zh
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to US16/075,106 priority patent/US20230283651A1/en
Priority to KR1020187023649A priority patent/KR102153611B1/ko
Priority to CA3013516A priority patent/CA3013516C/en
Priority to JP2018539974A priority patent/JP2019508953A/ja
Priority to PCT/CN2017/072558 priority patent/WO2017133611A1/zh
Priority to CA3115314A priority patent/CA3115314C/en
Publication of CN107026827A publication Critical patent/CN107026827A/zh
Application granted granted Critical
Publication of CN107026827B publication Critical patent/CN107026827B/zh
Priority to JP2022007885A priority patent/JP7536318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于视频流中静止图像的优化传输机制，包括：在传输的包头或信令中设置视频图像静止帧标志位；在视频传输中，对于静止视频帧图像所对应的数据包，只发送包头或信令中的静止帧标志位信息而舍弃相应的静止帧数据；客户端在收到所述标志位后，利用上一帧的图像对当前帧的图像进行重建。本发明为相对前一帧图像静止不变的帧数据增加标志位，只传该标志位的信息而不传输该帧数据的机制，解决了流媒体视频传输中静止图像帧所带来的带宽占用和流量浪费的问题。

Description

一种用于视频流中静止图像的优化传输机制
技术领域
本发明涉及多媒体传输机制，具体地，涉及用于视频流中静止图像的优化传输机制。
背景技术
当前的网络流量中，多媒体业务，尤其是视频业务占据了互联网的大部分流量。如何有效的降低网络传输中视频数据所占用的带宽，成为一个新的研究热点。
目前市场上广泛使用的H.264，HEVC等视频编码技术，采用帧内编码和帧间编码等技术，有着极高的编码压缩比和编码效率，同时基本不会影响用户体验。经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。因此，H.264一经发布就获得了巨大的成功，截止2011年底，已有80％的视频使用H.264编码。
H.264，HEVC的帧间编码技术基于运动估计和运动补偿等技术，利用视频前后帧之间的相似性，对前后帧之间的差异进行编码，因此可以用较低的码率进行编码。然而，对于某些特定的视频应用场景，例如远程桌面和远程视频监控等场景，使用H.264，HEVC进行编码依旧有一定的不足。此类场景与普通视频应用的主要区别在于，在大部分的时间里，视频内容保持不变或者变化非常小。在视频内容不变的时间段里，即使是采用帧间编码如H.264等编码技术，也需要对视频的每一帧进行编码，因此依旧会造成一定的带宽占用和流量浪费。
经检索，公开号为CN101889447A的中国发明专利，公开了一种对数据编码的方法，该方法包括：a.捕获视频流的数据，其中，所述视频流包括多个连续视频帧的数据；b.捕获一个或多个静止图像，其中，每个静止图像是相对于所述视频流以随机时间间隔捕获的；c.顺序地将每个静止图像嵌入所述视频帧内，由此形成组合数据流；d.通过利用经修改序列参数集中的新的配置属性定义来传达高分辨率静止图像的存在；e.对所述组合数据流编码；以及f.将经编码的组合数据流作为单层传输进行发送。
又如公开号为CN101878649A的中国发明专利，也公开了一种扩展AVC标准以与视频串行地对高分辨率数字静止画面编码。
但是上述这些专利仍旧没有能解决上述的问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种用于视频流中静止图像的优化传输机制，在视频流中图像不变的情况，减少视频编码造成的带宽占用和流量浪费。
为实现上述目的，本发明采用的以下技术方案：本发明为相对前一帧图像静止不变的帧数据增加标志位，只传该标志位的信息而不传输该帧数据的机制，解决了流媒体视频传输中静止图像帧所带来的带宽占用和流量浪费的问题。
具体的，本发明提供一种用于视频流中静止图像的优化传输机制，所述机制针对已有的视频传输包头的格式：
在传输的包头或信令中设置视频图像静止帧标志位；
在视频传输中，对于静止视频帧图像所对应的数据包，只发送包头或信令中的视频静止帧标志位信息而舍弃相应的静止帧数据；
客户端在收到视频静止帧标志位后，利用上一帧的图像对当前帧的图像进行重建。
作为一个优选实施方式，所述在传输的包头或信令中设置视频静止帧标志位，是指：在MMTP包头里的预留字段取出一个比特作为视频静止帧标志位，用来指示当前MMTP包所对应的帧数据与上一帧一样。
作为一个优选实施方式，所述在传输的包头或信令中设置视频静止帧标志位，是指：使用DU header里的priority字段，取特定值用以表示当前MMTP包所对应的帧数据与上一帧一样。
与现有技术相比，本发明具有如下的有益效果：
本发明的技术方案，针对目前的视频数据传输的包头或信令，如MMTP包头，DU header等，设置相应的静止帧标志位，通过只传标志位而不传相应帧数据的方法，来节省网络带宽的使用，解决了流媒体视频传输中静止图像帧所带来的带宽占用和流量浪费的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中在MMTP包头里的预留字段作为静止帧标志位示意图；
图2为本发明一实施例中使用DU header里的priority字段示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明中，在视频传输的包头或信令中，如MMTP包头，DU header里，设置静止帧标志位用以指示该数据包携带的视频数据负载为空，其对应的帧数据与上一帧一样。新添加的标志位可以放在MMTP包头、DU header或者信令等位置，下面给出两种具体的解决方案。
1.在MMTP包头里的预留字段取出一个比特作为静止帧标志位，用来指示当前MMTP包所对应的帧数据与上一帧一样。
为了考虑到已有系统的兼容性，取MMTP包头的预留字段的一个比特作为标志位，用于指示该MMTP包所对应的视频帧数据与上一帧一样。
MMTP包头的预留字段定义static_frame_flag，具体为：
static_frame_flag(S):用于指示当前数据包所对应的帧数据是否为静止帧；如果字段置为0，表示该数据包对应的帧数据不是静止帧，负载不为空；如果字段置为1，表示该数据包对应的帧数据是静止帧，该数据包的负载为空。
新定义的static_frame_flag在MMTP包头的位置如下：在MMTP包头的第五个比特位。如图1所示。
下面以使用MMTP包头里的预留字段取出一个比特作为静止帧标志位为例，给出一种通过使用静止帧标志位来节省传输过程中使用带宽和数据流量的步骤：
S1：服务器端对未经过编码的视频数据前后图像进行比较，得到视频图像静止不动时所对应的数据帧；
S2：服务器对视频数据进行编码，得到编码后的帧数据；
S3：在将编码后的数据打包成MMTP时，如果某帧在S1中被识别为静止帧，则将相应的MMTP包中static_frame_flag(S)字段置为1，表示该数据包对应的帧数据是静止帧，该数据包的负载为空；其他非静止帧的处理方式不变；
S4：接收端解析收到的MMTP包，如果static_frame_flag(S)字段为0，则将该帧数据送入解码器；如果static_frame_flag(S)字段为1，则不给解码器送数据，直接重复解码器上一帧的解码结果重建图像。
2.使用DU header里的priority字段，取特定值用以表示当前MMTP包所对应的帧数据与上一帧一样。
DU header里的priority字段用以说明在一个媒体单元内的该数据单元所携带的视频帧的优先级，在使用中，将该字段置为“全0”，用以指示该DU header所对应的帧数据与上一帧一样，且负载为空。priority字段在标准中的位置如图2所示。
下面以使用DU header里的priority字段来指示标志位为例，给出一种通过使用静止帧标志位来节省传输过程中使用带宽和数据流量的步骤：
S1：服务器端对未经过编码的视频数据前后图像进行比较，得到视频图像静止不动时所对应的数据帧；
S2：服务器使用相应的视频编码方式对视频数据进行编码，得到编码后的帧数据；
S3：在将编码后的数据打包成MMTP时，如果某帧在S1中被识别为静止帧，则将相应的MMTP包中DU header的priority值置为“全0”，DU payload内容为空，其他非静止帧的处理方式不变；
S4：接收端解析收到的MMTP包，如果priority字段不为“全0”，则将该帧数据送入解码器；如果priority字段为“全0”，则不给解码器送数据，直接重复解码器上一帧的解码结果重建图像。
上述实施例仅是本发明的部分实施例，本发明还可以是在其他情况下在信令或包头中设置相应的静止帧标志位，通过只传标志位而不传相应帧数据的方法，来节省网络带宽的使用，解决了流媒体视频传输中静止图像帧所带来的带宽占用和流量浪费的问题。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种用于视频流中静止图像的优化传输机制，其特征在于包括：
在传输的包头或信令中设置视频图像静止帧标志位；
在视频传输中，对于静止视频帧图像所对应的数据包，只发送包头或信令中的视频静止帧标志位信息而舍弃相应的静止帧数据；
客户端在收到视频静止帧标志位后，利用上一帧的图像对当前帧的图像进行重建。
2.根据权利要求1所述的一种用于视频流中静止图像的优化传输机制，其特征在于：所述在传输的包头或信令中设置视频静止帧标志位，是指：在MMTP包头里的预留字段取出一个比特作为视频静止帧标志位，用来指示当前MMTP包所对应的帧数据与上一帧一样。
3.根据权利要求2所述的一种用于视频流中静止图像的优化传输机制，其特征在于：MMTP包头的预留字段定义static_frame_flag字段，具体为：
static_frame_flag(S):用于指示当前数据包所对应的帧数据是否为静止帧；如果字段置为0，表示该数据包对应的帧数据不是静止帧，负载不为空；如果字段置为1，表示该数据包对应的帧数据是静止帧，该数据包的负载为空。
4.根据权利要求3所述的一种用于视频流中静止图像的优化传输机制，其特征在于：所述static_frame_flag字段在MMTP包头的第五个比特位。
5.根据权利要求1所述的一种用于视频流中静止图像的优化传输机制，其特征在于：所述在传输的包头或信令中设置视频静止帧标志位，是指：使用DU header里的priority字段，取特定值用以表示当前MMTP包所对应的帧数据与上一帧一样。
6.根据权利要求5所述的一种用于视频流中静止图像的优化传输机制，其特征在于：DU header里的priority字段，用以说明在一个媒体单元内的该数据单元所携带的视频帧的优先级，将该字段置为“全0”，用以指示该DU header所对应的帧数据与上一帧一样，且负载为空；如果priority字段不为“全0”，则将该帧数据送入解码器。
CN201610074442.XA 2016-02-02 2016-02-02 一种用于视频流中静止图像的优化传输方法 Active CN107026827B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610074442.XA CN107026827B (zh) 2016-02-02 2016-02-02 一种用于视频流中静止图像的优化传输方法
KR1020187023649A KR102153611B1 (ko) 2016-02-02 2017-01-25 멀티미디어 시스템 정보 교환 메카니즘 및 네트워크 전송 방법
CA3013516A CA3013516C (en) 2016-02-02 2017-01-25 Information interaction mechanism and network transmission method in multimedia system
JP2018539974A JP2019508953A (ja) 2016-02-02 2017-01-25 マルチメディアシステムにおける情報交換メカニズムおよびネットワーク伝送方法
US16/075,106 US20230283651A1 (en) 2016-02-02 2017-01-25 Multimedia system information interaction mechanism and network transmission method
PCT/CN2017/072558 WO2017133611A1 (zh) 2016-02-02 2017-01-25 多媒体系统信息交互机制及网络传输方法
CA3115314A CA3115314C (en) 2016-02-02 2017-01-25 Information interaction mechanism and network transmission method in multimedia system
JP2022007885A JP7536318B2 (ja) 2016-02-02 2022-01-21 マルチメディアシステムにおける情報交換メカニズムおよびネットワーク伝送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610074442.XA CN107026827B (zh) 2016-02-02 2016-02-02 一种用于视频流中静止图像的优化传输方法

Publications (2)

Publication Number Publication Date
CN107026827A true CN107026827A (zh) 2017-08-08
CN107026827B CN107026827B (zh) 2020-04-03

Family

ID=59523981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610074442.XA Active CN107026827B (zh) 2016-02-02 2016-02-02 一种用于视频流中静止图像的优化传输方法

Country Status (1)

Country Link
CN (1) CN107026827B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996181A (zh) * 2019-08-14 2020-04-10 中国电子科技集团公司第七研究所 一种多源内容数据统一封装方法
CN112073721A (zh) * 2020-10-10 2020-12-11 绍兴文理学院 一种高效率的非i帧图像编解码方法
CN113873295A (zh) * 2021-10-26 2021-12-31 北京金山云网络技术有限公司 多媒体信息处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298496A1 (en) * 2006-07-14 2008-12-04 Arc Innovation Limited Text Encoding System and Method
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
CN101742289A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频码流压缩方法、系统及装置
CN204362203U (zh) * 2014-12-16 2015-05-27 电子科技大学 一种基于wifi传输的移动目标跟踪监控系统
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和系统
CN105027572A (zh) * 2013-03-15 2015-11-04 高通股份有限公司 用于通过丢弃视频帧来降低在网络上传送视频所需的比特率的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080298496A1 (en) * 2006-07-14 2008-12-04 Arc Innovation Limited Text Encoding System and Method
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
CN101742289A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频码流压缩方法、系统及装置
CN105027572A (zh) * 2013-03-15 2015-11-04 高通股份有限公司 用于通过丢弃视频帧来降低在网络上传送视频所需的比特率的方法
CN204362203U (zh) * 2014-12-16 2015-05-27 电子科技大学 一种基于wifi传输的移动目标跟踪监控系统
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐异凌 等: "ATSC3.0关键技术介绍", 《电视技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996181A (zh) * 2019-08-14 2020-04-10 中国电子科技集团公司第七研究所 一种多源内容数据统一封装方法
CN112073721A (zh) * 2020-10-10 2020-12-11 绍兴文理学院 一种高效率的非i帧图像编解码方法
CN112073721B (zh) * 2020-10-10 2024-02-27 绍兴文理学院 一种高效率的非i帧图像编解码方法
CN113873295A (zh) * 2021-10-26 2021-12-31 北京金山云网络技术有限公司 多媒体信息处理方法、装置、设备及存储介质
CN113873295B (zh) * 2021-10-26 2024-05-28 北京金山云网络技术有限公司 多媒体信息处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107026827B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN104272745B (zh) 具有对流调适及拼接的增强支持的视频译码
US12069298B2 (en) Decoder and encoder and methods for coding of a video sequence
EP2904808B1 (en) Method for signaling a step-wise temporal sub-layer access sample
JP6344392B2 (ja) 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
CN101889447A (zh) 扩展avc标准以与视频串行地对高分辨率数字静止画面编码
CN101742289B (zh) 视频码流压缩方法、系统及装置
CN102404578A (zh) 一种多通道视频传输系统及方法
CN107026827A (zh) 一种用于视频流中静止图像的优化传输机制
CN104270594A (zh) 数据包发送与接收的方法及设备
KR20230022401A (ko) 장기 참조, 딥 러닝, 및 로드 밸런싱을 사용한 비디오 스루풋 개선
CN101296166B (zh) 基于索引的多媒体数据的测量方法
JP5886341B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN105407351B (zh) 一种从实时传输协议数据包中重建编码方式的方法和装置
CN101841704A (zh) 视频码流压缩及解压缩的方法和装置
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20140369424A1 (en) Video codec system and video stream transmission method
JP6052354B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant