CN106131551A - 一种用于移动视频直播的分级编码方法 - Google Patents

一种用于移动视频直播的分级编码方法 Download PDF

Info

Publication number
CN106131551A
CN106131551A CN201610553412.7A CN201610553412A CN106131551A CN 106131551 A CN106131551 A CN 106131551A CN 201610553412 A CN201610553412 A CN 201610553412A CN 106131551 A CN106131551 A CN 106131551A
Authority
CN
China
Prior art keywords
image
coding
code stream
interpolation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610553412.7A
Other languages
English (en)
Other versions
CN106131551B (zh
Inventor
邓宏
全定可
宋涛
杨继红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MICROWISE SYSTEM CO Ltd
Original Assignee
MICROWISE SYSTEM CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MICROWISE SYSTEM CO Ltd filed Critical MICROWISE SYSTEM CO Ltd
Priority to CN201610553412.7A priority Critical patent/CN106131551B/zh
Publication of CN106131551A publication Critical patent/CN106131551A/zh
Application granted granted Critical
Publication of CN106131551B publication Critical patent/CN106131551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编码技术领域，具体涉及一种用于移动视频直播的分级编码方法。所述方法包括对要进行编码的图像进行1/4降采样，并将降采样得到的1/4像素图像分别置于左上、右上、右下及左下4个位置，将左上位置的图像设为基准图像；对4个1/4图像标记为4个切片；根据实际的带宽要求选择相应的码流级数；对4个切片分别进行独立编码；形成4级码流并保留级数信息等主要步骤。本发明的分级编码方法，不改变现有的视频编码的结构与码流，且能实现较为灵活的分级编码，且编码方法简单，编码效率高。

Description

一种用于移动视频直播的分级编码方法
技术领域
本发明涉及视频编码技术领域，具体涉及一种用于移动视频直播的分级编码方法。
背景技术
数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。ITU-T与ISO/IEC是制定视频编码标准的两大组织，ITU-T的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域，如会议电视、移动视频直播；MPEG系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。H.264视频编码标准被称为新一代视频编码标准。
Jens-Rainer Ohm等人在文献《Comparison of the Coding Efficiency ofVideo Coding Standards—Including High Efficiency Video Coding (HEVC)》中对比了几种视频编码方案。编码方案包括：HEVC，H.264，MPEG4，H.263，MPEG2。文献中使用PSNR（Peak Signal to Noise Ratio，峰值信噪比）衡量视频的质量。PSNR（Peak Signal toNoise Ratio，峰值信噪比）反映了压缩编码后的受损视频序列和原始序列之间的差别；两个序列之间差别越大，PSNR值越低，表明视频的质量越差。结果证明，在同等的码率下，不同视频压缩编码方式的视频质量有如下关系：HEVC > H.264 > MPEG4 > H.263 > MPEG2。
可分级视频编码(SVC，Scalable Video Coding)是近20年来兴起的一种应对现代视频传输系统和终端多样性的技术。可分级性(scalability)，是指视频比特流可以依据一定规则有选择的进行“丢弃”，从而适应不同网络条件以及终端性能的需求。在现代生活中，人们直接通过手机、平板电脑等移动终端进行视频直播已经成常态。但网络带宽是动态变化的，恒定的视频码流可能产生丢包，影响用户体验。因此，有必要对视频进行分级编码，根据网络的实际的带宽选择适当的码流，在带宽变小的情况下，适当降低视频的清晰度，从而降低视频编码后的码流速率。
目前最新的SVC标准由联合视频工作组(JVT，Joint Video Team)制定并作为H.264/AVC(Advanced Video Coding)标准的附录G，通常被称为 H.264/SVC。SVC码流的特点是其包含若干个子码流，可根据需求提取某些子码流进行解码。
目前的分级编码方式有质量可分级、空间可分级、时间可分级、频率可分级和质量、空间、时间、频率几种方式的组合形成的可分级编码，此外，还有细间隔粒度的可分级编码；但这几种分级编码方式普遍存在着复杂度高，效率低等缺点。
发明内容
本发明针对现有技术中存在的问题，提供了一种用于移动视频直播的分级编码方法。
该方法包括以下步骤：
步骤一：对要进行编码的图像进行1/4降采样，并将降采样得到的1/4像素图像分别置于左上、右上、右下及左下4个位置，得到4个1/4图像，所形成的图像与原图尺寸一样，如图1所示；将左上位置的图像设为基准图像；
步骤二：将步骤一得到的4个1/4图像标记为4个切片（slice）；
步骤三：将步骤二的4个切片均用相同编码标准进行编码，每个切片的编码得到的码流是独立的，形成4级码流；
步骤四：根据实际的带宽要求选择相应的码流级数，通过丢弃未被选择的码流形成分级编码；
步骤五：对步骤四中丢弃的码流所对应的图像，通过对基准图像内插得到内插预测图像；
步骤六：用原图像减去对应的步骤5中的内插预测图像，得到预测余差，用该余差替代原图像，作为新的待编码切片；
步骤七：重复步骤三，对4个切片分别编码，形成新的4级码流。
进一步地，所述步骤三中编码标准为H.264；
进一步地，所述步骤五的具体方法为：对右上和左下位置上的像素进行6像素的内插；右下位置像素用周围4个像素的均值进行内插，用内插公式计算，得到右上、左下、右下图像的内插预测图像。
进一步地，所述内插公式与H.264的1/2像素内插公式一致。
进一步地，所述内插公式为：x=(a-5b+20c+20d-5e+f+16)/32,其中，a,b,c为内插位置左方（或上方）3个元素像素值，d,e,f为右方（或下方）3个元素像素值。
与现有技术相比，本发明具有以下优点：
本发明是一种基于视频内插以及现有视频编码H.264标准的切片结构的分级编码方法，不改变现有的视频编码的结构与码流，且能实现较为灵活的分级编码，本发明的分级编码方法，编码方法简单，编码效率高。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例1：
本发明所述的分级编码方法可用于发起视频直播的移动终端。在计算资源足够的情况下，可以完全实现软件编码。
在本发明的具体实施方式中，视频图像一般直接从移动终端的摄像头实时采集得到。最终得到的编码质量不仅受限于摄像头的像素、分辨率等物理参数，还受限于编码时所选择的码流级数，级数越多，编码质量也越高。
如图1所示，得到视频图像后，进行1/4降采样，并将得到的4个1/4像素图像分别置于左上、右上、右下及左下四个位置，从而形成一幅与原视频图像尺寸一样的图像。其中左上位置的图像设为基准图像。采样得到的4个1/4图像记为4个切片（slice）。
根据实际的带宽要求选择相应的码流级数，通过丢弃未被选择的码流形成分级编码。带宽越大，码流级数可选得越大，相应地编码质量也就越高。
如果码流级数为1，则仅保留基准图像切片，其余3个切片均用相应的预测余替代。由于余差的动态范围较小，且大部分值接近于0，对余差编码可大大降低码流；类似地，对于码流级数为2的情况，除保留基准图像切片外，保留1个切片图像（右上、右下、左下三者任意选一），剩余的2个切片则用对应的预测余差替代；对于码流级数为3的情况，除保留基准图像切片外，保留2个切片图像（右上、右下、左下三者任意选二），剩余的1个切片则用对应的预测余差替代；对于码流级数为4的情况，则保留全部4个切片图像。
上述预测余差的计算方法为用切片原图像减去对应的内插预测图像。内插预测图像由基准图像通过线性插值得到。具体方法为，如图2所示，x和#位置上的像素进行6像素的内插，内插公式与H.264的1/2像素内插公式一致；*位置像素用周围4个像素的均值进行内插。内插公式为：x=(a-5b+20c+20d-5e+f+16)/32,其中，a,b,c为内插位置左方（或上方）3个元素像素值，d,e,f为右方（或下方）3个元素像素值。
得到切片组合后，每个切片均用相同编码标准（如H.264）进行编码，每个切片的编码得到的码流是独立的，从而形成4级码流。
为了移动终端能正确解码，还需将实际使用的码流级数信息一并放入编码码流中。
实施例2：
在实施例2中，本发明的分级编码方法，通过外接硬件编码器同样可以实现分级编码的目的。该实施方式尤其适用于移动终端的计算资源有限的情况。
图3给出了外接硬件编码器的功能模块图。
所述硬件编码器包括：收发单元1、降采样单元2、级数选择单元3、切片组合单元4和编码单元5；所述收发单元1、降采样单元2、级数选择单元3、切片组合单元4和编码单元5的端口依次连接，所述编码单元5的另一端口又和收发单元1相连接，组成循环回路。
收发单元1负责接收移动终端所采集或存储的视频图像，该视频图像被送至降采样单元，进行1/4降采样。级数选择单元2根据实际的带宽要求选择相应的码流级数。切片组合单元3根据级数选择单元的输出结果和采样单元输出的降采样切片图像，进行切片组合。该切片组合4包括基准图像（左上切片）原图像和其余切片的原图像或预测余差图像。得到切片组合后，送到编码单元5，对每个切片进行独立编码，形成独立的4级码流。编码形成的码流再送至收发单元1，由收发单元1传回移动终端。
收发单元1通过USB接口与移动终端连接，可同时完成移动终端对外接编码器的供电和视频数据的传输。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种用于移动视频直播的分级编码方法，其特征在于：所述方法包括以下步骤：
步骤一：对要进行编码的图像进行1/4降采样，并将降采样得到的1/4像素图像分别置于左上、右上、右下及左下4个位置，得到4个1/4图像，所形成的图像与原图尺寸一样；将左上位置的图像设为基准图像；
步骤二：将步骤一得到的4个1/4图像标记为4个切片；
步骤三：将步骤二的4个切片均用相同编码标准进行编码，每个切片的编码得到的码流是独立的，形成4级码流；
步骤四：根据实际的带宽要求选择相应的码流级数，通过丢弃未被选择的码流形成分级编码；
步骤五：对步骤四中丢弃的码流所对应图像的基准图像内插得到内插预测图像；
步骤六：用原图像减去对应的步骤5中的内插预测图像，得到预测余差，用该余差替代原图像，作为新的待编码切片；
步骤七：重复步骤三，对4个切片分别编码，形成新的4级码流。
2.根据权利要求1所述的一种用于移动视频直播的分级编码方法，其特征在于：所述步骤三中编码标准采用H.264标准。
3.根据权利要求1所述的一种用于移动视频直播的分级编码方法，其特征在于：所述步骤五的具体方法为：对右上和左下位置上的像素进行6像素的内插；右下位置像素用周围4个像素的均值进行内插，用内插公式计算，得到右上、左下、右下图像的内插预测图像。
4.根据权利要求3所述的一种用于移动视频直播的分级编码方法，其特征在于：所述内插公式与H.264的1/2像素内插公式一致。
5.根据权利要求4所述的一种用于移动视频直播的分级编码方法，其特征在于：所述内插公式为：x=(a-5b+20c+20d-5e+f+16)/32；其中，a,b,c为内插位置左方或上方3个元素像素值，d,e,f为右方或下方3个元素像素值。
6.根据权利要求1至5任一项所述的方法，其特征在于：所述方法的分级编码装置可内嵌或外接于移动终端。
CN201610553412.7A 2016-07-14 2016-07-14 一种用于移动视频直播的分级编码方法 Active CN106131551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610553412.7A CN106131551B (zh) 2016-07-14 2016-07-14 一种用于移动视频直播的分级编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610553412.7A CN106131551B (zh) 2016-07-14 2016-07-14 一种用于移动视频直播的分级编码方法

Publications (2)

Publication Number Publication Date
CN106131551A true CN106131551A (zh) 2016-11-16
CN106131551B CN106131551B (zh) 2019-03-29

Family

ID=57283936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610553412.7A Active CN106131551B (zh) 2016-07-14 2016-07-14 一种用于移动视频直播的分级编码方法

Country Status (1)

Country Link
CN (1) CN106131551B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260725A (ja) * 2003-02-27 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> ネットワーク帯域制御方法、装置、プログラム、及び、ネットワーク帯域制御プログラムを記録した記録媒体
CN1848958A (zh) * 2005-04-14 2006-10-18 中兴通讯股份有限公司 一种在网络中传输视频流的方法
CN101018333A (zh) * 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
US20080151933A1 (en) * 2006-12-22 2008-06-26 Jean-Philippe Vasseur Optimization of distributed tunnel rerouting in a computer network with intermediate node feedback
CN101511017A (zh) * 2009-03-20 2009-08-19 西安电子科技大学 基于网格的立体视频空间可分级编码器及其编码方法
CN103546754A (zh) * 2012-07-16 2014-01-29 中国科学院声学研究所 从h.264/avc到svc空间可分级的转码方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260725A (ja) * 2003-02-27 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> ネットワーク帯域制御方法、装置、プログラム、及び、ネットワーク帯域制御プログラムを記録した記録媒体
CN1848958A (zh) * 2005-04-14 2006-10-18 中兴通讯股份有限公司 一种在网络中传输视频流的方法
US20080151933A1 (en) * 2006-12-22 2008-06-26 Jean-Philippe Vasseur Optimization of distributed tunnel rerouting in a computer network with intermediate node feedback
CN101018333A (zh) * 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
CN101511017A (zh) * 2009-03-20 2009-08-19 西安电子科技大学 基于网格的立体视频空间可分级编码器及其编码方法
CN103546754A (zh) * 2012-07-16 2014-01-29 中国科学院声学研究所 从h.264/avc到svc空间可分级的转码方法及系统

Also Published As

Publication number Publication date
CN106131551B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
Shen et al. Fast CU size decision and mode decision algorithm for HEVC intra coding
CN105900420B (zh) 选择运动向量精度
US8681873B2 (en) Data compression for video
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
RU2559691C2 (ru) Способ декодирования, декодер, программный продукт, программное приложение для мобильного устройства беспроводной связи и электронный потребительский продукт
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
CN104969554B (zh) 图像编码/解码方法和装置
CN103493481A (zh) 基于场景的适应性比特率控制
KR101993966B1 (ko) 디스플레이 스트림 압축 (ｄｓｃ) 을 위한 평탄도 검출을 위한 시스템 및 방법
KR20170016849A (ko) 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들
TW201347554A (zh) 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置
EP3817389A1 (en) Image encoding method, decoding method, encoder, decoder and storage medium
US20180176588A1 (en) Scalable video encoding/decoding method and apparatus
JP2012238927A (ja) 画像処理装置及び画像処理方法
CN103916675B (zh) 一种基于条带划分的低延迟帧内编码方法
US20180309988A1 (en) Per-sample prediction encoding apparatus and method
CN106105208B (zh) 可伸缩视频编码/解码方法和设备
KR102513756B1 (ko) 이미지 인코딩 방법, 디코딩 방법, 인코더, 디코더 및 저장매체
CN117544772A (zh) 不允许不必要的层包括在多层视频码流中
Herglotz et al. Power-efficient video streaming on mobile devices using optimal spatial scaling
CN106131551B (zh) 一种用于移动视频直播的分级编码方法
WO2014070941A1 (en) Video coding using lower resolution streams
KR20180032570A (ko) 디스플레이 스트림 압축에서의 변환 모드를 위한 블록 크기에 대한 수정
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치
WO2023030070A1 (zh) 编码、封装及显示方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant