CN107371029B - 基于内容的视频包优先级分配方法 - Google Patents

基于内容的视频包优先级分配方法 Download PDF

Info

Publication number
CN107371029B
CN107371029B CN201710503913.9A CN201710503913A CN107371029B CN 107371029 B CN107371029 B CN 107371029B CN 201710503913 A CN201710503913 A CN 201710503913A CN 107371029 B CN107371029 B CN 107371029B
Authority
CN
China
Prior art keywords
slice
priority
importance
video
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710503913.9A
Other languages
English (en)
Other versions
CN107371029A (zh
Inventor
王永芳
朱芸
朱康华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710503913.9A priority Critical patent/CN107371029B/zh
Publication of CN107371029A publication Critical patent/CN107371029A/zh
Application granted granted Critical
Publication of CN107371029B publication Critical patent/CN107371029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于内容的视频包优先级分配方法，首先，根据NAL类型得到初始的slice优先级顺序，参数集优先级最高，I帧、P帧的优先级次高。然后用显著性加权的结构相似性来表示空域感知重要性，用运动活动性表示时域感知重要性，并联合得到空时域感知优先级。将优先级信息写入到NAL头文件中避免了产生额外的码流开销。信道解析NAL头文件，获取NAL类型和时空域感知优先级指标，从而确定每个视频包的优先级顺序。在丢包网络环境中，从低优先级开始丢弃，对高优先级的视频包予以保护。在解码端采用拷贝前一帧的简单方法进行错误隐藏得到解码视频。本发明方法在相同丢包率的情况下，视频质量比随机丢包方法得到的视频质量高，提高了视频传输的鲁棒性。

Description

基于内容的视频包优先级分配方法
技术领域
本发明涉及一种提高视频传输鲁棒性的方法，特别是涉及一种基于视频内容的对包进行 优先级分配的丢包方法，应用于视频传输技术利用。
背景技术
当视频流在网络中传输时，有很多因素会导致视频丢包，比如网络阻塞、延时等。现有 的视频编码方式HEVC等，采用帧内预测、帧间预测和量化等技术，某一帧的丢失可能会影 响其他帧的解码，从而导致误差传播，使视频质量严重下降。因此，不同包丢失造成的视觉 影响是不同的，通过研究不同丢包情况的容错性来建立视频包优先级传输模型，可以在相同 丢包率的情况下，减小丢包对视频质量的影响。
当视频通过网络传输时，判断每个视频包的重要性并对重要性高的包给予优先保护的优 先级传输模型，对提高解码端质量至关重要。近年来，涌现了很多视频包优先级传输模型， 并在视频传输中减小了丢包造成的端到端视频质量的损失。HEVC编码后的码流由一系列数 据单元即网络抽象层单元(network abstraction layer，NAL)组成。其最大编码单元是LCU (Largest Coding Units)，每个LCU又可以划分为更小的编码单元(CodingUnits，CU)。每 一帧被分成一个或多个片(slice)，并包含在NAL单元中，通过分析NAL头文件，可以判断 每个包的类型，从而确定初始的优先级顺序。其中，参数集(VPS，PPS，SPS)的优先级最 大，I帧的优先级大于P帧，B帧的优先级最低。通过研究包类型、视频内容等对网络传输视 频质量的影响，可以更准确地为视频包分配优先级。不同的打包策略和错误恢复机制也会影 响传输视频的感知质量。此外，为了在一定差错允许的情况下提高终端视频的感知质量，还 应该将人眼显著性感知等特性整合到优先级传输模型中。
发明内容
本发明的目的是为了在一定的丢包情况下，通过包优先级传输提高终端的用户体验质量, 首次提出基于内容分析的感知优先级分配方法，通过不同的视频特征对丢包容错性的影响建 立视频包优先级分配方法，在网络堵塞等情况下，对优先级低的包进行丢弃，对优先级高的 包进行保护，从而在一定程度上减小丢包对视频质量的影响。本发明方法将优先级信息写入 NAL头文件预留的位置中，避免了额外的码流开销。
为达到上述目的，本发明的构思是：首先，根据NAL类型得到初始的slice优先级顺序， 参数集优先级最高，I帧、P帧的优先级次高。然后我们用显著性加权的结构相似性来表示空 域感知重要性，用运动活动性表示时域感知重要性，并联合得到空时域感知优先级。为了避 免产生额外的码流开销，我们将优先级信息写入到NAL头文件中。信道解析NAL头文件， 获取NAL类型和时空域感知优先级指标，从而确定每个视频包的优先级顺序。在丢包网络环 境中，从低优先级开始丢弃，对高优先级的视频包予以保护，在相同的丢包程度下提高解码 端质量。
一种基于内容的视频包优先级分配方法，其特征在于该方法的具体步骤为：
a.对码流包优先级进行初级分配；
b.空域感知重要性提取：每帧图像初级分配完，计算每一个slice的显著性和对应的 SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域 感知重要性越高；
c.对步骤b所得的空域感知质量的值进行二值化处理，将视频图像分为显著区域，设 为“1”和非显著区域，设为“0”；对于每个slice，将二值化结果进行归一化处理， 若非零，则该slice判定为空域感知显著，否则为非感知显著；
d.时域感知重要性提取：计算slice中所有最大编码单元(Largest CodingUnits，LCU) 的编码单元(Coding Units，CU)的运动矢量的幅值作为运动活动性，若运动活动 性大于0，判定当前slice时域显著性，否则为时域不显著；
e.时空域感知优先级分配：当slice中的区域既是空域感知重要性区域也是时域感知重 要性区域时，它的空时域感知优先级等级最高；当slice中的区域是空域感知重要性 区域或时域感知重要性区域时，优先级次高；而当slice中的区域既不是空域感知重 要性区域也不是时域感知重要性区域时，分配最低感知优先级，即表示为：
Figure BDA0001334219760000021
f.感知重要性写入：将步骤e得到的感知重要性指标写入NAL头文件预留位中，通过 解析该重要性指标，判断其优先级顺序；丢包环境下，从优先级最低的视频包开始 丢弃，直到达到丢包率为止。
上述的步骤a的具体步骤为：当有连续5个包丢失时，设定下一个包的优先级为高，优 先级直接写入NAL头文件中；然后，判断其数据类型，如果是参数集，则具有最高优先级；如果是I、P帧，则赋予次高优先级；如果是B帧，则进入步骤b。视频编码后的码流以NAL 为单位，码流在信道中传输过程中，首先解析每个数据包的NAL头文件，确定其基本数据 类型。如果是参数集(PPS，SPS，VPS)信息，含有整个视频的编码信息，则具有最高优 先级，保证在传输过程中不能丢失；如果是I帧或者P帧数据，作为后续帧的参考，具有次 高优先级，而且视频中I帧和P帧的比例相对较少，在有限带宽的情况下，能保证其顺利传 输。然后如果是B帧数据，则进入步骤b。
上述步骤b中的显著性指标由片(slice)的显著性和对应的结构相似性度量(Structure Similarity Index Metric,SSIM)来计算：
Figure BDA0001334219760000031
其中，Sal_idx是加权以后的显著性指标，用于表示空域感知质量，其数值越大表示空 域感知重要性越高。wi是基于显著性模型的窗函数，用于对当前slice的显著性进行归一化处 理，表达式如下：
Figure BDA0001334219760000032
其中，sali是通过Itti显著性模型得到的当前slice的显著性值，N是一帧中slice的数目， i和j分别是slice在每帧中的位置。
上述步骤c的具体步骤为：采用最大类间方差法，把图像的灰度按照灰度级分为两个部 分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算 来寻找一个合适的门限值；门限值Threshold通过最大类间方差计算出，当加权后的显著性值 Sal_idx大于该门限值Threshold时，判断该区域是显著区域，设为“1”；反之，属于非显著 区域，设为“0”，即：
Figure BDA0001334219760000033
对于每个slice，将二值化结果进行归一化处理，其中，Threshold是通过最大类间方差 计算出的门限值，若非零，则该slice判定为空域感知显著，否则为非感知显著；
为了进一步衡量slice的空域感知质量，对整个slice中所有像素进行归一化处理：
Figure BDA0001334219760000034
其中，Spatnorm为slice的归一化空域感知重要性系数，该值越大，表明空域感知重要性 越大，N和M分别为slice的宽和高，Sal_idx(i,j)为二值化处理以后的显著性图的像素值； 由于在视频中背景占很大部分，显著性区域只占很小比重，因此Spatnorm大部分为零，为了简 单化，认为Spatnorm非零的区域为空域感知重要性区域：
Figure BDA0001334219760000041
其中，Pspat为空域感知重要性，当Pspat＝1表示该slice为空域感知显著，Pspat＝0为非感知 显著。
上述步骤d中的具体步骤为：定义CU的运动矢量：
MV＝(MVx,MVy)
MVx和MVy分别为运动矢量的水平和垂直分量，然后计算slice中所有LCU的MV幅值，每个slice的运动活动性MA表示如下：
Figure BDA0001334219760000042
其中N为slice中LCU的数目，M为LCU中CU的数目，i为当前LCU的编号，j为 当前CU在LCU中的位置编号，运动越剧烈，则运动活动性越大，时域显著性越强；根据MA 大小确定时域感知重要性：
Figure BDA0001334219760000043
其中，Ptemp为时域感知重要性，根据Ptemp的值来判断时域感知重要性，Ptemp＝1表示时 域显著的slice，Ptemp＝0表示时域不显著的slice。
上述公式中，Ppriori为时空域感知优先级指标，当slice中的区域既是空域感知重要性也是 时域感知重要性区域时，空时域感知优先级等级最高Ppriori＝2；当slice为空域感知重要性或 时域感知重要性区域时，优先级等级Ppriori＝1；而slice既不是时域显著也不是空域显著，则 感知优先级最低Ppriori＝0。
将这些指标写入到NAL头文件预留位中，通过解析该重要性指标，可以判断其优先级顺 序。在模拟网络堵塞等造成的网络丢包环境时，从优先级最低的视频包开始丢弃，直到达到 丢包率为止。丢包后的视频经过解码端解码得到受损视频，对视频进行质量评估得到视频客 观质量。视频的参数集(PPS，SPS，VPS)是保证能够解码的关键，必须保证参数集能够正确 完整传输，否则视频将无法解码。而I、P帧作为后续帧的参考帧，在有限带宽下应尽量保证 其正确传输，否则将严重导致后续帧无法正确解码。
高效视频编码技术，High Efficiency Video Coding,HEVC,是当前视频编码的主要方式。 它运用高效的帧内和帧间预测方式，减小了空间和时间冗余，将每个视频帧分成多个片 (slice)，每个slice之间可以独立解码。采用分层B帧结构，即IBBPBBP的编码方式，增加 了帧与帧之间的依赖性，使得某一帧的丢失会导致其他帧质量的连续恶化。因此，不同帧丢 失对视频整体质量的影响是不同的。对于视频某一帧帧内的slice的丢失对视频的影响也不同， 因此，每个slice的重要性也不相同。本发明方法首次综合上述所有情况，提出一种包优先级 分配方法，给不同的包分配不同的优先级，在网络堵塞等情况下需要进行丢包时，根据包所 分配的优先级，先丢弃优先级低的包，对优先级高的包进行保护。本发明方法能在网络环境 一定的情况下提高视频整体质量，增加视频传输的鲁棒性。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1、本发明方法充分考虑了时域和空域不同的视频特征对视频包优先级分配的影响，视觉 显著性区域的运用，使得视频传输在相同的丢包率情况下具有更高的容错性。
2、我们定义的时域感知重要性仅与运动矢量有关，从编码的信息中可以直接获取这些信 息；参数集(PPS,SPS,VPS)信息以及帧类型可以直接从NAL头文件中得到。因此本发明方法 的感知重要性的计算复杂度非常低。
3、本发明方法随着信道环境的恶化，传输视频质量并不会像随机丢包方法剧烈下降，因 为在连续5个包丢失时，我们设定下一个包的优先级为高，防止了其继续丢失导致的爆发性 丢失，这种方法大大提高了传输视频的鲁棒性。
附图说明
图1为本发明优选实施基于内容的视频包分配方法的操作程序框图。
图2为一帧分解为几个片(slice)的示意图。
图3为foreman空域显著性加权(a)原始图像(b)显著性加权图(c)二值化图。
图4为时域重要性和非重要性区域丢失的恢复质量比较，(a)原始图像，b)时域非显著 位置丢包，(c)时域显著位置丢包。
图5为不同QP下空时域感知优先级分布。
图6为信道传输丢包过程示意图。
具体实施方式
本发明的优选实施例结合附图详述如下：
实施例的具体步骤如图1流程图所示。在HM14.0编码平台，Visual Studio 2012环境下 编程仿真实现本方法。每帧可分解成几个slice如图2，首先对头文件进行解析判断其基本数 据类型，如果是参数集或者I、P帧，则予以最高和次高的优先级。其次，如果是B帧，那么 对其进行空时域的感知重要性提取，并对其赋予相应的感知重要性指标。然后，将这些指标 写入NAL头文件中。最后，在模拟丢包的过程中，根据包的优先级对其进行丢包，对丢包后 的解码视频进行质量评估，分析传输模型的性能。
实施例一：参见图1～6，一种基于内容的视频包优先级分配方法，包括如下步骤：
a.对码流包优先级进行初级分配；
b.空域感知重要性提取：每帧图像初级分配完，计算每一个slice的显著性和对应的 SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域 感知重要性越高；
c.对步骤b所得的空域感知质量的值进行二值化处理，将视频图像分为显著区域，设 为“1”和非显著区域，设为“0”；对于每个slice，将二值化结果进行归一化处理， 若非零，则该slice判定为空域感知显著，否则为非感知显著；
d.时域感知重要性提取：计算slice中所有最大编码单元(Largest CodingUnits,LCU) 的编码单元(Coding Units，CU)运动矢量的幅值作为运动活动性，若运动活动性 大于0，判定当前slice时域显著性，否则为时域不显著；
e.时空域感知优先级分配：当slice中的区域既是空域感知重要性区域也是时域感知重 要性区域时，它的空时域感知优先级等级最高；当slice中的区域是空域感知重要性 区域或时域感知重要性区域时，优先级次高；而当slice中的区域既不是空域感知重 要性区域也不是时域感知重要性区域时，分配最低感知优先级，即表示为：
Figure BDA0001334219760000061
感知重要性写入：将步骤e得到的感知重要性指标写入NAL头文件预留位中，通过解 析该重要性指标，判断其优先级顺序；丢包环境下，从优先级最低的视频包开始丢弃，直到达到丢包率为止。
实施例二：
步骤1.码流包优先级初级分配：当有连续5个包丢失时，设定下一个包的优先级为高， 优先级索直接写入NAL头文件中；然后判断数据类型，如果是参数集，则具有最高优先级； 如果是I、P帧，则赋予次高优先级；如果是B帧，则进入步骤b。视频编码后的码流以NAL为单位，码流在信道中传输过程中，首先解析每个数据包的NAL头文件，确定其基本数据 类型。如果是参数集(PPS，SPS，VPS)信息，含有整个视频的编码信息，则具有最高优 先级，保证在传输过程中不能丢失；如果是I帧或者P帧数据，作为后续帧的参考，具有次 高优先级，而且视频中I帧和P帧的比例相对较少，在有限带宽的情况下，能保证其顺利传 输。然后如果是B帧数据，则进入步骤2。
步骤2.空域感知重要性提取：一帧图像编码完，计算每一个slice的显著性和对应的 SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域感知重要性越高。在丢包网络环境中，显著性加权的SSIM指数可以很好地评估视频的客观质量。在视频质量评估过程中，显著性起到至关重要的作用。SSIM是用来评价视频质量的指标，通过显著性加权，使得显著区域更加突出，在传输过程中给予更高优先级保护。显著性加权的SSIM图像见图3(b)。
Figure BDA0001334219760000071
其中，Sal_idx是加权以后的显著性指标，用于表示空域感知质量，其数值越大表示空 域感知重要性越高。wi是基于显著性模型的窗函数，用于对当前slice的显著性进行归一化处 理，表达式如下：
Figure BDA0001334219760000072
其中，sali是当前slice的显著性值，N是一帧中slice的数目，i和j分别是slice的位置。
然后，对这个空域感知质量的值进行二值化处理，这里采用最大类间方差法，把图像的 灰度按照灰度级分为两个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度 差异最小，通过方差的计算来寻找一个合适的划分阈值。将视频图像分为显著区域(设为“1”) 和非显著区域(设为“0”)，二值化的视频图像参照图3(c)。
Figure BDA0001334219760000073
对于每个slice，将二值化结果进行归一化处理，其中，Threshold是通过最大类间方差 计算出的门限值。若非零，则该slice判定为空域感知显著，否则为非感知显著。
为了进一步衡量slice的空域感知质量，我们对整个slice中所有像素进行归一化处理。
Figure BDA0001334219760000081
其中，Spatnorm为slice的归一化空域感知重要性系数，该值越大，表明空域感知重要性 越大。N和M分别为slice的宽和高，Sal_idx(i,j)为二值化处理以后的显著性图的像素值。 由于在视频中背景占很大部分，显著性区域只占很小比重，因此Spatnorm大部分为零，为了简 单化，我们认为Spatnorm非零的区域为空域感知重要性区域。
Figure BDA0001334219760000082
其中，Pspat为空域感知重要性，当Pspat＝1表示该slice为空域感知显著，Pspat＝0为非 感知显著。
步骤3.时域感知重要性提取：由于背景区域对于拷贝前帧的错误隐藏方式的容错性比 运动区域更高，由图4可见b图中拷贝前帧的方式隐藏背景橱窗的丢包具有良好的效果，c 图中对运动的人的区域采用拷贝前帧的错误隐藏方式明显并不能正确隐藏丢包错误。所以 应当将运动程度作为优先级分配的重要考虑因素。这里用slice中所有LCU的运动矢量 (motion vector,MV)的幅值计算运动活动性，若运动活动性大于0，判定当前slice时域显著 性，否则为时域不显著。我们定义CU的运动矢量：
MV＝(MVx,MVy)
MVx和MVy分别为运动矢量的水平和垂直分量。然后计算slice中所有LCU的MV幅值，每个slice的运动活动性(motion activity，MA)可以表示如下：
Figure BDA0001334219760000083
其中N为slice中LCU的数目，M为LCU中CU的数目，i为当前LCU的编号，j为 当前CU在LCU中的位置编号。运动越剧烈，则运动活动性越大，时域显著性越强。
和空域显著性处理方式一致，为了计算方便，我们根据MA大小确定时域感知重要性：
Figure BDA0001334219760000091
其中，Ptemp为时域感知重要性，根据Ptemp的值来判断时域感知重要性，Ptemp＝1表示时 域显著的slice，Ptemp＝0表示时域不显著的slice。
时域感知重要性仅与运动矢量有关，从编码的信息中可以直接获取这些信息，因此时域 感知重要性的计算复杂度比较低。
步骤4.时空域感知优先级分配：结合步骤2和步骤3的空域和时域的感知重要性得到 时空域感知优先级指标，作为给包分配优先级的依据。视频包优先级分配的规则是：当slice 中的区域既是空域感知重要性区域也是时域感知重要性区域时，它的空时域感知优先级等 级最高；当slice中的区域是空域感知重要性区域或时域感知重要性区域时，优先级次高； 而当slice中的区域既不是空域感知重要性区域也不是时域感知重要性区域时，分配最低感 知优先级。
Figure BDA0001334219760000092
当网络丢包率较低的情况下，我们选择丢失Ppriori＝0的slice，这些slice的丢失对于视 频质量的影响最小，可以有效提高解码视频质量。
步骤5.感知重要性写入：将步骤4得到的感知重要性指标写入NAL头文件预留位中， 通过解析该重要性指标，可以判断其优先级顺序。从优先级最低的视频包开始丢弃，直到 达到丢包率为止，可以保证在相同丢包率的情况下视频体验质量损失最小。图5是BQMall 序列在不同QP下，空时域感知优先级分布图。可以看出，最低优先级均超过20％，且随着 QP增大低优先级的比重增大。因为随着QP增大，更多的信息被丢失，原本处于时域显著 性或者空域显著性的区域被量化后变为不显著区域。
下面进行大量仿真实验来评估本文所提出的一种基于内容的视频包优先级分配方法在 视频传输中的鲁棒性。我们采用JCT-VC推荐的编码环境设置，QP分别设置为27，32，37， 42，47。编码平台采用HM14.0，Profile设为随机接入(Random Access)。采用分层B帧结构，IBBBPBBBP，每个图像组(Group of Picture，GOP)大小为8。仿真平台为Window7 系统，主频3.3GHz，运行内存8GB。我们分别对BQMall，BasketballDrill，ChinaSpeed，FourPeople，Johnny，Vidyo进行编码，帧率为30fps，分别测试在丢包率为1％，5％，10％，15％情况下的解码效果。图6是信道传输丢包模拟过程，原始视频通过编码器编码以后变成二进制码流，码流在有损信道中传输，信道解析每个包的头文件，分析NAL的类型和感知 重要性指标。然后分析其优先级顺序，在带宽允许的范围内，保留高优先级的数据，丢弃 低优先级的数据。最后解码器将受损的码流进行解码得到视频，并采用拷贝前一帧的简单 方法进行错误隐藏。
表1是本算法和随机丢包算法的性能对比，可以看出，丢包率从1％到15％增加的过程 中，我们提出的算法的视频恢复质量受到影响较小，所有序列的PSNR平均下降1.222dB， 且随着丢包率的增加，我们提出的算法的PSNR的下降是缓慢，而随机丢包的PSNR大幅度
表1为提出算法和随机丢包的PSNR对比。
Figure BDA0001334219760000101
Figure BDA0001334219760000111
Figure BDA0001334219760000121
由上述实验可见，本文所述的发明方法确实有效地提高了视频传输的鲁棒性，在一定 的网络丢包情况下，有效地提高了视频质量。
本文所描述的具体实施方式仅是对本发明精神作举例说明。本发明所属技术领域的技术人 员可以对所描述的具体实施案例做修改、补充或采用类似的方式替代，但并不会偏离本发明的 精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于内容的视频包优先级分配方法，其特征在于：该方法的具体步骤为：
a.对码流包优先级进行初级分配；
b.空域感知重要性提取：每帧图像初级分配完，计算每一个slice的显著性和对应的SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域感知重要性越高；
c.对步骤b所得的空域感知质量的值进行二值化处理，将视频图像分为显著区域，设为“1”和非显著区域，设为“0”；对于每个slice，将二值化结果进行归一化处理，若非零，则该slice判定为空域感知显著，否则为非感知显著；
d.时域感知重要性提取：计算slice中所有最大编码单元(Largest Coding Units,LCU)的编码单元(Coding Units,CU)运动矢量的幅值作为运动活动性，若运动活动性大于0，判定当前slice时域显著，否则为时域不显著；
e.时空域感知优先级分配：当slice中的区域既是空域感知重要性区域也是时域感知重要性区域时，它的空时域感知优先级等级最高；当slice中的区域是空域感知重要性区域或时域感知重要性区域时，优先级次高；而当slice中的区域既不是空域感知重要性区域也不是时域感知重要性区域时，分配最低感知优先级，即表示为：
Figure FDA0002532489860000011
f.感知重要性写入：将步骤e得到的感知重要性指标写入NAL头文件预留位中，通过解析该重要性指标，判断其优先级顺序；丢包环境下，从优先级最低的视频包开始丢弃，直到达到丢包率为止；
所述步骤a的具体步骤为：当有连续5个包丢失时，设定下一个包的优先级为高，优先级索直接写入NAL头文件中；然后判断数据类型，如果是参数集，则具有最高优先级；如果是I、P帧，则赋予次高优先级；如果是B帧，则进入步骤b；视频编码后的码流以NAL为单位，码流在信道中传输过程中，首先解析每个数据包的NAL头文件，确定其基本数据类型；如果是参数集(PPS，SPS，VPS)信息，含有整个视频的编码信息，则具有最高优先级，保证在传输过程中不能丢失；如果是I帧或者P帧数据，作为后续帧的参考，具有次高优先级，而且视频中I帧和P帧的比例相对较少，在有限带宽的情况下，能保证其顺利传输；然后如果是B帧数据，则进入步骤b；
所述步骤b中的显著性指标由片(slice)的显著性和对应的结构相似性度量(Structure Similarity Index Metric,SSIM)来计算：
Figure FDA0002532489860000021
其中，Sal_idx是加权以后的显著性指标，用于表示空域感知质量，其数值越大表示空域感知重要性越高；wi是基于显著性模型的窗函数，用于对当前slice的显著性进行归一化处理，表达式如下：
Figure FDA0002532489860000022
其中，sali是由Itti显著性模型计算得到的当前slice的显著性值，N是一帧中片(slice)的数目，i和j分别是slice的位置；
所述步骤c的具体步骤为：采用最大类间方差法，把图像的灰度按照灰度级分为两个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的门限值；门限值Threshold通过最大类间方差计算出，当加权后的显著性值Sal_idx大于该门限值Threshold时，判断该区域是显著区域，设为“1”；反之，属于非显著区域，设为“0”，即：
Figure FDA0002532489860000023
对于每个片(slice)，将二值化结果进行归一化处理，其中，Threshold是通过最大类间方差计算出的门限值，若非零，则该slice判定为空域感知显著，否则为非感知显著；为了进一步衡量slice的空域感知质量，对整个slice中所有像素进行归一化处理：
Figure FDA0002532489860000024
其中，Spatnorm为slice的归一化空域感知重要性系数，该值越大，表明空域感知重要性越大，N和M分别为slice的宽和高，Sal_idx(i,j)为二值化处理以后的显著性图的像素值；由于在视频中背景占很大部分，显著性区域只占很小比重，因此Spatnorm大部分为零，为了简单化，认为Spatnorm非零的区域为空域感知重要性区域：
Figure FDA0002532489860000025
其中，Pspat为空域感知重要性，当Pspat＝1表示该slice为空域感知显著，Pspat＝0为非感知显著；
所述步骤d中的具体步骤为：定义CU的运动矢量：
MV＝(MVx,MVy)
MVx和MVy分别为运动矢量的水平和垂直分量，然后计算slice中所有LCU的MV幅值，每个slice的运动活动性MA表示如下：
Figure FDA0002532489860000031
其中N为slice中LCU的数目，M为LCU中CU的数目，i为当前LCU的编号，j为当前CU在LCU中的位置编号，运动越剧烈，则运动活动性越大，时域显著性越强；
在所述步骤d中，根据MA大小确定时域感知重要性：
Figure FDA0002532489860000032
其中，Ptemp为时域感知重要性，根据Ptemp的值来判断时域感知重要性，Ptemp＝1表示时域显著的slice，Ptemp＝0表示时域不显著的slice。
CN201710503913.9A 2017-06-28 2017-06-28 基于内容的视频包优先级分配方法 Active CN107371029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710503913.9A CN107371029B (zh) 2017-06-28 2017-06-28 基于内容的视频包优先级分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710503913.9A CN107371029B (zh) 2017-06-28 2017-06-28 基于内容的视频包优先级分配方法

Publications (2)

Publication Number Publication Date
CN107371029A CN107371029A (zh) 2017-11-21
CN107371029B true CN107371029B (zh) 2020-10-30

Family

ID=60305281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710503913.9A Active CN107371029B (zh) 2017-06-28 2017-06-28 基于内容的视频包优先级分配方法

Country Status (1)

Country Link
CN (1) CN107371029B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549859B (zh) * 2018-04-09 2021-04-06 深圳市鹰硕技术有限公司 多屏互动的网络教学方法以及装置
CN111225238A (zh) * 2018-11-26 2020-06-02 华为技术有限公司 信息处理方法及相关设备
CN110418140A (zh) * 2019-07-26 2019-11-05 华北电力大学 视频的优化传输方法及系统
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置
CN111770346B (zh) * 2020-06-10 2022-09-30 杭州电子科技大学 一种基于显著性的立体三维视频错误隐藏方法
EP4213570A4 (en) * 2020-10-22 2023-11-22 Huawei Technologies Co., Ltd. COMMUNICATION METHOD AND APPARATUS, AND COMPUTER-READABLE STORAGE MEDIUM
WO2022213848A1 (zh) * 2021-04-09 2022-10-13 华为技术有限公司 一种通信方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299819A (zh) * 2008-04-25 2008-11-05 清华大学 可伸缩视频编码中的三维小波子带排序及码流封包方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101547356A (zh) * 2008-03-24 2009-09-30 展讯通信（上海）有限公司 视频码流收发、转发方法及设备
CN103618900A (zh) * 2013-11-21 2014-03-05 北京工业大学 基于编码信息的视频感兴趣区域提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539962B (zh) * 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547356A (zh) * 2008-03-24 2009-09-30 展讯通信（上海）有限公司 视频码流收发、转发方法及设备
CN101299819A (zh) * 2008-04-25 2008-11-05 清华大学 可伸缩视频编码中的三维小波子带排序及码流封包方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN103618900A (zh) * 2013-11-21 2014-03-05 北京工业大学 基于编码信息的视频感兴趣区域提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于内容感知的可分级视频码流排序方法;周莺;《信号处理》;20130831;第1012-1018页 *

Also Published As

Publication number Publication date
CN107371029A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN107371029B (zh) 基于内容的视频包优先级分配方法
US20210258579A1 (en) Method and device for encoding or decoding image
US10448015B2 (en) Method and device for performing adaptive filtering according to block boundary
US10116942B2 (en) Method and apparatus for decoding a video using an intra prediction
US7302006B2 (en) Compression of images and image sequences through adaptive partitioning
US10205953B2 (en) Object detection informed encoding
TWI650995B (zh) 視訊解碼裝置、視訊編碼方法及非暫態電腦可讀記錄媒體
JP5981561B2 (ja) シーンカットアーチファクトを考慮するビデオ品質評価
MX2007000810A (es) Metodo y aparato para conversion ascendente de velocidad por cuadro asistido de codificador (ea-fruc) para compresion de video.
KR20150111993A (ko) 손실된 비디오 데이터의 조건부 은닉
US10911783B2 (en) Method and apparatus for processing video signal using coefficient-induced reconstruction
US20170006289A1 (en) Image encoding method for sample value compensation and apparatus therefor, and image decoding method for sample value compensation and apparatus therefor
CN108353175B (zh) 使用系数引起的预测处理视频信号的方法和装置
US9432694B2 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
US9565404B2 (en) Encoding techniques for banding reduction
EP3818699A1 (en) Methods and apparatus for multiple line intra prediction in video compression
US11917163B2 (en) ROI-based video coding method and device
US10785499B2 (en) Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding
US10609377B2 (en) Image encoding method and device for sample value compensation and image decoding method and device for sample value compensation
Bai et al. Fast coding tree unit decision for HEVC intra coding
KR20190062284A (ko) 인지 특성에 기반한 영상 처리 방법 및 장치
Wang et al. Network-based model for video packet importance considering both compression artifacts and packet losses
CN117616751A (zh) 动态图像组的视频编解码
US11647228B2 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
KR101710622B1 (ko) 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant