CN109451331B - 基于用户认知需求的视频传输方法 - Google Patents

基于用户认知需求的视频传输方法 Download PDF

Info

Publication number
CN109451331B
CN109451331B CN201910036006.7A CN201910036006A CN109451331B CN 109451331 B CN109451331 B CN 109451331B CN 201910036006 A CN201910036006 A CN 201910036006A CN 109451331 B CN109451331 B CN 109451331B
Authority
CN
China
Prior art keywords
video
client
user
frame image
lossless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910036006.7A
Other languages
English (en)
Other versions
CN109451331A (zh
Inventor
吴金建
吴雨豪
毛永伟
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910036006.7A priority Critical patent/CN109451331B/zh
Publication of CN109451331A publication Critical patent/CN109451331A/zh
Application granted granted Critical
Publication of CN109451331B publication Critical patent/CN109451331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出了一种基于用户认知需求的视频传输方法，旨在提高用户体验，并减少冗余数据导致的带宽浪费；包括如下步骤：服务端获取视频片段；客户端定义用户的认知需求，并对每个认知需求编号；客户端将用户选择的认知需求的编号发送至服务端；服务端根据认知需求的编号采用无损或有损压缩编码算法对视频片段编码，其中有损压缩编码参数利用质量评价算法计算，并将编码结果发送至客户端；客户端对编码结果进行对应解码。本发明通过制定用户对视频的认知需求，使得用户够能准确选择视频的质量，同时利用质量评价算法计算编码参数，使得编码后的视频质量刚好满足用户需求，节约了网络带宽，可用于视频传输系统。

Description

基于用户认知需求的视频传输方法
技术领域
本发明属于视频传输技术领域，涉及一种视频传输方法，特别涉及一种基于用户认知需求的视频传输方法，可用于视频传输系统。
背景技术
大数据的发展导致了视觉大数据的产生，随着图像采集设备以及显示设备的更新迭代，大量的视觉数据以便捷的形式呈现在用户眼前，为用户提供丰富多彩的信息。然而在不同工作环境下，网络带宽并不总是能满足视觉数据传输的需求，无目的、无组织的高清图像采集制造出了巨量的冗余数据，导致关键的有效数据无法在有限的网络带宽中正常传递给用户，使得用户体验下降，甚至错过重要信息。
为了减轻网络压力，优化用户体验，在传统的视频传输方法中，服务端将获取到的原始视频数据进行有损压缩编码，再把有损压缩编码后的数据发送给客户端，客户端对接收到的视频数据解码还原成近似原始的数据，此时服务端获取到的原始视频数据才能以一定质量展示到用户面前，同时，用户一般有控制视频质量的权利，即通过预设的选项来控制压缩编码过程中的编码参数，以调整所看到的视频质量。这个过程虽然会增加整个系统的复杂度，同时有损压缩也会对视频数据的质量造成影响，但只要调控得当，适当地牺牲系统复杂度以及视频数据质量能够使得系统更合理地使用网络带宽，在有限的带宽条件下为用户提供更流畅的体验。但在传统的视频传输方法中仍存在缺陷，程序无法准确地度量用户对视频质量的需求，更无法精确地为用户提供指定质量的视频，同时，对于不同内容的视频片段，以同样的编码参数进行压缩编码后，其感知质量损失是不同的，若对所有视频片段以同样的编码参数进行压缩编码，则用户在客户端得到的视频质量参差不齐，用户体验较差。
目前，为了优化用户获取视频的体验，主要是通过获取的当前网络状态来优化视频传输方法，例如，申请公布号为CN105025294A，名称为“一种视频传输控制装置及方法”的专利申请，公开了一种视频传输方法，该方法先监测网络状态，再根据网络状态对视频进行采样，得到采样后的视频帧，最后将视频帧发送给用户。该方法通过视频帧率控制待传输视频的码率，能有效地减少视频传输时的数据量，同时视频帧率根据网络状态确定，因此能保证用户能获得流畅的视频体验。但该方法存在的缺陷是：
1)根据网络状态控制传输视频的码率，导致用户没有选择视频质量的权力，不能根据自身需求选择视频质量，用户体验仍然较差；
2)根据网络状态盲目地提高视频的码率，并不总是能提高视频的感官质量，虽然网络带宽能确保这些数据流畅地传输给用户，但由于没有考虑人眼的感知特性，视频数据中人眼感知不到的冗余数据会无意义地占据带宽，导致带宽的浪费。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了基于用户认知需求的视频传输方法，旨在提高用户体验，并减少冗余数据导致的带宽浪费。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)服务端获取视频片段X；
(2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
客户端定义用户的绝对无损需求、感知无损需求和认知无损需求，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5；
(3)客户端将用户选择的认知需求的编号发送至服务端：
客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
(4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
(4a)服务端判断用户选择的认知需求R的编号是否为0，若是，执行步骤(4b)，否则，执行步骤(4c)；
(4b)服务端采用无损压缩编码算法对视频片段X进行编码，得到编码后的视频片段Y；
(4c)服务端利用质量评价算法计算视频片段X的第n阶编码参数Q，n∈[1,5]且n＝R，并采用有损压缩编码算法，通过Q对视频片段X进行编码，得到编码后的视频片段Y；
(4d)服务端将步骤(4b)或步骤(4c)得到的编码后的视频片段Y发送至客户端；
(5)客户端对视频片段Y进行解码：
(5a)客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若是，执行步骤(5b)，否则，执行步骤(5c)；
(5b)客户端采用无损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′；
(5c)客户端采用有损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
本发明与现有技术相比，具有如下优点：
1)本发明在对视频片段进行编解码的过程中，是根据用户不同的认知需求，采用不同的压缩编码方法实现的，用户选择的每一种认知需求都有其实际含义，根据实际含义选择认知需求就能获得所需质量的视频片段，避免了现有技术因根据网络带宽控制视频码率调整视频质量导致的用户体验差的缺陷。
2)本发明利用质量评价算法计算视频指定感官质量对应的编码参数，通过该编码参数对视频编码再传输，使得用户获取到的视频数据刚好满足用户的感官质量需求，解决了视频在传输过程中存在大量用户不需要的冗余数据的问题，实现了为用户提供指定质量视频的前提下，将视频码率降到最低，节约了网络带宽。
附图说明
附图1为本发明的实现流程图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
实施例1.本实施例客户端采用无损压缩编码算法对视频片段Y进行编码和解码。
参照图1.本发明包括如下步骤：
步骤1)服务端获取视频片段X；
视频片段X可以由摄像头等能产生可播放的视频数据的对象提供；
步骤2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
虽然通过不同的编码算法以及相应的编码参数，能得到一系列不同码率的编码视频，但受限于人眼的感知特性，人眼只能从中分辨出有限的几个质量等级，因此在本发明中，对用户关于视频质量的认知需求作了一定的限定，在客户端定义用户的认知需求为绝对无损需求、感知无损需求和认知无损需求三大类，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求，主要用于医疗及军事等需要确保信息完整性的应用中；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求，主要用于艺术欣赏及数字娱乐等用户不要求确保信息完整性，但同时也不希望察觉出视频质量损失的应用中；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5，主要用于实况体育及交通监控等用户不要求获得完美的观影体验，但要求能认知视频中的目标的应用中，其中第四级认知无损需求为实现该目的的最低要求，若用户在该认知需求下得到的视频的质量进一步下降，则会出现用户无法认知视频中目标的现象；
步骤3)客户端将用户选择的认知需求的编号发送至服务端：
客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
步骤4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
(4a)服务端判断用户选择的认知需求R的编号是否为0，若是，则采用无损压缩编码算法对视频片段X进行编码，得到编码后的视频片段Y，其中，无损压缩编码算法可采用Huffyuv、H.264无损模式、MJPEG2000无损模式等可对视频进行无损压缩编码的算法，由于无损编码算法压缩率都较高，因此实施例采用计算速度最快的Huffyuv算法；
(4b)服务端将编码后的视频片段Y发送至客户端；
步骤5)客户端对视频片段Y进行解码：
客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若是，则采用Huffyuv算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
实施例2.本实施例客户端采用有损压缩编码算法对视频片段Y进行编码和解码，其中的步骤1)～步骤3)与实施例1相同，仅对步骤4)和步骤5)作了调整。
参照图1.本发明包括如下步骤：
步骤1)服务端获取视频片段X；
视频片段X可以由摄像头等能产生可播放的视频数据的对象提供；
步骤2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
虽然通过不同的编码算法以及相应的编码参数，能得到一系列不同码率的编码视频，但受限于人眼的感知特性，人眼只能从中分辨出有限的几个质量等级，因此在本发明中，对用户关于视频质量的认知需求作了一定的限定，在客户端定义用户的认知需求为绝对无损需求、感知无损需求和认知无损需求三大类，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求，主要用于医疗及军事等需要确保信息完整性的应用中；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求，主要用于艺术欣赏及数字娱乐等用户不要求确保信息完整性，但同时也不希望察觉出视频质量损失的应用中；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5，主要用于实况体育及交通监控等用户不要求获得完美的观影体验，但要求能认知视频中的目标的应用中，其中第四级认知无损需求为实现该目的的最低要求，若用户在该认知需求下得到的视频的质量进一步下降，则会出现用户无法认知视频中目标的现象；
步骤3)客户端将用户选择的认知需求的编号发送至服务端：
客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
步骤4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
(4a)服务端判断用户选择的认知需求R的编号是否为0，若不是，则利用质量评价算法计算视频片段X的第n阶编码参数Q，n∈[1,5]且n＝R，并采用有损压缩编码算法，通过Q对视频片段X进行编码，得到编码后的视频片段Y，其中有损压缩编码算法可采用MJPEG、H.264、H.265等可对视频进行有损压缩编码的算法，为了更好地与其它方案对接，实施例采用目前普及率最高的H.264算法，此时，编码参数等价于H.264算法中的量化参数；
对于同一有损压缩编码算法与同一等级的编码后视频感官质量，其编码过程中采用的编码参数与视频本身内容有关，因此本发明利用能代表感官质量的质量分来计算编码参数，视频片段X的第n阶编码参数Q的计算步骤为：
(4a1)客户端通过预先实验统计的编码参数与质量分关系表，查表第n阶编码参数对应的质量分Sn，同时将第n阶编码参数Q的初始值设置为0；
为了获得编码参数与质量分关系表，实施例预先准备一系列测试视频，以不同编码参数对视频进行编码，编码后的视频以质量高到质量低排序，并让参与实验人员对同一内容的视频选择出5个感官质量开始发生变化的视频，5个视频的感官质量满足感知无损需求及认知无损需求的定义，再记录这5个视频相对于原始视频的5级质量分，最后将通过所有参与实验人员得到的5级质量分进行统计得到统计后的5级质量分S1、S2、S3、S4和S5；
(4a2)客户端对Q进行更新：
Q＝Q+1；
(4a3)客户端采用H.264算法，以Q为编码参数对视频片段X进行编码，得到编码后的视频片段Y1；
(4a4)客户端采用H.264算法对Y1进行解码，得到解码后的视频片段X1′，并采用基于结构相似性的质量评价算法SSIM，计算X1′相对于X的质量分S(X,X1′)；
质量评价算法SSIM主要利用图像的局部结构特征，结合亮度与对比度，来计算两幅图像之间的相似度，即失真图像相对于原图的质量分，对于视频，实施例通过计算失真视频相对于原视频每个对应帧之间的SSIM质量分，并计算其平均值以得到失真视频相对于原视频的SSIM质量分，其中，失真视频的质量失真来自于H.264编码过程中的信息丢失，质量评价算法SSIM是质量评价算法领域中最为经典的算法之一，较低的计算复杂度使其得到了广泛的应用，在实施例中利用质量评价算法SSIM得到的质量分，能有效地计算出指定认知需求对应感官质量视频的编码参数，在实施例中采用的质量评价算法SSIM计算步骤如下：
(4a41)客户端将视频片段X中第i帧图像记为Xi，可播放的视频片段X1′中第i帧图像记为X1i′，其中，i＝1,2,...,N，N为视频片段X及视频片段X1′中总图像帧数，并分别计算Xi的平均强度
Figure BDA0001945941010000071
和X1i′的平均强度
Figure BDA0001945941010000072
Figure BDA0001945941010000074
其中，M表示每帧图像的总像素数，Xi(j)表示Xi的第j个像素点，X1i′(j)表示X1i′的第j个像素点，j＝1,2,...,M；
(4a42)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的亮度相似度L(Xi,X1i′)：
Figure BDA0001945941010000075
其中，C1＝(K1L)2为避免分母为0的常数，K1＝0.01，L＝255；
(4a43)客户端计算视频片段X中第i帧图像Xi的标准差和视频片段X1′中第i帧图像X1i′的标准差
Figure BDA0001945941010000081
(4a44)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的对比度相似度C(Xi,X1i′)：
Figure BDA0001945941010000083
其中，C2＝(K2L)2为避免分母为0的常数，参数K2＝0.03；
(4a45)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的结构相似度ST(Xi,X1i′)：
Figure BDA0001945941010000084
其中，
Figure BDA0001945941010000085
为避免分母为0的常数，
Figure BDA0001945941010000086
表示视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的协方差：
Figure BDA0001945941010000087
(4a46)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的SSIM值SSIM(Xi,X1i′)，得到视频片段X1′相对于视频片段X的质量分S(X,X1′)：
Figure BDA0001945941010000088
其中，SSIM(Xi,X1i′)＝L(Xi,X1i′)C(Xi,X1i′)ST(Xi,X1i′)。
(4a5)客户端重复步骤(4a2)至步骤(4a4)，直到S(X,X1′)≤Sn，得到的Q即为视频片段X的第n阶编码参数；
对于实施例采用的H.264编码算法，其编码参数范围为[0,51]，其中编码参数越小，对应编码后视频质量越高，实施例通过设置最高的编码后视频质量作为起始值，并逐步增大编码参数以使编码后视频质量分接近指定质量分；
(4b)服务端将编码后的视频片段Y发送至客户端；
步骤5)客户端对视频片段Y进行解码：
客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若不是，则采用H.264算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
以上描述仅是本发明的两个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于用户认知需求的视频传输方法，其特征在于，通过客户端和服务端实现，包括如下步骤：
(1)服务端获取视频片段X；
(2)客户端定义用户的认知需求R，并对每个认知需求进行编号：
客户端定义用户的绝对无损需求、感知无损需求和认知无损需求，其中，绝对无损需求表示用户在客户端获取的视频数据与原视频片段X一致的编号为R＝0的需求；感知无损需求表示用户在客户端获取的视频数据与原视频片段X感官质量一致的编号为R＝1的需求；认知无损需求表示用户在客户端获取的视频数据存在感官质量损失的需求，按照感官质量损失从小到大的顺序，认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求和第四级认知无损需求四个等级，编号分别为R＝2、R＝3、R＝4和R＝5；
(3)客户端将用户选择的认知需求的编号发送至服务端：
客户端将用户根据自身在客户端获取的视频数据质量的需要选择的一种认知需求R的编号发送至服务端；
(4)服务端对视频片段X进行编码，并将编码结果发送至客户端：
(4a)服务端判断用户选择的认知需求R的编号是否为0，若是，执行步骤(4b)，否则，执行步骤(4c)；
(4b)服务端采用无损压缩编码算法对视频片段X进行编码，得到编码后的视频片段Y；
(4c)服务端利用质量评价算法计算视频片段X的第n阶编码参数Q，n∈[1,5]且n＝R，并采用有损压缩编码算法，通过Q对视频片段X进行编码，得到编码后的视频片段Y；
(4d)服务端将步骤(4b)或步骤(4c)得到的编码后的视频片段Y发送至客户端；
(5)客户端对视频片段Y进行解码：
(5a)客户端判断接收到的视频片段Y是否为通过无损压缩编码算法获取，若是，执行步骤(5b)，否则，执行步骤(5c)；
(5b)客户端采用无损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′；
(5c)客户端采用有损压缩编码算法对视频片段Y进行解码，得到解码后的可播放的视频片段X′。
2.根据权利要求1所述的基于用户认知需求的视频传输方法，其特征在于，步骤(4c)中所述的服务端利用质量评价算法计算视频片段X的第n阶编码参数Q，实现步骤为：
(4c1)客户端通过预先实验统计的编码参数与质量分关系表，查表获得第n阶编码参数对应的质量分Sn，同时将第n阶编码参数Q的初始值设置为0；
(4c2)客户端对Q进行更新：
Q＝Q+1；
(4c3)客户端采用有损压缩编码算法，以Q为编码参数对视频片段X进行编码，得到编码后的视频片段Y1；
(4c4)客户端采用有损压缩编码算法对Y1进行解码，得到解码后的视频片段X1′，并采用基于结构相似性的质量评价算法SSIM，计算X1′相对于X的质量分S(X,X1′)；
(4c5)客户端重复步骤(4c2)至步骤(4c4)，直到S(X,X1′)≤Sn，得到的Q即为视频片段X的第n阶编码参数。
3.根据权利要求2所述的基于用户认知需求的视频传输方法，其特征在于，步骤(4c4)中所述的客户端以基于结构相似性的质量评价算法SSIM，计算X1′相对于X的质量分S(X,X1′)，实现步骤为：
(4c41)客户端将视频片段X中第i帧图像记为Xi，视频片段X1′中第i帧图像记为X1i′，其中，i＝1,2,...,N，N为视频片段X及视频片段X1′中图像帧数，并分别计算Xi的平均强度
Figure FDA0002223650760000031
和X1i′的平均强度
Figure FDA0002223650760000032
Figure FDA0002223650760000033
Figure FDA0002223650760000034
其中，M表示每帧图像的总像素数，Xi(j)表示Xi的第j个像素点，X1i′(j)表示X1i′的第j个像素点，j＝1,2,...,M；
(4c42)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的亮度相似度L(Xi,X1i′)：
Figure FDA0002223650760000035
其中，C1＝(K1L)2为避免分母为0的常数，K1＝0.01，L＝255；
(4c43)客户端计算视频片段X中第i帧图像Xi的标准差
Figure FDA0002223650760000036
和视频片段X1′中第i帧图像X1i′的标准差
Figure FDA0002223650760000037
Figure FDA0002223650760000038
Figure FDA0002223650760000039
(4c44)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的对比度相似度C(Xi,X1i′)：
Figure FDA00022236507600000310
其中，C2＝(K2L)2为避免分母为0的常数，参数K2＝0.03；
(4c45)客户端计算视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的结构相似度ST(Xi,X1i′)：
Figure FDA0002223650760000041
其中，
Figure FDA0002223650760000042
为避免分母为0的常数，
Figure FDA0002223650760000043
表示视频片段X中第i帧图像Xi和视频片段X1′中第i帧图像X1i′之间的协方差：
Figure FDA0002223650760000044
(4c46)客户端计算视频片段X中第i帧图像Xi与视频片段X1′中第i帧图像X1i′之间的SSIM值SSIM(Xi,X1i′)，得到视频片段X1′相对于视频片段X的质量分S(X,X1′)：
Figure FDA0002223650760000045
其中，SSIM(Xi,X1i′)＝L(Xi,X1i′)C(Xi,X1i′)ST(Xi,X1i′)。
4.根据权利要求1所述的基于用户认知需求的视频传输方法，其特征在于，步骤(4b)和步骤(5b)中所述的无损压缩编码算法，采用Huffyuv算法，步骤(4c)和步骤(5c)中所述的有损压缩编码算法，采用H.264算法。
CN201910036006.7A 2019-01-15 2019-01-15 基于用户认知需求的视频传输方法 Active CN109451331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910036006.7A CN109451331B (zh) 2019-01-15 2019-01-15 基于用户认知需求的视频传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910036006.7A CN109451331B (zh) 2019-01-15 2019-01-15 基于用户认知需求的视频传输方法

Publications (2)

Publication Number Publication Date
CN109451331A CN109451331A (zh) 2019-03-08
CN109451331B true CN109451331B (zh) 2020-01-31

Family

ID=65544114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910036006.7A Active CN109451331B (zh) 2019-01-15 2019-01-15 基于用户认知需求的视频传输方法

Country Status (1)

Country Link
CN (1) CN109451331B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418177B (zh) * 2019-04-19 2021-06-11 腾讯科技（深圳）有限公司 视频编码方法、装置、设备和存储介质
CN110211610A (zh) * 2019-06-20 2019-09-06 平安科技（深圳）有限公司 评估音频信号损失的方法、装置及存储介质
CN110505454B (zh) * 2019-08-29 2020-11-10 西安电子科技大学 基于场景模式与用户感知需求的视频供给系统与方法
CN112953922B (zh) * 2021-02-03 2022-09-16 西安电子科技大学 一种自适应流媒体控制方法、系统、计算机设备及应用

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100469187C (zh) * 2007-01-26 2009-03-11 中国科学技术大学 一种多天线系统中基于满意度的多用户调度方法
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
CN105025294B (zh) * 2015-08-03 2018-06-26 兴天通讯技术有限公司 一种视频传输控制装置及方法
CN108235327B (zh) * 2017-12-28 2021-06-29 桂林电子科技大学 基于非合作博弈论的认知无线网络频谱资源优化分配方法
CN108347734B (zh) * 2018-01-04 2021-11-23 西安电子科技大学 一种认知无线通信系统中基于时间均衡的资源分配方法

Also Published As

Publication number Publication date
CN109451331A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109451331B (zh) 基于用户认知需求的视频传输方法
CN102204257B (zh) 低延迟视频编码器
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
CN114071189B (zh) 视频处理装置及视频串流的处理方法
CN106488243B (zh) 一种多描述屏幕内容视频编码方法
US6075554A (en) Progressive still frame mode
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
EP1680925A1 (en) Foveated video coding and transcoding system and method for mono or stereoscopic images
KR20030040974A (ko) 오브젝트 기반 비트율 제어방법
CN110505454B (zh) 基于场景模式与用户感知需求的视频供给系统与方法
JP2008172810A (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
CN112291564B (zh) 优化监控视频感知质量的hevc帧内码率控制方法
CN108521572B (zh) 一种基于像素域jnd模型的残差滤波方法
CN116440501B (zh) 自适应云游戏视频画面渲染方法和系统
WO2020244328A1 (zh) 图像处理方法及装置
CN112261407B (zh) 一种图像压缩方法、装置、设备及计算机存储介质
KR100557618B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
CN111654660A (zh) 一种基于图像分割的视频会议系统编码传输方法
CN112367524B (zh) 一种全景视频编码方法
CN115665427A (zh) 直播数据的处理方法、装置及电子设备
CN112040231B (zh) 一种基于感知噪声信道模型的视频编码方法
Sun et al. Online dictionary learning based intra-frame video coding via sparse representation
KR100543608B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
CN1633177A (zh) 视频通信系统的帧率调节方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant