CN110505454A - 基于场景模式与用户感知需求的视频供给系统与方法 - Google Patents

基于场景模式与用户感知需求的视频供给系统与方法 Download PDF

Info

Publication number
CN110505454A
CN110505454A CN201910808526.5A CN201910808526A CN110505454A CN 110505454 A CN110505454 A CN 110505454A CN 201910808526 A CN201910808526 A CN 201910808526A CN 110505454 A CN110505454 A CN 110505454A
Authority
CN
China
Prior art keywords
video
module
coding
user
demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910808526.5A
Other languages
English (en)
Other versions
CN110505454B (zh
Inventor
吴金建
毛永伟
吴雨豪
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910808526.5A priority Critical patent/CN110505454B/zh
Publication of CN110505454A publication Critical patent/CN110505454A/zh
Application granted granted Critical
Publication of CN110505454B publication Critical patent/CN110505454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于场景模式与用户感知需求的视频供给系统与方法，解决了视频供给缺少用户反馈，存在传输资源浪费的问题。本发明中的用户交互子模块接收用户需求并传给服务端，视频质量下降判定子模块给出视频质量判定结果，编码控制模块与编码模块共同实现视频质量调整。方法是通过视频数据采集、传输、客观质量评价、选择视频供给方式、依所选方式供给视频。实现了按用户的感知需求与场景模式对视频质量的调整。控制方式有主观、自动控制，策略分为动态、静态场景。本发明的供给方法融入了用户的感知需求与场景模式，提高了用户感知体验，降低视觉冗余，保证了传输条件不足时用户的主要需求得到满足。用于视频供给。

Description

基于场景模式与用户感知需求的视频供给系统与方法
技术领域
本发明属于视频供给技术领域，特别涉及用户控制供给需求的视频供给，具体是一种基于场景模式与用户认知需求的视频供给系统与方法，可用于视频传输系统。
背景技术
随着图像采集设备以及显示设备的更新迭代，呈现在用户眼前的数据量越来越庞大，这对存储与传输设备的要求也越来越高。然而在有些工作环境下，传输条件不能满足视觉数据的传输需求，无目的、无组织的高清图像采集制造出了巨量的冗余数据，使得用户无法及时获取关键的有效数据，导致体验下降甚至错过了重要信息。
人眼视觉系统是非线性的，只能觉察到超过一定阈值的变化。现有的视频供给系统与方法没有考虑到人眼视觉系统的特性，缺乏对用户主观感知需求的度量，无法准确向用户供给符合用户感知需求的视频，造成大量的视觉冗余，浪费了传输资源。
在实时传输过程中，有两个方面影响着视频质量，一个是视频的帧率，一个是视频的码率，分别影响着视频的清晰度和流畅度。视频内容的不同场景对于视频的清晰度与流畅度的要求是不同的。动态的场景内容对流畅度的要求更高，静态的场景内容对清晰度的要求更高。在传输条件不足时，不能同时保证视频的清晰度与流畅度。
在现有的视频供给系统与方法中，服务端将采集到的原始视频数据进行有损压缩编码，再把有损压缩编码后的数据发送给客户端，客户端对接收到的视频数据解码还原成近似原始的数据通过显示器显示。然而现有的供给系统与方法中无法准确度量用户对视频质量的需求，缺少用户需求的反馈，无法将用户的感知需求反馈到服务端，不能根据用户的需求准确供给视频数据。另外用户的感知需求在动态场景模式下与静态场景模式下是不同的，现有的供给系统与方法没有考虑到场景模式对于用户感知的影响，不能根据场景模式准确供给符合用户感知需求的视频，导致视频的供给是盲目的，无方向的，大量的视觉冗余数据浪费了传输资源，在传输条件差时大量的冗余数据会导致用户无法及时接收到关键的数据，造成用户的体验下降；在传输条件不足的情况下，现有的传输系统与方法缺少应对的方法，无法根据传输条件调整传输需求，会出现丢包与丢帧的情况，造成用户体验的下降，严重时会错过关键信息。
发明内容
本发明针对现有技术的不足，提出了一种更加符合用户的感知需求的基于场景模式与用户感知需求的视频供给系统与方法。
本发明首先是一种基于场景模式与用户感知需求的视频供给系统，包括有服务端、传输模块、客户端；服务端依次包括有采集模块、编码模块、发送子模块，客户端包括接收子模块、解码模块、显示模块，其中发送子模块与接收子模块又归属于传输模块，传输模块是基于Gstreamer架构，采用UDP网络协议建立了服务端与客户端的连接，编码模块对采集模块采集到的YUV格式的视频数据流进行编码，发送子模块将编码后的视频数据发送到接收子模块，经过解码模块解码后由客户端的显示设备实时播放，其特征在于，传输模块中增加了控制交互模块，控制交互模块包括处于服务端的交互子模块与处于客户端的交互子模块，控制交互模块通过Socket端口，采用TCP网络协议建立了服务端交互子模块与客户端交互子模块双向通信；客户端增设了用户交互子模块与视频质量下降判定子模块，用户交互子模块接收用户输入的视频的感知需求信息，用户交互子模块与视频质量下降判定子模块，客户端的交互子模块单向数据连接，将接收到的用户需求信息发送给客户端的交互子模块与视频质量下降判定子模块；视频质量下降判定子模块与解码模块单向数据连接，接收解码模块输出的解码后的视频数据，与客户端交互子模块双向数据连接，接收服务端发送视频数据的帧率，发送判别结果；服务端增设了编码控制模块，编码控制模块与编码模块双向数据连接，与服务端交互子模块双向数据连接；用户交互子模块、控制交互模块、编码控制模块共同构成了主观控制模块；用户对视频的感知需求由用户交互子模块接收，并依次向客户端交互子模块、服务端交互子模块、编码控制模块发送，编码控制模块根据用户的需求更改视频编码参数；用户交互子模块、视频质量下降判定子模块、控制交互模块、与编码控制模块共同构成了自动控制模块；用户交互子模块向视频质量下降判定子模块传递场景模式与认知需求信息，视频质量下降判定子模块根据场景模式与用户的认知需求对当前视频数据进行判定并将判定结果通过控制交互模块发送到编码控制模块，编码控制模块根据判定结果更改编码参数，实现融入用户感知需求的视频质量的自动控制。
本发明还是一种基于场景模式与用户感知需求的视频供给方法，是在权利要求1-2所述的基于场景模式与用户感知需求的视频供给系统上实现的，其特征在于，包括有如下步骤：
1)视频数据采集：采集模块采集YUV格式的视频数据传入编码模块与编码控制模块。
2)视频数据的传输：编码模块对采集到的YUV格式的视频数据进行编码并将编码后的视频数据由传输模块发送到客户端，客户端的解码模块对接收到的视频数据进行解码并将解码后的YUV视频数据发送到显示模块进行显示，同时编码模块将编码后的视频数据发送到编码控制模块。
3)抽取关键帧：在一个固定的时间段内，编码控制模块按照一个固定的频率抽取一组采集模块采集的YUV格式的视频数据的关键帧，记为Xi；同时编码控制模块将接收到的编码后的视频数据进行解码，在相同的时间节点并按照相同的频率抽取一组编码控制模块中解码后视频数据的关键帧，记为Yi，其中i表示在该时间段内抽取的一组关键帧的其中一帧数据的编号。
4)计算客观质量得分：编码控制模块的客观质量评价子模块对原始数据的关键帧Xi与解码后的关键帧Yi按照SSIM质量评价算法计算编码后视频数据的客观质量得分。
5)显示客观质量得分：编码控制模块将编码后视频数据的客观质量得分依次通过控制交互模块、用户交互子模块、显示模块发送，由显示设备显示当前时间段内解码后视频数据客观质量得分。
6)按照一个固定的时间间隔，重复执行步骤3到步骤5，得到该频率下的一系列编码后视频数据的客观质量得分。
7)通过感知实验得到感知需求等级与客观质量得分的对应表：进行主观感知实验，一次实验过程为，在不同的视频场景模式下，首先向实验者供给最高质量的视频数据，此时的感知需求等级为感知无损的需求等级，逐渐降低供给的视频质量，当实验者第一次感知到视频质量下降时，记录此时的客观质量得分N1，定义实验者第一次感知到视频质量下降之前的视频质量为感知无损的需求等级，感知无损的需求等级对应所有大于N1的客观质量得分，继续降低视频质量，当实验者第二次感知到视频质量下降时，记录此时的客观质量得分N2，定义实验者第一次感知到视频质量下降至第二次感知到视频质量下降之间的视频质量为第一级认知无损的需求等级，第一级认知无损的需求等级对应的客观质量得分在N1与N2之间，继续降低视频质量，当实验者第三次感知到视频质量下降时，记录此时的客观质量得分N3，定义实验者第二次感知到视频质量下降至第三次感知到视频质量下降之间的视频质量为第二级认知无损的需求等级，第二级认知无损的需求等级对应的客观质量得分在N2与N3之间，依次类推，直到实验者第十次感知到视频质量下降，记录此时的客观质量得分N10，定义实验者第九次感知到视频质量下降至第十次感知到视频质量下降之间的视频质量为第九级认知无损的需求等级，第九级认知无损的需求等级对应的客观质量得分在N9与N10之间，至此得到了不同感知需求等级对应的客观质量得分的范围；重复多次实验，计算多次实验中N1，N2，..，N10的均值，得到不同场景模式下每个感知需求等级对应的客观质量得分的范围，将感知需求等级与客观质量得分范围制成感知需求等级与客观质量得分的对应表。
8)用户选择供给的方式：供给方式设为两种，一种为主观控制，另一种为自动控制；主观控制供给方式是通过调整视频的感知需求等级与细节需求实现融入场景模式与感知需求的视频供给，自动控制供给方式是通过自动控制供给方式调节供给视频的质量。
9)系统按照用户选择的控制方式进行视频供给：无论用户选择哪种视频供给方式，在视频供给中，都是在控制过程中对视频的编码参数进行调整。
9.1)若用户选择的是主观控制方式，编码控制模块将处理子模块根据用户的感知需求生成编码指令传递给编码模块，编码模块根据接收到的编码指令调整视频的编码参数。
9.2)若用户选择的是自动控制方式，系统在自动控制的过程中已经完成了对视频编码参数的修改。
与现有技术相比，本发明的技术优势：
满足用户需求：现有技术无法准确地供给符合用户需求的视频数据，因为缺少用户需求的反馈，本发明在现有的供给系统的基础上增加了用户交互子模块，控制交互模块，编码控制模块。其中用户交互子模块可以接收用户的需求信息包括感知需求信息与细节需求信息，控制交互模块可以将用户的需求信息反馈到服务端，编码控制模块根据用户的需求信息生成控制编码参数的指令并将控制指令传递给编码模块，编码模块按照编码指令修改视频的编码参数，使得供给的视频数据满足用户的感知需求与细节需求，提高了用户的体验。
传输需求更低，减少视觉冗余：现有的视频供给技术，没有考虑到人眼视觉系统的特性，在采集与供给过程中产生了大量的视觉冗余，大量的视觉冗余需要更多存储与传输的资源。本发明进行了主观感知实验，根据人眼视觉特性设置感知需求等级，得到感知需求等级与客观质量得分的对应表，编码控制模块对照感知需求等级与客观质量得分的对应表，调整视频的编码参数，使得当前的客观质量得分符合用户选择的感知需求等级的对应范围内。本发明的视频供给系统与方法准确向用户供给符合用户选择的感知需求等级的视频数据，有效减少了视觉冗余，降低了传输需求，节约了传输与存储的资源。
适应不同场景模式：现有技术没有考虑到不同的场景模式下人眼视觉系统对于视觉内容的感知需求是不同的，场景模式可以分为动态的场景模式与静态的场景模式，本发明在不同的场景模式进行上述的主观实验，得到了不同场景模式下的客观质量得分与感知需求等级的对应表。在不同的场景模式下，视频供给系统根据不同的客观质量得分与感知需求等级的对应表调整视频的编码参数，使得供给的视频数据在不同的场景模式下都符合用户的感知需求。
自动适应传输条件：现有技术无法根据传输条件及时调整传输的视频质量，严重时会使用户漏掉关键信息。本发明在现有视频供给系统上增加了自动控制模块，自动控制模块中的视频质量下降判定子模块，可以实时检测当前的传输条件是否可以满足传输需求，编码控制模块根据视频质量下降判定子模块的判定结果与自适应传输条件的供给策略调整视频的编码参数，实现自适应传输条件的供给。在不同的场景下，用户对视频的清晰度与流畅度的需求是不同的，本发明在不同的场景模式采用不同的自适应传输条件的供给策略，这样可以最大程度地降低传输条件下降对用户体验的影响，优先满足用户的主要需求，保证用户可以获得需要的关键信息。
附图说明
附图1为本发明的总体构成示意图；
附图2为本发明的编码控制模块结构示意图；
附图3为本发明的视频供给方法的流程框图；
附图4为本发明用于检测噪声的方向算子的矩阵表示图。
具体实施方式
以下结合附图和具体实例对本发明进行详细描述。
实施例1
视频随着数字化发展，人们得到视频的手段越来越多，视频的质量也不断提高，这对视频数据的存储与传输都提出了更高的要求。然而现有的视频供给系统与方法，没有考虑到人眼视觉系统的特性，导致产生了大量的视觉冗余数据，当网络环境不能满足传输需求时，这样无目的，无组织的高清图像的传输将使得用户无法及时获取关键有效的数据，导致用户体验下降甚至错过重要的信息。
针对这个现状，本发明经过创新与研究，提出了一种基于场景模式与用户感知需求的视频供给系统，参见图1，包括有服务端、传输模块、客户端；服务端依次包括有采集模块、编码模块、发送子模块，客户端包括接收子模块、解码模块、显示模块，其中发送子模块与接收子模块又归属于传输模块。现有的传输系统包括有采集模块，编码模块，传输模块，解码模块，显示模块。传输模块是基于Gstreamer架构，采用UDP网络协议建立了服务端与客户端的连接。现有的视频供给过程为编码模块对采集模块采集到的YUV格式视频数据流进行编码，发送子模块将编码后的视频数据发送到接收子模块，经过解码模块解码后由客户端的显示设备实时播放。本发明对现有的供给系统进行了改进，参见图1，本发明在传输模块中增加了控制交互模块，控制交互模块包括处于服务端的交互子模块与处于客户端的交互子模块，控制交互模块通过Socket端口，采用TCP网络协议建立了服务端交互子模块与客户端交互子模块双向通信，客户端向服务端发送用户的需求信息，服务端向客户端发送编码控制模块计算得到的客观质量得分与服务端发送视频数据的帧率，其中客观质量得分由客户端的显示模块显示，服务端发送视频数据的帧率用于视频质量下降的检测。
参见图1，本发明还在服务端增设了编码控制模块，编码控制模块与编码模块双向数据连接，与服务端交互子模块双向数据连接。用户交互子模块、控制交互模块、编码控制模块共同构成了主观控制模块。主观控制模块中的用户交互子模块接收用户输入的视频的感知需求信息，并依次向客户端交互子模块、服务端交互子模块、编码控制模块发送，编码控制模块根据用户的需求更改视频编码参数。用户交互子模块、视频质量下降判定子模块、控制交互模块、与编码控制模块共同构成了自动控制模块。自动控制模块中的用户交互子模块向视频质量下降判定子模块传递场景模式与自动控制的指令，视频质量下降判定子模块在接收到自动控制的指令后将场景模式信息由传输模块发送给编码控制模块并对当前视频数据进行判定，将判定结果通过控制交互模块发送到编码控制模块，编码控制模块根据判定结果与不同场景模式的自适应传输条件的供给策略更改编码参数，实现融入用户感知需求的视频质量的自动控制。参见图1，本发明还在客户端增设了用户交互子模块与视频质量下降判定子模块，用户交互子模块接收用户输入的视频的感知需求信息与指令信息，用户交互子模块与视频质量下降判定子模块，客户端的交互子模块单向数据连接，将接收到的用户需求信息发送给客户端的交互子模块，将自动控制指令与场景模式信息发送给视频质量下降判定子模块，客户端的交互子模块将接收到的用户需求信息发送到服务端，服务端的编码控制模块根据用户的需求信息控制视频的编码参数，视频质量下降判定子模块接收用户自动控制的指令信息开始对客户端接收的视频数据进行实时判定。视频质量下降判定子模块与解码模块单向数据连接，接收解码模块输出的解码后的视频数据，与客户端交互子模块双向数据连接，接收服务端发送视频数据的帧率，发送判别结果。
本发明提出了一个基于场景模式与感知需求的视频供给系统的整体技术方案，解决了现有视频供给系统缺少用户反馈导致无法按照需求准确供给视频的问题，以及无法应对传输变差时供给过程丢帧与丢包的问题。本发明在现有的供给系统的基础上，增加了用户交互子模块，主观控制模块与自动控制模块。用户可以向用户交互子模块输入需求信息，主观控制模块可以根据用户的需求信息调整视频的编码参数，使得供给过程变得可控，用户的需求可以得到及时的满足；在传输条件不稳定的情况下，自动控制模块可以实时调整视频的编码参数，增加供给的稳定性，满足用户的主要需求同时减少对手工控制的需求。对于不同的场景需求，采取不同的传输方式，可以满足用户的主要需求，减少网络条件降低对用户体验的损害。
实施例2
基于场景模式与用户感知需求的视频供给系统的总体构成同实施例1，本发明中的编码模块由omxh264nec插件构成，本发明中的编码控制模块是基于Gstreamer架构建立的。参见图2，编码控制模块包括有编码交互子模块，客观质量评价子模块，处理子模块。编码交互子模块接收采集模块发送至编码模块的原始数据与编码模块输出的编码后的视频数据，编码交互子模块向编码模块发送处理模块生成的编码指令。客观质量评价子模块与编码交互子模块单向连接，客观质量评价子模块接收编码交互子模块输出的评价所需的视频数据，客观质量评价子模块与服务端交互子模块单向连接，发送评价结果即视频数据的客观质量得分。处理子模块与服务端交互子模块单向连接，接收用户的感知需求信息并按照接收的感知需求信息生成相应的编码指令，处理子模块与编码交互子模块单向连接，发送编码指令。编码模块的omxh264nec插件根据接收到的指令更改视频的编码参数，实现对于供给视频数据的控制。
本发明中编码控制模块包括有编码交互子模块，客观质量评价子模块，处理子模块，参见图2。编码交互子模块与处理子模块单向连接，编码交互子模块接收处理子模块输出的编码指令并将编码指令传递给编码模块，编码模块根据编码指令调整视频的编码参数，实现了根据用户的需求调整供给视频的质量与细节。在主观控制的供给方式中，编码控制模块的处理子模块根据用户的需求信息生成编码指令，编码模块根据编码指令调整供给视频的编码参数，达到使供给视频符合用户需求的目的。在自动控制的供给方式中，处理子模块按照视频质量下降的判定结果与不同场景模式下的自适应传输条件变化的供给策略生成编码指令，编码模块根据编码指令调整供给视频的编码参数，实现对供给视频的自动控制，达到适应传输条件变化的目的。编码交互子模块与客观质量评价子模块单向连接，编码交互子模块向客观质量评价子模块传递评价所需要的视频数据，客观质量评价子模块按照SSIM算法对编码后的视频数据进行客观质量评价，得到编码后视频数据的客观质量得分，客观质量得分反映了视频的质量，使得视频的质量有了一个度量。本发明中的编码模块选用omxh264nec插件，该插件是Nvidia TX2开发板用于加速h264编码的插件，提高编码的效率。
实施例3
本发明还是一种基于场景模式与用户感知需求的视频供给方法，是在上述的基于场景模式与用户感知需求的视频供给系统上实现的，基于场景模式与用户感知需求的视频供给系统的总体构成同实施例1-2。供给过程是服务端与客户端建立连接，采集模块采集视频数据，服务端将采集到的视频数据发送到客户端，客户端的显示模块实时播放从服务端接收到的视频数据。参见图3，包括有如下步骤：
1)视频数据采集：采集模块采集YUV格式的原始视频数据传入编码模块。
2)视频数据的传输：编码模块将采集到的YUV格式的原始视频数据编码为H.264格式的视频数据并将编码后的视频数据由传输模块发送到客户端，客户端的解码模块对接收到的视频数据进行解码并将解码后的YUV格式的视频数据发送到显示模块进行显示，实现了视频的实时传输。同时编码模块将编码后的视频数据发送到编码控制模块，采集模块将未编码的原始视频数据发送到编码控制模块，在服务端计算编码后的客观质量得分，可以避免向客户端传输未编码的原始据，使传输的资源用于实时视频数据的传输。
3)抽取关键帧：在一个固定的时间段内，编码控制模块按照一个固定的频率抽取一组编码模块接收的YUV视频数据的关键帧，记为Xi。同时编码控制模块将接收到的编码后的视频数据进行解码，在相同的时间节点并按照相同的频率抽取一组编码控制模块中解码后视频数据的关键帧，记为Yi，其中i表示在该时间段内抽取的一组关键帧的其中一帧数据的编号。
4)计算客观质量得分：编码控制模块对原始数据的关键帧Xi与解码后的关键帧Yi按照SSIM质量评价算法计算编码后视频数据的客观质量得分。客观质量得分可以作为评判视频的质量的依据，根据客观质量得分，系统可以将视频的质量与感知需求等级相对应。
5)显示客观质量得分：编码控制模块将编码后视频数据的客观质量得分依次向控制交互模块、用户交互子模块、显示模块发送，由显示设备显示当前时间段内解码后视频数据客观质量得分。
6)按照一个固定的时间间隔，重复执行步骤3到步骤5，得到该频率下的一系列解码后的关键帧的客观质量得分。
7)进行主观感知实验：主观感知实验只需进行一次，得到不同场景模式下客观质量得分与感知需求等级的对应表，用于调整视频编码的参数使视频的质量符合用户的感知需求。主观感知实验的流程如下：
(7a)选十人进行实验，其中七人有图像处理的工作经验，三人没有图像处理的工作经验。
(7b)选取不同的场景模式X1，X2进行视频的实时传输，其中X1为动态场景，X2为静态场景。
(7c)客户端定义用户端的认知需求R，并对每个认知需求进行编号：
客户端定义用户的感知需求等级为感知无损需求、和认知无损需求。感知无损需求表示客户端接受到的视频数据与原始的视频数据在用户的主观感觉上是没有差别的，及主观感知无损，将感知无损的需求定义为R＝0的需求。认知无损需求表示客户端接受到的视频数据与原始的视频数据在用户的主观感知上是有差别的，但是这些差别不影响用户对于视频内容的认知。按照感官质量损失由小到大的顺序将认知无损需求分为第一级认知无损需求、第二级认知无损需求、第三级认知无损需求一直到第九级认知无损需求，分别定义为R＝1、R＝2、…、R＝9。
(7d)分别在场景模式X1与场景模式X2下对不同的实验者进行多次实验。一次实验过程为，在不同的视频场景模式下，首先向实验者供给最高质量的视频数据，此时的感知需求等级为感知无损的需求等级。逐渐降低供给的视频质量，当实验者第一次感知到视频质量下降时，记录此时的客观质量得分N1，定义实验者第一次感知到视频质量下降之前的视频质量为感知无损的需求等级，感知无损的需求等级对应所有大于N1的客观质量得分。继续降低视频质量，当实验者第二次感知到视频质量下降时，记录此时的客观质量得分N2，定义实验者第一次感知到视频质量下降至第二次感知到视频质量下降之间的视频质量为第一级认知无损的需求等级，第一级认知无损的需求等级对应的客观质量得分在N1与N2之间。继续降低视频质量，当实验者第三次感知到视频质量下降时，记录此时的客观质量得分N3，定义实验者第二次感知到视频质量下降至第三次感知到视频质量下降之间的视频质量为第二级认知无损的需求等级，第二级认知无损的需求等级对应的客观质量得分在N2与N3之间。依次类推，直到实验者第十次感知到视频质量下降，记录此时的客观质量得分N10，定义实验者第九次感知到视频质量下降至第十次感知到视频质量下降之间的视频质量为第九级认知无损的需求等级，第九级认知无损的需求等级对应的客观质量得分在N9与N10之间。至此得到了不同感知需求等级对应的客观质量得分的范围。重复多次实验。
(7e)计算不同场景模式下多次实验得到的N1，N2，...，N10的均值，得到不同场景模式下每个感知需求等级对应的客观质量得分的范围。将感知需求等级与客观质量得分范围制成感知需求等级与客观质量得分的对应表。表1如下。
表1感知需求等级与客观质量得分对应表
感知需求等级 客观质量得分
感知无损需求等级 >N1
第一级认知无损的需求等级 (N2，N1]
第二级认知无损的需求等级 (N3，N2]
第三级认知无损的需求等级 (N4，N3]
第四级认知无损的需求等级 (N5，N4]
第五级认知无损的需求等级 (N6，N5]
第六级认知无损的需求等级 (N7，N6]
第七级认知无损的需求等级 (N8，N7]
第八级认知无损的需求等级 (N9，N8]
第九级认知无损的需求等级 (N10，N9]
8)用户选择供给的方式：本发明中供给控制方式设为两种，用户可以在两种控制方式中选择其中一种。两种供给控制方式的一种为主观控制，另一种为自动控制。主观控制供给方式是通过调整视频的感知需求等级与细节需求实现融入场景模式与感知需求的视频供给，自动控制供给方式是通过自动检测视频是否出现丢帧丢包的情况，判定传输条件是否可以满足传输需求，根据判定结果调整视频的编码参数，直到当前的传输条件与传输的视频质量相匹配。
9)系统按照用户选择的控制方式进行视频供给：无论用户选择哪种视频供给方式，在视频供给中，都是在控制过程中对视频的编码参数进行调整。
9.1)若用户选择的是主观控制方式，编码控制模块将处理子模块根据用户的感知需求生成编码指令传递给编码模块，编码模块根据接收到的编码指令调整视频的编码参数。
9.2)若用户选择的是自动控制方式，系统在自动控制的过程中已经完成了对视频编码参数的修改。
本发明还提出了一种基于场景模式与感知需求的视频供给方法的整体技术方案。在不同的场景模式下进行主观感知实验，得到了不同场景模式下的客观质量得分与感知需求等级的对应表，根据不同场景模式下的对应表，将视频的客观质量得分调整到用户选择的感知需求等级所对应的范围中，实现根据用户的感知需求与场景模式的视频供给，这样设置的感知需求等级更加符合人眼视觉系统的感知需求，减少视觉冗余带来的传输资源的浪费。同时本发明提供给用户主观控制方式与自动控制方式，使得视频供给的控制方式更加的灵活，自动控制的方式减少了视频供给过程中对用户操作的需求，降低了传输条件下降对供给质量的影响，保证用户的主要需求首先得到满足，提高了用户的体验。
实施例4
基于场景模式与用户感知需求的视频供给系统及方法同实施例1-3，步骤9.1中所述的主观控制供给方式，包括有如下步骤：
9.1a)发送用户需求信息：当用户选择了主观控制的视频供给方式时，用户交互子模块将用户的需求信息由控制交互模块向编码控制模块发送。用户的需求信息包括有场景模式信息，感知需求等级信息与视频的细节信息。其中场景模式信息与感知需求信息用于将视频质量调整至用户选择的感知需求等级对应的范围内。场景模式可以选择为动态场景与静态场景，分别对应一套感知需求等级与客观质量得分的对应表，编码控制模块按照实验得到的不同场景模式下的感知需求等级与客观质量得分的对应表调整视频的编码参数，使得传输的视频数据更加符合用户的感知需求。
9.1b)根据感知需求信息调整视频编码参数：按照场景模式与感知需求等级调整视频质量，按照视频的细节信息调整视频的细节，两个调整过程在时间不分先后，也就是说无论先进行哪个调整均可。
9.1b1)按照场景模式与感知需求等级调整视频质量：编码控制模块对照客观质量得分与认知需求等级对应表，若当前客观质量评分不符合当前认知需求等级对应的客观质量评分的范围内，编码控制模块的处理子模块生成编码指令并将编码指令传递给编码模块。
9.1b2)调整视频的细节：用户的细节需求具体为视频的分辨率、帧率、色调、饱和度与亮度，编码控制模块的处理子模块根据用户的细节需求生成编码指令并将编码指令传递给编码模块。
9.1c)编码模块根据编码指令修改视频编码的参数。
本发明提供给用户主观控制视频供给的方式，用户可以选择感知需求等级，调整视频的细节，视频的细节包括分辨率，帧率，色调，对比度与亮度，具体是通过用户交互子模块进行选择输入的。其中调整视频的分辨率使得供给的视频的分辨率与显示设备的分辨力匹配，可以避免供给视频分辨率过小不能充分利用显示资源的问题以及供给视频的分辨率过大导致供给视频在显示设备无法完全显示的问题。调整视频的帧率，色调，对比度与亮度方便用户获得更加符合自己需求的视频数据。用户主观选择感知需求等级使得视频的供给过程在不降低用户的感知体验的前提下，减少了视觉冗余，降低了传输需求。同时本发明考虑到视频内容对用户体验的影响，用户可以通过调整视频的细节，提升用户的感知体验。
实施例5
基于场景模式与用户感知需求的视频供给系统及方法同实施例1-3，步骤9.2中所述的自动控制供给方式，包括有如下步骤：
9.2a)发送控制信息：当用户选择自动控制视频供给方式时，用户交互子模块将场景模式信息、自动控制供给的指令信息由控制交互模块向编码控制模块发送。
9.2b)判定视频质量，发送判定结果：自动控制模块的视频质量下降判定子模块采用视频质量下降的判定方法按照一个固定的时间间隔对当前客户端播放的视频数据进行判定并且将判定结果发送到编码控制模块。
9.2c)生成编码指令：编码控制模块的控制子模块根据判定结果按照预先设定的基于场景模式的自适应供给策略生成编码指令。
9.2d)根据视频质量调整编码参数：编码控制模块将编码指令传递给编码模块，编码模块按照编码指令调整视频的编码参数。
9.2e)按照一个固定的时间间隔重复步骤8.2)、步骤8.3)、步骤8.4)，实现对视频供给的自动控制。
本发明中的基于场景模式的自动控制供给方式，适用于传输条件由好变差的情况下，可以摆脱人工操作的限制，自动适应传输条件的变化，保证传输的稳定性，使得传输条件下降对用户体验的影响降到最小，减少丢包，丢帧的情况，满足用户最主要的需求，提高用户的体验。
实施例6
基于场景模式与用户感知需求的视频供给系统及方法同实施例1-5，步骤9.2b)中所述的视频质量下降的判别方法，包括有如下步骤：
9.2b1)编码控制模块计算服务端向客户端发送的视频数据的帧率F1，与此同时视频质量下降判定子模块计算客户端接收的视频数据的帧率F2。
9.2b2)控制交互模块将F1发送到视频质量下降判定子模块。
9.2b3)视频质量下降判定子模块计算F1与F2的差值，当差值不为零时，判定视频数据的传输过程中出现了丢帧的情况。
视频数据的传输过程是基于UDP网络协议，与TCP协议不同，UDP网络协议类似于广播的形式，当网络条件差时，会出现接收端无法及时接收到发送端发送过来的视频数据的情况，此时接收端接收到的视频的帧率将不等于发送端发送的视频的帧率。
9.2b4)视频质量下降判定子模块按照一个固定的频率获取客户端接收的视频数据的关键帧H，并且采用方向算子对关键帧进行噪声检测。当检测值超过设置的阈值，判定视频数据的传输过程中出现了丢包的情况。
方向算子检测噪声的方法首先定义了4个方向算子K1，K2，K3，K4，参见图4，图4a为定义的水平方向算子K1，图4b为定义的垂直方向算子K1，图4c为定义的左侧对角线方向算子K1，图4d为定义的对角线方向算子K1。
分别用这四个方向的算子作为卷积核对关键帧数据的各个像素点的灰度值I(x，y)进行卷积运算，每个像素点计算得到四个灰度卷积值，判定依据为，若该像素点为噪点时，则与其邻域内的像素灰度相差均较大，即四个灰度卷积值都比较大。
判定过程为，当计算得到的NoiseValue超过设定的阈值，则判定视频质量差，出现了丢包的情况。通常阈值是根据实验设定的。
9.2b5)视频质量下降判定子模块根据步骤9.2b3判定是否丢帧与步骤9.2b4判定是否丢包的结果进行判定，满足或丢包或者丢帧的情况都判定为视频的质量下降，若同时丢包和丢帧一定也为质量下降；仅不丢包也不丢帧的情况，才判定视频的质量没有下降。
本发明中的视频质量下降的判别方法运算量小，判定结果准确，可以快速地检测出当前的传输条件是否可以满足当前的传输需求，用于自动控制的供给中可以及时地检测出传输条件下降，并进行视频编码的调整，保证了系统可以对传输条件的变化做出及时的反应，使得传输条件下降对用户体验的影响降到最小，减少丢包，丢帧的情况，保证传输的稳定性。
本发明旨在提高用户体验，并减少冗余数据导致的传输资源浪费。相比于现有的视频供给系统与方法，本发明增加了用户需求的反馈与对视频编码的控制，包括主观控制与自动控制。主观控制包括对视频质量的控制与细节的控制，本发明根据主观实验对视频的质量按照用户的感知变化划分为不同的感知需求等级，根据用户选择的感知需求等级控制供给视频的质量，在满足用户的感知需求的同时，减少了视觉冗余数据；用户根据需求调整供给视频的细节，可以带给用户更好的体验。自动控制使得视频的供给可以适应传输条件的变化，在传输条件变差时，可以根据场景模式降低视频的质量，即清晰度与流畅度，满足用户的主要需求，传输条件不足会导致丢帧，丢包的情况，严重时用户可能会错过关键信息，本发明提出的自动控制供给视频的方式，可以保证传输的稳定性，带给用户更好的体验。
下面将系统与方法融合在一起，再给出一个更加详细的例子，对本发明进一步说明。
实施例7
基于场景模式与用户感知需求的视频供给系统及方法同实施例1-6，参见图3，本发明包括如下步骤：
1)服务端与客户端建立连接：服务端与客户端具有两种通信方式，一种是视频流的实时传输，这种方式采用UDP网络协议与Gstreamer架构，是由服务端向客户端的单向传输，用于传输实时的视频数据；另一种方式采用TCP网络协议，通过Socket端口在服务端与客户端之间建立了双向通信，用于用户的主观控制与自动控制中服务端与客户端信息的交互。
2)服务端获取实时的视频流数据：服务端获得的实时视频流数据是由采集设备采集得到的，对于采集到的原始数据采用H.264编码方式进行编码，该方式是有损编码方式，默认设置为帧率为30fps的感知无损的视频数据。
3)实时传输并播放视频数据：服务端将采集到的视频数据通过Gstreamer管道以UDP的协议发送到客户端。客户端通过显示设备播放实时视频流。以上步骤实现了视频的实时传输与播放，后续步骤实现了基于场景模式与感知需求的视频供给。
4)计算视频的客观质量得分：编码控制模块采用质量评价算法SSIM计算编码后视频数据的客观质量得分并将客观质量得分发送到客户端由显示模块显示，客观质量得分作为设置感知需求等级的依据。客观质量得分的计算采用质量评价算法SSIM计算编码后的视频数据的客观质量得分。质量评价算法SSIM主要利用图像的局部结构特征，结合亮度与对比度，来计算两幅图像之间的相似度，即失真图像相对于原图的质量分，对于视频，实施例通过计算失真视频关键帧相对于原视频关键帧之间的SSIM质量分，并计算其平均值以得到失真视频相对于原视频的SSIM质量分，其中，失真视频的质量失真来自于H.264编码过程中的信息丢失，质量评价算法SSIM是质量评价算法领域中最为经典的算法之一，较低的计算复杂度使其得到了广泛的应用质量评价算法SSIM计算步骤如下：
(4.1)编码控制模块计算原始数据的关键帧Xi的平均像素强度与解码后视频的关键帧Yi的平均像素强度
其中M表示关键帧的总像素数，Xi(j)表示Xi的第j个像素点的强度，Yi(j)表示Yi的第j个像素点的强度。
(4.2)编码控制模块计算原始数据的关键帧Xi与编码后视频数据的关键帧Yi之间的亮度相似度L(Xi,Yi)：
其中，C1为避免分母为0的常数，C1＝(K1L)2，其中K1为计算C1的第一参数，K1＝0.01，L为计算K1的第二参数，L＝255。
(4.3)编码控制模块计算原始数据的关键帧Xi的标准差与编码后视频数据的关键帧Yi的标准差
(4.4)编码控制模块计算原始数据的关键帧Xi与编码后视频数据的关键帧Yi的对比度相似度C(Xi,Yi)：
其中，C2＝(K2L)2为避免分母为0的常数，
其中K2为计算C2的第一参数，K2＝0.03，L为计算C2的第二参数。
(4.5)编码控制模块计算原始数据的关键帧Xi与编码后视频数据的关键帧Yi的结构相似度ST(Xi,Yi)：
其中，为避免分母为0的常数，表示编码后视频数据的关键帧Xi与原始数据的关键帧Yi的协方差：
(4.6)编码控制模块计算原始数据的关键帧Xi与编码后视频数据的关键帧Yi的SSIM值SSIM(Xi,Yi):
SSIM(Xi,Yi)＝L(Xi,Yi)C(Xi,Yi)ST(Xi,Yi)
在一个固定的时间间隔内，计算得到该时间间隔内服务端向客户端发送视频流的客观质量得分S(Xi,Yi):
5)用户根据当前播放的视频数据内容将自己的需求反馈到服务端：用户可以选择主观控制的模式与自动控制的模式，其中主观控制的模式可以进行的操作有选择视频的感知需求等级；调整视频的帧率、色调、饱和度、亮度。自动控制模式进行基于场景模式的自适应传输条件变化的视频供给。上述可供用户选择的操作没有时间的先后顺序，可以根据用户的需求灵活选择。在本实例中，用户首先选择了场景模式与感知需求等级，然后调整了视频的细节，最后选择自动控制模式。
6)用户选择场景模式与感知需求等级：若用户需要感知无损的视频数据，选择感知需求等级R＝0；若用户需要认知无损的视频数据，选择感知需求等级R＝1、3、…、9。用户选择感知需求等级R＝1，场景为静态场景。
7)客户端通过控制交互模块向服务端发送用户选择的场景模式信息与感知需求等级信息。
8)客户端的编码控制模块比较当前编码后的视频数据的客观质量得分是否处于R＝1的感知需求等级对应的客观质量得分的范围内。若当前的客观质量得分不在该范围内，调整视频的编码参数，直到当前的客观质量得分符合用户选择的感知需求等级对应的范围。
9)用户选择增加当前视频的对比度，用户交互子模块接收用户输入的增加对比度的需求信息。
10)客户端将用户的需求信息发送到服务端，具体为客户端通过控制交互模块发送到编码控制模块。
11)服务端的编码控制模块根据用户的需求信息生成编码指令，编码模块根据编码指令调整视频的编码参数，达到增加视频对比度的效果。
12)用户选择静态场景模式下的自动控制，用户交互子模块接收用户输入的场景模式的信息与自动控制指令信息。
13)客户端的用户交互子模块将用户选择的场景模式信息发送到编码控制模块，同时将自动控制的指令发送给视频质量下降模块，系统开始自适应传输条件变化的视频供给。
14)客户端的视频质量下降判定子模块对客户端接收到的视频数据进行判定。
15)客户端的视频质量下降判定子模块将得到的判定结果发送到服务端的控制编码模块。
16)编码控制模块根据判定结果结合基于不同场景模式的自适应视频供给策略改变视频的编码参数。
本发明的基于不同场景模式的自适应视频供给策略分为两种，一种为动态场景模式的自适应视频供给策略，优先考虑视频的流畅性，另一种为静态模式的自适应视频供给策略，优先考虑视频的清晰度。在自动控制方式下，编码控制模块结合视频质量的判定结果，在不同场景模式下，按照不同的自适应视频供给策略对视频的编码参数进行调整，执行步骤17，按照固定的时间间隔反复根据不同场景模式自适应调整视频的编码参数。
本发明中按照感官质量损失，视频的流畅性可以分为十分流畅，流畅，较为流畅，卡顿四个等级。这四个等级分别对应的视频帧率为30fps，24fps，16fps，10fps，降低视频的流畅性时每次减少2fps。视频的清晰度按照感知需求等级划分为四个等级，分别是感知无损，感知轻微有损，感知有损，感知严重有损，其中感知无损对应感知需求等级R＝0；感知轻微有损对应感知需求等级R＝1，R＝2，R＝3，R＝4；感知有损对应的感知需求等级R＝5，R＝6，R＝7，R＝8；感知严重有损对应感知需求等级R＝9，降低视频的清晰度时每次降低一个感知需求等级。
供给策略的步骤如下：
16.1)用户根据需求选择视频供给的模式，记录当前的视频质量为Q0。
16.2)根据视频质量下降模块的判定结果判断当前的传输条件是否可以满足传输需求。
16.3)按照供给策略调整编码参数：若检测到传输条件不能满足传输需求，根据当前视频的流畅性等级与清晰度等级选择视频编码参数的调整方式。当视频的质量下降一次，记录此时的视频质量为Q1，当视频的质量下降两次，记录此时的视频质量为Q2，依次类推。若检测结果连续为传输条件可以满足传输需求的次数超过设置的阈值，且视频的质量较初始的质量Q0有下所降，则调整视频的编码参数，使得视频的质量调整回下降之前的质量。
16.3a)在动态模式下，若视频的清晰度在感知轻微有损及以上等级，保持当前的流畅性，降低视频的清晰度；若视频的清晰度已降至感知有损并且视频的流畅性处于流畅及以上的等级，保持当前的清晰度，降低视频的流畅性；若视频的流畅性降至较为流畅，则降低视频的清晰度，实现对传输条件的调整，使当前的传输条件恰好满足传输需求。
16.3b)在静态模式下，若视频的流畅性在流畅的等级及以上，保持当前的清晰度，降低视频的流畅性；若视频的流畅性已降至较为流畅并且视频的清晰度处于感知轻微有损及以上的等级，保持当前的流畅性，降低视频的清晰度；若视频的清晰度降至感知有损，则保持当前的清晰度，降低视频的流畅性，实现对传输条件的调整，使当前的传输条件恰好满足传输需求。
17)按照一个固定的时间间隔重复执行步骤14，步骤15，步骤16，反复进行视频质量的判定、向编码控制模块发送判定结果、根据判定结果与自适应供给策略更改视频编码参数，对视频编码进行调整，实现对视频供给的自动控制。
18)供给系统保持当前的供给状态，等待用户输入需求信息，直到接收到用户的需求信息后，根据用户的需求信息更改视频的编码参数。
以上步骤共同实现了基于场景模式与感知需求的视频供给。
综上所述，本发明提出的一种基于场景模式与用户感知需求的视频供给系统与方法，解决了视频供给缺少用户反馈，存在视觉冗余数据导致的传输资源浪费的技术问题。本发明增设了主观控制模块与自动控制模块，其中控制交互模块基于Socket端口，采用TCP网络协议建立了服务端与客户端的双向通信；编码控制模块实现根据用户的需求更改视频的编码参数的功能；用户交互子模块接收用户的需求信息并将信息传递给客户端交互子模块与视频质量下降判定子模块，通过视频质量下降判定子模块给出视频质量的判定结果，通过编码控制模块与编码模块共同实现视频质量的调整。方法是通过视频数据采集、视频数据的传输、计算客观质量得分、用户选择视频供给方式、系统按照用户选择的控制方式进行视频供给。本发明从实验中得到视频客观质量与感知质量的对应关系，根据用户的感知需求信息结合客观质量与感知质量的对应关系实现对供给视频质量的调整。其中供给的控制方式有主观控制和自动控制，调整的策略分为动态场景与静态场景。本发明的供给方法融入了用户的感知需求与场景模式，提高了用户感知体验，降低视觉冗余，保证了传输条件不足时用户的主要需求得到满足。用于视频供给。
对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于场景模式与用户感知需求的视频供给系统，包括有服务端、传输模块、客户端；服务端依次包括有采集模块、编码模块、发送子模块，客户端包括接收子模块、解码模块、显示模块，其中发送子模块与接收子模块又归属于传输模块，编码模块对采集模块采集到的YUV格式的视频数据流进行编码，发送子模块将编码后的视频数据发送到接收子模块，经过解码模块解码后由客户端的显示设备实时播放，其特征在于，传输模块中增加了控制交互模块，控制交互模块包括处于服务端的交互子模块与处于客户端的交互子模块，控制交互模块通过Socket端口，采用TCP网络协议建立了服务端交互子模块与客户端交互子模块双向通信；客户端增设了用户交互子模块与视频质量下降判定子模块，用户交互子模块接收用户输入的需求信息，指令信息与场景模式信息，用户交互子模块与视频质量下降判定子模块，客户端的交互子模块单向数据连接，将接收到的用户需求信息发送给客户端的交互子模块，将指令信息与场景模式信息发送到视频质量下降判定子模块；视频质量下降判定子模块与解码模块单向数据连接，接收解码模块输出的解码后的视频数据，与客户端交互子模块双向数据连接，接收服务端发送视频数据的帧率，发送判别结果，服务端增设了编码控制模块，编码控制模块与编码模块双向数据连接，与服务端交互子模块双向数据连接；用户交互子模块、控制交互模块、编码控制模块共同构成了主观控制模块；用户对视频的感知需求由用户交互子模块接收，并依次向客户端交互子模块、服务端交互子模块、编码控制模块发送，编码控制模块根据用户的需求更改视频编码参数；用户交互子模块、视频质量下降判定子模块、控制交互模块、与编码控制模块共同构成了自动控制模块；用户交互子模块向视频质量下降判定子模块传递场景模式与自动控制的指令，视频质量下降判定子模块在接收到自动控制的指令后将场景模式信息由传输模块发送给编码控制模块并对当前视频数据进行判定，并将判定结果通过控制交互模块发送到编码控制模块，编码控制模块根据判定结果与不同场景模式的自适应传输条件的供给策略更改编码参数，实现融入用户感知需求的视频质量的自动控制。
2.权利要求1所述的基于场景模式与用户感知需求的视频供给系统，其特征在于，所述的编码控制模块是基于Gstreamer架构建立的，编码控制模块包括有编码交互子模块，客观质量评价子模块，处理子模块；编码交互子模块与编码模块双向数据连接，编码交互子模块接收采集模块发送至编码模块的原始数据与编码模块输出的编码后的视频数据，编码交互子模块向编码模块发送处理模块生成的编码指令；客观质量评价子模块与编码交互子模块单向连接，客观质量评价子模块接收编码交互子模块输出的评价所需的视频数据，客观质量评价子模块与服务端交互子模块单向连接，发送评价结果即视频数据的客观质量得分；处理子模块与服务端交互子模块单向连接，接收用户的感知需求信息并按照接收的感知需求信息生成相应的编码指令，处理子模块与编码交互子模块单向连接，发送编码指令；编码模块根据接收到的指令更改视频的编码参数，实现对于供给视频数据的控制。
3.一种基于场景模式与用户感知需求的视频供给方法，是在权利要求1-2所述的基于场景模式与用户感知需求的视频供给系统上实现的，其特征在于，包括有如下步骤：
1)视频数据采集：采集模块采集YUV格式的视频数据传入编码模块与编码控制模块；
2)视频数据的传输：编码模块对采集到的YUV格式的视频数据进行编码并将编码后的视频数据由传输模块发送到客户端，客户端的解码模块对接收到的视频数据进行解码并将解码后的YUV视频数据发送到显示模块进行显示，同时编码模块将编码后的视频数据发送到编码控制模块，采集模块将未编码的原始视频数据发送到编码控制模块；
3)抽取关键帧：在一个固定的时间段内，编码控制模块按照一个固定的频率抽取一组采集模块采集的YUV视频数据的关键帧，记为Xi；同时编码控制模块将接收到的编码后的视频数据进行解码，在相同的时间节点并按照相同的频率抽取一组编码控制模块中解码后视频数据的关键帧，记为Yi，其中i表示在该时间段内抽取的一组关键帧的其中一帧数据的编号；
4)计算客观质量得分：编码控制模块的客观质量评价子模块对原始数据的关键帧Xi与解码后的关键帧Yi按照SSIM质量评价算法计算编码后视频数据的客观质量得分；
5)显示客观质量得分：编码控制模块将编码后视频数据的客观质量得分依次通过控制交互模块、用户交互子模块、显示模块发送，由显示设备显示当前时间段内解码后视频数据客观质量得分；
6)按照一个固定的时间间隔，重复执行步骤3到步骤5，得到该频率下的一系列编码后视频数据的客观质量得分；
7)通过感知实验得到感知需求等级与客观质量得分的对应表：进行主观感知实验，一次实验过程为，在不同的视频场景模式下，首先向实验者供给最高质量的视频数据，此时的感知需求等级为感知无损的需求等级，逐渐降低供给的视频质量，当实验者第一次感知到视频质量下降时，记录此时的客观质量得分N1，定义实验者第一次感知到视频质量下降之前的视频质量为感知无损的需求等级，感知无损的需求等级对应所有大于N1的客观质量得分，继续降低视频质量，当实验者第二次感知到视频质量下降时，记录此时的客观质量得分N2，定义实验者第一次感知到视频质量下降至第二次感知到视频质量下降之间的视频质量为第一级认知无损的需求等级，第一级认知无损的需求等级对应的客观质量得分在N1与N2之间，继续降低视频质量，当实验者第三次感知到视频质量下降时，记录此时的客观质量得分N3，定义实验者第二次感知到视频质量下降至第三次感知到视频质量下降之间的视频质量为第二级认知无损的需求等级，第二级认知无损的需求等级对应的客观质量得分在N2与N3之间，依次类推，直到实验者第十次感知到视频质量下降，记录此时的客观质量得分N10，定义实验者第九次感知到视频质量下降至第十次感知到视频质量下降之间的视频质量为第九级认知无损的需求等级，第九级认知无损的需求等级对应的客观质量得分在N9与N10之间，至此得到了不同感知需求等级对应的客观质量得分的范围；重复多次实验，计算多次实验中N1，N2，..，N10的均值，得到不同场景模式下每个感知需求等级对应的客观质量得分的范围，将感知需求等级与客观质量得分范围制成感知需求等级与客观质量得分的对应表；
8)用户选择视频供给方式：视频供给的控制方式设为两种，一种为主观控制，另一种为自动控制；主观控制供给方式是通过调整视频的感知需求等级与细节需求实现融入场景模式与感知需求的视频供给；自动控制供给方式是通过自动控制供给方式调节供给视频的质量；
9)系统按照用户选择的控制方式进行视频供给：无论用户选择哪种视频供给方式，在视频供给中，都是在控制过程中对视频的编码参数进行调整；
9.1)若用户选择的是主观控制方式，编码控制模块中的处理子模块根据用户的感知需求生成编码指令传递给编码模块，编码模块根据接收到的编码指令调整视频的编码参数；
9.2)若用户选择的是自动控制方式，系统在自动控制的过程中已经完成了对视频编码参数的修改。
4.根据权利要求3所述的一种基于场景模式与用户感知需求的自适应带宽变化的视频供给方法，其特征在于，步骤9.1中所述的主观控制视频供给方式，包括有如下步骤：
9.1a)发送用户需求信息：当用户选择了主观控制的视频供给方式时，用户交互子模块将用户的需求信息由控制交互模块向编码控制模块发送，用户的需求信息包括有场景模式信息，感知需求等级信息与视频的细节信息，其中场景模式信息与感知需求信息用于将视频质量调整至用户选择的感知需求等级对应的范围内；
9.1b)根据感知需求信息调整视频编码参数：按照场景模式与感知需求等级调整视频质量，按照视频的细节信息调整视频的细节，两个调整过程在时间不分先后；
9.1b1)按照场景模式与感知需求等级调整视频质量：编码控制模块对照客观质量得分与认知需求等级对应表，若当前客观质量评分不符合当前认知需求等级对应的客观质量评分的范围内，编码控制模块的处理子模块生成编码指令并将编码指令传递给编码模块；
9.1b2)调整视频的细节：用户的细节需求具体为视频的分辨率、帧率、色调、饱和度与亮度，编码控制模块的处理子模块根据用户的细节需求生成编码指令并将编码指令传递给编码模块；
9.1c)编码模块根据编码指令修改视频编码的参数。
5.根据权利要求3所述的一种基于场景模式与用户感知需求的自适应带宽变化的视频供给方法，其特征在于，步骤8中所述的自动控制供给方式，包括有如下步骤：
9.2a)当用户选择自动控制视频供给方式时，用户交互子模块将场景模式信息、自动控制供给的指令信息由控制交互模块向编码控制模块发送；
9.2b)自动控制模块的视频质量下降判定子模块采用视频质量下降的判定方法按照一个固定的时间间隔对当前客户端播放的视频数据进行判定并且将判定结果发送到编码控制模块；
9.2c)编码控制模块的控制子模块根据判定结果按照预先设定的基于场景模式的自适应供给策略生成编码指令；
9.2d)编码控制模块将编码指令传递给编码模块，编码模块按照编码指令调整视频的编码参数；
9.2e)按照一个固定的时间间隔重复步骤8.2)、步骤8.3)、步骤8.4)，实现对视频供给的自动控制。
6.根据权利要求5所述的一种基于场景模式与用户感知需求的自适应带宽变化的视频供给方法，其特征在于，步骤9.2b)中所述的视频质量下降的判别方法，包括有如下步骤：
9.2b1)编码控制模块计算服务端向客户端发送的视频数据的帧率F1，与此同时视频质量下降判定子模块计算客户端接收的视频数据的帧率F2；
9.2b2)控制交互模块将F1发送到视频质量下降判定子模块；
9.2b3)视频质量下降判定子模块计算F1与F2的差值，当差值不为零时，判定视频数据的传输过程中出现了丢帧的情况；
9.2b4)视频质量下降判定子模块按照一个固定的频率获取客户端接收的视频数据的关键帧，并且采用方向算子对关键帧进行噪声检测，当检测值超过设置的阈值，判定视频数据的传输过程中出现了丢包的情况；
9.2b5)视频质量下降判定子模块根据步骤9.2b3与步骤9.2b4的结果进行判定，满足丢包或者丢帧的情况都可以判定视频的质量下降。
CN201910808526.5A 2019-08-29 2019-08-29 基于场景模式与用户感知需求的视频供给系统与方法 Active CN110505454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808526.5A CN110505454B (zh) 2019-08-29 2019-08-29 基于场景模式与用户感知需求的视频供给系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808526.5A CN110505454B (zh) 2019-08-29 2019-08-29 基于场景模式与用户感知需求的视频供给系统与方法

Publications (2)

Publication Number Publication Date
CN110505454A true CN110505454A (zh) 2019-11-26
CN110505454B CN110505454B (zh) 2020-11-10

Family

ID=68590486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808526.5A Active CN110505454B (zh) 2019-08-29 2019-08-29 基于场景模式与用户感知需求的视频供给系统与方法

Country Status (1)

Country Link
CN (1) CN110505454B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014969A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 视频播放的控制方法、终端设备、服务器和存储介质
CN113259660A (zh) * 2021-06-11 2021-08-13 宁波星巡智能科技有限公司 基于动态编码帧的视频压缩传输方法、装置、设备及介质
CN114040227A (zh) * 2021-10-22 2022-02-11 游密科技(深圳)有限公司 音视频播放控制方法、装置、电子设备及存储介质
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114827617A (zh) * 2022-06-27 2022-07-29 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN115379179A (zh) * 2022-10-24 2022-11-22 家时(北京)科技有限公司 一种视频数据的处理方法和处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160269645A1 (en) * 2015-03-09 2016-09-15 Apple Inc. Automatic cropping of video content
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
CN109451331A (zh) * 2019-01-15 2019-03-08 西安电子科技大学 基于用户认知需求的视频传输方法
CN109819256A (zh) * 2019-03-06 2019-05-28 西安电子科技大学 基于特征感知的视频压缩感知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
US20160269645A1 (en) * 2015-03-09 2016-09-15 Apple Inc. Automatic cropping of video content
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
CN109451331A (zh) * 2019-01-15 2019-03-08 西安电子科技大学 基于用户认知需求的视频传输方法
CN109819256A (zh) * 2019-03-06 2019-05-28 西安电子科技大学 基于特征感知的视频压缩感知方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014969A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 视频播放的控制方法、终端设备、服务器和存储介质
CN113014969B (zh) * 2019-12-19 2022-06-07 花瓣云科技有限公司 视频播放的控制方法、终端设备、服务器和存储介质
US11930232B2 (en) 2019-12-19 2024-03-12 Petal Cloud Technology Co., Ltd. Video playing control method, terminal device, server, and storage medium
CN113259660A (zh) * 2021-06-11 2021-08-13 宁波星巡智能科技有限公司 基于动态编码帧的视频压缩传输方法、装置、设备及介质
CN113259660B (zh) * 2021-06-11 2021-10-29 宁波星巡智能科技有限公司 基于动态编码帧的视频压缩传输方法、装置、设备及介质
CN114040227A (zh) * 2021-10-22 2022-02-11 游密科技(深圳)有限公司 音视频播放控制方法、装置、电子设备及存储介质
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114679607B (zh) * 2022-03-22 2024-03-05 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114827617A (zh) * 2022-06-27 2022-07-29 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN114827617B (zh) * 2022-06-27 2022-10-18 致讯科技(天津)有限公司 一种基于感知模型的视频编解码方法及系统
CN115379179A (zh) * 2022-10-24 2022-11-22 家时(北京)科技有限公司 一种视频数据的处理方法和处理系统

Also Published As

Publication number Publication date
CN110505454B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN110505454A (zh) 基于场景模式与用户感知需求的视频供给系统与方法
CN101466035B (zh) 一种基于h.264的视频图像组比特分配方法
CN105072345B (zh) 视频编码方法和装置
CN110062234B (zh) 一种基于区域恰可察觉失真的感知视频编码方法
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
CN111432207A (zh) 基于显著目标检测和显著性指导的感知高清视频编码方法
CN109120924B (zh) 一种实时视频通信的质量评价方法
CN104994382B (zh) 一种感知率失真的优化方法
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
CN109451331B (zh) 基于用户认知需求的视频传输方法
CN108810530A (zh) 一种基于人眼视觉系统的avc码率控制方法
CN110266714A (zh) 一种QoE驱动下的VR视频自适应采集与传输方法
CN106559671B (zh) 一种显示图像压缩方法及系统
CN105451016A (zh) 一种适用于视频监控系统的无参考视频质量评价方法
CN116440501A (zh) 自适应云游戏视频画面渲染方法和系统
CN105430453B (zh) 媒体数据采集方法、媒体终端及在线音乐教学系统
WO2020244328A1 (zh) 图像处理方法及装置
CN103297801A (zh) 一种针对视频会议的无参考视频质量评价方法
CN106134188A (zh) 基本视频比特流分析
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
CN113822954B (zh) 一种面向资源约束下人机协同场景的深度学习图像编码方法
CN104010166B (zh) 一种车载设备无线远程视频监控自适应传输的方法
CN114554208A (zh) 一种视频编码配置方法、系统、设备及存储介质
CN105933705A (zh) 一种hevc解码视频主观质量评价方法
CN113162895A (zh) 动态编码方法、流媒体质量确定方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant