CN110611815A - 一种视频输出方法、装置以及存储装置 - Google Patents
一种视频输出方法、装置以及存储装置 Download PDFInfo
- Publication number
- CN110611815A CN110611815A CN201910914824.2A CN201910914824A CN110611815A CN 110611815 A CN110611815 A CN 110611815A CN 201910914824 A CN201910914824 A CN 201910914824A CN 110611815 A CN110611815 A CN 110611815A
- Authority
- CN
- China
- Prior art keywords
- level
- video
- focus area
- basic unit
- tester
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000009499 grossing Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000013442 quality metrics Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Abstract
本发明适用于视频编码技术领域，尤其涉及一种视频输出方法、装置以及存储装置，视频输出方法包括以下步骤：采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；在基于基本单元级分配比特时提高焦点区域的加权参数，并控制焦点区域外的其它区域的质量平滑；进行编码，并在编码后输出视频。对于视频而言，由于每个人的关注点都相似，利用测试者所关注的焦点区域即可推导出其它用户的关注点，从而对焦点区域进行着重编码，即可得到最为合理、重要部分高清处理的视频，大大提高了用户的观看体验。
Description
技术领域
本发明适用于视频编码技术领域，尤其涉及一种视频输出方法、装置以及存储装置。
背景技术
随着人们业余活动的丰富，以及各类终端的逐渐发展，许多人选择在终端上观看各类视频，例如在手机上观看电视剧等。现有的电视剧往往只是由出品方提供的原始视频，用户再通过第三方观看途径(例如APP播放等)进行观看。第三方常常基于新一代高性能视频编码标准HEVC(High Efficiency Video Coding)进行视频编码，虽然该种编码方式能够大大降低比特率，但是，对于人们日益渐长的需求而言，若是终端的屏幕较小，依然存在画质清晰度较差、画面重要部分不够精细的缺陷，大大降低了用户的观看体验。
发明内容
本发明实施例提供一种视频输出方法，旨在解决现有视频编码之后画质清晰度较差、画面重要部分不够精细的问题。
本发明实施例是这样实现的，提供一种视频输出方法，所述视频输出方法包括以下步骤：采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；进行编码，并在编码后输出视频。
更进一步地，所述采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域的步骤，具体包括：在所述视频样片中基于基本单元级建立格栅；定位所述测试者的视距以及所述格栅的视角；采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；根据所述视差数据在所述格栅中获取所述焦点区域。
更进一步地，所述在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑的步骤，具体包括：获取视频样片的基本单元级；在所述基本单元级中分块分配所述比特；在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
更进一步地，所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。
本发明还提供一种视频输出装置，所述视频输出装置包括：采集单元，用于采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；分配单元，用于在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；编码及输出单元，用于进行编码，并在编码后输出视频。
更进一步地，所述采集单元包括：格栅建立单元，用于在所述视频样片中基于基本单元级建立格栅；定位单元，用于定位所述测试者的视距以及所述格栅的视角；视差数据采集单元，用于采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；焦点区域获取单元，用于根据所述视差数据在所述格栅中获取所述焦点区域。
更进一步地，所述分配单元包括：基本单元级获取单元，用于获取视频样片的基本单元级；分块分配单元，用于在所述基本单元级中分块分配所述比特；调整分配单元，用于在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
更进一步地，所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。
本发明还提供一种视频输出装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述视频输出方法的步骤。
本发明还提供一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如上所述视频输出方法的步骤。
本发明的有益效果在于，与现有技术相比，本发明通过设计一种视频输出方法，首先提供视频样片给测试者观看，在测试者的观看过程中不断采集基于基本单元级的焦点区域，焦点区域即是视频样片中的重要部分，随后再为基本单元级分配比特时适当提高焦点区域的加权参数，并控制其它区域的质量平滑，防止区域交接之间过于模糊的情况，最后再进行编码输出已对重要部分做高清处理的视频；对于视频而言，由于每个人的关注点都相似，利用测试者所关注的焦点区域即可推导出其它用户的关注点，从而对焦点区域进行着重编码，即可得到最为合理、重要部分高清处理的视频，大大提高了用户的观看体验。
附图说明
图1是本发明实施例提供的视频输出方法的流程框图；
图2是本发明实施例提供的采集焦点区域的流程框图；
图3是本发明实施例提供的分配比特的流程框图；
图4是本发明实施例提供的所建立的格栅的示意图；
图5是本发明实施例提供的采集视差数据的场景示意图；
图6是本发明实施例提供的分配比特的示意图；
图7是本发明实施例提供的视频编码单元的结构框图；
图8是本发明实施例提供的采集单元的结构框图；
图9是本发明实施例提供的分配单元的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先提供视频样片给测试者观看，在测试者的观看过程中不断采集基于基本单元级的焦点区域，焦点区域即是视频样片中的重要部分，随后再为基本单元级分配比特时适当提高焦点区域的加权参数，并控制其它区域的质量平滑，防止区域交接之间过于模糊的情况，最后再进行编码输出已对重要部分做高清处理的视频；对于视频而言，由于每个人的关注点都相似，利用测试者所关注的焦点区域即可推导出其它用户的关注点，从而对焦点区域进行着重编码，即可得到最为合理、重要部分高清处理的视频，大大提高了用户的观看体验。
实施例一
参考图1，本实施例一提供一种视频输出方法，所述视频输出方法包括以下步骤：
步骤1、采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；
步骤2、在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；
步骤3、进行编码，并在编码后输出视频。
其中，首先获取视频样片，视频样片为原始介质码流的样片，可由供应商提供，例如视频样片的原出版方。随后，选择测试者观看视频样片，测试者可以为单人或多人，无限制要求，可为观影爱好者或者普通群众等。在测试者的观看过程中，由于测试者的注意力会放在视频样片的重要部分，即是每一画面的精彩部分，例如人脸、重要道具等。随着测试者的观看，根据测试者的眼球焦点注意力实时采集基于视频样片的基本单元级的焦点区域，该焦点区域即是视频样片的重要部分。在测试者观看完毕后，即可获取基于基本单元级的所有焦点区域。随后，对基本单元级分配比特，提高焦点区域的加权参数，以分配给焦点区域较高数量的比特，并在同个基本单元级中控制焦点区域外的其它区域的加权参数，以使其它区域保持质量平滑。最后，根据已分配的比特，通过码率控制算法对各个基本单元级进行编码，以使各个基本单元级能够达到已分配的比特，保证达到目标码率的的同时保持尽量小的编码失真，最后输出编码后的视频，该视频即是已对每一重要部分做高清处理的成品视频。值得一提的是，码率控制算法即是通过HEVC完成，其包括帧内预测、帧间预测、正交变换、量化、滤波、熵编码等编码模块，以完成编码过程。对于视频而言，由于每个人的关注点都相似，利用测试者所关注的焦点区域即可推导出其它用户的关注点，从而对焦点区域进行着重编码，即可得到最为合理、重要部分高清处理的视频，实现对视频的优化，大大提高了用户的观看体验。
实施例二
参考图2，在实施例一的基础上，本实施例二的所述采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域的步骤，具体包括：
步骤11、在所述视频样片中基于基本单元级建立格栅；
步骤12、定位所述测试者的视距以及所述格栅的视角；
步骤13、采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；
步骤14、根据所述视差数据在所述格栅中获取所述焦点区域。
其中，在视频样片中基于基本单元级建立格栅，由于每一基本单元级的面积相同，则建立的格栅也可相同，图4示出了所建立的格栅。当然，格栅并非是直接提供给测试者直接观看的，格栅设于用于播放视频样片的显示屏的底面，用户通过观看显示屏上的视频样片，其焦点变化即会同步反应在格栅上。随后，参考图5，在格栅的水平以及垂直方向两侧分别设有摄像单元，摄像单元即是摄像头，在格栅的上下左右分别各设有一个，可拍摄测试者的眼球，从而获取测试者的焦点变化。随后，定位测试者的视距以及格栅的视角。视距即是测试者的两个瞳孔的瞳距，即是图5中的W。视角即是测试者的视线方向与显示屏的垂直方向所成的角度。随后，在显示屏上播放视频样片，测试者开始观看视频样片。同步地，根据摄像单元拍摄的测试者的眼球，采集视差数据。视差指的是从两个眼球上观察同一个目标所产生的方向差异。最后，根据视差数据即可在格栅中获取焦点区域。
实施例三
参考图3，在实施例一的基础上，本实施例三的所述在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑的步骤，具体包括：
步骤21、获取视频样片的基本单元级；
步骤22、在所述基本单元级中分块分配所述比特；
步骤23、在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
其中，获取视频样片中的各个基本单元级。先是在基本单元级中按照区域分块分配比特，区域大小可自定义，此处不做限定，但每一块区域存在上限和下限。然后，在焦点区域中提高加权参数，以在焦点区域中提高已分配的比特。以及，在除焦点区域外的其它区域逐级降低加权参数，以在其它区域中降低已分配的比特并使其它区域达到质量平滑，避免从焦点区域到其它区域出现清晰度骤降的情况。具体来说，随着焦点区域外扩，可对其它区域根据其与焦点区域的距离做分级划分，越靠近焦点区域的其它区域级数越高。
参考图6，A0即是焦点区域，A1为较次级的第一其它区域，A2为最次级的第二其它区域，从而，A0加权参数最高，其分配的比特也最高，A1加权参数较少，其分配的比特也较少，A2加权参数最少，其分配的的比特也最少。
值得一提的是，由于用户的关注点会在焦点区域与邻近焦点区域的区域，为节省编码程序，可选择邻近焦点区域的区域做平滑处理，而除去焦点区域和邻近焦点区域的区域，其它区域不做平滑处理。举例来说，上述的A1做平滑处理，A2不做平滑处理。
在本实施例中，上述的加权参数即是量化参数QP，并根据量化参数QP即可换算得知拉格朗日参数，最后即可实现RDO率失真优化的编码。
RDO率失真优化是一种提高视频压缩视频质量的方法，该名称是指针对视频编码所需的数据量(速率)优化失真量(视频质量损失)，虽然它主要由视频编码器使用，但速率失真优化可用于提高任何编码情况的质量，例如图像、视频、音频等，在这种情况下必须同时做出影响文件大小和质量的决策。
速率-失真优化通过充当视频质量度量来解决上述问题，测量与源材料的偏差和每个可能的决策结果的比特成本。通过将比特成本乘以拉格朗日量来数学地测量比特，拉格朗日是表示特定质量等级的比特成本和质量之间的关系的值。与源的偏差通常被测量为均方误差，以便最大化PSNR视频质量度量。
现代视频编解码器中的熵编码器使得比特成本更难以计算，需要速率-失真优化算法将要测试的每个视频块传递给熵编码器以测量其实际比特成本。在MPEG编解码器中，整个过程包括离散余弦变换，然后是量化和熵编码。因此，速率失真优化比大多数其他块匹配度量慢得多，例如绝对差值的简单总和(SAD)和绝对变换差值之和(SATD)。
从理论上，RDO可以分为GOP层，slice层，CTU层，CU层，PU层。
GOP层：在满足给定的目标比特数限制下，获得一组最佳的编码参数集。λ是获得最优化参数的关键，其值由目标码率R决定。实验表明：当前帧的失真与参考图像的失真有线性关系。
slice层：目前的RDO中CTU间的相关性并未考虑。(实际上CTU并不是独立的)。
CTU层：目的是确定最优的CU划分模式，也称为CU模式选择。在总比特数R受限的情况下，选择一个CU划分模式，使得CTU的总失真最小。
CU层：目的是确定最优PU模式和TU模式。
PU层：目的是为了PU选择最优的预测模式和预测参数。
实施例四
在实施例一至实施例三的基础上，本实施例四的所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。流级即是图片组级(英文简称为GOP，英文全称为GroupPictures)，其帧数可自定义设置。帧级即是即是图片级，即是每一帧对应的图片。宏块级包含子宏块subMB。像素级包含子像素。
实施例五
参考图7，本实施例五提供一种视频输出装置，所述视频输出装置包括：
采集单元100，用于采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；
分配单元200，用于在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；
编码及输出单元300，用于进行编码，并在编码后输出视频。
其中，通过采集单元100，首先获取视频样片，视频样片为原始介质码流的样片，可由供应商提供，例如视频样片的原出版方。随后，选择测试者观看视频样片，测试者可以为单人或多人，无限制要求，可为观影爱好者或者普通群众等。在测试者的观看过程中，由于测试者的注意力会放在视频样片的重要部分，即是每一画面的精彩部分，例如人脸、重要道具等。随着测试者的观看，根据测试者的眼球焦点注意力实时采集基于视频样片的基本单元级的焦点区域，该焦点区域即是视频样片的重要部分。在测试者观看完毕后，即可获取基于基本单元级的所有焦点区域。通过分配单元200，随后，对基本单元级分配比特，提高焦点区域的加权参数，以分配给焦点区域较高数量的比特，并在同个基本单元级中控制焦点区域外的其它区域的加权参数，以使其它区域保持质量平滑。最后，通过编码及输出单元300，根据已分配的比特，通过码率控制算法对各个基本单元级进行编码，以使各个基本单元级能够达到已分配的比特，保证达到目标码率的的同时保持尽量小的编码失真，最后输出编码后的视频，该视频即是已对每一重要部分做高清处理的成品视频。值得一提的是，码率控制算法即是通过HEVC完成，其包括帧内预测、帧间预测、正交变换、量化、滤波、熵编码等编码模块，以完成编码过程。对于视频而言，由于每个人的关注点都相似，利用测试者所关注的焦点区域即可推导出其它用户的关注点，从而对焦点区域进行着重编码，即可得到最为合理、重要部分高清处理的视频，实现对视频的优化，大大提高了用户的观看体验。
实施例六
参考图8，在实施例五的基础上，本实施例六的所述采集单元包括：
格栅建立单元110，用于在所述视频样片中基于基本单元级建立格栅；
定位单元120，用于定位所述测试者的视距以及所述格栅的视角；
视差数据采集单元130，用于采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；
焦点区域获取单元140，用于根据所述视差数据在所述格栅中获取所述焦点区域。
其中，通过格栅建立单元110，在视频样片中基于基本单元级建立格栅，由于每一基本单元级的面积相同，则建立的格栅也可相同，图4示出了所建立的格栅。当然，格栅并非是直接提供给测试者直接观看的，格栅设于用于播放视频样片的显示屏的底面，用户通过观看显示屏上的视频样片，其焦点变化即会同步反应在格栅上。随后，参考图5，在格栅的水平以及垂直方向两侧分别设有摄像单元，摄像单元即是摄像头，在格栅的上下左右分别各设有一个，可拍摄测试者的眼球，从而获取测试者的焦点变化。随后，通过定位单元120，定位测试者的视距以及格栅的视角。视距即是测试者的两个瞳孔的瞳距，即是图5中的W。视角即是测试者的视线方向与显示屏的垂直方向所成的角度。通过视差数据采集单元130，随后，在显示屏上播放视频样片，测试者开始观看视频样片。同步地，根据摄像单元拍摄的测试者的眼球，采集视差数据。视差指的是从两个眼球上观察同一个目标所产生的方向差异。最后，通过焦点区域获取单元140，根据视差数据即可在格栅中获取焦点区域。
实施例七
参考图9，在实施例五的基础上，本实施例七的所述分配单元包括：
基本单元级获取单元210，用于获取视频样片的基本单元级；
分块分配单元220，用于在所述基本单元级中分块分配所述比特；
调整分配单元230，用于在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
其中，通过基本单元级获取单元210，获取视频样片中的各个基本单元级。通过分块分配单元220，先是在基本单元级中按照区域分块分配比特，区域大小可自定义，此处不做限定，但每一块区域存在上限和下限。然后，通过调整分配单元230，在焦点区域中提高加权参数，以在焦点区域中提高已分配的比特。以及，在除焦点区域外的其它区域逐级降低加权参数，以在其它区域中降低已分配的比特并使其它区域达到质量平滑，避免从焦点区域到其它区域出现清晰度骤降的情况。具体来说，随着焦点区域外扩，可对其它区域根据其与焦点区域的距离做分级划分，越靠近焦点区域的其它区域级数越高。
参考图6，A0即是焦点区域，A1为较次级的第一其它区域，A2为最次级的第二其它区域，从而，A0加权参数最高，其分配的比特也最高，A1加权参数较少，其分配的比特也较少，A2加权参数最少，其分配的的比特也最少。
值得一提的是，由于用户的关注点会在焦点区域与邻近焦点区域的区域，为节省编码程序，可选择邻近焦点区域的区域做平滑处理，而除去焦点区域和邻近焦点区域的区域，其它区域不做平滑处理。举例来说，上述的A1做平滑处理，A2不做平滑处理。
在本实施例中，上述的加权参数即是量化参数QP，并根据量化参数QP即可换算得知拉格朗日参数，最后即可实现RDO率失真优化的编码。
RDO率失真优化是一种提高视频压缩视频质量的方法，该名称是指针对视频编码所需的数据量(速率)优化失真量(视频质量损失)，虽然它主要由视频编码器使用，但速率失真优化可用于提高任何编码情况的质量，例如图像、视频、音频等，在这种情况下必须同时做出影响文件大小和质量的决策。
速率-失真优化通过充当视频质量度量来解决上述问题，测量与源材料的偏差和每个可能的决策结果的比特成本。通过将比特成本乘以拉格朗日量来数学地测量比特，拉格朗日是表示特定质量等级的比特成本和质量之间的关系的值。与源的偏差通常被测量为均方误差，以便最大化PSNR视频质量度量。
现代视频编解码器中的熵编码器使得比特成本更难以计算，需要速率-失真优化算法将要测试的每个视频块传递给熵编码器以测量其实际比特成本。在MPEG编解码器中，整个过程包括离散余弦变换，然后是量化和熵编码。因此，速率失真优化比大多数其他块匹配度量慢得多，例如绝对差值的简单总和(SAD)和绝对变换差值之和(SATD)。
从理论上，RDO可以分为GOP层，slice层，CTU层，CU层，PU层。
GOP层：在满足给定的目标比特数限制下，获得一组最佳的编码参数集。λ是获得最优化参数的关键，其值由目标码率R决定。实验表明：当前帧的失真与参考图像的失真有线性关系。
slice层：目前的RDO中CTU间的相关性并未考虑。(实际上CTU并不是独立的)。
CTU层：目的是确定最优的CU划分模式，也称为CU模式选择。在总比特数R受限的情况下，选择一个CU划分模式，使得CTU的总失真最小。
CU层：目的是确定最优PU模式和TU模式。
PU层：目的是为了PU选择最优的预测模式和预测参数。
实施例八
在实施例五至实施例七的基础上，本实施例八的所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。流级即是图片组级(英文简称为GOP，英文全称为GroupPictures)，其帧数可自定义设置。帧级即是即是图片级，即是每一帧对应的图片。宏块级包含子宏块subMB。像素级包含子像素。
实施例九
本实施例九提供一种视频输出装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例一至实施例四所述视频输出方法的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程，计算机装置即是上述视频输出装置。例如，所述计算机程序可以被分割成上述各个方法实施例提供的视频输出方法的步骤。
本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
实施例十
本实施例十提供一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如实施例一至实施例四所述视频输出方法的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程，计算机装置即是上述视频输出装置。例如，所述计算机程序可以被分割成上述各个方法实施例提供的视频输出方法的步骤。
所述存储装置可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储装置内的计算机程序和/或模块，以及调用存储在存储装置内的数据，实现所述计算机装置的各种功能。所述存储装置可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储装置可以包括高速随机存取存储装置，还可以包括非易失性存储装置，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储装置件、闪存器件、或其他易失性固态存储器件。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频输出方法，其特征在于，所述视频输出方法包括以下步骤：
采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；
在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；
进行编码，并在编码后输出视频。
2.如权利要求1所述的视频输出方法，其特征在于，所述采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域的步骤，具体包括：
在所述视频样片中基于基本单元级建立格栅；
定位所述测试者的视距以及所述格栅的视角；
采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；
根据所述视差数据在所述格栅中获取所述焦点区域。
3.如权利要求1所述的视频输出方法，其特征在于，所述在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑的步骤，具体包括：
获取视频样片的基本单元级；
在所述基本单元级中分块分配所述比特；
在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
4.如权利要求1至3任一项所述的视频输出方法，其特征在于，所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。
5.一种视频输出装置，其特征在于，所述视频输出装置包括：
采集单元，用于采集测试者观看播放的视频样片所形成基于基本单元级的焦点区域；
分配单元，用于在基于基本单元级分配比特时提高所述焦点区域的加权参数，并控制所述焦点区域外的其它区域的质量平滑；
编码及输出单元，用于进行编码，并在编码后输出视频。
6.如权利要求5所述的视频输出装置，其特征在于，所述采集单元包括：
格栅建立单元，用于在所述视频样片中基于基本单元级建立格栅；
定位单元，用于定位所述测试者的视距以及所述格栅的视角；
视差数据采集单元，用于采集测试者观看播放的视频样片所形成基于基本单元级的视差数据；
焦点区域获取单元，用于根据所述视差数据在所述格栅中获取所述焦点区域。
7.如权利要求5所述的视频输出装置，其特征在于，所述分配单元包括：
基本单元级获取单元，用于获取视频样片的基本单元级；
分块分配单元，用于在所述基本单元级中分块分配所述比特；
调整分配单元，用于在所述焦点区域提高加权参数，以提高已分配的所述比特，并在其它区域逐级降低加权参数，以降低已分配的所述比特并使其达到质量平滑。
8.如权利要求5至7任一项所述的视频输出装置，其特征在于，所述基本单元级包括流级、帧级、宏块级和像素级中的至少一种。
9.一种视频输出装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述视频输出方法的步骤。
10.一种存储装置，其特征在于，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如权利要求1至4任一项所述视频输出方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910914824.2A CN110611815A (zh) | 2019-09-26 | 2019-09-26 | 一种视频输出方法、装置以及存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910914824.2A CN110611815A (zh) | 2019-09-26 | 2019-09-26 | 一种视频输出方法、装置以及存储装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110611815A true CN110611815A (zh) | 2019-12-24 |
Family
ID=68893065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910914824.2A Pending CN110611815A (zh) | 2019-09-26 | 2019-09-26 | 一种视频输出方法、装置以及存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110611815A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992980A (zh) * | 2020-07-09 | 2022-01-28 | 杭州海康威视数字技术股份有限公司 | 攻击码流的生成方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
| CN103249352A (zh) * | 2010-12-08 | 2013-08-14 | 索尼电脑娱乐公司 | 利用视线跟踪的自适应显示 |
| CN103561266A (zh) * | 2013-11-06 | 2014-02-05 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于对数r-q模型和层次化比特分配的码率控制方法 |
| US20160353107A1 (en) * | 2015-05-26 | 2016-12-01 | Apple Inc. | Adaptive quantization parameter modulation for eye sensitive areas |
| WO2018072487A1 (zh) * | 2016-10-21 | 2018-04-26 | 北京大学深圳研究生院 | 全景视频感兴趣区域的描述方法和编码方法 |
-
2019
- 2019-09-26 CN CN201910914824.2A patent/CN110611815A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103249352A (zh) * | 2010-12-08 | 2013-08-14 | 索尼电脑娱乐公司 | 利用视线跟踪的自适应显示 |
| CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
| CN103561266A (zh) * | 2013-11-06 | 2014-02-05 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于对数r-q模型和层次化比特分配的码率控制方法 |
| US20160353107A1 (en) * | 2015-05-26 | 2016-12-01 | Apple Inc. | Adaptive quantization parameter modulation for eye sensitive areas |
| WO2018072487A1 (zh) * | 2016-10-21 | 2018-04-26 | 北京大学深圳研究生院 | 全景视频感兴趣区域的描述方法和编码方法 |
Non-Patent Citations (2)
| Title |
|---|
| MINGLEI TONG等: "Human centered peceptual video compression", 《2015 IEEE INTERNATIONAL CONFERENCE ON PROGRESS IN INFORMATICS AND COMPUTING (PIC)》 * |
| 罗圣敏: "一种视频编解码技术码率控制算法的改进", 《计算机仿真》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992980A (zh) * | 2020-07-09 | 2022-01-28 | 杭州海康威视数字技术股份有限公司 | 攻击码流的生成方法、装置及设备 |
| CN113992980B (zh) * | 2020-07-09 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 攻击码流的生成方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI572196B (zh) | 用於次世代視訊編碼之投射式內插預測產生之技術 | |
| US10567775B2 (en) | Method and system of hardware accelerated video coding with per-frame parameter control | |
| Xu et al. | Region-of-interest based conversational HEVC coding with hierarchical perception model of face | |
| KR101789954B1 (ko) | 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측 | |
| US9143776B2 (en) | No-reference video/image quality measurement with compressed domain features | |
| US8406297B2 (en) | System and method for bit-allocation in video coding | |
| US20100166073A1 (en) | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors | |
| Meddeb et al. | Region-of-interest-based rate control scheme for high-efficiency video coding | |
| CN104885455A (zh) | 用于高效下一代视频编码的通过使用帧层次敏感的量化的内容自适应比特率和质量控制 | |
| US11206418B2 (en) | Method of image encoding and facility for the implementation of the method | |
| CN110199522A (zh) | 处理用于图像块帧内预测的参考样本 | |
| Zupancic et al. | Two-pass rate control for improved quality of experience in UHDTV delivery | |
| US20190082183A1 (en) | Method and Apparatus for Video Coding of VR images with Inactive Areas | |
| Sanchez et al. | Rate control for lossless region of interest coding in HEVC intra-coding with applications to digital pathology images | |
| JP5746370B2 (ja) | 予測値を形成するための方法および装置 | |
| CN110611815A (zh) | 一种视频输出方法、装置以及存储装置 | |
| CN110049339B (zh) | 图像编码中的预测方向选取方法、装置和存储介质 | |
| De Praeter et al. | Simultaneous encoder for high-dynamic-range and low-dynamic-range video | |
| US10187656B2 (en) | Image processing device for adjusting computational complexity of interpolation filter, image interpolation method, and image encoding method | |
| Akramullah et al. | Video quality metrics | |
| Perra et al. | An analysis of HEVC compression for light field image refocusing applications | |
| Jubran et al. | Sequence-level reference frames in video coding | |
| Guo et al. | Two-pass light field image compression for spatial quality and angular consistency | |
| Stepanov et al. | Learning-based lossless light field compression | |
| JP2015162709A (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191224 |