CN102427531B - 跨层交互式图像质量连续可调的实时视频编解码方法 - Google Patents
跨层交互式图像质量连续可调的实时视频编解码方法 Download PDFInfo
- Publication number
- CN102427531B CN102427531B CN201110316131.7A CN201110316131A CN102427531B CN 102427531 B CN102427531 B CN 102427531B CN 201110316131 A CN201110316131 A CN 201110316131A CN 102427531 B CN102427531 B CN 102427531B
- Authority
- CN
- China
- Prior art keywords
- video
- coding
- decoding
- resolution
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种跨层交互式图像质量连续可调的实时视频编解码方法，具体包括视频编码端和视频解码端两部分。编码端首先根据接收到的图像质量控制指令确定本场/帧图像数据的编码参数；然后根据指定参数完成数字视频信号的JPEG2000编码；再将编码后的数据与参数组成流媒体数据帧发送到解码端。解码端首先根据收到流媒体数据帧中的编码参数判断前次图像控制指令是否需要重发，并完成当前参数下的解码和播放，在需要改变图像质量时可向编码端发出新的图像控制指令。采用本系统的视频图像质量在分辨率、场频、压缩比上做到了灵活连续可调，可以最大程度快速适应信道传输带宽的变化，且控制指令可以做到跨层交互。
Description
技术领域
本发明属于数字图像处理领域和多媒体消息服务技术领域，具体为一种跨层交互式图像质量灵活连续可调的实时视频编解码方法。
背景技术
视频信号以其内容的丰富性、直观性，使其在交通管理、安防保卫等诸多领域有着广泛的应用需求。目前的视频编解码系统大多基于MPEG2、H.264、JPEG2000等技术，在具体应用时会有以下一些不足。
首先，系统的可调分辨率多为D1、CIF等标准格式，因为不同格式在长宽维度上的尺寸为2的倍数关系，所以编码后的码流速率呈现阶梯性，不具备分辨率及码流速率可任意连续调整的灵活性。如JPEG2000码流的渐进传输结构所支持的缩放比例只能是在长宽维度上同时进行的2的幂次方缩放，如1/2、1/4等，故无法完成D1至HALF D1的分辨率调整。
其次，多数系统的编码参数如分辨率、压缩比等的调整需要重新加载固件才能完成，因此会损失加载固件时间段内的视频信息，造成视频传输和解码的中断，不具备图像质量调整的连续性。
另外，多数系统的编码参数控制需要在码流传输管道基础上有一个附加的逻辑控制信道，用于编码参数的传递和确认，制约了图像质量调整的实时性和连续性。
发明内容
技术问题： 为了解决上述问题，本发明给出一种跨层交互式图像质量连续可调的实时视频编解码方法。可做到压缩视频分辨率在不高于D1，包括且不限于D1、4CIF、HALF D1、CIF、QCIF等各种标准格式的任意分辨率灵活调整，同时压缩视频流的场频及压缩比亦可灵活连续调整，使得压缩后的视频码流速率具备了可以连续变化的特点，由此可以最大程度快速适应信道传输带宽的变化。
技术方案：本发明的层交互式图像质量连续可调的实时视频编解码方法，包括视频编码端和视频解码端两个部分，所述视频编码端编码过程如下：
a. 每场/帧图像压缩前，编码端检查是否收到解码端发来的图像质量控制指令，获得其中的编码控制参数，若未收到则维持原编码控制参数；
b. 模拟视频信号经视频解码器，转换为D1分辨率的数字视频码流；
c. 数字视频码流经过像素抽取模块，完成符合图像质量控制要求的视频分辨率的调整；
d. 分辨率调整后的数字视频码流经过JPEG2000编码模块，完成符合图像质量控制要求的场频调整和压缩比调整下的压缩编码；
e. JPEG2000码流合并编码控制参数，构成流媒体数据帧发送到视频解码端；
所述视频解码端的解码过程如下：
② 将收到的JPEG2000码流数据送到JPEG2000解码模块，完成实时解码和播放；
③ 解码端在需要改变图像质量时，向编码端发出图像质量控制指令及其参数取值。
所述视频编码端步骤a和视频解码端步骤①、步骤③中图像质量控制指令，其中的编码控制参数包括但不仅限于图像分辨率、场频及压缩比。
所述步骤c的视频分辨率，格式为不高于D1“720×576”分辨率，包括且不限于D1、4CIF“704×576”、HALF D1“704×288”、CIF“352×288”、QCIF“176×144”五种标准格式的任意分辨率，且分辨率格式的调整在收到图像控制指令的当前场/帧生效。
所述步骤d的场频调整在收到图像控制指令的当前场/帧生效。
所述步骤d的压缩比调整在收到图像控制指令的当前场/帧生效。
所述步骤e和视频解码端步骤①中的流媒体数据帧为当前场/帧编码控制参数合并当前场/帧JPEG2000编码数据，其支持但不仅限于TCP、UDP、PPP等传输层协议。
有益效果：进入JPEG2000编码模块之前的视频码流经过预处理，可以实现视频分辨率尺寸在长宽维度上的任意连续调整，同时JPEG2000编码的场频、压缩比亦可灵活连续调整，使得编码码流具备了可以连续变化的特点，从而可以最大程度快速适应信道传输带宽的变化。在编码后将编码参数附加于编码码流，构成流媒体数据帧传递至解码端，其结构可支持多种传输层协议，因而实现了图像质量的跨层交互控制功能。并且图像质量的控制参数均于当前场/帧图像数据压缩时生效，实现了系统编解码的实时性和连续性。解码端可做到对于压缩视频流的实时解码和播放，并在需要改变图像质量时，向编码端发出实时图像质量控制指令。
附图说明
图1是本发明视频编码系统输出的流媒体数据的帧结构图；
图2是本发明视频编码系统的优选实施方式的电路方框图；
图3是本发明视频解码系统的优选实施方式的电路方框图。
具体实施方式
本发明包括视频编码端和视频解码端两个部分，所述视频编码端的编码步骤如下：
a. 每场/帧图像压缩前，编码端检查是否收到解码端发来的图像质量控制指令，获得其中的编码控制参数，若未收到则维持原编码控制参数；
b. 模拟视频信号经视频解码器，转换为D1 （720×576）分辨率的数字视频码流；
c. 数字视频码流经过像素抽取模块，完成符合图像质量控制要求的视频分辨率的调整；
d. 分辨率调整后的数字视频码流经过JPEG2000编码模块，完成符合图像质量控制要求的场频调整和压缩比调整下的压缩编码；
e. JPEG2000码流合并编码控制参数，组成流媒体数据帧发送到视频解码端。
所述视频解码端的解码过程如下：
①解码端收到编码端发来的流媒体数据帧后，码流解帧分析模块首先提取其中的编码控制参数，作为当前解码参数，同时检查其与前次发出的图像质量控制指令中的参数是否相同，若不同则再次向编码端发送控制指令；
②将收到的JPEG2000码流数据送到JPEG2000解码模块，完成实时解码和播放；
③解码端在需要改变图像质量时，向编码端发出图像质量控制指令及其参数取值。
所述视频编码端步骤a和视频解码端步骤①、③中图像质量控制指令的编码控制参数包括但不仅限于图像分辨率、场频及压缩比。
所述视频编码端步骤c的视频分辨率格式为不高于D1，包括且不限于D1、4CIF、HALF D1、CIF、QCIF等五种标准格式的任意分辨率，且分辨率格式的调整在收到图像控制指令的当前场/帧生效。
所述视频编码端步骤d的场频调整和压缩比调整在收到图像控制指令的当前场/帧生效。
所述视频编码端步骤e和视频解码端步骤①中的流媒体数据帧为当前场/帧编码控制参数合并当前场/帧JPEG2000编码数据，其支持但不仅限于TCP、UDP、PPP等传输层协议。
作为本发明的一种优选方案，所述视频编码端的视频像素抽取模块，可以选用硬件芯片，如现场可编程门阵列（FPGA）、数字信号处理芯片（DSP）实现。
作为本发明的另一种优选方案，所述视频编码端和解码端的JPEG2000编码及解码模块，可以选用硬件芯片，如现场可编程门阵列（FPGA）、数字信号处理芯片（DSP）或专用芯片ADV212实现。
作为本发明的又一种优选方案，所述视频编码端和解码端的JPEG2000编码及解码模块，可以基于计算机的软件实现。
作为本发明的再一种优选方案，所述视频解码端的视频播放，可以基于计算机的软件实现。
作为本发明进一步的优选方案，所述视频解码端的视频播放，可以采用基于硬件方案的像素补场、填充模块及视频编码器芯片实现。
图像质量控制指令的确认方式为将编码参数附加于编码码流中构为流媒体数据帧，其帧结构可以支持多种传输层协议，实现了图像质量的跨层交互控制功能。并且图像质量的控制参数均于当前场/帧图像数据压缩时生效，实现了系统图像质量调整的实时性和连续性。解码端可做到对于压缩视频流的实时解码和播放，并在需要改变图像质量时，向编码端发出实时图像质量控制指令。
下面结合附图说明其中的一个实施例，如图2、图3所示，视频编码端和视频解码端包括以下步骤：
视频编码端包括以下步骤：
1）每场/帧图像压缩前，编码端检查是否收到解码端发来的图像质量控制指令，获得其中的编码控制参数，并将参数在前场/帧图像压缩结束后立刻配置到像素抽取模块和JPEG2000压缩模块，若未收到则维持原编码控制参数，不用重新配置；
2）模拟视频信号进入视频编码器，通过模数转换，输出为D1分辨率符合 ITU-R BT.601标准的16-bit YCrCb 4:2:2格式，且具有独立行、场同步信号的数字视频码流；
3）数字视频码流通过DSP芯片TMS320DM6437的视频处理前端接口（VPFE）进入芯片内部，然后送至像素抽取模块根据所设的分辨率参数完成视频码流在长宽维度上的数据抽取，实现视频码流向不高于D1的任意分辨率格式的调整，变换分辨率之后的视频码流通过DSP芯片的视频处理后端数字接口（VPBE）输出至ADV212芯片；
4）JPEG2000硬件编解码芯片ADV212根据所设的场频调整和压缩比调整参数，完成视频码流的JPEG2000压缩编码；
5）TMS320DM6437通过外部存储器接口（EMIF）将ADV212压缩后的JPEG2000码流读入，并将本场/帧的编码参数放在JPEG2000码流数据之前，构帧成流媒体数据帧发送到视频解码端。
视频解码端包括以下步骤：
1）解码端收到编码端发来的流媒体数据帧后，TMS320DM6437首先提取其中的编码控制参数，作为当前解码参数，同时检查其与前次发出的图像质量控制指令中的参数是否相同，若不同则再次向编码端发送控制指令；
2）TMS320DM6437通过外部存储器接口（EMIF）将流媒体数据中的JPEG2000码流部分数据送给JPEG2000硬件编解码芯片ADV212，完成JPEG2000解码；
3）因为本方案采用硬件视频播放的方式，所以解码后的数字视频码流若为非D1格式分辨率或标准场频，则需要进行场/帧像素的填充补场操作，才能为后续的视频编码器识别。故将上一步的JPEG2000码流通过TMS320DM6437的视频处理前端接口（VPFE）进入芯片内部，送至像素填充补场模块，完成视频分辨率恢复至D1格式和场频的调整；
4）调整后的视频数字码流经过DSP芯片TMS320DM6437的视频处理后端接口（VPBE）送至视频编码器，转换成为模拟视频信号输出。
5） 解码端在需要改变图像质量时，向编码端发出图像质量控制指令及其参数取值。
Claims (1)
1.一种跨层交互式图像质量连续可调的实时视频编解码方法，包括视频编码端和视频解码端两个部分，其特征在于所述视频编码端编码过程如下：
a.每场/帧图像压缩前，编码端检查是否收到解码端发来的图像质量控制指令，获得其中的编码控制参数，若未收到则维持原编码控制参数；
b.模拟视频信号经视频解码器，转换为D1分辨率的数字视频码流；
c.数字视频码流经过像素抽取模块，完成符合图像质量控制要求的视频分辨率的调整；
d.分辨率调整后的数字视频码流经过JPEG2000编码模块，完成符合图像质量控制要求的场频调整和压缩比调整下的压缩编码；
e.JPEG2000码流合并编码控制参数，构成流媒体数据帧发送到视频解码端；
所述视频解码端的解码过程如下：
①解码端收到编码端发来的流媒体数据帧后，码流解帧分析模块首先提取其中的编码控制参数，作为当前解码参数，同时检查其与前次发出的图像质量控制指令中的参数是否相同，若不同则再次向编码端发送控制指令；
②将收到的JPEG2000码流数据送到JPEG2000解码模块，完成实时解码和播放；
③解码端在需要改变图像质量时，向编码端发出图像质量控制指令及其参数取值；
所述视频编码端步骤a和视频解码端步骤①、步骤③中图像质量控制指令，其中的编码控制参数包括图像分辨率、场频及压缩比；
所述步骤c的视频分辨率，格式为不高于D1“720×576”分辨率，包括D1、4CIF“704×576”、HALF D1“704×288”、CIF“352×288”、QCIF“176×144”五种标准格式的任意分辨率，且分辨率格式的调整在收到图像控制指令的当前场/帧生效；
所述步骤d的场频调整在收到图像控制指令的当前场/帧生效；
所述步骤d的压缩比调整在收到图像控制指令的当前场/帧生效；
所述步骤e和视频解码端步骤①中的流媒体数据帧为当前场/帧编码控制参数合并当前场/帧JPEG2000编码数据，其支持TCP、UDP、PPP传输层协议。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110316131.7A CN102427531B (zh) | 2011-10-18 | 2011-10-18 | 跨层交互式图像质量连续可调的实时视频编解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110316131.7A CN102427531B (zh) | 2011-10-18 | 2011-10-18 | 跨层交互式图像质量连续可调的实时视频编解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102427531A CN102427531A (zh) | 2012-04-25 |
| CN102427531B true CN102427531B (zh) | 2013-10-09 |
Family
ID=45961469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110316131.7A Expired - Fee Related CN102427531B (zh) | 2011-10-18 | 2011-10-18 | 跨层交互式图像质量连续可调的实时视频编解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102427531B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102695057B (zh) * | 2012-05-25 | 2014-11-19 | 西安空间无线电技术研究所 | 一种用于图像数据的压缩系统 |
| CN108028946A (zh) * | 2015-09-15 | 2018-05-11 | 华为技术有限公司 | 媒体自适应参数的调整方法、系统及相关设备 |
| KR102711111B1 (ko) | 2018-09-28 | 2024-09-26 | 인텔 코포레이션 | 전송 제어 비디오 코딩 |
| CN110855996B (zh) * | 2019-09-30 | 2021-10-22 | 中国船舶重工集团公司第七0九研究所 | 一种基于fpga的图像编解码与网络传输的方法与装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101309388A (zh) * | 2007-05-18 | 2008-11-19 | 希姆通信息技术（上海）有限公司 | 视频电话机通话图像质量的控制方法及采用此方法的手机 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4784650B2 (ja) * | 2009-01-07 | 2011-10-05 | ソニー株式会社 | 符号化装置、目標符号量調整方法及び記録媒体 |
-
2011
- 2011-10-18 CN CN201110316131.7A patent/CN102427531B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101309388A (zh) * | 2007-05-18 | 2008-11-19 | 希姆通信息技术（上海）有限公司 | 视频电话机通话图像质量的控制方法及采用此方法的手机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102427531A (zh) | 2012-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7436454B2 (en) | Method and apparatus for transmitting encoded information based upon piority data in the encoded information | |
| CN101945096B (zh) | 手机面向机顶盒和pc进行视频直播的系统及其工作方法 | |
| CN1976429B (zh) | 基于pc和高清视频信号采集卡的视频传输系统及方法 | |
| US10547888B2 (en) | Method and device for processing adaptive media service, encoder and decoder | |
| US20070195878A1 (en) | Device and method for receiving video data | |
| US7593580B2 (en) | Video encoding using parallel processors | |
| CN107743252A (zh) | 一种降低直播延迟的方法 | |
| CN101009824A (zh) | 一种音/视频数据的网络传输方法 | |
| US20100034256A1 (en) | Video frame/encoder structure to increase robustness of video delivery | |
| CN102427531B (zh) | 跨层交互式图像质量连续可调的实时视频编解码方法 | |
| CN111629283B (zh) | 一种多流媒体网关服务系统及方法 | |
| CN101237583B (zh) | 一种实现多分屏的编解码方法和装置 | |
| CN111510720A (zh) | 实时流媒体数据的传输方法、电子装置及服务器 | |
| US20210352347A1 (en) | Adaptive video streaming systems and methods | |
| CN114125448B (zh) | 视频编码方法、解码方法及相关装置 | |
| EP2429192A1 (en) | Video signal processing | |
| CN101001370A (zh) | 一种融合多种编解码的视频传输系统及方法 | |
| CN104639979A (zh) | 视频分享方法及系统 | |
| CN101686382B (zh) | 视讯处理方法及视讯系统 | |
| CN104869474A (zh) | 一种可扩展的移动流媒体系统及其应用方法 | |
| US20100037281A1 (en) | Missing frame generation with time shifting and tonal adjustments | |
| CN102891995A (zh) | 一种无线音视频采集系统 | |
| CN100350765C (zh) | 影音播放系统传输数据的方法 | |
| CN116248969B (zh) | 一种多网系融合的视频传输系统及方法 | |
| CN113923318B (zh) | 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131009 Termination date: 20211018 |