CN106060554A - 基于感兴趣区域的空间可分级编码装置及其方法 - Google Patents
基于感兴趣区域的空间可分级编码装置及其方法 Download PDFInfo
- Publication number
- CN106060554A CN106060554A CN201610599605.6A CN201610599605A CN106060554A CN 106060554 A CN106060554 A CN 106060554A CN 201610599605 A CN201610599605 A CN 201610599605A CN 106060554 A CN106060554 A CN 106060554A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- enhancement layer
- processor
- base layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000010410 layer Substances 0.000 claims description 172
- 238000005070 sampling Methods 0.000 claims description 36
- 239000002131 composite material Substances 0.000 claims description 26
- 239000011229 interlayer Substances 0.000 claims description 4
- 238000013329 compounding Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了基于感兴趣区域的空间可分级编码装置及其方法，通过分别对输入的图像序列进行处理得到不划分感兴趣区域的基本层图像和只包含ROI部分的增强层图像，并对两者进行独立编码和译码，最后将基本层图像恢复至原始大小后与译码后的增强层译码图像复合得到最终图像序列，有效地保证视频流畅和ROI质量。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于感兴趣区域的空间可分级编码装置及其方法。
背景技术
在视频监控场景中，客户对不同区域的关注度是不一样的，对其中比较感兴趣的区域(ROI，region of interest)需要较高的图像质量。因此在视频编码中会采用更高的质量因子来对ROI进行高质量的编码。例如，交通视频监控对于车牌清晰度有很高要求，所以图像内含车牌的区域质量较高，其他部分质量差一些。为保证ROI的视频质量和非ROI的视频质量有差异，一般采用不同的编码质量因子对ROI和非ROI进行量化编码。但是其主观效果一般，且对码字的节约效果有限，实际中信道的状态会受多种因素影响导致视频流无法全部传输到终端客户，此时ROI区域即便采用更高的质量进行编码也无法保障客户端视频接收的流畅。
为了解决信道的状态会受多种因素影响导致视频流无法全部传输到终端客户的问题，可伸缩编码技术应用而生。空间可伸缩编码包括基本层和增强层，基本层一般为小分辨率图像，结合增强层后可输出大分辨率图像。在带宽受限时，可只传输小分辨率图像；在带宽状态较好时，可传输大分辨率图像。
发明内容
针对现有技术的不足，本发明旨在提供一种感兴趣区域的空间可分级编码装置及其方法，采用空间可分级编码技术对ROI区域进行编码，有效地保证视频流畅和ROI质量。
为了实现上述目的，本发明采用如下技术方案：
基于感兴趣区域的空间可分级编码装置，包括发送端和接收端；其中，
所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接；
所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
利用上述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，包括如下步骤：
S1在发送端，原始图像通过图像输入设备输入；
S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端；
S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。
需要说明的是，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。
需要说明的是，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。
需要说明的是，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
本发明的有益效果在于：
1、本发明结合ROI技术和空间可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
2、在最终的复合步骤中，基本层图像恢复到了原始大小，将增强层的ROI部分图像替换基本层图像上与之对应的位置上，则ROI区域有更高分辨率，非ROI区域有较低的分辨率，且主观效果过渡比较自然。
3、在信道条件受限时，增强层编码数据可丢弃，此时接收端接收的编码数据可恢复低分辨率图像。
附图说明
图1为本发明的装置硬件结构连接示意图；
图2为本发明的方法实施流程图；
图3为本发明实施例中原始图像序列的示意图；
图4为本发明实施例中基本层图像的示意图；
图5为本发明实施例中增强层图像的示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，基于感兴趣区域的空间可分级编码装置，包括发送端和接收端；其中，
所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接；
所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
如图2所示，利用上述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，包括如下步骤：
S1在发送端，原始图像通过图像输入设备输入；
S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端；
S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。
需要说明的是，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。
需要说明的是，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。
需要说明的是，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
实施例一
1)输入原始图像序列，如图3所示，图像分辨率为1920×1080，感兴趣区域为图3所示的车牌部分。
2)基本层图像为输入图像的下采样图像，如图4所示，其分辨率为960×540，对基本层图像进行编码。在基本层图像中，不区分ROI和非ROI区域；
3)增强层图像为只包含输入图像的ROI部分的图像，如图5所示，只包含一层增强层，对增强层图像进行编码，此时增强层图像的大小为ROI部分的大小。编码时可采用跨层预测，即基本层图像按比例放大后做增强层参考图像；同时在非关键帧(key frame)也可采用同层预测。增强层在MV候选项中增加基本层对应位置8X8块的MV作为候选项，即可参考基本层MV来去除层间冗余的运动信息；此时原来的候选MV顺序不变。
在各空间分辨率层的基础上进行正常编码，有各自独立的编码参数如图像大小、运动信息、变换参数、量化参数等。
传输图像序列。根据传输信道实际状态，增强层的编码可选择传输(信道条件允许，如带宽达不到阈值)，也可以选择不传输(信道条件受限，如带宽达到阈值要求)。
4)当只接收到基本层图像编码后的编码数据，则只对基本层图像的编码数据进行译码，得到的译码图像分辨率为960×540，且基本层图像不区分ROI和非ROI区域。对基本层译码图像进行上采样，得到分辨率为1920×1080(原始大小)的上采样图像，然后直接输出。
当接收到的编码数据中除了基本层图像编码后的编码数据还包括增强层图像编码后的编码数据，则分别进行译码得到基本层译码图像和增强层译码图像。然后对基本层译码图像进行上采样，得到分辨率为1920×1080(原始大小)的上采样图像。
5)将译码得到的增强层译码图像替换上采样图像中对应位置的数据，得到最终复合译码图像并输出。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
Claims (5)
1.基于感兴趣区域的空间可分级编码装置，其特征在于，包括发送端和接收端；其中，
所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接；
所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
2.一种利用权利要求1所述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，其特征在于，包括如下步骤：
S1在发送端，原始图像通过图像输入设备输入；
S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端；
S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。
3.根据权利要求2所述的方法，其特征在于，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。
4.根据权利要求2所述的方法，其特征在于，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。
5.根据权利要求2所述的方法，其特征在于，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610599605.6A CN106060554A (zh) | 2016-07-26 | 2016-07-26 | 基于感兴趣区域的空间可分级编码装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610599605.6A CN106060554A (zh) | 2016-07-26 | 2016-07-26 | 基于感兴趣区域的空间可分级编码装置及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106060554A true CN106060554A (zh) | 2016-10-26 |
Family
ID=57418544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610599605.6A Withdrawn CN106060554A (zh) | 2016-07-26 | 2016-07-26 | 基于感兴趣区域的空间可分级编码装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106060554A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018127123A1 (en) * | 2017-01-06 | 2018-07-12 | Mediatek Inc. | Methods and apparatus for signaling viewports and regions of interest |
| WO2020000333A1 (en) * | 2018-06-29 | 2020-01-02 | SZ DJI Technology Co., Ltd. | Image processing method and apparatus |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235314A (ja) * | 2006-02-28 | 2007-09-13 | Sanyo Electric Co Ltd | 符号化方法 |
| CN101163241A (zh) * | 2007-09-06 | 2008-04-16 | 武汉大学 | 一种视频序列编解码体系结构 |
| CN101383962A (zh) * | 2007-09-07 | 2009-03-11 | 武汉大学 | 基于感兴趣区域的低码率空域增强层编解码方法 |
| CN101478671A (zh) * | 2008-01-02 | 2009-07-08 | 中兴通讯股份有限公司 | 应用于视频监控的视频编码装置及其视频编码方法 |
| CN101742324A (zh) * | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 视频编解码方法、视频编解码系统及编解码器 |
| GB201212360D0 (en) * | 2012-07-11 | 2012-08-22 | Canon Kk | Methods and devices for controlling spatial access granularity in compressed video streams |
| CN206283618U (zh) * | 2016-07-26 | 2017-06-27 | 公安部第一研究所 | 基于感兴趣区域的空间可分级编码装置 |
-
2016
- 2016-07-26 CN CN201610599605.6A patent/CN106060554A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235314A (ja) * | 2006-02-28 | 2007-09-13 | Sanyo Electric Co Ltd | 符号化方法 |
| CN101163241A (zh) * | 2007-09-06 | 2008-04-16 | 武汉大学 | 一种视频序列编解码体系结构 |
| CN101383962A (zh) * | 2007-09-07 | 2009-03-11 | 武汉大学 | 基于感兴趣区域的低码率空域增强层编解码方法 |
| CN101478671A (zh) * | 2008-01-02 | 2009-07-08 | 中兴通讯股份有限公司 | 应用于视频监控的视频编码装置及其视频编码方法 |
| CN101742324A (zh) * | 2008-11-14 | 2010-06-16 | 北京中星微电子有限公司 | 视频编解码方法、视频编解码系统及编解码器 |
| GB201212360D0 (en) * | 2012-07-11 | 2012-08-22 | Canon Kk | Methods and devices for controlling spatial access granularity in compressed video streams |
| CN206283618U (zh) * | 2016-07-26 | 2017-06-27 | 公安部第一研究所 | 基于感兴趣区域的空间可分级编码装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018127123A1 (en) * | 2017-01-06 | 2018-07-12 | Mediatek Inc. | Methods and apparatus for signaling viewports and regions of interest |
| US10742999B2 (en) | 2017-01-06 | 2020-08-11 | Mediatek Inc. | Methods and apparatus for signaling viewports and regions of interest |
| WO2020000333A1 (en) * | 2018-06-29 | 2020-01-02 | SZ DJI Technology Co., Ltd. | Image processing method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105278B (zh) | 运动矢量自动生成的视频编解码系统 | |
| KR100763181B1 (ko) | 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치 | |
| US8369633B2 (en) | Video codec method and system | |
| KR100746007B1 (ko) | 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더 | |
| KR100893868B1 (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| KR100725407B1 (ko) | 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치 | |
| US9414086B2 (en) | Partial frame utilization in video codecs | |
| KR101425602B1 (ko) | 영상 부호화/복호화 장치 및 그 방법 | |
| US9635374B2 (en) | Systems and methods for coding video data using switchable encoders and decoders | |
| US20050200757A1 (en) | Method and apparatus for digital video reconstruction | |
| US20090103613A1 (en) | Method for Decoding Video Signal Encoded Using Inter-Layer Prediction | |
| US10306244B2 (en) | Method for encoding/decoding image and device using same | |
| US20100303151A1 (en) | Method for decoding video signal encoded using inter-layer prediction | |
| US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
| EP4430826A1 (en) | Method and apparatus for video coding for machine vision | |
| CN206283618U (zh) | 基于感兴趣区域的空间可分级编码装置 | |
| US20080008241A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| CN111182310A (zh) | 视频处理方法、装置、计算机可读介质及电子设备 | |
| CN106060554A (zh) | 基于感兴趣区域的空间可分级编码装置及其方法 | |
| TWI621350B (zh) | 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置 | |
| KR100883591B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 | |
| US20070223573A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| US20070280354A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| EP2177034B1 (en) | Method and device for reconstructing a picture | |
| WO2024007090A1 (zh) | 一种超高清视频数据编码/解码处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20161026 |
|
| WW01 | Invention patent application withdrawn after publication |