CN106060553A - 基于感兴趣区域的时域可分级编码装置及其方法 - Google Patents

基于感兴趣区域的时域可分级编码装置及其方法 Download PDF

Info

Publication number
CN106060553A
CN106060553A CN201610597116.7A CN201610597116A CN106060553A CN 106060553 A CN106060553 A CN 106060553A CN 201610597116 A CN201610597116 A CN 201610597116A CN 106060553 A CN106060553 A CN 106060553A
Authority
CN
China
Prior art keywords
image
enhancement layer
primary layer
layer
decoded picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610597116.7A
Other languages
English (en)
Inventor
陈朝武
郅晨
董骞
余子龙
欧阳甸
闫雪
邢培银
马莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
First Research Institute of Ministry of Public Security
Original Assignee
Vimicro Corp
First Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp, First Research Institute of Ministry of Public Security filed Critical Vimicro Corp
Priority to CN201610597116.7A priority Critical patent/CN106060553A/zh
Publication of CN106060553A publication Critical patent/CN106060553A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Abstract

本发明公开了基于感兴趣区域的时域可分级编码装置及其方法，原始图像作为基本层图像，并对原始图像进行感兴趣区域划分处理得到只包含ROI部分的增强层图像，并对两者进行独立编码和译码，在信道条件受限时，增强层编码数据可丢弃并只传输基本层的编码数据，此时终端接收的编码数据有较低的时间分辨率，当信道允许传送增强层编码数据时可传送增强层图像，终端解码输出时，将增强层图像按对应的ROI位置贴到前一帧输出的基本帧图像上。此时增强层图像中ROI有较高的时间分辨率。本发明结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。

Description

基于感兴趣区域的时域可分级编码装置及其方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于感兴趣区域的时域可分级编码装置及其方法。
背景技术
在视频监控场景中，不同的需求导致对不同区域的关注度是不一样的，对其中比较感兴趣的区域(ROI，region of interest)需要较高的图像质量。因此在视频编码中会采用更高的质量因子来对ROI进行高质量的编码。例如，交通视频监控对于车牌清晰度有很高要求，所以含车牌的区域质量较高，其他部分质量差一些。为保证ROI的视频质量和非ROI的视频质量有差异，一般采用不同的编码质量因子对ROI和非ROI进行量化编码。但是其主观效果一般，且对码字的节约效果有限，实际中信道的状态会受多种因素影响导致视频流无法全部传输到终端客户，此时ROI区域即便采用更高的质量进行编码也无法保障客户端视频接收的流畅。
为了解决信道的状态会受多种因素影响导致视频流无法全部传输到终端客户的问题，可伸缩编码技术应用而生。图3给出了时域可伸缩编码示意图，图中红色为T0层，绿色为T1层，蓝色为T2层。时域可伸缩编码包括基本层和增强层，基本层一般不能参考增强层。在带宽受限时，可只传输基本层图像(低帧率，图3中T0层)；在带宽状态较好时，可传输基本层和增强层图像(高帧率)。然后，时域可伸缩虽解决传输不稳定的问题，但没有考虑ROI编码。
发明内容
针对现有技术的不足，本发明旨在提供一种基于感兴趣区域的时域可分级编码装置及方法，通过结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
为了实现上述目的，本发明采用如下技术方案：
基于感兴趣区域的时域可分级编码装置，包括发送端和接收端；
所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块；
所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
利用上述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，包括如下步骤：
S1在发送端处，原始图像通过图像输入设备输入；
S2所述原始图像即为基本层的图像；利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据；
S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像；
S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。
需要说明的是，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。
需要说明的是，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
本发明的有益效果在于：
1、本发明结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
2、在信道条件受限时，增强层的编码数据可丢弃并只传输基本层的编码数据，此时终端接收的编码数据有较低的时间分辨率，当信道允许传送增强层编码数据时可传送增强层图像，接收端解码输出时，将增强层图像按对应的ROI位置贴到前一帧输出的基本层的图像上。此时增强层图像中ROI有较高的时间分辨率。
附图说明
图1为本发明的装置硬件连接示意图；
图2为本发明的方法流程图；
图3为时域可伸缩编码的原理示意图；
图4为本发明实施一中输入的原始图像的示意图；
图5为本发明实施例一的基本层和增强层划分示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，基于感兴趣区域的时域可分级编码装置，包括发送端和接收端；
所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块；
所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
如图2所示，利用上述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，包括如下步骤：
S1在发送端处，原始图像通过图像输入设备输入；当输入的是图像序列时，则原始图像就是图像序列中的每一帧图像。
S2所述原始图像即为基本层的图像；利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据；
S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像；
S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。
需要说明的是，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。
需要说明的是，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
实施例一
根据ROI和传输要求确定低帧率和高帧率的倍数关系，如1∶2，即基础层的图像和增强层的图像隔帧交替出现。
发送端的编码和发送过程
输入原始图像如图4所示。基本层为输入图像，其分辨率为1920×1080，对基本层图像进行编码，不区分ROI和非ROI区域，基本层图像为T0层，如图5所示；
如图5所示，增强层为只包含原始图像的ROI部分的图像，只包含一层增强层，增强层为T1层，此时增强帧的大小为ROI大小。编码时可参考基础帧也可参考增强帧。基础层和增强层的编码数据具有独立的编码参数如图像大小、运动信息、变换参数、量化参数等。
根据传输信道实际状态，增强层编码数据可选择传输(信道条件受限时，如信道带宽小于或等于阈值)，也可以选择不传输(信道条件允许时，如信道带宽大于阈值)。
接收端译码过程：
输入为编码后的码流，首先对基本层进行译码，得到的译码图像分辨率为1920×1080，低帧率图像，且基本层图像不区分ROI和非ROI区域。当只接收到基本层图像编码后的编码数据，则在译码后直接输出译码图像。
当接收到的码流中还包括增强层图像编码后的编码数据，则进行译码，译码得到的为增强层译码图像，即ROI部分的译码图像；
将译码得到的增强层ROI部分替换基本层图像中对应位置的数据，得到复合后的译码图像；输出译码图像序列。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。

Claims (4)

1.基于感兴趣区域的时域可分级编码装置，其特征在于，包括发送端和接收端；
所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块；其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块；
所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备；所述基本层图像译码器还直接电性连接于所述图像输出设备。
2.一种利用权利要求1所述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，其特征在于，包括如下步骤：
S1在发送端处，原始图像通过图像输入设备输入；
S2所述原始图像即为基本层的图像；利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据；
S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像；
S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。
3.根据权利要求2所述的方法，其特征在于，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。
4.根据权利要求2所述的方法，其特征在于，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
CN201610597116.7A 2016-07-26 2016-07-26 基于感兴趣区域的时域可分级编码装置及其方法 Withdrawn CN106060553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610597116.7A CN106060553A (zh) 2016-07-26 2016-07-26 基于感兴趣区域的时域可分级编码装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610597116.7A CN106060553A (zh) 2016-07-26 2016-07-26 基于感兴趣区域的时域可分级编码装置及其方法

Publications (1)

Publication Number Publication Date
CN106060553A true CN106060553A (zh) 2016-10-26

Family

ID=57417110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610597116.7A Withdrawn CN106060553A (zh) 2016-07-26 2016-07-26 基于感兴趣区域的时域可分级编码装置及其方法

Country Status (1)

Country Link
CN (1) CN106060553A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN110249609A (zh) * 2016-12-06 2019-09-17 日产北美公司 用于自主车辆的带宽约束图像处理

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101163241A (zh) * 2007-09-06 2008-04-16 武汉大学 一种视频序列编解码体系结构
CN101262604A (zh) * 2008-04-23 2008-09-10 哈尔滨工程大学 一种感兴趣区优先传输的可伸缩视频编码方法
CN101383962A (zh) * 2007-09-07 2009-03-11 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN206807668U (zh) * 2016-07-26 2017-12-26 公安部第一研究所 基于感兴趣区域的时域可分级编码装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101163241A (zh) * 2007-09-06 2008-04-16 武汉大学 一种视频序列编解码体系结构
CN101383962A (zh) * 2007-09-07 2009-03-11 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
CN101262604A (zh) * 2008-04-23 2008-09-10 哈尔滨工程大学 一种感兴趣区优先传输的可伸缩视频编码方法
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
US20110096990A1 (en) * 2008-11-14 2011-04-28 Vimicro Electronics Corporation Video Codec Method and System
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN206807668U (zh) * 2016-07-26 2017-12-26 公安部第一研究所 基于感兴趣区域的时域可分级编码装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249609A (zh) * 2016-12-06 2019-09-17 日产北美公司 用于自主车辆的带宽约束图像处理
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
KR100725407B1 (ko) 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
CN107995493B (zh) 一种全景视频的多描述视频编码方法
CN102905128B (zh) 编解码处理器在无线视频传输过程中码率控制的方法
KR100878809B1 (ko) 비디오 신호의 디코딩 방법 및 이의 장치
WO2023142716A1 (zh) 编码方法、实时通信方法、装置、设备及存储介质
WO2021052500A1 (zh) 视频图像的传输方法、发送设备、视频通话方法和设备
CN110572673B (zh) 视频编解码方法和装置、存储介质及电子装置
CN107396082B (zh) 一种图像数据的处理方法和装置
CN106060553A (zh) 基于感兴趣区域的时域可分级编码装置及其方法
CN110572672B (zh) 视频编解码方法和装置、存储介质及电子装置
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN113099161A (zh) 一种基于深度神经网络的会议视频重建方法和系统
WO2023169426A1 (zh) 编解码方法及电子设备
CN102572440B (zh) 一种基于深度图和分布式视频编码的多视点视频传输方法
CN206807668U (zh) 基于感兴趣区域的时域可分级编码装置
CN206283618U (zh) 基于感兴趣区域的空间可分级编码装置
CN102413333B (zh) 基于欠定型盲信号分离的视频压缩编解码系统及方法
CN106060554A (zh) 基于感兴趣区域的空间可分级编码装置及其方法
CN113038126B (zh) 基于帧预测神经网络的多描述视频编码方法和解码方法
WO2021057676A1 (zh) 视频编解码方法、装置、电子设备及可读存储介质
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100720003B1 (ko) 영상 복호화방법
CN115733987A (zh) 编解码方法、编码器、解码器及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20161026