CN101453639A - 支持roi区域的多路视频流的编码、解码方法和系统 - Google Patents

Abstract

本发明公开了一种支持ROI区域的多路视频流的编码、解码方法和系统，灵活调节ROI区域的编码策略和显示策略。其技术方案为：在编码端可选地对ROI区域、全景或是两者的复用进行编码，并打包发送。在解码端解析传输包，对ROI区域或全景进行同步解码，并根据用户的需要将ROI区域帧和全景帧在像素域进行融合。本发明应用于视频监控领域。

Description

支持ROI区域的多路视频流的编码、解码方法和系统

技术领域

本发明涉及视频流的编码、解码方法和系统，尤其涉及一种支持ROI(感兴趣)区域的多路视频流的编码、解码方法和系统。

背景技术

在监控应用中，通常需要观看一个全景和高质量的ROI区域，单独传输两个完全尺寸的码流会造成不必要的带宽浪费。另外，如果单独只传一个全景的码流，并把码流分配到ROI区域，在一定程度上可以提高ROI区域的PSNR(PEAK Signal Noise Ratio，峰值信号噪声比例)，但是，基于ROI区域的流量控制只能通过调节量化阶参数等单一手段来满足提高区域质量要求，不能满足分辨率、光线模式等更多的监控质量变化要求。事实上，目前的编码器还不能支持在同一编码序列内图像的不同区域的编码的多种模式变化。

目前基于ROI区域的编码技术有基于区域的流量控制、变分辨率和分层编码等。正如上一段所述，流量控制方法通过对ROI区域的分配不同的码率来实现更高质量的视觉效果，然而基于区域的流控只能满足提高区域质量单一要求，不能满足分辨率，光线模式等更多要求。另外，基于区域的变分辨率和分层编码等需要改变编解码技术框架，提高了实现的复杂度。例如，尽管分层编码能实现同一编码序列内的多分辨率的需求，但是在现阶段，分层编码的实现提高了监控前端编码的复杂度，不适合于硬件实现。

发明内容

本发明的目的在于解决上述问题，提供了一种支持ROI区域的多路视频流的编码、解码方法，灵活调节ROI区域的编码策略和显示策略。本发明的方法既能满足分辨率、光线模式等更多要求，又无需改变编解码技术框架。

本发明的另一目的在于提供了一种支持ROI区域的多路视频流的编码、解码系统，灵活调节ROI区域的编码策略和显示策略。本发明的系统既能满足分辨率、光线模式等更多要求，又无需改变编解码技术框架。

本发明的技术内容为：本发明揭示了一种支持感兴趣区域的多路视频流的编码、解码方法，包括：

编码和传输过程：

根据用户需要可选地对采集后的感兴趣部分的视频信息进行感兴趣区域编码，根据用户需要可选地对采集后的所有视频信息进行全景编码；

在感兴趣区域编码后对其进行打包以产生感兴趣码流并发送，在全景编码后对其进行打包以产生全景码流并发送，其中打包的形式包括在包结构中插入时间戳以同步感兴趣码流和全景码流，在包结构中承载标识符以识别分属不同码流的包，并插入感兴趣标志符以及感兴趣的起始和终止宏块信息；

在用户需要的情况下可选地对打包后产生的感兴趣码流和全景码流进行复用并传输；

解码过程：

对解复用出的感兴趣码流包，先经码流解析，解析出其中的感兴趣码流、感兴趣编码的参数和时间戳，该解析出的感兴趣码流根据该解析出的感兴趣编码的参数和时间戳进行解码，根据用户需要可选地进行感兴趣区域的单独播放；

对解复用出的全景码流，先经码流解析，解析出其中的全景码流和时间戳，该解析出的全景码流根据该解析出的时间戳进行解码，根据用户需要可选地进行全景播放；

如果同时存在解码后的感兴趣帧和全景帧，根据该解析出的时间戳对两者进行同步，并根据感兴趣区域的位置信息对两者进行像素域的融合，根据用户需要可选地进行感兴趣区域结合全景的播放。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在编码过程中，感兴趣区域编码和全景编码采用相同的编码参数。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在编码过程中，感兴趣区域编码和全景编码采用不同的编码参数。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在编码过程中，在全景编码之前还包括下采样的过程用以减小图像尺寸。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在解码过程中，在像素域融合之前，还包括对全景帧进行上采样。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在解码过程中，在对全景码流/感兴趣码流进行解码之前还包括码流缓冲过程。

上述的支持感兴趣区域的多路视频流的编码、解码方法，其中，在解码过程中，在对全景码流/感兴趣码流进行解码之后还包括将其存储为全景帧/感兴趣帧。

基于上述方法，本发明还揭示了一种支持感兴趣区域的多路视频流的编码、解码系统，包括：

编码装置，包括：

感兴趣区域编码模块，根据用户需要可选地对采集后的感兴趣部分的视频信息进行感兴趣区域编码；

全景编码模块，根据用户需要可选地对采集后的所有视频信息进行全景编码；

感兴趣区域打包模块，连接该感兴趣区域编码模块，对感兴趣区域编码后的码流进行打包，包括：

时间戳插入单元，将时间戳插入包头部结构以同步感兴趣码流和全景码流；

标识符承载单元，在该包头部结构的同步源上承载标识符以识别分属不同码流的包；

标志符插入单元，在包中插入标志符以识别该包是否包含感兴趣码流；

感兴趣宏块信息插入单元，插入感兴趣的起始和终止宏块位置信息；

感兴趣区域包发送模块，连接该感兴趣区域打包模块，发送感兴趣区域包；

全景打包模块，连接该全景编码模块，对全景编码后的码流进行打包，包括：

时间戳插入单元，将时间戳插入包头部结构以同步感兴趣码流和全景码流；

标识符承载单元，在该头部结构的同步源上承载标识符以识别分属不同码流的包；

标志符插入单元，插入标志符以识别该包是否包含感兴趣区域的信息；

全景包发送模块，连接该全景打包模块，发送全景包；

复用模块，连接该感兴趣区域打包模块和该全景打包模块，根据用户需要可选地对感兴趣码流和全景码流进行复用；

感兴趣和全景复用发送模块，发送复用后的码流；

传输装置，包括：

包传输模块，传输感兴趣码流/全景码流/感兴趣码流和全景码流的复用流；

解复用模块，对经由该包传输模块传输的码流进行系统层解复用，通过在该码流头部结构的同步源上承载的标识符标识分属不同码流的包；

解码装置，包括：

感兴趣码流解析模块，对解复用出的感兴趣码流包进行解析，解析出其中的感兴趣码流、感兴趣编码的参数和时间戳；

感兴趣解码模块，根据解析出的感兴趣编码的参数和时间戳对解析出的感兴趣码流进行解码；

感兴趣播放模块，根据用户需要可选地对感兴趣区域进行单独播放；

全景码流解析模块，对解复用出的全景码流包进行解析，解析出其中的全景码流和时间戳；

全景解码模块，根据解析出的时间戳对解析出的全景码流进行解码；

全景播放模块，根据用户需要可选地进行全景播放；

像素域融合模块，根据解析出的时间戳和感兴趣区域的位置信息，将解码后的感兴趣帧和全景帧进行像素域上的融合；

全景和感兴趣播放模块，将经该像素域融合模块融合后的全景和感兴趣区域的结合加以播放。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，编码装置中的感兴趣区域编码模块和全景编码模块采用相同的编码参数。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，编码装置中的感兴趣区域编码模块和全景编码模块采用不同的编码参数。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，编码装置中的全景编码模块之前还包括下采样模块以减小图像尺寸。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，解码装置中的像素域融合模块之前还包括对全景帧进行上采样的上采样模块。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，解码装置中还包括位于该感兴趣码流解析模块和该感兴趣解码模块之间的感兴趣码流缓冲模块，以及位于该全景码流解析模块和该全景解码模块之间的全景码流缓冲模块。

上述的支持感兴趣区域的多路视频流的编码、解码系统，其中，解码装置中还包括：

感兴趣帧存储模块，位于该感兴趣解码模块和该感兴趣播放模块之间，存储解码后的感兴趣帧，并提供给该像素域融合模块；

全景帧存储模块，位于该全景解码模块和该全景播放模块之前，存储解码后的全景帧，并提供给该像素域融合模块。

本发明对比现有技术有如下的有益效果：本发明在编码端可选地对ROI区域、全景或是两者的复用进行编码，以RTP包的形式基于RTP/UDP/IP传输协议栈结构进行传输，在解码端解析RTP包，对ROI区域或全景进行同步解码，并根据用户的需要将ROI区域帧和全景帧在像素域进行融合。对比现有技术，本发明满足了ROI区域的视频压缩需求，在调节ROI区域的编码策略和显示策略等方面，具有很强的灵活性。

附图说明

图1是本发明的支持ROI区域的多路视频流的编码、解码方法的一个较佳实施例的流程图。

图2是RTP头部结构的示意图。

图3是承载ROI多码流传输的协议栈结构的示意图。

图4是承载ROI多码流的包结构的示意图。

图5是本发明的支持ROI区域的多路视频流的编码、解码系统的一个较佳实施例的框图。

图6是图5所示系统实施例中的编码装置的框图。

图7是图5所示系统实施例中的传输装置的框图。

图8是图5所示系统实施例总的解码装置的框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1示出了本发明的支持ROI区域的多路视频流的编码、解码方法的一个较佳实施例的流程。请参见图1，下面是对该方法中各步骤的详细描述。

步骤S100：对采集后的感兴趣部分的视频信息进行ROI区域编码。该步骤是根据用户需要可选的，也即，只有当用户需要在终端观看感兴趣部分的视频信息时，才需要进行步骤S100。

ROI码流的特点是，编码器只对感兴趣区域进行编码，对于感兴趣区域以外的视频信息将不编码。ROI(感兴趣)区域通常是空间域内的部分区域，但也可以是时域上的若干帧，感兴趣区域的范围可以是预先设定的，也可以根据用户需求设置，感兴趣区域范围的确定并不包含在本申请之中。本发明主要考虑空间域上ROI的情况。ROI区域的生成通过某种算法实现，比如图像分割，运动跟踪等。通常，ROI区域的生成算法需要尽量保证ROI区域的编码效率。比如，如果相邻帧都是以部分ROI区域编码的，那么ROI区域的生成算法需要考虑并权衡在当前帧的帧内编码效率，同时也要考虑降低与前一帧运动补偿的残差。

单纯对ROI区域编码会导致编码效率的损失。这种损失主要是由下面方面造成的：帧间的运动矢量和实际ROI帧间相关区域的位置不匹配；ROI区域的边缘部分的有效帧内预测模式的减少，等等。另外，考虑到全景码流和ROI对应区域的相关性并没有被利用，所以单独对ROI区域进行编码有一定的效率降低，然而，优势也是明显的。首先，ROI作为关键信息，可以单独提取和呈现给监控终端。其次，实现的复杂度比分层编码降低，另外，监控参数设置的灵活性也得到了提高。

正如上面所提到的，ROI区域的定义不仅仅是在每一帧内的某个空间区域，同样也可以推广到时域上。实际应用中，也不是每个视频帧都会包含ROI区域。这样在传输的时候，只需要对时域上的ROI显示单元进行标记以区分时域上的ROI帧。在必要的时候，监控终端可以只提取解码并播放ROI码流而忽略全景码流，这样可以大大突出监控重点，并节省监控的人力需求。

本步骤中产生ROI码流的方式中，仅仅对ROI区域进行编码，视频图像尺寸为视频宽×视频高。可以有两种方式实现，其一是将非ROI区域跳过不编码，另一是将非ROI区域设置为不含有图像纹理信息的值再进行编码。这两种实现均是现有技术，简述如下。

对于第一种实现方式，直接把非ROI区域的像素值直接设置为一常量(例如128)，生成一个遮蔽(Mask)后的图像，然后使用普通的视频编码器对新的图像序列进行编码。

对于第二种实现方式，为了提高编码速度，直接把非ROI区域的宏块语法配置成固定的值，这样，编码器可以完全跳过对非ROI区域的编码.比如，假设视频编码格式为AVS-P2，可以把非ROI区域的宏块按照AVS的语法定义设为固定二进制码流，以兼容解码器的解码过程.对于I帧或I-MB，每个宏块的码流在宏块层可以按下面方法预设：

设置pred_mode_flag＝1；

设置cbp的code_num＝0；用EXP COLOMB CODE编码后codeword＝1；

而P帧或P-MB帧可以在SLICE(条带)层把非ROI区域编为SKIP_RUN。

具体方案的实现需要根据实际情况而定，第一种方案的实现比较简单，不需要在编码层做任何处理，完全兼容现有的编码设备，但是对非ROI区域的编码也会造成浪费一部分的编码计算资源。第二种方案需要在编码过程中根据非ROI区域的宏块处插入预定的二进制宏块码流。

这一步骤中可以生成一个ROI区域的编码，也可以生成多个ROI区域的编码，视用户需求而定。

步骤S101：对采集后的所有视频信息进行全景编码。这一步骤是根据用户需要可选的，也即，只有当用户需要观看全景视频信息时才需要进行这一步骤。

产生全景码流的目的是为了能够让监控终端能全面但粗略地了解所监控的场景。同时为了节省码流率，通常采用监控终端所能认可的最低质量(比如分辨率和PSNR)进行编码。全景码流通常包含全部的时域帧和场景信息。较佳地，可以在该步骤中增加对采集信息的下采样处理，视频图像尺寸为下采样率×视频宽×视频高。同时通过设置量化步长进行流量控制以降低全景视频的码流率。

比较步骤S100的ROI区域编码和步骤S101的全景编码，可采用相同也可采用不同的编码参数，较佳地，采用不同的编码参数。在实际应用中，可以采用双编码器，也可以采用转码的方式实现产生双码流。由于用双编码器产生两个独立编码的码流，编码器就可以分别对单个码流进行高度灵活的编码策略的选择。

步骤S102：在ROI编码后进行RTP(实时传输协议)打包。

步骤S103：在全景编码后进行RTP打包。

在上述两个步骤的RTP打包过程中，需要在RTP头部结构(RTPHeader)中插入时间戳(Timestamp)以同步感兴趣码流和全景码流，在RTP头部结构中的同步源(SSRC，Synchronization Source)上承载标识符以识别分属不同码流的包，在RTP拓展字段(RTP HeaderExtension)中插入ROI标志符和ROI的起始和终止宏块信息。

RTP打包只是其中一个实例，本发明的方法能拓展到任何传输方案，例如MPEG2-TS等的传输方案。

具体的说，请参见图2，图2示出了RTP头部结构，其中PT将使用动态映射的方法，这可以通过SDP[2]的方法来说明，时间戳(Timestamp)用来实现ROI和全景的同步，例如ROI的时间戳需要对应于全景的时间戳，SSRC用来承载标识符(SID，Simulcast ID)。

系统层在RTP的PAYLOAD FORMAT中定义与ROI相关的同步和处理信息，每个RTP包对应一个帧。

表1简述了RTP头部扩展字段(RTP Header Extension)的语法定义。

 

字段	比特位数
		Total_bitstream_cnt_in_simulcast	4
Bitstream_Num	4
		ROl_flag	1
if(ROl_flag){
		ROI_CNT	4
for(ROI_NUM＝0；ROI_NUM<ROI_CNT；ROI_NUM++){
		START_MBINDEX；	13
END_MBINDEX；	13
		}
}

表一

如表一所示，一个字段指出该码流属于SID序列的Total_bitstream_cnt_in_simulcast个码流数中的第Bitstream_Num个码流。例如，假设包含ROI的RTP流中Total_bitstream_cnt_in_simulcast＝1，Bitstream_Num＝0，那么只有ROI可被解码显示。假设包含全景的RTP流中Total_bitstream_cnt_in_simulcast＝1，Bitstream_Num＝0，那么只有全景可被解码显示。假设包含全景和ROI的RTP流中Total_bitstream_cnt_in_simulcast＝1、Bitstream_Num分别是0和1，那么ROI和全景可以选择地被同步显示。

一个字段即标志位ROI_flag指出当前流是否是ROI流，例如当其值为1时是ROI，其值为0时为全景。如果该码流是ROI流，则指出R OI_CNT和ROI的MBINDEX的起始号，这样就得到了ROI的起始和终止宏块信息。

在系统层定义ROI就可以在实际解码之前就知道应该用何种模式程序多码流数据。在某一存储单元(Access Unit)内(或视频帧内)，ROI的数目可以是多个，每个ROI指出MB_INDEX的起始位置START_MBINDEX和结束位置START_MBINDEX+OFFSET。

上述的定义也可以用于普通多码流的传输，比如，在多码流分屏显示的情况下，根据该码流是属于SID序列的总N个码流数中的第1个码流的判断来决定多码流的处理。

步骤S104：对RTP打包后的ROI码流和全景码流进行复用。这一步也是根据用户需要可选的。

产生复用码流的目的在于同步ROI和全景码流的传输并且控制接收端的缓冲充盈度，这样监控终端的解码器可以对接收到的ROI和全景码流按照同步时间戳分别进行码流缓冲、图像叠加和复原。

上述步骤S100～S104均是编码端的处理过程。可以根据用户的需要，可选地仅对一个或多个ROI进行编码，或者仅对全景进行编码，又或者对两者进行编码并复用。在RTP打包过程中引入了时间戳、同步源标识符、ROI标志符及ROI起始和终止宏块信息等。

步骤S105：以RTP包的形式发送ROI码流/全景码流/ROI和全景的复用流，并基于RTP/UDP/IP传输协议栈结构进行传输。

协议栈结构如图3所示，ROI多码流在IP网络上传输，例如局域网、因特网、GSM、3G无线网络等。其传输和传输中的同步是通过在编码时插入的关联时间戳来实现。

承载ROI码流的包结构如图4所示，包括UDP、RTP头部、RTP头部扩展和视频数据。

步骤S106：对传输的RTP码流进行系统层解复用，通过在该RTP头部结构的同步源上承载的标识符(SID)标识分属不同码流的RTP包。

可以通过IP和端口解复用，也可以通过SSRC的SID解复用。

步骤S107：对解复用出的ROI码流的RTP包，经RTP解析(RTPParse)，包括对RTP有效负载格式(RTP PAYLOAD FORMAT)的解析，解析出其中的ROI码流、ROI编码参数和时间戳。

步骤S108：对解析出的ROI码流进行缓冲。

步骤S109：根据解析出的ROI编码参数和时间戳，对缓冲后的ROI码流进行解码，并以ROI帧的方式存储。

上述步骤S107～S109是基于实际解复用出ROI码流的情况下进行的。

步骤S110：对解复用出的全景码流的RTP包，经RTP解析(RTPParse)，包括对RTP有效负载格式(RTP PAYLOAD FORMAT)的解析，解析出其中的全景码流和时间戳。

步骤S111：对解析出的全景码流进行缓冲。

步骤S112：根据解析出的时间戳，对缓冲后的全景码流进行解码，并以全景帧的方式存储。

上述步骤S110～S112是基于实际解复用出全景码流的情况下进行的。

步骤S113：根据解析出的时间戳以及ROI区域的位置信息，将ROI帧和全景帧在像素域上进行融合，生成清晰度不一的视频图像。这一步是在存储有全景帧和ROI帧的前提下由用户需求决定而进行的。如果在编码时曾对全景编码采用下采样，那么需要在融合之前对全景帧进行上采样。

步骤S114：对ROI帧/全景帧/ROI和全景融合帧进行播放。具体播放哪一类的帧，由用户决定。

由此可见，用户在监测终端选择观看ROI帧图像、或全景帧图像、或ROI和全景融合的图像。

基于上述的方法，图5示出了本发明的支持感兴趣区域的多路视频流的编码、解码系统。请参见图5，系统1包括编码装置10、传输装置20和解码装置30。

编码装置10的原理请参见图6所示。编码装置10包括ROI编码模块100、ROI RTP打包模块102、ROI RTP包发送模块104、全景编码模块101、全景RTP打包模块103、全景RTP包发送模块105、复用模块106、ROI和全景复用发送模块107。

ROI编码模块100根据用户需要可选地对采集后的ROI部分的视频信息进行ROI编码。ROI编码模块100的编码方式是现有技术，其具体实现请参见上述方法中的ROI编码步骤，在此不再赘述。注意到，本模块只在用户需要对视频信息进行ROI编码的情况下启动。

ROI RTP打包模块102连接ROI编码模块100，对编码后的码流进行RTP打包，其包括：时间戳插入单元(未图示)、标识符承载单元(未图示)、标志符插入单元(未图示)和ROI宏块信息插入单元(未图示)。时间戳插入单元将时间戳插入RTP头部结构以同步ROI码流和全景码流。标识符承载单元在RTP头部结构的同步源上承载标识符(SID)以识别分属不同码流的RTP包。标志符插入单元负责在RTP拓展字段中插入标志符以识别该RTP包是否属于ROI码流。ROI宏块信息插入单元将ROI的起始和终止宏块信息插入在RTP拓展字段中。

时间戳插入单元具体插入时间戳的方式、标识符承载单元具体在同步源上承载标识符的方式、标志符插入单元具体插入标志符的方式以及ROI宏块信息插入单元具体插入起始和终止宏块信息的方式请参见图2和上述的表一，其具体描述的细节已在方法的描述中揭示，在此不再赘述。

经打包模块102打包后可通过ROI RTP包发送模块104对外发送。

这里的ROI编码模块100、ROI RTP打包模块102以及ROI RTP包发送模块104仅示出为一组，本领域技术人员应知，可以是两组及以上。

全景编码模块101根据用户需要可选地对采集后的所有视频信息进行全景编码。在全景编码模块之前还可以设置一个下采样模块(未图示)以减小图像尺寸。全景编码模块101和ROI编码模块100可以采用相同的编码参数也可以采用不同的编码参数。较佳地，两个模块分别采取不同的编码参数。注意到，本模块只在用户需要对视频信息进行全景编码的情况下启动。

全景RTP打包模块103连接全景编码模块101，对全景编码后的码流进行RTP打包，包括时间戳插入单元(未图示)、标识符承载单元(未图示)、标志符插入单元(未图示)。其中时间戳插入单元将时间戳插入RTP头部结构以同步ROI和全景，标识符承载单元在RTP头部结构的同步源上承载标识符以识别分属不同码流的RTP包，标志符插入单元在RTP拓展字段中插入标志符以识别该RTP包是否属于ROI码流。

应理解，时间戳插入单元具体插入时间戳的方式、标识符承载单元具体在同步源上承载标识符的方式、标志符插入单元具体插入标志符的方式请参见图2和上述的表一，其具体描述的细节已在方法的描述中揭示，在此不再赘述。

经打包模块103打包后由全景RTP包发送模块105向外发送。

复用模块106连接ROI RTP打包模块102和全景RTP打包模块103，根据用户需要可选地对ROI RTP包和全景RTP包进行复用。该模块仅在用户需要同时观察全景和ROI区域图像的情况下启动。复用后由ROI和全景复用发送模块107向外发送。

传输装置20的原理请参见图7，传输装置20包括RTP包传输模块200和解复用模块201。RTP包传输模块200基于RTP/UDP/IP传输协议栈结构传输以RTP包的形式发送的ROI码流/全景码流/ROI和全景的复用码流。传输协议栈结构请参见图3，传输包的结构请参见图4，具体已在上述的方法实施例中描述，在此不再赘述。

解码装置30的原理请参见图8，解码装置30包括ROI RTP解析模块300、ROI缓冲模块302、ROI解码模块304、ROI帧存储模块306、ROI播放模块308、全景RTP解析模块301、全景缓冲模块303、全景解码模块305、全景帧存储模块307、全景播放模块309、像素域融合模块310、ROI和全景播放模块311。

ROI RTP解析模块300对解复用出的ROI码流RTP包进行RTP解析，包括对RTP有效负载格式(RTP PAYLOAD FORMAT)的解析，解析出其中的ROI码流、ROI编码参数和时间戳。ROI码流进入ROI缓冲模块302，然后进入ROI解码模块304。在ROI解码模块304中，根据解析出的ROI编码参数和时间戳，对解析出的ROI码流进行解码。解码之后由ROI帧存储模块306存储为ROI帧。随后，根据用户需要，通过ROI播放模块308播放ROI帧。上述模块在解复用出的RTP包中存在ROI码流的情况下启用。

全景RTP解析模块301对解复用出的全景码流RTP包进行RTP解析，包括对RTP有效负载格式(RTP PAYLOAD FORMAT)的解析，解析出其中的全景码流和时间戳。全景码流随后进入全景缓冲模块303，然后进入全景解码模块305。在全景解码模块305中，根据解析出的时间戳，对解析出的全景码流进行解码。解码之后由全景帧存储模块307存储为全景帧。随后，根据用户需要，通过全景帧播放模块309播放全景帧。上述模块在解复用出的RTP包中存在全景码流的情况下启用。

在ROI帧存储模块306存有ROI帧和全景帧存储模块307中存有相应全景帧的情况下(亦即接收到的是ROI和全景复用的码流)，在像素域融合模块310中，根据解析出的时间戳和ROI区域的位置信息，将解码后的ROI帧和全景帧进行像素域上的融合，形成生成清晰度不一的视频图像。如果在编码装置中存在下采样模块，则需在像素域融合模块310和全景帧存储模块307之间设置上采样模块(未图示)以与之对应。在像素域模块310融合图像之后，通过ROI和全景播放模块311进行播放。

从上述可知，解码装置30可以根据收到不同码流情况进行解码。在只收到ROI码流的情况下播放ROI视频，在只收到全景码流的情况下播放全景视频，在收到ROI和全景复用码流的情况下播放ROI和全景的融合视频。

上述实施例是提供给本领域普通技术人员来实现或使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (14)

1、一种支持感兴趣区域的多路视频流的编码、解码方法，包括：

编码和传输过程：

根据用户需要可选地对采集后的感兴趣部分的视频信息进行感兴趣区域编码，根据用户需要可选地对采集后的所有视频信息进行全景编码；

在感兴趣区域编码后对其进行打包以产生感兴趣码流并发送，在全景编码后对其进行打包以产生全景码流并发送，其中打包的形式包括在包结构中插入时间戳以同步感兴趣码流和全景码流，在包结构中承载标识符以识别分属不同码流的包，并插入感兴趣标志符以及感兴趣的起始和终止宏块信息；

在用户需要的情况下可选地对打包后产生的感兴趣码流和全景码流进行复用并传输；

解码过程：

对解复用出的感兴趣码流包，先经码流解析，解析出其中的感兴趣码流、感兴趣编码的参数和时间戳，该解析出的感兴趣码流根据该解析出的感兴趣编码的参数和时间戳进行解码，根据用户需要可选地进行感兴趣区域的单独播放；

对解复用出的全景码流，先经码流解析，解析出其中的全景码流和时间戳，该解析出的全景码流根据该解析出的时间戳进行解码，根据用户需要可选地进行全景播放；

如果同时存在解码后的感兴趣帧和全景帧，根据该解析出的时间戳对两者进行同步，并根据感兴趣区域的位置信息对两者进行像素域的融合，根据用户需要可选地进行感兴趣区域结合全景的播放。

2、根据权利要求1所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在编码过程中，感兴趣区域编码和全景编码采用相同的编码参数。

3、根据权利要求1所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在编码过程中，感兴趣区域编码和全景编码采用不同的编码参数。

4、根据权利要求1所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在编码过程中，在全景编码之前还包括下采样的过程用以减小图像尺寸。

5、根据权利要求4所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在解码过程中，在像素域融合之前，还包括对全景帧进行上采样。

6、根据权利要求1所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在解码过程中，在对全景码流/感兴趣码流进行解码之前还包括码流缓冲过程。

7、根据权利要求1所述的支持感兴趣区域的多路视频流的编码、解码方法，其特征在于，在解码过程中，在对全景码流/感兴趣码流进行解码之后还包括将其存储为全景帧/感兴趣帧。

8、一种支持感兴趣区域的多路视频流的编码、解码系统，包括：

编码装置，包括：

感兴趣区域编码模块，根据用户需要可选地对采集后的感兴趣部分的视频信息进行感兴趣区域编码；

全景编码模块，根据用户需要可选地对采集后的所有视频信息进行全景编码；

感兴趣区域打包模块，连接该感兴趣区域编码模块，对感兴趣区域编码后的码流进行打包，包括：

时间戳插入单元，将时间戳插入包头部结构以同步感兴趣码流和全景码流；

标识符承载单元，在该包头部结构的同步源上承载标识符以识别分属不同码流的包；

标志符插入单元，在包中插入标志符以识别该包是否包含感兴趣码流；

感兴趣宏块信息插入单元，插入感兴趣的起始和终止宏块位置信息；

感兴趣区域包发送模块，连接该感兴趣区域打包模块，发送感兴趣区域包；

全景打包模块，连接该全景编码模块，对全景编码后的码流进行打包，包括：

时间戳插入单元，将时间戳插入包头部结构以同步感兴趣码流和全景码流；

标识符承载单元，在该头部结构的同步源上承载标识符以识别分属不同码流的包；

标志符插入单元，插入标志符以识别该包是否包含感兴趣区域的信息；

全景包发送模块，连接该全景打包模块，发送全景包；

复用模块，连接该感兴趣区域打包模块和该全景打包模块，根据用户需要可选地对感兴趣码流和全景码流进行复用；

感兴趣和全景复用发送模块，发送复用后的码流；

传输装置，包括：

包传输模块，传输感兴趣码流/全景码流/感兴趣码流和全景码流的复用流；

解复用模块，对经由该包传输模块传输的码流进行系统层解复用，通过在该码流头部结构的同步源上承载的标识符标识分属不同码流的包；

解码装置，包括：

感兴趣码流解析模块，对解复用出的感兴趣码流包进行解析，解析出其中的感兴趣码流、感兴趣编码的参数和时间戳；

感兴趣解码模块，根据解析出的感兴趣编码的参数和时间戳对解析出的感兴趣码流进行解码；

感兴趣播放模块，根据用户需要可选地对感兴趣区域进行单独播放；

全景码流解析模块，对解复用出的全景码流包进行解析，解析出其中的全景码流和时间戳；

全景解码模块，根据解析出的时间戳对解析出的全景码流进行解码；

全景播放模块，根据用户需要可选地进行全景播放；

像素域融合模块，根据解析出的时间戳和感兴趣区域的位置信息，将解码后的感兴趣帧和全景帧进行像素域上的融合；

全景和感兴趣播放模块，将经该像素域融合模块融合后的全景和感兴趣区域的结合加以播放。

9、根据权利要求8所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，编码装置中的感兴趣区域编码模块和全景编码模块采用相同的编码参数。

10、根据权利要求8所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，编码装置中的感兴趣区域编码模块和全景编码模块采用不同的编码参数。

11、根据权利要求8所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，编码装置中的全景编码模块之前还包括下采样模块以减小图像尺寸。

12、根据权利要求11所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，解码装置中的像素域融合模块之前还包括对全景帧进行上采样的上采样模块。

13、根据权利要求8所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，解码装置中还包括位于该感兴趣码流解析模块和该感兴趣解码模块之间的感兴趣码流缓冲模块，以及位于该全景码流解析模块和该全景解码模块之间的全景码流缓冲模块。

14、根据权利要求8所述的支持感兴趣区域的多路视频流的编码、解码系统，其特征在于，解码装置中还包括：

感兴趣帧存储模块，位于该感兴趣解码模块和该感兴趣播放模块之间，存储解码后的感兴趣帧，并提供给该像素域融合模块；

全景帧存储模块，位于该全景解码模块和该全景播放模块之前，存储解码后的全景帧，并提供给该像素域融合模块。

Images