CN1615001A - 视频编码器的场面转换检出方法及装置 - Google Patents

Abstract

本发明是关于视频编码器的场面转换检出方法及装置，是利用数字视频信号编码时，采用动作估算，检出视频信号场面转换的内容。包括：把视频输入信号以指定比例子采样，保存在帧存后，从子采样的视频信号检出动态矢量和动作估算错误值的步骤；接收上述动作估算错误值，将一个帧的所有块的动作估算加起来后，其和为已设定临界值以上时，判断为生成了场面转换，输出场面转换检出信号的步骤。本发明具有不需要附加计算，不用担心存储器访问的负担的效果；具有采用层次进行动作估算的编码器，利用简单的加法器和比较器就可以检出场面转换；具有提高画面质量及编码效率的效果。

Description

视频编码器的场面转换检出方法及装置

(1)技术领域

本发明是关于利用数码电影编码时，利用动作估算，检出影像场面转换的方法及装置。尤其是指在MPEG或H.26x等直接利用需要进行视频编码的动作估算，在层次动作估算中利用上层的动作估算结果，检出场面转换的一种视频编码器的场面转换检出方法及装置。

(2)背景技术

目前，随着情报通信技术的急速发展，传送、接收或保存文字、影像、图片、音频、视频等多媒体信息的技术的重要性日趋增大。其中为了视频顺序根据其内容和时间，区分为场面(shot)，切实需要找出视频顺序的时间不连续点的影像的场面转换检出技术。这里的场面是指，有时间连贯性的一个以上的帧。场面转换检出技术是视频索引、搜索、编辑以外，视频编码时也经常使用的技术。在视频编码时，正确检出场面转换，来提高场面转换始点的画面质量。并可以对转换的场面确切分配位(bit)和切换编码参数，提高编码的效率。

图1是一般的场面转换检出装置的结构图。数字视频输入信号通过帧存11传送到视频编码器13进行编码处理。这时，场面转换检出器12把从上述帧存11输入的目前帧影像信号F(n)和之前帧影像信号F(n-1)比较判断是否有场面转换后，把此场面转换检出信息输出到上述视频编码器13。以此，上述视频编码器13编码处理输入的视频信号时，同时处理上述场面转换检出信息，以数字视频位流形式输出。

在现有的场面转换技术中，影像帧间的平均绝对差和差额或在两帧间同一位置块的平均值差，根据结果为临界值以上的块个数来检出场面转换。

在另一现有的场面转换检出技术中，利用动作估算在目前帧和之前帧之间实行块匹配后根据各块的错误值检出场面转换。

在另一现有的场面转换检出技术中，比较两个帧之间的活跃度(activity)，如果其差异为一定值以上时，被判断为发生了场面转换。

但是，这样的现有技术的场面转换技术中，利用影像帧之间的平均绝对差和差额，或利用两个帧之间的同一位置块的平均值差的技术存在，必须附加视频编码时需计算平均值和差值、再次读取帧存功能的问题。

之外，在目前帧和之前帧之间进行块匹配之后，根据各块的错误值，检出场面转换的技术，因为要在目前帧编码之前，为了检出场面转换要做动作估算，所以存在为了动作估算再次进行复杂的计算过程，加重帧存的接近负担的问题。

之外，利用两个帧之间的活跃程度，检出场面转换的技术也存在对目前帧进行编码之前需要附加计算活跃度的问题。

上述各现有技术的共同问题点是实时编码视频信号时，被检出场面转换的附加计算，编码会在时间上发生迟延。

(3)发明内容

本发明的目的是提供，在MPEG或H.26x等直接利用需要进行视频编码的动作估算，在层次动作估算中利用上层的动作估算结果，检出场面转换的一种视频编码器的场面转换检出方法及装置。

本发明的目的是这样实现的：

一种视频编码器的场面转换检出方法，包括；

第1步骤，把视频输入信号以指定比例子采样，保存在帧存后，从子采样的视频信号中检出动态矢量和动作估算错误值和；

第2步骤，接收上述动作估算错误值，将一个帧的所有块的动作估算加起来后，其和为已设定临界值以上时，判断为生成了场面转换，输出场面转换检出信号。

一种如上述的视频编码器的场面转换检出方法使用的视频编码器的场面转换检出装置，包括：

帧存，把视频输入信号以指定比率子采样，并保存；

子采样动作估算部，从上述保存在帧存的子采样的视频信号，检出动作矢量和动作估算错误值；

场面转换检出器，接收上述动作估算错误值，将一个帧内的所有块的动作估算错误值相加，其相加的和为临界值以上时，判断为发生了场面转换并输出场面转换检出信号。

一种视频编码器的场面转换检出方法，包括；

第1步骤，把视频输入信号以指定比率子采样，储存在帧存后，从上述子采样的视频信号，检出动作矢量和动作估算错误值；

第2步骤，根据上述动作估算错误值的大小，决定把将要编码的块，是以只被DCT使用的内块编码或以动作矢量编码，输出相应的编码模式信号；和

第3步骤，根据上述编码模式信号，决定为内块模式信号的块个数在临界值以上时，判断为发生了场面转换。

一种如上述视频编码器的场面转换检出方法使用的视频编码器的场面转换检出装置，包含：

帧存，把视频输入信号以指定比率子采样，并保存；

子采样动作估算部，从上述保存在帧存的子采样的视频信号，检出动作矢量和动作估算错误值；

场面转换检出器，接收上述动作估算错误值，将一个帧内的所有块的动作估算错误值相加，其相加的和为临界值以上时，判断为发生了场面转换并输出场面转换检出信号。

一种如上述视频编码器的场面转换检出方法使用的视频编码器的场面转换检出装置，包含：

帧存，把视频输入信号以指定比率子采样，并保存；

子采样估算部，从保存在帧存的子采样视频信号，检出动作矢量和动作估算错误值；

编码模式确定部，根据上述动作估算错误值的大小，决定把将要编码的块，是以只被DCT使用的内块编码或以动作矢量编码，输出相应的编码模式信号和；

转换检出器，根据上述编码模式信号，确定为内块的块个数在一个帧内有几个，如果是临界值以上时，判断为发生了场面转换并输出场面转换检出信号。

本发明的效果：

如上详细说明，本发明为了检出场面转换，利用了视频编码时生成的动作估算错误值或编码模式信号，因此有不需要附加计算，不用担心存储器访问(access)负担，检出场面转换的效果。

另外有，象MPE6或H.26x等，在视频编码时，为了提高编码效率，采用层次进行动作估算的编码器，利用简单的加法器和比较器就可以检出场面转换的效果。

另外有，在视频编码过程中正确检出场面转换，因此可以提高画面的质量，并且对转换的场面确切调整位(bit)分配程度或编码参数值，提高编码效率的效果。

为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。

(4)附图说明

图1是现有技术的视频编码器的场面切换检出装置的结构图；

图2是根据本发明的场面转换检出装置的一个实施例图；

图3是根据本发明的场面转换检出装置的另实施例图；

图4是根据本发明的场面转换检出方法的处理过程信号流程图；

图5是根据本发明的另一场面转换检出方法的处理过程信号流程图。

附图中主要部分的符号说明：

22：子采样动作估算部

22A，23A：场面转换检出器    23：编码模式确定部

24：整数/半像素动作估算部

(5)具体实施方式

下面结合附图，对本发明的视频编码器的场面转换检出方法及装置的实施方式进行详细的描述。

图2是根据本发明的场面转换检出装置的一个实施例结构图。如图所示，包括：把视频输入信号以指定比率子采样，并保存；子采样动作估算部22，从上述保存的子采样的视频信号，检出动作矢量和动作估算错误值；场面转换检出器22A，接收从上述子采样动作估算部22输出的动作估算错误值，将一个帧内的所有块的动作估算错误值相加，其相加的和为临界值以上时，判断为发生了场面转换并输出场面转换检出信号；整数/半像素动作估算部24，根据从上述子采样动作估算部22输入的动作矢量和动作估算错误值，进行影像估算，输出基本流。

图3是根据本发明的影像场面转换检出装置的另一实施例图。如图所示包括：子采样动作估算部22，从保存的子采样影像，检出动作矢量和动作估算错误值；编码模式确定部23，根据上述动作估算错误值的大小，决定把将要编码的块，是以只被DCT使用的内块编码或以动作矢量编码，输出相应的编码模式信号；场面转换检出器23A，根据上述编码模式信号，决定为内块的块个数在一个帧内有几个，如果是临界值以上时判断为发生了场面转换；整数/半像素动作估算部24，根据从上述子采样动作估算部22输入的动作矢量、动作估算错误值和编码模式信号，进行影像估算。

把这样结构的本发明的场面转换检出方法参照图4和图5详细说明如下。

在本发明中，为了在层次动作检出的过程中，决定需要编码的块(16像素)的编码模式，利用输出的子采样(sub-sampling)的动作估算结果进行场面转换。利用层次动作估算的视频编码器把视频输入信号以2:1，4:1，8:1等子采样，并保存后，子采样动作估算部22从其子采样的影像，检出动作矢量。

如上述检出的动作矢量和动作估算错误值如图2所示，传送到整数/半像素(Integer/Half-pel)估算部24。

但是，如果以上述子采样的影像为对象，决定块编码模式时，如图3所示，编码模式确定部23位于子采样动作估算部22和整数/半像素(Integer/Half-pel)估算部24之间，上述编码模式确定部23会根据动作估算错误值的大小，决定被编码的块是，以只用DCT的内块(intra)编码还是以用动作矢量的交互(inter)块的部分。

图2是根据本发明的场面转换检出装置的一个实施例图。在此，场面转换检出器22A是根据子采样的动作估算错误值，检出场面转换。参照图4详细说明此检出过程。

首先，把子采样的动作估算错误值定义为“error”，把一个帧内的所有块的动作估算错误值相加的和定义为“sum”，另外，把检查是不是一个帧内的最后块的部分，定义为“End of Frame”，为了检查是否发生场面转换的与上述Sum比较的临界值定义为“Thres”。

流程开始；

S1，输入子采样的动作估算错误值；

S2，将输入的子采样的动作估算错误值“error”相加，即“sum＝error+sum”；

S3，判断sum＝error+sum的操作是否到一个帧内的最后块的输入，即“Endof Frame？”，如果没有到一个帧内的最后块时，流程回到S2；

S4，如果流程S3中判定已到一个帧内的最后块之后，判断此时error+sum的和是否大于Thres，即“sum＞Thres？”如果上述的和“sum”为临界值“Thres”以下时，是说明没有发生场面转换，因此不生成场面转换检出信号，流程回到S2；

S5，如果流程S4中的和“sum”为临界值“Thres”以上时，说明发生了场面转换的场面转换信号，流程结束。

上述场面转换检出器22A可以利用加法器和比较器来简单实现。

另外，图3是场面转换检出器的第2实施例图。这里，场面转换检出器23A从编码模式决定部23输入决定的编码模式信号。编码模式有；把需要编码的块，只使用DCT的内部模式和使用动作矢量的交互模式。参照图5详细说明这第2实施例的处理过程如下。

首先，把检查输入的编码模式信号是不是内块模式信号的部分定义为“Intrablock mode”，把一个帧内决定为内块模式的块总数定义为“Nblk”。把检查是不是一个帧内的最后块的部分，定义为“End of Frame”为了场面转换，与Nblk比较的临界值定义为“Nth”。

流程开始；

S11，输入编码模式信号；

S12，场面转换检出器23A，每当从上述编码模式确定部23输入编码模式信号时，判断确认编码模式信号是不是内块模式信号，即“Intra block mode？”，如果不是内块，继续在此流程判断；

S13，每当辨明为内块模式信号时，Nblk增加1，即“Nblk＝Nblk+1”；

S14，判断是否一个帧内的最后块的部分，即“End of Frame？”，如果不是，回到流程S12；

S15，当流程S14中接收到一个帧的最后块的编码模式信号时，对一个帧内的内块总数Nblk和临界值Nth相比较，即“Nblk＞Nth？”，如果比较结果判定为Nblk比Nth小时，说明发没有产生场面转换，所以不生成场面转换检出信号，回到流程S12；

S16，流程S15中，比较结果判定为Nblk比Nth大时，生成代表发生了场面转换的场面转换检出信号，流程结束。

在上述场面转换检出器23A可以利用加法器和比较器来简单实现。

另外，对于不使用层次动作估算的视频编码，可以使用上述实施例的子采样动作估算错误值以外的整数/半像素(Integer/Half-pel)估算部24的动作估算生成的动作估算错误值来实现。在这种系统，如图3，编码模式确定部23是连接到整数/半像素估算部24的后端，因此在第2实施例的情况下直接利用其编码模式确定部23输出的编码模式信号，判断场面转换与否，输出相应的场面转换检出信号。

通过上述过程生成的场面转换检出信号，在VLC视频信号被编码化处理时，插入到基本数据流内的一侧传送。编码器根据其场面转换检出信号，判断场面转换与否，采取相应动作。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。

Claims (8)

1、一种视频编码器的场面转换检出方法，其特征包括；

第1步骤，把视频输入信号以指定比例子采样，保存在帧存后，从子采样的视频信号中检出动态矢量和动作估算错误值和；

第2步骤，接收上述动作估算错误值，将一个帧的所有块的动作估算加起来后，其和为已设定临界值以上时，判断为生成了场面转换，输出场面转换检出信号。

2、如权利要求1所述的视频编码器的场面转换检出方法，其特征还包括视频输入信号被编码化处理时，插入到基本数据流内的一侧传送的步骤。

3、如权利要求1所述的视频编码器的场面转换检出方法，其特征在于所述的第2步骤包括：

第2a步骤，把上述动作估算错误值一直累积到一个帧内的最后块的输入为止和；

第2b步骤，上述动作估算错误值累积值和已设定临界值比较的结果，辨明为临界值以上时，生成场面转换信号。

4、一种视频编码器的场面转换检出方法，其特征包括；

第1步骤，把视频输入信号以指定比率子采样，储存在帧存后，从上述子采样的视频信号，检出动作矢量和动作估算错误值；

第2步骤，根据上述动作估算错误值的大小，决定把将要编码的块，是以只被DCT使用的内块编码或以动作矢量编码，输出相应的编码模式信号；和

第3步骤，根据上述编码模式信号，决定为内块模式信号的块个数在临界值以上时，判断为发生了场面转换。

5、如权利要求4所述的视频编码器的场面转换检出方法，其特征还包括视频输入信号编码化处理输出时，插入到基本数据流内的一侧传送的步骤。

6、如权利要求4所述的视频编码器的场面转换检出方法，其特征在于所述的第3步骤包括；

第3a步骤，每当编码模式信号输入时，确认是不是内块模式信号并累积内块；

第3b步骤，当一个帧的最后块的编码模式信号输入时，把上述内块累积值与已设临界值比较后，辨明为比其临界值大时，生成场面转换检出信号。

7、一种如权利要求1的视频编码器的场面转换检出方法使用的视频编码器的场面转换检出装置，其特征包含：

帧存，把视频输入信号以指定比率子采样，并保存；

子采样动作估算部，从上述保存在帧存的子采样的视频信号，检出动作矢量和动作估算错误值；

场面转换检出器，接收上述动作估算错误值，将一个帧内的所有块的动作估算错误值相加，其相加的和为临界值以上时，判断为发生了场面转换并输出场面转换检出信号。

8 一种如权利要求4的视频编码器的场面转换检出方法使用的视频编码器的场面转换检出装置，其特征包含：

帧存，把视频输入信号以指定比率子采样，并保存；

子采样估算部，从保存在帧存的子采样视频信号，检出动作矢量和动作估算错误值；

编码模式确定部，根据上述动作估算错误值的大小，决定把将要编码的块，是以只被DCT使用的内块编码或以动作矢量编码，输出相应的编码模式信号和；

转换检出器，根据上述编码模式信号，确定为内块的块个数在一个帧内有几个，如果是临界值以上时，判断为发生了场面转换并输出场面转换检出信号。

Images