CN101242547B - 可检测影像信号不良编辑的系统 - Google Patents

Abstract

本发明涉及一种可检测影像信号不良编辑的系统，其用于电视影像信号的检测。当检测电视影像来源为电影信号而非视频摄影机信号时，可直接由反交错装置进行电影信号模式的反交错处理，以增加电视影像信号的垂直分辨率。而对于不良编辑的影像信号所造成电视影像产生锯齿状，本发明是在尚未播放的影像信号上检测不良编辑，所以能事先检测出不良编辑。同时利用场景变化，以辅助锯齿检测装置，而完全避免不良编辑影像的产生，而获得一较佳的影像质量。

Description

可检测影像信号不良编辑的系统

技术领域

本发明涉及一种检测系统，尤指一种适用于检测影像信号是否有不良编辑的检测系统。

背景技术

由于传播频宽的限制，目前电视影像的传播采用奇/偶场交互传播的方式。如图1所示，其中，奇场10及12仅具有奇数行的影像数据，而偶场11及13则仅具有偶数行的影像数据。新一代电视由于垂直方向的分辨率的提高，所以电视内部需要线倍频器(line doubler)进行倍频处理，以提高垂直方向的分辨率。其中，最简单的倍频处理是直接合并相邻的奇场及偶场，以成为一循序扫描帧(progressiv escan frame)。然而，由于相邻的奇场及偶场有时间上的差异，故直接合并奇场及偶场以产生的循序扫描帧将使得移动中的物体影像产生锯齿。

为避免前述的问题，较佳的线倍频器设置有移动检测器(motion detector)以检测移动中的物体影像，并对静止的影像采用场间差补(inter-field interpolation)的除交错处理，而对移动的影像采用场内差补(intra-fieldinterpolation)的除交错处理。

另一种倍频方式通过分辨影像来源是否为电影来达成，由于已知电影是采用每秒拍摄24张帧的方式来记录影像，因此，若要将电影信号显示于NTSC规格的电视上，则必须将每秒24张帧转拍成每秒60个场，如图2所示，此转拍的技术一般称为“3∶2下拉”(3∶2 pull down)，亦即，将时间上连续的两个电影帧分别转拍成3个场及2个场，例如，将帧14转拍成场18(奇场)、场19(偶场)及场20(奇场)，并将帧15转拍成场21(偶场)及场22(奇场)，以下类推。所以，以此种倍频方式，如果判断影像来源为电影信号，则只要将原本属于同一帧的奇场与偶场合并就能得到完美的倍频输出，不但影像不会产生锯齿，且移动的影像也能保持有最高的垂直方向分辨率。

而为要检测影像来源，现有是以帧移动数据或场移动数据来判断影像来源是否为电影信号，图3的范例显示以帧移动检测器31(frame motion detector)来提供帧移动的数据，如图所示，每一帧移动检测器31是用以检测两个连续的奇场或两个连续的偶场是否相同，如相同则输出’1’，否则输出’0’。因此，如果电视影像是一段静止的画面，则不管影像来源是否为电影信号，帧移动检测器31皆输出’11111，11111，…’的序列，如果电视影像是一段移动的视频摄影机信号，则帧移动检测器31输出’00000，00000，…’的序列，如果是一段移动的电影信号者，则帧移动检测器31输出’10000，10000，…’的序列。

以前述帧移动检测器31的输出，经由一如图4所示的电影检测状态移转图，便可判断输入影像是否为3∶2 pulldown的电影，其中，此电影检测状态移转图的状态0-5为视频摄影机模式状态(video mode states)，而状态6-10为电影模式状态(film mode states)。如图所示，电影检测状态移转图的起始状态为状态0，每当输入’10000’时，状态将移转经过状态4，且递增一计数器41，而当计数器41的值超过一临界值时，状态由状态4移转至状态6，亦即，由电视影像模式状态进入电影模式状态。

而如前所述，当输入影像是3∶2 pull down的电影时，帧移动检测器会输出’10000’或’1111’的序列，因此，当帧移动检测器输出一定数量的’10000’序列后，电影检测状态移转图便由视频摄影机模式状态移转至电影模式状态，且在电影模式状态下，只要输入为’1XXXX’，电影检测状态移转图均维持在电影模式状态。

背景技术虽可有效检测影像来源是否为电影信号且实现完美的倍频输出，然而，电影数据的不良编辑却会造成3∶2 pull down比例的破坏而导致影像输出出现锯齿状，如图5所示的场1-8来自电影片段A，而场9-16来自电影片段B，由于电影片段B的不良编辑，导致在场9以后便不再符合3∶2 pull down的比例，并请参照图4，由于电影检测状态移转图需在场11时才能判断出需跳离电影模式，因此，在以场9为基础产生输出帧时，是以原本不属于同一帧的场9及场10合成一个帧，此将造成电视影像出现锯齿。

为解决前述的问题，美国专利公告第6201577号(名称：Film source video detection)提供一种检测不良编辑的方法，其是在目前的输出影像上去检测不良编辑，以当发现有不良编辑时，通知电影检测器跳出电影模式，以避免将不属于同一帧的场合成一个帧的问题，然而，由于不良编辑的检测是在目前的输出影像上进行，因此，当检测到有不良编辑时，线倍增器已经输出一个有锯齿的帧，而无法完全避免影像产生锯齿。同时，现有技术在电影模式时，在状态7-状态10中均无法跳离电影模式，因此，常将原本不属于同一帧的场合成一个帧，容易造成电视影像出现锯齿。由此可知，现有可检测影像信号不良编辑的系统仍有改善的空间。

发明内容

本发明的目的在于提供一种可检测影像信号不良编辑的系统，从而可减少帧缓冲器和线缓冲器的使用量，以降低硬件成本。

本发明的另一目的在于提供一种可检测影像信号不良编辑的系统，从而可检测及处理各种会产生不良编辑情况，而获得一较佳的影像质量。

依据本发明的一特色，本发明提出一种可检测影像信号不良编辑的系统，其接收一影像数据流的多个场以检测其中的不良编辑，该系统包含一电影模式检测装置、一锯齿检测装置及一场景检测装置。该电影模式检测装置接收影像数据流中的前一个场F[N-1]及下一个场F[N+1]，以判断该影像数据流是否为电影模式；该锯齿检测装置接收影像数据流中的现行场F[N]及下一个场F[N+1]，并依据该现行场F[N]的场能量及该现行场F[N]及下一个场F[N+1]的帧能量，以判断该下一个场F[N+1]是否有锯齿产生；该场景检测装置接收影像数据流中的现行场F[N]、下一个场F[N+1]及前一个场F[N-1]，以计算该现行场F[N]与该前一个场F[N-1]及下一个场F[N+1]的场亮度差值，并依据该算现行场F[N]的该场亮度差值以判断是否有场景变化产生；其中，当该影像数据流为电影模式且有场景变化产生时，由于不良编辑大多发生在场景变化处，因此判定该影像数据流可能有不良编辑。

附图说明

图1是视频摄影机信号的显示图埸的示意图。

图2是电影信号转拍成场的示意图。

图3是以帧移动检测器来提供帧移动的数据的示意图。

图4是一电影检测状态移转图。

图5是不良编辑的电影信号的示意图。

图6是本发明检测装置的方块图。

图7是本发明锯齿检测装置的方块图。

图8是本发明场景检测装置计算该现行场的场亮度差值的示意图。

图9是本发明的工作状态移转图。

主要组件符号说明

场                   10-13、18-22

帧                   14-17

帧移动检测器         31       计数器         41

电影模式检测装置     610      锯齿检测装置   620

场景检测装置         630      反交错装置     640

直接耦合装置         650      判断装置       660

多任务装置           670

线缓冲器             621       减算装置      622、623

绝对值装置           624、625

比较器               626、627

计数器               628

具体实施方式

图6是本发明可检测影像信号不良编辑的系统的方块图，其接收一影像数据流的多个场F[Z]以检测其中的不良编辑，其中，Z＝N表示目前所处理的现行场，前述可检测影像信号不良编辑的系统包含：一电影模式检测装置610、一锯齿检测装置620、一场景检测装置630、一反交错装置640、一直接耦合装置650、一判断装置660及一多任务装置670。

其中，前述反交错装置640接收影像数据流中的现行场F[N]、前一个场F[N-1]及下一个场F[N+1]，并用插点方法(de-interlace)以产生该现行场F[N]的帧。

前述直接耦合装置650接收影像数据流中的前一个场F[N-1]及下一个场F[N+1]，并利用该前一个场F[N-1]及下一个场F[N+1]直接合成，以产生该现行场F[N]的帧。

前述电影模式检测装置610接收影像数据流中的前一个场F[N-1]及下一个场F[N+1]，以判断该影像数据流是否为电影模式。当该影像数据流非为电影模式，该电影模式检测装置610输出状态0至状态5。当该影像数据流为电影模式，该电影模式检测装置610依序输出电影模式状态6至电影模式状态10。该电影模式检测装置610可依据图4的状态转移图予以实现(implement)，由于其为本领域技术人员基于图4的状态转移图所能完成，在此不予赘述。

该锯齿检测装置620接收影像数据流中的现行场F[N]及下一个场F[N+1]，并依据该现行场F[N]的场能量(fieldenergy)及该现行场F[N]及下一个场F[N+1]的帧能量(frame energy)，以判断该下一个场F[N+1]是否有锯齿产生。当该帧能量大于现行场F[N]中的场能量的像素数目且超过一门坎时，该锯齿检测装置判定该下一个场F[N+1]有锯齿产生。

上述的像素的场能量(field energy)为：

|Luma_F[N][i][j]-Luma_F[N][i+1][j]|，(1)

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i，j)的亮度值，Luma_F[N][i+1][j]为该现行场F[N]的像素(i+1，j)的亮度值。像素的帧能量(frame energy)为：

|Luma_F[N][i][j]-Luma_F[N+1][i][j]|，(2)

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i，j)的亮度值，Luma_F[N+1][i][j]为该下一个场F[N+1]的像素(i，j)的亮度值。

图7是本发明锯齿检测装置620的方块图。其主要包括线缓冲器621、减算装置622及623、绝对值装置624及625、比较器626及627、及计数器628。其中，该锯齿检测装置620进行锯齿检测时，先用一重置信号以重置该计数器628。该现行场F[N](其像素亮度值以Luma_F[N][i][j]表示)与该下一个场F[N+1](其像素亮度值以Luma_F[N+1][i][j]表示)是由减算装置623相减，以得到该现行场F[N]与该下一个场F[N+1]的亮度差，而由于该现行场F[N]与该下一个场F[N+1]分别为奇、偶场或是偶、奇场，因此该现行场F[N]与该下一个场F[N+1]在垂直位置上有一像素的差距，而前述现行场F[N]与下一个场F[N+1]间的亮度差称的为现行场F[N]的帧能量。

线缓冲器621是用以缓冲该现行场F[N]一条线(line)，因此，该现行场F[N]的像素(i，j)经线缓冲器671后成为(i+1，j)，此线缓冲后的场F[N]’与现行场F[N]是由减算装置622相减，以得到场F[N]’与现行场F[N]间的亮度差，由于(i+1，j)为(i，j)经过线缓冲，因此，(i+1，j)与(i，j)在垂直位置上有二像素的差距，而前述场F[N]’与现行场F[N]间的亮度差称的为现行场F[N]的场垂直能量。

前述现行场F[N]的帧能量与场能量是经由绝对值装置624及625，进而取得其大小值，再经由一比较器626相比，而由于现行场F[N]与下一个场F[N+1]的距离(垂直位置上有一像素的差距)应小于线缓冲场F[N]’与现行场F[N]的距离(垂直位置上有二像素的差距)，所以前述帧能量应该会小于场能量，故当比较器626比较出帧间能量大于场能量时，表示可能有锯齿产生，故递增计数器628，直到计数器628大于一门坎时，输出锯齿产生的信号，以通知该电影模式检测装置610跳出电影模式。

于本实施例中，该锯齿检测装置620接收影像数据流中的现行场F[N]及下一个场F[N+1]，并依据该现行场F[N]的场能量及该现行场F[N]及下一个场F[N+1]的帧能量，以判断该下一个场F[N+1]是否有锯齿产生。于其它实施例，该锯齿检测装置620亦可接收影像数据流中的现行场F[N]及前一个场F[N-1]，并依据该前一个场F[N-1]的场能量及该前一个场F[N-1]及现行场F[N]的帧能量，以判断该现行场F[N]是否有锯齿产生。

前述场景检测装置630接收影像数据流中的现行场F[N]、下一个场F[N+1]及前一个场F[N-1]，以计算该现行场F[N]与该前一个场F[N-1]及下一个场F[N+1]的场亮度差值，并依据该算出的现行场F[N]的该场亮度差值(Diff_Luma)以判断是否有场景变化产生。

图8是本发明场景检测装置630计算该现行场F[N]的该场亮度差值的示意图。该场景检测装置630依据公式(3)以计算该现行场F[N]的该场亮度差值(Diff_Luma)：

Diff_Luma＝max(|Y_F[N-1]-Y_F[N]|，|Y_F[N+1]-Y_F[N]|)，(3)

其中，Y_F[N-1]为该前一个场F[N-1]的亮度平均值，Y_F[N]为该现行场F[N]的亮度平均值，Y_F[N-1]为该下一个场F[N+1]的亮度平均值。该现行场F[N]的亮度平均值为：

$Y_{F\left[N\right]}=\underset{i=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{Y-1}{\mathrm{\Σ}}}{\mathrm{Luma}}_{F\left[N\right]}\left[i\right]\left[j\right],---\left(4\right)$

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i，j)的亮度值，X为该现行场F[N]的列数目，Y为该现行场F[N]的行数目。

当该算现行场F[N]的该场亮度差值(Diff_Luma)大于一先前场亮度差值且该算现行场F[N]的该场亮度差值(Diff_Luma)大于一场亮度门坎(Diff_Luma_Th)时，该场景检测装置630判定有场景变化产生。其中，该先前场亮度差值为先前场F[N-2]、F[N-3]、F[N-4]及F[N-5]的场亮度差值取最大者。亦即，公式(5)成立时，该场景检测装置630判定有场景变化产生：

Diff_Luma＞max(Diff_Lum_2，3，4，5)and Diff_Luma＞Diff_Lum_Th (5)

其中Diff_Lum_2、Diff_Lum_3、Diff_Lum_3、Diff_Lum_5分别为该先前场F[N-2]、F[N-3]、F[N-4]及F[N-5]的场亮度差值，Diff_Lum_Th为该场亮度门坎。

于其它实施例中，该先前场亮度差值为先前场F[N-2]、F[N-3]、F[N-4]及F[N-5]的场亮度差值取最大者再执行一加权运算。亦即，公式(6)成立时，该场景检测装置630判定有场景变化产生：

Diff_Luma＞max(Diff_Lum_2，3，4，5)×gain    (6)

and Diff_Luma＞Diff_Lum_Th

前述判断装置660连接至该电影模式检测装置610及场景检测装置630。当该影像数据流为电影模式且有有场景变化产生时，判定该影像数据流可能有不良编辑。亦即当该现行场F[N]为电影模式状态8或电影模式状态10，且该场景检测装置630在前一个状态7或9判定有场景变化产生时，判定该现行场F[N]可能有不良编辑，多任务器670选择该反交错装置640作为其输出，以产生该现行场的帧，但此时状态仍维持在电影模式。

当该现行场F[N]为电影模式状态6、电影模式状态7或电影模式状态9，且该锯齿检测装置620在前一个状态10或6或8判定该下一个场F[N+1]有锯齿产生时，判定该现行场F[N]有不良编辑，该多任务器670选择该反交错装置640作为其输出，以产生该现行场的帧，并回到状态0(跳出电影模式)。

若非前述的情形，则多任务器670选择该直接耦合装置650作为其输出。

图9是本发明的工作状态移转图。由图9可知，本发明在电影模式状态6-电影模式状态10的任一状态中，均可依据场景变化或锯齿现象而检测不良编辑的发生，进而采取相对应的处理方法，而获得较佳的影像质量。

现有技术在利用锯齿检测装置来判断是否有不良编辑发生时，在现行场F[N]和下一个场F[N+1]结合的情况下，可利用锯齿检测装置提早预测下一个场F[N+1]是否有不良编辑的发生，避免锯齿产生。然而当下一个场F[N+1]是要和下下一个场F[N+2]结合的情况下，仍要用锯齿检测装置提前预测下一个场F[N+1]是否有不良编辑，则需增加帧缓冲器(framebuffer)和线缓冲器(line buffer)，此会增加硬件的成本。若不增加帧缓冲器和线缓冲器，则锯齿现象还是会发生。而本发明使用锯齿检测装置620搭配场景检测装置630来提早预测不良编辑的发生，当锯齿检测装置620检测到锯齿现象且为电影模式状态6、电影模式状态7或电影模式状态9时，马上跳出电影模式，当场景检测装置630检测到场景变化且为电影模式状态8或电影模式状态10时，则多任务器670选择该反交错装置640作为其输出，以产生该现行场的帧，但此时状态仍维持在电影模式。如此可兼顾各种情况而不会有锯齿现象。

由上述说明可知，本发明是利用锯齿检测装置620及场景检测装置630互相搭配的方式，以避免影像数据流因不良编辑造成因相邻两张场直接耦合而产生的锯齿现象。同时可以减少帧缓冲器和线缓冲器的使用量，以降低硬件成本，同时能检测及处理各种会产生不良编辑情况，而获得一较佳的影像质量。

上述实施例仅是为了方便说明而举例而已，本发明所主张的权利范围自应以申请权利要求所述为准，而非仅限于上述实施例。

Claims (13)

1.一种可检测影像信号不良编辑的系统，其接收一影像数据流的多个场及检测不良编辑，该系统包含：

一电影模式检测装置，用以接收该影像数据流中的一前一个场F[N-1]及一下一个场F[N+1]，进而判断该影像数据流是否为电影模式；

一锯齿检测装置，用以接收该影像数据流中的一现行场F[N]及该下一个场F[N+1]，并依据该现行场F[N]的场能量与该现行场F[N]及该下一个场F[N+1]的帧能量，当上述帧能量大于上述场能量的像素数目且超过一门坎时，则判断该下一个场F[N+1]产生锯齿，其中场能量是指现行场F[N垂直位置相邻像素的亮度差的绝对值，帧能量是指现行场F[N]及该下一个场F[N+1]中同一像素的亮度差的绝对值；以及

一场景检测装置，用以接收该影像数据流中的该现行场F[N]、该下一个场F[N+1]及该前一个场F[N-1]，并计算该现行场F[N]与该前一个场F[N-1]及该下一个场F[N+1]的场亮度差值，并当该现行场F[N]的该场亮度差值大于一先前场亮度差值，并且该现行场F[N]的该场亮度差值大于一场亮度门坎时，判断产生场景变化；

其中，当该影像数据流为前述电影模式且有前述场景变化产生时，判定该影像数据流为前述不良编辑。

2.根据权利要求1所述的系统，其中，该电影模式检测装置依据一包括状态0-10的电影侦测状态移转图判断该影像数据流是否为电影模式，该电影侦测状态移转图的状态0-5为视频摄影机模式状态0-5，而状态6-10为电影模式状态6-10，该电影模式检测装置判定该影像数据流为前述电影模式时，依序产生该电影模式状态6-10，当该现行场F[N]为该电影模式状态8或该电影模式状态10，且分别对应该场景检测装置在前一个该电影模式状态7及9判定有场景变化产生时，进而判定该现行场F[N]为不良编辑。

3.根据权利要求2所述的系统，其中，当该现行场F[N]为该电影模式状态6、该电影模式状态7或该电影模式状态9，且分别对应该锯齿检测装置在前一个该电影模式状态10或6或8判定该下一个场F[N+1]有前述锯齿产生时，进而判定该现行场F[N]有不良编辑。

4.根据权利要求3所述的系统，其中，该现行场F[N]的该场亮度差值为：

max(|Y_F[N-1]-Y_F[N]|，|Y_F[N+1]-Y_F[N]|)，

其中，Y_F[N-1]为该前一个场F[N-1]的亮度平均值，Y_F[N]为该现行场F[N]的亮度平均值，Y_F[N-1]为下一个场F[N+1]的亮度平均值。

5.根据权利要求4所述的系统，其中，该现行场F[N]的亮度平均值为：

$Y_{F\left[N\right]}=\underset{i=0}{\overset{X-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{Y-1}{\mathrm{\Σ}}}{\mathrm{Luma}}_{F\left[N\right]}\left[i\right]\left[j\right],$

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i，j)的亮度值，X为该现行场F[N]的列数目，Y为该现行场F[N]的行数目。

6.根据权利要求5所述的系统，其中，当该算现行场F[N]的该场亮度差值大于一先前场亮度差值且该算现行场F[N]的该场亮度差值大于一场亮度门坎时，该场景检测装置判定产生前述场景变化。

7.根据权利要求6所述的系统，其中，该先前场亮度差值为先前场F[N-2]、F[N-3]、F[N-4]及F[N-5]的场亮度差值取最大者。

8.根据权利要求6所述的系统，其中，该先前场亮度差值为先前场F[N-2]、F[N-3]、F[N-4]及F[N-5]的场亮度差值取最大者，再执行一加权运算。

9.根据权利要求3所述的系统，其中，当该帧能量大于现行场F[N]中的场能量的像素数目超过一门坎时，该锯齿检测装置判定该下一个场F[N+1]有锯齿产生。

10.根据权利要求9所述的系统，其中，一像素的场能量(field energy)为：

      |Luma_F[N][i][j]-Luma_F[N][i+1][j]|，

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i，j)的亮度值，Luma_F[N][i+1][j]为该现行场F[N]的像素(i+1，j)的亮度值。

11.根据权利要求10所述的系统，其中，一像素的帧能量(frame energy)为：

      |Luma_F[N][i][j]-Luma_F[N+1][i][j]|，

其中，Luma_F[N][i][j]为该现行场F[N]的像素(i ，j)的亮度值，

Luma_F[N+1][i][j]为该下一个场F[N+1]的像素(i，j)的亮度值。

12.根据权利要求3所述的系统，其更包含：

一反交错装置，用以接收该现行场F[N]、该前一个场F[N-1]及该下一个场F[N+1]，进而利用插点方法以产生该现行场的帧；

其中，当检测系统判定该影像数据流有前述不良编辑时，驱动该反交错装置，以产生该现行场的帧。

13.根据权利要求12所述的系统，其更包含：一直接耦合装置，其接收该现行场F[N]、该前一个场F[N-1]及该下一个场F[N+1]，并利用该前一个场F[N-1]和该现行场F[N]合成或该下一个场F[N+1]和该现行场F[N]合成，以产生该现行场的帧；

其中，当检测系统判定该影像数据流没有前述不良编辑时，驱动该直接耦合装置，以产生该现行场的帧。

Images